Village de la Justice www.village-justice.com

L’impartialité de certains juges mise à mal par l’intelligence artificielle. Par Michaël Benesty, Fiscaliste.
Parution : jeudi 24 mars 2016
Adresse de l'article original :
https://www.village-justice.com/articles/impartialite-certains-juges-mise,21760.html
Reproduction interdite sans autorisation de l'auteur.

Le juge administratif se doit d’être indépendant et impartial (art L721-1, R721-1 et s. du Code de justice administrative sur la récusation ou le fameux article 6 de la Convention européenne des droits de l’homme). Est-il sérieusement envisageable d’attendre d’un homme, aussi vertueux soit-il, une impartialité parfaite ? Probablement pas, et c’est ce que nous montrent les algorithmes « prédictifs ».

1/ Un nouveau contexte et de nouvelles possibilités.

Dans le cadre de sa politique open data, l’État français [1] a mis à disposition de tous plus de 350 000 décisions de justice correspondant au contenu du site Légifrance [2]. Face à cette quantité de textes, les outils de recherche existants sont parfois inadaptés.

Parallèlement, la communauté technologique (universités, centre de recherche, petites et grandes sociétés) a fait évoluer de façon spectaculaire les algorithmes prédictifs dédiés à la compréhension du langage humain. L’état de l’art nous permet d’extraire des informations fiables et précises à partir de documents comme un humain le ferait.

Cette combinaison nouvelle, où données juridiques et algorithmes puissants sont disponibles, offre la possibilité de traiter massivement la jurisprudence en vue d’en extraire une vision synthétique et inédite.

Supralegem.fr applique ces algorithmes pour extraire entre autres la qualité du demandeur [3] et du défendeur, la nature du dispositif [4] ou le thème de la décision [5].

Pour cela, nous faisons lire de nombreux textes aux algorithmes puis nous leur posons plusieurs millions de questions, tous textes confondus. Lorsque la réponse est fausse, les algorithmes s’adaptent de manière à ce que cette erreur n’arrive plus (ou qu’elle arrive moins souvent). La procédure est répétée une centaine de fois. Un serveur spécialement équipé, dont la puissance brute équivaut approximativement à une cinquantaine d’ordinateurs classiques, met entre 5 et 6 jours pour tout exécuter. Enfin, les résultats sont mis à disposition pour être interrogés par les juristes en quelques secondes.

La précision de nos résultats se situe entre 90% et 99% en fonction du champ extrait. C’est à notre connaissance la première fois que des algorithmes ayant une forme de compréhension du sens des mots et des phrases sont appliqués à la jurisprudence francaise.

La suite de la méthodologie est simple. Les décisions qui traitent d’une question de droit sont sélectionnées puis agrégées afin de calculer des statistiques par juge ou par cour. Cela permet de comparer, par exemple, le taux de rejet entre plusieurs juges.

Cette approche est véritablement innovante dans la mesure où les tendances sont dégagées à partir de données objectives et vérifiables et non des points de vue subjectifs et des rumeurs. C’est un vrai changement de paradigme.

2/ Le cas des Obligations de Quitter le Territoire Français (OQTF).

Une possible application de cette démarche concerne les demandes d’annulation d’Obligation de Quitter le Territoire Français (OQTF ci-après). Il s’agit de la mesure d’éloignement dont peuvent être frappés les étrangers en situation irrégulière ayant pour conséquence la reconduite à la frontière. Lorsque la demande est rejetée, cela signifie que l’étranger doit quitter le territoire français. Ce contentieux est le plus important en quantité dans les juridictions administratives [6].

La partialité de certains juges en matière d’OQTF est un sujet sensible plusieurs fois dénoncé par différents acteurs du système juridique comme l’assistant de justice @bismatoj sur Twitter en 2015 [7].

L’assistant de justice est un jeune juriste qui assiste un magistrat en rédigeant des projets de décision. L’assistant de justice se voit confier des dossiers par le magistrat rapporteur, et est lui-même chargé d’analyser les échanges d’écritures et les pièces produites devant la juridiction. Dès lors, il se forge une conviction juridique à l’instar du magistrat, et propose un sens du jugement que le magistrat administratif est libre de suivre. Ce sont les magistrats qui ont le dernier mot, mais sur les cas simples, ils reprendront le plus souvent le travail de l’assistant.

Selon cet assistant de justice, certains présidents de chambre demandent, pour les dossiers de demande d’annulation d’OQTF, à ce qu’un projet de jugement de rejet de la demande d’annulation soit systématiquement rédigé avant même d’avoir étudié le dossier au fond et en maîtriser le contexte juridique et factuel. Un jugement de rejet est proposé par l’assistant de justice, y compris lorsqu’il est contraire à sa conviction et que le dossier semble solide et à l’avantage de l’étranger. Pour ces juges, le rejet serait effectivement prononcé dans 90% des cas.

Les algorithmes de Supralegem.fr nous permettent de vérifier cette affirmation en sélectionnant les décisions qui concernent les demandes d’annulation d’OQTF et en calculant les taux de rejet par année, par juge et par cour.

Nous sélectionnons les décisions dont le thème est le droit des étrangers qui contiennent les expressions “quitter le territoire”, “étranger” et “asile”. Nous ne gardons que les affaires où le requérant est un particulier et où le défendeur est l’administration.

Nous pouvons extraire les taux de rejet les plus bas et les plus hauts parmi les juges qui ont émis le plus de décisions. Par “juge”, il faut comprendre président de la chambre qui a statué dans la suite de cet article.

Sélection des 3 juges ayant le taux de rejet le plus haut ou le plus bas parmi les 20% de juges administratifs d’appel qui émettent le plus de décisions relatives à l’OQTF
Chambre présidée par...Cour adm. d’appel% 2012% 2013% 2014% 2015 Nb. décisions [12-15]
Guerrive Marseille 78% 47% 43% 60% 455
Cherrier Marseille NA NA 67% 63% 233
Krulic Paris NA NA 60% 73% 199
Tandonnet Turot Paris 90% 97% 98% 100%* 228
Pellissier Nancy NA 93% 92% 96% 302
Mortelecq Douai 92% 92% 92% 0%* 419

* : ce taux ne repose pas sur un nombre significatif de décisions

Le taux de rejet moyen pour ces jurisprudences, tous juges confondus, oscille entre 78% et 81% [8] sur la période 2012-2015 .

L’écart entre les taux extrêmes est frappant : plus de 40 points ! Les taux de rejet par juge sont plutôt constants dans le temps, indiquant des tendances de fond.

La lecture des décisions en question montre qu’un même juge peut traiter des dossiers relatifs à des étrangers issus de différentes zones géographiques (pays ou continents), mais rejeter presque toutes les demandes d’annulation.

Seule une lecture attentive des pièces du dossier nous permettrait de trancher le bien-fondé de chaque décision, ce qui est impossible puisque ces pièces ne sont pas diffusées. Cependant, nous disposons de statistiques très significatives qui indiquent qu’une partialité apparente [9] existe chez certains juges administratifs d’appel.

Pour contrôler la cohérence des résultats présentés ci-dessus, nous pouvons mener l’expérience inverse en calculant le taux de rejet lorsque le requêrant est l’administration et le défendeur est un particulier (les autres critères de sélection des décisions sont identiques à ceux utilisés précédemment).

Taux de rejet en OQTF lorsque le demandeur est l’administration et le défendeur est un particulier pour les mêmes juges que dans le 1er tableau
Chambre présidée par...Cour adm. d’appel% 2012% 2013% 2014% 2015 Nb. décisions [12-15]
Guerrive Marseille 16%* 64% 55% 89%* 37
Cherrier Marseille NA NA 71% 12%* 29
Krulic Paris NA NA 78% 65% 61
Tandonnet Turot Paris 0% 6% 5% NA 121
Pellissier Nancy NA 0% 50%* 60%* 16
Mortelecq Douai 50%* 22% 23% NA 80

* : ce taux ne repose pas sur un nombre significatif de décisions

Nous constatons que les juges sévères avec les particuliers sont les plus conciliants avec l’administration et inversement. Il semble donc bien y avoir en matière d’OQTF des juges soumis à l’administration et d’autres davantage rebelles.

Quid du rôle de l’avocat face à un juge qui a déjà tranché le dossier avant de l’avoir entendu ?

3/ L’extension à d’autres questions de droit

Le projet repose sur un constat simple selon lequel le juge reste un homme. Dès lors, la subjectivité est possible.

Supralegem.fr reprend [10] la jurisprudence administrative figurant sur Légifrance et propose des outils de recherche et d’analyse basés sur ces traitements.

Le moteur de recherche permet de créer des statistiques pour chaque juge administratif d’appel afin de dégager des tendances invisibles autrement. Ainsi, l’utilisateur connaît la position doctrinale de son juge sur sa question. Ce savoir peut réduire l’aléa propre à la pratique du métier d’avocat en matière contentieuse.

Le site facilite également les recherches de jurisprudences en utilisant différents filtres basés sur les données extraites, tel que la nature du dispositif, la nature du demandeur et du défendeur ou la catégorie de la décision.

En droit administratif, l’administration gagne plus souvent qu’elle ne perd. Plus de 70% des requêtes présentées par une partie privée font l’objet d’un rejet. Écarter 70% des requêtes permet souvent de ne garder que ce qui intéresse le juriste, comme par exemple les cas où la demande en annulation d’un acte administratif a été prononcée, où la décharge d’impôts du contribuable est accordée, etc.

Très concrètement, un avocat en droit des étrangers sera sûrement intéressé de connaître les décisions où un étranger du même pays que son client a gagné contre l’administration dans un dossier d’OQTF. En utilisant les filtres, l’avocat ne verra que les décisions d’annulation d’une OQTF où le demandeur est un particulier, le défendeur est une administration et où la décision contient dans son texte l’expression “quitter le territoire” (expression qu’on retrouve dans toutes les décisions d’OQTF) et le nom du pays de son client. Ainsi, l’avocat peut éviter de lire des milliers de décisions inutiles pour son affaire.

Il peut aussi en quelques clics ne voir que les décisions où l’administration est requérante et voit sa demande rejetée. Comme dans notre analyse sur les OQTF.

À notre connaissance, ce projet est une première en France, tant par le nombre de décisions sur lesquelles les algorithmes ont été appliqués que la sophistication des algorithmes utilisés et de la qualité des résultats trouvés. [11]

Michaël Benesty Fiscaliste dans un cabinet d’avocats https://fr.linkedin.com/in/mbenesty https://twitter.com/pommedeterre33

[1Via le site de la mission Etalab

[2Les décisions disponibles en open data représentent un à deux tiers de l’ensemble des décisions émises par chaque cour d’appel sur la période étudiée.

[3Personne privée, gouvernement, puissance publique...

[4Annulation, rejet, décharge d’impôts, sursis à statuer...

[5Parmi une quarantaine, comme droit des étrangers, fiscalité, urbanisme...

[6Plus d’informations sur ce contentieux ici.

[7Les Tweets en question sont disponibles via ce lien.

[8Le taux moyen élevé de rejets s’explique par la nature du contentieux et le fait que l’administration émet des OQTF pour une grande partie fondées.

[9Elle n’est qu’apparente car nous ne disposons pas de plus d’éléments que ces statistique.

[10De 2000 à aujourd’hui.

[11Le site est en constante évolution et nous invitons le lecteur à faire des retours aux auteurs (sur Twitter @supralegem ou par courriel contact chez supralegem.fr ). Nous sommes autant intéressés par les usages que vous envisagez qu’une critique constructive des fonctionalités existantes.

Si vous trouvez d’autres situations étonnantes dans les décisions, n’hésitez pas non plus à nous en faire part. Si notre équipe trouve votre sujet pertinent, nous pourrons vous aider à creuser plus loin dans vos recherches.

Le projet est mené avec Anthony Sypniewski. Supralegem.fr est un projet sans lien avec les employeurs des membres du projet.

Comentaires: