Depuis deux ans, le monde du droit s’est pris de passion pour la justice prédictive, soit pour s’enthousiasmer, soit pour lui trouver les pires défauts. Pourquoi prédire une révolution ou une catastrophe ? Mieux vaut relever, dès à présent, des défis opérationnels et méthodologiques sérieux.

La justice prédictive désigne les techniques permettant d’évaluer la probabilité d’une décision de justice à partir des caractéristiques des décisions passées. Traduite littéralement de l’anglais, où elle est moins connotée, l’expression est présomptueuse, mais commode. Il est commun d’associer étroitement la justice prédictive à l’intelligence artificielle et à l’auto-apprentissage, même si rien n’interdit de bâtir un système d’aide à la prévision fondé seulement sur le calcul statistique et le traitement du langage naturel, les deux composantes indispensables à l’analyse des décisions des tribunaux.

Le volume de données, facteur-clef de succès

Le débat sur la justice prédictive est d’abord né d’une confusion, à la suite de la médiatisation venue des États-Unis d’outils permettant de prédire quel type de crime pouvait être perpétré dans quel quartier et à quel moment. Outre qu’il s’agit là de police prédictive et non de justice prédictive, les deux démarches se distinguent également par le niveau de difficulté technique.

L’interprétation, par un humain ou par une machine, de traces GPS laissées derrière eux par des délinquants n’a rien à voir avec l’interprétation d’une décision de justice, qui passe par la compréhension du langage.

Le volume des décisions de justice et leur répartition statistique par type de contentieux sont deux facteurs de succès essentiels d’une application informatique de justice prédictive. L’analyse prédictive ne comporte pas seulement un risque de résultats aberrants pour des types de contentieux trop spécifiques pour permettre la constitution d’un corpus d’apprentissage suffisant. Elle risque aussi d’apprendre ce que l’on sait déjà pour des contentieux similaires en très grand nombre. Inutile, en particulier, d’utiliser l’apprentissage pour estimer des dommages-intérêts obéissant à un barème. Et même quand ce n’est pas le cas, des techniques classiques d’analyse sémantique et statistique peuvent donner des résultats satisfaisants : l’offre « Jurisprudence Chiffrée » de Francis Lefebvre, apparue en 2010, ne recourt pas à l’intelligence artificielle.
Où la justice prédictive sera-t-elle la plus utile ? Dans la masse des décisions qui ne sont ni trop spécifiques ni trop communes.

Un périmètre d’analyse difficile à délimiter

Les autres enjeux sont d’ordre méthodologique. Si, à un instant T, le volume des décisions d’un type de contentieux donné est suffisant pour réaliser une modélisation de qualité du raisonnement du juge, ni le volume du flux de décisions, ni le mode de raisonnement ne sont constants dans le temps. Au centre du raisonnement, on trouve la règle de droit, qui peut évoluer sous l’action du législateur. Mais un jugement est aussi imprégné de la doctrine et de l’air du temps, deux matières indicibles. Par exemple, il y aura sans doute un avant - et un après - affaire Weinstein dans les décisions des tribunaux en matière de harcèlement sexuel.

La common law ou les juridictions administratives en France ont une culture du précédent : deux décisions similaires n’ont pas la même valeur d’apprentissage, puisque la plus ancienne inspirera la plus récente dans la formulation du jugement. Cela signifie aussi que les décisions de ce type sont plutôt plus faciles à prévoir. La prévisibilité de la décision dépend également du degré de juridiction concerné. Si une décision est frappée d’appel, c’est qu’elle a été contestée, et que deux raisonnements juridiques s’affrontent. À plus forte raison, l’arrivée en cassation est la preuve d’une complexité que le moteur d’intelligence artificielle aura du mal à démêler. Une étude devrait néanmoins être engagée pour confirmer cette hypothèse, une fois que l’open data des décisions de justice sera achevé.

Quoi qu’il en soit, il faudra tenir compte des changements de législation et savoir structurer les métadonnées législatives et les arrimer chronologiquement à celles des décisions pour éviter des résultats rocambolesques. L’apprentissage de la machine doit donc être continu, ou, à tout le moins, périodique – tout comme celui de l’humain.

Toutes les décisions ne seront au demeurant pas mises à disposition en open data, ou pas intégralement. Très vraisemblablement, les jugements non prononcés publiquement y échapperont, tandis que les affaires sensibles, pour lesquelles le jugement n’est rendu qu’après débat en chambre du conseil, verront leur décision réduite au dispositif, du moins si la recommandation n°8 du rapport Cadiet est reprise dans le décret d’application de l’article 21 de la loi pour une République numérique. L’analyse prédictive sera à tout le moins délicate, sinon inopérante, sur cette catégorie de contentieux.

Si l’apprentissage de la machine est un processus compliqué, on peut le faciliter par l’emploi de métadonnées. Les décisions de justice pourraient être accompagnées d’un jeu d’attributs, qui seraient renseignés au fur et à mesure de la progression du contentieux : juridiction, type de contentieux, bénéfice de l’aide juridictionnelle, caractère individuel ou collégial de la décision, publicité réduite ou non au dispositif, instruments juridiques invoqués, etc. Ces attributs sont, pour la plupart, prévus dans la taxonomie ECLI, dont les bases ont été jetées par la Commission européenne dès 2011, mais ils sont largement restés dans l’ombre. Faute de métadonnées, comme c’est le cas aujourd’hui, la modélisation du raisonnement juridique s’appuie uniquement sur l’extraction de termes contenus dans le corps du texte, avec toutes les chausse-trapes de l’expression écrite et des conventions de rédaction propres à chaque greffe.

Vers un équilibre entre « justice active » et « justice passive »

Mais la critique académique porte aujourd’hui essentiellement sur la performativité. Ce terme désigne l’idée selon laquelle les résultats de la justice prédictive influencent le juge pour les décisions ultérieures. Il serait amené à prendre des décisions conformes à celles du passé, entretenant ce qu’on appelle en mathématiques un « retour à la moyenne » et, avec lui, d’éventuels biais discriminatoires.

Or l’analyse prédictive intéresse d’abord les avocats et les justiciables avant d’intéresser les juges. Si le justiciable, ou son avocat, déduit de cet outil que sa cause est perdue, il renoncera à une action, et le juge n’aura pas à se prononcer. Si au contraire l’analyse est à son avantage, il préfèrera sans doute recourir à l’arbitrage, pour autant que son type d’affaire y soit éligible. L’arbitrage, ou tout autre mode alternatif de résolution des conflits, n’étant pas une décision de justice, sa sentence n’entrera pas dans le circuit de l’open data et n’affectera pas l’apprentissage de la machine. Le risque de performativité ne concerne que les actions en justice faisant suite à une analyse de justice prédictive exécutée par le juge lui-même.

Enfin, on ne saurait oublier que l’information particulière, les préjugés, l’humeur, le stress, etc., pèsent aussi sur les décisions humaines. Parce que la machine n’aura pas fait l’apprentissage de ce « bruit », l’analyse prédictive devrait, non pas introduire un biais, mais aider à mettre en évidence ceux qui existent aujourd’hui.

Osons enfin un parallèle avec la théorie de la gestion indicielle en finance. En gestion d’actifs, on distingue la « gestion active », par laquelle le gérant choisit une valeur mobilière selon ses convictions, et la « gestion passive », où un automate achète les valeurs mobilières sous-jacentes à un indice dans des quantités proportionnelles à leur poids dans cet indice. La machine réplique ce que font les gérants « actifs », en moyenne. Les économistes s’interrogent depuis des décennies sur l’effet négatif que la gestion indicielle aurait sur l’efficience des marchés, puisque seuls les gérants actifs participent à la formation des prix. Mais un marché à 100% indiciel ne s’appuierait plus sur aucun prix : il ne peut donc pas exister. De la même manière, la justice prédictive aura besoin de jugements souverains pour fonctionner, et, pour performative qu’elle soit, elle n’empêchera pas que le juge continue à rendre la justice.

On notera que la gestion indicielle représente 20% des actifs gérés et qu’elle offre à l’épargnant un moyen simple et bon marché d’investir. Pour poursuivre cette comparaison un brin provocante, peut-être l’arbitrage détiendra-t-il 20% du « marché » de la justice, correspondant au segment des justiciables cherchant un moyen simple et bon marché de résoudre leur conflit. Il resterait tout de même 80% au système judiciaire. Ne doutons pas que la recherche s’intéressera, pendant les années ou les décennies à venir, à la mesure des biais, performatifs ou non, du nouveau paysage de la justice…

Bruno Mathis, Chercheur associé au Centre européen de droit et d\'économie.