De entre los mayores avances propios de la Cuarta Revolución Industrial, en el sector público destaca la aplicación de Inteligencia Artificial (IA) en Justicia. En este sentido, en el mundo existen algunos casos notorios, como los jueces robots de Estonia, y sus pares chinos. Pero lo que levantó polvareda es, sin dudas, el algoritmo que se usa en varios distritos de Estados Unidos: COMPAS. Mientras tanto, aquí en la Ciudad de Buenos Aires, hace dos años que se implementa un programa llamado Prometea. Veamos.
Desde el Ministerio Público Fiscal de CABA, donde se aplica Prometea, y apoyados en los expertos del Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la UBA (IALAB) se impulsa la utilización del mencionado sistema, automático y predictivo, respaldando su uso en que “es el único software de automatización de la Justicia respetuoso de los Derechos Humanos”.
Así lo afirma Juan G. Corvalán, creador del sistema, y una de las máximas autoridades judiciales porteñas (Fiscal General Adjunto – CABA). En la literatura publicada por el IALAB se enfatiza que, habiendo sido creado en el Estado porteño, y con sólidas bases democráticas, Prometea no es un juez robot ya que la decisión última siempre es humana. Al mismo tiempo, se subraya que Prometea es entrenado diariamente para controlar cualquier sesgo algorítmico.
Su efectividad del 96%, su eficiencia (Prometea puede resolver en 4 minutos un expediente que llevaría semanas de trabajo humano) y su interfaz amigable e intuitiva, hacen que el sistema sea un atractivo digno de mención. De hecho, en la Cumbre Iberoamericana de Inteligencia Artificial que se desarrolló en la sede del MIT, en Boston, Prometea fue presentado como la perla de la región.
Sin embargo, a poco de andar, es posible escuchar voces que sugieren prudencia en relación con cualquier intento de digitalizar decisiones humanas tan delicadas como la de impartir justicia. Y eso viene a cuento del famoso caso COMPAS, de Estados Unidos. Repasemos el tema.
En 2016, y a partir de un caso resonante en el Estado de Florida, comenzó un debate áspero acerca del uso del software propietario llamado Correctional Offender Management Profiling for Alternative Sanctions, cuyo acrónimo es COMPAS.
El sistema funciona elaborando un cuestionario de alrededor de 250 preguntas a los imputados por delitos penales. Una vez que ellos responden, el algoritmo, entrenado para encontrar patrones, clasificar y predecir comportamientos, arroja un porcentaje de probabilidades de reincidencia del acusado.
Considerando ese coeficiente, el juez actuante puede decidir si le otorga, al presunto delincuente, el beneficio de la libertad condicional o bajo fianza, mientras el proceso judicial continúa; o, en su defecto, si le dicta prisión preventiva.
El problema es que, según un informe elaborado ese año por la corte de Wisconsin, en el Estado de Florida, si se compara un hombre negro con uno blanco imputados por la comisión del mismo delito en circunstancias similares, COMPAS arroja probabilidades de reincidencia siempre desfavorables para los afroamericanos. Concretamente, subrayan que existe un 45% de posibilidades de que COMPAS crea que el hombre negro reincidirá. Y esta es la chispa que encendió el escándalo.
Más aún. Algunos investigadores norteamericanos afirman que, en verdad, COMPAS no es el que discrimina. Puesto que el sistema hace estadística sobre una base de datos que los juristas le cargaron, habría que poner el ojo en el accionar policial de Florida: si la policía es racista y detiene, con racismo, más negros que blancos, los datos de los que el sistema parte, ya están sesgados; COMPAS siempre reproducirá esa discriminación en sus predicciones. Luego, claro, es posible inferir que, algunos jueces, también racistas, se apoyen en COMPAS para perjudicar a los negros en sus decisiones.
De allí devino, como en cascada, todo un descrédito acerca del sistema judicial, el accionar de los jueces, su excesiva independencia que impide auditar las sentencias, etcétera.
Ahora bien. ¿Cuál es el límite de la desconfianza que podemos manifestar frente a una institución democrática como la Justicia, sobre todo mientras no tengamos algo claramente mejor que proponer? El poder judicial -supo explicarme Mario Adaro, Juez de la Corte Suprema de Justicia mendocina, en una entrevista publicada en ambito.com hace unos meses- es basamento último de toda organización democrática.
Los jueces llegan a serlo validando sus criterios y saberes en una carrera académica y profesional llena de evaluaciones y concursos. Al mismo tiempo, en Argentina, el derecho que aplicamos no admite que la jurisprudencia sea condicionante de la sentencia que un juez debe dictar. En cambio, en Estados Unidos, sí se considera que una de las fuentes del derecho es el Common Law –N de R: la ley de la costumbre, derivada de la casuística– porque ellos heredan principios de Gran Bretaña, donde esto se aplica.
Comprendiendo este detalle técnico, avancemos intentando pensar la problemática de aplicar un sistema informático predictivo en la Justicia argentina, para luego analizar la cuestión, nuevamente, en el plano internacional.
Para nuestros jueces, los casos anteriores que versan sobre un mismo tema no necesariamente son tendencia, ni deben ser considerados como criterio a la hora de decidir. Si cien magistrados, ante un hecho similar, condenaron al acusado, en el caso 101 la decisión puede ser otra. En nuestra ley, lo único que cuenta en una decisión judicial es el criterio experto del juez al interpretar la norma.
Sin embargo, es cierto que, buscando ser consistentes, o coherentes, en el derecho se tiene en cuenta la doctrina, que explica por qué en ciertos casos sobre determinadas temáticas los jueces vienen fallando de tal o cuál forma. Se trata de la teoría del derecho aplicado. Esa información habitualmente es publicada, y resulta útil ante cada caso nuevo porque expresa de qué modo, anteriormente, otros jueces aplicaron la norma. La doctrina y la jurisprudencia no son vinculantes, pero vale tenerlas en cuenta.
En ese marco, con la IA aparece la posibilidad de utilizar sistemas informáticos que, entrenados con casuística, encuentran patrones de coincidencia entre casos y fallos, y predicen comportamientos humanos. Digamos que orientan al juez, o, al menos, lo ayudan haciendo inferencia estadística: crear hipótesis generales a partir de un número representativo de hechos. Corvalán, en varios artículos publicados, destaca esta cualidad de Prometea: “uno de los problemas que quisimos resolver con Prometea es la disparidad de fallos frente a un mismo hecho (…) es muy desalentador para el ciudadano recibir dos respuestas distintas por parte del Estado, frente al mismo problema”.
En tanto procedimiento científico, la física, la medicina, la biología, la química hacen inferencia estadística. Y, en todas ellas, funciona bastante bien. Ya que interesa un mayor nivel de consistencia en las sentencias, ¿por qué no usar ese criterio en la justicia?
De hecho, lo hacemos nosotros cotidianamente, porque es parte del modo en que nuestro sistema cognitivo se relaciona con el mundo. Si sabemos que un tiburón de cierta clase mató a un hombre en el mar, probablemente no nos refrescamos en aguas donde hay de esa clase de peces.
Sólo con un caso ya inferimos posibilidades, porque uno es más que cero. Incluso, empieza a ser probable que todos los de su clase sean peligrosos para las personas y nos cuidamos de ellos. Si supiéramos de muchos casos, ni que hablar.
Entendemos que esa evidencia no puede justificar una ley matemática, formal, eternamente inmutable; quizá algún tiburón de la misma clase que los otros, es bueno. Pero nos manejamos con tendencias, con probabilidades, y preferimos evitarlos, si vamos al mar. Así son las ciencias empíricas. No parten de axiomas, sino de leyes que se crean analizando un número representativo de casos cuyas variables se intenta conectar con hipótesis, que luego son contrastadas con la realidad.
Bueno, eso es lo que hoy se discute en el mundo en relación con la IA en la Justicia. COMPAS fue entrenado con datos de una muestra que se supone representativa del universo de casos sobre un determinado delito. Si ese universo fue bien representado por la muestra, y en ella se observa la tendencia de que los hombres afroamericanos reinciden en la comisión de ciertos delitos si se los deja en libertad bajo fianza, COMPAS arroja un resultado probabilístico que aconseja no conceder libertad condicional. No afirma una verdad inmutable, sino una probabilidad.
Claro que cierto porcentaje menor de casos no siguen la tendencia. Allí debemos confiar en el criterio de quien ocupa el cargo. Incluso, COMPAS –como Prometea– mejora la capacidad del juez de hacer estadística, porque compara una cantidad de fallos que ningún ser humano puede comparar, y lo hace en minutos. Pero, aun así, el juez está capacitado para no seguir el consejo del programa.
En una reciente charla con Lorena Jaume – Palasí, filósofa catalana creadora de Algorithm Watch, una de las organizaciones mundiales de mayor prestigio en la materia, ella señala que la IA en la Justicia permite tener datos de lo que se hace. De hecho, destaca que gracias a COMPAS se supo algo respecto del racismo de la justicia en Estados Unidos.
Pero, por otro lado, pone el énfasis en la gobernanza de cualquier sistema informático de estas características: “la tecnología en la Justicia puede ser buena pero depende de quién la controla, a quién se le rinden cuentas, cómo se documentan los casos en que el sistema falla”. Parece sensato, sobre todo considerando que, según ella, la independencia del Poder Judicial en los sistemas democráticos genera que, como en Francia, no se pueda hacer ninguna clase de estadística sobre las decisiones de los jueces.
No obstante, es bueno hacer foco en un tópico que hoy comienza a ganar visibilidad: el abuso de la estadística.
Si el problema de la sistematización de un algoritmo parte de que los datos con los que trabaja están sesgados, entonces hay que ahondar en esos datos. Quienes hoy ponen el grito en el cielo hablando de COMPAS, señalan, como quedó dicho más arriba, que todo parte del accionar policial del Estado de Florida. Afirman que la policía es racista, y actúa con intención de perjudicar a los negros.
¿Qué evidencia hay al respecto? En las mismas piezas periodísticas revisadas para sostener este trabajo, no aparece sustentada esta hipótesis. Y he allí uno de los problemas de la abundancia de los datos, el exceso de estadística, la pseudociencia y la ideología.
Cuando se trata de grupos identitarios o de pertenencia (evitando usar el término colectivos hoy ya viciado ideológicamente) la actual era de los datos se ensambla con la era de las víctimas: cualquier grupo reunido alrededor de determinadas cualidades presiona socialmente para defenderse usando datos, porque hoy abundan; pero el problema es que hacer ciencia es más que recabar datos. Primero, hay que saber recabarlos, y luego hay que explicarlos.
Si en el Estado de Florida diariamente se detienen 10 hombres por el mismo delito; y 7 de ellos son negros, mientras que sólo 3 son blancos, de allí no se deduce ni es posible inferir discriminación alguna. Hay que probar que esos números reflejan la animosidad de la policía. Eso es ciencia: tomar hechos, compararlos, agruparlos, clasificarlos, aislar variables e intentar hipótesis que los vinculen, para luego hacer la parte más difícil: corroborar que se verifica la relación lógica supuesta.
En este sentido ¿cómo sabemos que esos 7 negros y 3 blancos no son ni más ni menos que lo que surge del trabajo de la policía, digamos, objetivamente? Para hablar de racismo hay que salir al terreno y observar dicho accionar, y ver si, por ejemplo, cuando un blanco delinque hacen la vista gorda y/o detienen negros sin razón que lo justifique. Hay que constatar la malicia –al menos la impericia– de los policías, porque, de lo contrario, hacemos pseudociencia.
Lo mismo aplica a otros tantos debates actuales, tan desgastantes y estériles si no se los enfoca con inteligencia y honestidad: todos los planteos del feminismo radical, por caso. No basta con apuntar, estadísticamente, que un porcentaje menor de los cargos directivos de empresas está ocupado por mujeres. Hace falta probar que eso fue hecho adrede, en forma consciente, sistemática o voluntaria.
Algo similar ocurre con el auge de las tecnologías digitales. A cada cuatro pasos uno se topa con declaraciones que instan a incorporar mujeres a los laboratorios de programación; y, cada tanto, alguien recuerda que en las escuelas técnicas ya hay un porcentaje menor de mujeres. Eso se refuerza en las ingenierías, y luego en el mercado de trabajo. Aludir al patriarcado como gran fantasma que todo lo manipula desde la sombra, es de ideólogo fascista, estilo Althusser.
Parce más sensato comprender que a las mujeres les gustan menos algunas cosas, como ocurre, desde luego, a la inversa, y nadie se alarma. “Los números -señaló Mara Balestrini, CEO de Ideas For Change en otra nota- son el qué. Luego, hay que ver el cómo”. Juntando ambas cosas, hacemos ciencia. Y eso es fundamental para sostener argumentos políticos sobre sólidas bases.
En la Justicia debemos pensar igual: el problema de los sesgos matemáticos nos lleva, rápidamente, a pensar en los prejuicios. Y ellos, más allá de su mala prensa, son indispensables para llevar adelante nuestra vida; hacemos nuestra propia inferencia estadística todos los días, según las experiencias que vivimos. No es malo, es natural. Así funciona nuestro aparato cognitivo.
Empero, se supone que un juez está capacitado para lograr el máximo de objetividad en sus consideraciones éticas. La IA no es más que un bastón, una apoyatura, una herramienta. El humano experto es el que toma las decisiones, y en eso COMPAS no es distinto que Prometea: el saber, la experiencia, y, por qué no, la auditoría que propone Palasí, desarrollada sin sesgos ideologizantes, deberían ser los parámetros que hagan una Justicia mejor cada día.
Por lo demás, negarse al avance de la tecnología, no parece la postura más inteligente. Servirse de la ciencia aplicada para ser mejores, eso suena mejor.