justicia algoritme

Justícia, crim i màquines. Governança algorítmica i algocràcia (I)

Fa uns dies el Fòrum Econòmic Mundial (2021a) feia públic un «manifest millennial» que destacava entre els seus punts la cerca de canvis en el sistema a través de l’acció col·lectiva. Un punt que sona radical i trencador per venir dels «homes de Davos», una petita elit sovint criticada per la falta de transparència en les seves finances (Busse, 2017) o per la instrumentalització de la seva institució com a arma política o lobby (Delivorias, 2016). En la seva versió ampliada, un informe elaborat a partir de conferències, entrevistes i enquestes a més de dos milions de joves a tot el món, es descobreixen detalls que no apareixen en la nota de premsa: es recomana que els canvis, que concerneixen la transició digital de la política, vinguin des de fora (a través de la filantropia (World Economic Fòrum, 2021b, 18)) i no des de dins de les institucions. Per exemple, es parla d’un estàndard ètic sobre la tecnologia comú a totes les empreses (ibíd., 26-28), la introducció d’una Convenció de Ginebra per a la ciberseguretat (ibíd., 18) o la major confiança dels joves en un govern operat per intel·ligència artificial que en un governat per polítics (ibíd., 5). Aquest últim punt és el més interessant i és el que explorarem en les dues parts d’aquest article. La primera i present actuarà com a introducció i tractarà tant la terminologia com dos casos relatius a processos judicials i algorismes. La segona tractarà la possible inevitabilitat de l’algocràcia amb exemples passats i presents.

No es pot evitar el fet que la política i els polítics provoquen cada vegada més desafecció entre els joves. Encara que això no sigui res nou, sí que és fonamental entendre que el fracàs dels «moviments de les places» (Endnotes, 2013) com Occupy Wall Street als EUA, la Revolució blanca a Egipte o el 15-M a Espanya i la transformació a les seves subseqüents manifestacions polítiques (Unidas Podemos) són l’agreujant que gran part de la joventut no confiï en la democràcia. De fet una part considerable de la població preferiria estar governada per una IA que per un polític de carn i ossos. No discutirem el perquè d’això, sinó les conseqüències que pot tenir aquest govern d’algorismes: com seria una «algocràcia» i què lluny estem d’ella?

Entrem en terminologia; primer, definicions comunes a la ciència política; segon, definicions derivades relatives a la tecnologia. Des d’un principi hem de diferenciar entre Estat (Mark Bevir (en Caminal, 2004) defineix l’Estat com una forma d’organització social que concentra el poder en un espai petit i que precisament per això ha evolucionat com a dominadora de la resta d’organitzacions socials) i govern (on està concentrat el poder, incloent en conjunt els poders públics la funció dels quals és dirigir a l’Estat (ibíd., 427-430)); i després entre govern i governança (o govern relacional, que Bevir (2012) defineix com els processos de govern sobre organitzacions privades com a famílies o tribus a través de lleis i normes, i no sempre amb la coerció de l’Estat). Podem dir que l’Estat conté a l’administració i el govern i, de manera jeràrquica, de dalt a baix, les decisions del govern manen sobre el funcionariat; mentrestant, la governança és l’activitat entre els actors civils i els poders públics a través de l’Estat.

Com ampliem això a la tecnologia? Aquests tres termes (Estat, govern, governança) se solen barrejar en una sola contrapart digital: algocràcia, terme encunyat pel sociòleg Aneesh Aneesh. Aneesh (2006) contraposa l’algocràcia a la burocràcia estatal tradicional, ja que tant l’algorisme com el funcionari segueixen la mateixa funció des del punt de vista del govern: acatar les seves ordres i actuar com a eina de l’Estat. No obstant això, un algorisme és cec, tot i que no imparcial. És cec ja que no considera el cas, sinó que és implacable, i per això és norma absoluta en el sentit que no considera cap particularitat. És parcial, però, en el sentit que no s’ha creat a si mateix, no s’ha dotat d’objectivitat. No està fora del sistema, sinó que reprodueix la subjectivitat i parcialitat del seu creador. Per això, tot algorisme ha de ser examinat a fons, per valorar si la seva subjectivitat pot ser nociva per a un o més col·lectius, o per a tota la societat, com observarem d’ara endavant: a qui afecta l’algorisme? Com podem (si hem de) remeiar-ho?

Una última nota sobre terminologia abans de continuar: e-democracy, e-government i e-governance no han de ser llançats en el mateix sac que l’algocràcia, encara que tinguin coses en comú. L’e-democracy és una forma de govern més que advoca per la democràcia directa i digital i que va ocupar titulars durant el 15-M, encara que avui dia a Europa sigui residual sota el Movimento 5 Stelle italià i algunes propostes a Estònia. És completament aliè a l’algocràcia, perquè l’algocràcia pot existir amb models electorals tradicionalsl’e-democracy pot donar-se amb burocràcia tradicional. Són dues esferes que no tenen per què superposar-se. D’altra banda, l’e-government és qualsevol forma de connexió entre govern i altres actors (o el govern mateix) per mitjans electrònics, com la publicació de resolucions de beques per internet; en això entra l’e-governance, eines que faciliten l’e-government com el DNI electrònic.

L’algocràcia no està tan lluny. De fet, es pot dir que la majoria de països occidentals ja tenen petites components d’algocràcia en les seves burocràcies; comencem amb l’exemple del sistema COMPAS, que ja discutim en la nostra introducció a l’ètica algorítmicaCOMPAS és un algorisme que té l’objectiu de donar suport a les decisions penals calculant la probabilitat de reincidència d’un (possible) condemnat: com més gran sigui la probabilitat, major serà la condemna proposada. Que això sembli desproporcionat és normal: les variables que utilitza l’algorisme (edat del primer arrest, problemes en el sistema educatiu, cooperació amb la policia) proposen un problema en dos nivells: primer, com se suposa que és COMPAS un sistema imparcial i cec si les seves valoracions depenen de valoracions donades per humans que no són ni imparcials ni cecs? Segon, per què l’enginyer darrere de l’algorisme ha triat aquestes variables i no altres? Però el problema fonamental, i que separa a COMPAS d’altres casos, és el de la privacitat: les dades que usa l’algorisme són dades a les quals no podem negar el consentiment atès que són de domini públic.

Això ho separa, per exemple, de la prova pilot de la IA jutgessa a Estònia (Niiler, 2019). Estònia té un llarg historial (gairebé dues dècades) de serveis digitals, com un ID electrònic, vot per internet o pagament d’impostos, però a principis de 2019 va fer un salt qualitatiu amb una prova pilot d’un jutge basat en IA per a casos petits, com a contractes on les demandes no superessin els 7000€. El sistema és aquest: demandant i demandat pugen els documents rellevants al cas i presenten les seves al·legacions, la IA (que és en essència un chatbot) cerca entre els documents legals relatius i presenta la resolució del cas. Encara que tots dos tenen un objecte comú (la justícia i la digitalització del poder judicial), i fins i tot l’exemple d’Estònia va més enllà de l’americà (mentre que COMPAS és un algorisme de suport i recomanació, en la prova pilot estoniana la IA decidia i resolia per si mateixa, encara que després podia ser apel·lada davant un jutge), el cas estonià no és tan invasiu com l’estatunidenc. Mentre que a Estònia es requereix una acció positiva (estar d’acord amb el sistema d’IA i donar el consentiment amb la pujada dels contractes), als EUA no és necessari estar d’acord perquè el sistema penal faci la seva part.

Això ja ens deixa amb alguns punts fonamentals de l’algocràcia que són comuns a l’ètica algorítmica general: consentiment de les dades, publicitat de la informació i transparència dels algorismes. No obstant això, hem de seguir alerta: fins i tot en el cas d’Estònia, l’encarregat de la implementació de la jutgessa IA i altres diversos sistemes relatius als algorismes, Ott Velsberg, ja avisa que l’objectiu és «eliminar l’element humà» de la justícia (Shelton, 2019), el que ens recorda novament que l’algorisme no és més que una cristal·lització d’una subjectivitat del creador. A més, diversos acadèmics ja han mostrat les seves reserves respecte als dilemes legals que pot presentar l’ampliació dels algorismes a la justícia no sols com a recomendadors (Kerikmäe & Pärn‑Lee, 2020). Un altre problema que pot presentar una intel·ligència artificial en sistemes de common law (cosa que al Mediterrani i altres països basats en el dret romà no afecta, però en el món anglosaxó sí) és que les resolucions reprodueixin injustícies passades (Park, 2020): en el sistema de common law la jurisprudència té primacia sobre la llei, llavors els precedents legals (resolucions de jutges humans) influeixen en els casos actuals i futurs (resolucions d’IA). Això frustraria un dels objectius fonamentals de la justícia algorítmica, i potser de l’algocràcia en general: eliminar les injustícies que sorgeixen de les parcialitats humanes.


Aneesh, 2006: Aneesh, A. (2006). Virtual Migration. Darhom: Duke University Press.
Bevir, 2012: Bevir, M. (2012). Governance: A very short introduction. Oxford: Oxford University Press.
Busse, 2017: https://www.sueddeutsche.de/wirtschaft/davos-das-weltwirtschaftsforum-ist-zu-einer-geldmaschine-geworden-1.3334817
Caminal, 2004: Caminal, M. (Editor). (2004). Manual de Ciencia Política. Madrid: Tecnos
Delivorias, 2016: https://www.europarl.europa.eu/RegData/etudes/BRIE/2016/573928/EPRS_BRI(2016)573928_EN.pdf
Endnotes, 2013: https://endnotes.org.uk/issues/3/en/endnotes-the-holding-pattern
Niiler, 2019: https://www.wired.com/story/can-ai-be-fair-judge-court-estonia-thinks-so/
Kerikmäe & Pärn‑Lee, 2020: https://link.springer.com/content/pdf/10.1007/s00146-020-01009-8.pdf
Park, 2020: https://hir.harvard.edu/your-honor-ai/
Shelton, 2019: https://www.abc.net.au/news/2019-06-16/estonia-artificial-intelligence-technology-robots-automation/11167478
World Economic Forum, 2021a: https://www.weforum.org/agenda/2021/08/the-millennial-manifesto-outlines-principles-for-an-inclusive-future/

Total
0
Shares
Related Posts
Total
0
Share