Al final de la primera part, vam deixar clar que la burocràcia vol automatitzar l’Estat tant com pugui per qüestions d’eficiència, tal com assegurava Velsberg, amb l’objectiu final d’eliminar tot element humà: deixar que les màquines segueixin les regles absolutes del funcionariat. Encara que ja vam veure perquè això és complicat, si no impossible, en aquesta part tractarem de veure com de prop pot estar l’algocràcia i si és o no inevitable.
Un exemple d’algocràcia, relativament benigne però que encara així ha tingut polèmica, és el dels exàmens d’accés a la universitat al Regne Unit en 2020. Aquest cas no concerneix la política a nivell governamental, però sí al públic, a la justícia i la igualtat entre ciutadans. Durant la quarantena de març a juny de 2020, la falta d’atenció dels professors sobre els seus alumnes a Europa va portar al fet que es prenguessin mesures diverses, des de la proposició d’un aprovat general a canvis que s’han materialitzat en la nova llei d’educació LOMLOE a Espanya; però el cas britànic va ser particular, ja que es va demanar als professors que valoressin de manera justa als seus alumnes i prediguessin quina nota els haurien posat a final de curs. Aquesta nota seria estandarditzada en comparació amb la resta d’alumnes del curs i les notes d’altres alumnes que haguessin fet el mateix curs (Ofqual, 2020). En conjunt les notes estandarditzades van ser menors que les valoracions dels professors en un 36% dels casos (BBC, 2020).
Però l’estandardització ocorria només quan les classes tenien una grandària de 15 o més alumnes; en aquelles amb menys, la nota no s’estandarditzava, sinó que era la valoració dels professors. El problema sorgeix quan això es connecta a l’existència de classes petites en col·legis privats o de ràtios d’estudiants/professor molt menors en barris rics; aquells amb més diners tenen més facilitats de tenir una nota que no passés per l’estàndard, sinó que era la que dictés el professor, augmentant les possibilitats que entressin en la universitat que volguessin sobre uns altres potser més aptes. Un altre problema dels algorismes al govern.
A nivell legal, Lord Falconer, Secretari de Justícia en l’ombra, explicava que l’algorisme violava diverses lleis (Elgot & Adams, 2020). A nivell ètic, el problema no resideix en el que l’algorisme considera, sinó en el que no considera, i recau en el mateix problema a doble nivell que ja hem explicat amb COMPAS: tracta d’estandarditzar valoracions parcials sense tenir en compte que l’algorisme tampoc és imparcial, sinó simplement cec i propens a reproduir les parcialitats humanes.
Però també hi ha exemples més distòpics, com el difamat sistema de crèdit social implementat a la República Popular de la Xina, potser el més pròxim a un sistema de algocràcia social. El sistema de crèdit té en compte accions del ciutadà, tant negatives (creuar un semàfor en vermell, fumar on està prohibit) com a positives (donar sang, donar suport al govern), a través de diversos dispositius tecnològics com les càmeres amb reconeixement facial a través d’algorismes i tecnologia big data. De les conseqüències d’això s’ha discutit bastant: des de prohibir viatges amb tren o avió a aconseguir millors llocs en l’administració o l’educació dels fills; prohibicions que ja han ocorregut en sistemes autoritaris anteriors, però que són encara més fàcils de dur a terme amb tecnologia i algorismes.
Per descomptat, el sistema és molt més complicat, com admet Matsakis (2019), i molt menys avançat i orwel·lià del que alguns creuen. Però ja han aparegut implicacions no sols legals sinó també filosòfiques. El sistema ha estat fortament criticat des d’Occident per ser una violació del principi de rule of law, i fins i tot des de la Xina, com explica Kui (2019), qui admet «les dificultats a l’hora de construir un sistema estàndard de crèdit social» que siguin compatibles amb drets fonamentals. Però fins que punt viola el rule of law el sistema xinès? Una decisió presa pel govern i executada per l’Estat no és il·legal, sinó que segueix la llei, però, no obstant això, pot violar principis que van més enllà de la legalitat, entrant en el debat de la filosofia política sobre si existeixen uns drets fonamentals i ahistòrics (com pot defensar el liberalisme) o si el que decideixi la comunitat ha de ser llei (com defensa el comunitarisme). És d’especial interès l’article de Kostka (2019), qui explica que el sistema ha sigut ben rebut entre els ciutadans xinesos, argumentant que ho interpreten com una prova d’honestedat al ciutadà en lloc d’una violació de la privacitat.
Abans de concloure amb algunes consideracions, uns últims exemples: primer, Cybersyn, projecte xilè que va ser planejat durant el (curt) govern de Salvador Allende. Cybersyn va ser un sistema de processament de dades trencador per a la seva època (entre 1971 i 1973), que tenia l’objectiu de rebre les dades de diverses fàbriques d’empreses estatals (com els inputs necessaris i els outputs a produir, a més de les ràtios de producció dels treballadors) en el curt termini, processar-los a través de programari estadístic i tornar a manar-los a les fàbriques. Al cap i a la fi, no era un sistema tan diferent de la resta d’empreses del món (els treballadors comuniquen una informació de baix a dalt i els directius donen ordres sobre la base d’aquesta informació de dalt a baix), però el processament de dades gairebé instantani és el que el separava (i continua separant) d’altres empreses. Com la resta d’avanços del govern d’Allende, Cybersyn cauria amb el cop d’estat de Pinochet, però la seva idea no moriria: amb altres avanços teòrics en la cibernètica soviètica, inspiraria als enginyers computacionals i socialistes Paul Cockshott i Allin Cottrell (1993, 86-88). En la seva obra, Cockshott i Cottrell tenen com a objectiu demostrar la viabilitat d’una economia planificada i democràtica sobre la base dels avanços cibernètics recents i els sistemes de programació lineal del matemàtic Leonid Kantorovich. Si bé les seves idees han sigut criticades des de cercles de l’esquerra per pressuposar un capitalisme d’Estat amb l’únic avanç de la cibernètica, les possibilitats que pot obrir la cibernètica en l’economia en una futura algocràcia són dignes d’estudi, reconeixement i discussió.
Per a concloure, tornem a l’actualitat: COVID19, algocràcies i el futur. Diversos sistemes de rastreig de positius a través de la tecnologia (ubicació, dades, etc.) poden encaixar en el concepte d’algocràcia en suposar l’ús de la informació que es pressuposa privada pels poders públics darrere d’un bé col·lectiu. Però aquests sistemes han sigut criticats per suposar una invasió de la privacitat de l’individu: quin dret té el govern a conèixer la ubicació del meu mòbil per a saber si he entrat en contacte amb un positiu? Fins a quin punt és invasiu? I, més important encara, estableix un precedent? El control sobre la població amb mitjans de coerció indirecta, és a dir, no violenta (com la tecnologia), ha sigut estudiat per teòrics polítics i filòsofs des de Foucault, però algunes veus assenyalen que pot tornar-se més intens davant un possible col·lapse eco-social. En aquest cas, argumenten que unes certes decisions preses a la lleugera com la violació de drets fonamentals (com el dret a la privacitat a una algocràcia) estableixen precedents per a altres casos molt pitjors en els quals el govern pugui al·legar que aquestes mesures són necessàries per a preservar el bé col·lectiu. En conjunt, el que podem dir és que les mesures preses en l’actualitat poden afectar-nos en un futur i, per això, no haurien de ser preses a la lleugera.
A l’hora d’arribar a les conclusions, hem de dir que l’algocràcia és una forma més de configurar l’Estat, canviant una burocràcia tradicional, humana, per una digital i mixta o directament només controlada per algorismes. Els algorismes, com a tal, són una eina: són creats per un humà i, per tant, contenen les seves subjectivitats, llavors no es pot esperar d’ells un comportament objectiu i imparcial, sinó simplement cec. Per això, cal vigilar l’automatització de l’Estat; cuidar-nos de què no violi els nostres drets i llibertats fonamentals i exigir la màxima transparència possible. A més, el govern ha de respondre sobre els seus algorismes i, per això, és previsible un consens a la UE, que ha sigut, de manera consistent al llarg de la seva història, l’organització més avançada en termes de regulació de tecnologia i dades (Ebers & Cantero Gamito, 2021).
Respecte a les consideracions legals, la introducció de la justícia algorítmica en el poder judicial ha de ser vigilada amb especial cura als països que segueixin sistemes de common law, donada la propensió que pot tenir l’algorisme a reproduir injustícies passades. Però a nivell general, es torna a repetir el fonamental: transparència i, abans de tot, responsabilitat governamental respecte a l’algorisme.
A nivell ètic i filosòfic, hem de qüestionar i examinar si la implementació d’algorismes és justa i necessària o no –no automatitzar per fer una burocràcia més eficient. Els algorismes han d’estar al servei de la ciutadania, no de l’Estat com a tal. I, de nou, hem de vigilar la defensa de drets i llibertats que gaudim, sempre amb la perspectiva que no hem de donar-los per descomptat –ni en el present ni en el futur.
I finalment, podem respondre a les dues preguntes que plantegem al començament de l’article. Primer, una algocràcia presta moltes i diferents formes, des d’organismes de control pròxims més benignes (COVID19 a Occident) o més autoritaris (el sistema de crèdit social xinès, COMPAS) a eines de e-government (Estònia, Ofqam) i fins i tot projectes d’economia estatal (Cybersyn, el projecte de Cockshott i Attrell), però també molt més que, potser, encara no podem imaginar. I també hem vist que l’algocràcia no és un projecte futurista a llarg termini, sinó que es troba ja implementat (o en vistes d’implementar-se) a molts Estats; de fet, enguany es compleixen 50 anys de l’inici del projecte xilè de planificació econòmica. Però l’algocràcia encara està per venir i encara podem canviar perquè s’apliqui pel benefici públic. Com tot algorisme, l’algocràcia és una eina que pot ser utilitzada de diferents maneres. Com s’utilitza ho haurem de decidir nosaltres.
