Transparència del algoritmes públics en la Comunitat Valenciana

La jornada sobre el dret a saber i la transparència algorítmica ha sigut organitzada per ACICOM i la Càtedra Pagoda de la Universitat de València. L'esdeveniment compta amb la participació d'experts com Lorenzo Cotino, Rosa Cerdà i Enrique Sánchez els qui analitzen l'ús d'algorismes en el sector públic i la necessitat de garantir la transparència en la seua aplicació.

Punts principals de la jornada

• Els algorismes poden perpetuar o amplificar la discriminació: Si les dades utilitzades per a entrenar un algorisme contenen biaixos, l'algorisme pot replicar i amplificar estos biaixos, portant a decisions discriminatòries. És crucial que la ciutadania tinga accés a la informació sobre les dades utilitzades i els possibles biaixos detectats durant el desenrotllament de l'algorisme.

• Control i supervisió ciutadana: La transparència algorítmica permet que la ciutadania puga supervisar i controlar com les administracions públiques utilitzen els algorismes. Això pot ajudar a identificar possibles abusos o usos inadequats de la tecnologia, i a exigir responsabilitats en cas que es produïsquen.

• Garantir l'explicabilidad i interpretabilitat de les decisions: La transparència no sols implica conéixer quin algorisme s'utilitza, sinó també com funciona i quins criteris s'utilitzen per a prendre decisions. Els ciutadans tenen dret a comprendre com els algorismes influïxen en les seues vides i a qüestionar les decisions que es prenen amb base en ells.

• Enfortir la confiança en les institucions públiques: La transparència algorítmica pot contribuir a augmentar la confiança de la ciutadania en les institucions públiques. Quan la ciutadania se sent informada i pot comprendre com es prenen les decisions, és més probable que confie en el procés i en les autoritats.

Reptes per a la implementació de la transparència algorítmica

• Complexitat tècnica: Explicar el funcionament dels algorismes a la ciutadania pot ser un desafiament. És necessari trobar maneres de fer que la informació siga accessible i comprensible per al públic en general, sense caure en simplificacions excessives o tecnicismes.

• Protecció de la propietat intel·lectual: Les empreses que desenrotllen algorismes per a l'administració pública poden ser poc inclinades a revelar informació que consideren confidencial. És necessari trobar un equilibri entre la transparència i la protecció de la propietat intel·lectual, garantint que la ciutadania tinga accés a la informació necessària sense posar en risc els interessos comercials legítims.

• Recursos i capacitats: Implementar la transparència algorítmica requerix recursos i capacitats tant en l'administració pública com en la societat civil. És necessari formar als funcionaris públics perquè puguen explicar el funcionament dels algorismes i respondre a les preguntes de la ciutadania, i també és important fer costat a les organitzacions de la societat civil que treballen en la supervisió i el control de l'ús de la IA.

La transparència algorítmica no és una fi en si mateix, sinó un mitjà per a garantir que la IA s'utilitze de manera justa, ètica i responsable en el sector públic. És un procés continu que requerix la participació de tots els actors: l'administració pública, les empreses, l'acadèmia i la ciutadania.

Registre d'algorismes públics:

La Comunitat Valenciana s'ha posicionat com a pionera a Espanya i Europa en establir una llei que obliga l'administració pública a registrar els algorismes que utilitza. Este registre busca informar la ciutadania sobre quins algorismes s'estan emprant, el seu funcionament i les dades que manegen. L'objectiu final és garantir la transparència en l'ús de la IA en el sector públic i protegir els drets dels ciutadans.

Complexitat en la implementació del registre

No obstant això, la posada en marxa del registre s'ha retardat a causa de diversos factors.

• Delimitar l'abast: Un dels principals desafiaments és determinar quins algorismes han d'incloure's en el registre. La llei inicialment contemplava tant sistemes d'intel·ligència artificial com algorismes, la qual cosa va portar a una saturació, ja que l'administració utilitza una gran quantitat d'algorismes en els seus processos. La reforma de la llei intenta delimitar el registre als algorismes de major risc, com els utilitzats en àmbits policials, judicials, d'identificació biomètrica i en sectors com l'educació i la salut.

• Avaluar el risc: Un altre repte important és l'avaluació del risc que cada algorisme representa. Esta avaluació ha de considerar factors com l'autonomia de l'algorisme, el tipus de dades que maneja, els col·lectius als quals afecta i l'impacte potencial en els drets dels ciutadans. La informació recaptada en esta avaluació servirà per a determinar el nivell de transparència que s'ha d'aplicar a cada algorisme.

• Complexitat de la informació: Recopilar la informació necessària per al registre és un procés complex. Es necessita recaptar dades sobre el tipus d'algorisme, la seua metodologia, les dades que utilitza, els riscos potencials, les garanties de qualitat i les auditories realitzades. S'està treballant en un Excel amb més de 150 ítems per a estandarditzar la informació.

Informació a incloure en el registre

Perquè el registre siga efectiu, ha d'incloure informació detallada sobre cada algorisme. Alguns dels elements clau són:

• Tipus d'algorisme i metodologia: És fonamental especificar el tipus d'algorisme utilitzat i la seua metodologia, incloent-hi el nivell d'autonomia del sistema i si es tracta d'un sistema d'aprenentatge automàtic. Esta informació ajudarà a comprendre el funcionament de l'algorisme i a avaluar el seu potencial impacte.

• Dades utilitzades: S'ha de detallar quines dades s'utilitzen per a entrenar l'algorisme i quines dades es processen durant el seu funcionament. És important conéixer la procedència de les dades, les variables que es consideren i els possibles biaixos que poden ser presents en la informació.

• Riscos per a col·lectius vulnerables: És crucial identificar els riscos que l'algorisme pot presentar per als col·lectius vulnerables. S'ha d'avaluar si l'algorisme pot perpetuar o amplificar la discriminació, i si existixen mesures per a mitigar estos riscos.

• Garanties de qualitat i auditories: El registre ha d'incloure informació sobre les garanties de qualitat de l'algorisme, com les proves realitzades per a validar el seu funcionament i les mesures implementades per a assegurar la seua precisió i fiabilitat. També s'ha d'indicar si s'han realitzat auditories externes per a avaluar l'algorisme.

• Justificació de l'elecció de l'algorisme: És important que s'explique per què s'ha triat un algorisme determinat i si s'han considerat alternatives. Esta informació ajudarà a comprendre el procés de presa de decisions i a avaluar si s'han tingut en compte els possibles impactes de l'algorisme.

Limitacions del registre actual

És important destacar que, segons els experts de la jornada el registre actual no contempla la publicació del codi font dels algorismes, la qual cosa limita la capacitat de la ciutadania per a realitzar una anàlisi profunda del seu funcionament. A més, es planteja la necessitat d'anar més enllà de la mera transparència i fomentar l'explicabilidad dels algorismes, de manera que els ciutadans puguen comprendre com funcionen i com es prenen les decisions que els afecten.

Conclusions

El registre d'algorismes de la Comunitat Valenciana és un pas important cap a la transparència algorítmica. No obstant això, encara queden desafiaments per superar per a garantir que este instrument siga efectiu en la protecció dels drets de la ciutadania. La participació de la societat civil, la formació ciutadana i el desenrotllament de mecanismes de control són elements clau per a assegurar que la IA s'utilitze de manera responsable i ètica en el sector públic.

Importància de l'explicabilitat 

La transparència algorítmica és un pas fonamental per a garantir un ús responsable de la IA en el sector públic. No obstant això, com es va destacar en la jornada, la transparència per si sola no és suficient. És essencial que els algorismes siguen també explicables, és a dir, que la ciutadania puga comprendre com funcionen i quins criteris utilitzen per a prendre decisions que poden tindre un impacte significatiu en les seues vides.

Per què és crucial l'explicabilidad algorítmica?

• Comprensió ciutadana: L'explicabilitat permet a la ciutadania entendre com els algorismes influïxen en les decisions que els afecten, la qual cosa els permet exercir un control més efectiu sobre el seu ús.

• Identificació de biaixos: L'explicabilidad facilita la detecció de possibles biaixos en els algorismes. Si els ciutadans no comprenen com funciona un algorisme, serà difícil identificar si està discriminant uns certs grups o individus.

• Rendició de comptes: L'explicabilitat reforça la rendició de comptes de les administracions públiques. Si els algorismes són explicables, és més fàcil exigir responsabilitats en cas que es produïsquen errors o abusos.

• Confiança en les institucions: L'explicabilitat contribuïx a augmentar la confiança de la ciutadania en les institucions públiques. Quan els ciutadans comprenen com s'utilitzen els algorismes, és més probable que confien en el procés i en les autoritats.

Avaluació del risc: un factor clau per a la transparència

L'avaluació del risc que cada algorisme representa per als drets dels ciutadans és fonamental per a determinar el nivell de transparència i explicabilitat que s'ha d'aplicar. A major risc, major ha de ser l'exigència de transparència i explicabilidad.

Elements a considerar en l'avaluació del risc:

• Autonomia de l'algorisme: Com més autònom siga un algorisme, major serà el risc potencial.

• Tipus de dades: Els algorismes que manegen dades sensibles, com a informació mèdica o financera, representen un major risc.

• Impacte en els col·lectius vulnerables: S'ha de prestar especial atenció als algorismes que poden afectar de manera desproporcionada als col·lectius vulnerables.

• Impacte en la presa de decisions: Els algorismes que s'utilitzen per a prendre decisions que tenen un impacte significatiu en la vida de les persones, com la concessió d'ajudes o la imposició de sancions, han de ser sotmesos a un major escrutini.

Necessitat de control i formació ciutadana

La creixent influència dels algorismes en la presa de decisions de l'administració pública exigix que la ciutadania dispose de mecanismes efectius per a controlar el seu ús i protegir els seus drets. Estos mecanismes han d'assegurar la transparència, l'explicabilitat i la rendició de comptes en l'ús de la IA per part del sector públic. A continuació, es desenrotllen els mecanismes esmentats en la jornada: 

Dret d'accés a la informació

És fonamental que els ciutadans tinguen dret a accedir a la informació completa sobre els algorismes que s'utilitzen en l'administració pública. Això inclou:

• Descripció de l'algorisme: Tipus d'algorisme, metodologia utilitzada i nivell d'autonomia.

• Dades utilitzades: Origen, variables considerades i possibles biaixos de les dades utilitzades per a entrenar i executar l'algorisme.

• Funcionament de l'algorisme: Explicació clara i comprensible del procés de presa de decisions de l'algorisme.

• Riscos potencials: Identificació dels riscos per a la privacitat, la no discriminació i altres drets fonamentals, especialment per a col·lectius vulnerables.

• Garanties de qualitat: Mesures implementades per a validar el funcionament de l'algorisme, assegurar la seua precisió i fiabilitat, i mitigar els riscos potencials.

• Auditories realitzades: Informació sobre les auditories internes i externes que s'hagen realitzat per a avaluar l'algorisme.

• Justificació de l'elecció: Explicació de per què s'ha triat un algorisme específic i si s'han considerat alternatives.●

• Responsable de l'algorisme: Identificació de l'entitat o persona responsable del desenrotllament, implementació i supervisió de l'algorisme.

L'accés a esta informació permetrà a la ciutadania comprendre com s'estan utilitzant els algorismes, identificar possibles biaixos i riscos, i exigir responsabilitats en cas d'abusos o errors.

Possibilitat d'impugnació

Els ciutadans han de tindre la possibilitat d'impugnar les decisions que es prenguen amb base en algorismes, especialment si consideren que han sigut discriminats o tractats injustament. Això implica:

• Mecanismes de reclamació accessibles: Procediments clars i senzills perquè els ciutadans puguen presentar reclamacions davant l'administració.

• Dret a una revisió humana: Possibilitat que un ésser humà revise la decisió presa per l'algorisme, especialment en casos que afecten significativament els drets dels ciutadans.

• Dret a la tutela judicial efectiva: Accés a la justícia en cas que l'administració no atenga les reclamacions o si el ciutadà considera que els seus drets han sigut vulnerats.

Òrgans de control

És necessari crear òrgans independents encarregats de supervisar l'ús dels algorismes en l'administració pública i de garantir que es respecten els drets dels ciutadans. Estos òrgans podrien tindre les següents funcions:

• Avaluació del risc dels algorismes: Realitzar avaluacions independents del risc dels algorismes abans de la seua implementació.

• Supervisió del funcionament dels algorismes: Monitorar l'ús dels algorismes per a detectar possibles biaixos, errors o abusos.

• Investigació de denúncies: Investigar les denúncies dels ciutadans sobre possibles violacions de drets relacionades amb l'ús d'algorismes.

• Emissió de recomanacions: Emetre recomanacions a l'administració pública sobre com millorar la transparència, l'explicabilitat i la rendició de comptes en l'ús dels algorismes.

• Sanció d'infraccions: Imposar sancions en cas que es detecten infraccions de la normativa.

Exemples d'òrgans de control:

• Agències de protecció de dades: En alguns països, les agències de protecció de dades tenen competències per a supervisar l'ús d'algorismes que processen dades personals.

• Consells de transparència: Els consells de transparència poden tindre un paper important en la supervisió de l'ús d'algorismes en l'administració pública, garantint l'accés a la informació i la rendició de comptes.

• Defensor del Poble: El Defensor del Poble pot actuar com un mecanisme de control davant situacions de mala administració relacionades amb l'ús d'algorismes.

Importància de la participació ciutadana

La participació ciutadana és crucial per a assegurar un ús responsable i ètic de la IA en el sector públic. Els ciutadans han d'estar informats sobre com funcionen els algorismes, quins drets tenen i quins mecanismes de control estan a la seua disposició.

La participació ciutadana es pot articular en diferents nivells:

• Informació i formació: És fonamental que la ciutadania comprenga com funcionen els algorismes i quins són els seus possibles impactes. Això implica proporcionar informació clara i accessible sobre els algorismes utilitzats en l'administració pública, així com promoure l'educació sobre la IA en tots els nivells educatius.

• Consulta pública: Abans d'implementar un algorisme, les administracions públiques haurien de consultar a la ciutadania sobre el seu possible impacte i considerar les seues opinions i preocupacions.

• Disseny participatiu: Involucrar a la ciutadania en el disseny i desenrotllament dels algorismes pot ajudar a identificar possibles biaixos i a assegurar que s'ajusten a les necessitats i valors de la societat.

• Supervisió ciutadana: La ciutadania pot participar en la supervisió del funcionament dels algorismes, per exemple, a través de la detecció d'errors o biaixos.

• Denúncia d'abusos: Els ciutadans han de tindre la possibilitat de denunciar possibles abusos o discriminacions relacionats amb l'ús d'algorismes.

Beneficis de la participació ciutadana:

• Major legitimitat: La participació ciutadana en el desenrotllament i implementació de la IA augmenta la legitimitat de les decisions preses amb base en algorismes.

• Major confiança: Quan els ciutadans participen en el procés, és més probable que confien en l'ús de la IA per part de l'administració pública.●

• Millor qualitat dels algorismes: La participació ciutadana pot contribuir a millorar la qualitat dels algorismes, en identificar possibles biaixos o errors que els experts podrien passar per alt.●

• Major protecció dels drets: La participació ciutadana és un element clau per a assegurar que l'ús de la IA no vulnere els drets dels ciutadans.

Alguns exemples d'iniciatives de participació ciutadana:●

Creació de consells ciutadans de IA: Estos consells poden assessorar les administracions públiques sobre l'ús responsable de la IA.●

Plataformes de consulta pública sobre IA: Estes plataformes permeten als ciutadans expressar les seues opinions sobre l'ús de la IA en el sector públic.●

Projectes de ciència ciutadana: Els ciutadans poden participar en projectes d'investigació per a avaluar l'impacte dels algorismes.●

Formació en IA per a la ciutadania: Es poden desenrotllar programes de formació perquè els ciutadans comprenguen millor el funcionament de la IA i les seues implicacions.

És important destacar que la participació ciutadana no és un procés senzill i requerix d'un compromís per part de les administracions públiques per a crear els espais i mecanismes necessaris. És fonamental assegurar l'accessibilitat, la transparència i la inclusió en els processos participatius, perquè tots els ciutadans puguen fer sentir la seua veu.

En definitiva, la participació ciutadana és un element crucial per a garantir un ús responsable i ètic de la IA en el sector públic. En involucrar a la ciutadania en el procés, es pot assegurar que la IA s'utilitze en benefici de la societat i no en el seu detriment.

Formació ciutadana en transparència algorítmica. 

La formació ciutadana és essencial perquè la ciutadania puga comprendre com funcionen els algorismes i quins són els seus drets en relació amb ells. És important que l'educació sobre la IA s'incorpore en els programes educatius, des de l'escola fins a la universitat. A més, s'han de promoure campanyes de sensibilització i divulgació dirigides al públic en general.

El vídeo conclou amb una anomenada a la reflexió sobre el futur de la IA i el seu impacte en la societat. Es planteja la necessitat d'un debat ètic sobre l'ús d'estes tecnologies i es destaca la importància de la participació ciutadana en la seua regulació.

Elements addicionals que s'esmenten en el vídeo:

El cas Siri: Un cas en Països Baixos on es va demostrar que un algorisme per a detectar frau en prestacions socials era discriminatori i vulnerava els drets dels ciutadans.●

El cas Bosco: L'únic cas judicialitzat a Espanya sobre transparència algorítmica, en el qual es va denegar l'accés al codi font d'un algorisme utilitzat per a l'assignació del bo social elèctric.●

El reglament d'Intel·ligència Artificial de la Unió Europea: Una normativa que regula els usos de la IA considerats d'alt risc.