El 20 de novembre de 2025 va tenir lloc la cinquena sessió del cicle de seminaris sobre innovació pública “IA i Administració pública”, en què la catedràtica de Dret Civil, Margarita Castilla Barea va iniciar la seva intervenció amb una afirmació que va marcar el to de tota la sessió: “La implantació de la IA en l’Administració pública només és legítima si respecta els principis constitucionals i estatutaris que regeixen la seva actuació”. Aquesta frase, projectada ben gran a la pantalla, va funcionar com un recordatori i, alhora, com una advertència: la IA pot ser innovadora, potent i transformadora, però en el sector públic només té sentit si reforça, i no debilita, el contracte social que fonamenta l’estat de dret.

A partir d’aquí va descriure el que anomena la tríada de la legitimitat: Administració pública, IA ètica i ciutadania. Cada peça és indispensable i juntes només funcionen si estan íntimament connectades.

Administració pública: la base jurídica que no es pot esquerdar

La Dra. Castilla Barea va recordar que les administracions operen sota un marc normatiu dens i garantista. La Constitució, l’Estatut i les lleis de règim jurídic defineixen uns principis que no són opcionals: legalitat, imparcialitat, neutralitat política, transparència, participació i responsabilitat. Va subratllar que aquests principis no són abstraccions jurídiques, sinó condicions molt concretes que afecten directament qualsevol sistema automatitzat. En les seves paraules, “tota IA utilitzada per l’Administració hereta aquest marc jurídic i l’ha de complir íntegrament”, cosa que implica exigir-li el mateix grau de rigor que a qualsevol decisió humana. Aquest recordatori no és menor: l’ús de dades, l’automatització de decisions, els criteris de classificació o priorització, tot això ha de ser compatible amb el dret administratiu i amb els drets fonamentals. El fet que hi intervingui una màquina no eximeix la institució de retre comptes ni de garantir la traçabilitat.

IA ètica: el segon pilar, imprescindible i irrenunciable

Després d’establir la base jurídica, el segon pilar de la tríada està en l’ètica, un camp que ha estat especialment actiu en els últims anys. La Dra. Castilla Barea va repassar alguns dels marcs internacionals més influents (els Principis d’Asilomar, les directrius ètiques per a una IA fiable de la UE i les recomanacions de la UNESCO o de l’OCDE) i va remarcar fins a quin punt aquests documents han anat convergint: la IA ha de ser lícita, ètica i robusta.

En aquest punt, va destacar l’enfocament europeu, que articula set requisits per garantir una IA fiable: supervisió humana, seguretat tècnica, governança de dades, transparència, diversitat i no-discriminació, benestar social i ambiental, i rendició de comptes. A mesura que els enumerava, quedava clar que tots tenen una traducció directa en termes administratius: auditories, registres, explicabilitat, i control humà real i no simbòlic.

Entre les eines més actuals, va donar una rellevància especial a HUDERIA, la guia del Consell d’Europa concebuda per avaluar els riscos i impactes de la IA en drets humans, democràcia i estat de dret. En va explicar l’estructura, basada a identificar, involucrar, avaluar, gestionar, i la va presentar com una metodologia pràctica que pot ajudar les administracions a anticipar problemes en lloc de reaccionar-hi a posteriori.

La ciutadania: la destinatària i, sobretot, la raó de ser

La tercera peça de la tríada, la ciutadania, va ocupar un espai central. La Dra. Castilla Barea va descriure, amb exemples reals, com la IA ja està entrant en els serveis públics: assistents virtuals que faciliten consultes, sistemes que classifiquen expedients, models predictius que ajuden a planificar polítiques, eines de detecció de frau o robots socials que donen suport en serveis d’atenció a les persones, etc.

Aquests casos, va dir, mostren un potencial enorme: reduir càrregues burocràtiques, millorar l’accessibilitat, personalitzar serveis, detectar necessitats abans que apareguin, o reforçar la transparència i el control intern. No obstant això, cada pas endavant també implica un risc si no s’aplica amb criteri, supervisió i garanties.

Per reforçar aquest punt, va mostrar notícies recents sobre aplicacions d’IA prohibides per motius de seguretat, errors en sistemes automatitzats de prestacions socials o usos irresponsables de models generatius per part d’algunes administracions. El missatge era clar: la tecnologia pot ajudar, però també pot fallar i, quan falla, l’impacte recau sobre persones reals. “Quan la IA s’utilitza sense control, els riscos no són tecnològics: són democràtics.”

Un missatge final que apel·la a la responsabilitat col·lectiva

El missatge de la Dra. Castilla Barea és, però, d’equilibri i esperança. Va reconèixer que la IA ja forma part del sector públic, però va insistir que encara som a temps d’assegurar que s’implanti amb justícia, amb garanties i amb respecte pels drets. Va animar les administracions a actuar amb rigor i prevenció, però també amb visió de futur: “L’Administració pública ja està utilitzant la IA; fem tots la nostra part perquè es consolidi una IA ètica que millori el servei públic, sense renunciar als drets que la ciutadania ha conquerit”.

Així, amb un to ferm, però optimista, la Dra. Castilla Barea va dibuixar un camí possible: un sector públic que aprofita la potència de la IA per ser més eficient i més just, i una ciutadania que hi guanya en serveis, però també en drets i garanties reforçades.

Àurea Rodríguez
Moderadora del cicle de seminaris web sobre innovació pública