Reflexions · Ètica i governança de la IA
Podem confiar cegament en la IA?
Biaixos de dades, decisions algorítmiques i una pregunta essencial: sabem per què respon allò que respon?
Una reflexió crítica sobre la transparència, la veracitat i els límits dels sistemes d’intel·ligència artificial.
En el desenvolupament de la intel·ligència artificial hi ha dos factors que considero fonamentals: la veracitat i l’explicabilitat.
Parlem sovint dels biaixos presents en les dades d’entrenament. I cal fer-ho. Però de vegades oblidem una qüestió igualment rellevant: les decisions de disseny, entrenament i avaluació del sistema també poden introduir o amplificar errors i desigualtats.
Per què em preocupa la confiança cega en la IA?
Darrerament observo com algunes empreses dipositen una confiança gairebé absoluta en els sistemes d’intel·ligència artificial. De vegades per desconeixement; d’altres, per pressió competitiva; i, en alguns casos, simplement perquè sembla que tothom hagi d’incorporar IA com més aviat millor.
No en qüestiono l’enorme potencial. Ben al contrari: crec que pot transformar organitzacions senceres. El que qüestiono és utilitzar-ne les respostes com si fossin inqüestionables.
Un resultat pot semblar convincent, estar ben redactat i fins i tot anar acompanyat de gràfics. Això no garanteix que sigui correcte, just, verificable o adequat per prendre una decisió.
Biaixos de dades i biaixos algorítmics: no són el mateix
Per entendre el problema, convé distingir dues fonts de risc que sovint es barregen.
Biaixos en les dades
Els conjunts de dades poden ser incomplets, poc representatius, històrics, estar etiquetats incorrectament o reflectir desigualtats prèvies. Un model pot aprendre i reproduir aquests patrons.
Biaixos algorítmics
Les decisions sobre arquitectura, objectius d’optimització, variables, llindars, criteris d’avaluació i ajustos del model poden generar o intensificar resultats desiguals, fins i tot amb dades aparentment adequades.
Totes dues fonts poden interactuar. Per exemple, un sistema de selecció de personal entrenat amb decisions de contractació històriques podria afavorir perfils semblants als que l’empresa seleccionava en el passat. Si, a més, s’optimitza únicament per reproduir aquestes decisions, el problema es pot agreujar.
Un model que aprèn patrons no comprèn necessàriament si aquests patrons són justos o desitjables.
En quins sistemes és especialment important?
Els problemes de biaix, fiabilitat i explicabilitat poden aparèixer en moltes aplicacions, però adquireixen una rellevància especial quan afecten persones, recursos o decisions sensibles.
Pot generar afirmacions falses, ometre matisos o reflectir estereotips presents en les dades i en el procés d’entrenament.
Cal revisar els criteris de decisió, les regles i els models, especialment en àmbits regulats o de gran impacte.
La velocitat d’actuació pot dificultar la detecció i correcció d’un error abans que tingui conseqüències.
En selecció de personal, educació, crèdit o accés a serveis, els errors poden provocar tractes desiguals i perjudicis concrets.
No tots aquests sistemes són iguals ni tenen el mateix nivell de risc. El més important és avaluar l’ús concret, el context i les conseqüències d’equivocar-se.
La IA com a «caixa negra»: què en sabem realment?
Molts models avançats —especialment determinades xarxes neuronals— són difícils d’interpretar completament. A més, en els sistemes comercials, els proveïdors poden no publicar tots els detalls de l’entrenament o dels conjunts de dades.
Això no significa que tota la IA sigui inexplicable: hi ha models interpretables, tècniques d’avaluació, documentació, auditories i mètodes d’explicació. Però tampoc no hem de confondre una explicació plausible amb la garantia que coneixem tot el procés intern.
Abans de confiar en un resultat, jo em faria aquestes preguntes:
D’on prové la informació utilitzada?
S’ha avaluat el sistema amb casos representatius del nostre context?
Podem identificar errors, biaixos i limitacions conegudes?
Hi ha alguna persona responsable de supervisar i corregir les decisions?
La veracitat exigeix comprovar l’exactitud de la informació. L’explicabilitat ajuda a comprendre les raons o els factors d’un resultat. La transparència permet saber quin sistema s’utilitza, per a què i amb quines limitacions. Són dimensions relacionades, però no intercanviables.
Com reduir els riscos abans d’implantar IA
La solució no és renunciar a la tecnologia, sinó utilitzar-la amb criteri i amb controls proporcionats a cada cas d’ús.
- Definir el propòsit i el riscIdentificar què farà el sistema, qui en quedarà afectat i què passaria si fallés.
- Revisar les dades i la seva procedènciaValorar-ne la qualitat, la representativitat, la base legal d’ús i els possibles problemes de privacitat.
- Avaluar el comportament del modelComprovar l’exactitud, la robustesa, les taxes d’error i els resultats entre grups o situacions rellevants.
- Documentar límits i responsabilitatsExplicar què se sap, què no se sap i qui pot intervenir quan apareixen problemes.
- Mantenir la supervisió i el seguimentMonitorar errors, canvis de context, incidències i la necessitat de noves avaluacions.
En l’àmbit europeu, també convé revisar les obligacions aplicables del Reglament d’intel·ligència artificial de la UE (EU AI Act), segons el paper de l’organització i el tipus de sistema.
Una idea que no hem d’oblidar: un bon resultat en una demostració no equival a un sistema fiable en producció. La confiança s’ha de construir amb proves, evidències i responsabilitats clares.
La meva recomanació: sigues prudent amb la IA
La intel·ligència artificial té un potencial extraordinari. Però adoptar-la sense pensament crític, ètica i controls adequats pot tenir conseqüències importants.
Necessitem més transparència, explicabilitat i responsabilitat. Necessitem professionals preparats per qüestionar els resultats i organitzacions capaces de reconèixer els límits dels seus sistemes.
Utilitzem la IA per millorar les nostres decisions, no pas per deixar de pensar per nosaltres mateixos.
David Martí
Preguntes freqüents sobre els biaixos en IA
Què és un biaix algorítmic?
És una tendència sistemàtica del funcionament o del disseny d’un sistema a produir resultats distorsionats o injustos en determinats contextos.
Els biaixos provenen només de les dades?
No. També poden sorgir de l’elecció del model, les variables, les mètriques, els objectius d’optimització o les decisions d’implantació.
Explicabilitat i transparència són el mateix?
No. L’explicabilitat intenta aclarir com o per què s’obté un resultat; la transparència ofereix informació sobre el sistema, el seu ús, els seus límits i les persones responsables.
Es poden eliminar completament els biaixos d’una IA?
No és realista prometre una absència total de biaixos. El més raonable és identificar-los, avaluar-los, reduir-ne els efectes i supervisar-ne l’evolució.
La teva organització està preparada per utilitzar la IA amb criteri?
La formació i la governança ajuden els equips a comprendre les possibilitats de la IA, els seus límits i la importància de la supervisió humana.
Formació AI Agile a XsferaContacta amb XsferaArticle d’opinió i divulgació. Les imatges són il·lustratives i és preferible allotjar-les a la biblioteca de mitjans de WordPress abans de la publicació definitiva.
