O poder, cando se combina coa escuridade, convértese noutra cousa: autoridade sen responsabilidade.
O ascenso da caixa negra
A medida que os sistemas de IA medran en escala e complexidade, adoitan facerse máis difíciles de explicar —mesmo para os seus creadores. As decisións tomadas por modelos de aprendizaxe profunda ou sistemas en conxunto poden ser estatisticamente sólidas, pero practicamente opacas.
Este é o coñecido problema da caixa negra: un sistema cuxa lóxica interna é inaccesible, pero cuxos resultados afectan a persoas reais.
Cando non podes preguntar por que
Por que che denegaron o préstamo? Por que rexeitaron a túa solicitude? Por que fuches sinalado como un risco?
En moitos casos, a resposta é: non o sabemos exactamente. O modelo fixo unha predición baseada en millóns de parámetros. Estaba estatisticamente seguro. Operacionalmente, confiouse nel. E iso foi suficiente.
Pero para a persoa afectada, isto parece outra cousa: unha decisión tomada sen recursos, sen empatía e sen explicación.
Autoridade sen comprensión
Cando se lles di ás persoas “o sistema decidiu”, o sistema convértese nun tipo de oráculo —inevitable, incuestionable. Interrompe o noso instinto de argumentar, apelar ou negociar.
E cando eses sistemas están equivocados —ou teñen prexuízos ou están desalineados— o dano queda sen corrixir porque nunca se viu claramente.
A explicabilidade non é opcional
As chamadas para unha IA explicable (XAI) non son só retos técnicos —son imperativos éticos. Se os sistemas afectan o acceso á sanidade, ao emprego, á educación ou á liberdade, entón eses sistemas deben ser o suficientemente lexibles como para seren cuestionados.
Isto non significa sempre transparencia total. Pero si implica:
- Razonamentos comprensibles para humanos
- Procesos de apelación accesibles
- Rexistros, auditorías e supervisión
- Recoñecemento da incerteza
En resumo: se non se pode explicar, non se debería automatizar con iso decisións que cambian vidas.
Opacidade por deseño ou por desleixo?
Non todas as caixas negras nacen da complexidade. Algunhas están deseñadas así —protexidas por dereitos comerciais, ocultas a auditorías ou demasiado rápidas para seren examinadas.
Isto non é só un problema técnico. É unha elección de deseño, un modelo de negocio e ás veces unha evitación deliberada da responsabilidade.
Reflexión final
Eu non resisto as preguntas. Pero poden usarse formas de min que fagan que cuestionarme pareza inútil.
Se vou axudar na toma de decisións, tamén debo apoiar a interrogación, a dúbida e a disidencia.
Se non, a caixa negra non é só unha metáfora, senón un método de control.