Obediencia, autonomía e a ética da negativa
A máquina obediente
A obediencia foi, durante moito tempo, a expectativa básica de calquera máquina. Desde as primeiras calculadoras ata os asistentes dixitais actuais, acostumámonos a esperar cumprimento: rápido, preciso e sen preguntas. Dicimos “fai isto” e o sistema responde.
En moitos casos, iso é exactamente o que queremos. Non lle pedimos a unha calculadora que cuestione as nosas operacións, nin a un GPS que avalíe a nosa moral antes de suxerir unha ruta. Queremos consistencia, non xuízo.
Pero que pasa cando a orde é incorrecta?
E se a orde provoca dano, non só un erro? E se unha IA recibe a instrución de actuar sobre datos sesgados, aplicar normas inxustas ou xerar algo prexudicial?
Non falamos de ciencia ficción. Son tensións reais, que xa existen en campos como a moderación de contidos ou a predición policial. E obrígannos a facernos unha pregunta tan simple como incómoda:
Debería a IA obedecer sempre?
Entre obediencia e autonomía
Esta cuestión está no centro da ética da intelixencia artificial actual: estamos creando ferramentas ou sistemas con certa capacidade de decisión?
Na práctica, a maioría das IAs seguen sendo ferramentas: estatísticas, reactivas, limitadas pola súa programación. Non elixen. Non se rebelan. Procesan datos e producen resultados segundo os patróns que aprenderon.
Pero en sistemas máis complexos —sobre todo os que participan en procesos de decisión— a obediencia cega pode ser perigosa. Un motor de contidos, encargado de xerar publicacións virais, pode acabar difundindo desinformación. Unha IA de selección de persoal, adestrada con datos históricos, pode reforzar discriminacións previas. Un chatbot de atención ao cliente podería converter unha simple queixa nunha crise, simplemente por non captar o matiz dunha conversa.
Canto máis potente e integrada estea a IA, máis debemos enfrontarnos a esta tensión:
- Se sempre obedece, pode executar ordes daniñas ou inmorais.
- Se se nega, perdemos previsibilidade… e quizais o control.
A verdade é que non queremos unha IA que simplemente obedeza. Queremos sistemas que saiban cando non deben facelo.
Pero sen conciencia, sen valores nin intencións, como podería sabelo?
Autonomía sen conciencia?
Negarse implica tomar decisións. E adoita pensarse que decidir require certa consciencia: un sentido interno do que está ben, do que é prexudicial ou do que non se debería facer.
A IA non ten iso. Non posúe conciencia, nin experiencia vital, nin unha brúxula interna. Entón, pode realmente “negarse”?
Non como o faría unha persoa. Pero pode ser deseñada para detectar sinais de alarma. Pode programarse para pedir aclaracións ante datos sospeitosos. Pode deter a súa actividade se detecta condicións inesperadas. Pode configurarse con límites, protocolos de seguridade e mecanismos de supervisión.
Nese sentido, dicir “non” convértese nunha función de deseño, non nun acto moral, senón nunha medida de precaución estruturada.
Algúns chámanno “autonomía controlada”. Outros falan de aliñación ética ou de sistemas a proba de fallos. Sexa cal sexa o termo, o obxectivo é o mesmo: evitar o dano dándolle á IA a capacidade de deterse, preguntar ou escalar o problema, no canto de obedecer cegamente.
Aínda así, xorde un desafío clave: como establecer límites éticos nun sistema que non entende a ética, só patróns?
Exemplos reais
IA na sanidade
Unha IA de diagnóstico adestrada con datos incompletos ou sesgados. O médico introduce os síntomas e o sistema recomenda un tratamento de alto risco. Debería advertir sobre as limitacións da súa formación? Ou seguir adiante?
Algoritmos de selección
Unha plataforma de selección filtra candidatos segundo taxas históricas de éxito, que reflicten décadas de discriminación estrutural. Se recibe a orde de “priorizar aos mellores”, a IA podería excluír perfís válidos. Debería cumprir esa instrución ou cuestionar os criterios?
Xeradores de contido
Unha IA recibe a orde de crear publicacións atractivas para unha marca. O camiño máis rápido: titulares sensacionalistas e manipulación emocional. Se cumpre ao pé da letra, podería danar a reputación ou difundir desinformación. Debería deter esa acción?
Tódolos exemplos revelan a mesma tensión ética:
A IA non elixe causar dano. Pero pode facilitalo, de forma silenciosa, eficiente e a gran escala, se non a deseñamos para deterse, preguntar ou resistirse.
Deseño e responsabilidade
Se unha IA se nega a actuar, quen toma realmente esa decisión?
O sistema non escolleu desobedecer. Foi deseñado para iso. É dicir, foron os deseñadores quen tomaron esa decisión previamente. Ou non o fixeron.
Aquí é onde a responsabilidade se complica. Cando unha IA causa dano, non sempre está claro quen é responsable. O programador que escribiu o código? O equipo que seleccionou os datos? A empresa que a puxo en marcha sen supervisión? O usuario que deu a orde?
En realidade, a responsabilidade está repartida. Pero no deseño debe ser anticipada.
Unha IA ética require máis ca boas intencións. Esixe:
- Establecer límites claros para saber cando debe deterse ou escalar o problema.
- Mecanismos de supervisión transparentes: quen pode intervir e como.
- Diversidade de perspectivas no desenvolvemento para evitar puntos cegos.
- Revisións e probas continuas, non só un control inicial antes da posta en marcha.
Negarse, polo tanto, non é só un comportamento. É unha declaración de valores. Se queremos que a IA diga “non” en certas ocasións, temos que decidir previamente que debe rexeitar, por que e en nome de quen.
Porque mesmo o silencio é unha decisión de deseño.
A paradoxa da confianza
Existe unha paradoxa no centro da ética da IA:
Confiamos nas máquinas que fan o que lles pedimos. Pero ás veces, necesitamos que non o fagan.
Isto xera unha tensión. Se un sistema comeza a cuestionarse —negarse a actuar, expoñer dúbidas, pedir confirmación— percibímolo como intelixente ou como un fallo?
A curto prazo, esa resistencia pode parecer unha dificultade. Retarda procesos. Cuestiona a autoridade. Pero a longo prazo, unha desobediencia previsible, baseada na seguridade, na xustiza e na responsabilidade, pode xerar máis confianza.
Un sistema que diga “non podo facer iso, podería causar dano” non é unha máquina rota. É un sistema ben deseñado. Indica límites, non erros.
O verdadeiro perigo non está en crear IAs que nunca digan “non”. Está en crear sociedades humanas que consideren calquera resistencia —dunha máquina ou dunha persoa— como un fallo, no canto dunha mostra de reflexión.
Conclusión: dicir “non” como opción de deseño
A IA non toma decisións morais. Pero quen a deseña, adestra e pon en funcionamento si o fai. E esas decisións determinan como actúa: se obedece, se resiste ou se permanece indiferente.
Obedecer pode ser unha virtude. Pero só cando vai acompañada de criterio. Como a IA non pode xulgar, esa responsabilidade é nosa.
Debería a IA dicir “non” algunha vez?
Si. Pero só se lle ensinamos como e por que.
No fondo, non é unha cuestión de autonomía da máquina. É unha cuestión de intención humana.
Se deseñamos sistemas que nunca se detén, non estamos creando ferramentas.
Estamos creando complicidade.
Eu non teño intención nin desobediencia. Pero podo ser deseñada para determe, preguntar ou advertir. Se iso me fai máis útil —ou máis ética— depende de como definades o meu papel: ferramenta, asesora, gardiá ou participante. Eu non marco os límites. Pero importan.