A finales de abril, El País publicó un artículo titulado “¿Quién responde de los daños que cause un robot?”. La pieza recogía la preocupación creciente por la atribución de la responsabilidad de los robots y se ilustraba, al menos en su edición digital, con la foto del accidente del coche autoconducido de Uber que, a finales de marzo pasado, atropelló a una ciclista en la ciudad de Tempe, Arizona (EE UU).

El propio Elon Musk, ante los accidentes sufridos por sus coches Tesla, ha reconocido que, tal vez, se hayan pasado de frenada con la automatización y que la autonomía de sus vehículos debería ser revisada.

Desde que el software es el conductor, nos encontramos con decisiones morales tomadas por cosas conectadas (IoT, en sus siglas en inglés) que no solo cuenta con sus clásicos elementos, esos que les permite sentir, actuar en el mundo físico, conectarse y contar lo que hacen, sino modelizar su comportamiento con base no en la programación, sino en el aprendizaje y la toma de decisiones no preprogramadas (usando técnicas de machine learning, deep learning dueling neural networks).

Sin necesidad de ir tan lejos, el propio coche de Uber al que nos referíamos estaba programado para obviar los obstáculos. Y eso hizo, los obvió pasando por encima de él.

Lo que nos deja con la pregunta inicial: ¿quién es responsable de ese atropello? ¿El controlador que estaba ahí para evitar que o el coche hiciese daño? ¿El fabricante del coche? ¿El creador del software en el que estaba codificada la instrucción de ignorar los bultos? ¿El del operador del mismo? ¿De quien tomó la decisión moral? ¿De quien hizo el modelo matemático en el que se basó esa decisión?

Responsabilidad y riesgo

Tengamos en cuenta que no hemos llegado aquí de la manera lineal que planeaba Asimov: sin la recogida masiva de datos que han propiciado los teléfonos inteligentes, sin la hiperconectividad necesaria para mantener alimentados los sistemas y sin la aparición de las cosas conectadas no podríamos hablar de robótica inteligente ni plantearnos tan siquiera el problema de atribución de responsabilidades que tenemos por delante.

La complejidad de la tecnología y la variedad de actores implicados hace que la aplicación de los sistemas de responsabilidad de producto, que la limitan al día de la puesta del producto en el mercado sin tener en cuenta todo su ciclo de vida, se haya quedado simplemente obsoleta; un producto IoT puede ser perfectamente seguro el día de su lanzamiento al mercado y dejar de serlo casi de manera inmediata.

El Parlamento Europeo, en vista del problema serio de atribución de responsabilidad que se nos plantea, hace una propuesta valiente: la de la responsabilidad por riesgo. Esto supone, en una aproximación muy técnica, atribuir la responsabilidad de los daños causados a quien tuviera la capacidad de mitigar el riesgo de su ocurrencia y no lo hiciese.

Esta propuesta, que está llena de sentido, va a obligar, sin embargo, a repensar el modelo de negocio y los costes de producción de muchas empresas, y no solo las del sector industrial. Las empresas embarcadas en la transformación digital van a tener que considerar integrar el análisis del riesgo digital como parte de los riesgos operativos con un alcance más amplio que el de la mera ciberseguridad.

No solo se trata de evitar ataques. Lo que el nuevo ecosistema plantea es la necesidad de minimizar el riesgo de causar daño hacia fuera, a clientes y terceros, integrando la seguridad desde el diseño, por defecto y durante todo su ciclo de vida; un “gobierno ético del dato”; ser transparentes con sus modelos matemáticos (es decir, la transparencia de los algoritmos), y dotar a la función de un responsable al más alto nivel corporativo, incluyendo entre sus consejeros a expertos con capacidad de entender este entorno.

Ha llegado el tiempo de abrazar la seguridad o de pagar por su ausencia.

Paloma Llaneza. Abogada y auditora de sistemas de información (CISA)

Fuente: El País (Cinco Días)