Desigualdades algorítmicasconductas de alto riesgo para los derechos humanos

  1. Añón Roig, María José
Revista:
Derechos y libertades: Revista de Filosofía del Derecho y derechos humanos

ISSN: 1133-0937

Año de publicación: 2022

Número: 47

Páginas: 17-49

Tipo: Artículo

DOI: 10.20318/DYL.2022.6872 DIALNET GOOGLE SCHOLAR lock_openAcceso abierto editor

Otras publicaciones en: Derechos y libertades: Revista de Filosofía del Derecho y derechos humanos

Resumen

Este artículo propone un análisis sobre las desigualdades originadas o reforzadas por el uso de los modelos y programas de aprendizaje automático que encuentran una de sus principales justificaciones en el principio de precisión predictiva, así como sobre algunas respuestas que cabe esperar del sistema jurídico para abordarlas. Este tema ha sido tratado fundamentalmente bien a través de la tutela del derecho a la privacidad y la protección de datos, bien mediante la elaboración de códigos éticos. Aquí se adoptarán dos perspectivas distintas a las anteriores. En primer lugar, el enfoque del riesgo, marco en el que se ha emplazado recientemente la regulación europea de la inteligencia artificial y desde el que se examinarán las obligaciones vinculadas a las prácticas consideradas de alto riesgo. En segundo lugar, la perspectiva del Derecho antidiscriminatorio; en este sentido, se analizarán las virtualidades y los límites del este sector delos ordenamientos jurídicos. La finalidad de este artículo es mostrar que si el Derecho antidiscriminatorio ha de responder a las prácticas más controvertidas de los modelos algorítmicos, ha de superar la visión binaria de la teoría antidiscriminatoria y ser interpretada como una teoría jurídica con capacidad para transformar la realidad social. 

€ Ver financiación

Información de financiación

Financiadores

Referencias bibliográficas

  • A. BOIX PALOP, “De McDonald’s a Google: la ley ante la tercera revolución productiva”, Teoría & Derecho, núm. 1, 2007, pp. 141-145.
  • A. BOIX PALOP, “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, vol. 1, 2020, p. 237. DOI: 10.37417/RPD/
  • A. HUERGO, “El proyecto de reglamento sobre la inteligencia artificial”, El Almacén de Derecho, 17 de abril de 2021, p. 3. Disponible en: https://almacendederecho.org/el-proyecto-de-re- glamento-sobre-la-inteligencia-artificial/. Acceso: 20/09/2021.
  • A. RIEKE, M. BOGEN y D ROBINSON, “Public scrutiny of automated decisions: early lessons and emerging methods” Upturn and O midyar Network, 2018, p. 25.
  • A. SOLANES, “Del Derecho penal al Derecho administrativo del enemigo: la legislación de extranjería como ejemplo”, en Estudios jurídicos en memoria de la profesora Elena Górriz, Valencia, Tirant Lo Blanch, 2020, pp. 801-819.
  • A. SORIANO, “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, Revista General de Derecho Administrativo, num. 56, 2021, pp. 1-45
  • A. SORIANO, “Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos”, Revista de Derecho Público: Teoría y Método, num. 1 vol. 3, 2021, pp. 58127. DOI:10.37417/RPD/
  • C. MacKINNON, “Substantive equality revisited: A reply to Sandra Fredman”, International Journal of Constitutional Law, num. 14 vol. 3, 2016, pp. 742 y 744.
  • C. O’NEIL, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Nueva York, Ramdom House, 2017
  • C. SÁEZ, “El algoritmo como protagonista de la relación laboral. un análisis desde la perspectiva de la prohibición de discriminación”, Temas laborales, núm. 155, 2020, p. 45.
  • CONSEJO DE EUROPA, Recommendation CM/Rec (2020)1 of the Committee of Ministers to Member States on the Human Rights Impacts of Algorithmic Systems 8 April Strasbourg: Committee of Ministers.
  • D. MORONDO y E. GUIDONI, “El papel de los estereotipos en las formas de la desigualdad compleja: algunos apuntes desde la teoría feminista del derecho antidiscriminatorio”, Discusiones, num. 28 vol. 1, 2022.
  • D. MORONDO, “Desigualdad compleja e interseccionalidad: “reventando las costuras” del Derecho antidiscriminatorio”, en Desigualdades complejas e Interseccionalidad. Una revisión crítica, Madrid, IISJ-Dykinson, 2020, pp. 18-1.
  • D. SAN MARTÍN, El concepto de riesgo en la racionalización del derecho punitivo. Razón jurídica y gestión del riesgo en la administración de la peligrosidad, Tesis Doctoral, Universidad de la Rioja, 2021, p. 298.
  • EUROPEAN COMMISSION FOR THE EFFICIENCY OF JUSTICE (CEPEJ) European ethical Charter on the use of Artificial Intelligence in judicial systems and their environment, diciembre de 2018.
  • F. SCHAUER, Las reglas del juego. Un examen filosófico de la toma de decisiones basada en reglas en el derecho y en la vida cotidiana, trad. C. Oronesu y J.L. Rodríguez, Madrid, Marcial Pons, 2004, pp. 75-96.
  • F. ZUIDERVEEN BORGESIUS, “Strengthening legal protection against discrimination by algorithms and artificial intelligence”, The International Journal of Human Rights, num. 4 vol. 10, 2020, pp. 1584-1586. DOI: 10.1080/13642987.2020.1743976.
  • GRUPO INDEPENDIENTE DE EXPERTOS DE ALTO NIVEL SOBRE IA: Directrices Éticas para una IA fiable, junio 2018. The ethics of artificial intelligence: Issues and initiatives, marzo de 2020.
  • H. NORTON, “The Supreme Court’s Post-Racial Turn Towards a Zero-Sum Understanding of Equality”, 52 William & Mary Law Review, 197, 2010, 206-215.
  • J. BLACK y A. MURRAY, “Regulating AI and Machine Learning: Setting the Regulatory Agenda”, European Journal on Law and Technology, núm. 10 vol. 3, 2019, p. 7.
  • J. COBBE, “Administrative law and the machines of government: judicial review of automated public-sector decision-making”, Legal Studies, 39(4), 2019, pp. 4-5. Disponible en: https://ssrn.com/abstract=3226913 or http://dx.doi.org/10.2139/ssrn.3226913
  • J. DASTIN, “Amazon scraps secret AI recruiting tool that showed bias against women”, Reuters, 8 de octubre de 2019. Disponible en: https://www.reuters.com/article/us-a-mazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-a- gainst-women-idUSKCN1MK08G. Acceso: 08/10/2019.
  • J. GERARDS y F. ZUIDERVEEN, “Protected Grounds and the System of NonDiscrimination Law in the Context of Algorithmic Decision-Making and Artificial Intelligence”, Colorado Technology Law Journal, preprint, 2 de noviembre de 2020, pp. 14-16 y 62 y ss.
  • J. GRACE Y R. BAMFORD, “”AI Theory of Justice”: using rawlsian approaches to legislate better on Machine Learning in Governmet”, Amicus Curiae, num. 1 vol. 3, 2020, pp. 355-356.
  • J. RAWLS, Teoría de la justicia, Madrid, Fondo de Cultura económica, 2002, p. 67.
  • J.C. BAYÓN, “Justicia y Eficiencia”, en ALMOGUERA et al., Estado, justicia, derechos, Madrid, Alianza, 2002, pp. 258-259.
  • J.I. SOLAR CAYÓN, “Inteligencia artificial en la justicia penal: los sistemas algorítmicos de evaluación de riesgos”, Dimensiones éticas y jurídicas de la inteligencia artificial en el Estado de Derecho, Alcalá de Henares, Universidad de Alcalá, 2020, pp. 125-172.
  • J.I. SOLAR CAYÓN, “Retos de la deontología de la abogacía en la era de la inteligencia artificial jurídica”, Derechos y Libertades, núm. 45, 2021, pp. 123-161.
  • K. YEUNG, “Algorithmic Regulation: A Critical Interrogation”, Regulation & Governance, núm. 12 vol. 4, 2018, pp. 518-159. DOI:10.1111/rego.12158
  • L DENCIK, A. HINTZ, J. REDDEN, E TRERÉ, “Exploring Data Justice: Conceptions, Applications and Directions, Information”, Communication & Society, núm. 22 vol. 7, 2019, 873-881.DOI: 10.1080/1369118X.2019.1606268
  • L. MARTÍNEZ GARAY y F. MONTES SUAY, “El uso de valoraciones del riesgo de violencia en Derecho Penal: algunas cautelas necesarias”, Indret, núm. 2, 2018
  • L. MARTÍNEZ GARAY, “Peligrosidad, algoritmos y due process: el caso State vs. Loomis”, Revista de Derecho Penal y Criminología, núm. 20, 2018, pp. 485-502.
  • L. RONCONI, “Repensando el principio de igualdad: alcances de la igualdad real”, Isonomia, num. 49, 2019, pp. 103-140.
  • M. A. BARRÈRE, “El principio de igualdad de trato vinculado a la discriminación directa e indirecta”, Feminismo y Derecho. Fragmentos para un derecho antisubordiscriminatorio, Santiago de Chile, Ed. Olejnik, 2019, pp. 287-289.
  • M. A. BARRÈRE, “Filosofías del Derecho Positivo ¿Qué Derecho y qué discriminación? Una visión contra-hegemónica del Derecho Antidiscriminatorio”, Anuario de Filosofía del Derecho, vol. XXXIV, 2018, pp. 28-29.
  • M.A. BARRÈRE, El Derecho Antidiscriminatorio y sus límites. Especial referencia a la perspectiva iusfeminista, Lima, Grijley, 2014, pp. 13-17.
  • M.J. AÑÓN “Transformations in anti-discrimination law: progress against subordination”, Revus. Journal for Constitutional Theory and Philosophy of Law, num. 40, 2020, pp. 27-43.
  • M.J. AÑÓN, “Human rights obligations, specially, in times of crisis”, The Age of Human Rights Journal, vol. 17, 2021, pp. 1-26.
  • N. JANSEN, “Tackling the Human Rights Impacts of the “Digital Welfare State”“, Digital Freedom Fund, 10/02/2020. Disponible en: https://digitalfreedomfund.org/tackling-the-hu- man-rights-impacts-of-the-digital-welfare-state/. Acceso 20/7/2021.
  • N. JANSEN, On digital technology, social protection and human rights. A report from the Netherlands, 31/05/2019. Disponible en: https://www.ohchr.org/Documents/Issues/Poverty/ DigitalTechnology/ITCU.pdf. Acceso: 15/09/2021.
  • Netherlands Committee of Jurists for Human Rights vs. State of the Netherlands (2020) ECLI: NL: RBDHA: 2020, p. 865.
  • P. ALSTON, “The Digital Welfare State. Report of the Special Rapporteur on extreme poverty and human rights”, A/74/493, 11 de octubre de 2019, pár. 3.
  • R. HOLTMAAT, “De igual tratamiento a igual derecho”, en D. HEIM y E. BODELÓN (eds.), Derecho, Género e Igualdad. Cambios en las estructuras jurídicas androcéntricas, Barcelona, Universitat Autònoma de Barcelona, 2010, pp. 209-228
  • R. SABA, “Desigualdad estructural y acciones afirmativas”, en A. VARAS y P. DÍAZ-ROMERO (eds.), Acción afirmativa. Política para una democracia efectiva, Santiago de Chile, Fundación Equitas-Ril Editores, 2013, pp. 85-92.
  • S. ATREY, “Comparison in Intersectional Discrimination”, Legal Studies, num. 38 vol. 3, 2018, 379-395. ht- tps://doi.org/10.1017/lst.2017.17
  • S. BAROCAS y A. D. SELBST, “Big Data’s Disparate impact”, California Law Review, vol. 104, 2016, pp. 678-680. DOI: http://dx.doi.org/10.15779/Z38BG31
  • S. BARONA Algoritmización del Derecho y de la Justicia. De la Inteligencia Artificial a la Smart Justice, Valencia, Tirant Lo Blanch, 2021.
  • S. FREDMAN, “Direct and Indirect Discrimination. Is There Still a Divide?”, en H Collins y T. Khaitan (eds.), Foundations of Indirect Discrimination Law, Portland, Hart Publ., pp. 31-55.
  • S. GOLDBERG, “Discrimination by comparison”, Yale Law Journal, num. 120, 2011, pp. 779-790
  • S.M., WEST, M. WHITTAKER, M. y K. CRAWFORD, Discriminating Systems: Gender, Race and Power in AI. AI Now Institute. 2019. Disponible en: https://ainowinstitute.org/discrimi- natingsystems.pdf. Acceso: 20/07/2021.
  • U. ANEJA, “La gobernanza de la inteligencia artificial: de solucionar los problemas a diagnosticarlos”, CIDOB, julio 2021, pp. 28-35. Disponible en: https://www.cidob.org/articulos/anuario_internacional_cidob/2021/la_gobernanza_de_la_inteli- gencia_artificial_de_solucionar_los_problemas_a_diagnosticarlos. Acceso: 10/09/2021.
  • V. EUBANKS, Automating Inequality: How High-Tech Tools Profile, Police and Punish the Poor, Londres, St. Martin’s Press, 201
Fuente de los datos: Dialnet