Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos

  1. Alba Soriano Arnanz
Revista:
Revista de Derecho Público: teoría y método

ISSN: 2695-7191

Año de publicación: 2021

Número: 3

Páginas: 85-127

Tipo: Artículo

DOI: 10.37417/RPD/VOL_3_2021_535 DIALNET GOOGLE SCHOLAR lock_openAcceso abierto editor

Otras publicaciones en: Revista de Derecho Público: teoría y método

Objetivos de desarrollo sostenible

Resumen

The growing implementation of algorithmic systems in all kinds of human activities is the result of their increasing computational capacity. These systems can process massive amounts of data and provide very accurate results that help decision-makers in both the public and private sector to classify humans and predict their actions. However, algorithms, and the actors that use them, are also increasingly producing significant harms to the fundamental rights of individuals and democratic principles and values. To date, informational privacy (data protection) regulatory frameworks, have been the main legal instruments tasked with protecting against the wide array of risks and harms caused by the automated processing of personal data. This paper maps the main hazards caused by algorithmic systems and aims to prove the shortcomings of the data protection framework in order to justify further regulatory intervention in the public and private use of auto-mated systems. It also draws a series of brief proposals that, were they to be implemented, should help to overcome some of the ineffective aspects of the current regulatory framework when dealing with the risks and harms caused by algorithms.

Referencias bibliográficas

  • Algorithm Register, 2020. Disponible el 9 de diciembre de 2020 en https://algoritmeregister.amsterdam.nl/.
  • Philip Alston, “Digital welfare states and human rights”, UN Special Rapporteur on extreme poverty and human rights, informe A/74/493, 11 de octubre de 2019.
  • Doris ALLHUTTER et al., “Algorithmic profiling of job seekers in Austria: how austerity politics are made effective”, Frontiers in Big Data, vol. 3, 2020, pp. 1-17.
  • Mike ANNANY y Kate CRAWFORD, “Seeing without knowing: limitations of the transparency ideal and its application to algorithmic accountability”, New Media & Society, vol. 20, núm. 3, 2018, pp. 973-989.
  • Luís ARROYO JIMÉNEZ, “Algoritmos y reglamentos”, Almacén de Derecho, 25 de febrero de 2020. Disponible el 1 de diciembre de 2020 en https://almacendederecho.org.
  • Solon BAROCAS, “Data mining and the discourse on discrimination”, Proceedings of the Data Ethics Workshop, Conference on Knowledge Discovery and Data Mining (KDD), 2014, pp. 1-4.
  • Solon BAROCAS y Andrew SELBST, “Big data’s disparate impact”, California Law Review, vol. 104, núm. 3, 2016, pp. 671-732.
  • Solon BAROCAS y Andrew SELBST, “The intuitive appeal of explainable machines”, Fordham Law Review, vol. 87, núm. 3, 2018, pp. 1085-1139.
  • Yochai BENKLER, Robert FARIS y Hal ROBERTS, Network Propaganda: Manipulation, Disinformation, and Radicalization in American Politics, Oxford University Press, Oxford, 2018.
  • Omri BEN-SHAHAR, “Data pollution”, Journal of Legal Analysis, vol. 11, 2019, pp. 104-159.
  • Andrés BOIX PALOP, “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, vol. 1, 2020, pp. 223-270.
  • Stephanie BORNSTEIN, “Antidiscriminatory algorithms”, Alabama Law Review, vol. 70, núm. 2, 2019, pp. 519-572.
  • Kriel BRENNAN-MARQUEZ, “‘Plausible cause’: explanatory standards in the age of powerful machines”, Vanderbilt Law Review, vol. 17, núm. 4, 2017, pp. 1249-1301.
  • Jenna BURRELL, “How the machine ‘thinks’: understanding opacity in machine learning algorithms”, Big Data & Society, vol. 3, núm. 1, 2016, pp. 1-12.
  • Agustí CERRILLO I MARTÍNEZ, “El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas?”, Revista General de Derecho Administrativo, núm. 50, 2019, pp. 1-38.
  • Agustí CERRILLO I MARTÍNEZ, “¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos?”, European Review of Digital Administration & Law, vol. 1, núm. 1-2, 2020, pp. 18-36.
  • Alexandra CHOULDECHOVA, “Fair prediction with disparate impact: a study of bias in recidivism prediction instruments”, 2016, pp. 1-17. Disponible el 6 de diciembre de 2020 en https://arxiv.org.
  • Danielle CITRON, “Technological due process”, Washington University Law Review, vol. 85, núm. 6, 2008, pp. 1249-1313.
  • Cary COGLIANESE y David LEHR, “Regulating by robot: administrative decision making in the machine-learning era”, The Georgetown Law Journal, vol. 105, núm. 5, 2017, pp. 1147-1223.
  • Comisión Europea, “Comunicación de la Comisión sobre el recurso al principio de precaución”, COM/2000/0001 final, 1 de febrero de 2000.
  • Comisión Europea, “Defensa de la competencia: la Comisión impone una multa a Google de 1,49 miles de millones de euros por prácticas abusivas en la publicidad en línea”, 20 de marzo de 2019. Disponible el 8 de diciembre de 2020 en https://ec.europa.eu.
  • Comisión Europea, “Libro blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza”, COM (2020) 65 final, 19 de febrero de 2020.
  • Josh CONSTINE, “Facebook is shutting down its API for giving your friends’ data to apps”, TechCrunch, 28 de abril de 2015. Disponible el 8 de diciembre de 2020 en https://techcrunch.com.
  • Lorenzo COTINO HUESO, “«SyRI, ¿a quién sanciono?» Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020”, La Ley Privacidad, núm. 4, 2020.
  • Datenethikkommission, “Gutachten der Datenethikkommission”, 2019.
  • Datenethikkommission, Opinion of the Data Ethics Commission: Executive Summary”, 2019.
  • Javier DE LA CUEVA, “Código fuente, algoritmos y fuentes del derecho”, El Notario del Siglo XXI, núm. 77, 2018.
  • Javier DE LA CUEVA, “El derecho a no ser gobernados mediante algoritmos secretos”, El Notario del Siglo XXI, núm. 87, 2019.
  • Susana de la SIERRA MORÓN, “Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la Administración pública”, Revista General de Derecho Administrativo, núm. 53, 2020, pp. 1-19.
  • Gabriel DOMÉNECH PASCUAL, Derechos Fundamentales y Riesgos Tecnológicos, Centro de Estudios Políticos y Constitucionales, Madrid, 2006.
  • José ESTEVE PARDO, Lecciones de Derecho Administrativo, 6.ª ed. Marcial Pons, Barcelona, 2016.
  • Virginia EUBANKS, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, St Martin’s Press, Nueva York, 2017.
  • Michael FELDMAN et al., “Certifying and removing disparate impact”, Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2015, pp. 259-268.
  • Eduardo GARCÍA DE ENTERRÍA y Tomás-Ramón FERNÁNDEZ RODRÍGUEZ, Curso de Derecho Administrativo I, Thomson Reuters–Aranzadi, Cizur Menor (Navarra), 2020, pp. 496-500.
  • Janneke GERARDS, “The discrimination grounds of article 14 of the European Convention on Human Rights”, Human Rights Law Review, vol. 13, núm. 1, 2013, pp. 99-124.
  • Grupo de Trabajo del Artículo 29, “Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679”, 17/ES, WP 251rev.01, 6 de febrero de 2018.
  • Bryce W. GOODMAN, “A step towards accountable algorithms?: Algorithmic discrimination and the European Union general data protection”, 29th Conference on Neural Information Processing Systems, 2016. Disponible el 9 de diciembre de 2020 en http://www.mlandthelaw.org.
  • Alejandro HUERGO LORA, “Una aproximación a los algoritmos desde el Derecho administrativo”, en Alejandro Huergo Lora (dir.) y Gustavo Manuel Díaz González (coord.), La Regulación de los Algoritmos, Pamplona, Aranzadi, 2020, pp. 23-87.
  • Margot KAMINSKI, “Binary governance: Lessons from the GDPR’s approach to algorithmic accountability”, Southern California Law Review, vol. 92, núm. 6, 2019, pp. 1529-1616.
  • Cecilia KANG y Mike ISAAC, “U.S. and States Say Facebook Illegally Crushed Competition”, New York Times, 9 de diciembre de 2020. Disponible el 10 de diciembre de 2020 en https://www.nytimes.com.
  • Nancy KIM y Jeremy TELMAN, “Internet giants as quasi-governmental actors and the limits of contractual consent”, Missouri Law Review, vol. 80, núm. 3, 2015, pp. 723-770.
  • Spyros KOKOLAKIS, “Privacy attitudes and privacy behaviour: A review of current research on the privacy paradox phenomenon”, Computers & Security, vol. 107, 2017, pp. 122-134.
  • Bert-Jaap KOOPS, “The problem with European data protection law”, International Data Privacy Law, vol. 4, núm. 4, 2014, pp. 250-261.
  • Lawrence LESSIG, Code: Version 2.0, Basic books, Nueva York, 2006.
  • Steve LOHR, “Sizing up big data, broadening beyond the Internet”, The New York Times BITS Blog, 29 de junio de 2013. Disponible el 6 de diciembre de 2020 en https://bits.blogs.nytimes.com.
  • Stella LOWRY y Gordon MACPHERSON, “A blot on the profession”, British Medical Journal, 5 de marzo de 1988, pp. 657-658.
  • Isaac MARTÍN DELGADO, “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, núm. 180, 2009, pp. 353-386.
  • M.ª Dolores MAS BADÍA, “Credit-based insurance scores: some observations in the light of the european general data protection regulation”, Cuadernos Europeos de Deusto, núm. 62, 2020, pp. 155-186.
  • Juan Francisco MESTRE DELGADO, “Una reflexión sobre la regulación constitucional del Derecho administrativo”, Corts: Anuario de Derecho Parlamentario, núm. extra 31, 2018, pp. 367-386.
  • Javier MIRANZO DÍAZ, “Inteligencia artificial y contratación pública”, en Isaac Martín Delgado y Jose Antonio Moreno Molina (dirs.), Administración electrónica, transparencia y contratación pública, Madrid, Iustel, 2020, pp. 105-142.
  • Alex MILLER, “Want less-biased decisions? Use algorithms”, Harvard Business Review, 26 de Julio de 2018. Disponible el 6 de diciembre de 2020 en https://hbr.org.
  • Brendt MITTELSTADT et al., “The ethics of algorithms: mapping the debate”, Big Data & Society, julio-diciembre 2016, pp. 1-21.
  • Jerrold NADLER y David CICILLINE, “Investigation of competition in digital markets”, Subcommittee on antitrust, commercial and administrative law of the Committee on the judiciary, octubre 2020.
  • Safiya NOBLE, Algorithms of Oppression: How Search Engines Reinforce Racism, New York University Press, New York, 2018.
  • Cathy O’NEIL, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Penguin Books, Londres, 2017.
  • Paul OHM, “Broken promises of privacy: responding to the surprising failure of anonymization”, UCLA Law Review, vol. 57, 2010, pp. 1701-1777.
  • Angelo Giuseppe OROFINO, “The Implementation of the Transparency Principle in the Development of Electronic Administration”, European Review of Digital Administration & Law, vol. 1, No. 1-2, 2020, pp. 123-142.
  • Marion OSWALD, “Algorithm-assisted decision-making in the public sector: framing the issues using administrative law rules governing discretionary power”, Philosophical Transactions of the Royal Society of London, Series A: Mathematical and Physical Sciences, vol. 376, núm. 2128, 2018, pp. 1-20.
  • Adrián PALMA ORTIGOSA, “Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos”, Revista General de Derecho Administrativo, núm. 50, 2019.
  • Roger PARLOFF, “Why deep learning is suddenly changing your life”, Fortune, 28 de septiembre 2016. Disponible el 2 de diciembre de 2020 en http://fortune.com.
  • Julio PASCUAL Y VICENTE, “Prohibiciones del abuso de posición dominante” en Tratado de Derecho de la competencia, José María Beneyto Pérez (dir.) y Jerónimo Maillo González (coord.), Bosch, Barcelona, 2005, pp. 455-511.
  • Juli PONCE SOLÉ, “El derecho a una buena administración y la personalización de los servicios públicos” en Beltrán Puentes Cociña y Andrei Quintiá Pastrana, (dirs.), El Derecho ante la Transformación Digital, Barcelona, Atelier, 2019, pp. 51-71.
  • Juli PONCE SOLÉ, “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho Administrativo, núm. 50, 2019, pp. 1-52.
  • Sofia RANCHORDÁS y Ymre SCHUURMANS, “Outsourcing the welfare state: the role of private actors in welfare fraud investigations”, European Journal of Comparative Law and Governance, vol. 7, núm. 2, 2020, pp. 5-42.
  • Ariel RUBINSTEIN, “Dilemmas of an economic theorist”, Econometrica, vol. 74, núm. 4, 2006, pp. 865-883.
  • Matthew SCHERER, “Regulating artificial intelligence systems: risks, challenges, competencies, and strategies”, Harvard Law & Technology Journal, vol. 29, núm. 2, 2016, pp. 353-400
  • Bart SCHERMER, “The limits of privacy in automated profiling and data mining”, Computer Law & Security Review, vol. 27, No. 1, 2011, pp. 45-52.
  • Wim SCHREURS et al., “Cogitas, ergo sum. the role of data protection law and non-discrimination law in group profiling in the private sector” en Mireille Hildebrandt y Serge Gutwirth, Profiling the European Citizen, Springer, Berlín, 2008, pp. 241-270.
  • Sam SHEAD, “Google DeepMind is giving the NHS free access to its patient monitoring app”, Business Insider, 24 de junio de 2017. Disponible el 10 de diciembre 2020 de https://www.businessinsider.de.
  • Ben SHNEIDERMAN, “Algorithmic Accountability: Designing for safety through human-centered independent oversight”, Turing Lecture (The Alan Turing Institute) 31 de marzo de 2017. Disponible el 26 de noviembre de 2020 en https://www.youtube.com.
  • Alba SORIANO ARNANZ, “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, Revista General de Derecho Administrativo, núm. 56, 2021.
  • Cass SUNSTEIN, “Sludge and ordeals”, Duke Law Review, vol. 68, núm. 8, 2018, pp. 1843-1883.
  • Adrián TODOLÍ SIGNES, “Retos legales del uso del big data en la selección de sujetos a investigar por la Inspección de Trabajo y de la Seguridad Social”, Revista Galega de Administración Pública, núm. 59, 2020, pp. 313-337.
  • Andrew TUTT, “An FDA for algorithms”, Administrative Law Review, vol. 69, núm. 1, 2017, pp. 83-123.
  • Amos TVERSKY y Daniel KAHNEMAN, “Judgment under uncertainty: heuristics and biases”, Science, vol. 147, núm. 4157, 1974, pp. 1124-1131.
  • Karen YEUNG, “‘Hypernudge’: Big data as a mode of regulation by design”, Information, Communication & Society, vol. 20, núm. 1, 2017, pp. 118-136.
  • Karen YEUNG y Martin LODGE, “Algorithmic regulation: an introduction”, en Karen Yeung y Martin Lodge (eds.), Algorithmic regulation, Oxford University Press, Oxford 2019, pp. 1-18.
  • Julián VALERO TORRIJOS, “Inteligencia artificial y contratación del sector público”, Observatorio de Contratación Pública, 27 de enero de 2020.
  • Julián VALERO TORRIJOS, “The legal guarantees of artificial intelligence in administrative activity: reflections and contributions from the viewpoint of Spanish administrative law and good administration requirements”, European Review of Digital Administration & Law, vol. 1, No. 1-2, 2020, pp. 55-62.
  • Marlies VAN ECK, “Algorithms in public administration”, 31st January 2017. Disponible el 17 de julio de 2019 en https://marliesvaneck.wordpress.com.
  • Clara VELASCO RICO, “Vigilando al algoritmo. Propuestas organizativas para garantizar la transparencia”, en Beltrán Puentes Cociña y Andrei Quintiá Pastrana (dirs.), El Derecho ante la Transformación Digital, Barcelona, Atelier, 2019, pp. 73-89.
  • Sandra WACHTER y Brendt MITTELSTADT, “A right to reasonable inferences: re-thinking data protection law in the age of big data and AI”, Columbia Business Law Review, vol. 2019, núm. 2, 2019, pp. 494-620 (p. 499).
  • Tal ZARSKY, “Transparent predictions”, University of Illinois Law Review, vol. 2013, núm. 4, 2013, pp. 1503-1570.
  • Indr? ŽLIOBAIT? y Bart CUSTERS, “Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models”, Artificial Intelligence & Law, vol. 24, núm. 2, 2016, pp. 183-201.
Fuente de los datos: Dialnet