This piece was written by Ana Brandusescu @anabmap, Juan Ortiz Freuler @juanof9, Nnenna Nwakanma @nnenna, Nancy Salem @nancesalem, Tom Orrell @tomorrell86, and Ricardo Alanis @ric_alanis. Thank you to Juan Ortiz Freuler @juanof9 for the Spanish version. And for all the participants who made this session great.
At this year’s International Open Data Conferencein Buenos Aires, we held a sessionon how open data and AI can be used (or misused) and how this use can impact digital opportunities and digital equality. We also discussed what the key players (including unusual suspects) can do to mitigate potential harms and to implement data ethics and responsible data policies. This is a summary of the challenges, opportunities, and recommendations discussed.
Some participants questioned why we were introducing AI into a conference on open data. Some thought it was a case of connecting two popular buzzwords together, given that challenges around infrastructure, access to technology, and skills means that a merger between the two fields looks far off. However, as the development of AI technologies continues rapidly, many others agreed that it's critical we urgently develop strong frameworks of data ethics.
The Opportunities
- Save humans from undesirable tasks: Humans often haveto carry outtasks that are dangerous, dull and/or dirty, because they are necessary for the functioning of our current societies. Many of these tasks could be offloaded onto intelligent systems. Yet we must do so based on human values, and start designing legal frameworks that ensure this is done to increase the quality of life for workers who currently carry out these tasks, and not merely a mechanism to reduce the costs of labour.
- Help humans make better-informed decisions: Humans have limited cognitive capacity and often rely on small samples of data acquired through personal experience. AI can help generate value by processing more data and thus providing a bigger frame to decision-makers. For example, by identifying and reporting on (otherwise impossible to identify) patterns, early warning prediction systems can help develop the field of preventive healthcare. Earlier prediction, prevention and/or treatment of disease would help reduce harm and costs associated with medical care.
- Identify arbitrary or unfair behaviour by humans: Though much is said about bias in AI systems, often times human decision-makers can be subject to the same if not worse biases. In places and contexts where bias by human decision makers is prevalent, such as hiring human resources, properly designed AI assistants might offer a way to make decision makers accountable and more conscious of their own biases.
The Challenges
Although we recognised the potential for good that AI systems hold, they can also exacerbate inequalities. Will the deployment of AI replicate existing North/South power dynamics? This is related to the question of data and tech, and the dependency on capacity and resources from North America and Europe.
Causes and consequences
More efficient and automated systems will likely reinforce economic trends that are pushing wealth further to the top, exacerbating wealth inequality. The problem is compounded when considering the extent of the digital divide on a global scale and that AI systems are typically built by affluent men in Silicon Valley. With an overly narrow cultural context and lack of nuance, systems inevitably end up with built-in biases. One of many examples is that darker skinned people are not being recognised by some facial-recognition tech as researched by the Algorithmic Justice League.
Overall, we identified the challenges at the intersection of data ethics and AI could be organized in the following way:
- Systems that fail because they are bad quality (they fail always and everywhere).
- Systems that fail because they don't understand the context because they have been:
- Trained on biased datasets, or,
- Designed by a team of people that is not diverse and failed to account for relevant information, including their own implicit biases.
- Systems that are designed to pursue a narrow set of values, such as efficiency, and lead to bad social outcomes, such as a further concentration of wealth (E.g. Automating Inequality).
- Systems that even if they achieve reasonable results in some contexts, generate bad social outcomes when implemented in contexts lacking appropriate legal frameworks and institutions to account for their disruption (e.g. changes in the types of skills needed to get access to a job).
Context of imperialist power dynamics fuel the problem
Moreover, there were concerns with what is perceived as part of a broader trend in which new technologies are ‘dumped’ into contexts outside of the ones in which they were developed. This speaks closely to digital sovereignty, where data harvested in one country is hosted, processed and acted upon in a second country — leaving millions of people subject to the whims of companies that are not accountable to them or the institutions designed to protect their rights. This scenario, strengthened the concern of many participants regarding how AI might exacerbate inter-regional inequalities as well as global inequalities.
The Recommendations
The group came up with a set of recommendations towards ensuring rights are complied with and risks are minimized.
Governments must:
- Develop mechanisms to enable people to challenge automated decisions that have a considerable effect on their lives (e.g. credit decisions).
- Create mechanisms for public tender processes aimed at acquiring or implementing AI systems to assess risks and risk mitigation strategies.
Companies must:
- Stop offering ‘black box’ systems in high stakes sectors, such access to public services, and work to build systems that enable public oversight.
- Work towards establishing minimum standards of diversity in the teams designing AI systems, as a way to account for implicit bias.
- Ensure that there are ways for individuals to tinker with consumer-facing algorithms, such as those managing content curation, distribution and discovery functions.
- Increase the number and quality of publicly available training datasets to ensure a more level playing field for startups, and to facilitate public scrutiny over these training sets, which can help minimize the risk of bias.
- Ensure humane working conditions, and training to facilitate upskilling and higher wages for employees and contractors based outside the country where company HQ is based.
Both governments and companies need to:
- Work to resolve entrenched gender, racial and other biases that might affect datasets, and enact policies to address underlying power dynamics that created these biases.
- Provide ethics training for data practitioners.
- For example, much like medical practitioners take a Hippocratic oath, data scientists could pledge to follow a code of conduct that helps guide their actions, and signal red lines to employers and potential clients seeking their services.
And last but not least, collaborative frameworks for discussions are needed
Multi-stakeholder councils are needed to bring together developers, government officials and civil society to discuss contentious points and find solutions. These should be set up in such a way that acknowledges that Global South citizens deserve to have a stake not only in the use but also in the production of AI.
#IODC18: Ética de los datos e inteligencia artificial: intersección para la igualdad digital
Este post fue redactado por Ana Brandusescu @anabmap, Juan Ortiz Freuler @juanof9, Nnenna Nwakanma @nnenna, Nancy Salem @nancesalem, Tom Orrell @tomorrell86, and Ricardo Alanis @ric_alanis. Gracias a Juan Ortiz Freuler @juanof9 por la versión en español. Y para todos los participantes que hicieron genial esta sesión.
En la Conferencia Internacional de Datos Abiertos de este año en Buenos Aires, coordinamos una sesión sobre cómo los datos abiertos y la inteligencia artificial pueden ser aprovechados y cómo su utilización puede afectar las oportunidades digitales y la igualdad digital. También discutimos lo que actores clave (incluidos los sospechosos de siempre) pueden hacer para mitigar los riesgos de daño y para implementar políticas de datos responsables y éticas. A continuación una síntesis de aquella discusión..
Algunos participantes cuestionaron por qué estábamos introduciendo IA en una conferencia sobre datos abiertos. Algunos se preguntaron si se trataba de conectar dos términos que están de moda, aún cuando la intersección entre estos parece muy lejana: existen aún grandes desafíos en torno a la infraestructura, el acceso a la tecnología y las habilidades. Sin embargo, como el desarrollo de sistemas de inteligencia artificial continúa rápidamente, muchos otros consideraron que es fundamental y urgente el desarrollo marcos sólidos de ética de datos.
Las oportunidades
- Evitar que humanos deban realizar tareas indeseables: los humanos a menudo deben realizar tareas que son peligrosas, aburridas o sucias, porque se considera que estas tareas son necesarias para el buen funcionamiento de nuestras sociedades actuales. Muchas de estas tareas podrían delegadas a sistemas inteligentes. Necesitamos avanzar en el diseño de marcos legales que aseguren que este proceso se llevará adelante con el objetivo mejorar la calidad de vida de los trabajadores que actualmente realizan esas tareas, y no simplemente como un mecanismo para reducir los costes asociados con el trabajo.
- Ayudar a que los humanos tomen decisiones mejor informadas: los humanos tienen una capacidad cognitiva limitada y, a menudo, la toma de decisiones se apoya en una muestra muy pequeña de datos adquiridos a través de la experiencia personal. La IA puede ayudar a generar valor y evitar su destrucción al procesar más datos que aquellos que puede considerar una persona y, por lo tanto, proporcionar un marco más grande a los tomadores de decisiones. Por ejemplo, al identificar e informar sobre patrones (imposible de detectar por humanos) los sistemas de alerta temprana pueden ayudar a desarrollar el campo de la medicina preventiva. Una predicción, prevención y / o tratamiento temprano de condiciones de salud ayudaría a reducir los daños y los costos asociados con la atención médica.
- Ayudar a identificar comportamientos arbitrarios o injustos por parte de humanos: ante la creciente preocupación sobre los sesgo que pueden incorporar los sistemas de IA, a veces olvidamos que los tomadores de decisiones que no se apoyan en ningún sistema tecnológico pueden estar sujetos a los mismos o mayores sesgos. En lugares y contextos donde los tomadores de decisiones humanos son conocidos por extender sus prejuicios a sus tareas, como suele suceder en la contratación de recursos humanos, asistentes de IA debidamente diseñados pueden ayudar a que los tomadores de decisiones sean responsables y más conscientes de sus propios prejuicios.
Los desafíos
Aunque se reconoció el potencial que ofrecen los sistemas de inteligencia artificial para mejorar la calidad de vida, su potencial para exacerbar las desigualdades fue uno de los focos de debate. ¿El despliegue de IA replicará o reforzará las dinámicas de poder norte/sur ya existentes en materia de datos y tecnología?
Causas y consecuencias
Ausentes reglas para evitarlo, es probable que el despliegue de sistemas más eficientes y automatizados aceleren los procesos económicos que empujan la riqueza hacia la cima, exacerbando la desigualdad de ingresos. El problema se profundiza cuando consideramos el alcance de la brecha digital en una escala global y que los sistemas de inteligencia artificial suelen ser diseñados por hombres relativamente ricos en Silicon Valley. Desprovistos de contextos culturales, los sistemas terminan inevitablemente incorporando ciertos sesgos. Por ejemplo, las personas de piel más oscura no están siendo reconocidas por algunas tecnologías de reconocimiento facial, tal como investigó la Liga de Justicia Algorítmica.
Surgieron una serie desafíos en la intersección de la ética de los datos y la IA que podrían organizarse de la siguiente manera:
- Sistemas que fallan porque son de mala calidad (fallan siempre y en todas partes)
- Sistemas que fallan porque no entienden el contexto; han sido:
- Entrenados en base a bases de datos sesgadas, que no reflejan la población sobre la cual se quiere hacer predicciones.
- Diseñado por un equipo que no es diverso y no tuvo en cuenta información relevante, tal como el impacto de sus sesgos implícitos sobre el diseño.
- Los sistemas fueron diseñados para perseguir un conjunto limitado de objetivos, como la eficiencia, y conducen a malos resultados sociales, como una mayor concentración de la riqueza (por ejemplo, automatización de la desigualdad).
- Sistemas que incluso si logran resultados razonables en algunos contextos, generan malos resultados cuando se implementan en contextos que carecen de los marcos legales e instituciones adecuadas para monitorear y corregir los efectos disruptivos (por ejemplo, cambios en los tipos de habilidades necesarias para acceder a un trabajo).
El contexto alimenta el problema: se enmarca en dinámicas de poder imperialista
Además, hubo preocupación por lo que se percibe como parte de una tendencia más amplia en la que las nuevas tecnologías son "arrojadas" a contextos distintos a aquellos en que se desarrollaron. Esto linda con conceptos como soberanía digital, y la preocupación por el hecho de que los datos recopilados en un país se alojan, procesan y generan acciones en un segundo país, dejando a millones de personas sujetas a los caprichos de compañías que no rinden cuentas ante ellos o las instituciones diseñadas para proteger sus derechos. Este escenario reforzó la preocupación de muchos participantes sobre cómo la IA podría exacerbar las desigualdades interregionales así como las desigualdades globales.
Recomendaciones
El grupo formuló una serie de recomendaciones para garantizar el cumplimiento de los derechos y minimizar los riesgos.
Los gobiernos deben:
- Desarrollar mecanismos que permitan a las personas apelar aquellas decisiones realizadas por sistemas automatizados que tienen un efecto considerable en sus vidas (por ejemplo, las decisiones sobre acceso a crédito).
- Crear mecanismos para los procesos de licitación pública destinados a adquirir o implementar sistemas de IA que incorporen la evaluación de riesgos y las estrategias para su mitigación.
Las empresas deben:
- Dejar de ofrecer sistemas opacos o de "caja negra" en sectores de alto riesgo, tales como el acceso a servicios públicos, y trabajar hacia el desarrollo de sistemas que faciliten el control público.
- Trabajar hacia el establecimiento de estándares mínimos de diversidad en los equipos que diseñan sistemas de inteligencia artificial, como una forma de minimizar los riesgos de que los sesgos implícitos de sus miembros produzcan sistemas que incorporen estos sesgos.
- Crear mecanismos para que los individuos puedan ajustar y alterar los algoritmos orientados al consumidor, como aquellos que administran la distribución y descubrimiento de contenido online.
- Liberar conjuntos de datos de entrenamiento para permitir mayor innovación y asegurar el libre acceso y disponibilidad de conjuntos de datos completos, y que reduzcan la propensión a la implementación de sistemas que fueron entrenados utilizando bases de datos sesgadas.
- Promover políticas que impulsen la capacitación de empleados y contratistas en los distintos países donde se opera, como también políticas que mejoren las condiciones de trabajo y salarios de empleados y contratistas basados en estos países. Se debe revertir lo que parece una ola de creciente vigilancia sobre empleados, así como la desigualdad en salarios entre empleados ubicados dentro y fuera del país que alberga a la casa matriz.
Tanto los gobiernos como las empresas necesitan:
- Identificar y trabajar para resolver los sesgos vinculados al género, origen étnico, y otras categorías que pueden haberse arraigado en las bases de datos, así como también desarrollar políticas para abordar las dinámicas de poder subyacentes que crearon estos sesgos.
- Proporcionar formación en ética para los profesionales de la información.
- Por ejemplo, al igual que los médicos realizan un juramento hipocrático, los científicos de datos podrían comprometerse a seguir un código de conducta que ayude a guiar sus acciones y señalar líneas rojas a los empleadores y potenciales clientes.
Y por último, se necesitan marcos de colaboración para las discusiones.
- Establecer consejos de múltiples partes interesadas que reúnan a desarrolladores, funcionarios gubernamentales y la sociedad civil para discutir puntos polémicos y encontrar soluciones. Estos espacios deben construirse de tal modo que ofrezcan a los ciudadanos del Sur global un rol no solo en el uso, sino también en la producción de IA.
- Establecer organizaciones públicas encargadas de desarrollar mecanismos de supervisión, responsabilidad y participación pública en esta área.
For more updates, follow us on Twitter at @webfoundation and sign up to receive our newsletter.
To receive a weekly news brief on the most important stories in tech, subscribe to The Web This Week.