Esdeveniment ¬ sessió • Forma part de: Sobtec 2019 IV Congrés de Sobirania Tecnològica ■

Biaixos i discriminació en l'anàlisi predictiu basat en aprenentatge automàtic

Quan: des de 02-març-2019 fins a 02-març-2019 · Hora: 13:00 - 14:00· On: La Lleialtat Santsenca. Carrer Olzinelles, 31 - 08014. Barcelona · (mapa) · Llengua: ca-català Organitza: Grup Promotor per la Sobirania Tecnològica

Hashtag:#SobTec19_Xarxes socials:

@_sobtec

+ ical: afegir aquest esdeveniment a la teva agenda

Documentació
Teixim connexions
Resultats
Lloc

Sobtec. Congrés de sobirania tecnològica.

“… La idea de facilitar -i de vegades substituir- decisions humanes amb processos d'intel·ligència artificial pren cada cop més força a àmbits ben variats: assegurances, serveis financers, campanyes polítiques, justícia, policia... En aquesta ponència argumentarem 1) com aquests sistemes d'aprenentatge automàtic generen preocupants situacions de discriminació i 2) que aquests biaixos no es poden solucionar de forma automàtica i és necessari el seguiment humà per detectar-los i eliminar-los.

enllaç al programa

Documentació d'aquesta sessió

· apunts ·

Apunts i cròniques

Apunts presos a l'esdeveniment, cròniques, ressenyes i documents de conclusions.

Apunts

Apunts copiats al wiki:

Editar apunts copiats al wiki

https://pad.femprocomuns.cat/sobtec19predictiu

Biaixos i discriminació en l'anàlisi predictiu basat en aprenentatge automàtic

> Data i hora: 2/3/2019 - 13:00h

SOBTEC 2019. IV Congrés de Sobirania Tecnològica. Relatoria col·laborativa que es transferirà a la plataforma Teixidora.net com a documentació del Congrés.

https://www.teixidora.net/wiki/sobtec19

> Pots identificar-te amb un nom i pseudònim i un color a la part superior dreta de la pantalla.

> Pots comunicar-te amb les altres persones connectades amb el chat de baix a la dreta.

Apunts col·laboratius

Col·labora a prendre apunts a continuació. Ajuda a identificar temes, projectes, organitzacions i autor/es mencionats/des. Enllaça informació complementària si cal.

> Si vols expressar una opinió, posa-ho entre claudàtors [Opinió> ...]

> Si estàs a distància i vols traslladar preguntes a la taula, posa-les al final en una llista "Preguntes per a la taula"

Com estem desenvolupant algoritmes que prenen decisions i com aquest algorítmes ens poden portar a la injustícia. Si segons les estadísitiques, el 90% de les vegades que un negre i un blanc es troben, el negre mata el blanc Inclús algú que es considera d'equerres, progressista, sosté que s'ha dinformar. Això és un biaix típic de la intel·ligència artificial.

Som molt dolents predint com seran els efectes socials de la tecnologia: Keynes creia que al segle XXI treballariem 15 horem a la setmana i la resta seria temps lliure. Però la revolució digital ha portat al nomadisme laboral; el mite del ciutadà periodista que faria desapareixer els mitjans, però en ralitat som a l'interent del bots i les fake news.

La singularitat (el moment en que els ordinadors seran més intel·ligents que els humans i els escavitzaran) encara està molt lluny, però la intel·ligència artificial ja està generant alguns problemes: la prensa se'n fa molt de ressó: dos ordinadors que parlàven am un llenguatge propi (en realitat era un error) va ser venut com una conspiració de la singularitat. Projecte de la Moral Machine, de la MIT, que estudien el tema dels cotxes, per exemple el problema dels debats d'atropellar o a una nena o a una anciana, són problemes falsos, qui s'ha trobat en haver de prendre una decisió així?

La manera com els algoritmes creen informació sobre nosaltres, i creen problemes, uns de perfilar i uns de violació de la privacitat.

Cambridge analyitica, utilitzant dades obtingudes de manera paralegal.

Ens centrarem en com els algortimtes agafen informació pública que té efectes en la vida de les persones). El Compas (correctional offender management pofiling for alternative sactions) cometia biaxios importants a nivell de raça. La raça era determinant per decidir si havia d'ingressar a presó o pagar una fiança: l'algoritme era racista.

El Machine Learning es presenta com el gran salvador que pot resoldre tots els problemes. Un exemple és el reconeixemnt facial: les cares van cambiant amb el temps, però hi ha alguns trets que ens permeten reconèixer les persones. Els algoritmes estàndars tenen una regressió lineal, fan prediccions a partir d'exemples, amb variables concretes (es representa amb una línea recta diagonal que separa dos grups de dades). Alguns algortimes: Support Vector Machines o Arbres de Decisió. Cada cop són més extesos, i prenen decisions que afecten les persones.

Això és problemàtic perquè

-Mantenen el biaix: Si els jutges d'EUA són racistes, els programes que es desenvolupin per prendre les decisions dels jutges també seran racistes. Suprimir la raça de les dades que es recapten no és una solució, perquè això quedarà relfectit a través d'altres dades (on viuen, a quina escola han anat, etc.). Projecte de Propublica https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

-Amplaició del biaix: Els algoritmes no només agafen el biaix, sinó que el reforcen. No hi haurà humans que controlin i el biaix i s'extendrà. Al final l'algoritme només tindrà en consideració la raça.

- Confondre Preferències i valors: En experiments de Moral Machines, molta gent preferia atropellar un homeless a un executiu, confonent valors ètics i preferències (a algú li poden semblar més macos els gats que les persones, però això no significa que èticament sigui raonable acceptar-ho).

El problema és que la correlació no és causació: el programes mostren correlacions entre dades, pero no són de causa-efecte. La majoria d'accidents es produeixen a 90 Km/h. Seguint aquesta fal·làcia, un programa ens recomanaria anar a 200 km/h, perquè hi ha menys accidents (perquè hi ha menys cotxes i per tant menys accidents). El ordinadors tendeixen a perdre el context de vista, que és molt important.

Necessitem entendre les emocions humanes: Els humans també sóm molt incompetents a l'hora d'interpretar les emocions a través (només) del reconeixement facial: utilitzem altres informacions. En el machine learning, s'utilitzen fotos on s'etiqueten paraules claus relacionades amb els sentiments. Moltres de les empreses que desenvolupen aquests mètodes són privatius i els altres humans no poden veure com funcionen.

Els investigadors de Propublica van fer investigació inversa, perquè no els van facilitar els algoritmes. Caldria saber què utilitzen les universitats, les plataformes com uber, airbnb,... Els humans són necessaris perquè poden veure causalitats i tenen en compte els valors.

Hi ha dos tipus (dues cultures): humanistes amb formació tecnològica i enginyers amb formació humanista que haurien de cooperar..

Identifiquem què es diu sobre les sobiranies

Identifiquem el diagnòstic, les propostes de solució i les alternatives que ja tenim en marxa que surtin en aquesta activitat.

Posa-ho en forma de llista als apartats següents

-||-|-

Apunts

Altres apunts que no s'hagin recollit de forma estructurada a les llistes superiors

Llista d'intervinents separada per comes

David Casacuberta

Aportacions

Aportacions de les persones intervinents

Intervenció

Caldria crear un marc legal?

Resposta

Hi ha empreses que estan venent solucions a l'administració pública, caldria escriure unes condicions fàcils d'entendre pels polítics

Intervenció

No tenim un mecanisme legislatiu que obliga a no fer servir algoritmes de presa de decisions que puguessin anar en contra de la legislació?

Resposta

Si, caldria, però hauria de ser una legislació nova, no es pot dir "ha de tenir en compte els drets humans", una legislació que sigui capaç de detectar els proxis (combinacions de "if") que acaben generant aquests biaixos

Intervenció

La UE està començant a legislar, l'auditoria d'aquests models que és la clau, hi ha documentació oberta sobre aquest tema.

La manera en què consumim la intel.ligencia artificial és a través del mercat i de les empreses, que no pensen en l'impacte social sinó en maximitzar benefici

Intervenció

Donada la velocitat accelerada de la intel.ligencia artificial, si la part legislativa va molt més lenta, estem a temps o és un mite?

Resposta

En bona part és mite, la tecnologia creix exponencialment.

Intervenció

Has dit que el problema no és tant el machine learning com el fet que els algoritmes estiguin tancats. També hi ha decisions que són molt polítiques i arribariem als valors, el software lliure pot ser una solució, i de l'altra és un tema molt polític, podem fer servir aquesta tecnologia des de les tecnologies lliures?

Per entendre un algoritme de machine learning calen documents, com s'ha entrenat, com s'ha retocat, com continua aprenent,

Intervenció

Un algorisme no és auditable, i el punt crític és la obtenció de dades a l'entrenament, fa palès el biaix que té la societat que entrena la màquina, és una oportunitat de retocar les estructures socials que permeten aquestes desigualtats. Ens hem de preguntar qui està prenent les decisions per nosaltres. No podem fer servir aquestes eines per descobrir realment en mans de qui estem i donant-li la volta, enlloc de fer crítica de l'algorisme.

Resposta

La diferència entre tenir-hi accés o no, el cluster analysis, per exemple, et permet veure com està prenent decisions, el tipus de raonament que utitlitza el programa, per exemple el barri, això no pot ser un element de pes en la decisió d'un jutge. Però els programes van introduint petites correccions per eliminar els resultats burrades que es donen.

Intervenció

Quan dius que hi ha biaixos, no estàs tenint en compte que la tecnologia no és neutral, i que són resultat de com la tecnologia ha estat desenvolupada, podriem buscar com promoure altres valors.

Resposta

Totalment d'acord, la gent que va fer el Compas, per exemple, perquè van escollir les dades que van escollir? és central fer aquesta comunitat de

Intervenció

En l'ambit public es prenen decisions basades en algortimes, aquí?

Reposta

No en tinc constància, crec que si no n'hi ha és per falta de dades.

...

Intervencions del públic

Preguntes i aportacions del públic, respostes de les intervinents

...

Buidatge de continguts (separats per comes)

Extreu del que s'ha dit i/o dels apunts recollits els temes tractats en forma de paraules clau així com els projectes, organitzacions i persones mencionades (autors/es, pensadors/es, activistes, etc).Aquesta informació es transferirà automàticament al wiki semàntic Teixidora.net i servirà per relacionar els continguts d'aquesta activitat amb altres. Fes-ho en un text separat per comes per facilitar aquesta tranferència automàtica.

-||-|-

-

enllaç al pad

el taller

Col·labora completant o afegint la documentació que falta.

Hi ha: > apunts o cròniques

No s'ha incorporat documentació de:

Presentacions o material projectat
Imatges
Vídeo
Àudio

Fotografia: Jae 2009 CC-by-sa 2.0 Wikimedia Commons. Cusco, Perú

Documentació
Teixim connexions
Resultats
Lloc

Teixim connexions

Teixim una xarxa de connexions partint d'aquest esdeveniment'. Extraiem i etiquetem continguts de la documentació generada per explorar relacions amb altres esdeveniments, identificar narratives, elements pel debat i generar cartografia dels actors implicats.

Metadades

Informació estructurada de l'esdeveniment que permet connectar-lo amb altres continguts a Teixidora.

Paraules clau: sobirania tecnològica, singularitat, intel·ligència artificial, machine learning, reconeixement facial, regressió linial, support vector machines, ètica, Silicon Valley

Mostra paraules més freqüents al text

algoritmes, fer, decisions, poden, persones, mencionades, machine, informació, humans, dades, tecnologia, programes, pot, paraules, organitzacions, biaix, apunts, veure, través, tecnològica

Intervinents: David Casacuberta

Persones mencionades:

Projectes mencionats: Cambridge Analytica, Moral Machine, Compas

Organitzacions mencionades: Propublica, Uber, AirBnB

Llibres i publicacions citades:

Diagnòstic

Diagnòstic i/o avaluació que s'ha fet a l'esdeveniment.

Riscos / debilitats / mancances

Els algoritmes ens poden portar a la injustícia, a la esclavitud,
La bombolla dels filtres, en què rebem únicament informació ja propera a nosaltres o als nostres valors,
Els programes repeteixen i augmenten el biaix social

Oportunitats / fortaleses

Propostes

Cal una nova generació d'intel.ligència artificial que pugui diferenciar entre preferències i valors, distingir la correlació de la causació,
Els algoritmes han de ser oberts, s'han de poder auditar,
Connectar humanistes i enginyers,
Utilitzar els algoritmes per auditar els biaixos socials, de les autoritats que ens governen

Alternatives

Identificació d'alternatives existents

...

el taller

Col·labora estructurant els resultats a partir de la documentació existent

A més dels resultats mostrats en aquesta pàgina, Teixidora permet mostrar de forma estructurada els següents resultats:

Cites (què s'ha dit)

Si creus que d'aquesta sessió se'n poden extreure alguns d'aquests resultats edita la pàgina i posa-ho a les caselles previstes a la secció "resultats".