Accions

Biaixos i discriminació en l'anàlisi predictiu basat en aprenentatge automàtic 2019/03/02

De teixidora

Esdeveniment ¬ sessió • Forma part de: Sobtec 2019 IV Congrés de Sobirania Tecnològica

Calendar Noun project 1194.svg

Biaixos i discriminació en l'anàlisi predictiu basat en aprenentatge automàtic

Quan: des de 02-març-2019 fins a 02-març-2019 · Hora: 13:00 - 14:00 · On: La Lleialtat Santsenca. Carrer Olzinelles, 31 - 08014. Barcelona · (mapa) · Llengua: Català Organitza: Grup promotor Sobirania tecnològica

Hashtag:#SobTec19_Xarxes socials:Twitter logo initial.png @_sobtec



Sobtec. Congrés de sobirania tecnològica.


“… La idea de facilitar -i de vegades substituir- decisions humanes amb processos d'intel·ligència artificial pren cada cop més força a àmbits ben variats: assegurances, serveis financers, campanyes polítiques, justícia, policia... En aquesta ponència argumentarem 1) com aquests sistemes d'aprenentatge automàtic generen preocupants situacions de discriminació i 2) que aquests biaixos no es poden solucionar de forma automàtica i és necessari el seguiment humà per detectar-los i eliminar-los.




Steel Fire.svg

Documentació

· apunts · diapos · Imatges · vídeo · àudio ·

Apunts i cròniques

Apunts presos a l'esdeveniment, cròniques, ressenyes i documents de conclusions.


Apunts







Apunts copiats al wiki:

https://pad.femprocomuns.cat/sobtec19predictiu

Biaixos i discriminació en l'anàlisi predictiu basat en aprenentatge automàtic

> Data i hora: 2/3/2019 - 13:00h

SOBTEC 2019. IV Congrés de Sobirania Tecnològica. Relatoria col·laborativa que es transferirà a la plataforma Teixidora.net com a documentació del Congrés.

https://www.teixidora.net/wiki/sobtec19

> Pots identificar-te amb un nom i pseudònim i un color a la part superior dreta de la pantalla.

> Pots comunicar-te amb les altres persones connectades amb el chat de baix a la dreta.

Apunts col·laboratius

Col·labora a prendre apunts a continuació. Ajuda a identificar temes, projectes, organitzacions i autor/es mencionats/des. Enllaça informació complementària si cal.

> Si vols expressar una opinió, posa-ho entre claudàtors [Opinió> ...]

> Si estàs a distància i vols traslladar preguntes a la taula, posa-les al final en una llista "Preguntes per a la taula"

Com estem desenvolupant algoritmes que prenen decisions i com aquest algorítmes ens poden portar a la injustícia.  Si segons les estadísitiques, el 90% de les vegades que un negre i un blanc es troben, el negre mata el blanc Inclús algú que es considera d'equerres, progressista, sosté que s'ha dinformar. Això és un biaix típic de la intel·ligència artificial.

Som molt dolents predint com seran els efectes socials de la tecnologia: Keynes creia que al segle XXI treballariem 15 horem a la setmana i la resta seria temps lliure. Però la revolució digital ha portat al nomadisme laboral; el mite del ciutadà periodista que faria desapareixer els mitjans, però en ralitat som a l'interent del bots i les fake news.

La singularitat (el moment en que els ordinadors seran més intel·ligents que els humans i els escavitzaran) encara està molt lluny, però la intel·ligència artificial ja està generant alguns problemes: la prensa se'n fa molt de ressó: dos ordinadors que parlàven am un llenguatge propi (en realitat era un error) va ser venut com una conspiració de la singularitat. Projecte de la Moral Machine, de la MIT, que estudien el tema dels cotxes, per exemple el problema dels debats d'atropellar o a una nena o a una anciana, són problemes falsos, qui s'ha trobat en haver de prendre una decisió així?

La manera com els algoritmes creen informació sobre nosaltres, i creen problemes, uns de perfilar i uns de violació de la privacitat.

Cambridge analyitica, utilitzant dades obtingudes de manera paralegal.

Ens centrarem en com els algortimtes agafen informació pública que té efectes en la vida de les persones). El Compas (correctional offender management pofiling for alternative sactions) cometia biaxios importants a nivell de raça. La raça era determinant per decidir si havia d'ingressar a presó o pagar una fiança: l'algoritme era racista.

El Machine Learning es presenta com el gran salvador que pot resoldre tots els problemes. Un exemple és el reconeixemnt facial: les cares van cambiant amb el temps, però hi ha alguns trets que ens permeten reconèixer les persones. Els algoritmes estàndars tenen una regressió lineal, fan prediccions a partir d'exemples, amb variables concretes (es representa amb una línea recta diagonal que separa dos grups de dades). Alguns algortimes: Support Vector Machines o Arbres de Decisió. Cada cop són més extesos, i prenen decisions que afecten les persones.

Això és problemàtic perquè

 -Mantenen el biaix: Si els jutges d'EUA són racistes, els programes que es desenvolupin per prendre les decisions dels jutges també seran racistes. Suprimir la raça de les dades que es recapten no és una solució, perquè això quedarà relfectit a través d'altres dades (on viuen, a quina escola han anat, etc.). Projecte de Propublica https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

  -Amplaició del biaix: Els algoritmes no només agafen el biaix, sinó que el reforcen. No hi haurà humans que controlin i el biaix i s'extendrà. Al final l'algoritme només tindrà en consideració la raça.

  - Confondre Preferències i valors: En experiments de Moral Machines, molta gent preferia atropellar un homeless a un executiu, confonent valors ètics i preferències (a algú li poden semblar més macos els gats que les persones, però això no significa que èticament sigui raonable acceptar-ho).

  El problema és que la correlació no és causació: el programes mostren correlacions entre dades, pero no són de causa-efecte. La majoria d'accidents es produeixen a 90 Km/h. Seguint aquesta fal·làcia, un programa ens recomanaria anar a 200 km/h, perquè hi ha menys accidents (perquè hi ha menys cotxes i per tant menys accidents). El ordinadors tendeixen a perdre el context de vista, que és molt important.

  Necessitem entendre les emocions humanes: Els humans també sóm molt incompetents a l'hora d'interpretar les emocions a través (només) del reconeixement facial: utilitzem altres informacions. En el machine learning, s'utilitzen fotos on s'etiqueten paraules claus relacionades amb els sentiments. Moltres de les empreses que desenvolupen aquests mètodes són privatius i els altres humans no poden veure com funcionen.

Els investigadors de Propublica van fer investigació inversa, perquè no els van facilitar els algoritmes. Caldria saber què utilitzen les universitats, les plataformes com uber, airbnb,... Els humans són necessaris perquè poden veure causalitats i tenen en compte els valors.

Hi ha dos tipus (dues cultures): humanistes amb formació tecnològica i enginyers amb formació humanista que  haurien de cooperar..

Identifiquem què es diu sobre les sobiranies

Identifiquem el diagnòstic, les propostes de solució i les alternatives que ja tenim en marxa que surtin en aquesta activitat.

Posa-ho en forma de llista als apartats següents


-||-|-

Apunts

Altres apunts que no s'hagin recollit de forma estructurada a les llistes superiors

Llista d'intervinents separada per comes

David Casacuberta

Aportacions

Aportacions de les persones intervinents

Intervenció

Caldria crear un marc legal?

Resposta

Hi ha empreses que estan venent solucions a l'administració pública, caldria escriure unes condicions fàcils d'entendre pels polítics

Intervenció

No tenim un mecanisme legislatiu que obliga a no fer servir algoritmes de presa de decisions que puguessin anar en contra de la legislació?

Resposta

Si, caldria, però hauria de ser una legislació nova, no es pot dir "ha de tenir en compte els drets humans", una legislació que sigui capaç de detectar els proxis (combinacions de "if") que acaben generant aquests biaixos

Intervenció

La UE està començant a legislar, l'auditoria d'aquests models que és la clau, hi ha documentació oberta sobre aquest tema.

La manera en què consumim la intel.ligencia artificial és a través del mercat i de les empreses, que no pensen en l'impacte social sinó en maximitzar benefici

Intervenció

Donada la velocitat accelerada de la intel.ligencia artificial, si la part legislativa va molt més lenta, estem a temps o és un mite?

Resposta

En bona part és mite, la tecnologia creix exponencialment.

Intervenció

Has dit que el problema no és tant el machine learning com el fet que els algoritmes estiguin tancats. També hi ha decisions que són molt polítiques i arribariem als valors, el software lliure pot ser una solució, i de l'altra és un tema molt polític, podem fer servir aquesta tecnologia des de les tecnologies lliures?

Per entendre un algoritme de machine learning calen documents, com s'ha entrenat, com s'ha retocat, com continua aprenent,

Intervenció

Un algorisme no és auditable, i el punt crític és la obtenció de dades a l'entrenament, fa palès el biaix que té la societat que entrena la màquina, és una oportunitat de retocar les estructures socials que permeten aquestes desigualtats. Ens hem de preguntar qui està prenent les decisions per nosaltres. No podem fer servir aquestes eines per descobrir realment en mans de qui estem i donant-li la volta, enlloc de fer crítica de l'algorisme.

Resposta

La diferència entre tenir-hi accés o no, el cluster analysis, per exemple, et permet veure com està prenent decisions, el tipus de raonament que utitlitza el programa, per exemple el barri, això no pot ser un element de pes en la decisió d'un jutge. Però els programes van introduint petites correccions per eliminar els resultats burrades que es donen.

Intervenció

Quan dius que hi ha biaixos, no estàs tenint en compte que la tecnologia no és neutral, i que són resultat de com la tecnologia ha estat desenvolupada, podriem buscar com promoure altres valors.

Resposta

Totalment d'acord, la gent que va fer el Compas, per exemple, perquè van escollir les dades que van escollir? és central fer aquesta comunitat de

Intervenció

En l'ambit public es prenen decisions basades en algortimes, aquí?

Reposta

No en tinc constància, crec que si no n'hi ha és per falta de dades.

...

Intervencions del públic

Preguntes i aportacions del públic, respostes de les intervinents

...

Buidatge de continguts (separats per comes)

Extreu del que s'ha dit i/o dels apunts recollits els temes tractats en forma de paraules clau així com els projectes, organitzacions i persones mencionades (autors/es, pensadors/es, activistes, etc).Aquesta informació es transferirà automàticament al wiki semàntic Teixidora.net i servirà per relacionar els continguts d'aquesta activitat amb altres.  Fes-ho en un text separat per comes per facilitar aquesta tranferència automàtica.



-||-|-

-




el taller Noun 21753 cc.svg

Col·labora completant o afegint la documentació que falta.

Teixidora Rĕzboiul saŭ stativele 1898 PD.svg

Hi ha: > apunts o cròniques

No s'ha incorporat documentació de:

  • Presentacions o material projectat
  • Imatges
  • Vídeo
  • Àudio


Fotografia: Jae 2009 CC-by-sa 2.0 Wikimedia Commons. Cusco, Perú

Teixim una xarxa de connexions partint d'aquest esdeveniment: extraiem i etiquetem continguts de la documentació generada per explorar relacions amb altres esdeveniments, identificar narratives, elements pel debat i generar cartografia dels actors implicats.

Fotografia: Jae 2009 CC-by-sa 2.0 Wikimedia Commons. Cusco, Perú
Steel Fire.svg

Continguts relacionats

Informació estructurada de l'esdeveniment que permet connectar-lo amb altres continguts a Teixidora.

Paraules clau: sobirania tecnològica, Intel·ligència artificial

singularitat, intel·ligència artificial, machine learning, reconeixement facial, regressió linial, support vector machines, ètica, Silicon Valley

Paraules més freqüents: algoritmes, fer, decisions, poden, persones, mencionades, machine, informació, humans, dades, tecnologia, programes, pot, paraules, organitzacions, biaix, apunts, veure, través, tecnològica

Intervinents: David Casacuberta

Persones mencionades:

Projectes mencionats: Cambridge Analytica, Moral Machine, Compas

Organitzacions mencionades: Propublica, Uber, Airbnb

Llibres i publicacions citades:



Fotografia: Jae 2009 CC-by-sa 2.0 Wikimedia Commons. Cusco, Perú
Steel Fire.svg

Resultats

Resultats extrets del que s'ha tractat a l'esdeveniment.

Riscos / debilitats / mancances


  • Els algoritmes ens poden portar a la injustícia, a la esclavitud,
  • La bombolla dels filtres, en què rebem únicament informació ja propera a nosaltres o als nostres valors,
  • Els programes repeteixen i augmenten el biaix social

Oportunitats / fortaleses

Propostes


  • Cal una nova generació d'intel.ligència artificial que pugui diferenciar entre preferències i valors, distingir la correlació de la causació,
  • Els algoritmes han de ser oberts, s'han de poder auditar,
  • Connectar humanistes i enginyers,
  • Utilitzar els algoritmes per auditar els biaixos socials, de les autoritats que ens governen

S'hi ha dit

Coses significatives que s'han dit.


Conclusions

Conclusions a les que s'arriba.


Acords

Acords presos en aquest esdeveniment.


Tasques a fer

Tasques que s'ha previst fer.


Temes pendents

Temes que caldrà tractar en propers esdeveniments.


Preguntes obertes

Preguntes que queden obertes.


Alternatives

Identificació d'alternatives existents


  • ...


Steel Fire.svg

Mapa

Localització: La Lleialtat Santsenca. Carrer Olzinelles, 31 - 08014. Barcelona ·

Loading map...








Teixidora Rĕzboiul saŭ stativele 1898 PD.svg

el taller Noun 21753 cc.svg

Noun project - plus round.svg Afegir a teixidora esdeveniments similars a aquest

(es copiaran els continguts principals però no el títol ni el buidat)

Afegir esdeveniment que sigui... Noun project - plus round.svg amb mateixos organitzadors i lloc Noun project - plus round.svg al mateix lloc