Biaixos i discriminació en l'anàlisi predictiu basat en aprenentatge automàtic 2019/03/02
De teixidora
Quan: des de 02-març-2019 fins a 02-març-2019 · Hora: 13:00 - 14:00· On: La Lleialtat Santsenca. Carrer Olzinelles, 31 - 08014. Barcelona · (mapa) · Llengua: ca-català Organitza: Grup Promotor per la Sobirania Tecnològica
Hashtag:#SobTec19_Xarxes socials: @_sobtec
Sobtec. Congrés de sobirania tecnològica.
“… La idea de facilitar -i de vegades substituir- decisions humanes amb processos d'intel·ligència artificial pren cada cop més força a àmbits ben variats: assegurances, serveis financers, campanyes polítiques, justícia, policia... En aquesta ponència argumentarem 1) com aquests sistemes d'aprenentatge automàtic generen preocupants situacions de discriminació i 2) que aquests biaixos no es poden solucionar de forma automàtica i és necessari el seguiment humà per detectar-los i eliminar-los.
Documentació d'aquesta sessió
· apunts ·
Apunts i cròniques
Apunts presos a l'esdeveniment, cròniques, ressenyes i documents de conclusions.
Apunts
Apunts copiats al wiki:
https://pad.femprocomuns.cat/sobtec19predictiu
Biaixos i discriminació en l'anàlisi predictiu basat en aprenentatge automàtic
> Data i hora: 2/3/2019 - 13:00h
SOBTEC 2019. IV Congrés de Sobirania Tecnològica. Relatoria col·laborativa que es transferirà a la plataforma Teixidora.net com a documentació del Congrés.
https://www.teixidora.net/wiki/sobtec19
> Pots identificar-te amb un nom i pseudònim i un color a la part superior dreta de la pantalla.
> Pots comunicar-te amb les altres persones connectades amb el chat de baix a la dreta.
Apunts col·laboratius
Col·labora a prendre apunts a continuació. Ajuda a identificar temes, projectes, organitzacions i autor/es mencionats/des. Enllaça informació complementària si cal.
> Si vols expressar una opinió, posa-ho entre claudàtors [Opinió> ...]
> Si estàs a distància i vols traslladar preguntes a la taula, posa-les al final en una llista "Preguntes per a la taula"
Com estem desenvolupant algoritmes que prenen decisions i com aquest algorítmes ens poden portar a la injustícia. Si segons les estadísitiques, el 90% de les vegades que un negre i un blanc es troben, el negre mata el blanc Inclús algú que es considera d'equerres, progressista, sosté que s'ha dinformar. Això és un biaix típic de la intel·ligència artificial.
Som molt dolents predint com seran els efectes socials de la tecnologia: Keynes creia que al segle XXI treballariem 15 horem a la setmana i la resta seria temps lliure. Però la revolució digital ha portat al nomadisme laboral; el mite del ciutadà periodista que faria desapareixer els mitjans, però en ralitat som a l'interent del bots i les fake news.
La singularitat (el moment en que els ordinadors seran més intel·ligents que els humans i els escavitzaran) encara està molt lluny, però la intel·ligència artificial ja està generant alguns problemes: la prensa se'n fa molt de ressó: dos ordinadors que parlàven am un llenguatge propi (en realitat era un error) va ser venut com una conspiració de la singularitat. Projecte de la Moral Machine, de la MIT, que estudien el tema dels cotxes, per exemple el problema dels debats d'atropellar o a una nena o a una anciana, són problemes falsos, qui s'ha trobat en haver de prendre una decisió així?
La manera com els algoritmes creen informació sobre nosaltres, i creen problemes, uns de perfilar i uns de violació de la privacitat.
Cambridge analyitica, utilitzant dades obtingudes de manera paralegal.
Ens centrarem en com els algortimtes agafen informació pública que té efectes en la vida de les persones). El Compas (correctional offender management pofiling for alternative sactions) cometia biaxios importants a nivell de raça. La raça era determinant per decidir si havia d'ingressar a presó o pagar una fiança: l'algoritme era racista.
El Machine Learning es presenta com el gran salvador que pot resoldre tots els problemes. Un exemple és el reconeixemnt facial: les cares van cambiant amb el temps, però hi ha alguns trets que ens permeten reconèixer les persones. Els algoritmes estàndars tenen una regressió lineal, fan prediccions a partir d'exemples, amb variables concretes (es representa amb una línea recta diagonal que separa dos grups de dades). Alguns algortimes: Support Vector Machines o Arbres de Decisió. Cada cop són més extesos, i prenen decisions que afecten les persones.
Això és problemàtic perquè
-Mantenen el biaix: Si els jutges d'EUA són racistes, els programes que es desenvolupin per prendre les decisions dels jutges també seran racistes. Suprimir la raça de les dades que es recapten no és una solució, perquè això quedarà relfectit a través d'altres dades (on viuen, a quina escola han anat, etc.). Projecte de Propublica https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
-Amplaició del biaix: Els algoritmes no només agafen el biaix, sinó que el reforcen. No hi haurà humans que controlin i el biaix i s'extendrà. Al final l'algoritme només tindrà en consideració la raça.
- Confondre Preferències i valors: En experiments de Moral Machines, molta gent preferia atropellar un homeless a un executiu, confonent valors ètics i preferències (a algú li poden semblar més macos els gats que les persones, però això no significa que èticament sigui raonable acceptar-ho).
El problema és que la correlació no és causació: el programes mostren correlacions entre dades, pero no són de causa-efecte. La majoria d'accidents es produeixen a 90 Km/h. Seguint aquesta fal·làcia, un programa ens recomanaria anar a 200 km/h, perquè hi ha menys accidents (perquè hi ha menys cotxes i per tant menys accidents). El ordinadors tendeixen a perdre el context de vista, que és molt important.
Necessitem entendre les emocions humanes: Els humans també sóm molt incompetents a l'hora d'interpretar les emocions a través (només) del reconeixement facial: utilitzem altres informacions. En el machine learning, s'utilitzen fotos on s'etiqueten paraules claus relacionades amb els sentiments. Moltres de les empreses que desenvolupen aquests mètodes són privatius i els altres humans no poden veure com funcionen.
Els investigadors de Propublica van fer investigació inversa, perquè no els van facilitar els algoritmes. Caldria saber què utilitzen les universitats, les plataformes com uber, airbnb,... Els humans són necessaris perquè poden veure causalitats i tenen en compte els valors.
Hi ha dos tipus (dues cultures): humanistes amb formació tecnològica i enginyers amb formació humanista que haurien de cooperar..
Identifiquem què es diu sobre les sobiranies
Identifiquem el diagnòstic, les propostes de solució i les alternatives que ja tenim en marxa que surtin en aquesta activitat.
Posa-ho en forma de llista als apartats següents
-||-|-
Apunts
Altres apunts que no s'hagin recollit de forma estructurada a les llistes superiors
Llista d'intervinents separada per comes
David Casacuberta
Aportacions
Aportacions de les persones intervinents
Intervenció
Caldria crear un marc legal?
Resposta
Hi ha empreses que estan venent solucions a l'administració pública, caldria escriure unes condicions fàcils d'entendre pels polítics
Intervenció
No tenim un mecanisme legislatiu que obliga a no fer servir algoritmes de presa de decisions que puguessin anar en contra de la legislació?
Resposta
Si, caldria, però hauria de ser una legislació nova, no es pot dir "ha de tenir en compte els drets humans", una legislació que sigui capaç de detectar els proxis (combinacions de "if") que acaben generant aquests biaixos
Intervenció
La UE està començant a legislar, l'auditoria d'aquests models que és la clau, hi ha documentació oberta sobre aquest tema.
La manera en què consumim la intel.ligencia artificial és a través del mercat i de les empreses, que no pensen en l'impacte social sinó en maximitzar benefici
Intervenció
Donada la velocitat accelerada de la intel.ligencia artificial, si la part legislativa va molt més lenta, estem a temps o és un mite?
Resposta
En bona part és mite, la tecnologia creix exponencialment.
Intervenció
Has dit que el problema no és tant el machine learning com el fet que els algoritmes estiguin tancats. També hi ha decisions que són molt polítiques i arribariem als valors, el software lliure pot ser una solució, i de l'altra és un tema molt polític, podem fer servir aquesta tecnologia des de les tecnologies lliures?
Per entendre un algoritme de machine learning calen documents, com s'ha entrenat, com s'ha retocat, com continua aprenent,
Intervenció
Un algorisme no és auditable, i el punt crític és la obtenció de dades a l'entrenament, fa palès el biaix que té la societat que entrena la màquina, és una oportunitat de retocar les estructures socials que permeten aquestes desigualtats. Ens hem de preguntar qui està prenent les decisions per nosaltres. No podem fer servir aquestes eines per descobrir realment en mans de qui estem i donant-li la volta, enlloc de fer crítica de l'algorisme.
Resposta
La diferència entre tenir-hi accés o no, el cluster analysis, per exemple, et permet veure com està prenent decisions, el tipus de raonament que utitlitza el programa, per exemple el barri, això no pot ser un element de pes en la decisió d'un jutge. Però els programes van introduint petites correccions per eliminar els resultats burrades que es donen.
Intervenció
Quan dius que hi ha biaixos, no estàs tenint en compte que la tecnologia no és neutral, i que són resultat de com la tecnologia ha estat desenvolupada, podriem buscar com promoure altres valors.
Resposta
Totalment d'acord, la gent que va fer el Compas, per exemple, perquè van escollir les dades que van escollir? és central fer aquesta comunitat de
Intervenció
En l'ambit public es prenen decisions basades en algortimes, aquí?
Reposta
No en tinc constància, crec que si no n'hi ha és per falta de dades.
...
Intervencions del públic
Preguntes i aportacions del públic, respostes de les intervinents
...
Buidatge de continguts (separats per comes)
Extreu del que s'ha dit i/o dels apunts recollits els temes tractats en forma de paraules clau així com els projectes, organitzacions i persones mencionades (autors/es, pensadors/es, activistes, etc).Aquesta informació es transferirà automàticament al wiki semàntic Teixidora.net i servirà per relacionar els continguts d'aquesta activitat amb altres. Fes-ho en un text separat per comes per facilitar aquesta tranferència automàtica.
-||-|-
-
el taller
Col·labora completant o afegint la documentació que falta.
Hi ha: > apunts o cròniques
No s'ha incorporat documentació de:
- Presentacions o material projectat
- Imatges
- Vídeo
- Àudio
Teixim connexions
Teixim una xarxa de connexions partint d'aquest esdeveniment'. Extraiem i etiquetem continguts de la documentació generada per explorar relacions amb altres esdeveniments, identificar narratives, elements pel debat i generar cartografia dels actors implicats.
Metadades
Informació estructurada de l'esdeveniment que permet connectar-lo amb altres continguts a Teixidora.
Paraules clau: sobirania tecnològica, singularitat, intel·ligència artificial, machine learning, reconeixement facial, regressió linial, support vector machines, ètica, Silicon Valley
Mostra paraules més freqüents al text
algoritmes, fer, decisions, poden, persones, mencionades, machine, informació, humans, dades, tecnologia, programes, pot, paraules, organitzacions, biaix, apunts, veure, través, tecnològica
Intervinents: David Casacuberta
Persones mencionades:
Projectes mencionats: Cambridge Analytica, Moral Machine, Compas
Organitzacions mencionades: Propublica, Uber, AirBnB
Llibres i publicacions citades:
Diagnòstic
Diagnòstic i/o avaluació que s'ha fet a l'esdeveniment.
Riscos / debilitats / mancances
- Els algoritmes ens poden portar a la injustícia, a la esclavitud,
- La bombolla dels filtres, en què rebem únicament informació ja propera a nosaltres o als nostres valors,
- Els programes repeteixen i augmenten el biaix social
Oportunitats / fortaleses
Propostes
- Cal una nova generació d'intel.ligència artificial que pugui diferenciar entre preferències i valors, distingir la correlació de la causació,
- Els algoritmes han de ser oberts, s'han de poder auditar,
- Connectar humanistes i enginyers,
- Utilitzar els algoritmes per auditar els biaixos socials, de les autoritats que ens governen
Alternatives
Identificació d'alternatives existents
- ...
el taller
Col·labora estructurant els resultats a partir de la documentació existent
Lloc
Mapa d'ubicació
Localització: La Lleialtat Santsenca. Carrer Olzinelles, 31 - 08014. Barcelona ·
el taller
Afegir a teixidora esdeveniments similars a aquest
(es copiaran els continguts principals però no el títol ni el buidat)
Afegir esdeveniment que sigui... amb mateixos organitzadors i lloc al mateix lloc
Reutilizació de continguts : els continguts de teixidora es poden re-publicar en viu a altres webs.
sindicació Atom d'aquesta pàgina sindicació RSS d'aquesta pàgina Afegir a un calendari amb iCal