Actualment vivim en un món mediat per les tecnologies digitals on es fa un ús intensiu d’internet o la intel·ligència artificial. De fet, Virginia Eubanks, en el seu llibre “L’automatització de la desigultat. Eines de tecnologia avançada per a su supervisar i castigar als pobres” (2021), ens diu: “tots habitem aquest nou règim de dades digitals, però no tots l’experimentem d’igual manera”. Segons l’autora, vivim rodejats d’algorismes i models matemàtics (molts cops de manera inconscient), però l’impacte que poden tenir en les nostres vides pot ser molt diferent, especialment si estem parlant de poblacions vulnerabilitzades. Ara bé, convé posar algun exemple pràctic per a entendre el seu argument.
Joy Buolamwini, estudiant afroamericana de l’Institut Tecnològic de Massachusetts es trobava entrenant un software de visió artificial que li reconegués el rostre. El problema va començar quan aquest no era capaç de distingir la seva cara, en canvi, quan es posava una màscara blanca, la detectava perfectament. Si se la treia, deixava de funcionar. Joy es va adonar que l’algorisme havia estat entrenat principalment amb imatges d’homes i persones blanques. Per aquest motiu, al sistema li era complicat reconèixer un rostre com el seu. A partir d’aquell moment va decidir començar a investigar sobre els biaixos i la intel·ligència artificial. Per fer-ho, va estudiar altres sistemes: Microsoft, IBM, Google o Face ++. Tots ells funcionaven molt millor amb rostres d’homes que de dones. Com a resultat, va fundar el moviment la Lliga per a la Justícia Algorítmica, amb un propòsit clar: “la tecnologia ha d’estar al servei de tothom, no només d’uns pocs privilegiats”.
Un altre cas conegut és el d’Amazon. L’empresa va decidir desenvolupar un algorisme per a contractar personal nou. L’objectiu era clar: tenim empleats molt bons i volem incloure a gent amb perfils similars. En altres paraules, van entrenar al seu algorisme amb els currículums del seu personal. Al cap de poc temps (o no tant, perquè mai han donat aquesta dada i no sabem quant temps va estar funcionant), es van adonar que l’algorisme rebutjava generalment els CV de dones. Per què? La major part del seu personal eren homes, i el model matemàtic havia après a eliminar els perfils que tinguessin informació relacionada amb les dones (Rubio, 2018).
Les dues escenes descrites ens deixen alguns interrogants: som conscients dels algorismes que operen en el nostre dia a dia? Com afecten els algorismes a les persones depenent del seu gènere, classe o ètnia? Com podem reflexionar sobre “el nou règim de dades” des d’un enfocament interseccional (és a dir, que considera els modes específics d’intersecció entre gènere-classe-ètnia)? Davant d’aquesta realitat, l’educació es troba amb un desafiu propi del nostre temps: fomentar una alfabetització digital crítica.
Com hem vist, actualment hi ha formes d’exclusió i/o opressió que operen invisiblement en el món digital (o molts cops, de la que no som conscients en el seu ús quotidià). Per tant, la comunitat educativa necessita comprendre com operen els models algorítmics. Aquest exercici ens pot servir per a no reproduir desigualtats, enfrontar els biaixos dels actuals models tecnològics i, d’aquesta forma, posar-los als serveis de la millora socioeducativa. Per a aconseguir aquest objectiu, resulta crucial el treball de tres idees claus en el món educatiu:
- Els algorismes no són “autònoms”, darrere hi ha persones que els programen (Klein i D’Ignazio, 2020).
- Els models matemàtics no són neutres. O ho són tant com la gent que els crea (i tothom té els seus propis biaixos) (Navarro, 2021). Necessitem diversitat en els equips que generen aquests models algorítmics, així eliminem el biaix de privilegi (Klein i D’Ignazio, 2020).
- Hem de ser conscients de les dades amb les quals entrenem els algorismes, saber d’on venen i si són representatives o no (i si volem que ho siguin) (Navarro, 2021).
Aquestes idees suposen desafiaments concrets per a l’educació. És necessari alfabetitzar a les comunitats educatives sobre els límits i biaixos dels models matemàtics i les tecnologies digitals que han irromput en els processos formatius. Això suposa estimular una aproximació crítica que, sense renegar de les potencialitats que suposa l’ús d’aquests, posi als mateixos al servei d’un aprenentatge autònom i col·laboratiu, compromès amb l’equitat educativa. És a dir, que enfronta la circulació d’estereotips i biaixos socials que reprodueixen desigualtats de divers tipus.
