El disseny de les tecnologies no és neutre. Els defectes, biaixos i valors de les persones que construeixen les solucions d’IA tenen implicacions reals i tangibles. Els algorismes poden ser racistes i masclistes. En el sentit que poden discriminar a l’hora de decidir què pots aprendre, predir el teu èxit acadèmic o evitar que puguis aconseguir una feina. Per tant, poden esdevenir un mecanisme que reforci els privilegis i la concentració de poder. El primer pas per evitar-ho és garantir la diversitat dels equips que dissenyen les tecnologies. I el segon, està a les mans de tots: ser conscients. Tinguem present que darrere de tot algorisme, de tota tecnologia, hi ha una intencionalitat. Reflexionar entorn d’això des de les aules és revolucionari.

Una de les aplicacions de la IA és la de generar indicadors predictius individualitzats sobre cada estudiant. Com per exemple, les seves probabilitats d’abandonar els estudis. Això és una arma de doble tall, ja que, pot donar-se una profecia autocomplerta, on la informació construeix realitats. Sabem que les expectatives docents són un factor d’influència en els resultats educatius de l’alumnat. Si uns indicadors facilitats per la IA afegeixen informació de judici respecte d’alguns alumnes, és probable que la imatge, i fins i tot les accions del docent i família, canviïn. Així, aquell estudiant corre el risc de ser etiquetat, i tenir així un tracte diferenciat. El dubte és si els indicadors serviran per donar més suport als alumnes en risc, o bé per a estigmatitzar-los encara més, centralitzant els esforços en aquells amb més possibilitats d’èxit educatiu. Sovint, els reptes tecnològics fan aflorar també reptes molt humans.

Els ritmes d’innovació tecnològica no poden marcar els canvis educatius. Poden inspirar-nos, accelerar canvis, però mai definir propòsits. Posar les tecnologies al servei de l’educació exigeix avançar-nos. Si volem una educació competencial, col·laborativa i crítica, preguntem-nos quines eines d’IA ens ajudarien a fer-ho possible. En cas contrari, caurem al parany d’adaptar el sistema educatiu als interessos generats pel mercat emergent de la IA. No es tracta només de “protegir” l’educació, sinó d’entomar el repte, participar en el disseny i desplegament d’aquestes solucions i liderar les tecnologies perquè responguin a les pedagogies que volem. En aquest procés ha de participar l’administració educativa, com a garant dels drets socioeducatius. Però també els docents i alumnat, que a la fi, són els protagonistes que se’n beneficiaran, o que en el pitjor dels casos, veuran els seus drets vulnerats.

L’aliment de la IA són les dades. Per a disposar de solucions veritablement avançades, cal nodrir aquests sistemes amb dades massives. I sovint, tot això es dona sense el consentiment informat dels usuaris (considerant que hi hagi consentiment real quan parlem de menors). És una realitat que les dades dels nostres infants, adolescents i joves són cada dia mercadejades sense que en siguem conscients. O potser ho sabem, però no hi veiem un problema real. Els riscos van més enllà de l’exposició de dades sobre notes o graduacions. Parlem de dades relacionades amb la conducta al centre, situació familiar, estatus migratori, salut en general i mental en particular, o fins i tot dades personals que puguin fer-se servir per accedir als menors i cometre abusos. La privacitat no ha de ser un luxe opcional, o un repte pendent, ha de ser la pedra de toc de qualsevol solució que incorpori la IA.

Fins ara, la manca de legislació ha permès que les tecnologies d’IA s’expandeixin sense límits. Des d’ara mateix, recolzats en una sensibilitat cívica creixent, cal reivindicar una major transparència en el funcionament de les solucions, així com en els sistemes de recollida i custòdia de dades. Ha de ser un deure que els algorismes deixin de ser una “capsa negra” que ningú pot accedir ni entendre. Veiem projectes prometedors que aposten per la implementació d’auditories que ajudin a la promoció d’un ecosistema d’IA més democràtic i just. 

Una de les raons per incorporar la IA a l’educació passa per la reducció del volum de feina dels docents en determinades tasques rutinàries i repetitives. I així, poder disposar de més temps per a tasques d’orientació i suport personal a l’alumnat. Ens preguntem quines són aquestes tasques? Són realment necessàries? Estem posant un pegat tecnològic a un problema educatiu més profund? Un dels casos més habituals és el de l’avaluació. Pot un algorisme avaluar igual o millor que un docent? Com són aquestes avaluacions? Alguns projectes ja estan explorant aquests límits, però les preguntes de fons continuen presents. Qüestions que ens interpel·len en l’àmbit pedagògic. Que posen en relleu allò que fa veritablement única la tasca docent, i que no pot ser substituït per cap algorisme. De nou la tecnologia, l’automatització, ens posa davant el mirall, per saber cap a on hem de caminar.