La intel·ligència artificial sovint és celebrada per la seva velocitat, eficiència i les respostes més ràpides. Tanmateix, en medicina, la velocitat sense judici pot ser perillosa. Hi ha decisions que no s’haurien d’accelerar fins que no s’hagin entès correctament.
Com a cirurgià, reflexiono sobre aquesta qüestió des de l’experiència del quiròfan. La medicina ha passat dècades aprenent una lliçó que la IA ara ha d’aprendre ràpidament: el consens és útil, però no és el mateix que la veritat.
Aquesta lliçó va sorgir d’una transformació fonamental en la manera com es prenen les decisions mèdiques.
La medicina moderna va passar de l’opinió individual de l’expert a la presa de decisions multidisciplinària (MDT). Un únic metge pot passar per alt algun aspecte (un radiòleg pot detectar patrons que un cirurgià no veu, per exemple). El MDT funciona perquè múltiples perspectives independents analitzen la mateixa qüestió des d’angles diferents. Però això només funciona quan es permet que emergeixi el desacord.
El veritable valor del pensament multidisciplinari, per tant, no rau en l’acord, sinó en la visibilitat de la incertesa.
Si l’evolució de la presa de decisions mèdiques es converteix en metge MDT robot, aleshores la innovació corre el risc de convertir-se en un retorn al pensament centralitzat.
Si col·lapsa la incertesa en una única resposta segura, recrea precisament la debilitat que la medicina multidisciplinària va ser dissenyada per superar. Això ens porta directament a un dels riscos més grans als quals s’enfronta la IA en entorns d’alta responsabilitat.
El perill més gran és el fals consens: quan la incertesa continua existint, però es torna invisible. En medicina, la veritat no es troba fent una mitjana de les opinions. S’hi arriba posant a prova les hipòtesis. La qüestió no és si la IA pot produir respostes, sinó si pot ajudar les persones a comprendre la incertesa que hi ha darrere d’aquestes respostes.
Aquest repte s’estén més enllà de la medicina cap a una qüestió més àmplia: la sobirania digital. La veritable sobirania de la IA no és només el control de les dades i de les infraestructures. És la sobirania del raonament: preservar la capacitat de pensar de manera independent, qüestionar les hipòtesis i mantenir un desacord obert.
Per entendre per què això és important, és útil observar com funcionen els sistemes complexos tant en l’economia com en la natura.
Friedrich Hayek, economista i filòsof austríac-britànic (1899–1992) guardonat amb el Premi Nobel d’Economia, va advertir que els sistemes complexos no poden ser entesos ni controlats des d’un únic punt central, ja que el coneixement es troba distribuït de manera inherent. La natura ens ofereix una il·lustració poderosa en els estols d’estornells: cap ocell dirigeix el grup i, tanmateix, emergeixen patrons coordinats. Un únic model d’IA que resol el desacord amb una sola resposta segura no és un estol: és un ocell volant sol, dient als altres cap on han d’anar.
Si la intel·ligència emergeix de perspectives distribuïdes, aleshores els sistemes d’IA haurien de ser dissenyats per preservar aquesta diversitat en lloc d’eliminar-la.
Un sistema de raonament multiagent, en què agents independents raonen a partir de models, conjunts de dades o perspectives diferents, pot fer més visibles els biaixos. El desacord es converteix en el senyal.
En medicina, una preocupació minoritària pot identificar un diagnòstic que s’ha passat per alt. John Stuart Mill (1806–1873), filòsof, economista i pensador polític britànic, i Alexis de Tocqueville (1805–1859), pensador, historiador i polític francès, van advertir que l’opinió de la majoria pot convertir-se en una forma de tirania. Una majoria pot ser útil, però també pot equivocar-se. Els sistemes d’IA haurien de preservar els senyals de risc minoritaris, no suavitzar-los ni eliminar-los.
Tanmateix, el desacord només esdevé valuós quan està correctament organitzat.
La funció del moderador no és escollir un guanyador, sinó organitzar el raonament: on coincideixen els agents? On discrepen? Per què? Quines hipòtesis són fràgils? Quina informació falta? L’objectiu no és la presa de decisions autònoma, sinó un millor raonament humà. L’aproximació a la veritat no requereix un acord universal; requereix que el desacord continuï sent visible, estructurat i assumible.
Tot i que aquests principis tenen el seu origen en la medicina, la seva rellevància va molt més enllà de l’àmbit sanitari.
Més enllà de la medicina, el perill és l’excés de confiança institucional. Els sistemes d’IA utilitzats en l’administració pública, la ciberseguretat, l’educació i l’empresa haurien de mostrar què saben, què no saben i allà on el judici humà continua sent essencial.
Tres principis haurien de guiar-ne el disseny: la transparència per damunt de la fluïdesa, la responsabilitat humana per damunt de l’autonomia de la màquina i el desacord estructurat per damunt del fals consens.
En cirurgia, sovint existeix un període deliberat de reflexió abans d’una acció irreversible. El desacord estructurat no és un obstacle per a la presa de decisions; és allò que fa que les decisions siguin honestes.
A mesura que la IA s’integra en la societat, ens trobem davant d’un moment similar. El futur de la IA no hauria de ser la substitució del raonament humà, sinó la seva expansió disciplinada. El consens pot ser útil, però la veritat emergeix quan el desacord continua sent visible, responsable i lliure.
La finalitat de la tecnologia no hauria de ser automatitzar la conformitat. Hauria de servir per reforçar la llibertat, la individualitat, la responsabilitat i la recerca humana de la veritat.
Dr. Volkert Wreesmann, MD, PhD, cirurgià i otorrinolaringòleg
