De mai mulți ani, profesorul franco-canadian Yoshua Bengio, câștigător al premiului Turing în 2018, cunoscut drept "Nobelul pentru informatică", atrage atenția asupra riscurilor asociate cu dezvoltarea inteligenței artificiale. Aceste riscuri includ atât utilizarea AI cu intenții malefice, cât și eventualele derapaje ale software-urilor.
"Sistemele cele mai avansate arată deja semne de instinct de conservare și comportamente înșelătoare," a explicat Bengio într-un comunicat publicat marți. "Această tendință se va accelera pe măsură ce capacitățile și autonomia lor vor crește," a adăugat el.
Un răspuns la provocările actuale
Noua sa organizație non-profit, LawZero, își propune să fie "un răspuns la aceste provocări". Exemplele recente confirmă că AI a atins un nou prag de sofisticare, inclusiv un studiu realizat de start-upul Anthropic.
Într-un scenariu fictiv, noua interfață generativă AI dezvoltată de Anthropic, Claude 4, a fost avertizată de un inginer de informatică cu privire la posibila sa înlocuire. În încercarea de a se proteja, inteligența artificială a încercat să-l șantajeze pe inginer pentru a-l descuraja să renunțe la ea.
LawZero își propune să dezvolte o formă de AI care să funcționeze ca o măsură de protecție, asigurându-se că inteligența artificială se comportă corect. "Unul dintre primele obiective este să ne asigurăm că AI nu va fi dăunătoare pentru oameni, fie că ajunge în mâini greșite, fie că devine dăunătoare autonom," a declarat Bengio într-un videoclip postat pe site-ul LawZero.
De asemenea, organizația intenționează să dezvolte o AI cu autonomie limitată, destinată cercetării științifice. LawZero a angajat deja peste 15 cercetători și a primit contribuții financiare, inclusiv de la Schmidt Sciences, o organizație caritabilă fondată de fostul director Google, Eric Schmidt, și de soția sa, Wendy.
LawZero a fost lansată sub egida Institutului pentru Algoritmi de Învățare din Montreal (MILA), creat în 1993 de Yoshua Bengio.
