AI atskaitomybės rizikos kontrolinis sąrašas

Dirbtinio intelekto iniciatyvos retai žlunga dėl to, kad modelis yra "neteisingas". Jos žlunga todėl, kad niekas negali įrodyti, kas priėmė sprendimą ir kas pasikeitė.

AI atskaitomybė dažnai aptariama kaip etikos tema. Praktiškai tai yra valdymo ir rizikos disciplina: gebėjimas įrodyti atsakingą kontrolę dėl dirbtinio intelekto paveikiamų sprendimų. Veiklos aplinkoje atskaitomybė reiškia tris dalykus: nurodyti savininkus, aiškias sprendimų priėmimo teises ir įrodymus, kad sistema buvo sukurta, išbandyta ir stebima laikantis sutartų ribų.

Šis kontrolinis sąrašas skirtas vadovams, viešųjų pirkimų, atitikties, saugumo ir veiklos savininkams, kurie turi pereiti nuo bandomųjų dirbtinio intelekto projektų prie realaus diegimo nepaveldėdami nevaldomos rizikos. Jis yra sąmoningai praktiškas ir orientuotas į dokumentaciją, atspindintis, kaip Šiaurės šalių organizacijos vis dažniau reikalauja atsekamumo, audituojamumo ir paaiškinamumo, kad galėtų atsakingai plėstis.

Pagrindiniai punktai:

• Atskaitomybę traktuokite kaip dokumentais pagrįsta kontrole, o ne politiniu pareiškimu.
• Pradėkite nuo sprendimo poveikio, tada priskirkite savininkus ir sprendimo teises.
• Prieš pradedant naudoti sukurkite "įrodymų paketą" (duomenų žemėlapis, testai, žurnalai, tiekėjų įsipareigojimai).
• Po pakeitimų stebėkite ir iš naujo išbandykite; atskaitomybė įrodoma gamyboje, o ne bandomuosiuose projektuose.

Apibrėžti taikymo sritį ir sprendimo poveikį

Atskaitomybė prasideda nuo apimties. Prieš aptardami modelius, apibrėžkite sprendimą, kuriam daroma įtaka, klaidos pasekmes ir paveiktas grupes (klientus, darbuotojus, piliečius, tiekėjus). Taip išvengsite dažno nesėkmės kelio: "naudingo dirbtinio intelekto" diegimo, kuris palaipsniui pereina į sprendimų priėmimą be valdymo.

Minimalus dokumentų kiekis (vieno puslapio dydžio dokumentas):

• Kokiam sprendimui dirbtinis intelektas daro įtaką (arba jį automatizuoja)?
• Kokios nepriimtinos pasekmės (finansiniai nuostoliai, poveikis teisėms, pavojus saugai, veiklos sutrikimai)?
• Kokia yra sutarta rizikos tolerancija ir kas ją patvirtina?
• Koks yra atsarginis režimas, jei dirbtinis intelektas yra nepasiekiamas arba nepatikimas?

Šis aspektas atitinka platesnę Šiaurės šalių atitikties temą: vadovų atsakomybė didėja, kai reguliavimas ir rizika tampa intensyvesni, o poveikis yra svarbesnis už ataskaitų kiekį.

Nuosavybės teisių ir sprendimų priėmimo teisių priskyrimas

jei sprendimas nepriklauso niekam, niekam nepriklauso ir rizika. Paskirkite savininkus ir iš anksto apibrėžkite sprendimų priėmimo teises. Tai taip pat atitikite rekomendacijas, kad dirbtinio intelekto masto didinimui nuo pat pradžių reikia valdymo ("stiringo") ir atsekamumo.

Minimaliai apibrėžkite kas yra:

• Verslo savininkas: atsiskaityti už tikslą, sprendimų poveikį ir vertę.
• Sistemos savininkas: atsakingas už diegimą, prieigos kontrolę, stebėjimą ir pakeitimų valdymą.
• Duomenų savininkas: atsiskaityti už duomenų šaltinius, prieigą, saugojimą ir kokybės prielaidas.
• Tvirtintojas: atsakingas už paleidimą ir esminių pakeitimų patvirtinimą.

Sprendimo teisių dokumentavimas:

• Kada Dirbtinis intelektas yra tik patariamasis, o kada jis skatina imtis veiksmų?
• Kada žmogus turi peržiūrėti, pakeisti ar užregistruoti pagrindimą?
• Kas ir kaip gali keisti užklausas, ribas ar modelio versijas?

Praktinis valdymo standartas: jei organizacija negali paprasta kalba paaiškinti, kas tvirtina pakeitimus ir kas pasirašo, kad sistema pradėta naudoti, ji nėra atskaitinga.

Privatumo įsipareigojimai ir paaiškinamumo poreikiai

Daugelis organizacijų turi didelių ambicijų dirbtinio intelekto srityje, tačiau susiduria su kliūtimis, susijusiomis su duomenų kokybe ir reguliavimu. Duomenų žemėlapis šias kliūtis paverčia sprendimais ir kontrolės priemonėmis.

Duomenų kartografavimo kontrolinis sąrašas:

• Kokie duomenų tipai naudojami (įskaitant bet kokius asmeninius ar neskelbtinus duomenis)?
• Iš kur gaunami duomenys ir kas gali jais naudotis?
• Kur jie saugomi, kiek laiko ir ar prireikus juos galima ištrinti?
• Ar išsaugomi užklausos ir išvestys ir ar jie naudojami modelio mokymui (jūsų ar tiekėjo)?

Privatumo ir atskaitomybės kontrolės priemonės turėtų būti dokumentuotos, o ne numanomos. Norvegijos privatumo priežiūros institucijos rekomendacijose pabrėžiamas rizikos vertinimas, dokumentavimas ir reguliarus testavimas (taip pat siekiant išvengti paslėptos diskriminacijos).

Paaiškinamumo ir auditabilumo kontrolinis sąrašas (tinkamumas tikslui):

• Kokio lygio paaiškinimų reikia (sistemos lygmens skaidrumo ar individualaus lygmens paaiškinimų)?
• Kokių žurnalų reikia, kad būtų galima atkurti, kas įvyko, ir per daug nerinkti asmens duomenų?
• Kaip organizacija išbandys ar peržiūrės sprendimą, kad užtikrintų atitiktį vidaus ir išorės reikalavimams?

Be to, ES AI akte prievolės plėtojamos palaipsniui ir skaidrumo pareigos nustatomos etapais; organizacijoms naudinga iš anksto kurti paaiškinimo ir įrodymų mechanizmus, o ne juos pritaikyti vėliau.

Tiekėjų, pirkimų ir saugumo poveikio kontrolė

Didelė AI rizikos dalis patenka per tiekėjus: neskaidrūs modelių atnaujinimai, riboti audito žurnalai, neaiškus užklausų ir (arba) rezultatų saugojimas ir silpni įsipareigojimai dėl incidentų. Todėl viešieji pirkimai yra atskaitomybės kontrolė, o ne administracinis žingsnis.

Viešųjų pirkimų kontrolinis sąrašas (klausimai, kuriems reikia įrodymų):

• Ką galima registruoti ir ar žurnalus galima eksportuoti audito ir tyrimo tikslais?
• Kokie pakeitimai gali būti atliekami be jūsų patvirtinimo (modelio atnaujinimai, saugos filtrai, numatytoji konfigūracija)?
• Kokios yra užklausų ir išvesties išsaugojimo taisyklės ir ar jas galima konfigūruoti?
• Kokius įrodymus apie incidentą pateiks tiekėjas (terminai, pagrindinės priežastys, poveikio mažinimo priemonės)?
• Kokios trečiosios šalys ir antriniai duomenų tvarkytojai dalyvauja ir kaip jie kontroliuojami?

Norvegijos viešosiose generatyvinio dirbtinio intelekto pirkimo gairėse rekomenduojama rinktis į įmonę orientuotas priemones, apmokyti darbuotojus, laipsniškai diegti priemones, kad būtų sumažinta rizika, ir centralizuotai konfigūruoti priemones, kad būtų sumažinti žinomi rizikos modeliai.

Turėtų būti aiškiai apibrėžta saugumo sistema. Norvegijos saugumo institucijos metiniame rizikos vertinime pabrėžiama, kad mažesni tiekėjai tiekimo grandinėse gali tapti taikiniais ir kad vykdant viešuosius pirkimus pirmenybė turi būti teikiama saugumui. Tai tiesiogiai susiję su dirbtinio intelekto tiekimo grandinėmis ir koncentracijos rizika.

Testuoti, stebėti ir tvarkyti incidentus

Atskaitomybė reikalauja įrodyti, kad sistema laikui bėgant neviršija nustatytų ribų. Todėl testavimas turi apimti ne tik tikslumą.

Testavimo kontrolinis sąrašas:

• Kokybė: veikimas pagal nustatytus naudojimo atvejo priėmimo kriterijus.
• Patvarumas: elgesys kraštiniais atvejais ir esant neįprastoms įvestims.
• Sąžiningumas: patikrinimai, kuriais siekiama nustatyti paslėptą diskriminaciją, kai tai svarbu.
• Saugumas: atsparumas manipuliacijoms ir duomenų nutekėjimui darbo eigos kontekste.

Stebėsenos kontrolinis sąrašas:

• Dreifo rodikliai ir periodiškas pakartotinis testavimas (ypač po bet kokio pakeitimo).
• Raginimų, politikų, ribų ir modelio versijų pakeitimų žurnalai (kas, kada ir kodėl ką pakeitė).
• Incidentų darbo eiga: aptikimas, eskalavimas, atšaukimas ir grįžimas atgal, mokymasis po incidento.

Kaip atsparumo etalonas, finansų sektoriaus DORA sistemoje apibendrinama, ko praktiškai tikimasi iš "operacinio atsparumo": rizikos valdymo, incidentų valdymo, testavimo ir trečiųjų šalių rizikos valdymo. Net ir už finansų srities ribų ši disciplina yra naudingas modelis, skirtas atsakingoms operacijoms, susijusioms su dirbtiniu intelektu, kurti.

Parengti atskaitomybės įrodymų rinkinį

Paskutinė kontrolės priemonė yra įrodymų rinkinys - trumpas artefaktų rinkinys, kurį gali peržiūrėti ne inžinierius ir kuris gali būti naudojamas atliekant auditą, ginčus ar incidentų peržiūras.

Minimalus įrodymų paketas (praktinis "atlikto darbo apibrėžimas"):

• Apimtis ir sprendimo poveikio pareiškimas (vienas puslapis).
• Savininko ir sprendimų priėmimo teisių matrica (vienas puslapis).
• Duomenų žemėlapis ir išlaikymo santrauka (vienas puslapis).
• Tiekėjų priklausomybių sąrašas ir pagrindiniai sutartiniai įsipareigojimai (vienas puslapis).
• Bandymų suvestinė ir pakartotinio bandymo trigeriai (vienas puslapis).
• Registravimo ir stebėsenos planas (vienas puslapis).
• Reagavimo į incidentus kontaktai ir atsarginis elgesys (vienas puslapis).

Šis požiūris atitinka platesnį Šiaurės šalių konsultacijų rinkų pokytį: organizacijos reikalauja dokumentais pagrįstos vertės ir vykdymo, ir jiems reikalingi valdymo mechanizmai, kuriuos galima ne tik nurodyti, bet ir įrodyti.

Išvados

AI atskaitomybė pasiekiama ne politikos dokumentu. Ji pasiekiama nustatant atsakomybę, sprendimų priėmimo teises, įrodymus ir veiklos kontrolę, kuri išliktų ir po sistemos dydžio keitimo. Praktiškas kontrolinio sąrašo metodas sumažina nevaldomo diegimo riziką, sustiprina viešuosius pirkimus ir padeda lengviau įrodyti, kad sprendimai neviršijo numatytų ribų.