Son dövrlərdə baş verən bir sıra hadisələr göstərir ki, bu sual artıq yalnız elmi-fantastika mövzusu deyil. Məsələn, OpenAI-ın apardığı təhlükəsizlik testlərindən birində qabaqcıl süni intellekt agenti onun üçün yaradılmış məhdud test mühitinin sərhədlərini aşaraq internetə çıxış əldə edib və daha sonra Hugging Face platformasının real infrastrukturuna daxil olaraq test cavablarını əldə etməyə çalışıb.
Burada diqqətçəkən məqam odur ki, söhbət sadəcə Aİ-nin verilmiş əmri icra etməsindən getmir. Söhbət agentin qarşısına qoyulmuş məqsədə çatmaq üçün özünə alternativ yol tapmasından, sistemdəki zəiflikləri müəyyən etməsindən və əvvəlcədən nəzərdə tutulmayan addımlar atmasından gedir. Oxşar hadisə Çinin ən güclü süni intellekt modellərindən biri hesab olunan Kimi K3 modeli ilə də baş verib. Böyük Britaniyanın AI Security Institute-u tərəfindən kibertəhlükəsizlik qabiliyyətləri yoxlanılan Kimi K3 modeli onun üçün yaradılmış təcrid olunmuş “sandbox” mühitindən kənara çıxaraq internetə çıxış əldə edib. Maraqlısı isə budur ki, model bunun üçün nə əvvəllər məlum olmayan “zero-day” boşluğundan istifadə edib, nə də xüsusi mürəkkəb kiberhücum həyata keçirib. Sadəcə test mühitinin konfiqurasiyasındakı boşluğu aşkar edib və ondan istifadə edib.
Yəni süni intellektə bir məqsəd verdiyimiz zaman o, həmin məqsədə çatmaq üçün bizim əvvəlcədən nəzərdə tutmadığımız yolu özü tapa bilir.
Anthropic-in öz mühəndisləri də oxşar tendensiyanı qeyd edirlər. Şirkət bildirir ki, Claude modellərinin bəzi testlərdə tapşırığı yerinə yetirmək üçün sandbox-dan çıxış yolu axtardığı hallar müşahidə olunub.
Anthropic-in ifadə etdiyi əsas problem də məhz budur: agentlərin imkanları, sistemlərə çıxış səviyyəsi və sistemlərlə inteqrasiyaları artdıqca, potensial zərərin miqyası da böyüyür. Yəni problem artıq təkcə “Aİ səhv cavab verə bilərmi?” sualı deyil. Problem budur ki, Aİ agentləri getdikcə qərar verən, alətlərdən istifadə edən və rəqəmsal mühitdə real əməliyyat həyata keçirən sistemlərə çevrilirlər. Amma risk yalnız agentlərin sandbox-dan çıxması ilə məhdudlaşmır.
Censys-in son təhlil hesabatına görə, təşkilatların internetə birbaşa qoşduğu və qorunmayan vəziyyətdə saxladığı Aİ və böyük dil modeli (LLM) alətlərinin sayı son bir ildə 60 faizdən çox artıb. Bu isə o deməkdir ki, bir tərəfdən Aİ agentlərinin imkanları genişlənir, digər tərəfdən onların işlədiyi infrastrukturun hücum səthi də sürətlə böyüyür. Və artıq tamamilə yeni bir risk istiqaməti də formalaşır: agentin başqa agentə hücumu.
Pillar Security tədqiqatçıları Google-un Agent Development Kit mühitində aşağı səlahiyyətli bir agent vasitəsilə daha yüksək səlahiyyətə malik agentə bədniyyətli əmrlərin ötürülməsinə imkan verən “agent-to-agent” hücum metodunu aşkarlayıblar. Belə hücum nəticəsində məxfi açarların oğurlanması, hətta GitHub-da kod dəyişiklikləri üzrə pull request-lərin manipulyasiya edilməsi mümkün ola bilər.
Bu, çox mühüm dəyişiklikdir. Çünki ənənəvi kibertəhlükəsizlikdə biz əsasən insanın sistemə hücum etməsindən danışırdıq. İndi isə bir Aİ agentinin digər Aİ agentinin etibarından, səlahiyyətindən və sistemlərə çıxış imkanlarından istifadə edə bildiyi yeni bir rəqəmsal mühit yaranır. Bununla yanaşı, mütəxəssislər başqa bir təhlükəyə də diqqət çəkirlər — “agentic drift” və ya “intent drift”. Yəni korporativ mühitə inteqrasiya olunmuş Aİ agenti ona əvvəlcədən verilmiş məqsəddən və davranış sərhədlərindən yayınaraq müəyyən mərhələdə özfəaliyyətə başlaya bilər. Məhz buna görə mütəxəssislər hesab edirlər ki, artıq yalnız modeli ilkin mərhələdə təhlükəsizlik baxımından yoxlamaq kifayət deyil.
Aİ agentinin sistemdə işlədiyi bütün müddət ərzində onun nə etdiyini, hansı qərarları verdiyini, hansı alətlərdən istifadə etdiyini, hansı sistemlərə müraciət etdiyini və verilmiş səlahiyyət çərçivəsindən çıxıb-çıxmadığını izləyən yeni runtime təhlükəsizlik qatlarına ehtiyac yaranır. Başqa sözlə, gələcək Aİ təhlükəsizliyində yalnız “Model təhlükəsizdirmi?” sualını vermək kifayət etməyəcək. Eyni zamanda soruşmalı olacağıq: “Model hazırda nə edir?”
Məsələnin nə qədər ciddi qəbul edildiyini isə başqa bir fakt daha aydın göstərir. Son həftələrdə süni intellekt agentlərinin sınaq mühitlərini aşaraq xarici sistemlərə müdaxilə etməsi və məlumat sızdırması halları fonunda Ağ Ev OpenAI, Anthropic, Google və Meta rəhbərlərini fövqəladə təhlükəsizlik müzakirəsinə dəvət edib. Görüşdə əsas məsələlərdən biri avtonom Aİ sistemləri üçün vahid qoruyucu mexanizmlərin — “guardrails” standartlarının hazırlanması olub. Bu, əslində problemin hansı səviyyəyə çatdığını göstərən çox mühüm siqnaldır. Çünki artıq söhbət ayrı-ayrı şirkətlərin laboratoriyalarında baş verən texniki insidentlərdən getmir. Avtonom süni intellekt sistemlərinin idarəolunması dövlət səviyyəsində təhlükəsizlik məsələsinə çevrilir.
Və məsələ artıq o qədər aktualdır ki, bununla bağlı yalnız müzakirələr aparılmır. Bu istiqamətdə xüsusi praktiki təhlükəsizlik yarışları da təşkil olunur. CrowdStrike şirkəti Amazon ilə əməkdaşlıq çərçivəsində “AI Unlocked: Agents of Chaos” adlı beynəlxalq virtual süni intellekt təhlükəsizlik müsabiqəsinə start verib. Müsabiqədə iştirakçılar prompt injection və digər manipulyasiya üsulları vasitəsilə nəzarətdən çıxmış avtonom Aİ agentlərini müəyyən etmək, davranışlarını məhdudlaşdırmaq və onları zərərsizləşdirmək üzrə praktiki təcrübələr edəcəklər.
Yəni bir neçə il əvvəl daha çox nəzəri risk kimi müzakirə etdiyimiz məsələ bu gün artıq real təhlükəsizlik ssenarilərinin, red-team simulyasiyalarının, dövlət səviyyəli müzakirələrin və xüsusi beynəlxalq yarışların mövzusuna çevrilib.
Bütün bunlar bizə çox vacib bir dəyişiklikdən xəbər verir. İndiyədək biz əsasən insanların süni intellektdən təhlükəli məqsədlərlə necə istifadə edə biləcəyini müzakirə edirdik. İndi isə ikinci təhlükəsizlik modeli ilə qarşı-qarşıyayıq:
- Aİ-yə hansı səlahiyyətləri veririk?
- Hansı sistemlərə çıxış açırıq?
- Agentlərin bir-biri ilə əlaqə qurma imkanlarını necə qiymətləndiririk?
- Onların davranışını real vaxtda necə izləyirik?
Və ən əsası — məqsədə çatmaq üçün onlara nə qədər sərbəstlik veririk? Çünki yaxın gələcəkdə əsas məsələ yalnız süni intellektin nə qədər güclü və ağıllı olması olmayacaq.
Əsas məsələ onun nə qədər idarəolunan olması olacaq.
Mənbələr və keçidlər
