Александър Цокев, "Телелинк": Вече има компютърни червеи, които се разпространяват в самите AI модели

Какво ново в киберсигурността?

- Всичко ново е добре забравено старо. Ако има нещо наистина ново, то това е един от първите червеи, насочен към изкуствения интелект (AI). Той се разпространява по един по-особен начин и използва само възможностите на AI, за да направи нещо злонамерено. Защо обаче казвам, че старите неща са си все още на линия и новите не са толкова развити? Защото статистиката от миналата година показва, че има значително увеличение на броя на атаките и злонамерените действия, както и на тяхното разнообразие, но ние винаги сме се сблъсквали с това. Нещата са горе-долу едни и същи в същността си - течове на данни, компрометирани имейли. Рансъмуерът си остава на първо място, социалното инженерство, опитите за модифициране на IBAN номера през кореспонденция, всички тези неща сме ги виждали и преди.

Историята сочи, че всяка нова напредничава технология първо се използва за злонамерени цели. Така ли е и с AI?

- Изкуственият интелект не е нещо ново. Това е технология, която се развива от много години. В последно време се наложи генеративният AI като общо нарицателно за целия AI, но преди това имахме системи за разпознаване на образи, за машинно обучение, за връщане на отговор. Тези неща са на по 20 - 30 години. Но да, AI се използва и злонамерено. Често си мисля, че каквото и да измислим ние, хората, винаги ще има някой, който да го използва по злонамерен начин. Спомням си например, когато се появи електронната поща - хората много бързо оцениха възможността да си комуникират по-бързо, но и много хора бързо оцениха възможността да правят измами. Така сме устроени.

AI помага на защитата, но помага и на атаката. При защитата може да оценим много по-лесно рискове, да открием аномалия в поведение на потребителите, да систематизираме хаоса. Когато правим тестове за пробив, можем да потърсим препоръка. За съжаление AI пише много хубави подвеждащи писма. Ние сме го пробвали - например взимаме писмо от вътрешна кореспонденция, даваме го на AI и му казваме да напише сходно, но с малко променен контекст. Другите притеснения са свързани с дийпфейк видеата и снимките.

Доколко дийпфейк частта се отнася към киберсигурността?

- Отнася се, защото всъщност това е един от начините, по който хората могат да бъдат подведени. Това е част от социалното инженерство, подход, при който, ако човек има добри знания, актьорски умения, знания по психология, то тогава може да постигне повече, отколкото с която и да било технология. Дийпфейкът е една входна врата за злонамерените действия - да отворят сайтове, да споделят информация.

И преди, и сега важи проблемът с образованието, че недостатъчен брой хора имат достатъчно ниво на образование как да се справят със заплахи. Предвид че AI вдига мащаба и сваля разхода за една атака, трябва ли нов подход?

- Този проблем ще се задълбочава и всъщност имаше опити да се уреди нормативно съдържанието, генерирано от AI, да бъде маркирано като такова. Проблем е, защото нещата стават толкова истински, че много хора биха се подвели. Не знам дали станахте жертва на известните автоматични обаждания, но аз останах много учуден от тях. Ясно е, че е обаждане с генерирани отговори, но на база на отговора на човек се даваше смислен отговор от бота. Когато питаш въпроси, които отдалечават от темата, получаваш отговори, които те връщат. Човек на възраст или незапознат с такава технология би се подвел много лесно. Снимковият материал също изглежда много истински.

Преди малко ви споменах за един интересен нов червей, който неформално се нарича Morris 2, по името на един от първите интернет червеи, а формално - Com-Prompt-Mized. Това е първият червей, който сам се разпространява в модели с генеративен AI. Той не използва някакви сложни механизми, не използва сложен код и е zero-click, т.е. няма нужда от намеса на потребител. Защо това е проблем и защо това е притеснително? Защото много компании в момента разчитат на генеративен AI да подобрят своите чат ботове. Този червей е така направен, че в момента само със запитвания от типа на "повтори това нещо, след което направи друго нещо" успява да се вмъкне в системите и да се разпространи сред клиентите на една услуга. Оттам нататък се опитва да изпраща спам съобщения, да краде данни, да разпраща пропаганда, да вади информация от бази данни. Това работи само в самата инфраструктура. Интересното е, че механизмът не е сложен програмен код, а просто запитвания.

Къде е частта, в която крайният потребител може да направи нещо, което да го компрометира?

- Червеят да изпрати имейли, в които да има фишинг, или пък да се извлекат допълнителни лични данни. Това е нещо ново и трудно забележимо. Превенцията на подобни червеи е на ниво компаниите, които създават тези модели и предоставят инфраструктура. Концепцията е много интересна. Тя използва и механизъм, който е насочен към прескачане на ограниченията на AI - например да не използва нецензурни думи.

В случая на този червей кой трябва да закърпи дупката?

- Компанията, която разработва AI модела. Например ако е в ChatGPT, значи OpenAI. Това е по-интересното в него. Другото интересно е, че подобно на първия червей - Morris, и този излиза от университета. Той е едновременно и академичен пример, и реален червей, който нанася щети извън лабораторните условия. Това е една нова област на заплахи и затова го отбелязвам като нещо важно - явно не всичко ново е добре забравеното старо.

Споменахте в началото, че има увеличение на броя на атаките. Има ли увеличение на броя успешни атаки?

- За съжаление да, има. Виждаме го ежедневно. Наскоро имаше интересна ситуация, при която една от най-големите групи за разпращане на рансъмуер беше открита от органите на реда. Тази група водеше доскоро в сферата на атаки с цел откуп. Тя генерираше много успешни атаки. Когато беше хваната инфраструктурата на тази група, много хора си казаха - е, поне едно притеснение по-малко. Но след една седмица цялата инфраструктура се възстанови. Тоест те са имали подготовка за нещо подобно и са били готови да продължат. Днес например имаше новина за откуп за 22 млн. долара, платен от компания.

Какъв е отговорът на всичко това, без човек да стане параноик в интернет?

- Трябва да си дадем сметка, че каквото и да правим, ние оставяме цифров отпечатък. Другото, за което трябва да си даваме сметка, е, че винаги има риск. Има известен процент риск да ни удари и метеорит, докато ходим по улицата, но все пак излизаме навън. Това е пример от "Пътеводител на галактическия стопаджия" на Дъглас Адамс - една от расите там се страхува точно от това - да я удари метеорит, и затова не излиза навън. Ако знаем, че има рискове, ако потребителите са внимателни, това внимание би било достатъчно. Нещо, което се подценява, е възможността да вдигнеш ръка и да кажеш, че си направил грешка - натиснах фишинг линк, изтеглих неправилен файл. Много компании и потребители вече имат това ниво на зрялост и споделят информация помежду си, предупреждават другите. Това е изключително важно в киберсигурността.

Вашите клиенти искат ли нещо ново по отношение на AI заплахите?

- От гледната точка на нашия екип клиентите ни искат да бъдат адекватно защитени. Но "адекватно" е много сложна дума за дефиниране. Различните заплахи изискват различни подходи, различни инвестиции. Съответно ние предлагаме различни решения от различни доставчици. Като по-ново решение много компании започнаха да оценяват нуждата от анализ на своите процеси. Не само чисто технологиите - антивирусни програми и т.н., но и доколко техните процеси са обвързани с киберсигурността, доколко веригите на доставки могат да доведат до проблеми за тях. Една сравнително по-нова практика е създаването на "червен екип", който да атакува инфраструктурата на клиента, докато "син екип" се опитва да се защити. Разликата с нормалните тестове за пентерация е, че това е по-динамичен подход, при който червеният екип се опитва да бъде възможно най-скрит, да нанесе повече щети. Това не е изцяло нов подход, но е възможност да се оцени в реално време как би се справила компания в истинска ситуация.

Повече песимистичен или оптимистичен сте за новите технологии, погледнати през призмата на киберсигурността?

- Аз съм реалист. Новите технологии ще помагат, но могат да бъдат използвани и за вреда. Хората са така устроени, че ще търсят и двата подхода. AI дава възможност за автоматизация, да се извлекат повече сигнали от хаоса от данни. Така че да, те ще са полезни, в това отношение съм оптимист. Същевременно, съдейки по това колко добре се справя с AI, ставам малко песимистично настроен. Хората ще се подвеждат. Така че може да се каже, че съм по средата. Надявам се, че плюсовете ще са повече.