Der Sicherheitsexperte Bar Lanyado hat kürzlich einige Untersuchungen darüber durchgeführt, wie generative KI-Modelle unbeabsichtigt zu enormen potenziellen Sicherheitsbedrohungen in der Welt der Softwareentwicklung beitragen. Eine solche Untersuchung von Lanyado ergab einen alarmierenden Trend: Die KI schlägt Pakete imaginärer Software vor, und Entwickler nehmen diese, ohne es zu merken, in ihre Codebasen auf.
Das Problem enthüllt
Das Problem besteht nun darin, dass die generierte Lösung einen fiktiven Namen hatte – etwas, das typisch für KI ist. Allerdings werden diese fiktiven Paketnamen dann getrost Entwicklern vorgeschlagen, die Schwierigkeiten mit der Programmierung mit KI-Modellen haben. Tatsächlich basieren einige erfundene Paketnamen teilweise auf Personen – wie Lanyado – und andere haben daraus echte Pakete gemacht. Dies hat wiederum dazu geführt, dass potenziell schädlicher Code versehentlich in echte und legitime Softwareprojekte eingefügt wurde.
Eines der Unternehmen, das davon betroffen war, war Alibaba, einer der Hauptakteure der Technologiebranche. In den Installationsanweisungen für GraphTranslator stellte Lanyado fest, dass Alibaba ein gefälschtes Paket namens „huggingface-cli“ beigefügt hatte. Tatsächlich gab es ein echtes Paket mit demselben Namen, das im Python Package Index (PyPI) gehostet wurde, aber Alibabas Leitfaden verwies auf das, das Lanyado erstellt hatte.
Testen der Persistenz
Ziel der Forschung von Lanyado war es, die Langlebigkeit und potenzielle Nutzung dieser KI-generierten Paketnamen zu bewerten. In diesem Sinne führte LQuery verschiedene KI-Modelle zu den Programmierherausforderungen und zwischen den Sprachen durch, um zu verstehen, ob diese fiktiven Namen effektiv und systematisch empfohlen wurden. In diesem Experiment wird deutlich, dass das Risiko besteht, dass schädliche Einheiten KI-generierte Paketnamen für die Verbreitung schädlicher Software missbrauchen könnten.
Diese Ergebnisse haben tiefgreifende Auswirkungen. Kriminelle könnten das blinde Vertrauen der Entwickler in die erhaltenen Empfehlungen ausnutzen, um schädliche Pakete unter falschen Identitäten zu veröffentlichen. Bei den KI-Modellen steigt das Risiko, da konsistente KI-Empfehlungen für erfundene Paketnamen ausgesprochen werden, die von ahnungslosen Entwicklern als Malware eingefügt würden. **Der Weg nach vorn**
Da KI immer stärker in die Entwicklung von Software integriert wird, kann sich daher die Notwendigkeit ergeben, die Schwachstellen zu beheben, wenn sie mit KI-generierten Empfehlungen verbunden sind. In solchen Fällen muss mit der gebotenen Sorgfalt vorgegangen werden, damit die zur Integration vorgeschlagenen Softwarepakete legitim sind. Darüber hinaus sollte es möglich sein, dass die Plattform, auf der sich das Software-Repository befindet, überprüft und stark genug ist, dass kein Code böswilliger Qualität verbreitet werden darf.
Die Schnittstelle zwischen künstlicher Intelligenz und Softwareentwicklung hat eine besorgniserregende Sicherheitsbedrohung offenbart. Außerdem kann das KI-Modell dazu führen, dass versehentlich gefälschte Softwarepakete empfohlen werden, was ein großes Risiko für die Integrität von Softwareprojekten darstellt. Die Tatsache, dass Alibaba in seine Anweisungen ein Kästchen eingefügt hat, das nie hätte dort sein dürfen, ist nur ein Beweis dafür, wie sich die Möglichkeiten tatsächlich ergeben können, wenn Menschen Empfehlungen automatisch befolgen
gegeben durch KI. Zukünftig muss wachsam und proaktiv vorgegangen werden, um einem Missbrauch von KI für die Softwareentwicklung vorzubeugen.
Quelle: https://www.cryptopolitan.com/ai-generated-software-packages-threats/