Trend-NEWS

Mit Hilfe von Verfahren des maschinellen Lernens (ML), insbesondere des sogenannten Deep Learning, konnten im Bereich der künstlichen Intelligenz (KI) in letzter Zeit große Fortschritte erzielt werden. Daher werden solche Verfahren mittlerweile in immer mehr Anwendungsfeldern eingesetzt. Dementsprechend stellen potenzielle Sicherheitslücken in ML-Verfahren eine erhebliche Bedrohung für viele aktuelle KI-Systeme dar. Das relativ neue Fachgebiet des Adversarial Machine (AML) Learning beschäftigt sich mit dem Auffinden von derartigen Sicherheitslücken in ML-Verfahren und der Entwicklung von geeigneten Gegenmaßnahmen diesbezüglich. Generell ermöglichen es ML-Verfahren Computern, selbständig anhand von Beispieldaten bestimmte Sachverhalte zu erlernen, z. B. ob auf einem Bild ein gewisses Objekt abgebildet ist. Im Zusammenhang mit AML werden dabei Eingabedaten untersucht, sogenannte Adversarial Examples, die von einem Angreifer explizit mit der Absicht entworfen werden, Fehler bei dem entsprechenden ML-Verfahren hervorzurufen. Beispielsweise können manche ML-Verfahren durch subtile Veränderungen der Bildpunkte eines Bildes dazu gebracht werden, anstatt des eigentlich dargestellten Objekts ein ganz anderes Objekt zu erkennen, obwohl das veränderte Bild für einen Menschen vom ursprünglichen Bild nicht zu unterscheiden ist. So kann z. B. ein ML-Verfahren dazu veranlasst werden, auf einem entsprechend modifizierten Bild anstatt eines Schulbusses einen Straußenvogel zu erkennen.

Allgemein basiert ML auf einem mathematischen Modell mit einstellbaren Parametern, wobei diese Parameter in einer Lernphase im Hinblick auf die Beispieldaten optimiert werden. Hierfür können unterschiedliche ML-Modelle genutzt werden, wie z. B. künstliche neuronale Netzwerke (KNN). KNN sind zu einem gewissen Grad durch die neurobiologische Architektur des Gehirns inspiriert und bestehen aus einem Netzwerk aus künstlichen Neuronen, die in unterschiedlichen Schichten angeordnet sind. Deep Learning nutzt dabei KNN mit vielen Schichten von Neuronen.

Die im Rahmen von AML untersuchten Angriffe lassen sich unter anderem anhand des Wissens unterscheiden, das ein Angreifer über das anvisierte ML-Modell besitzt. Beispielsweise kennt ein Angreifer bei White-Box Attacks alle Details des ML-Modells, z. B. welches konkrete Modell eingesetzt wird und welche Beispieldaten für die Lernphase verwendet wurden. Im Gegensatz dazu besitzt ein Angreifer bei Black-Box Attacks kein solch detailliertes Wissen. Hier kann der Angreifer nur die Ausgabedaten des betreffenden ML-Modells zu von ihm gewählten Eingabedaten abfragen, allerdings möglicherweise nur in einem begrenzten Umfang. Eine potenzielle Angriffsstrategie besteht in diesem Fall darin, die durch den Angreifer auf diese Weise gewonnenen Ein- und Ausgabedaten zu verwenden, um ein anderes ML-Modell damit zu trainieren. Es kann sich dabei sogar um ganz unterschiedliche ML-Modelle handeln. Sollten nämlich beide ML-Modelle in einer ähnlichen Weise funktionieren, dann werden Adversarial Examples, die für das eine Modell entworfen wurden, vermutlich auch bei dem anderen Modell entsprechende Fehler hervorrufen. Bei Gray-Box Attacks liegt das Wissen des Angreifers zwischen dem bei White-Box Attacks und Black-Box Attacks. In diesem Fall ist üblicherweise nur das genutzte ML-Modell bekannt, aber nicht die genauen Parameter des Modells und die Beispieldaten für die Lernphase. Angriffe auf ein ML-Verfahren können aber nicht nur auf ein bereits trainiertes System erfolgen, sondern auch während dessen Lernphase. Bei solchen Poisoning Attacks werden geeignet modifizierte Beispieldaten genutzt, um dadurch beispielsweise eine fehlerhafte Klassifikation eines Objektes hervorzurufen.

Inzwischen konnten bereits einige effektive Angriffe auf unterschiedliche Arten von ML-Verfahren demonstriert werden. Im Gegensatz dazu konnten bisher viele in dieser Hinsicht konzipierte Gegenmaßnahmen schon relativ schnell nach ihrer Veröffentlichung durch neue Angriffsstrategien wieder gebrochen werden.