Schluss mit der Suche in unzähligen Tabs: Lernen Sie den ONEKEY Chat Agent kennen

Warum der dialogbasierte Zugriff in einer Sicherheitsplattform wichtig ist

Sicherheitsteams leiden selten unter einem Mangel an Daten. Das Problem ist das Gegenteil: zu viele Stellen, an denen gesucht werden muss, zu viele Dinge, die verglichen werden müssen, und zu viele Möglichkeiten, Stunden mit der Beantwortung einer scheinbar einfachen Frage zu verbringen.

Moderne Sicherheitsplattformen erzeugen und verknüpfen enorme Mengen an Informationen. SBOMs, Firmware-Versionen, Abhängigkeiten und eine wachsende Zahl von CVEs müssen alle im jeweiligen Kontext verstanden werden. Die Erfassung der Daten allein reicht nicht mehr aus. Die eigentliche Herausforderung besteht darin, Menschen dabei zu helfen, diese Daten schnell zu verstehen.

Herkömmliche Methoden zur Navigation durch diese Informationen funktionieren gut, wenn die Datenmenge kleiner und die Frage einfach ist. In den meisten Fällen suchen Benutzer jedoch nicht nur nach einem Dashboard oder einer Liste von Schwachstellen, die behoben werden müssen. Sie wollen Antworten. Sie stellen Fragen wie „Was hat sich geändert?“ oder „Welche Ergebnisse sollte ich zuerst beachten?“.

Dies ist insbesondere im Bereich der Sicherheit wichtig, wo Geschwindigkeit eine wichtige Rolle spielt. Doch Geschwindigkeit ohne Genauigkeit ist lediglich ein schnellerer Weg, falsch zu liegen. Teams benötigen schnellen Zugang zu Erkenntnissen, müssen aber gleichzeitig darauf vertrauen können, dass die Antwort korrekt, gut belegt und auf tatsächlichen Plattformdaten basiert. Und da die Zahl der veröffentlichten Schwachstellen kontinuierlich steigt, kann kein ernsthaft arbeitendes Team hoffen, alles manuell zu überprüfen.

Hier ist der dialogbasierte Zugriff besonders hilfreich, da er Komplexität in Antworten verwandelt, die Menschen tatsächlich nutzen können. In Europa gewinnt dies mit dem Cyber Resilience Act (CRA) zusätzlich an Bedeutung, der verbindliche Cybersicherheitsanforderungen für Produkte mit digitalen Elementen über deren gesamten Lebenszyklus hinweg einführt, einschließlich der Behandlung von Schwachstellen und Sicherheitsupdates. Während diese Anforderungen von der politischen Ebene in die praktische Umsetzung übergehen, benötigen Teams schnellere Möglichkeiten, Erkenntnisse zu verstehen, die Behebung von Problemen zu priorisieren und mit Nachweisen zu arbeiten, die sie tatsächlich in Sicherheits- und Compliance-Prozessen einsetzen können. Unsere Beteiligung am CRACoWi-Projekt spiegelt denselben Bedarf an praktischer Unterstützung wider und trägt dazu bei, CRA-Anforderungen in nutzbare Tools und Workflows für Unternehmen zu überführen.

Was der ONEKEY Chat Agent kann

Der ONEKEY Chat Agent wurde für eine ganz bestimmte Aufgabe entwickelt: Produkt-Sicherheits- und Compliance-Teams dabei zu unterstützen, mit Firmware zu arbeiten, die bereits auf der ONEKEY Plattform analysiert wurde. Dieser enge Fokus ist bewusst gewählt. Genau das macht den Agenten in der Praxis nützlich. Anstatt zu versuchen, ein allgemeiner Sicherheitsassistent mit einer Meinung zu allem zu sein, bleibt er nah an der Plattform, den verfügbaren Daten und den Fragen, die Benutzer bei ihrer täglichen Arbeit tatsächlich stellen. Der Agent ist darauf ausgelegt, ausschließlich lesend zu arbeiten, sich auf Plattformdaten zu stützen und nicht vorzugeben, mehr zu wissen, als tatsächlich der Fall ist. Möchte ein Benutzer etwas ändern, erklärt er, wie dies über die Benutzeroberfläche oder die API erfolgen kann, anstatt selbstständig Änderungen vorzunehmen.

Innerhalb dieses Rahmens ist der Agent darauf ausgelegt, bei einer Reihe praktischer Aufgaben mit hohem Mehrwert zu unterstützen. Eine der wichtigsten ist die Zusammenfassung einer Analyse. Wenn ein Benutzer fragt: „Was stimmt mit meiner Firmware nicht?“, möchte er in der Regel keine lange Liste von Ergebnissen Punkt für Punkt vorgelesen bekommen. Er möchte einen klaren Überblick über Schweregrad und Status, bei dem die relevantesten Probleme in den Vordergrund gestellt werden. Dadurch lässt sich die Antwort schneller erfassen und besser für die Triage nutzen.

Eine weitere zentrale Aufgabe ist der Vergleich von Firmware-Versionen. Benutzer möchten häufig verstehen, was sich geändert hat, ob sich die Sicherheitslage verbessert hat und wo möglicherweise neue Risiken entstanden sind. Der Chat Agent kann dabei unterstützen, indem er beide Firmware-Versionen betrachtet, ihre Analyseergebnisse überprüft und die relevanten Unterschiede hervorhebt, anstatt lediglich Rohdaten darzustellen.

Er kann auch einzelne Ergebnisse auf leichter verständliche Weise erklären. Dazu kann gehören, zu erläutern, warum ein Problem besteht, was eine CVE-Übereinstimmung für eine erkannte Komponente bedeutet oder wie die verfügbaren Nachweise das Ergebnis stützen. Dies ist besonders wertvoll, wenn technische Ergebnisse zwischen Teams mit unterschiedlichem Fachwissen besprochen werden müssen.

Der Agent kann auch bei der Triage unterstützen. Er kann den aktuellen Triage-Status erläutern, auf die Nachweise hinter einer Empfehlung verweisen, den am besten geeigneten nächsten Schritt vorschlagen und Ergebnisse priorisieren, sodass sich Benutzer auf das Wesentliche konzentrieren können. Er trifft jedoch keine Entscheidungen für den Benutzer und ändert auch nicht unbemerkt etwas im System. Er hilft Benutzern, schneller voranzukommen, ohne Verantwortlichkeiten zu verschleiern oder die Nachvollziehbarkeit einzuschränken.

Der Chat Agent kann Benutzer auch unterstützen, wenn Ergebnisse anders dargestellt werden müssen. Er kann Ergebnisse für eine bestimmte Zielgruppe erläutern, beispielsweise indem er technische Ergebnisse in eine Zusammenfassung für das Management überführt.

Schließlich kann der ONEKEY Chat Agent Benutzer auch bei der Nutzung der Plattform selbst unterstützen: dabei, etwas zu finden oder eine Analyse durchzuführen. Mit anderen Worten: Er ist mehr als ein Analyseassistent – er dient zugleich als Leitfaden für eine effektivere Navigation und Nutzung der Plattform.

Der Wert dieser Funktionen liegt darin, dass sie reale Aufgaben widerspiegeln, die Benutzer ausführen, beispielsweise zusammenfassen, vergleichen, erklären, priorisieren, triagieren, finden und kommunizieren, und diese schneller, klarer und einfacher handhabbar machen.

Warum wir uns für eine Multi-Agent-Architektur entschieden haben

Der ONEKEY Chat Agent ist als Multi-Agent-System aufgebaut, da die Aufgaben, die er bewältigen muss, zu unterschiedlich sind, um sinnvoll von einem einzigen allgemeinen Assistenten übernommen zu werden. Die Zusammenfassung einer Analyse, der Vergleich von Firmware-Versionen, die Beantwortung von Fragen zur Plattformnutzung und die Durchsetzung von Umfang oder Richtlinien erfordern jeweils unterschiedliche Kontexte und Anweisungen. Durch die Aufteilung dieser Verantwortlichkeiten lässt sich das System leichter kontrollieren und arbeitet in der Praxis zuverlässiger.

Dieses Design bietet einige klare Vorteile. Jeder Agent arbeitet mit einem übersichtlicheren Kontext, anstatt sämtliche möglichen Regeln und Verantwortlichkeiten gleichzeitig berücksichtigen zu müssen. Prompts können spezialisiert und auf eine bestimmte Aufgabe ausgerichtet werden. Dies verbessert die Konsistenz, reduziert unnötige Informationen und erleichtert es, das System an den tatsächlichen Anwendungsfällen der Plattform auszurichten. Außerdem lässt sich das System im Laufe der Zeit leichter erweitern, da neue Funktionen hinzugefügt werden können, ohne einen einzelnen Agenten zu einem überlasteten Generalisten zu machen.

In der Praxis ist das System um drei Rollen herum organisiert. Ein Moderator Agent prüft, ob eine Anfrage innerhalb des vorgesehenen Umfangs liegt. Der Central Agent führt die Konversation, interpretiert die Anfrage und verwendet Plattform-Tools, um die relevanten Daten abzurufen. Der OQL Agent übersetzt die analytische Absicht des Benutzers in OQL-Abfragen für einen strukturierten Datenzugriff. Sein spezialisierter Prompt und sein fokussierter Kontext helfen ihm dabei, Abfragen zu erstellen, die zum Datenmodell der Plattform und zur Anfrage des Benutzers passen.

Die Tools sind ein wichtiger Bestandteil davon, warum dies funktioniert. Der Agent beantwortet Fragen nicht auf Grundlage von Vermutungen. Er arbeitet mit einer gezielten Auswahl an Read-only-Tools, die mit analysierter Firmware verknüpft sind: Auflösen von Firmware, Abrufen von Übersichten, Auflisten und Prüfen von Issues und CVE-Übereinstimmungen, Durchsuchen extrahierter Inhalte und Lesen relevanter Dateien. Bei Support-Fragen kann der Agent außerdem die Produktdokumentation durchsuchen und lesen. Dadurch basieren die Antworten auf tatsächlichen Plattformdaten und Dokumentationen, während das System gleichzeitig auf die vorgesehenen Aktionen und Informationen beschränkt bleibt.

Diese Kombination aus spezialisierten Agenten und fokussierten Tools macht die Architektur wertvoll. Sie ermöglicht es dem ONEKEY Chat Agent, fokussiert, datenbasiert und vertrauenswürdig zu bleiben und gleichzeitig eine Vielzahl realer Aufgaben innerhalb der Plattform abzudecken.

Wie wir Modellqualität, Tool-Nutzung und Systemzuverlässigkeit bewertet haben

Die Entwicklung eines Chat Agents für die Sicherheitsarbeit erfordert ein ausgewogenes Verhältnis zwischen Genauigkeit, Tool-Nutzung, Reaktionsgeschwindigkeit und Kosten. Ein Modell kann beeindruckend klingen und dennoch die falsche Wahl für ein Produkt sein, das präzise Antworten, eine korrekte Tool-Nutzung, angemessene Antwortzeiten und vorhersehbare Kosten benötigt. Deshalb haben wir die Modellauswahl von Anfang an als Evaluierungsproblem betrachtet.

Diese Evaluierung ist eindeutig eine Data-Science-Aufgabe. Wir müssen die Qualität der Ergebnisse verschiedener Modelle vergleichen, genau wie bei einem klassischen Machine-Learning-Problem. Daher haben wir dieselbe grundlegende Methodik angewendet: Testdaten vorbereiten, relevante Faktoren messen, Ergebnisse vergleichen und das Modell auswählen, das für den vorgesehenen Anwendungsfall am besten geeignet ist.

Wir begannen damit, Fragen zu sammeln, die Benutzer wahrscheinlich stellen würden. Einige waren einfach, beispielsweise die Erklärung, was ein CVE ist. Andere waren deutlich näher an der täglichen Sicherheitsarbeit angesiedelt, mit größerer technischer Tiefe und mehr Fehlerpotenzial. Für diese Fragen erstellten wir kuratierte Referenzantworten auf Grundlage von Wikipedia-Seiten und Blogbeiträgen und nutzten diese, um die Leistung verschiedener Modelle zu vergleichen. Ziel war es nicht nur festzustellen, ob ein Modell flüssige Texte erzeugen kann, sondern ob es Fragen zur IT-Sicherheit klar, korrekt und tatsächlich hilfreich beantworten kann. Jede Antwort wurde unabhängig von zwei großen Sprachmodellen unterschiedlicher Anbieter bewertet, die sie mit der kuratierten Referenzantwort verglichen und hinsichtlich Abdeckung, Genauigkeit, Kohärenz und Stil bewerteten. Obwohl die Evaluatoren leicht unterschiedliche Bewertungsskalen verwendeten, ergab sich nahezu dieselbe Gesamtplatzierung der Modelle, was unser Vertrauen in die Ergebnisse stärkte.

Neben der Qualität der Antworten mussten wir auch bewerten, wie gut die einzelnen Modelle Tools aufrufen. Ein Chat Agent wie dieser ist nur dann zuverlässig, wenn er vor der Beantwortung die richtigen Daten abrufen kann. Deshalb haben wir dies separat in kontrollierten Umgebungen mit statischen Tools getestet. Wir stellten Fragen, für deren korrekte Beantwortung Tool-Aufrufe erforderlich waren, und überprüften anschließend, ob jedes Modell das richtige Tool auswählte und die richtigen Parameter verwendete. Diese Evaluierungen führten wir mit rund 50 Modellen durch, einschließlich Varianten mit unterschiedlichen Reasoning-Leveln. Qualität war wichtig, aber nicht der einzige Faktor. Auch Antwortzeit und Kosten spielten eine Rolle, denn ein Modell, das auf dem Papier geringfügig besser ist, kann dennoch die falsche Wahl sein, wenn es für einen realen Produkt-Workflow zu langsam oder zu teuer ist.

Dieser Prozess führte uns zu dem Modell, das am besten zu den Anforderungen des ONEKEY Chat Agent passte. Nicht zu dem Modell mit dem größten Hype, sondern zu demjenigen, das für die Art von Aufgaben, die die Plattform tatsächlich unterstützen muss, am besten abschnitt.

Und der Prozess endet hier nicht. Ständig erscheinen neue Modelle, und wir werden sie auch künftig evaluieren und möglicherweise das Modell hinter dem Chatbot ersetzen, wenn eine realistische Möglichkeit besteht, Qualität, Effizienz und Zuverlässigkeit zu verbessern.

Mit Blick auf die Zukunft wird auch die Flexibilität bei der Bereitstellung eine Rolle spielen. Einige Kunden möchten möglicherweise überhaupt keine sensiblen Daten an bestimmte Modellanbieter senden. Aus diesem Grund planen wir, künftig kundenseitig bereitgestellte Modelle zu unterstützen und Unternehmen damit mehr Kontrolle darüber zu geben, wie sich der Chat Agent in ihre eigenen Sicherheits- und Compliance-Anforderungen einfügt.

Fazit

Sicherheitsarbeit wird wahrscheinlich nie einfach werden. Es wird immer große Ergebnismengen, Firmware-Vergleiche, Triage-Entscheidungen und CVE-Listen geben, die niemand vor dem ersten Kaffee öffnen müssen sollte.

Verbessern lässt sich jedoch die Art und Weise, wie Analysten mit all diesen Informationen arbeiten. Der ONEKEY Chat Agent soll diese alltäglichen Aufgaben schneller, klarer und einfacher handhabbar machen, ohne aus den Augen zu verlieren, worauf es in diesem Bereich am meisten ankommt: Genauigkeit, Nachvollziehbarkeit und Vertrauen.

Dieses Vertrauen entsteht nicht dadurch, dass das System KI verwendet. Es entsteht dadurch, wie der Agent aufgebaut ist: Seine Antworten basieren auf Plattformdaten und nicht auf Vermutungen, das zugrunde liegende Modell wurde durch eine sorgfältige Evaluierung ausgewählt, sein Umfang ist kontrolliert, seine Tools sind ausschließlich lesend, und wenn die verfügbaren Informationen nicht ausreichen, ist er darauf ausgelegt, nachzufragen, anstatt Sicherheit vorzutäuschen.

Dies wird umso wichtiger, da der Cyber Resilience Act die Anforderungen an sichere und wartbare digitale Produkte in der EU erhöht. Durch unsere Beteiligung an CRACoWi tragen wir außerdem zu den umfassenderen Bemühungen bei, diese neuen Compliance-Anforderungen für Hersteller und andere Marktakteure praxisnäher und zugänglicher zu gestalten.

Wenn der ONEKEY Chat Agent Benutzern dabei hilft, weniger Zeit mit der Suche in unzähligen Tabs zu verbringen und mehr Zeit damit, auf Grundlage der richtigen Informationen zu handeln, dann erfüllt er seine Aufgabe.