So bewerten wir
Jede Stelle auf botjobs hat zwei getrennte Bewertungen durch ein Sprachmodell bestanden. Was das Modell gefragt wird, wie wir prüfen, warum das trägt und wie wir mit neuen Modellen Schritt halten.
Eine KI-Eignung von 0 bis 100 für das Aufgabenprofil der Anzeige: wie viel der ausgeschriebenen Kernarbeit ein KI-Agent der Spitzenklasse heute erledigen könnte.
Keine gemessene Automatisierungsquote, kein Anteil eines Menschen, der ersetzbar wäre, und kein Beweis, dass die Stelle verschwindet. Ein Score von 80 heißt nicht „zu 80 % ersetzbar“.
Was bewertet wird
Bewertet werden die Kerntätigkeiten aus dem Inserat selbst: Titel, Beschreibung, Aufgaben und Anforderungen, so wie der Arbeitgeber sie veröffentlicht hat. Wir bewerten keine Berufsbezeichnungen und keine Berufe im Durchschnitt. Zwei Stellen mit gleichem Titel können sehr unterschiedliche Scores bekommen, wenn die Arbeit dahinter verschieden ist.
Maßstab ist ein KI-Agent der Spitzenklasse, wie es ihn heute gibt: Textverständnis auf Expertenniveau, Werkzeugzugriff auf E-Mail, Dokumente, Web, Datenbanken und Code-Ausführung, aber kein Körper und keine Rechtspersönlichkeit.
Stufe 1: Automatisierungs-Score
Das Modell bewertet jede Stelle von 0 bis 100 und gibt genau einen Satz Begründung, der die entscheidende Tätigkeit nennt. Dieser Satz steht an jeder Stelle.
Kerntätigkeiten sind vollständig digital und sprachbasiert: Texte verfassen, recherchieren, Daten erfassen, prüfen und auswerten, übersetzen, Korrespondenz, Standard-Sachbearbeitung, Reporting, Programmierung. Ein Agent könnte den Großteil eigenständig erledigen.
Überwiegend digitale Arbeit, aber mit Anteilen, die menschliches Urteil, Verantwortungsübernahme oder persönliche Abstimmung brauchen (Verhandlungen, Teamführung, Kundentermine).
Mischjob: relevanter digitaler Kern, aber wesentliche Anteile erfordern physische Präsenz, Vor-Ort-Termine oder gesetzlich geschützte Tätigkeiten.
Der Kern erfordert physische Präsenz, Handarbeit, Pflege oder Behandlung, Fahren, Laborarbeit, Verkauf am Point of Sale oder eine Berufsausübung, die ein Agent rechtlich nicht innehaben kann.
Feste Regeln über der Skala
- Ist die Beschreibung leer oder nichtssagend, bewertet das Modell konservativ nach dem Titel und vergibt höchstens 60.
- Gesetzliche Zulassungs- oder Haftungsvorbehalte (Anwaltszulassung, Approbation, Ziviltechniker, Wirtschaftsprüfer-Testat) deckeln den Score auf höchstens 69, egal wie textlastig die Arbeit ist.
- Ist regelmäßige körperliche Anwesenheit der Kern der Stelle (Empfang, Lager, Produktion, Pflege, Außendienst), ist bei 30 Schluss.
- Nur Stellen ab 70 gehen in Stufe 2.
Stufe 2: Rollenprüfung
Ein hoher Score sagt, dass die Aufgaben digital sind. Er sagt noch nicht, dass ein Agent die Stelle tragen könnte. Deshalb fragt ein zweiter, getrennter Durchgang nur eines: Könnte ein autonomer Agent diese Rolle als Ganzes ausfüllen?
Die Antwort ist „nein“, wenn die Rolle im Kern beruht auf:
- Vertrieb, Kundenbeziehungen, Account Management oder Akquise, auch im Innendienst und auch wenn das meiste per E-Mail und CRM läuft
- Führung von Menschen oder Disziplinarverantwortung
- Haftung, Zeichnungsrecht, gesetzlich geschützter Berufsausübung (Steuerberatung, Wirtschaftsprüfung, Rechtsberatung, Heilkunde) oder Vertretung des Unternehmens nach außen
- physischer Präsenz: Außendienst, Vor-Ort-Termine, Labor, Produktion, Lager, Empfang, Pflege, Fahren
- Verhandlungen mit Lieferanten oder Partnern
- Betreuung, Schulung oder Anleitung von Menschen
Die Antwort ist „ja“ nur, wenn der Kern der Rolle die Verarbeitung von Information ist und ein Mensch lediglich freigeben oder abzeichnen müsste: Sachbearbeitung, Buchhaltung, Datenpflege und -analyse, Reporting, Dokumentation, Texterstellung, Übersetzung, Recherche, Programmierung, Testing. Für Zweifelsfälle gilt fest: im Zweifel nein.
Gelistet werden nur Stellen, die beide Stufen bestehen. Heute sind das 2.032 Stellen. Durchgefallene Stellen werden ausgeblendet, nie gelöscht, und bezahlte Premium-Inserate der Ursprungsportale werden nie angefasst.
Wie Ergebnisse geprüft werden
Identitätsprüfung in jedem Stapel
Bewertet wird in kleinen Stapeln. Zu jeder Stelle muss das Modell neben der ID den Anfang des Titels zurückgeben. Passt ein einziger nicht, wird der ganze Stapel verworfen und neu bewertet. So kann ein Score nie auf der falschen Stelle landen.
Strenges Ausgabeformat
Das Modell muss genau ein Ergebnis je Stelle in einem festen JSON-Format liefern. Alles andere gilt als Fehler und wird wiederholt; nichts wird geschätzt aufgefüllt.
Inhalts-Fingerabdruck
Jede Bewertung wird mit einem Fingerabdruck des Inseratstexts und dem bewertenden Modell gespeichert. Neu bewertet wird nur, wenn sich der Text ändert, und dieselbe Stelle auf mehreren Portalen wird nur einmal bewertet.
Zwei unabhängige Fragen
Score und Rollenprüfung haben verschiedene Anweisungen und laufen getrennt. Eine Stelle muss zweimal überzeugen.
Stichproben durch Menschen
Grenzgruppen (etwa Back-Office-Rollen nahe am Vertrieb oder Controlling) werden von Menschen gesichtet; systematische Fehler werden im ganzen Bestand korrigiert.
Veröffentlichte Begründung
Jede gelistete Stelle zeigt Score und Ein-Satz-Begründung, alles ist auch als offenes JSON abrufbar. Jede und jeder kann ein einzelnes Urteil nachprüfen und uns sagen, wenn es falsch ist.
Warum das plausibel ist
Der Ansatz folgt der Methode, mit der die etablierte Forschung zu KI und Arbeit arbeitet: Berufe in Tätigkeiten zerlegen und bewerten, wie stark jede Tätigkeit Sprachmodellen ausgesetzt ist. Das bekannteste Beispiel ist „GPTs are GPTs“ (Eloundou, Manning, Mishkin und Rock, 2023), wo Tätigkeiten sowohl von menschlichen Annotatorinnen und Annotatoren als auch von GPT-4 bewertet wurden und die Bewertungen des Modells weitgehend mit denen der Menschen übereinstimmten. Die Internationale Arbeitsorganisation (ILO) nutzt in ihren weltweiten Studien zu generativer KI und Arbeit eine ähnliche tätigkeitsbasierte Methode mit einem Sprachmodell.
botjobs geht einen Schritt näher an die Wirklichkeit: Bewertet werden konkrete, aktuell offene Inserate statt Berufsdurchschnitte. Das Ergebnis zeigt also, was Arbeitgeber heute tatsächlich verlangen.
Die Regeln sind bewusst konservativ: harte Obergrenzen für körperliche Arbeit und geschützte Berufe, eine eigene Rollenprüfung und „im Zweifel nein“. Der gelistete Anteil ist deshalb eher eine Untergrenze als eine aufgeblasene Schlagzeile: Von allen analysierten Stellen landet nur ein kleiner Teil auf botjobs.
Jedes Urteil kommt mit Begründung, und die Daten sind offen. Die Methode lässt sich also von außen prüfen, Stelle für Stelle.
Schritt halten mit neuen Modellen
Modelle werden alle paar Monate besser. Ein Score, der im Frühling stimmte, kann im Herbst zu niedrig sein. So geht botjobs damit um.
- Der Maßstab ist als „Spitzen-Agent von heute“ definiert, nicht als festes Modell. Wenn die Spitze weiterrückt, rückt die Messlatte mit.
- Jeder Score hält das bewertende Modell und den Fingerabdruck des Inserats fest. Alte und neue Bewertungen lassen sich so unterscheiden und vergleichen.
- Die Bewertung selbst macht ein schnelles, kleineres Modell (Claude Haiku), gesteuert durch die Regeln oben. Das hält zehntausende Bewertungen bezahlbar; die strengen Regeln und die zweite Stufe gleichen das kleinere Modell aus.
- Ein fester Referenzsatz von Stellen, der mit jedem neuen Modell und jeder Regeländerung neu bewertet wird. So wird die Verschiebung als Zahl sichtbar statt als Gefühl.
- Eine Versionsnummer der Regeln an jedem Score, veröffentlicht mit den Daten.
- Regelmäßige Neubewertung aller gelisteten Stellen mit dem aktuellen Modell und ein zweites Modell als Gegenprüfung für Grenzfälle zwischen 60 und 80.
- Eine gemessene Monatsreihe der AI-Quote aus diesen Läufen, die die bisher modellierten Monate ersetzt.
Was der Score nicht sagt
Der Score bewertet, ob ein KI-Agent die Kerntätigkeiten heute technisch erledigen könnte. Er ist keine Prognose, dass die Stelle verschwindet, und er sagt nicht, ob ein Arbeitgeber tatsächlich einen Agenten einsetzt; das entscheiden Kosten, Recht, Vertrauen und Organisation.
Die Bewertung macht ein Sprachmodell. Sie ist ein starkes, nachvollziehbares Indiz, kein Urteil. Grenzfälle können zwischen zwei Läufen kippen; auch deshalb ist der Referenzsatz geplant.
Ein Urteil ist falsch? Schreib an hello@botjobs.org