Wie gut Painfold personenbezogene Daten findet
Von 100 Namen in Ihrem Feedback entfernt Painfold etwa 97. Deshalb prüfen Sie jeden Treffer, bevor Sie die Datei weitergeben.
- Namen: 97 % werden in deutschem und englischem Feedback entfernt, mindestens 92 % in jeder der 13 Herkunftsgruppen.
- E-Mail-Adressen, Telefonnummern, IBANs und die übrigen personenbezogenen Daten: 96 % der Werte in handgeschriebenen schwierigen Fällen werden entfernt.
- Ziel für Stufe 2, mindestens 90 % der Namen in jeder Gruppe entfernt: erreicht.
Wie gemessen wird
Painfold wird an erfundenem Feedback mit bekannten personenbezogenen Daten gemessen, auf Deutsch und Englisch: handgeschriebene schwierige Fälle, handgeschriebene Namen aus 13 in Österreich lebenden Gemeinschaften, lange Texte und generierte Nachrichten.
Das Namensmodell wird im Browser gemessen, so wie es bei Ihnen läuft. Seine Regeln wurden an eigenen Sätzen abgestimmt; die Testsätze wurden nur einmal geprüft, nach der Abstimmung. Sie stammen von derselben Person, die die Regeln abgestimmt hat; ein Testdatensatz von jemand anderem ist geplant.
Entfernt: Der Wert ist aus der bereinigten Datei verschwunden, egal, für welche Art von Daten er gehalten wurde. Als Name entfernt: entfernt und als Name erkannt.
Namen
325 Testnamen
- Entfernt
- 97 %
- Als Name entfernt
- 97 %
- Ohne Vornamensliste entfernt
- 90 %
271 von 325 Testnamen enthalten einen Vornamen aus der Liste von Painfold. Die Liste wird nur direkt nach einer Begrüßung, einem Dank, einer Grußformel oder einer Vorstellung verwendet („hi anna“, „LG Markus“).
Nach Herkunftsgruppe der Namen
Ziel 90 %
Die Gruppen gibt es nur in den Testdaten, damit Namen aus jeder Gemeinschaft gemessen werden. Painfold schließt nie auf die Herkunft einer Person.
- Deutschsprachig 100 %Als Name 100 %, ohne Liste 92 %
- Englisch 92 %Als Name 92 %, ohne Liste 88 %
- Bosnisch, Serbisch, Kroatisch 96 %Als Name 96 %, ohne Liste 92 %
- Türkisch 100 %Als Name 100 %, ohne Liste 92 %
- Rumänisch 100 %Als Name 100 %, ohne Liste 92 %
- Ungarisch 96 %Als Name 96 %, ohne Liste 92 %
- Polnisch 92 %Als Name 92 %, ohne Liste 92 %
- Ukrainisch 100 %Als Name 100 %, ohne Liste 88 %
- Arabisch 100 %Als Name 100 %, ohne Liste 92 %
- Afghanisch 100 %Als Name 100 %, ohne Liste 92 %
- Afrikanisch 92 %Als Name 88 %, ohne Liste 84 %
- Südasiatisch 96 %Als Name 96 %, ohne Liste 88 %
- Ostasiatisch 100 %Als Name 100 %, ohne Liste 92 %
Namen in langen Texten
Das Namensmodell liest etwa 300 Wörter auf einmal, deshalb werden längere Texte in überlappenden Teilen geprüft. Diese Texte sind vier- bis fünfmal so lang.
- Am Anfang
- 100 %
- In der Mitte
- 100 %
- Am Ende
- 100 %
Weitere personenbezogene Daten
Handgeschriebene schwierige Fälle: ungewöhnlich geschriebene, eingefügte oder verschleierte Werte und Ähnliches, das nicht entfernt werden darf, etwa Bestellnummern.
| Art der Daten | Gefunden | Richtig | Werte |
|---|---|---|---|
| E-Mail-Adressen | 90 % | 100 % | 10 |
| Telefonnummern | 100 % | 100 % | 11 |
| IBANs | 100 % | 100 % | 7 |
| Kartennummern | 100 % | 100 % | 6 |
| Sozialversicherungsnummern | 100 % | 86 % | 6 |
| UID-Nummern | 100 % | 100 % | 7 |
| Links | 100 % | 100 % | 5 |
| IP-Adressen | 100 % | 100 % | 3 |
| Geburtsdaten | 100 % | 100 % | 6 |
| Adressen | 86 % | 100 % | 7 |
| Postleitzahlen | 100 % | 100 % | 6 |
| Namen | 67 % | 100 % | 3 |
| Orte | 100 % | 100 % | 7 |
Gefunden: der Anteil der Werte, die als die richtige Art von Daten entfernt wurden. Richtig: der Anteil der Treffer, die wirklich diese Art von Daten waren.
Generierte Daten (eine Kontrolle, dass nichts kaputtgegangen ist)
Nachrichten aus denselben Vorlagen wie die Beispieldatei. Die Erkennung konnte auf diese Sätze abgestimmt werden, die Werte sind also bewusst hoch: Sie zeigen, dass nichts kaputtgegangen ist.
| Art der Daten | Gefunden | Richtig | Werte |
|---|---|---|---|
| E-Mail-Adressen | 100 % | 100 % | 170 |
| Telefonnummern | 100 % | 100 % | 157 |
| IBANs | 100 % | 100 % | 100 |
| Kartennummern | 100 % | 100 % | 100 |
| Sozialversicherungsnummern | 100 % | 100 % | 141 |
| UID-Nummern | 100 % | 100 % | 100 |
| Links | 100 % | 100 % | 100 |
| IP-Adressen | 100 % | 100 % | 125 |
| Geburtsdaten | 100 % | 100 % | 167 |
| Adressen | 100 % | 100 % | 176 |
| Postleitzahlen | 100 % | 100 % | 176 |
| Namen | 95 % | 100 % | 361 |
| Orte | 87 % | 98 % | 176 |
Bekannte Lücken
- Spitznamen nach einer Begrüßung oder einem Dank, die nicht auf der Vornamensliste stehen, etwa „cheers ollie“.
- Namen am Satzanfang, vor denen nichts steht: „Sanne van der Berg says…“.
- Manche Namenszusätze und mehrteilige Namen: „Saif ur Rehman“, „Tesfaye Bekele“.
- Kleine Orte: In „Mehmet Aydın aus Wels“ wird der Name entfernt, aber nicht „Wels“.
- Ausgeschriebene E-Mail-Adressen, die Spamfilter austricksen sollen („name AT example DOT net“).
- Englische Adressen, die mit einer Wohnungsnummer beginnen („Flat 2, 14 Market Street“).
- Einige Dokumentnummern, die wie eine österreichische Sozialversicherungsnummer aussehen, werden entfernt, obwohl sie keine sind.
Was übersehen wurde, können Sie in der Prüfung mit M markieren.
Geschwindigkeit
Eine Datei mit 5.000 Zeilen wird in etwa 1,5 Sekunden auf E-Mail-Adressen, Telefonnummern und die übrigen regelbasierten Daten geprüft. Mit dem Namensmodell in Ihrem Browser dauern die Namen 70 bis 115 Sekunden und werden im Hintergrund geprüft, während Sie prüfen.
Das Namensmodell
Namen und Orte findet Davlan/distilbert-base-multilingual-cased-ner-hrl (AFL-3.0), ein mehrsprachiges Modell, das mit Nachrichtentexten trainiert wurde, darunter der Datensatz CoNLL-2003. Die CoNLL-Texte sind selbst lizenziert, was für damit trainierte Modelle eine Grauzone ist. Painfold stellt das Modell von der eigenen Website bereit und führt es in Ihrem Browser aus.