Whitepaper: Qualitätssicherung mit OTM

Projektmanager schaffen mit einer gewissenhaften Bewertung der gelieferten Arbeitsergebnisse die Grundlage für eine zielgerichtete Ressourcen-Suche und den optimalen Einsatz passender Übersetzer.

Die folgenden Informationen geben einen Überblick über die eingesetzten Mechanismen und die Konfigurationsmöglichkeiten der Qualitätssicherung in OTM.

Bitte bedenken Sie, dass es im Agentur-Alltag der Übersetzungsbranche nicht darum gehen kann, einhundertprozentig objektive Einzelbewertungen für einzelne Leistungen zu vergeben.

Die Qualitätsbewertungen und ihre Ergebnisse werden den Übersetzern nicht angezeigt, denn es sollen keine akademischen Diskussionen um Zensuren entfacht werden. Vielmehr dienen sie dazu, Stärken, Schwächen sowie Trends erkennbar zu machen, so dass Projektmanager im geschäftlichen Alltag sachgerecht darauf reagieren können.

Zugriff auf Parameter und Daten

Die Einstellung der Parameter für die Qualitätssicherung erfolgt im Administrationsbereich unter >Ressourcen-Verwaltung >Ranking.

Alle Ergebnisse und die zugrundeliegenden Einzelbewertungen für eine Ressource können in >Projektmanagement >Ressourcen >Ressourcen-Details nachvollzogen werden.

Das aus den Qualitätsbewertungen folgende Ranking wirkt sich unter >Projektmanagement >Ressourcen >Suche und unter >Projektmanagement >Jobs >Ausschreiben auf die Sortierung der Trefferlisten aus.

Facetten der Qualitätsbewertung

Ergebnisdateien, die von Übersetzern (Ressourcen) geliefert werden, erhalten in OTM eine Qualitätsbewertung. Diese Qualitätsbewertung besteht aus einer Pflichtkomponente und einer optionalen Komponente.

Die Pflichtkomponente ist das Formale Quality Assessment (FQA). Die optionale Komponente ist das Linguistische Quality Assessment (LQA).

Außerdem wird beim Abschluss eines Auftrags für jeden Job ein Wert zur Willingness to Work Again (WWA) gespeichert, mit dem Projektmanager ihren Eindruck vom Kommunikationsverhalten und Geschäftsgebaren einer Ressource und den Grad ihrer Bereitschaft zu einer weiteren Zusammenarbeit ausdrücken können.

Formales Quality Assessment - FQA

Durch das FQA wird mit einfachen Ja/Nein-Fragen zu jeder Ergebnisdatei erfasst, ob

1. das vorliegende Arbeitsergebnis vollständig war,
2. der Liefertermin eingehalten wurde,
3. die Vorgaben (aus Job-Beschreibung und Style-Guide) erfüllt wurden, und
4. die Formatierung der gelieferten Datei einwandfrei war.

Der Projektmanager muss für jede Ergebnisdatei ein FQA erfassen, bevor die Datei als Auslieferungsdatei für den Kunden übernommen werden kann.

Linguistisches Quality Assessment – LQA

Das optionale Linguistische Quality Assessment zu einer Ergebnisdatei wird ebenfalls durch den Projektmanager erfasst.

LQA-Kriterien sind:

1. Textverständnis / Übersetzungsfehler
2. Terminologie / Wortwahl
3. Stil
4. Grammatik
5. Rechtschreibung und Interpunktion
6. Auslassungen / Hinzufügungen
7. Konsistenz / Einheitlichkeit

Ein LQA kommt zustande, wenn eine Ergebnisdatei entweder als „Fehlerfrei“ gekennzeichnet wird, oder wenn mindestens ein Defizit-Kriterium aktiviert wird.

Die Häufigkeit, mit der ein bestimmtes Defizit-Kriterium in einem Dokument aufgetreten ist, spielt dabei bis auf weiteres keine Rolle. Es wird lediglich registriert, ob es entsprechende Mängel oder Fehler gab, oder nicht.

Neben den Informationen zur Fehlerfreiheit bzw. den linguistischen Kriterien muss für jedes LQA vermerkt werden, wer zu der Bewertung beigetragen hat. Als Informationsquellen kommen der Projektmanager, der Kunde, oder ein Lektor infrage, und natürlich können mehrere dieser Informationsquellen an einer Bewertung beteiligt sein.

Ist keine Informationsquelle aktiviert, dann wird keine LQA-Bewertung gespeichert.

Skalierung von LQA-Werten

Die Skala, auf der die LQA-Werte abgebildet werden, reicht von 0 bis 100 Prozent. Der unterste Wert der Skala kann jedoch angehoben werden. Sie können zum Beispiel festlegen, dass der maximale Abzug in allen Kriterien nicht zu einem Ergebnis von 0 Prozent sondern zu einem Ergebnis von 50 Prozent führen soll.

Hintergrund für diese Möglichkeit ist, dass bei einer möglichen späteren Einführung von Faktoren für Fehlerhäufigkeiten die bis dahin gesammelten Werte mit einer mittleren Fehlerhäufigkeit assoziiert werden können, und somit die gewohnten Zahlenwerte auch in einem stärker ausdifferenzierten Spektrum erhalten bleiben.

Was bedeutet ‚100 Prozent‘?

Wenn für ein Einzelkriterium oder für eine Facette ein Wert von 100 Prozent angezeigt wird, dann heißt das, es wurden keine Mängel festgestellt. Mit anderen Worten: das Kriterium oder die Facette wurde als „Fehlerfrei“ bewertet.

Willingness to Work Again – WWA

Als WWA-Beurteilung wird vom Projektmanager bei Projektabschluss ein Wert von -2 (Sehr schlecht) bis +2 (Sehr gut) vergeben. Der voreingestellte Wert 0 ist neutral und stellt weder eine positive noch eine negative Wertung dar.

Facetten und Ebenen der Qualitätsbewertung

Die Facetten der Qualitätsbewertung – FQA, LQA und WWA – werden von OTM auf drei verschiedenen Ebenen verarbeitet. Auf der Ebene der einzelnen Ergebnisdatei ergeben sich Datei-Scores für FQA und LQA. Auf der Ebene eines Jobs ergeben sich Job-Scores für FQA, LQA und WWA. Aus den Job-Scores werden Ressourcen-Scores für FQA, LQA und WWA errechnet.

Außerdem gibt es einen Ranking-Score, einen Gesamtwert, der nicht angezeigt wird, der aber ein wesentlicher Parameter ist, mit dem die Rangfolge in Trefferlisten bei der Ressourcen-Suche und Ressourcen-Auswahl gesteuert wird.

Hier eine Übersicht der Erfassung bzw. Berechnung auf den unterschiedlichen Ebenen:

Facetten  Ebenen	FQA	LQA	WWA
Datei-Scores	Pflichtbewertung, PM-Eingabe, Kriterien ggf. mit unterschiedlicher Gewichtung	Optionale Bewertung, PM-Eingabe, Kriterien ggf. mit unterschiedlicher Gewichtung	-
Job-Scores	Mittelwert der Datei-FQAs des Jobs	Mittelwert der Datei-LQAs des Jobs	PM-Eingabe bei Projektabschluss
Ressourcen-Scores	Berechnung auf Basis aller Job-FQAs	Berechnung auf Basis aller Job-LQAs	Durchschnitt aller WWA-Werte
Ranking-Score	In den Trefferlisten der Ressourcen-Suche beeinflusst der Ranking-Score die Sortierung nach OTM-Rang. Er wird aus den gewichteten Ergebnissen der einzelnen Facetten errechnet.

Gewichtung von Kriterien

Die Qualitätsbewertung einer Facette setzt sich aus Werten für Einzelkriterien zusammen. Dies gilt sowohl für das FQA als auch für das LQA.

Die vier Kriterien für das FQA sind „Vollständigkeit“, „Termintreue“, „Erfüllung der Vorgaben“ und „Formatierung“. Diese vier Kriterien können unterschiedlich gewichtet werden.

Wenn beispielsweise Termintreue von überragender Bedeutung für Ihr Unternehmen ist, dann können Sie OTM so konfigurieren, dass Mängel bei der Termintreue eine größere Bedeutung haben als Mängel bei der Formatierung. Eine Ressource erhält dann höhere Abzüge für versäumte Termine als für schlecht formatierte Dokumente.

Das gleiche gilt für die LQA-Kriterien. Die entsprechenden Einstellungen können Nutzer, die das Recht zur Administration von Ressourcen haben, im Administrationsbereich unter >Ressourcen-Verwaltung >Ranking vornehmen.

Gesamtwerte für Einzelkriterien

Die Ressourcen-Scores für FQA und LQA werden auf Job-Basis aus den gewichteten Einzelkriterien gebildet.

Zusätzlich berechnet OTM – ebenfalls auf Basis der Job-Scores – übergreifende Werte für die Einzelkriterien. Diese werden im Front-End für das Projektmanagement in den Details für eine Ressource angezeigt.

Es ergibt sich für jedes Einzelkriterium ein Wert, der das durchschnittliche Ergebnis in diesem Kriterium repräsentiert. Dabei spielen Gewichtungen und Skalierungen keine Rolle. Projektmanager können an diesen Werten eventuell vorhandene Häufungen von Defiziten in den Einzelkriterien erkennen.

Gewichtung für das Gesamt-Ranking

Der Ranking-Score ist ein Gesamtwert, der sich aus den Ressourcen-Scores für die Facetten FQA, LQA und WWA ergibt.

Der Ranking-Score wird in OTM nicht angezeigt. Aber er wirkt sich entscheidend auf Trefferlisten aus, wenn bei der Ressourcen-Suche oder Ressourcen-Auswahl die Sortier-Option „OTM-Rang“ aktiv ist.

Sie können einstellen, wie stark ein Ressourcen-Score für eine bestimmte Facette den Ranking-Score beeinflussen soll, und beispielsweise nach eigenen Maßgaben so gewichten, dass LQA-Ergebnisse einen größeren Einfluss auf das Ranking haben als FQA- und WWA-Ergebnisse.

Hinweis für Lizenznehmer, die OTM vor 2011 lizensiert haben: Es wird ein Ausgleichsfaktor angewendet, der bewirkt, dass Ressourcen mit vielen nicht bewerteten Jobs aus der Zeit vor 2011 einen höheren Ranking-Score erreichen als Ressourcen, die wenige bewertete Jobs hatten.

WWA und OTM-Ranking

Beim Erfassen eines WWA-Wertes für einen Job stehen fünf Optionen zur Wahl:

-2 (Schlechtester Wert)

-1

 0 (Neutral)

+1

+2 (Bester Wert)

Aus allen für eine Ressource gespeicherten WWA-Werten wird der Durchschnittswert errechnet und zur Ressource angezeigt. Dieser WWA-Durchschnitt wird für das OTM-Ranking in einen Prozentwert von 50 bis 150 Prozent umgewandelt, damit er in den Ranking-Score einfließen kann.

Eine Ressource mit einem positiven WWA-Durchschnitt erhält dadurch einen Prozentwert, der größer als 100 Prozent ist, also eine Art Bonus für das Ranking darstellt. Eine Ressource mit einem WWA-Durchschnitt von 0 erhält für das Ranking einen quasi neutralen 100‑Prozent‑Wert, und eine Ressource mit einem negativen WWA‑Durchschnitt erhält einen Wert unter 100 Prozent, also quasi einen Malus.

OTM-Rang und Ranking-Parameter

Wenn bei Ressourcen-Suche und Ressourcen-Auswahl Spezialgebiete als Suchparameter berücksichtigt werden, dann wirkt sich das auf die Sortierung der Trefferliste aus. Der OTM-Rang ergibt sich dann nicht allein aus dem Ranking-Score, sondern er wird unter Berücksichtigung aller Parameter berechnet, die in der konkreten Konstellation eine Rolle spielen. Das sind sowohl die QA-Werte wie auch die Spezialgebiete sowie die Art der Übereinstimmungen (Matches), die die Ressourcen bei den Spezialgebieten haben (100% oder Fuzzy).

Bei einer Ressourcen-Suche, in der keine Spezialgebiete berücksichtigt werden, ergibt sich die Trefferliste bei Sortierung nach OTM-Rang aus dem Ranking-Score.

Priorisierung

Es gibt die Möglichkeit, Ressourcen – zum Beispiel wenn sie neu in die OTM-Datenbank aufgenommen wurden – beim Ranking zu priorisieren. Dafür steht in >Administration >Ressourcen-Verwaltung >Ressourcen >Einstellungen die Option „Bei Suche/Auswahl priorisieren“ zur Verfügung.

Ist diese Option aktiviert, dann wird die Ressource bei der Sortierung nach OTM-Rang in der Trefferliste gekennzeichnet und ganz oben angezeigt, auch wenn keine oder keine guten Qualitätsergebnisse vorliegen.

Ein Anwendungsbeispiel: Neue Ressourcen können zunächst eine gewisse Anzahl von Qualitätsbewertungen ansammeln, bevor Ihnen die Priorisierung wieder entzogen wird, und sie allein anhand Ihrer Spezialgebiete und der QA-Ergebnisse in die Trefferlisten einsortiert werden.