Breaking the Language Barrier

Evaluationsbericht des Fraunhofer-Instituts für Arbeitswirtschaft und Organisation

Fraunhofer IAO

ANWENDERTEST PERSONAL TRANSLATOR (PT)

1. PT Usability Test

1.1 Testdesign

1.2 Versuchsbedingungen

1.3 Probanden

1.4 Testablauf

2. Präaktionale Befragung

3. Zeitersparnis

4. Produktivitätssteigerung

5. Effektivität und Effizienz

5.1 Effektivität

5.1.1 Qualität der Texte

5.1.2 Übersetzungsqualität in Abhängigkeit vom Vorwissen

5.2 Effizienz

5.3 Effizienzwerte nach Gruppen

6. Subjektive Variablen

7. Postaktionale Befragung

8. Abschließende Bewertung




1. PT Usability Test

1.1 Testdesign

Die vier Versuchsgruppen setzten sich folgendermaßen zusammen:

  Übersetzen E-D Übersetzen D-E
  Gruppe 1 Gruppe 3
Sachtext
A/PT
A/W
B/W
B/PT
B/W
B/PT
A/PT
A/W
2
4
2
3
A/PT
A/W
B/W
B/PT
B/W
B/PT
A/PT
A/W
2
3
2
3
 
 
    n=11
    n=9

  Übersetzen E-D Erstellen
  Gruppe 2 Gruppe 4
Geschäftsbrief
A/PT
A/W
B/W
B/PT
B/W
B/PT
A/PT
A/W
3
3
2
2
 
A/PT
A/W
B/W
B/PT
B/W
B/PT
A/PT
A/W
3
3
2
2
 
 
    n=10
 
    n=10
 
    Gesamt: n=40
Legende:
PT: Nur mit Personal Translator
W: nur mit Print-Wörterbuch
A, B: unterschiedliche Texte/Instruktionen für eine Aufgabenart
Tabelle 1: Testdesign



Insgesamt wurden die folgenden vier Aufgabentypen gestellt:

1. Übersetzen eines englischen Sachtexts ins Deutsche (Gruppe 1)
2. Übersetzen eines englischen Geschäftsbriefs ins Deutsche (Gruppe 2)
3. Übersetzen eines deutschen Sachtexts ins Englische (Gruppe 3)
4. Erstellen eines englischen Geschäftsbriefs auf der Grundlage stichpunktartig dargestellter Szenarios (Gruppe 4)

Zu jedem Aufgabentyp wurden zwei verschiedene, gleich schwere und gleich umfangreiche Texte bzw. Instruktionen ausgewählt. Es handelte sich dabei um:

zu 1: A) und B) Abituraufgaben Grundkurs zur Übersetzung von englisch nach deutsch (etwa 200 Wörter).
zu 2: Englische Geschäftsbriefe Möbelhaus (A) und Softwarehersteller (B) an Kunden (etwa 200 Wörter).
zu 3: Übersetzung eines deutschen Sachtexts ins Englische. A) Text aus einer Wirtschaftszeitung B) deutsche Musterlösung aus dem Grundkursabitur zur Übersetzung ins Englische.
zu 4: Erstellen eines englischen Texts. A) Reklamation an eine englische Fluggesellschaft wegen beschädigten Gepäcks. B) Bewerbungsschreiben auf eine vorgelegte Stellenausschreibung.

Die ausgewählten Aufgaben waren bewusst relativ anspruchsvoll gewählt, so dass bei angenommener breiter Streuung der Englischkenntnisse auch eine hohe Varianz in den gemessenen Variablen zu erwarten war. Bei zu einfachen oder zu schweren Aufgaben war aufgrund von Decken- bzw. Bodeneffekten zu befürchten, dass eventuelle Effekte der Unterstützung des PT nicht nachgewiesen werden können.

Seitenanfang

1.2 Versuchsbedingungen


Die 40 Probanden wurden zufällig einer der vier Aufgabentypen zugewiesen. Durch Versuchspersonenausfall (von den ursprünglich 41 geplanten Probanden erschienen nur 40) ergaben sich folgende Gruppengrößen: Gruppe 1 ist die größte Gruppe mit 11 Probanden, Gruppe 2 und 4 verfügen über je 10 Probanden und Gruppe 3 umfasst 9 Probanden. Jede Testperson bearbeitete nur einen Aufgabentyp, dazu jedoch beide Texte bzw. Instruktionen (A und B). Ein Text wurde mit PT, der andere nur mit Hilfe eines Wörterbuchs bearbeitet. Sowohl die Reihenfolge der beiden unterschiedlichen Texte bzw. Instruktionen als auch die Art der Übersetzungshilfe (PT= mit Personal Translator, W= nur mit Wörterbuch) wurden systematisch permutiert, so dass jede mögliche Kombination von zwei Personen bearbeitet wurde.

Seitenanfang

1.3 Probanden


Die Probanden wurden zufällig aus der Versuchspersonendatenbank des MT Usability Engineering ausgewählt. Einzige Auswahlkriterien waren, dass sie grundlegende PC-Kenntnisse sowie Kenntnisse der englischen Sprache besaßen. Vier Probanden von der Uni Regensburg wurden von der Firma Linguatec gestellt. Insgesamt nahmen 16 weibliche und 24 männliche Probanden mit folgender Altersverteilung an der Untersuchung teil:

Alter Anzahl
18-20 Jahre 3
21-30 Jahre 20
31-40 Jahre 12
Über 40 Jahre 5
Abbildung 1: Geschlecht und Alter der Teilnehmer

Bei der Testdurchführung sollten die Probanden bereits mit dem PT umgehen können, um Verzerrungen (insbesondere der Bearbeitungszeit) durch Unerfahrenheit in der Bedienung zu vermeiden. Deshalb erhielten sie eine Woche vor dem Test den PT zu Übungszwecken. Um sicherzustellen, dass die Versuchspersonen tatsächlich mit dem PT arbeiteten, mussten fünf Übungsaufgaben zur Funktionsweise des Programms beantwortet werden. Die Lösungen wurden vor dem Anwendertest per e-Mail oder Fax eingereicht.

Seitenanfang

1.4 Testablauf


1.
Empfang und Begrüßung der Testpersonen, Einführung in den Usability Test.
2.
Präaktionale Befragung zu Vorerfahrungen.
3.
Einschätzung der subjektiven Bedeutsamkeit folgender vier Faktoren für die jeweilige Übersetzungsaufgabe: sprachliche Perfektion, geringer Zeitaufwand, geringe Anstrengung, Freude am Arbeiten.
4.
Aufgabenbearbeitung: Szenario A/B mit/ohne PT.
5.
Einschätzung der subjektiv wahrgenommenen Anstrengung, Zeitaufwand, Spaß.
6.
5 Minuten Pause.
7.
Aufgabenbearbeitung: Szenario A/B mit/ohne PT.
8.
Einschätzung der subjektiv wahrgenommenen Anstrengung, Zeitaufwand, Spaß.
9.
Postaktionale Befragung: Interview zur Akzeptanz, Erfragung von Verbesserungsvorschlägen.

Seitenanfang

2. Präaktionale Befragung

Vor Beginn der Bearbeitung beantworteten die Probanden die drei folgenden Fragen:

  1. Hatten Sie vorher schon Erfahrung mit anderen Übersetzungshilfen? Wenn ja, mit welchen? (Mehrere Antworten möglich)

    32,5% der Probanden hatten keine Erfahrung mit Übersetzungshilfen.
    66,5 % der Testpersonen hatten bereits mindestens eine andere Übersetzungshilfe kennen gelernt.
    29,6% der erfahrenen Probanden hatten bereits mehrere Übersetzungshilfen benutzt. Dabei handelte es sich meist um gebührenfreie Internet Services. Am bekanntesten ist Altavista, gefolgt von Leo, Babelfisch und Babylon. Lediglich eine Testperson hatte im Vorfeld mit einem käuflich erwerbbaren Übersetzungstool gearbeitet (Langenscheidt's T1).
  2. Wofür würden Sie eine Übersetzungshilfe benutzen? Bei dieser Frage waren mehrere Antworten möglich.
    Wie aus Tabelle 2 hervorgeht, benötigte die Mehrzahl der Probanden eine Übersetzungshilfe im geschäftlichen Umfeld.
     
    In Prozent
    Geschäftlich: Erstellung von Geschäftsbrief, Vortrag, Bericht, Bewerbung
    41 %
    Sachtext übersetzen: Zeitungsartikel, Internet-Webseite
    22 %
    Privater Briefverkehr
    18 %
    Lernhilfe: Hausaufgabe, Literaturübersetzen
    10 %
    Technische Texte übersetzen, z.B. Bedienungsanleitungen
    9 %
    Tabelle 2: Wofür würden Sie eine Übersetzungshilfe benutzen?
  3. Wie lange haben Sie sich im Vorfeld mit dem PT beschäftigt?
    Stunden
    In Prozent
    bis 30 Min
    10 %
    bis 1 Std.
    13 %
    bis 2 Std.
    32 %
    bis 3 Std.
    29 %
    bis 4 Std.
    8 %
    mehr als 4 Std.
    8 %
    Tabelle 3: Dauer der Übung mit dem PT

    Die Übungszeit der Probanden variierte in hohem Maße. Dennoch schien sich jede Testperson ausreichend mit der Software beschäftigt zu haben, da im Test nur sehr wenig Bedienprobleme auftraten.
  4. Seitenanfang

    3. Zeitersparnis


    Es wurde berechnet ob die Verwendung des PT zu einer Zeitersparnis bei der Bearbeitung führt.

    Zeitersparnis
    In den folgenden Tabellen sind die gemittelten Bearbeitungszeiten jeweils für die Bearbeitung mit PT und Wörterbuch sowie die daraus resultierende Zeitersparnis angegeben.

    Über alle Gruppen:

      MW Zeitaufwand
    Zeitersparnis
    Mit PT
    21,1 Min
    41,4 %
    Mit Wörterbuch
    35,45 Min
    Tabelle 4: Bearbeitungszeiten und Zeitersparnis über alle Gruppen



    Gruppe 1 (Übersetzen engl. Sachtexte):

      MW Zeitaufwand
    Zeitersparnis
    Mit PT
    26,91 Min
    26,37 %
    Mit Wörterbuch
    36,55 Min
    Tabelle 5: Bearbeitungszeiten und Zeitersparnis Gruppe 1



    Gruppe 2 (Übersetzen engl. Geschäftsbriefe)

      MW Zeitaufwand
    Zeitersparnis
    Mit PT
    12,50 Min
    65,47 %
    Mit Wörterbuch
    36,20 Min
    Tabelle 6: Bearbeitungszeiten und Zeitersparnis Gruppe 2

    Gruppe 3 (Übersetzen deut. Sachtexte)

      MW Zeitaufwand
    Zeitersparnis
    Mit PT
    13,78 Min
    61,17 %
    Mit Wörterbuch
    39,56 Min
    Tabelle 7: Bearbeitungszeiten und Zeitersparnis Gruppe 3

    Gruppe 4 (Erstellen engl. Geschäftsbriefe)

      MW Zeitaufwand
    Zeitersparnis
    Mit PT
    29,90 Min
    -0,34 %
    Mit Wörterbuch
    29,80 Min
    Tabelle 8: Bearbeitungszeiten und Zeitersparnis Gruppe 4

    Besonders bei den Gruppen 2 und 3 lässt sich eine überaus deutliche Zeitersparnis nachweisen: Die Probanden konnten über 60% schneller arbeiten, wenn sie den PT benutzten. Bei Gruppe vier jedoch führte die Verwendung des PT zu einer um 0.3% verlangsamten Arbeitsleistung. Dieses Ergebnis ist damit zu erklären, dass die Testpersonen es vorzogen, den Text erst auf Deutsch zu formulieren und ihn dann mit Hilfe des PT zu übersetzen. Dadurch brauchten Sie doppelt Zeit: zuerst für die deutsche Formulierung und dann noch für die Korrektur der PT-Übersetzung.

    Seitenanfang

    4. Produktivitätssteigerung

    Es wurde ermittelt, ob die Verwendung des PT eine gesteigerte Produktivität bewirkt. Die Produktivität wurde als Wortanzahl pro Bearbeitungsdauer gemessen, d.h. die in einem Text erzielte Wortzahl wurde durch die benötigte Bearbeitungszeit geteilt.

    In den folgenden Tabellen sind die gemittelten Produktivitätswerte jeweils für die Bearbeitung mit PT und mit Wörterbuch sowie die daraus resultierende Produktivitätssteigerung angegeben.

    Über alle Gruppen

      MW Produktivität
    Produktivitätssteigerung
    Mit PT
    14,10
    164,45 %
    Mit Wörterbuch
    5,30
    Tabelle 9: Mittelwerte der Wortzahlen pro Zeitdauer und Produktivitätssteigerung über alle Gruppen

    Gruppe 1 (Übersetzen engl. Sachtexte)

      MW Produktivität
    Produktivitätssteigerung
    Mit PT
    8,09
    64,97 %
    Mit Wörterbuch
    4,90
    Tabelle 10: Mittelwerte der Wortzahlen pro Zeitdauer und Produktivitätssteigerung Gruppe 1

    Gruppe 2 (Übersetzen engl. Geschäftsbriefe)

      MW Produktivität
    Produktivitätssteigerung
    Mit PT
    21,77
    275,78 %
    Mit Wörterbuch
    5,79
    Tabelle 11: Mittelwerte der Wortzahlen pro Zeitdauer und Produktivitätssteigerung Gruppe 2

    Gruppe 3 (Übersetzen deut. Sachtexte)

      MW Produktivität
    Produktivitätssteigerung
    Mit PT
    22,40
    373,97 %
    Mit Wörterbuch
    4,73
    Tabelle 12: Mittelwerte der Wortzahlen pro Zeitdauer und Produktivitätssteigerung Gruppe 3

    Gruppe 4 (Erstellen engl. Geschäftsbriefe)

      MW Produktivität
    Produktivitätssteigerung
    Mit PT
    5,76
    -3,34 %
    Mit Wörterbuch
    5,96
    Tabelle 13: Mittelwerte der Wortzahlen pro Zeitdauer und Produktivitätssteigerung Gruppe 4

    Die Produktivität stieg mit PT durchschnittlich um 164% an. Gruppe 2 und Gruppe 3 profitierten wiederum besonders von einer Verwendung des PT. Die Produktivitätssteigerung lag in diesen Gruppen bei rund 275% bzw. 374%, d.h. die Probanden erzeugten in derselben Zeit eine drei bis viermal höhere Wortanzahl als mit einem Wörterbuch. Bei Gruppe 4 wiederum wurde eine um rund 3% verminderte Produktivität nachgewiesen.

    Seitenanfang

    5. Effektivität und Effizienz


    5.1 Effektivität


    Mit Effektivität wird die Güte des Ergebnisses bezeichnet. In diesem Fall wurde untersucht, ob die Bearbeitung der Texte mit dem PT zu besseren Noten führt. Außerdem war in diesem Zusammenhang von Interesse, bei welchem Grad an Vorwissen der PT die größte Hilfe darstellt.

    5.1.1 Qualität der Texte


    Es wurde über alle Gruppen und Versuchspersonen berechnet, ob die Noten mit PT oder ohne PT besser ausfallen. Zur Berechnung wurden sowohl die Durchschnittsnoten aller Lehrer als auch die Noten der einzelnen Lehrer herangezogen. Nur bei dem zweiten Lehrer konnten mit dem PT bessere Noten erzielt werden. Bei allen anderen Lehrern und bei den Durchschnittsnoten, die aus den Urteilen aller Lehrer gebildet wurden, ist kein Unterschied in der Notengebung feststellbar.

    Gruppenstatistiken

     
    N
    Mittelwert
    Standard-
    abweichung
    MW Note
    Mit PT
    Mit Wörterbuch

    46
    40

    6,54
    5,33

    3,20
    4,26
    Note 1
    Mit PT
    Mit Wörterbuch

    46
    40

    3,20
    2,90

    3,40
    3,89
    Note 2
    Mit PT
    Mit Wörterbuch

    46
    40

    8,72
    6,29

    3,69
    4,99
    Note 3
    Mit PT
    Mit Wörterbuch

    46
    40

    5,22
    5,18

    3,96
    4,95
    Note 4
    Mit PT
    Mit Wörterbuch

    46
    40


    8,48
    6,48


    5,10
    5,76
    Tabelle14: Mittelwerte und Standardabweichungen. MWNote bezeichnet den mittleren Notendurchschnitt über alle Lehrer hinweg. Note 1-4 ist der Durchschnitt aller Noten, die der jeweilige Lehrer 1-4 vergab.

    T-Test bei unabhängigen Stichproben

    Levene-Test der Varianzgleichheit
    T-Test für die Mittelwertgleichheit
     
    F
    Signifikanz
    T
    Sig. (2-seitig)
    MW Note
    5,567
    0,021
    1,483
    0,142
    Note 1
    ,101
    0,752
    0,376
    0,708
    Note 2
    6,929
    0,10
    2,537
    0,013
    Note 3
    2,72
    0,103
    0,44
    0,965
    Note 4
    1,219
    0,273
    1,712
    0,091
    Tabelle 15: Ergebnisse des T-Tests

    Im zweiten Schritt wurde untersucht, ob es innerhalb der Gruppen Unterschiede in den Noten gibt. Hierzu wurde für jede Gruppe einzeln geprüft, ob die Noten mit PT besser ausfallen als ohne. Dahinter steht die Vermutung, dass der PT möglicherweise bei unterschiedlichen Aufgabenstellungen unterschiedlich viel Nutzen zeigt. Dieser Annahme liegen die Ergebnisse für Zeitersparnis und Produktivitätsgewinn zugrunde, die zeigen, dass die verschiedenen Gruppen unterschiedlich stark von der Nutzung des PT profitieren.

    Bei den Gruppen 2 (Übersetzung eines englischen Geschäftsbriefs) und 3 (Übersetzung eines deutschen Sachtexts) war ein signifikanter Mittelwertsunterschied festzustellen, welcher sich aber auf die Notengebung von Lehrer 2 beschränkte. Dies bedeutet, dass Lehrer 2 in den beiden Gruppen signifikant bessere Noten für die Textversionen vergab, die mit PT erstellt worden waren. Die Darstellung in den folgenden Tabellen beschränkt sich auf die signifikanten Ergebnisse. Es soll jedoch darauf hingewiesen werden, dass bei Gruppe 2 erst eine mittlere Notendifferenz von 5,40 für ein signifikantes Ergebnis ausreichte. Selbst mittlere Notenunterschiede von 3,70 oder 4,70 in den anderen Gruppen wurden aufgrund der hohen Streuungen nicht statistisch signifikant.

    Gruppenstatistiken (englischen Geschäftsbrief übersetzen)

     
    N
    Mittelwert
    Standard-
    abweichung
    Note 2
    Mit PT
    Mit Wörterbuch

    10
    10

    12,10
    6,70

    1,79
    6,72
    Tabelle16: Mittelwerte und Standardabweichungen Gruppe 2, Lehrer 2

    T-Test bei unabhängigen Stichproben (englischen Geschäftsbrief übersetzen)

    Levene-Test der Varianzgleichheit
    T-Test für die Mittelwertgleichheit
     
    F
    Signifikanz
    T
    Sig. (2-seitig)
    Note 2
    47,193
    0,000
    2,456
    0,033
    Tabelle 17: Ergebnisse des T-Tests, Gruppe 3, Lehrer 2

    Gruppenstatistiken (deutschen Sachtext übersetzen)

     
    N
    Mittelwert
    Standard-
    abweichung
    Note 2
    Mit PT
    Mit Wörterbuch

    9
    9

    8,89
    5,11

    2,57
    4,20
    Tabelle18: Mittelwerte und Standardabweichungen Gruppe 3, Lehrer 2

    T-Test bei unabhängigen Stichproben (deutschen Sachtext übersetzen)

    Levene-Test der Varianzgleichheit
    T-Test für die Mittelwertgleichheit
     
    F
    Signifikanz
    T
    Sig. (2-seitig)
    Note 2
    2,707
    0,119
    2,303
    0,038
    Tabelle 19: Ergebnisse des T-Tests, Gruppe 3, Lehrer 2

    Seitenanfang

    5.1.2 Übersetzungsqualität in Abhängigkeit vom Vorwissen

    Die folgenden Diagramme zeigen, welchen Einfluss die Verwendung des PT bei entsprechendem Vorwissen der Probanden hatte. Im unteren und mittleren Notenbereich, d.h. wenn die Versuchspersonen über schlechte bis mittelmäßige Englischkenntnisse verfügten, trug der PT zu einer Verbesserung der Note bei. Die Probanden erzielten demnach bessere Noten wenn sie mit PT arbeiteten. Bei guten bis sehr guten Englischkenntnissen der Probanden schien der PT eher kontraproduktiv zu wirken: die Probanden produzierten unter Zuhilfenahme des PT schlechtere Texte als mit Wörterbuch.

    In der folgenden Abbildung stellen die Punkte die jeweilige Veränderung in der Note dar, die ein Proband im Vergleich zu einer Bearbeitung mit einem Wörterbuch (Werte der x-Achse) erfuhr. Die Trendlinie zeigt, dass der Benefit des PT bei zunehmend besseren Noten geringer wird und schließlich sogar ins Negative fällt. Die Gerade erhält man durch Regressionsrechnung mit Hilfe der Methode der kleinsten Quadrate. Die Regression dient dazu, den Zusammenhang zwischen der Prädiktorvariable (Note ohne PT) und der Kriteriumsvariable (Verbesserung bzw. Verschlechterung der Note mit PT) darzustellen. Die Beziehung zwischen den beiden Variablen wird graphisch durch die Regressionsgerade repräsentiert, welche rechnerisch durch die Gleichung y= -0,517x + 4,437 beschrieben ist. Der Korrelationskoeffizient nach Pearson r zeigt die Enge des linearen Zusammenhang zwischen den beiden Variablen auf, das Bestimmtheitsmaß r2 ist das Quadrat des Korrelationskoeffizienten.

    Der Korrelationskoeffizient zeigt mit -,65 einen relativ engen negativen Zusammenhang zwischen den erzielten Leistungen mit Wörterbuch und der Verbesserung bzw. Verschlechterung mit PT.


    Abbildung 2: lineare Regression


    In der folgenden Abbildung wurde die Verbesserung bzw. Verschlechterung durch den PT für jede ganze Notenstufe ermittelt. Die Verbindungslinie zwischen den Notenstufen zeigt den Verlauf der Veränderung der Übersetzungsqualität mit zunehmenden sprachlichen Fähigkeiten der Testpersonen.

    Die Abbildung ist folgendermaßen zu interpretieren: bei einer Note von 0 Punkten ohne PT haben die Testpersonen eine durchschnittliche Verbesserung von über 5 Punkten mit PT. Hat eine Versuchsperson ohne PT jedoch 10 Punkte erreicht, so erreicht sie mit PT eine durchschnittliche Verschlechterung von -2, also nur 8 Punkte.


    Abbildung 3: Veränderung der Übersetzungsqualität für die ganzen Notenstufen

    Seitenanfang

    5.2 Effizienz

    Effizienz ist die Güte des Ergebnisses in Relation zum benötigten Aufwand. In dieser Untersuchung wurden für die Effizienz vier verschiedene Maße gebildet, um alle rechnerischen Möglichkeiten auszuschöpfen. Alle Variablen (Noten, subjektive Gewichtung vor dem Test, subjektive Bewertung nach der Aufgabenbearbeitung, objektive Zeit) wurden zu diesem Zweck normiert.

    Das erste Maß ist eine gewichtete Summe (abgekürzt mit GEWICHTE). In diese Summe geht die Gewichtung der Versuchspersonen ein, mit der sie die subjektive Bedeutsamkeit verschiedener Faktoren (Qualität, Schnelligkeit, Spaß, Einfachheit) einschätzten. Die Gewichtung wird dann mit dem im Test erhaltenen Wert für die jeweilige Variable (bzw. mit ihrem Komplement) multipliziert.

    Das zweite Effizienzmaß (EFFIZIEN) bezieht die subjektiven Gewichtungen nicht mit ein, sondern beschränkt sich lediglich auf die objektive Ergebnisqualität (Note) und den dazu im Verhältnis stehenden Aufwand (Anstrengung und subjektiver Zeitaufwand).

    Das dritte Effizienzmaß (EFFOBJZE) ist genauso aufgebaut wie der zweite Term, außer dass statt dem subjektiv eingeschätzten Zeitaufwand die objektive Bearbeitungsdauer herangezogen wird.

    Das vierte Effizienzmaß (EFFDAUER) ist die Note dividiert durch die objektive Bearbeitungsdauer.

    Für alle Maße wurde ein T-Test gerechnet, um festzustellen, ob die Bearbeitung mit oder ohne PT effizienter vonstatten geht.

    Gruppenstatistiken

    Übersetzungsweise
    N
    Mittelwert
    Standard-
    abweichung
    EFFDAUER
    Mit PT
    Mit Wörterbuch

    40
    40

    2,49
    0,94

    3,24
    0,76
    EFFOBJZE
    Mit PT
    Mit Wörterbuch

    40
    40

    3,93
    0,86

    8,14
    0,76
    GEWICHTE
    Mit PT
    Mit Wörterbuch

    40
    40

    5594,28
    3789,00

    1792,48
    1551,30
    EFFIZIEN
    Mit PT
    Mit Wörterbuch

    40
    40

    4,95
    0,74

    12,39
    0,64
    Tabelle10: Mittelwerte und Standardabweichungen

    T-Test bei unabhängigen Stichproben

    Levene-Test der Varianzgleichheit
    T-Test für die Mittelwertgleichheit
     
    F
    Signifikanz
    T
    Sig. (2-seitig)
    EFFDAUER
    22,186
    0,000
    2,949
    0,005
    EFFOBJZE
    13,137
    0,001
    2,376
    0,022
    GEWICHTE
    1,017
    0,316
    4,816
    0,000
    EFFIZIEN
    11,046
    0,001
    2,146
    0,038
    Tabelle 11: Ergebnisse des T-Tests

    Bei alle vier Indizes ist eine signifikanter Mittelwertsunterschied erkennbar. Die Effizienz wird also durch die Verwendung des PT signifikant gesteigert.

    Seitenanfang

    5.3 Effizienzwerte nach Gruppen

    Es wurde für jede Gruppe einzeln untersucht, wie sich die vier Effizienzwerte für die Bearbeitung mit oder ohne PT unterscheiden. In der Gruppe 1 (Übersetzung englischer Sachtexte) sind keine Mittelwertsunterschiede statistisch signifikant. Für Gruppe 2 (Übersetzung englischer Geschäftsbriefe) werden die Mittelwertsunterschiede signifikant, sowohl für gewichtete Summen als auch für EFFDAUER.

    Gruppenstatistiken

    Übersetzungsweise
    N
    Mittelwert
    Standard-
    abweichung
    EFFDAUER
    Mit PT
    Mit Wörterbuch

    10
    10

    4,99
    0,87

    4,38
    0,66
    EFFOBJZE
    Mit PT
    Mit Wörterbuch

    10
    10

    9,99
    0,74

    14,43
    0,54
    GEWICHTE
    Mit PT
    Mit Wörterbuch

    10
    10

    6768,88
    3557,75

    1926,27
    1530,62
    EFFIZIEN
    Mit PT
    Mit Wörterbuch

    10
    10

    13,77
    0,61

    22,78
    0,38
    Tabelle 12: Mittelwerte und Standardabweichungen, Gruppe 2

    T-Test bei unabhängigen Stichproben

    Levene-Test der Varianzgleichheit
    T-Test für die Mittelwertgleichheit
     
    F
    Signifikanz
    T
    Sig. (2-seitig)
    EFFDAUER
    16,688
    0,001
    2,948
    0,016
    EFFOBJZE
    11,419
    0,003
    2,026
    0,073
    GEWICHTE
    1,625
    0,219
    4,127
    0,001
    EFFIZIEN
    8,214
    0,010
    1,827
    0,101
    Tabelle 13: Ergebnisse der T-Tests, Gruppe 2

    In der Gruppe 3 (Übersetzung eines deutschen Sachtexts) sind die gewichteten Summen signifikant höher bei der Bearbeitung mit PT als bei der Bearbeitung mit Wörterbuch.

    Gruppenstatistiken

    Übersetzungsweise
    N
    Mittelwert
    Standard-
    abweichung
    EFFDAUER
    Mit PT
    Mit Wörterbuch

    9
    9

    2,65
    1,08

    3,65
    0,86
    EFFOBJZE
    Mit PT
    Mit Wörterbuch

    9
    9

    3,09
    0,91

    4,56
    0,66
    GEWICHTE
    Mit PT
    Mit Wörterbuch

    9
    9

    5956,67
    3396,53

    2058,26
    1821,08
    EFFIZIEN
    Mit PT
    Mit Wörterbuch

    9
    9

    2,94
    0,74

    4,88
    0,53
    Tabelle 14: Mittelwerte und Standardabweichungen, Gruppe 3

    T-Test bei unabhängigen Stichproben

    Levene-Test der Varianzgleichheit
    T-Test für die Mittelwertgleichheit
     
    F
    Signifikanz
    T
    Sig. (2-seitig)
    EFFDAUER
    3,592
    0,076
    1,259
    0,240
    EFFOBJZE
    10,050
    0,006
    1,417
    0,193
    GEWICHTE
    0,250
    0,624
    2,795
    0,013
    EFFIZIEN
    10,389
    0,005
    1,348
    0,214
    Tabelle 15: Ergebnisse der T-Tests, Gruppe 3

    Bei Gruppe 4 (Erstellen eines englischen Geschäftsbriefs) zeigen die Ergebnisse in dieselbe Richtung: die gewichteten Summen sind mit PT signifikant größer als ohne PT.

    Gruppenstatistiken

    Übersetzungsweise
    N
    Mittelwert
    Standard-
    abweichung
    EFFDAUER
    Mit PT
    Mit Wörterbuch

    10
    10

    0,79
    0,87

    0,51
    0,83
    EFFOBJZE
    Mit PT
    Mit Wörterbuch

    10
    10

    1,24
    0,80

    1,09
    0,76
    GEWICHTE
    Mit PT
    Mit Wörterbuch

    10
    10

    4958,25
    3866,38

    1003,19
    1275,32
    EFFIZIEN
    Mit PT
    Mit Wörterbuch

    10
    10

    1,51
    0,66

    1,65
    0,52
    Tabelle 16: Mittelwerte und Standardabweichungen, Gruppe 4

    T-Test bei unabhängigen Stichproben

    Levene-Test der Varianzgleichheit
    T-Test für die Mittelwertgleichheit
     
    F
    Signifikanz
    T
    Sig. (2-seitig)
    EFFDAUER
    3,592
    0,076
    1,259
    0,240
    EFFOBJZE
    10,050
    0,006
    1,417
    0,193
    GEWICHTE
    0,250
    0,624
    2,795
    0,013
    EFFIZIEN
    10,389
    0,005
    1,348
    0,214
    Tabelle 17: Ergebnisse der T-Tests, Gruppe 4

    Seitenanfang

    6. Subjektive Variablen

    Hier wurde mit Hilfe von T-Tests ermittelt, ob die Bearbeitung mit oder ohne PT anstrengender bzw. zeitaufwendiger war und welche Art der Bearbeitung mehr Spaß gemacht hat. Die Ergebnisse werden hier über alle Gruppen hinweg dargestellt.

    Gruppenstatistiken

    Übersetzungsweise
    N
    Mittelwert
    Standard-
    abweichung
    ANSTRENG
    Mit PT
    Mit Wörterbuch

    40
    40

    35,75
    62,43

    27,77
    24,22
    ZEITAUFW
    Mit PT
    Mit Wörterbuch

    40
    40

    33,08
    62,75

    25,82
    23,19
    FREUDE
    Mit PT
    Mit Wörterbuch

    40
    40

    52,73
    39,55

    28,76
    29,06
    Tabelle 18: Mittelwerte und Standardabweichungen, subjektive Variablen

    T-Test bei unabhängigen Stichproben

    Levene-Test der Varianzgleichheit
    T-Test für die Mittelwertgleichheit
     
    F
    Signifikanz
    T
    Sig. (2-seitig)
    ANSTRENG
    1,372
    0,245
    -4,579
    0,000
    ZEITAUFW
    0,290
    0,592
    -5,408
    0,000
    FREUDE
    0,381
    0,539
    2,038
    0,045
    Tabelle 19: Ergebnisse des T-Tests, subj. Variablen

    Alle drei subjektiven Variablen zeigen vorteilhafte Ergebnisse für den PT. Die Arbeit mit dem PT wurde als signifikant weniger anstrengend und zeitaufwendig gefunden. Außerdem machte es den Probanden mehr Spaß, mit dem PT zu arbeiten als mit dem Wörterbuch.

    Seitenanfang

    7. Postaktionale Befragung

    Am Ende der Aufgabenbearbeitung waren im Rahmen eines Interviews folgende Fragen zu beantworten:

    1.

    Sie haben die Aufgabe nun einmal mit/einmal ohne dem Personal Translator erarbeitet. Welche Art der Bearbeitung hat Ihnen besser gefallen? Warum?

    80% der Probanden bevorzugten die Bearbeitung mit PT, da sie ihrer Meinung nach schneller, einfacher und effektiver ist.
    20% der Probanden arbeiteten lieber mit einem Wörterbuch, da die Nachbearbeitung sehr viel Zeit kostet.

     

    2.

    Wie sind mit dem Personal Translator zurecht bekommen?

    87.5% der Probanden gaben an, dass sie ohne Schwierigkeiten zurecht gekommen seien.
    12.5% der Teilnehmer sagten aus, dass sie im Vorfeld des Tests Probleme mit der Installation hatten oder Schwierigkeiten hatten, das Manual zu verstehen.

     

    3. Wie zufrieden sind Sie mit der Übersetzungsqualität, die vom Personal Translator geliefert wird? Die Probanden wurden gebeten, Schulnoten für die Übersetzungsqualität zu vergeben. 

    Note
    Anzahl
    1
    2
    2
    19
    3
    7
    4
    6
    5
    6
    Tabelle 20: Schulnoten

    Es zeichnet sich eine überwiegend gute Bewertung der Übersetzungsqualität ab. 21 Probanden (52,5%) fanden die Übersetzungsqualität sehr gut bzw. gut.

    4.

    Gibt es etwas, was Ihnen bei der Arbeit mit dem Personal Translator besonders gefallen hat? (mehrere Antworten möglich)

    Besonderheit
    Anzahl
    Einfache Bedienung, einfache Übersicht und Funktionalität
    20
    Wörterbuch und verschiedene Sachgebiete
    12
    Schnelligkeit
    11
    Integration mit Word und mit Internet
    6
    Sprachausgabe
    3
    Nichts besonders Positives aufgefallen
    4
    Tabelle 21: Besonders positiv empfundene Aspekte

    Drei Punkte wurden von den Benutzern besonders positiv hervorgehoben. Die Bedienung des PT ist überwiegend einfach, mit einem Button kann man mühelos den ganzen Text übersetzen. Das Wörterbuch wurde ebenfalls als sehr nützlich empfunden, da es zusätzliche Funktionalitäten bietet, die über die bloße Übersetzung hinausgehen (automatische Erkennung der Grundform, Angaben zur Syntax, Idiomatik, Übersetzungsbedingungen und Verwendung). Die Schnelligkeit des PT wurde ebenfalls von vielen Teilnehmern lobend erwähnt.

     

    5.

    Gibt es etwas, was Ihnen gar nicht gefallen hat? (Mehrere Antworten möglich)

    Besonderheit
    Anzahl
    Nichts besonders Negatives aufgefallen
    20
    Integration: PT mit Word, PT mit BE, PT mit Internet
    6
    komplizierte Menüführung, komplexe Oberfläche, schlechte Hilfsfunktion
    3
    schwere Installation
    3
    Instabilität
    3
    grobe Unterteilung der Sachgebiete
    2
    Bedienung anfangs schwierig
    1
    Sonstiges: Zeitüberschreitung, zu ausführliches Handbuch
    2
    Tabelle 22: Besonders negativ empfundene Aspekte

    Die Hälfte der Teilnehmer hatte nichts zu bemängeln. Als verbesserungsbedürftig wurden vor allem die Integration des PT mit Word, Business English und dem Internet empfunden. Ein paar Teilnehmer merkten an, dass das Interface und die Menüführung zu kompliziert seien und die Hilfe nicht ausreiche. Folgende Bedienprobleme traten in diesem Zusammenhang auf: Der Begriff "Übersetzungsweise" wurde von vielen Testpersonen anfangs nicht mit Sachgebieten in Verbindung gebracht; es kam zu Verwirrung angesichts vieler unbekannter Zeichen in der Symbolleiste; die Option "unbekannte Wörter suchen" blieb für die Nutzer unklar; einige Benutzer hatten in der Einarbeitungsphase Probleme mit dem Einstellen der Übersetzungsrichtung.

    6.

    Haben Sie Vorschläge, Wünsche, Anregungen, wie man den Personal Transaltor verbessern könnte?

     
    Anzahl
    Bessere Integration von PT mit Word bzw. Web-Browser und bessere Integration von PT mit BE; einheitliche Oberfläche von PT & BE, Wörter direkt im Web-Browser übersetzen
    11
    Unbekannte Wörter sofort anzeigen z.B. durch Markierung im Text, Live-Update des Wörterbuches via Internet, Umgangssprachewörterbuch, einfacheres Eintragen unbekannter Wörter in das Wörterbuch
    11
    Bessere (bzw. einfache) Menüführung und wenig komplexere Oberfläche
    6
    Automatische Erkennung der Übersetzungsrichtung
    3
    Anzeigen von Übersetzungsvorschlägen
    2
    Automatische Erkennung von Sachgebieten
    2
    Bessere Hilfefunktion
    2
    Rechtschreibkontrolle im Quelltext
    1
    Sonstiges: Mehr Sachgebiete, dasselbe Programm für Macintosh, verschiedene Stufen zu übersetzen, keine Zeitbegrenzung, besseres Manual
    6
    Tabelle 23: Verbesserungsvorschläge

    Die meisten Benutzerwünsche bezogen sich auf die Integration des Personal Translator mit anderen Komponenten (Webbrowser, Word, Business English) bzw. auf das Wörterbuch und den Umgang mit unbekannten Wörtern.

    Des Weiteren wurden ein automatisches Update aus dem Internet gewünscht sowie ein leichteres Eintragen neuer Wörter in das Wörterbuch. Das Interface sollte nach Meinung einiger Benutzer auf wenige essentielle Funktionen reduziert werden. Die Vielzahl an unbekannten Icons wirke verwirrend, zumal nur sehr wenige Funktionen tatsächlich benutzt werden. Außerdem wurde eine Rechtschreibkontrolle im Quelltext vorgeschlagen. Da Fehler im Quelltext automatisch zu Übersetzungsfehlern im Zieltext führen, wäre die Rechtschreibkontrolle ein sinnvoller Schritt zu weniger Übersetzungsfehlern und zu noch mehr Zeitersparnis bei der automatisierten Übersetzung.

    Seitenanfang

    8. Abschließende Bewertung

    Durch seine hohe Aufgabenangemessenheit und die beachtenswerte Schnelligkeit konnte der Personal Translator im Usability Test einen positiven Eindruck vermitteln. Vor allem die Effizienz konnte mit dem Personal Translator deutlich gesteigert werden. Auch die subjektiven Bewertungen der Probanden zeigen ein überwiegend positives Bild. Die Arbeit mit dem Personal Translator wurde als weniger anstrengend und zeitaufwendig empfunden und machte mehr Spaß als das Übersetzen oder Texte erstellen mit einem normalen Wörterbuch. Vor allem für Kunden mit mäßigen Englischkenntnissen stellt der Personal Translator eine sehr sinnvolle Unterstützung dar, die nicht nur zu erhöhter Produktivität und geringerem Zeitaufwand verhilft sondern auch zu besseren Qualitätsbewertungen führt.

    Das Auffinden der wichtigsten Befehle auf der Symbolleiste könnte durch eine auffälligere Platzierung und den Verzicht auf einige Funktionen vereinfacht werden. Bei der Funktionalität sind ebenfalls noch Ergänzungen oder Veränderungen vorstellbar (vgl. hierzu auch Vorschläge der Probanden, Tabelle 23), die die Bedienung noch weiter vereinfachen könnten.

    Es wird in Zukunft verstärkt darum gehen, solche Nutzergruppen anzusprechen, die bislang vom Personal Translator in geringerem Maße profitieren. Personen mit guten bis sehr guten Englischkenntnissen nutzen verstärkt andere Funktionen des Personal Translator und weniger die reine Übersetzungsfunktion. Eine automatische Übersetzung kann für diese Probanden niemals so gut sein wie ihre eigene und selbst mit Nachkorrektur erzielen sie schlechtere Ergebnisse als mit einer selbständigen Übersetzung (vergleiche Ergebnisdarstellung 5.1.2). Probanden mit guten Vorkenntnissen brauchen eher das Wörterbuch für gezieltes Nachschlagen sowie die Idiomatikfunktion für bestimmte Wendungen und Ausdrücke, die man mit Vokabeln allein schwer erschließen kann. In einer so hoch idiomatischen Sprache wie dem Englischen stellt die Idiomatikfunktion ein unerlässliches Feature für Kunden dar, die nicht nur einen korrekten, sondern auch einen sprachlich geschliffenen Text erstellen möchten. Werden Funktionalität und Usability dieser beiden Funktionen weiter optimiert, können auch Nutzer mit hohem Ausgangsniveau in der englischen Sprache noch Effektivitäts- und Effizienzsteigerungen erreichen.

    Seitenanfang


SmartFind

Bar

Contact | Imprint | General Terms and Conditions
Copyright © 2016 Linguatec. All rights reserved.