Effects of language background and directionality on raters’ assessments of spoken-language interpreting

Bilingual raters play an important role in assessing spoken-language interpreting (between X and Y languages). Presumably, raters with X being the dominant language (DL) and Y the less DL can potentially differ, in terms of rating processes, from other raters with Y being the DL and X the less DL, when assessing either X-to-Y or Y-to-X interpreting. As such, raters’ language background and its interaction with interpreting directionality may influence assessment outcomes. However, this complex interaction and its effects on assessment have not been investigated. We therefore conducted the current experiment to explore how raters’ language background and interpreting directionality would affect assessment of English-Chinese, two-way interpreting. Our analyses of the quantitative data indicate that, when assessing interpreting into raters’ mother tongue or DL, they displayed a greater level of self-confidence and self-consistency, but rated performance more harshly. Such statistically significant group-level disparities led to different assessment outcomes, as pass and fail rates varied, depending on the rater group. These quantitative findings, coupled with the raters’ qualitative comments, may have implications for selection and training of bilingual raters for interpreting assessment.

Los evaluadores bilingües juegan un papel importante en la evaluación de la interpretación en lengua hablada (entre las lenguas X e Y). Presumiblemente, los evaluadores en los que X es el idioma dominante (DL) e Y el menos DL pueden diferir potencialmente, en términos de procesos de calificación, de otros evaluadores en los que Y es el DL y X el menos DL, al evaluar X-to-Y o Interpretación de Y a X. Como tal, los antecedentes lingüísticos de los evaluadores y su interacción con la direccionalidad de la interpretación pueden influir en los resultados de la evaluación. Sin embargo, esta compleja interacción y sus efectos sobre la evaluación no han sido investigados. Por lo tanto, llevamos a cabo el experimento actual para explorar cómo los antecedentes lingüísticos de los evaluadores y la direccionalidad de la interpretación afectarían la evaluación de la interpretación bidireccional inglés-chino. Nuestros análisis de los datos cuantitativos indican que, al evaluar la interpretación a la lengua materna o DL de los evaluadores, mostraron un mayor nivel de confianza en sí mismos y autoconsistencia, pero calificaron el desempeño con mayor dureza. Tales disparidades estadísticamente significativas a nivel de grupo condujeron a diferentes resultados de evaluación, ya que las tasas de aprobación y reprobación variaron, según el grupo evaluador. Estos hallazgos cuantitativos, junto con los comentarios cualitativos de los evaluadores, pueden tener implicaciones para la selección y capacitación de evaluadores bilingües para interpretar la evaluación.