Article published In: Teaching and Practice of Distant Interpreting in the Pandemic Era
Guest-edited by Andrew K.F. Cheung
[InContext 2:2] 2022
► pp. 137–166
Putting SmartTerp to test
A tool for the challenges of remote interpreting
Available under the Creative Commons Attribution-NonCommercial (CC BY-NC) 4.0 license.
For any use beyond this license, please contact the publisher at rights@benjamins.nl.
Published online: 30 August 2022
https://doi.org/10.54754/incontext.v2i2.21
https://doi.org/10.54754/incontext.v2i2.21
Abstract
Remote simultaneous interpreting (RSI) and computer-assisted interpreting (CAI) tools powered by automatic speech recognition (ASR) and artificial intelligence (AI) are both technological developments in the interpreting profession propelled by the COVID-19 pandemic. Given the additional complexity of operating a user interface (UI) during simultaneous interpreting, we may consider UI design and overall system usability to be of crucial importance for successful RSI. However, to our knowledge, no previous article presented the evaluation of an RSI platform from the perspective of its usability and users’ requirements. In this article, we present a recent evaluation study of the RSI platform SmarTerp. Refl cting a general trend in the industry, SmarTerp is one of the first RSI systems to integrate an ASR/CAI tool. This paper presents the first evaluation study of a CAI-tool integrated RSI platform. The study drew on the usability engineering evaluation methods of expert appraisal and field trial. Eight high-level conference interpreters tested SmarTerp in a simulated RSI conference based on a real debate at the European Parliament. The interpreters were divided into four booths (DEU, FRA, ITA, SPA) and ENG was the relay language. After the test, they completed three tasks gathering feedback from the perspective of (1) the individual interpreter, (2) the booth, and (3) the group of professionals. After presenting the SmarTerp project, the paper defines the concept of ‘usability’ and details the study method. The discussion of the results sheds light on interpreters’ needs and requirements for RSI systems.
Resumen
La interpretación simultánea remota (ISR) y las herramientas de interpretación asistida por ordenador (IAO) basadas en el reconocimiento automático del habla (ASR, por sus siglas en inglés) y la inteligencia artificial (IA) son dos desarrollos tecnológicos en la profesión de la interpretación impulsados por la pandemia del COVID-19. Dada la complejidad adicional del manejo de una interfaz de usuario durante la interpretación simultánea, podemos considerar que el diseño de la interfaz de usuario y la usabilidad general del sistema son de importancia crucial para el éxito de la ISR. Sin embargo, hasta donde sabemos, ningún artículo anterior ha presentado la evaluación de una plataforma de ISR desde la perspectiva de su usabilidad y los requisitos de los usuarios. En este artículo, presentamos un reciente estudio de evaluación de la plataforma de ISR SmarTerp. En la estela de una tendencia general en la industria, SmarTerp es uno de los primeros sistemas de ISR que integra una herramienta de ASR/IAO. Este artículo presenta el primer estudio de evaluación de una plataforma de ISR integrada con una herramienta IAO. El estudio se ha basado en los métodos de evaluación de ingeniería de la usabilidad mediante una valoración experta y pruebas de campo. Ocho intérpretes de conferencia de alto nivel utilizaron la plataforma de ISR SmarTerp para interpretar una conferencia simulada basada en un debate real en el Parlamento Europeo. Los intérpretes se dividieron en cuatro cabinas (DEU, FRA, ITA, SPA) y el ENG fue el idioma en el que se daba relay. Tras la prueba, los intérpretes completaron tres tareas en las que se recogía información desde la perspectiva (1) del intérprete individual, (2) de la cabina y (3) del grupo de profesionales. Tras presentar el proyecto SmarTerp, el artículo define el concepto de “usabilidad” y detalla el método de estudio. La reflexión sobre los resultados arroja luz sobre las necesidades y requisitos de los intérpretes para los sistemas de ISR.
References (19)
Braun, Sabine. (2019). Technology and interpreting. In Minako O’Hagan (Ed.), The Routledge Handbook of Translation and Technology (pp. 271–288). Routledge.
Card, Stuart K., Thomas P. Moran and Allen Newell. (1986). The Psychology of Human-Computer Interaction. CRC Press.
Fantinuoli, Claudio. (2018a). Interpreting and technology: The upcoming technological turn. In Claudio Fantinuoli (Ed.), Interpreting and Technology (pp. 1–12). Language Science Press. [URL]
. (2018b). Computer-assisted interpreting: Challenges and future perspectives. Trends in E-tools and Resources for Translators and Interpreters, 153–174.
. (2017). Speech recognition in the interpreter workstation. Proceedings of the Translating and the Computer, 391, 25–34.
Farrell, Susan. (2017). Group Notetaking for User Research. Retrieved May 15, 2022 from [URL]
. (2016). Field Studies. Retrieved May 15, 2022 from [URL]
Frittella, Francesca M. (in press). Designing Interpreting Technology for Usability: A Case Study of SmartTerp. Language Science Press.
Gile, Daniel. (2009). Basic Concepts and Models for Interpreter and Translator Training (Revised ed.). John Benjamins.
ISO. (2020). Simultaneous Interpreting Delivery Platforms — Requirements and Recommendations (ISO/PAS Standard No. 24019:2020). [URL]
. (2018). Ergonomics of Human-System Interaction — Part 11: Usability: Definitions and Concepts (ISO Standard No. 9241-11).
. (2017). Simultaneous Interpreting — Quality and Transmission of Sound and Image Input — Requirements (ISO Standard No. 20108:2017). [URL]
Lewis, James R. (2012). Usability testing. In Gavriel Salvendy (Ed.), Handbook of Human Factors and Ergonomics (4th ed., pp. 1267–1312). John Wiley & Sons.
Moser-Mercer, Barbara. (2008). Skill acquisition in interpreting: A human performance perspective. The Interpreter and Translator Trainer, 2(1), 1–28.
Risku, Hanna. (2010). A cognitive scientific view on technical communication and translation: Do embodiment and situatedness really make a difference? Target. International Journal of Translation Studies, 22(1), 94–111.