Assessing voice vs. writing quality

Using a mixed-methods design, the study aimed to distinguish voice features from the criteria considered in most L2 writing rating scales (e. g., topic development, organization, and quality of language use). Accordingly, a sample of 200 argumentative essays written in English was scored for voice, writing quality, and the critical features of academic writing such as text length, lexical sophistication, and grammatical complexity (see Cumming et al., 2005Cumming, A., Kantor, R., Baba, K., Erdosy, U., Eouanzoui, K., & James, M. (2005). Differences in written discourse in independent and integrated prototype tasks for next generation TOEFL. Assessing Writing, 101, 5–43. ). Multiple regression and structural equation modeling (SEM) were conducted to verify which of and how the critical elements of academic writing interacted to determine the scores for voice and writing quality. Think-aloud protocols (TAPs) of raters scoring voice and writing quality were also compared. Voice was found an indication of genre competence, rated independently of language use and mostly based on the structure of arguments and the quality with which writers employed certain textual voice elements. In assessing writing quality, however, textual voice elements were dismissed, and the writing quality scores mainly reflected the quality of language use rather than the argument structure. The study provides implications for second language writing assessment and instruction, as well as for future research to be conducted.

Mediante un diseño de métodos mixtos, el estudio buscaba distinguir las características de la voz de los criterios considerados en la mayoría de las escalas de valoración de la escritura en L2 (por ejemplo: desarrollo del tema, organización y calidad del uso del lenguaje). En consecuencia, una muestra de 200 ensayos argumentativos escritos en inglés se puntuó en función de la voz, la calidad de la escritura y las características críticas de la escritura académica, como la longitud del texto, la sofisticación léxica y la complejidad gramatical (véase Cumming et al., 2005Cumming, A., Kantor, R., Baba, K., Erdosy, U., Eouanzoui, K., & James, M. (2005). Differences in written discourse in independent and integrated prototype tasks for next generation TOEFL. Assessing Writing, 101, 5–43. ). Se llevó a cabo una regresión múltiple y un modelo de ecuaciones estructurales (SEM por sus siglas en inglés) para verificar cuáles y cómo interactuaban los elementos críticos de la escritura académica para determinar las puntuaciones de la voz y la calidad de la escritura. También se compararon los protocolos de pensamiento-en-voz alta (TAP por sus siglas en inglés) de los evaluadores que puntuaban la voz y la calidad de la escritura. Se halló que la voz era un indicador de la competencia de género, que se valoraba independientemente del uso del lenguaje y que se basaba principalmente en la estructura de los argumentos y en la calidad con la que los escritores empleaban determinados elementos textuales de la voz. No obstante, al evaluar la calidad de la escritura, se descartaron los elementos de la voz textual, y las puntuaciones de la calidad de la escritura reflejaron principalmente la calidad del uso de la lengua más que la estructura de los argumentos. El estudio aporta implicaciones para la evaluación y la enseñanza de la escritura en segundas lenguas, así como para futuras investigaciones que se lleven a cabo.