Titre de la vidéo : How ETS Develops Test Questions

Personnes dans la vidéo

Barbara Wiener - Responsable du développement des tests

Jerry Bicknell - Développeur de tests

Willisa Roland - Examinatrice de l'équité et responsable du développement des tests

Bernadette Gur - Correctrice

Rochelle Michael - Statisticienne

Intro

[musique]

Barbara Wiener (Responsable du développement des tests) : La production d'un test demande plusieurs tâches. Ce n'est pas une seule personne qui crée le test. Ce sont plusieurs développeurs. Ce sont des gens formés sur l'équité. Ce sont des correcteurs qui regardent les questions, des statisticiens qui analysent le test. C'est vraiment un processus énorme du début à la fin et c'est ce qui en fait un bon test.

À l'écran :
Création du cadre
Formats des questions (« élément ») :  choix multiples, exercices à trous, rédaction, autres formats, évaluation des performances
Création du plan

Narrateur : Chaque étape du processus de création du test est un travail d'équipe. La première étape implique généralement un comité de clients, des experts en contenu et d'autres parties intéressées qui déterminent un cadre, un plan des objectifs visés par l'évaluation et les personnes et sujets devant être testés. Le cadre précise également les formats de questions ou éléments comme on les appelle souvent, et indique aussi si le test sera proposé sur papier, ordinateur ou les deux.
En se servant du cadre comme guide, on passe à l'étape suivante qui est la création d'un plan. Il s'agit d'une description détaillée de toutes les questions qui seront incluses dans le test. Il est possible de créer différentes formes ou versions du test à partir du même plan.

Barbara Wiener : C'est comme un puzzle. On a toutes ses petites pièces et toutes les formes doivent entrer les unes dans les autres ; chaque question de test a une petite place sur le plan et nous voulons pouvoir le refaire. C'est donc assez détaillé et descriptif.

À l'écran :
Rédaction des questions

Narrateur : Le plan guide les rédacteurs de questions, qui, pour la plupart, ont des années d'expérience dans l'enseignement du sujet testé.

Jerry Bicknell (Développeur de tests) : En général, je réfléchis à l'idée de base que je veux poser dans la question, nous appelons cela la racine de l'élément, et à la réponse correcte, évidemment. On doit avoir une réponse correcte et seulement une. La partie suivante consiste à créer des distracteurs, comme nous les appelons ; ce sont des réponses qui attirent pour la mauvaise raison la personne qui ne connaît pas le sujet.

À l'écran :
Question : If there are exactly 5 times as many children as there are adults at a show, which of the following could be the number of people at the show?
Réponse : (B) 72

Narrateur : Le but est d'obtenir des informations précises sur les connaissances et aptitudes des candidats.

Jerry Bicknell : Je pense qu'il y a beaucoup de gens et mêmes certains enseignants qui ont cette philosophie : "Je vais vraiment les avoir avec cette question. Je vais créer une question vraiment difficile à laquelle personne ne peut répondre", et ça ce n'est pas du tout notre objectif. Nous voulons rédiger une question qui nous donne des informations solides sur les candidats et sur ce qu'il sait.

À l'écran :
Révision du contenu

Narrateur : La question est ensuite révisée par d'autres développeurs de tests pour déterminer la précision de la réponse correcte et assurer qu'aucun des distracteurs ne pourraient s'avérer corrects avec une interprétation plausible de la question. Les réviseurs confirment également que l'élément correspond au plan du test. 

À l'écran :
Question : If there are exactly 5 times as many children as there are adults at a show, which of the following could be the number of people at the show?
Réponse : (B)* 72
*correct number must be a multiple of 6
a= number of adults
5a=number of children
6a=total number of people

À l'écran :
Revue de l'équité

Narrateur : Tous les développeurs de tests suivent une formation sur les directives d'équité d'ETS. En outre, les réviseurs spécialisés dans l'équité examinent soigneusement chaque question pour être sûrs qu'elle ne contient aucun préjugé.

Willisa Roland (Examinatrice de l'équité et responsable du développement des tests) : Si une personne possède une compétence particulière, nous voulons nous assurer que la question teste cette compétence particulière et rien d'autre. Il ne s'agit pas simplement de ne vexer personne. Si une question de test n'est pas équitable, elle n'est pas très utile à la personne qui y répond ni à la personne qui se sert du score pour prendre une décision. Il est donc très important que nous nous assurions que tout le monde a les mêmes chances de prouver ses connaissances et aptitudes réelles.

À l'écran :
Correction

Narrateur : L'étape suivante est la correction.

Bernadette Gur (Correctrice) : Il existe en fait des tomes de directives que nous devons appliquer à chaque élément. L'élément doit être le plus net et le plus clair possible. Nous recherchons la clarté. Nous recherchons la justesse rédactionnelle. Nous recherchons l'usage. Nous recherchons également divers composants qui sont particuliers au programme, ce qui signifie que certains programmes présentent des phrases et des nuances qui leur sont particulières et qui doivent leur être appliqués. Il y a donc de nombreux composants qui entrent en jeu dans la procédure de correction d'un élément. Ça a l'air très simple mais c'est en fait très compliqué.

À l'écran :
Question : Which of the following is most directly involved in controlling sugar?

À l'écran :
Révision par les parties intéressées

Narrateur : En plus de toutes les révisions réalisées par les experts d'ETS, les parties intéressées ont plusieurs occasions de réviser les questions avant qu'elles ne soient incluses dans un test.

Barbara Wiener : Dans un cycle de révision particulier, personne n'accepte un élément tant qu'il ou elle n'en est pas vraiment satisfait et c'est comme ça que nous avons plusieurs très bonnes révisions.

À l'écran :
Test pilote

Narrateur : Pour voir comment fonctionne la question avec des candidats réels, l'étape suivante est le test pilote suivi d'une revue statistique.

Rochelle Michael (Statisticienne) : Au cours d'un test pilote, on a des éléments de test administrés à de petits groupes de personnes pour voir comment les éléments fonctionnent en termes de propriétés psychométriques et statistiques, de difficulté, savoir à quel point il différencie les candidats très performants des candidats peu performants, et tout cela nous indique s'ils fonctionnent aussi bien avec différents groupes. Je peux regarder certaines composants et dire, "ça ne fonctionne pas comme nous le voudrions" et prendre quelques notes là-dessus et passer l'information aux développeurs de tests afin qu'ils puissent utiliser cette perspective sur les raisons pour lesquelles cet élément de test fonctionne ainsi.

À l'écran :
Prêt à l'emploi

Narrateur : Une question doit répondre à des normes rigoureuses et passer chaque étape de révision avant de pouvoir finalement apparaître sur un test ETS.

Barbara : Nous prenons chaque question sérieusement. Nous prenons chaque test sérieusement.

Bernadette : C'est vraiment notre mission : fournir d'excellentes évaluations aux candidats du monde entier.

Willisa : L'un des objectifs importants d'ETS est vraiment l'équité, c'est donner à tous la même chance.

Jerry : Ma principale motivation est toujours de créer le meilleur élément possible afin qu'il soit équitable pour tous les candidats.

Rochelle : C'est très satisfaisant de savoir que lorsqu'un candidat passe une évaluation sur laquelle j'ai travaillé, il bénéficie d'une bonne évaluation.

Barbara : Nous touchons la vie des gens et donc nous voulons être certains que nous faisons bien les choses.

Durée totale de la vidéo : 5:59