Врут ли пользователи на тестировании?

Процессы и методики, Исследования

В новом номере Journal of usability studies опубликовано исследование, проведенное Биллом Альбертом (одним из спикеров на прошедшем в 2009 году Юзабилити-марафоне) и его коллегой Донной Тедеско. Работа посвящена проверке достоверности самоотчета пользователей о том, видели ли они некий элемент страницы. Ответы испытуемых проверялись на основании данных ай-трекинга.

На диаграмме видно, что в тех случаях, когда пользователи отвечали положительно на вопрос «Видели ли вы данный блок?», среднее число фиксаций взгляда на этом блоке, было значимо выше, чем когда они отвечали, что не видели блок.

Авторы делают основные практически выводы:

• В целом, самоотчету пользователей вполне можно доверять, то есть без всякого ай-трекинга можно ответить на вопрос, видят ли пользователи значимые блоки и элементы страницы.
• Исследователь может влиять на результаты исследования, изменяя процедуру: если мы хотим избежать недостоверных результатов, следует использовать пяти- или семибалльную шкалу, по которой пользователь указывает, сколько внимания он уделил объекту. Если мы хотим доказать, что пользователь видел или не видел некоторый блок, лучше использовать трехбалльную шкалу «Видел», «Не знаю», «Не видел», однако в этом случае повышается вероятность ложных тревог.
• Пользователи дают более достоверные ответы о навигационных и графических элементах, но менее точно оценивают, видели ли они функциональные элементы страниц.

Reliability of Self-Reported Awareness Measures Based on Eye Tracking

Поделиться: