Evaluación formativa (proceso) al usuario-alumno en la red!

juandon

«La Evaluación del l USUARIO-ALUMNO en su manera de trabajar on-line, intentando percibir sus características de accesibilidad y usabilidad, respecto a los mecanismos de la Red y de internet en especial, se puede realizar de muchas maneras y a modo de ejemplo… eso si, teniendo siempre presente que el primer RESPONSABLE es él)». juandon

 

Cuestiones a las que puede dar respuesta la evaluación formativa

• ¿Hay partes de la interfaz propensas a los errores?
• ¿Precisan algunas tareas más tiempo del esperado?
• ¿Encuentran los usuarios algunas tareas especialmente difíciles?
• ¿Viola la interfaz las guías comunes de la usabilidad?
• ¿Hay suficiente ayuda disponible?
• ¿Qué cambios les gustaría ver a los usuarios?
• ¿Qué quejas tienen los usuarios?
• ¿Qué errores cometen los usuarios?
• ¿Dónde es más probable que los usuarios se queden bloqueados
• ¿Necesitarán los usuarios algún tipo de asistencia que les guíe en el desarrollo de las tareas más complejas?

 

Beneficios de la evaluación formativa

• Debe realizarse en las etapas tempranas del proceso de diseño, cuando se han empleado aproximadamente un 10% de los recursos del proyecto disponibles.
• Proporciona las primeras medidas sólidas de la realización de tareas
• Facilita a los diseñadores ponerse en el lugar de las personas que hacen uso del sistema en el mundo real
• Ayuda a decidir a los diseñadores el paso a la siguiente fase del proceso
• Puede incrementar el interés del usuario y una aceptación eventual del producto final
• Puede descubrir problemas que no se advirtieron durante el prototipado iterativo

 

PASO 1.

DISEÑO DE LA EVALUACIÓN.

Establecimiento de metas

• Diagnóstico: determinar si existen problemas de usabilidad
• Verificación: determinar si el diseño se ajusta a las referencias establecidas y satisface los requerimientos de usabilidad especificados
• Validación: determinar si el diseño será usable en la práctica por los usuarios

Identificar las entradas y salidas deseadas

1. Posibles entradas (inputs) 

• prototipo de la interfaz
• lista de preguntas, si se plantea una entrevista estructurada
• lista de comprobación, si se va a realizar una evaluación heurística
• Referencias para los requerimientos de usabilidad
• Instrucciones y directrices para el test derivados de los escenarios de tareas

 

2. Posibles salidas (outputs) 

• Informes de test individuales
• Datos adicionales, agregados o tabulados, del conjunto de los informes de test
• Análisis de los problemas encontrados
• Lista de peticiones de cambios según prioridad

Elegir una estrategia de evaluación, que puede ser una o más de las siguientes:

1. Reunión y análisis estadístico de los datos de forma automatizada mediante software apropiado 
2. Revisión por personal especializado
3. Evaluación Heurística basada en guías de comprobación apropiadas
4. Encuesta de usuarios 

• Cuestionario de preferencias de usuario
• Entrevista estructurada
• Focus Groups

 

 

5. Test basado en Escenarios

• Entradas
  • Instrucciones orales o escritas para el participante, paso a paso, subtarea a subtarea
  • Instrucciones escritas para el evaluador, paso a paso, subtarea a subtarea
• Salidas
  • El participante tiene que completar tareas con una serie de parámetros como referencia o participa según un protocolo de expresión
  • Registro de los errores cometidos
  • Pistas proporcionadas por el Evaluador al Participante en cada subtarea
  • Datos temporales sobre la realización de las tareas
  • Comentarios del participante
  • Comentarios del Evaluador

Elegir un evaluador

• Para reducir la polarización, el evaluador no debería ser miembro del equipo de desarrollo
• Los evaluadores deberían ser personas receptivas y de mentalidad abierta, listos para recibir tanta información negativa como los participantes quieran proporcionar.

Elegir a participantes para el test

• Identificar a los participantes potenciales sobre un perfil de la población objetivo
• Dividir a los participantes en “clases de usabilidad” según factores como “posee experiencia con sistemas similares”, “posee experiencia con este sistema”,…

Si todavía no se ha llevado a cabo, desarrollar un análisis de tareas y, a partir de aquí, desarrollar un modelo de tareas jerárquico.

Si todavía no se ha llevado a cabo, construir un escenario de tareas representativo para cada tipo de tarea de usuario de alto nivel. Las tareas obvias no deben ser excluidas

Utilizar los escenarios de tareas representativos como una guía y establecer un conjunto de instrucciones y directrices

 

PASO 2.

DESARROLLO DE UN PROTOCOLO PARA LAS SESIONES DE TEST.

Decidir el modo en el que se seguirán instrucciones y directrices

1. El evaluador proporciona el total del conjunto de instrucciones al participante:

• No recomendado
• Puede crear una sensación de presión sobre el participante

 

2. El evaluador proporciona las instrucciones escritas para cada tarea a medida que el participante progresa:

• Recomendado
• Preferible para tareas más complejas

 

3. El evaluador proporciona las instrucciones orales para cada tarea a medida que el participante progresa:

• Recomendado
• preferible para tareas más simples

 

Determinar si la sesión será conducida en laboratorio o en campo

• El test en laboratorio es preferible para etapas tempranas-medias
• El test de campo es preferible para las últimas etapas

Determinar si el test se llevará a cabo en una etapa temprana o en una etapa final

• Protocolo en etapa temprana de aproximadamente una hora de duración
  • Establecer el entorno de Test
  • Establecer un ambiente de colaboración con el participante
  • Si no se ha realizado, proceder a la firma por el participante del formulario de consentimiento
  • Proporcionar instrucciones al participante y establecer el papel del coevaluador
  • Proceder y estimular la expresión por el participante de sus impresiones y acciones
  • Entrevistar al participante según una serie de preguntas predeterminada
  • Discutir y reisar los resultados con el participante

 

• Protocolo en etapa media de aproximadamente una hora de duración
  • Establecer el entorno de Test
  • Establecer un ambiente de colaboración con el participante
  • Si no se ha realizado, proceder a la firma por el participante del formulario de consentimiento
  • Proporcionar instrucciones al participante y establecer el papel del observador
  • Conducir dos o tres tareas según el procedimiento y efectuar el registro de datos
  • Mantener un timpo de conversación con el participante
  • Conducir, de nuevo, dos o tres tareas según el procedimiento y efectuar el registro de datos
  • Entrevistar al participante según una serie de preguntas predeterminada
  • Discutir y reisar los resultados con el participante

 

• NOTAS
  a. Se requiere una hoja de instrucciones por cuestiones de consistencia y reutilizabilidad
  • se indica que es el producto el que se somete a test, y no el participante
  • se explican la duración del test y el procedimiento básico
  • se explican los derechos del participante
  • se explica qué es lo que se está midiendo y el motivo

b. Se requiere una hoja de consentimiento por cuestiones legales y éticas

• • para el consentimiento explícito y por firmado del participante
  • para el compromiso explícito y por firmado del participante
  • para que el participante ceda ciertos derechos en el proceso de test

c. Se pueden requerir otros papeles, dependiendo de la situación 

• • encuestas
  • cuestionarios para antes y después del test
  • listas de comprobación para la evaluación heurística

Determinar si se enfatizarán los datos cuantitativos o cualitativos

Identificar las herramientas que se utilizarán durante el test

Diseñar los formularios que se utilizarán durante el test

• formularios para mostrar el consentimiento del participante
• hojas de instrucciones
• formularios para el registro

 

PASO 3.

EFECTUAR UN TEST PILOTO DE LOS PROTOCOLOS DE LA SESIÓN.

Seguir el protocolo para etapas tempranas descrito con anterioridad

Localizar los problemas descubiertos

• problemas en el protocolo
• problemas en las instrucciones y directrices
• problemas en los formularios

 

PASO 4.

CONDUCIR LAS SESIONES DE EVALUACIÓN REALES.

Empezar registrando la sesión con una videocámara, orientándola de modo que se capturen las manos del usuario interactuando con el sistema

Seguir el protocolo para la sesión

Observar al participante a medida que evoluciona en sus tareas

Registrar cualquier incidente crítico que tenga lugar y considerar proseguir, cuando ello ocurra, con una o dos preguntas abiertas

Tras los incidentes de carácter negativo

• ¿tiene algún problema?
• ¿está bloqueado?
• ¿necesita una pista?
• ¿es ese el resultado que buscaba?
• ¿resulta más difícil de lo que debería?
• ¿qué piensa llegando a este punto?
• ¿qué intenta hacer?
• ¿qué cree que ocurriría?

 

Tras los incidentes de carácter positivo

• ¿se siente ahora más confiado?
• ¿encontró alguna pista específica que le ayudara a resolver el problema?
• ¿qué le hizo pensar que funcionaría esta aproximación?

Tomar notas de forma cuidadosa en tiempo real, pues va a resultar más eficiente que haciéndolo de forma retrospectiva

Agradecer y gratificar al participante.

 

PASO 5.

INTERPRETAR LOS DATOS REUNIDOS.

Usar todos los datos reunidos para identificar los problemas de la interfaz.

• Tasas de fallos en tareas en particular
• Tiempos requeridos para determinadas tareas
• Referencias no alcanzadas
• Aspectos no verificados en las listas de comprobación para la usabilidad.

Caracterización de los problemas

De acuerdo con la causa (si se conoce) 

De acuerdo con la frecuencia de ocurrencia

De acuerdo con la severidad

• Crítico. Los problemas críticos son aquellos que hacen imposible la conclusión de la tarea por el participante..
• Serio. Un mejor diseño hubiera evitado que el participante tuviera que sufrir serios problemas debido a algún error.
• Menor. Los problemas menores son los que llevan al participante a momentos de distracción, confusión o desorientación. El producto podría distribuirse entre los clientes si fuera necesario

 

PASO 6.

PREPARAR UN INFORME

Proporcionar un resumen de los hallazgos, subtarea a subtarea, en una tabla bajo los siguientes encabezados:

• descripción de la tarea
• estado de realización de la tarea
  a. tarea abandonada en ___ ocasiones después de ___ segundos (medio) y ___ errores (medio)
  b. tarea completada con éxito en ___ ocasiones después de ___ segundos (medio) y tras ___ errores (medio)
  c. si hay sospecha de desviaciones estadísticas, se habrán de calcular media y desviación estándar

Efectuar un resumen en una tabla de los hallazgos relevantes si había requerimientos de usabilidad (para tareas y subtareas específicas), bajo los siguientes encabezados:

• descripción general de la tarea o subtarea
• referencia específica aplicada
• peor realización aceptable para la referencia dada (en número de errores o tiempos máximos)
• objetivos de realización planificados para la referencia dada (en número de errores o tiempos aceptables)
• mejor realización posible para la referencia dada (en número de errores o tiempos mínimos)
• realización observada para la referencia dada (en número de errores o tiempos reales)

Si se hizo uso de la evaluación heurística, hacer un listado de las áreas del sistema donde el diseño no cumpla con las guías a aplicar.

Efectuar un listado de los problemas expuestos durante el test en una tabla bajo los encabezados:

• descripción del problema
• severidad del problema
• frecuencia del problema
• posible remedio para el problema

Listar los cambios requeridos por la interfaz en orden de prioridad, considerando que hay que dar una prioridad alta:

• a los problemas más severos
• a los problemas más comunes
• a los problemas cuya localización resulta económica
• a los problemas que pueden ser localizados rápidamente

Cambios recomendados

Revisar las grabaciones en vídeo de las sesiones y prepara una colección de secuencias para apoyar la solicitud o recomendación de cambios y a partir de aquí retroactivar los elementos a mejorar o a cambiar, este tipo de evaluación nos servirá, sobretodo, para entornos virtuales y/o Intranet, utilizando mecaniamos sincrónicos, pero para determinar aspectos de asincronia.

 

….seguiremos

juandon