Aspectos a tener en cuenta en una Evaluación

juandon

Las evaluaciones son costosas. Incluso el más simple toma un tiempo precioso de otras actividades. Además del cuestionario muy familiar que solemos pasar por alto al final de algún taller o una presentación, una gran cantidad de reflexión de fondo para entrar en la construcción de una evaluación que vale la pena. Luego está el tiempo de enseñanza que tiene que ser sacrificada a hacer que los estudiantes para completar los cuestionarios.

Y el tiempo libre que tiene que dedicarse a la interpretación de los resultados y escribirlos en una forma que otros puedan entender. Entonces ¿por qué evaluar? Bueno, a veces te verás obligado a porque la financiación o apoyo futuro depende de ello. Pero más a menudo que usted evaluar para aprender. S

i hay que no hay medidas adoptadas como resultado de la evaluación ya menos que lo que desea es material para un artículo, el esfuerzo no vale la pena perseguir.

¿Quién gana?
El punto de partida para cualquier evaluación es identificar los grupos de interés. En algunos casos, el juego se cierne sobre su proyecto y que está buscando pruebas de dificultar su casa en automóvil. Pero por lo general la evaluación se lleva a cabo para traer algún beneficio a uno de los grupos de interesados.

Vamos a empezar con los estudiantes, ya que a menudo son una ocurrencia tardía. ¿Cuáles son las preocupaciones del grupo que está apuntando? Hay algunas áreas obvio que los intereses, obtengan una mejor educación, a través de cuestiones de accesibilidad, a la aprobación del examen que viene. Al igual que con todas las partes interesadas, no sumergirse en la construcción de la evaluación sin antes conversar con ellos y explorar sus preocupaciones en torno a la intervención educativa en la que estamos enfocando. A continuación, la evaluación resultante se centrará en descubrir cómo la intervención puede ser mejorada para satisfacer los objetivos reales de la audiencia objetivo en lugar de lo que decidieron que debería ser.

Evaluación para los desarrolladores es más sencilla. Dado que el contenido es apropiado, el promotor está interesado en lo fácil o difícil que el usuario que se encuentran para acceder al material. ¿Hubo algún error? Fue la navegación instintiva? Era el texto en una fuente adecuada y se presentó en el volumen adecuado?Fue la respuesta proporcionada en el lugar correcto y lo hizo satisfacer al usuario? Y así sucesivamente.

Profesores quieren saber sobre el aprendizaje de las ganancias y la eficiencia. ¿Fue esta una mejor forma de presentar el material de la guía de aprendizaje o una conferencia de la? ¿Se liberará tiempo para un contacto más eficaz con el estudiante o para llevar a cabo la investigación? ¿Hay novedades como los folletos que deben tenerse en cuenta para mejorar la eficacia de la intervención?

Gestión de pruebas necesidad de que el tiempo empleado en el desarrollo ha dado lugar a una mayor eficiencia, manteniendo al menos la misma calidad. ¿El producto justificar los costos? Haga que los estudiantes han aprobado el cambio y el curso de seguir atrayendo personal? Haga que los resultados del examen se mantuvo aceptable? ¿Va a ayudar con el TQA? Puede menos recursos se destinará al curso que antes?

Por lo general hay otras partes interesadas que tienen un interés más amplio de los resultados de las evaluaciones, especialmente de aprendizaje asistido por ordenador. Los consejos de financiación, por ejemplo, considerar si el dinero es bien invertido en esta área, y aunque una evaluación externa de gran tamaño por lo general se llevará a cabo para proporcionar la respuesta, la suma de los piensos pequeñas evaluaciones locales en la decisión.

¿Va a valer la pena?
Por lo tanto, antes de embarcarse en una evaluación, pregúntate a ti mismo “¿por qué molestarse?”. ¿Quién es éste, qué es lo que quieren saber, y qué cambios se harán cuando los resultados se recogen? Si la respuesta a la pregunta “¿por qué evaluar?” es que los resultados conduzca a la acción para mejorar la enseñanza y el aprendizaje dentro del curso o la institución, a continuación, todo el esfuerzo valdrá la pena.

Los estudios de evaluación son fundamentalmente de hacer preguntas, y luego diseñar la manera de tratar de encontrar respuestas útiles.

Los estudios pueden preocupación materiales, proyectos, cursos, métodos, paquetes o sistemas, de hecho, cualquier cosa que se puede preguntar acerca de una forma detallada y estructurada.

En la evaluación formativa, la información puede ser transferida nuevamente a la obra original el fin de reforzar y seguir hacia adelante. Es un proceso continuo, fluido, que se utiliza para medir el progreso en general y las áreas que necesitan un poco de atención o de cambio, ayudando a moldear el artículo final. En la evaluación sumativa, la información se pretende dar una visión de conjunto al final de una etapa, a menudo se mide con los criterios fijados. la evaluación sumativa proporciona un punto fijo de referencia, y puede proporcionar una medida de éxito o fracaso frente a los objetivos originales y los resultados previstos o que pueden incluir reacciones de los participantes a una investigación sin objetivo.

Es muy importante tomar el tiempo al principio para determinar cuáles son las “correctas” las preguntas. Preguntas inapropiadas o poco realistas llevará a los datos inutilizables o irrelevante, algo así como la creación de un sistema para realizar un cálculo complejo sólo para descubrir que se le dio la fórmula correcta para empezar.Pero también puede ponerse de manifiesto en un estudio que algunas preguntas son inútiles y deben ser cambiados, y otros añadidos, por lo que construir en la suficiente flexibilidad y apertura.

Piense en el marco del estudio propuesto, y cómo esto encaja con el trabajo que se pretende evaluar. Los títulos siguientes se ofrecen como un punto de partida, e incluyen sugerencias para ayudar a determinar qué aspectos son más importantes en su estudio particular. Puede que los elementos se dan en ningún orden especial, pero tienen la intención de provocar el pensamiento.

¿Qué va a hacer su evaluación?
Cuando planee una comida ya sabes si quieres un suntuoso banquete o un bocadillo para comer frente al televisor. También consideran a sus invitados y sus gustos, así como el presupuesto y tiempo disponible. Del mismo modo, cuando usted planea una evaluación debe tener en cuenta los propósitos, los intereses de los afectados y las limitaciones prácticas.

¿Es usted:
poner un producto de software de prueba frente a los posibles usuarios?
hacer un estudio preliminar para determinar la necesidad de un servicio o producto en particular?
llevar a cabo una encuesta de la información para un tercero?
probando un sistema final en sus circunstancias cotidianas reales?

¿Está buscando el desarrollo de una evaluación integral, multi-etapa, que requieren varios estudios más pequeños autónomos? ¿Hay una necesidad de varios de estos estudios en las diferentes etapas en el desarrollo o que uno solo no?

¿Quién es la evaluación?
Probablemente habrá varias partes interesadas, por ejemplo
aquellos con una inversión directa (los interesados);
los que pueden llevar a cabo un trabajo similar en el futuro;
los que es posible que desee educar a través de su trabajo.

En un nuevo curso, las principales partes interesadas pueden tener diferentes preocupaciones.
Los estudiantes pueden estar más interesados en una evaluación formativa que puede resolver cualquier problema antes de que termine su curso;
Un profesor de probar una nueva pieza de software que desee evaluar su potencial de transferencia a otros cursos;
Los altos directivos pueden estar interesados en las comparaciones entre los diferentes cursos en función de las tasas de terminación y la satisfacción del cliente;
Los empleadores pueden estar interesados en los conocimientos demostrables de los que tomaron el curso.

Puede que no sea capaz de satisfacer todas las necesidades pero se puede tratar de explicar lo que se ve como el principal objetivo de la evaluación.

Recuerde también que usted está haciendo la inversión en la realización del estudio. ¿Qué tipo de información es más importante para usted para alcanzar sus metas y objetivos? ¿Qué información le ayudará a convencer a los grupos clave del valor de su trabajo? ¿Qué áreas de su trabajo le gustaría examinar más de cerca?

Realización de un estudio de evaluación es una buena oportunidad para poder dar un paso atrás de la labor que está haciendo y la evaluación de la misma. Crítico puede haber preguntas específicas tales como “¿Son mis estudiantes que tienen dificultades con el diseño nuevo módulo?”, “¿Estamos siendo rentable?” o “¿Hay diferencias específicas en el sistema que no ha notado?” un estudio bien diseñado puede dibujar todos estos problemas juntos para proporcionar una visión de conjunto.

¿Se puede tratar con los aspectos prácticos?
¿Cuál es el tamaño y la escala de su evaluación en términos de número de personas implicadas y los plazos correspondientes? Si usted tiene un gran número de estudiantes es posible que desee probar su rendimiento y puntos de vista. Si está evaluando en varios contextos diferentes es posible que desee elegir diferentes ambientes. Es posible que necesite una respuesta rápida para que pueda tomar una decisión la próxima semana o si lo desea, puede analizar los efectos a largo plazo a través del tiempo.

Usted tendrá que considerar que llevarán a cabo la evaluación. Un evaluador interno será entender los matices del contexto, sino una persona ajena puede ser más objetivo. ¿Se puede obtener ayuda? Por ejemplo, usted puede contratar a un asistente de investigación durante unas horas para hacer algunas entrevistas y un análisis computarizado de los resultados. Estimar el tiempo necesario para cada etapa – la planificación, el diseño de instrumentos, la recolección de datos, análisis de la información, la toma de decisiones y comunicación de los resultados. Asegúrese de elegir el mejor momento para llevar a cabo la evaluación – cuando un número suficiente que ha sucedido, pero no cuando los encuestados están ocupados con los exámenes. También considere el tiempo de su estudio. ¿Tiene que caber en un programa externo? Por ejemplo, si usted está trabajando con un equipo de desarrollo, ¿cuál es su calendario de publicación? Si está trabajando con los estudiantes, cuando es el curso de su destino? Es el calendario de lanzamientos compatible con el horario del curso y de que sea negociable? Coordinar el enfoque del estudio con el estado de la obra en el momento en que es en realidad va a ser evaluado, más que como existe durante el período de diseño del estudio.

También tenga en cuenta los costos involucrados, por ejemplo, papel e impresión, correo y teléfono, viajes, y programas informáticos, así como el tiempo del personal.

¿Qué métodos son los mejores?
La manera en que se presenta puede ser crucial para la seriedad con las principales partes interesadas perciben el estudio. Los diferentes tipos de información convencer a diferentes personas. Del mismo modo, la forma en que se reúne la información limita las formas en que puede ser utilizado. Las mediciones cuantitativas y datos de disco duro puede ser más útil en la demostración de los logros concretos a los donantes y la alta dirección, pero retroalimentación cualitativa es generalmente mucho más útil para establecer las mejoras necesarias para los usuarios de un sistema, o para beneficiar a los estudiantes en un curso.

los niveles de recursos que restringen la cantidad de información que puede resultar más útil recopilar y procesar, pero el método más sensible será dictado por la fuerza impulsora para el estudio, la rendición de cuentas, y si se pretende ser un estudio formativa o sumativa. La información que usted elija para reunir en última instancia, afectan a las herramientas y técnicas que se adopten, con consecuencias para los recursos que necesita para completar el estudio con éxito.

Una parte clave de la planificación es elegir las fuentes adecuadas de información (por ejemplo, estudiantes, personal, documentos) y los métodos de recopilación de pruebas. Gran parte de este libro está diseñado para ayudarle a seleccionar métodos adecuados. Los propósitos de la evaluación y las características prácticas tendrán algún impacto en su metodología. Usar una variedad de métodos para que los resultados de una sola fuente puede justificar otros. O los resultados de un método puede ayudar en el diseño de otro, por ejemplo, temas de una discusión en grupo puede llevar a algunas de las preguntas en una encuesta, los comentarios de la encuesta podría identificar los temas a ser explorados en las entrevistas.

Es importante recoger la mayor cantidad de información apropiada, pero que no exceda de la base de recursos disponibles. La información recabada deberá ser refinado a partir de un estudio a otro. Parte del material será demostrado ser menos útil de lo previsto, mientras que otras áreas lanzará las lagunas que se beneficiarían de un examen más detenido. Métodos de evaluación también puede ser cambiado o adaptado para encajar con los aspectos prácticos de la situación. En cada estudio se desarrolla el proceso de definir el próximo estudio se hará progresivamente más fácil.

¿Qué impacto tendrá?
La evaluación puede ser un tema delicado y debe ser manejado cuidadosamente. Si preguntas similares acerca de una innovación de los estudiantes, profesores y técnicos, puede obtener puntos de vista contradictorios, por lo que tendrá que decidir cómo hacer frente a la situación. No haga preguntas que aumentan las esperanzas poco realistas. ¿Cómo va a apoyar un profesor que recibe una gran cantidad de comentarios negativos de los estudiantes? Algunos aspectos pueden necesitar ser confidencial y anónimo. ¿Cómo va a vigilar y hacer frente a resultados no deseados? Muchas situaciones potencialmente difíciles se pueden evitar si usted explicar el propósito de la evaluación por adelantado y si comparte los resultados con todos los involucrados.

El estudio es su oportunidad de tomar contacto con aquellas personas que puedan proporcionar la mejor información sobre el área de trabajo está siendo evaluado.¿Quiénes son las personas que se verán más afectados por su trabajo? ¿Quién va a usar lo que están creando? ¿Cuáles son sus necesidades? ¿Cómo cree que podría ser capaz de ayudarle? ¿Se puede utilizar el estudio para hacer contacto con grupos externos, proporcionando un propósito común? ¿Qué información le falta que tiene que ser obtenida de otras fuentes? Naturalmente, no quiere alienar a cualquiera de estos grupos, por lo que pensaba acerca de cómo acercarse a ellos hacer su evaluación funcione mejor.

¿Cuáles son sus resultados?
¿De qué manera los resultados del estudio se distribuye ya quién? ¿De qué manera los resultados se aplicarán en su trabajo? Se respuestas se alimenta directamente de nuevo en curso, producto o sistema, o que un informe oficial de algún tipo se requiere? En caso de publicar los resultados? ¿Usted tal vez necesitan varias formas de presentación en función del grupo de personas que necesitan los resultados?

Al considerar cada una de las preguntas anteriores, una estructura o marco para el estudio debe evolucionar. Esto puede demostrar que una serie de estudios sería más valioso. Estos pueden dividirse en fases de evaluación de cada edificio en la información generada por la fase previa, o puede diseñar una serie de estudios más pequeños, cada uno dedicado a un aspecto diferente del conocimiento. Usted debe mantener el diseño del estudio flexible para permitir adaptaciones ya que los resultados se obtienen o como cambian los requisitos. El proceso de evaluación es iterativo, y cada estudio debe basarse en las necesidades actuales y resultados anteriores. Trabajando dentro de plazos estrictos y las limitaciones de recursos hace que sea cada vez más importante para conseguir la pregunta inicial adecuado en cada momento.

 

Como en cualquier proceso, uno de los pasos más importantes en la realización de una evaluación exitosa es la elección de la forma correcta de ir haciendo él. Si el diseño del estudio se adapta bien a las preguntas que se considera, todo el proceso se hará mucho más fácil.

La manera más segura de obtener el diseño adecuado es a través de la experiencia. Si ya ha llevado a cabo las evaluaciones, tanto mejor – usted ya estará enterado de muchos de los problemas y cuestiones que afectan al trabajo, y estarán familiarizados con algunos de los enfoques que se pueden utilizar para contrarrestar estos.Sin embargo, si usted tiene o no esta experiencia, no habrá otras personas que lo hacen. Siempre vale la pena hablar con otros evaluadores en la preparación de un estudio, ya que su punto de vista ayudará a identificar las posibles dificultades en sus planes. conocimiento adicional puede ser obtenida a través de la lectura sobre los estudios de otros pueblos y enfoques. Las páginas de recetas en este libro ofrecen un punto de valor incalculable de partida para este proceso.

Sin embargo, es posible tomar decisiones sensibles sin necesidad de convertirse en un experto en el tema primero. Hay una serie de preguntas que pueden ayudar a elegir la metodología más apropiada para el tema de su estudio. Estos se pueden agrupar en las preguntas sobre la propia metodología, las técnicas que utiliza para la recolección de datos, y cómo se analizan estos datos. Cabe señalar que este enfoque se basa necesariamente en generalizaciones. Mientras que proporcionan un buen punto de partida para el diseño de la evaluación, la práctica y la experiencia, obviamente, le permitirá tomar decisiones más informadas.

Elección de una metodología
Cada metodología representa un enfoque diferente a la evaluación. El hecho de que hay así que muchos enfoques de uso común, simplemente refleja el hecho de que no existe una metodología única es “el mejor”. ¿Cuál será la más apropiada para usted depende del tipo de preguntas que usted está pidiendo. Es importante tener claro lo que sus preguntas son – al parecer, los cambios sutiles pueden tener un impacto considerable. Preguntar, “¿Qué factores influyen en cuán bien los estudiantes a hacer?” sugiere un estudio exploratorio, que busca identificar factores que influyen en el rendimiento. Sin embargo, preguntando “¿Cuál de los siguientes factores influye en la forma de los alumnos a hacer?” sugiere un estudio comparativo, que posiblemente impliquen un experimento controlado.

Con una pregunta clara en mente, es posible empezar a trabajar en la metodología que usted necesita. Un buen punto de partida es decidir cómo exploratorio su estudio debe ser. En el ejemplo anterior, el “qué” se trate sea fácilmente exploratorio – el evaluador tiene poca o ninguna idea acerca de los factores que influyen en el aprendizaje. Estos deben ser descubierto en el curso del estudio. En el “que” se trata, los factores ya han sido encontrados. Lo que queda es ponerlos a prueba para demostrar su influencia. Por esta razón, el estudio tiene que ser mucho menos exploración. Abrir, metodologías cualitativas como entrevistas, observaciones y mapas conceptuales tienden a ser más adecuada para estudios de exploración, mientras que listas de verificación y los experimentos requieren un marco para las preguntas que se fija de antemano.

Una segunda cuestión importante es preguntarse cómo auténticos su estudio debe ser. En el diseño de material didáctico, puede ser más apropiado (y más ético) para poner a prueba sus ideas en un entorno de laboratorio-como, en lugar de a los estudiantes cuyas calificaciones del examen puede verse afectada. Sin embargo, como las configuraciones de control no son adecuados para evaluar cómo mejorar la forma en que estos materiales se utilizan como parte del plan de estudios. Estos estudios requieren un ambiente más auténtico. Claramente, los experimentos controlados son mucho menos auténtico que (por ejemplo), los estudios etnográficos o de perfiles de estudiantes. Algunas técnicas, sin embargo, se puede utilizar en ambos tipos de establecimiento – observaciones son un buen ejemplo de esto.

Por último, es importante tener en cuenta que el número de personas que participarán en el estudio tendrá un impacto en el enfoque que usted elija. No sería práctico para llevar a cabo entrevistas abiertas con 200 estudiantes, y probablemente inadecuado utilizar un diseño experimental comparativo de un grupo de ocho participantes. En términos generales, las metodologías que se adaptan mejor a grandes grupos limitará la cantidad de datos cualitativos que se reunieron.

La recolección de datos
Así como es importante tener claro qué preguntas se les pide, también es vital tener claro lo que cuenta como evidencia. Al preguntar por el rendimiento de los estudiantes, son las actitudes y percepciones importantes? ¿Qué pasa con la forma en que interactúan con el material de instrucción, o uno con el otro? Qué opinión le merece el rendimiento en pruebas o en los exámenes a ser el mismo que el aprendizaje o la comprensión de los conceptos clave? Si no, lo que puede demostrar esto?

Una de las características de las metodologías de evaluación es el tipo y rango de datos que se recogen. Al igual que con las metodologías, el proceso de elección de las técnicas de captura de datos correctos se puede hacer más fácil teniendo en cuenta una serie de preguntas. Tal vez el más simple de hacer es cómo el objetivo de la información que se recoge se. Si la información subjetiva, tales como las actitudes y percepciones, son de interés, luego los cuestionarios y las entrevistas son las adecuadas. Si lo que necesita saber cómo los estudiantes actúan o interactúan, o cómo su rendimiento se ve afectado por algún cambio en el plan de estudios, datos como los que figuran en los registros de vídeo o resultados de la prueba será importante. Cabe destacar que la subjetividad de los datos no tiene ningún impacto en el rigor con el que se analizarán – es simplemente una descripción del tipo de datos en cuestión.

Otra cualidad importante es cómo se centraron los datos serán. Una de las razones que los estudios etnográficos utilizar las observaciones es que los datos periféricos, tales como el clima, las interacciones sociales y así sucesivamente se pueden tener en cuenta si se parecen influir en las deliberaciones. Un cuestionario de opción múltiple, en cambio, no da la latitud en la información que se recopila. El foco apretado hará que los datos más fácil de analizar, pero el lado negativo de esta simplicidad es que significa que los datos también son limitados.

No es el interés práctico de la duración de la recolección de datos se llevará. La observación participante es extremadamente tiempo intensivo, como son las entrevistas. grabaciones de vídeo y cuestionarios simplemente requieren la creación y la recolección de, por lo que demanda muchos menos en el tiempo del evaluador.

Por último, vale la pena ser conscientes de que el acceso a los recursos puede restringir el rango de técnicas de captura de datos que se pueden utilizar. La disponibilidad del software de captura de pantalla, cámaras de video, micrófonos y hasta un presupuesto adecuado todas las fotocopias deberán ser tomadas en cuenta.

Análisis de los datos
Como con la recolección de los datos, una preocupación importante aquí es el tiempo que los datos se llevará a analizar. El proceso de analizar y categorizar los datos cualitativos pueden ser muy intensivos tiempo. Transcripción (que podría ser considerado como parte de cualquiera de captura de datos o análisis) también debe tenerse en cuenta. Como regla general, la transcripción de la cinta de audio de una hora puede tardar de dos a cuatro horas, una hora de vídeo puede tardar de seis a ocho, dependiendo de cómo practicar el transcriptor es y cómo se completa la cuenta final debe ser. Por el contrario, con la ayuda de paquetes de software, descriptiva y estadística inferencial puede ser tratado con mucha rapidez. En tales situaciones, a menudo tardan más tiempo en diseñar un experimento controlado de lo que va a analizar los resultados.

Por último, vale la pena ser conscientes de que los datos pueden ser presentados en una amplia gama de formatos, que será apropiado para una finalidad distinta o de la audiencia. Estos formatos se verá restringida por el tipo de datos recopilados y los métodos de análisis. Los datos cualitativos son muy buenas para la presentación de la información ilustrativa o personalizada. Es menos útil para la presentación de resúmenes o reseñas, sin embargo, ya diferencia de las estadísticas de análisis, es difícil precisar el grado de confianza tiene en que los resultados han sido causados por un factor determinado, o que van a generalizar.
Aunque es importante elegir la metodología adecuada, y hay una amplia gama de enfoques para elegir, por lo que la elección no tiene por qué ser desalentadora. Una vez que la pregunta de evaluación ha sido elegido, es posible trabajar con las características que una metodología adecuada tiene que tener. Armado con esta descripción, todo lo que queda es revisar las opciones que están abiertas para usted y elegir la que satisfaga sus necesidades.

 

 

About these ads

Deja un comentario

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 25.138 seguidores

%d personas les gusta esto: