Vol. 39 (Nº 23) Año 2018. Pág. 8
Salvador PONCE Ceballos 1; Gema LÓPEZ Gorosave 2; Gricelda MENDÍVIL Rosas 3; Carlos David DÍAZ López 4
Recibido: 31/01/2018 • Aprobado: 20/02/2018
RESUMEN: El presente artículo documenta los resultados de las propiedades psicométricas de un instrumento de Autoevaluación del Tronco Común de los tres programas educativos del área de pedagogía de una universidad pública Estatal de México. Se encontró un alto grado de consistencia entre los ítems de las dimensiones que componen el examen y que cada dimensión mide un solo rasgo. Los resultados sostienen la pertinencia de la aplicación del examen y del uso de la informacion que de él se desprende. |
ABSTRACT: This article presents the results of the psychometric properties of an instrument Self-Assessment Common Core of three educational programs in the area of education at a state public university of Mexico. Was found a high degree of consistency among the items of the dimensions that make up the exam and each dimension measures a single trait was found. The results support the relevance of the implementation of the study and use of the information that follows it. |
Actualmente, uno de los desafíos de las instituciones de educación superior (IES) es implementar mecanismos confiables y permanentes de evaluación en diversas áreas de trabajo, especialmente en aquellas en donde puedan valorarse la instrumentación del currículum, el desempeño docente y los aprendizajes de los estudiantes. Estos últimos cobran relevancia como objeto de evaluación, porque son los estudiantes el centro de la acción educativa en los modelos pedagógicos orientados al logro de las competencias.
Una de las principales metas de este nivel educativo es obtener resultados de aprendizaje ambiciosos y profundos en los futuros profesionistas (Biggs, 2005; Guzmán, 2011). En este caso, en México, las políticas educativas subrayan que los aprendizajes en las IES deben lograrse con la calidad suficiente y de manera constante si se aspira a que sus egresados dominen las disciplinas y los valores que deben caracterizar a las distintas profesiones (SEP, 2013). Para transitar hacia el logro de lo anterior, la SEP desarrolla mecanismos tendientes a asegurar la calidad de los aprendizajes. Estos mecanismos refieren a la evaluación, la cual se erige como herramienta fundamental para obtener información sobre los programas educativos y sobre el dominio de las competencias, así como para emitir juicios justos y objetivos sobre los procesos de aprendizaje (Sánchez, 2011), que fundamenten la implementación de acciones pertinentes para asegurar la mejora del objeto evaluado (Gil, Álvarez, García, y Romero, 2009). No obstante, para garantizar el impacto favorable de la evaluación en la calidad, ésta debe utilizar instrumentos de medición confiables para asegurar la relevancia de la información recabada.
En este marco, la planta académica de una facultad del área de pedagogía de una universidad pública Estatal de México se ha venido comprometiendo en un proceso de evaluación que permita conocer el nivel de desarrollo de las competencias alcanzado por los estudiantes al término de cada una de las etapas de formación que integran sus planes de estudio (básica-común, disciplinaria y terminal), así como identificar áreas de oportunidad e intervenir oportunamente.
La primera etapa de este proceso consistió en diseñar las pruebas de autoevaluación, la segunda en aplicarlas y la tercera en validar las propiedades psicométricas de dichas pruebas.
Este artículo reporta los resultados de una de las pruebas de la tercera etapa, aborda la validez psicométrica de un instrumento de Autoevaluación del Tronco Común de tres licenciaturas del área de pedagogía de una universidad pública Estatal de México. En otras palabras, se plasman los resultados del análisis de las propiedades psicométricas de la prueba que recoge las percepciones de los estudiantes sobre el nivel de dominio de los contenidos procedimentales, actitudinales y conceptuales asociados a las competencias de doce asignaturas que conforman la etapa de formación básica o común del plan de estudios.
La etapa básica o común del plan de estudios de los programas educativos sujeto de este ejercicio se integran por los primeros dos semestres, comprende un proceso general de carácter multi o interdisciplinario con una orientación eminentemente formativa, donde se desarrollan las competencias básicas y genéricas que debe tener todo profesionista de un mismo nivel formativo o área disciplinaria, lo que se logrará mediante la adquisición de conocimientos de las diferentes áreas y que permite la integración de un repertorio básico de conocimientos, valores, destrezas y habilidades recurrentes para las siguientes etapas de su formación (UABC, 2013).
Se considera que el estudio realizado es relevante para aspectos teóricos y prácticos; en el primer caso, porque la investigación sobre la evaluación de los estudiantes universitarios en el país, y particularmente, las que consideran las percepciones y opiniones de alumnos y profesores con procedimientos sistematizados, sólidos y confiables son escasas (Porto, 2006; Martínez-Rizo y Mercado, 2015 ) y en el segundo, porque el estudio conlleva a la reducción de errores de medición y permite mejorar la toma de decisiones a partir de los resultados( Díaz y Leyva, 2013), además la intención del mismo, es buscar la validación de la prueba en cuestión, ya que se carecía de evidencias de su calidad técnica.
Para cualquier Institución de Educación Superior, el concepto de calidad educativa es clave, ya que se establece en las políticas educativas y enfoques didácticos recientes. En este sentido, implementar mecanismos de calidad es una obligación que ha generado la globalización y las necesidades emergentes del contexto educativo, social, económico y político de cada país. En el caso de México, la Constitución Política equipara calidad educativa con mejora constante y máximo logro educativo, y la Ley General de Educación la define en términos de congruencia entre objetivos, resultados y procesos; por lo tanto, en su aseguramiento, es responsabilidad de las IES implementar proyectos que se orienten a la mejora continua de sus procesos formativos. En cuanto al ámbito pedagógico, la calidad educativa se asocia a cubrir con eficacia las metas propuestas en los planes y programas educativos (Márquez, 2004). Empero, es importante resaltar que, aunque se instrumenten procesos de mejora y se actualicen o rediseñen los planes y programas de estudio, hay que cuidar lo que se vive en el aula, principalmente el trabajo del docente con sus estudiantes y viceversa, pues es lo que realmente impacta en la calidad educativa de una institución y por ende de una nación (Quiroz, 2007).
Aunado a lo expuesto previamente y en concordancia con esas políticas, el Sistema Educativo Nacional ha definido de manera participativa estándares de calidad para las IES y éstas avanzan en la certificación de procesos administrativos y académicos, así como en la acreditación de sus programas educativos. Diversas agencias acreditadoras dan cuenta del nivel de cumplimiento de los indicadores de calidad, de manera que cuando un programa es certificado por su calidad, se infiere que sus egresados adquirieron las competencias necesarias para desempeñarse como profesional en un campo o área determinada.
Sin duda, los procesos de acreditación de programas representan una de las principales estrategias para fomentar y asegurar la calidad en la educación superior. Por ello, las autoridades de las IES asumen como prioridad, la gestión de la calidad donde se utilicen diversas formas de evaluación, en especial mecanismos de seguimiento y evaluación que sean confiables y que además brinden dinamismo y adaptabilidad para asegurar que su funcionamiento logre el nivel de excelencia demandado por la sociedad; esto implica el diseño, implementación y estandarización de procedimientos que garanticen el cumplimiento de las funciones básicas de la Educación Superior (Arenas y Jaimes, 2008).
Por lo anterior, la evaluación interna en las IES es necesaria y debe desplegarse con la intención de identificar, recolectar y tratar datos sobre elementos e indicadores para valorarlos y tomar decisiones (Aguilar, Ayala, Lugo, y Zarco, 2014). Todos estos son procesos clave dentro de las instituciones, sobre todo cuando se asume que la evaluación de un plan de estudios debe llegar a comprender cómo impacta el curriculum en el desarrollo de las capacidades de los profesionistas en formación (Díaz, Lule, Pacheco, Saad, y Rojas, 2010). Lo anterior implica contar con instrumentos confiables y evaluar en momentos estratégicos para retroalimentar oportunamente los programas de estudios, con la finalidad de fortalecerlos.
El término trayectoria escolar ha venido cobrando relevancia en la narrativa de la educación superior para volver la mirada al proceso formativo; ha sido definido como el comportamiento académico de un individuo, el cual “incluye el desempeño escolar, la aprobación, la reprobación, el promedio logrado, etcétera, a lo largo de los ciclos escolares” (García y Barrón 2011, p.95), o como el medio por el que se expresa el comportamiento escolar de un estudiante o conjunto de ellos, a lo largo de su estancia en una institución educativa, desde su ingreso hasta la conclusión de sus estudios o de un momento de éstos (Romo, 2005). González, Castro y Bañuelos relacionan el término de trayectoria escolar con factores como “el rezago, la deserción, el rendimiento, la aprobación, el origen social, la escolaridad de los padres, la trayectoria previa, la migración, el abandono” (2011, p.123), entre otros factores que integran un conjunto de aspectos que afecta la regularidad del comportamiento académico estudiantil.
Por su parte Rembado, Ramírez, Viera, Ros y Wainmaier (2009), demostraron que las etapas iniciales de formación universitaria son determinantes en la trayectoria académica de los estudiantes. Este tipo de hallazgos sugiere que es importante evaluar las primeras etapas de la trayectoria en las IES, ya que, para asegurar la calidad de las IES, debe conocerse la forma en que transitan los estudiantes por cada etapa de formación, identificarse los puntos críticos del trayecto y analizarse minuciosamente la situación para comprender las complicaciones que puedan presentarse (Rembado, et al., 2009) y actuar en consecuencia como medida preventiva o correctiva.
La evaluación de trayectorias permite la identificación de los problemas que deben superarse para mejorar los procesos de formación del estudiante (Amaro, 2011), el análsis de los mismos en el contexto, la comprensión profunda de lo que acontece y debe también facilitar la toma atinada y oportuna de decisiones con la intención de llevar a los estudiantes al buen término en cada etapa formativa.
Si bien en la evaluación de trayectorias predominan los enfoques de resultados cuantitativos que describen el desempeño del estudiantado mediante indicadores, la predominancia de este enfoque no es una limitante para continuar con otro tipo de estudios complementarios, de carácter más comprensivo, explicativos, factoriales o causales (Meléndez, 2010).
Es importante instrumentar proyectos donde se valore y consideren las percepciones que puedan ser generadas en un proceso de evaluación, sobre todo en un contexto que se dirige a la calidad educativa universitaria, por lo tanto, una de las acciones que necesitan desarrollar las IES es diseñar instrumentos que permitan diagnosticar los conocimientos, habilidades y actitudes de los estudiantes en formación, sobre todo, poder hacerlo en las primeras etapas de su trayecto formativo, teniendo la oportunidad de emprender acciones de mejora. Si se conoce el nivel de desarrollo de competencias, se obtiene un panorama de lo que se enseña y de lo que se aprende, así como de lo que requiere ser reestructurado, complementado o mejor estudiado, contribuyendo al aseguramiento de la calidad educativa.
Es relevante tener claridad sobre los alcances y limitaciones de los instrumentos; si bien una prueba no puede evaluar las competencias en ejecución, si es válida y confiable, representa una herramienta fundamental para conocer el nivel de logro de los conocimientos declarativos, procedimentales y actitudinales asociados a las competencias explícitas en las distintas unidades de aprendizaje de los programas educativos.
Por otro lado, cuando la autoevaluación del aprendizaje es formativa, promueve la autorreflexión y el control sobre el propio aprendizaje (López, 2009). Al enfatizarla se busca que el estudiante reflexione sobre su proceso de formación de manera continua y que identifique aquellas competencias que ha desarrollado a lo largo de su trayecto formativo (Delgado, 2009). Se reconoce pues el potencial de la autoevaluación para promover el desarrollo de capacidades de autorregulación y autoconocimiento de su propio proceso de aprendizaje.
También es importante considerar que las agencias acreditadoras de programas educativos exigen a las IES identificar y analizar las percepciones de los estudiantes, profesores, empleados, empleadores y demás partes interesadas, de manera que la percepción de los estudiantes respecto a los aprendizajes obtenidos durante su proceso formativo, es parte de la autoevaluación institucional y se asume como elemento facilitador para el cumplimiento de estándares de calidad a partir de parámetros preestablecidos por la organización.
Como puede identificarse, existen argumentos para sostener que la autoevaluación es útil y pertinente para evaluar las trayectorias de los estudiantes cuando se utilizan instrumentos válidos y confiables, por lo que ssometer a validación técnica la prueba del el ejercicio aquí presentado, resulta crucial en un proceso de mejora.
El objetivo del presente estudio fue identificar las propiedades psicométricas de un Examen de Autoevaluación del Tronco Común (EXATCO) de los tres programas educativos del área de pedagogía de una Universidad Pública Estatal de México.
El EXATCO es una prueba alineada al curriculum, tiene 240 ítems agrupados en doce dimensiones (Tabla 1) y presenta una escala de cuatro opciones de respuesta por ítem: Insuficiente, Elemental, Bueno, Excelente. Al responder la prueba, los estudiantes seleccionan la opción que mejor represente su nivel de dominio, con base en la escala.
Tabla 1
Dimensiones y número de ítems del Examen de autoevaluación del tronco común.
Código |
Dimensiones |
Número de ítems |
A |
Teoría pedagógica |
20 |
B |
Teorías del aprendizaje |
20 |
C |
Lectura Analítica y Elaboración de Textos |
20 |
D |
Bases Filosóficas del Sistema Educativo |
20 |
E |
Lógica Matemática |
20 |
F |
Organizaciones Educativas |
20 |
G |
Didáctica General |
20 |
H |
Psicología del Desarrollo |
20 |
I |
Desarrollo de Habilidades Comunicativas |
20 |
J |
Ética, Responsabilidad Social y Transparencia |
20 |
K |
Metodología para la Resolución de Problemas |
20 |
L |
Escuela y Contexto |
20 |
|
Total |
240 |
Fuente: elaboración propia.
La prueba se aplicó a 295 estudiantes de cuatro generaciones en diferente ciclo escolar, durante el semestre inmediato superior a la conclusión del Tronco Común. Algunos datos de la población se aprecian en la Tabla 2.
Tabla 2
Sexo y estatus de empleo de los estudiantes participantes
Frecuencia |
Porcentaje |
||
Sexo |
Femenino |
203 |
68.8 |
Masculino |
92 |
31.2 |
|
El estudiante trabaja |
No |
202 |
68.5 |
Sí |
93 |
31.5 |
|
Total |
295 |
100.0 |
Fuente: elaboración propia.
La programación de aplicación consideró a todos los alumnos que concluyeron con éxito el tronco común. La aplicación del examen se llevó a cabo en un laboratorio de cómputo que contaba con la instalación del sistema Question Mark (QM), debido a las ventajas que representa esta plataforma para la obtención de bases de datos por medio de diversas aplicaciones en línea.
Previo al inicio de la aplicación del examen, un académico de la facultad explicó las finalidades del examen con dos intenciones: sensibilizar a los estudiantes sobre los beneficios de este tipo de evaluación, y elevar la objetividad de las respuestas de los alumnos. El tiempo promedio de respuesta fue de noventa minutos.
Una vez respondido el EXATCO, las respuestas se integraron en una base de datos con ayuda del programa estadístico SPSS. Posteriormente, se depuró la base de datos y se recodificaron los ítems necesarios; asimismo, se elaboraron los archivos control y de textos requeridos para los análisis comprometidos.
Se realizaron tres tipos de análisis: descriptivo de frecuencias, de consistencia interna, y un análisis unidimensional. Como parte de los análisis descriptivos se obtuvieron las distribuciones de las frecuencias de las respuestas de todos los ítems, la media, la desviación estándar (DE) y la mediana de cada uno de los ítems que conforman las dimensiones del instrumento bajo estudio.
Para determinar la confiabilidad se calcularon los coeficientes Alfa ordinal de cada una de las dimensiones que conforman el instrumento. Este índice estima con mayor precisión la consistencia interna con base en la matriz de correlaciones policóricas (Zumbo, Gendermann y Zesser, 2007). Los valores de este índice varían entre 0 y 1, donde valores superiores a .700 indican una alta consistencia interna. Los análisis anteriores se realizaron en el programa R a través del paquete Psych (Revelle, 2014).
Por su parte, el estudio de la estructura dimensional de cada dimensión se realizó a través del programa Winsteps (Linacre, 2016). Los análisis Rasch son un método de la Teoría de Respuesta al Ítem (TRI) que permiten estudiar el nivel de ajuste a un modelo unidimensional con base en la dificultad de los ítems y el nivel de habilidad (o adscripción) de los examinados.
El análisis permite obtener los niveles de dificultad, los índices de ajuste próximo (INFIT) y lejano (OUTFIT) y los índices de discriminación de cada ítem. Para asegurar que un ítem se ajusta al modelo teórico bajo estudio, los valores de INFIT y OUTFIT se deben mantener dentro del intervalo de 0.60 y 1.40 (Gonzalez-Montesinos, 2008; Wright y Linacre, 2014). Por su parte, de acuerdo a distintos referentes, para considerar que un ítem discrimina entre los examinados con puntuaciones bajas y altas, los valores índice de discriminación (Ptbis) deben ser igual o mayores a .20.
Los análisis descriptivos iniciales mostraron que la mayoría de los ítems que componen cada dimensión registraron puntuaciones medianas entre tres y cuatro, es decir, más del cincuenta por ciento de la población dicen tener un nivel de desarrollo excelente o bueno en cada uno de los contenidos o acciones que consideran los ítems. Sin embargo, en cuatro ítems de la asignatura Bases Filosóficas del Sistema Educativo Nacional la mayoría de los participantes expresaron tener un nivel de desarrollo elemental.
Por su parte, los índices de consistencia interna, coeficientes de discriminación y los índices de ajuste a un modelo unidimensional de las doce dimensiones que forman parte del EXATCO, registraron índices de consistencia interna que oscilan entre .865 (Teoría Pedagógica) y .970 (Psicología del Desarrollo y Metodología para la Resolución de Problemas) (Tabla 3). En relación a la totalidad de los ítems que conforman cada dimensión, se registraron coeficientes de discriminación superiores a .20. En cuanto al análisis de unidimensionalidad, se encontró que la mayoría de las dimensiones obtuvieron valores aceptables de acuerdo a los criterios establecidos, sin embargo, ciertos ítems presentan algún problema de desajuste en las asignaturas A, D, E, F, H, J, K y L (Tabla 3).
Tabla 3
Síntesis de los Estadígrafos de ajuste, correlación punto biserial y
valores de dificultad del modelo de Rasch de las dimensiones del EXATCO
Asignatura |
k |
Alfa |
Adscripción |
Ajuste (0.6 - 1.4) |
Discriminación |
||
Min |
Max |
Infit |
Outfit |
Ptbis <.20 |
|||
A. Teoría Pedagógica |
20 |
.865 |
-2.01 |
1.42 |
1 |
1 |
0 |
B. Teorías del Aprendizaje |
20 |
.900 |
-1.78 |
2.13 |
0 |
0 |
0 |
C. Lectura Analítica y Elaboración de Textos |
20 |
.927 |
-0.74 |
0.94 |
0 |
0 |
0 |
D. Bases Filosóficas del Sistema Educativo |
20 |
.933 |
-1.60 |
1.20 |
1 |
1 |
0 |
E. Lógica Matemática |
20 |
.954 |
-1.06 |
1.02 |
1 |
1 |
0 |
F. Organizaciones Educativas |
20 |
.932 |
-2.04 |
1.17 |
1 |
1 |
0 |
G. Didáctica General |
20 |
.956 |
-1.53 |
1.14 |
0 |
0 |
0 |
H. Psicología del Desarrollo |
20 |
.970 |
-0.93 |
0.90 |
0 |
2 |
0 |
I. Desarrollo de Habilidades Comunicativas |
20 |
.950 |
-0.79 |
0.99 |
0 |
0 |
0 |
J. Ética, responsabilidad social y transparencia |
20 |
.939 |
-1.62 |
1.49 |
0 |
1 |
0 |
K. Metodología para la resolución de problemas |
20 |
.970 |
-0.79 |
0.76 |
1 |
2 |
0 |
L. Escuela y contexto |
20 |
.944 |
-1.67 |
1.29 |
0 |
1 |
0 |
Fuente: elaboración propia.
Con la intención de ilustrar evidencia del análisis realizado de cada una de las dimensiones de la prueba, se muestra con mayor detalle la dimensión Teoría Pedagógica. Se obtuvo la distribución de frecuencias de cada reactivo, así como los estadísticos básicos asociados al conjunto de reactivos que conforman esta escala (Tabla 4). En general, se observan medias aritméticas entre 2.71 y 3.60, siendo el ítem A16 (Reconozco la importancia de la educación en valores) el ítem con puntaje más alto, y el ítem A9 (Conozco las condiciones históricas en que desarrollaron sus ideas los pedagogos más representativos de los siglos XVI al XIX) el que registra la media más baja (2.71).
Tabla 4
Mediana, media y desviación estándar de los ítems de la dimensión Teoría pedagógica
n |
Mediana |
Media |
DE |
|
A1. Conozco las principales teorías pedagógicas en la Grecia y Roma antiguas. |
295 |
3 |
2.87 |
.71 |
A2. Puedo explicar los ideales fundamentales de los filósofos de la antigua Roma. |
295 |
3 |
2.73 |
.80 |
A3. Identifico el escenario histórico en el que se desarrollaron las ideas pedagógicas de la antigüedad. |
295 |
3 |
2.91 |
.77 |
A4. Comprendo las ideas fundamentales de los filósofos griegos de la antigüedad. |
295 |
3 |
2.98 |
.79 |
A5. Identifico las ideas de las principales teorías pedagógicas de Grecia y Roma que permanecen en las pedagogías actuales. |
295 |
3 |
2.90 |
.74 |
A6. Tengo una opinión crítica de las principales teorías pedagógicas de Grecia y Roma. |
295 |
3w |
2.83 |
.77 |
A7. Comprendo la influencia de los educadores griegos en las teorías pedagógicas a través del tiempo de la antigüedad. |
295 |
3 |
3.00 |
.79 |
A8. Conozco las principales teorías pedagógicas del siglo XVI al XIX. |
295 |
3 |
2.68 |
.71 |
A9. Conozco las condiciones históricas en que desarrollaron sus ideas los pedagogos más representativos de los siglos XVI al XIX. |
295 |
3 |
2.71 |
.74 |
A10. Identifico las ideas y prácticas pedagógicas de la antigüedad que han cambiado en la actualidad. |
295 |
3 |
3.03 |
.72 |
A11. Comprendo el contexto histórico en el que se desarrolló la pedagogía participativa. |
295 |
3 |
2.72 |
.78 |
A12. Reconozco las teorías pedagógicas fundamentadas en el marxismo y personalismo. |
295 |
3 |
2.58 |
.90 |
A13. Conozco los principales postulados de las teorías de Piaget, Vigotsky y Ausubel. |
295 |
3 |
3.38 |
.69 |
A14. Puedo explicar las aportaciones de Piaget, Vigotsky y Ausubel al constructivismo. |
295 |
3 |
3.25 |
.74 |
A15. Comprendo la influencia del constructivismo en la pedagogía actual. |
295 |
3 |
3.26 |
.72 |
A16. Reconozco la importancia de la educación en valores. |
295 |
4 |
3.60 |
.59 |
A17. Distingo las aportaciones de Comenio, Rousseau, Pestalozzi y Froebel. |
295 |
3 |
3.21 |
.72 |
A18. Reflexiono sobre los contenidos vistos en clase y obtengo mi postura. |
295 |
3 |
3.28 |
.68 |
A19. Reconozco que siendo esta asignatura teórica, existe una aplicación actual como futuro docente. |
295 |
4 |
3.49 |
.61 |
A20. Reflexiono sobre los contrastes de las propuestas históricas y las necesidades pedagógicas en contextos actuales. |
295 |
3 |
3.30 |
.69 |
Fuente: elaboración propia.
Se obtuvieron los valores de dificultad y los estadígrafos de ajuste para los reactivos que conforman la dimensión Teoría Pedagógica (Tabla 5). Los valores de dificultad se encuentran entre -2.01 y 1.42 (ítems 16 y 11, respectivamente). Se observa que diecinueve de los veinte ítems cumplen de manera satisfactoria el criterio de bondad de INFIT y OUTFIT. Sin embargo, los niveles de dificultad registrados en las afirmaciones de la escala no son completamente acordes a los niveles de aceptación y rechazo de dichas expresiones por parte de los encuestados (Figura 2). Por otro lado, la totalidad de los ítems de la dimensión presentan correlaciones punto biseriales superiores a .20, valores aceptables de acuerdo con diversos sistemas de referencia, mismos que sugieren unidimensionalidad en la escala.
Tabla 5
Estadígrafos de ajuste, correlación punto biserial y valores de dificultad
del modelo de Rasch para los ítems de la dimensión Teoría pedagógica
-----
Figura 1
Mapa de Wright de la dimensión Teoría pedagógica.
El presente estudio permitió analizar y documentar las evidencias de las propiedades psicométricas de doce dimensiones que evalúan cada una de las asignaturas consideradas en la etapa de Tronco Común de tres programas educativos del área de pedagogía de una universidad pública Estatal de México. Las evidencias presentadas fundamentan la pertinencia de la aplicación de dichos exámenes y del uso de la información que de ellos se desprende.
Con base en los resultados del análisis de confiabilidad, se puede asegurar que existe un alto grado de consistencia entre los ítems de las dimensiones que componen el EXATCO. Es decir, los ítems están midiendo una única dimensión (o dimensiones distintas pero correlacionadas). De la misma manera, los resultados del análisis de discriminación sugieren la presencia de un rasgo subyacente en cada dimensión, pues ningún ítem registró un índice de discriminación inferior a .20.
Con la evidencia recolectada, se afirma que cada una de las dimensiones mide un solo rasgo de manera independiente, para el caso de las dimensiones que presentaron ítems con algún nivel de desajuste se recomienda la revisión de la redacción o contenido de los mismos, de tal manera que se atienda lo que se desea medir.
Además de valorar el ajuste de los ítems a un modelo unidimensional, se exploró la correspondencia entre los niveles de dificultad de los ítems y el nivel de habilidad o posesión del rasgo de los sujetos. Se encontró que en todas las dimensiones bajo estudio no existe una correspondencia homogénea entre la dificultad de los ítems y la habilidad de conocimiento de los sujetos. Es decir, se cuenta con ítems demasiado “fáciles”, o con una alta probabilidad de que sean respondidos en un sentido positivo (Excelente, Bueno), y con sujetos que, de acuerdo a los ítems que los conforman, cuentan con altos niveles de posesión del rasgo evaluado.
Para abordar lo anterior y con el objetivo de contar con instrumentos de medición más eficaces y eficientes, se sugiere: a) valorar la relevancia del contenido de cada uno de los ítems y la suficiencia de cada una de las dimensiones bajo estudio, y, b) valorar la claridad de los ítems en función de las opciones de respuesta, ya que la redacción de algunos ítems no observa correspondencia con las opciones de respuesta. Es decir, algunos ítems expresan un contenido o una acción concreta que no podría ser respondida de manera clara con las opciones de respuesta que ofrece el instrumento. Por ejemplo, el ítem A1. Conozco las principales teorías pedagógicas en la Grecia y Roma antiguas no podría responderse de manera clara con las opciones de respuesta Insuficiente, Elemental, Bueno o Excelente.
Este trabajo puntualiza las bondades de la aplicación de instrumentos válidos y confiables, mas es necesario destacar que su uso, busca visualizar a la autoevaluación como un mecanismo generador de insumos, mismos que posibilitan la toma de decisiones pertinentes para atender situaciones relacionadas con el proceso de enseñanza aprendizaje, ofreciendo elementos objetivos y confiables para poder intervenir de manera oportuna en el fortalecimiento de los perfiles intermedios, terminales y de egreso de los futuros profesionistas.
Así mismo se considera importante desarrollar otras exploraciones de tipo cualitativo que puedan complementar este tipo de pruebas y de esta esta forma aproximarse a una evaluación más completa que dé cuenta de las realidades, posibilidades y necesidades de los procesos formativos.
Abad, F. J., Olea, J., Ponsoda, V., y García, C. (2011). Medición de ciencias sociales y de la salud. Madrid, España: Síntesis.
Aguilar, I., Ayala, J, Lugo, O., y Zarco, A. (2014). Análisis de criterios de evaluación para la calidad de los materiales didácticos digitales. Revista Iberoamericana de Ciencia, Tecnología y Sociedad, 9(25), 73-89.
Amaro, A. (2011). Evaluación de las trayectorias escolares de los alumnos del 6° semestre de la escuela preparatoria oficial no.16 del Estado de México (Tesis de pregrado). Universidad Pedagógica Nacional Unidad Ajusco, México, D. F.
Arenas, A. L., y Jaimes, B. M. (2008). Calidad y competencias: Propuesta de un modelo educativo en educación superior. UIS Ingenierías, 7(1), 87-103.
Attorresi, H. F., Lozzia, G. S., Abal, F. J. P., Galibert, M. S., y Aguerri, M. E. (2009). Teoría de respuesta al Ítem. Conceptos básicos y aplicaciones para la medición de constructos psicológicos. Revista Argentina de Clínica Psicológica, 18(2), 179-188.
Avendaño, B. L., Jiménez, M. Y., y Senior, D. M. (2008). Caracterización de un grupo de estudiantes que obtuvo altos puntajes en el examen de calidad de la educación superior, ECAES, años 2003 – 2006. Suma Psicológica, 15(2), 355-384.
Baltra, M. (2010). Perfiles de desempeño en matemática, según habilidad cognitiva por nivel socioeconómico en estudiantes chilenos de enseñanza municipal. Revista Electrónica de Investigación Educativa, 12(1). Recuperado de http://redie.uabc.mx/vol12no1/contenido-baltra.html
Biggs, J. (2006). Calidad del aprendizaje universitario, España: Narcea.
Champin, D. (2014). Evaluación por competencias en la educación médica. Revista Perú Med Exp. Salud Pública, 31(3), 566-71.
Delgado, A. M., y Oliver, R. (2009). Interacción entre la evaluación continua y la autoevaluación formativa: La potenciación del aprendizaje autónomo. Revista de Docencia Universitaria. (4), 1-13.
Díaz, F., Lule, M. L., Pacheco, D., Saad, E., y Rojas, S. (2010). Metodología de Diseño Curricular para la Educación Superior, México: Trillas.
Díaz, P. y Leyva, E. (2013). Metodología para determinar la calidad de los instrumentos de evaluación. Educación Médica Superior, 27(2), 269-286. Recuperado de http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412013000200014&lng=es&tlng=es.
Ducoing, P. (2005). Colección: La Investigación Educativa en México 1992‐2002. Sujetos, Actores y Procesos de Formación, Tomo II: Formación de Docentes (Normal y Universidad) y de Profesionales de la Educación. Formación Profesional la Investigación Sobre Alumnos en México: Recuento de una Década (1992-2002). México: Consejo Mexicano de Investigación Educativa.
Gadermann, A. M., Guhn, M., y Zumbo, B. (2012). Estimating ordinal reliability for likert-type and ordinal item response data: A conceptual, empirical, and practical guide. Practical Assessment, Research y Evaluation, 17(3), 1–13.
García, O. y Barrón, C. (2011). Un estudio sobre la trayectoria escolar de los estudiantes de doctorado en pedagogía. Perfiles Educativos IISUE-UNAM, 33(131), 94-113.
Gil, J., Álvarez, V., García, E., y Romero, S. (2009). Evaluación de la formación universitaria a partir de las opiniones de los titulados incorporados al mundo laboral. Revista de Pedagogía, 61(3), 73-92.
González, A., Castro, E., y Bañuelos, D. (2011). Trayectorias escolares. El perfil de ingreso de los estudiantes de Ciencias Químicas: un primer abordaje para contrastación ulterior con otras disciplinas, Revista Latinoamericana de Estudios Educativos, 41(3-4), 119-138.
Guzmán, J. (2011). La calidad de la enseñanza en educación superior ¿Qué es una buena enseñanza en este nivel educativo? Perfiles educativos, 33(spe), 129-141. Recuperado de http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0185-26982011000500012
L'êcuyer, J. (2001). La evaluación en la enseñanza superior. Revista Diálogo Educacional, 2(4), 1-26.
Lemaitre, M. J., y Zenteno, M. E. (2012). Aseguramiento de la calidad en Iberoamérica, educación superior, informe 2012. Chile: RIL Editores.
Linacre, J. (1994). Sample Size and Item Calibration Stability. Rasch Measurement Transactions, 7(4), 1-328.
Linacre, J. (2016). [Computer Software]. Beaverton, Oregon: Winsteps.com. Recuperado de http://www.winsteps.com/
López, V. M. (2009). Evaluación formativa y compartida en educación superior propuestas, técnicas, instrumentos y experiencias. Madrid, España: Narcea.
Márquez, A. (2004). Calidad de la educación superior en México. ¿Es posible un sistema eficaz, eficiente y equitativo? Las políticas de financiamiento de la educación superior en los noventa. Revista Mexicana de Investigación Educativa, 9(21), 477-500.
Martínez, E., Tellado, F., y Raposo, M. (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto. Revista de Docencia Universitaria, 11(2), 373-390.
Martínez-Rizo, F. y Mercado, A. (2015). Estudios sobre prácticas de evaluación en el aula: revisión de la literatura. Revista Electrónica de Investigación Educativa, 17(1), 17-32. Recuperado de http://redie.uabc.mx/vol17no1/contenido-mtnzrizo-mercado.html
Mejías, A. A., y Cobo, M. (2007). La Autoevaluación: Una iniciativa para la gestión de la calidad en educación superior. Ingeniería Industrial, 28(3), 35-39.
Meléndez, D. (junio de 2006). Un ejercicio de evaluación de las trayectorias escolares en la universidad de Guadalajara. 6° Congreso Internacional. Retos y Expectativas de la Universidad “El papel de la universidad en la transformación de la sociedad,Ciudad de Puebla, Puebla.
Murcia, N., y Murcia, J. (2009). Imaginarios sociales y autoevaluación universitaria. Educación y Educadores, 12(3), 99-115.
Porto, M. (2006, 15 de noviembre). La evaluación de estudiantes universitarios vista por sus protagonistas. Educatio Siglo XXI, 24, 167-188.
Prieto, L. (2007). Autoeficacia del profesor universitario, eficacia percibida y práctica docente. Madrid, España: Narcea.
Quiroz, E. (2007, diciembre). Competencias profesionales y calidad en la educación superior. Reencuentro, 50, 93-99. Recuperado de http://www.redalyc.org/pdf/340/34005012.pdf
Rembado, F., Ramírez, S., Viera, L., Ros, M., y Wainmaier, C. (2009). Condicionantes de la trayectoria de formación de carreras científicas y tecnológicas: las visiones de los estudiantes. Perfiles Educativos, 31(124), 8-21.
Revelle, W. (2014). Psych: Procedures for psychological, psychometric, and personality research. R Package Version. Recuperado de http://cran.univ-lyon1.fr/web/packages/psych/
Romo, A. (2005). Estudios sobre retención y deserción en un grupo de instituciones mexicanas de educación superior en: Deserción, rezago y eficiencia terminal. México: ANUIES.
Sánchez, J. (2011). Evaluación de los aprendizajes universitarios: una comparación sobre sus posibilidades y limitaciones en el Espacio Europeo de Educación Superior. Revista de Formación e Innovación Educativa Universitaria, 4(1), 40-54.
SEP (2013). Secretaria de Educación Pública: Programa Sectorial de Educación 2013-2018. México: Autor.
Sepúlveda, A. C., Gaspar, N., Reyes, L. I., y González, H. J. (2015). Confiabilidad y validez de un instrumento de evaluación de la competencia clínica integral de médicos residentes. Revista Médica del Instituto Mexicano del Seguro Social, 53(1), 30-39.
Soler, S. (2008). Coeficientes de confiabilidad de instrumentos escritos en el marco de la teoría clásica de los tests. Revista Cubana de Educación Médica Superior, 22(2), 1-14.
Stobart, G. (2010). Tiempos de pruebas: los usos y abusos de la evaluación. Madrid, España: Morata.
Tristan, A. (2001). Análisis de Rasch para todos. Ceneval. México.
Trueba, S. (2011). Autoevaluación del alumnado en el profesorado de Educación Física. Comparación con otras experiencias publicadas. Praxis Educativa (Arg), 15(15), 65-70.
Trujillo, A. E. (2011). La autoevaluación como acción tutorial en la formación integral del estudiante universitario. Pampedia: Revista de las Facultades de Pedagogía de la Universidad Veracruzana, (7), 44-56.
UABC. (2013). Modelo educativo de la Universidad Autónoma de Baja California. México: Universidad Autónoma de Baja California
Vallés, C., Ureña, N., y Ruiz, E. (2011). La evaluación formativa en docencia universitaria. Resultados globales de 41 estudios de caso. Revista de Docencia Universitaria, 9(1), 135-158.
Wright, B. D., y Linacre, J. M. (1994). Reasonable mean-square fit values. Rasch Measurement Transactions, 8(3), 1-370.
1. Doctor en Educación por la Universidad Abierta de Tlaxcala. Profesor de tiempo completo y Director de la Facultad de Pedagogía e Innovación Educativa de la Universidad Autónoma de Baja California. Línea de investigación: formación de profesionales de la educación. CE: ponce@uabc.edu.mx
2. Doctora en Ciencias Educativas por la Universidad Autónoma de Baja California. Profesor de asignatura de la Facultad de Ciencias. CE: gema@uabc.edu.mx
3. Maestra en Ciencias de la Educación con énfasis en Didáctica de las Matemáticas por la Universidad Autónoma de Baja California. Profesor de tiempo completo de la Facultad de Pedagogía e Innovación Educativa de la Universidad Autónoma de Baja California. Línea de investigación: formación de docentes en matemática. CE: gmendivil@uabc.edu.mx
4. Maestro en Ciencias Educativas por el Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California. Asistente de investigación en el Instituto de Investigación y Desarrollo Educativo. Línea de investigación: Desarrollo y validación de instrumentos de medición psicológica y educativa. CE: diaz.carlos@uabc.edu.mx