ISSN 0798 1015

Vol. 39 (Número 53) Año 2018. Pág. 30

Validez y confiabilidad de una rúbrica para evaluar las prácticas pedagógicas en docentes de Educación Media (SOCME-10)

Validity and Reliability of a Rubric for High School Teachers’ Pedagogical Practices Assessment (SOCME-10)

Sergio TOBÓN 1; Julio H. PIMIENTA-PRIETO 2; Sergio Raúl HERRERA-MEZA 3; Luis Gibran JUÁREZ-HERNÁNDEZ 4; José Silvano HERNÁNDEZ-MOSQUEDA 5

Recibido: 31/05/2018 • Aprobado: 15/07/2018 • Publicado: 11/11/2018

Contenido

1. Introducción

2. Metodología

3. Resultados

4. Conclusiones

Referencias bibliográficas

1. Introducción

Las prácticas pedagógicas poseen diferentes definiciones. Álvarez (2015) las concibe como un conjunto de comportamientos, actitudes y acciones que manifiestan los docentes para apoyar el aprendizaje de los alumnos. Por su parte, Carrillo et al. (2018) plantean que las prácticas pedagógicas se refieren al conjunto de acciones que implementan los profesores para lograr las competencias en los alumnos. De acuerdo con esto, puede afirmarse entonces que las prácticas pedagógicas son las acciones que se ejecutan con los alumnos para lograr los aprendizajes esperados a través de diversas estrategias didácticas y recursos, tanto en el aula como fuera de esta. Las investigaciones señalan que los métodos de instrucción o pedagógicos tienen una importante influencia en el aprendizaje, más que otras medidas de intervención educativa (Conn, 2017). Es por ello que las prácticas pedagógicas deben ser evaluadas de manera sistemática para apoyar a los docentes en su continuo mejoramiento.    

Se deben transformar las prácticas pedagógicas tradicionales centradas en: 1) la transmisión y acumulación de contenidos disciplinares sin relación con el mundo de la vida; 2) la priorización de las técnicas expositivas por parte de los docentes; 3) el trabajo por asignaturas cerradas y fragmentadas sin articulación; 4) la disciplinariedad que solo brinda una visión de las cosas; 5) la repetición y memorización con estrategias para lograr la apropiación de los contenidos; y 6) la predominancia de la evaluación sumativa sobre otros tipos de evaluación más relevantes como la evaluación continua y de diagnóstico.

¿Qué prácticas pedagógicas deben priorizarse? Hay diversas propuestas y todo depende de los referentes que se tengan y de los enfoques pedagógicos de base que se sigan. Uno de estos enfoques es la socioformación, una propuesta de origen latinoamericano orientada a desarrollar el talento en las personas, organizaciones y comunidades para afrontar los retos de la sociedad del conocimiento. En este enfoque se le da una gran importancia a la resolución de problemas del contexto como eje esencial en la formación de los alumnos (Tobón, 2017), más que el aprendizaje de contenidos, que debe ser un medio. En este enfoque se promueven prácticas pedagógicas esenciales que buscan formar ciudadanos para la sociedad del conocimiento, como el trabajo mediante proyectos para resolver problemas del mundo de la vida (Safiee, Jusoh, Noor, Tek, & Salleh, 2018), el desarrollo de la creatividad (Karwowski, & Lebuda, 2016), el fortalecimiento del proyecto ético de vida (Ambrosio, 2018), la inclusión (Castro-Rubilar, Castañeda-Díaz, Ossa-Cornejo, Blanco-Hadi, & Castillo-Valenzuela, 2017)., la colaboración (Vázquez, Hernández, Vázquez, Juárez, & Guzmán, 2017), la gestión y cocreación del conocimiento (Ambrosio, 2018) y la evaluación formativa metacognitiva (Hernández, 2013; Hernández, Tobón, Ortega, & Ramírez, 2018).

Existen diversos instrumentos para evaluar las prácticas pedagógicas en la educación básica y media, los cuales se caracterizan por enfatizar en diferentes elementos. Uno de los instrumentos más usados es el Classroom Assessment Scoring System (CLASS) (Hamre

et al., 2015), elaborado en el contexto de Estados Unidos, pero cada vez más usado en todo el mundo. Por ejemplo, se tienen estudios de su validez en Chile (Araujo, Carneiro, Cruz-Aguayo y Schady, 2016). Se compone de una serie de indicadores para observar el desempeño de los docentes en el aula. Posee dimensiones y tres constructos latentes: apoyo emocional, apoyo instructivo y manejo del aula. Este instrumento ha demostrado tener un alto grado de validez y confiabilidad (Leyva et al., 2015). A pesar de su validez, es un instrumento general para evaluar el trabajo en las aulas y no se centra en las prácticas pedagógicas que generar impacto en el aprendizaje. Otro instrumento de alto impacto, desarrollado para países de bajo ingreso, es el Teacher Instructional Practices and Processes System (TIPPS) (Seidman, Raza, Kim, & McCoy, 2013). Este instrumento se compone de 18 dimensiones, y cada dimensión tiene unos indicadores de comportamiento que se evalúan en cuatro niveles para determinar la calidad de los procesos, con lo cual se busca mejorar el CLASS en este aspecto. Sin embargo, no aborda las prácticas que son esenciales para transformar la sociedad hacia la sociedad del conocimiento. El Stallings Observation System (World Bank, 2015) es otro instrumento que ayuda a evaluar las prácticas de manera rápida y se enfoca en determinar cómo se emplea el tiempo en la clase y las actividades que se realizan a través de varias observaciones cortas. En México, este instrumento ha sido propuesto por la Secretaría de Educación Pública para evaluar las clases (SEP, 2015), pero tiene los siguientes vacíos: 1) evalúa las actividades de clase, pero no su pertinencia; 2) no se valora la evaluación formativa ni el apoyo emocional de los docentes; y 3) no se consideran acciones enfocadas en la resolución de problemas ni en la creatividad, por lo cual se ha planteado que esta herramienta no valora la calidad y pertinencia de las prácticas pedagógicas en el marco de los nuevos retos sociales (Bruns, De Gregorio, & Taut, 2016).

A raíz ello, se elaboró para otro estudio la Rúbrica de Prácticas Pedagógicas (SOCME-10) (Tobón et al., 2018), pero sólo se tienen datos de validez y confiabilidad para la educación básica. Falta determinar la confiabilidad, como también la validez de contenido y de constructo para los docentes de educación media superior, con el fin de aportar un instrumento que les posibilite autoevaluarse de manera continua y mejorar su actuación, lo cual es posibilitado por las rúbricas, ya que poseen descriptores que permiten identificar con claridad qué nivel se tiene en cada práctica y qué elementos son precisos mejorar para avanzar hacia niveles superiores.    

El presente estudio se enfocó en las siguientes metas: 1) establecer la validez de contenido de la SOCME-10 en docentes de educación media superior mediante la evaluación por parte de un grupo de expertos; 2) identificar el grado de pertinencia, redacción y satisfacción con el instrumento en esta población de docentes; 3) determinar la validez de constructo mediante la aplicación a una muestra de docentes y el empleo del análisis factorial; y 4) analizar la confiabilidad del instrumento.

Se realizó un estudio de tipo instrumental centrado en el diseño, validez y confiabilidad de una rúbrica que pueda ser empleada por los maestros para evaluar las prácticas pedagógicas que requiere la sociedad del conocimiento, y con base en ello implementar acciones de mejoramiento.

2.1. Instrumento

Se sometió a validación de la Rúbrica de Prácticas Pedagógicas diseñada en otro estudio (Tobón et al., 2018). Este instrumento evalúa 10 prácticas pedagógicas esenciales para afrontar los retos de la sociedad del conocimiento (ver Tabla 1). Cada una de las prácticas es evaluada en cinco niveles: Muy Bajo (Preformal), Bajo (Receptivo), Medio (Resolutivo), Medio Alto (Autónomo) y Muy Alto (Estratégico), y cada nivel posee descriptores que ayudan a determinar con más precisión el nivel. Estos descriptores siguieron la taxonomía socioformativa.  

Tabla 1
Prácticas que evalúa la Rúbrica sobre Prácticas Pedagógicas (SOCME-10)

2.1. Fases del Proceso

Fase 1. Estudio de la validez de contenido

Una vez se hicieron las mejoras en la rúbrica, está fue evaluada por un grupo de 12 jueces, expertos en educación media superior (ver Tabla 3), quienes evaluaron la rúbrica mediante una escala compuesta de dos indicadores: pertinencia y redacción, de 1 a 4, siendo 1 el nivel Muy Bajo; y el 4, el nivel Muy Alto. Esto se complementó con el grado de satisfacción, medido en una escala de 1 a 5, en el cual 1 significa muy baja satisfacción y 5, muy alta. También se dejó un espacio para sugerencias que permitieran mejoras los indicadores y descriptores. Las respuestas de los jueces fueron evaluadas mediante la técnica V de Aiken (Penfield, & Giacobbi, 2004). Se aceptaron los indicadores evaluados con una V superior a 0.80. Los expertos debían cumplir los siguientes requisitos mínimos para ser catalogados como tal: 1) trabajar como docentes en educación media superior; 2) poseer al menos 20 años de experiencia en la docencia en este nivel; 3) tener al menos el grado de maestría; 4) poseer experiencia en el diseño, revisión o mejora de instrumentos de evaluación; y 5) tener un puntaje de al menos 80% en las prácticas pedagógicas que se evalúan en la SOCME-10. Esto último se hizo mediante la aplicación de la misma rúbrica SOCME-10 a los jueces, y se descartaron todas las personas cuyo puntaje fuese inferior a esta medida. Se parte del principio de que un juez, para que lo sea, debe ser competente en lo que pretende evaluar. En este caso, tener las prácticas pedagógicas desarrolladas en al menos el nivel resolutivo. La aplicación fue en línea.

Tabla 2
Datos de las competencias de los jueces expertos

Fase 2. Aplicación de la prueba a un grupo piloto

La rúbrica fue aplicada a un grupo piloto de 25 docentes de educación media superior con el fin de determinar el grado de comprensión de las instrucciones, los indicadores y descriptores, como también para medir el tiempo de duración promedio de la aplicación. A partir de esto, se implementaron mejoras (Tabla 3). La aplicación fue en línea.

Tabla 3
Datos demográficos del grupo piloto

Fase 3. Evaluación de pertinencia y satisfacción

Una vez la rúbrica fue evaluada por los jueces y el grupo piloto, y se hicieron algunos ajustes en la redacción de los descriptores, se procedió a su aplicación en una muestra de 167 docentes de educacion media superior del Estado de Nuevo León, México (Tabla 4) con el fin de determinar la pertinencia, redacción de los descriptores y satisfacción con el instrumento. Todos los docentes fueron de una misma preparatoria privada. Esto se hizo con la misma escala empleada con los jueces, y el propósito fue determinar si la rúbrica podría ser relevante en esta población. La aplicación fue en línea.

Tabla 4
Datos sociodemográficos de la población objetivo

Fase 4. Análisis factorial y confiabilidad

Una vez se demostró que la rúbrica tenía buenos niveles de pertinencia, redacción y satisfacción en el grupo piloto, se procedió a realizar el análisis de validez de constructo empleando la misma muestra de 167 docentes. Esto se hizo por medio de un análisis factorial exploratorio (AFE). Antes de aplicar el AFE, se determinó el cumplimiento de requisitos para esta técnica por medio de una matriz de correlaciones, el valor de la determinante de la matriz de correlaciones, el índice de KMO (Kaiser Meyer Olkin) y la prueba de esfericidad de Barlett (Costello, & Osborne, 2005; Juárez-Hernández, 2018). Una vez se verificó el cumplimiento de los requisitos, se eligió el método de extracción de Mínimos cuadrados ponderados. El número de componentes a retener tuvo en cuenta la regla de Gutman-Kaiser (Gorsuch, 1983). Por último, se determinó la confiabilidad de la rúbrica mediante el coeficiente de Alfa de Cronbach, una vez se evaluó el cumplimiento de los requisitos para ello (Cronbach, 1951).

2.3. Aspectos Éticos

El estudio siguió la Ley de Protección de Datos Personales que se tiene en México. Así mismo, cada participante fue informado de los propósitos del estudio y firmó una carta de consentimiento en línea. En cualquier momento podía retirarse del estudio sin ninguna consecuencia. Al final, cada participante pudo revisar sus respuestas y determinar sus logros y áreas de oportunidad.

3. Resultados

3.1 Validez de contenido

Los resultados de la validez de contenido se presentan en la Tabla 5. Puede observarse que los valores de la V de Aiken son superiores a 0.8. Esto muestra que el instrumento posee validez de contenido, con adecuados niveles de acuerdo en pertinencia, redacción y satisfacción con el instrumento.  

Tabla 5
Resultados de la validez de contenido

3.2 Aplicación al grupo piloto

En la Tabla 6 se presentan los resultados de la aplicación de la rúbrica al grupo piloto de 25 docentes de educación media superior. Puede observarse que el instrumento fue valorado con adecuados niveles de pertinencia, redacción y satisfacción, debido a que la media fue superior a 3.0, que es el nivel mínimo requerido. Además, hubo un alto acuerdo entre todos los docentes respecto a estas tres variables, dado que se obtuvieron valores en la V de Aiken superiores a 0.8 (Tabla 6). Además, se detectó una alta consistencia interna del instrumento en este grupo (Alfa de Cronbach: 0.861).

Tabla 6
Valoración del instrumento por el grupo piloto

3.3 Pertinencia y grado de satisfacción

Después de la evaluación con los jueces, la rúbrica se aplicó a un grupo de 167 docentes para determinar el grado de pertinencia, redacción de las prácticas y de los descriptores, como también el nivel de satisfacción con el instrumento. Los resultados se presentan en la Tabla 7. Puede observarse que hubo un alto nivel de acuerdo entre todos los docentes respecto a que la rúbrica posee pertinencia, adecuada redacción y buena satisfacción, dado que la media fue superior a 3.0 y la V de Aiken fue superior a 0.8.   

Tabla 7
Valoración del instrumento por la población objetivo

3.4. Validez de constructo y confiabilidad

A partir del mismo grupo de 167 docentes, se analizó la validez de constructo y la confiabilidad. Primero, se constató que se cumplían los requisitos para el AFE: el valor de la determinante de la matriz de correlaciones fue de 0.070; la prueba de Bartlett fue de Xi: 429.215 (p<0.001) y el Índice KMO de 0.887, que son niveles adecuados (Tabla 8). Se obtuvieron correlaciones estadísticamente significativas entre todas las prácticas pedagógicas (ver Tabla 9).

Tabla 8
Prueba de Bartlett e índice KMO

-----

Tabla 9
Matriz de correlaciones

Los valores de las comunalidades fueron adecuados y se representan en el modelo factorial (Tabla 10). El AFE produjo dos factores, los cuales explicaron el 39.051% de la varianza (Tabla 11). Estos factores presentaron autovalores iniciales de 4.046 y 1.009 (Tabla 11).

Tabla 10
Comunalidades

-----

Tabla 11
Varianza total explicada

-----

 Tabla 12
Matriz de cargas factoriales

Notas. *Estos valores significan que la práctica está dentro de dos factores

Por último, se presenta la confiabilidad, la cual fue de 0.829, medida por el coeficiente de Alfa de Cronbach.

De acuerdo con el estudio realizado, se concluye que la Rúbrica de Prácticas Pedagógicas (SOCME-10) posee adecuados niveles de validez de contenido para los docentes de la educación media superior, dado que los valores de la V de Aiken para las tres variables evaluadas: pertinencia, redacción y satisfacción, obtenidos a partir de la revisión de jueces, fueron superiores a 0.80. Los jueces fueron docentes expertos en educación media superior, con al menos 20 años de trabajo en la docencia, título de maestría, experiencia en la revisión, diseño o mejora de instrumentos de evaluación, y un puntaje mínimo de 80% en sus prácticas pedagógicas a partir de la aplicación de la rúbrica, lo cual señala que tuvieron las competencias necesarias para llevar a cabo este proceso y sus valoraciones son confiables.

Tanto en el estudio piloto como de campo, se pudo determinar también que los docentes de educación media superior evaluaron la rúbrica con niveles adecuados de pertinencia, redacción y satisfacción en tanto los valores fueron superiores a 3.0, que era el valor mínimo aceptable. Además, se observan adecuados niveles de acuerdo en el grupo piloto como también en la muestra general en torno a estos aspectos, dado que los valores de la V de Aiken fueron superiores a 0.8 en las diferentes variables consideradas, lo cual refleja que, en general, la rúbrica es considerada por los mismos usuarios como pertinente, comprensible y satisfactoria. Esto es importante porque no es fácil poner de acuerdo con un grupo tan importante de docentes en estos aspectos. Además, representa un logro en el presente estudio, ya que hay muchos instrumentos para docentes que poseen validez de constructo y confiabilidad, pero no pertinencia ni utilidad (Seidman, Kim, Raza, Ishihara, & Halpin, 2018) lo cual lleva a que con frecuencia no se empleen o se dejen solo para fines investigativos.  

La confiabilidad de la SOCME-10 fue buena, de acuerdo con los niveles reportados en el área, lo cual demuestra que tiene consistencia interna (Nunnaly, & Berstein, 1994). Respecto a la validez de constructo, se encontró la predominancia de un factor, en el cual se incluyen la mayoría de las prácticas pedagógicas, pero también apareció un segundo factor en el cual una práctica pedagógica fue incluida. Esto último no se corresponde con la teoría por cuanto sólo se busca valorar un eje que es la formación integral. Es preciso indicar que este segundo factor es marginal dado que la práctica pedagógica fue integrada en el primer factor con una mayor carga. Sin embargo, el dato más sorprendente es que dos prácticas: la práctica 2 (resolución de problemas) y la práctica 10 (evaluación formativa) presentaron comunalidades bajas, y son las dos prácticas más relevantes del instrumento; quitarlas llevaría a que el instrumento perdiese relevancia en el marco de la socioformación. La razón de este hecho puede deberse al tamaño de la muestra o a una tendencia de los docentes a responder de acuerdo con la presión institucional ya que el estudio se hizo en una preparatoria de carácter privado donde la contratación depende del desempeño obtenido durante el semestre, aspecto que indudablemente puede afectar la validez de instrumento de medición, lo cual está dentro de los factores situacionales que afectan la validez (Corral, 2009; Leyva-Barajas, 2011). Por ende, se recomienda realizar nuevos estudios para contrastar estos hallazgos empleando el instrumento completo con sus diez prácticas. Esto no descalifica la rúbrica, dado que fue un análisis exploratorio y se encontró que sí posee validez de contenido, pertinencia, buena comprensión, adecuada satisfacción y un buen nivel de confiabilidad.

Los instrumentos recientes para evaluar las prácticas pedagógicas (Pianta, Hamre, & Mintz, 2012; Seidman, Kim, Raza, Ishihara, & Halpin, 2018; World Bank, 2015), se centran en las acciones que se deben cumplir en el proceso de enseñanza, aprendizaje y evaluación, como planear las actividades didácticas, evaluar a los alumnos, brindar asesoría y apoyo, fomentar un buen ambiente trabajo, etc., pero no se enfocan en las acciones que deben ejecutarse para formar ciudadanos que respondan a los retos de la sociedad del conocimiento y ayuden a transformar el entorno latinoamericano de pobreza, exclusión y violencia. La SOCME-10, en cambio, enfatiza en ello mediante prácticas pedagógicas tales como: 1) la identificación, argumentación y resolución de problemas del entorno; 2) la evaluación formativa continua; 3) el proyecto ético de vida; 4) la resolución de los problemas mediante la transversalidad; 5) la comunicación asertiva necesaria para aprender a resolver los conflictos y mejorar la convivencia; y 6) el desarrollo de la creatividad y la innovación.  

Es importante anotar que la SOCME-10 posee una serie de elementos innovadores respecto a instrumentos parecidos, tales como: 1) cada práctica pedagógica que se evalúa permite determinar los avances desde una perspectiva tradicionalista y mecánica a un enfoque renovador de la docencia, lo cual le permite al docente ir identificando sus avances con los estudiantes, algo esencial para el desarrollo docente (Seidman, 2012); 2) se busca el desarrollo de ciudadanos que ayuden al desarrollo social sostenible en cada una de las prácticas, tanto desde el ámbito personal y social como ambiental, algo que no se evalúa en los instrumentos recientes; y 3) se aplica la taxonomía socioformativa en los cinco niveles que se tienen para cada práctica pedagógica, lo cual permite orientar la formación hacia las metas de desarrollo de Latinoamérica, dado que las taxonomías tradicionales como la de Bloom se enfocan más en la sociedad industrial por el énfasis en los objetivos.

Finalmente, hay que advertir que el presente estudio es de tipo exploratorio, por lo cual deben implementarse nuevos estudios para confirmar los datos aquí encontrados, y evaluar de nuevo la validez de constructo mediante un mejor control de la aplicación en los participantes para evitar que los usuarios se sientan presionados a responder en una determinada orientación. Además, deben determinarse otros tipos de validez, como la validez predictiva y concurrente. Así mismo, se hace necesario implementar estudios de la SOCME-10 en contextos diversos y en diferentes países de América Latina, que permitan validar en mejor grado este instrumento, con las adaptaciones que sean necesarias.

Álvarez-Álvarez, C. (2015). Teoría frente a práctica educativa: algunos problemas y propuestas de solución. Perfiles Educativos, 37, 172-190.  https://doi.org/10.1016/j.pe.2015.11.014. http://www.sciencedirect.com/science/article/pii/S0185269815000264

Ambrosio, R. (2018). La socioformación: un enfoque de cambio educativo. Revista Iberoamericana de Educación, 76(1), 57-82.

Araujo, M. C., Carneiro, P. M., Cruz-Aguayo, Y., & Schady, N. (2016). Teacher quality and learning outcomes in kindergarten (IDB Working Paper Series IDB-WP-665). Retrieved from the IADB [Inter-American Development Bank] website https://publications.iadb.org/bitstream/handle/11319/7425/Teacher-Quality-LearningOutcomes-Kindergarten.pdf.

Bruns, B., De Gregorio, S., & Taut, S. (2016). Measures of effective teaching in developing countries (RISE-WP-16/009) RISE [Research on Improving Systems of Education] Programme. Retrieved from the RISE website http://www.riseprogramme.org/sites/www.riseprogramme.org/files/RISE_WP-009_Bruns.pdf.

Carrillo, S. M., Forgiony, J. O., Rivera, D. A., Bonilla, N. J., Montanchez, M. L., & Alarcón, M. F. (2018). Pedagogical Practices versus Inclusive Education from the Teacher's perspective. Espacios, 39(17), 15.

Castro-Rubilar, F., Castañeda-Díaz, M. T., Ossa-Cornejo, C., Blanco-Hadi, E., & Castillo-Valenzuela, N. (2017). Validación de la escala de autoadscripción inclusiva en docentes secundarios de Chile. Psicología Educativa, 23, 105-113. https://doi.org/10.1016/j.pse.2017.05.003 http://www.sciencedirect.com/science/article/pii/S1135755X17300209

Corral, Y. (2009). Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. Revista Ciencias de la Educación, 19(33), 228-247. Recuperado de http://servicio.bc.uc.edu.ve/educacion/revista/n33/art12.pdf

Costello, A. B., & Osborne, J. (2005). Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Practical Assessment Research & Evaluation, 10(7), 1-9.

Cronbach, L.J., Coefficient alpha and the internal structure of tests. Psychometrika, 16 (1951), 297- 334.

De Winter, J. C., & Dodou, D. (2012). Factor recovery by principal axis factoring and maximum likelihood factor analysis as a function of factor pattern and sample size. Journal of Applied Statistics, 39, 695-710.

Gorsuch, R. L. (1983). Factor analysis. Hillsdale, NJ, Lawrence Erlbaum, 1983.

Hernández, J. S. (2013). Procesos de evaluación de las competencias desde la socioformación. Ra Ximhai, 9, 11-19. Recuperado de http://www3.redalyc.org/articulo.oa?id=46129004001 (25/10/18)

Hernández, J. S., Tobón, S., Ortega, M. F., & Ramírez, A. M. (2018). Evaluación socioformativa en procesos de formación en línea mediante proyectos formativos. Educar, 54(1), 147-163.

Juárez-Hernández, L. G. (2018). Manual práctico de estadística básica para la investigación. Mount Dora: Kresearch.

Karwowski, M., & Lebuda, I. (2016). Creative self-concept: A surface characteristic of creative personality. In G. Feist, R. Reiter-Palmon, & J. C. Kaufman (Eds.), Cambridge handbook of creativity and personality research. New York: Cambridge University Press.

Leyva, Y. E. (2011). Una reseña sobre la validez de constructo de pruebas referidas a criterio. Perfiles Educativos, 33(131), 131-154.

Leyva, D., Weiland, C., Barata, M., Yoshikawa, H., Snow, C., Treviño, E., & Rolla, A. (2015). Teacher–child interactions in chile and their associations with prekindergarten outcomes. Child Development, 86, 781-799. doi:10.1111/cdev.12342

Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory. New York: McGraw-Hill.

Penfield, R.D., & Giacobbi, Jr, P.R. (2004). Applying a score confidence interval to Aiken item content-relevance index. Measurement in Physical Education and Exercise Science, 8, 213-225.

Pianta, R., Hamre, B., & Mintz, S. (2012). Classroom Assessment Scoring System. Upper Elementary Manual. Teachstone, Charlottesville, Virginia.

Safiee, N., Jusoh, Z.M., Noor, A.M.H.M., Tek, O.E., & Salleh, S.M. (2018). An early start to STEM education among year 1 primary students through project-based inquiry learning in the context of a magnet. IOP Conference Series: Materials Science and Engineering, 296(1), art. no. 012023. DOI: 10.1088/1757-899X/296/1/012023

Seidman, E. (2012). An emerging action science of social settings. American Journal of Community Psychology, 50, 1e16. https://doi.org/10.1007/s10464-011- 9469-3, 0:1-16.

Seidman, E., Kim, S., Raza, M., Ishihara, M., & Halpin, P. F. (2018). Assessment of pedagogical practices and processes in low and middle income countries: Findings from secondary school classrooms in Uganda. Teaching and Teacher Education, 71, 283-296. https://doi.org/10.1016/j.tate.2017.12.017. http://www.sciencedirect.com/science/article/pii/S0742051X17303402

Seidman, E., Raza, M., Kim, S., & McCoy, J. M. (2013). Teacher instructional practices and processes system (V.5) e TIPPS: Manual and scoring system. New York University.

SEP (2015). Observación de clase. Herramientas para el supervisor. México: SEP.

Tobón, S. (2017). Conceptual analysis of the socioformation according to the knowledge society. Knowledge Society​ and Quality of Life (KSQL), 1, 9-35. https://goo.gl/aJeSvw 

Tobón, S., Pimienta-Prieto, J. H., Juárez-Hernández, L. G., & Hernández-Mosqueda, J. S. (2018). Design and Validity of a Rubric to Evaluate Pedagogical Practices with a Socioformative Approach. Information, in press.

Vázquez, J., Hernández, J., Vázquez, J., Juárez, L. & Guzmán, C. (2017). El trabajo colaborativo y la socioformación: un camino hacia el conocimiento complejo. En Revista Educación y Humanismo, 19 (33), 334-356. http://dx.doi.org/10.17081/eduhum.19.33.2648

World Bank. (2015). Conducting classroom observations: Analyzing classrooms dynamics and instructional time - using the stallings 'classroom snapshot' observation system: User guide. Retrieved from the World Bank Group website http://documents.worldbank.org/curated/en/790221467997639302/Conductingclassroom-observations-analyzing-classrooms-dynamics-and-instructionaltime-using-the-Stallings-classroom-snapshot-observation-system-user-guide. 

1. Doctor por la Universidad Complutense de Madrid en Modelos Educativos y Políticas Culturales. Globalización e Identidad en la Sociedad del Conocimiento. Integrante del Sistema Nacional de Investigadores de México (SNI). Investigador del Centro Universitario CIFE. www.cife.edu.mx y de www.ekap.us  E-mail: stobon5@gmail.com

2. Doctor en Educación. Diagnóstico, medida y evaluación de la intervención educativa. Profesor investigador del Centro Universitario CIFE, Cuernavaca, México. E-mail: juliopimienta1@gmail.com

3. Master en Investigación Educativa. Profesor Investigador del Centro Universitario CIFE, Cuernavaca

4. Doctor en Ciencias Biológicas y de la Salud, Profesor investigador del Centro Universitario CIFE, Cuernavaca, México. E-mail: luisgibrancife@gmail.com

5. Doctor en Socioformación y Sociedad del Conocimiento. Investigador en el Centro Universitario CIFE, E-mail: josesilvanohernandez@gmail.com