ISSN 0798 1015

Vol. 41 (Nº 01) Año 2020. Pág. 13

Diseño y validación del instrumento “enfoque directivo en la gestión para resultados en la sociedad del conocimiento”

Design and validation of the instrument "managerial approach in management for results in the knowledge society"

MARTÍNEZ-CORONA, José I. 1; PALACIOS-ALMÓN, Gloria E. 2 y JUÁREZ-HERNÁNDEZ, Luis G. 3

Recibido: 11/09/2019 • Aprobado: 05/01/2020 • Publicado 15/01/20

Contenido

1. Introducción

2. Metodología

3. Resultados

4. Discusión

5. Conclusiones

Referencias bibliográficas

1. Introducción

La consolidación de la sociedad del conocimiento trae consigo diversos retos a los países, empresas, organizaciones y personas. Uno de los más palpables en esta sociedad, es la formación del capital humano, tanto en el ámbito social, como en el económico; mismos que son inherentes a las organizaciones públicas (Pedraja-Rejas, 2017). En este sentido, la principal característica que representa una ventaja competitiva entre las organizaciones está en los activos intangibles, la cual se refleja en su capital humano (Bueno, Salmador, y Merino, 2008).

A este respecto, Pedraja-Rejas (2017), refiere que, en las organizaciones, el financiamiento es un tema que en frecuentes ocasiones no está garantizado; por lo que, la generación de ingresos propios para financiar el desarrollo de sus actividades sustantivas y crecimiento es una necesidad latente. Por lo anterior, refiere el autor, se determinan retos o desafíos en la gestión organizacional, como definir objetivos claros y sencillos, gestión del conocimiento para la toma de decisiones, focalización en la valoración y despliegue de los recursos y capacidades institucionales, y capacidad de autorregulación. De igual forma, bajo la perspectiva de la administración pública tradicional, se les da un mayor peso a los aspectos del cumplimiento legal que a los resultados; esto trae consecuencias, como la poca adopción de iniciativas innovadoras, desconocimiento de necesidades de la ciudadanía y una preocupación orientada a la regulación más no en la calidad y en la generación del valor público (Chica, 2015).

Para contribuir a superar estos retos, la Gestión para Resultados (GpR) busca que la administración pública tenga un cambio cultural y de paradigmas, donde se concibe en el centro de la toma de decisiones, para proveer resultados, a los servidores públicos; lo cual implica, una cultura de gestión eficaz en el Estado, los gobiernos y sus administraciones (Ramos-García, 2016). En esta propuesta de cultura organizativa, directiva y de gestión, se determinan las opciones de actuación de los servidores públicos, mediante el uso de herramientas prácticas; por lo tanto, al hacer el énfasis en los resultados, se privilegia la definición de metas y objetivos para cumplirlos con eficiencia y eficacia (Secretaría de Hacienda y Crédito Público, 2017).

Bajo estas consideraciones, Martínez-Corona y Palacios-Almón (2019) concluyeron que la GpR es una herramienta metodológica que tiene ámbito de aplicación en la administración pública y en sus resultados, con la particularidad de involucrar a la ciudadanía; la cual, se está conformando en una sociedad del conocimiento y justo es una de sus características. Además, reconocen que el término sociedad del conocimiento es un marco teórico en construcción y que uno de los retos de las organizaciones es la complejidad de gestionar el conocimiento y comprenderlo. En el contexto de la administración pública, la GpR aporta bases para mejorar la toma de decisiones, con el auxilio de principios y de herramientas. Es así que, con la combinación de estos elementos, se facilita la formación de ciudadanos, directivos – servidores públicos, que en sus decisiones encuentran el beneficio de la propia sociedad.

En este sentido, existen diversas consideraciones, entre las cuales destaca que el énfasis de la GpR se centra en los aspectos sociodemográficos, modernizar procesos y la profesionalización de directivos (Chica, 2015). Bajo lo anteriormente descrito, el elemento diferenciador en la competitividad de las organizaciones es su capital humano; así como, que la GpR dentro de sus objetivos es mejorar las decisiones de los administradores públicos y la mayor participación de los ciudadanos en el desempeño del gobierno. Es por lo que, se decidió estudiar el enfoque directivo en la gestión para resultados en la sociedad del conocimiento.

Como puede observarse, el tema se considera importante y relevante; sin embargo, los aportes instrumentales que evalúen el constructo del enfoque directivo hacia la gestión para resultados en la sociedad del conocimiento son nulos. Por lo anterior, el objetivo del presente fue la construcción de un instrumento que integre los elementos necesarios para la evaluación de la GpR y los elementos elegidos para la construcción de este sean pertinentes y representativos del constructo objetivo.

Para el desarrollo de la presente investigación se efectuó un estudio instrumental; el cual, de acuerdo con Montero y León (2002), son aquellos estudios que están centrados en el desarrollo / construcción  de pruebas y aparatos, así como el análisis de sus propiedades psicométricas, mismos que son “constructos inherentes a la investigación desde la perspectiva positivista para otorgarle a los instrumentos y a la información recabada, exactitud y consistencias necesarias para efectuar generalizaciones de los hallazgos” (Hidalgo, 2005, pág. 226).

2.1. Procedimiento

El presente estudio se llevó a cabo mediante las siguientes fases: a) diseño y construcción del instrumento, b) revisión de cinco expertos, c) juicio de expertos y d) aplicación a un grupo piloto.

2.2. Diseño

Para el diseño del instrumento se realizó un análisis documental para localizar instrumentos validados en el área, la cual reveló la carencia de propuestas o aportaciones de esta naturaleza. Por lo que, se tomó como base lo argumentado por Chica (2015), respecto a los Declaración de Marrakech, donde en su primer principio, establece que, es importante en la GpR contar con un enfoque coherente y lo estructura en tres aspectos: Ex ante, durante la ejecución y Ex post; así mismo, se incorporó un aspecto transversal referente a la sociedad del conocimiento. Una vez determinados y delimitados los aspectos que integran el constructo (una dimensión), se diseñó un tipo de instrumento que brindara la información precisa, por lo que se eligió una rúbrica analítica. En la Tabla 1, se presentan los aspectos, componentes e indicadores propuestos.

Tabla 1
Aspectos, componentes e
indicadores del instrumento

Fuente: Elaboración propia

2.3. Revisión por expertos

Una vez que fue diseñado el instrumento, se recurrió primeramente a la revisión de cinco expertos. A este respecto, este tipo de revisión tiene por objetivos la verificación de las preguntas o ítems pertenecientes al fenómeno o constructo y su relevancia, así como la forma en que fueron elaborados (redacción) y si son comprensibles (Buela-Casal y Sierra, 1997). Para la selección de los expertos, se utilizó un biograma, que es la representación gráfica del perfil profesional y biográfico que configuran la identidad profesional y trayectoria de los jueces (Cabero-Almenara y Llorente-Cejudo, 2013). Dentro de los criterios para la referida selección, se consideró que el experto contará experiencia significativa en el área, nivel académico mínimo de maestría y experiencia en la revisión de instrumentos de investigación (Juárez-Hernández y Tobón, 2018). En la Tabla 2 se presenta el perfil de los expertos que participaron en esta etapa.

Tabla 2
 Perfil de expertos

Fuente: Elaboración propia

2.4. Juicio de expertos

La validez de contenido de un instrumento es el grado que refleja un dominio específico del contenido que se pretende mida (Hernández-Sampieri, Fernández-Collado, y Baptista-Lucio, 2010). Para el análisis de esta propiedad psicométrica, el juicio de expertos se considera como la vía más frecuente (Ruiz, 2002). En este orden, el juicio de expertos consiste en una opinión de personas con trayectoria en el tema, que son reconocidos como expertos calificados y que pueden dar información, evidencia, juicio y valoración (Carrion, Soler, y Aymerich, 2015). Para el presente, se contó con la participación de 27 jueces expertos (Tabla 3), los cuales se seleccionaron considerando aspectos relevantes para el proceso como experiencia en el área, grado mínimo de maestría, artículos publicados y experiencia en el diseño y validación de instrumentos de investigación (Juárez-Hernández y Tobón, 2018). 

Específicamente, la evaluación de los elementos del instrumento tuvo un enfoque cuantitativo y cualitativo para los criterios de pertinencia y redacción, los cuales podían ser valorados mediante la escala de Jueces Expertos (CIFE, 2018) constituida de uno a cuatro, valor más bajo y más alto, respectivamente. El análisis de la evaluación cuantitativa se realizó mediante el cálculo del coeficiente de validez de contenido V de Aiken (Aiken, 1980), de acuerdo con el modelo propuesto por Penfield y Giacobbi (2004), así como el cálculo de sus intervalos de confianza al 90%. Para considerar un ítem como válido, el valor de la V de Aiken debía ser superior a 0.75 (Bulger y Housner, 2007) y con un límite inferior del intervalo de confianza no menor de 0.50 (Cicchetti, 1994). Descriptores o ítems con una V menor a 0.75, o bien en el intervalo de confianza inferior a 0.50, fueron sujetos a una revisión a detalle, considerándose su eliminación o bien su mejora de acuerdo con las recomendaciones de los expertos. A este respecto, para la evaluación cualitativa, los jueces expertos podrían efectuar sugerencias con relación a la mejora en la redacción de la pregunta, eliminar un descriptor, mejorar la redacción de un descriptor, cambiar un descriptor por otro, presentar una redacción alternativa y unir un descriptor con otro.

Tabla 3
Perfil de los
jueces expertos

Fuente: Elaboración propia

2.5. Aplicación de la prueba con un grupo piloto

Posterior al análisis de la evaluación de los jueces expertos, así como la ponderación de las sugerencias y mejoras, la rúbrica analítica se aplicó a un grupo piloto conformado por 12 funcionarios a nivel directivo de la administración pública. En la Tabla 4, se describen los datos sociodemográficos de los participantes. Los objetivos que se tuvieron en la aplicación fueron determinar el grado de satisfacción con el instrumento, compresión de instrucciones e ítems, descriptores y tiempo de resolución; mediante la encuesta de satisfacción (CIFE, 2018). El segundo objetivo fue determinar la confiabilidad del instrumento mediante el coeficiente Alfa de Cronbach (Cronbach, 1951), tomando como base los criterios para el valor del coeficiente que proponen Nunnaly y Bernstein (1994).  Es importante señalar que, el cálculo de este coeficiente en muestras pequeñas tiende a ser inestable (Charter, 2003) por lo que el cálculo, únicamente tendrá un fin orientativo y no conclusivo.

Tabla 4
Perfil del grupo piloto

Fuente: Elaboración Propia

3. Resultados

3.1. Revisión por expertos

Con los resultados de la etapa de diseño del instrumento y una vez realizada la revisión de expertos, se contó con una primera versión del instrumento. En esta etapa, las observaciones y recomendaciones se centraron en aspectos como acotar planteamientos que permitan delimitar los niveles del indicador y sugerencias para agregar elementos en algunos niveles; así como, realizar ajustes de redacción de preguntas. Con esto, se obtuvo una retroalimentación que permitió afinar la redacción de los indicadores y la descripción de los niveles de dominio (Tabla 5).

Tabla 5
Rúbrica Analítica para Evaluar el Enfoque Directivo en la Gestión para resultados
en la Sociedad del Conocimiento – Etapa Diseño y Revisión de Expertos

Fuente: Datos de la Investigación

3.2. Juicio de Expertos

El análisis cualitativo arrojó recomendaciones y sugerencias, en su mayoría, para mejorar la redacción de descriptores y redacción de las preguntas. Respecto, al análisis cuantitativo, la totalidad de los ítems fueron validados en términos de pertinencia y redacción (V>0.75; ICI>0.50) (Tabla 6). Se señala que, de las opciones de los jueces expertos, respecto al instrumento, manifestaron que la longitud de este es satisfactoria y que los indicadores son comprensibles y claros; así como, las opciones de respuestas son adecuadas y bien definidas.

Tabla 6
Índice de validez de contenido (V de Aiken) e intervalos de confianza
para el valor del índice por ítem para los criterios analizados.

Fuente: Datos de la Investigación

3.3. Aplicación de la prueba con un grupo piloto

En lo que respecta a la aplicación de la prueba con un grupo piloto, se precisa que se manifestó un buen grado de comprensión de instrucciones e ítems (Tabla 7). Con relación al grado de satisfacción con el instrumento y relevancia de las preguntas, se obtuvo una excelente ponderación (Tabla 7). Respecto a la evaluación de la confiabilidad, se obtuvo un valor óptimo (Alfa de Cronbach: 0.822).

Tabla 7
Resultados de la encuesta de satisfacción del instrumento.

Fuente: Datos de la Investigación

La GpR es un marco conceptual (Secretaría de Hacienda y Crédito Público, 2017) o modelo (Makón, 2000), cuya función es la de facilitar a las organizaciones públicas la dirección efectiva e integrada de su proceso de creación de valor público; y, propone la administración de los recursos públicos centrada en el cumplimiento de las acciones estratégicas definidas en un plan de gobierno en un periodo determinado. Su propósito es asegurar la máxima eficacia, eficiencia y efectividad del desempeño; por lo que, permite gestionar y evaluar las acciones con relación a las políticas públicas, para mejorar el efecto de su acción y en beneficio de los ciudadanos y de la sociedad, sin renunciar a la transparencia de la gestión. En la actualidad, la ciudadanía está atenta a los resultados de la administración pública; y, la Sociedad del Conocimiento se caracteriza por el interés en incidir en el desarrollo de acciones de valor público (Tobón, Guzmán, Hernández, y Cardona, 2015); por lo que, la GpR representa un vehículo para lograr una vinculación exitosa entre sus principios y el interés público.

Aunado a esto, se reconoce que existe una débil coordinación, en la administración pública, entre la alta dirección y las gerencias operativas; por lo que, es imperante una nueva forma de vinculación que defina responsabilidades y compromisos específicos, centrándose en los resultados (Makón, 2000). Por lo tanto, se vuelve indispensable incentivar una descentralización en la toma de decisiones; por lo que, el enfoque de una gestión centrada en los resultados en los directivos del sector público es importante y relevante. La GpR se caracteriza por: una estrategia en la que se definen los resultados esperados; una cultura y un instrumento de gestión orientados a mejorar la eficiencia, eficacia, productividad y efectividad en el uso de los recursos públicos; sistemas de información que permitan monitorear de forma oportuna y transparente la acción pública; mecanismos para impulsar la calidad de los servicios públicos; y, sistemas de contratación de los servidores públicos (Secretaría de Hacienda y Crédito Público, 2017).

Como se indicó, los instrumentos que permitieran evaluar dicho enfoque son inexistentes. De esta manera, surge la necesidad del desarrollo de esta investigación para el diseño de un instrumento que evalúe el enfoque de directivo en la GpR en la Sociedad del Conocimiento. Al no encontrarse, se concentró en la búsqueda de marcos conceptuales y se comparte la conclusión de Muñoz y Alejandro (2018), en que el proporcionado por la Segunda Mesa Redonda Internacional sobre Resultados de Desarrollo de Marrakech (Segunda Mesa) y el modelo propuesto por el BID son los que tienen una mayor aceptación, particularmente en el caso Latinoamericano. Este análisis permitió, en un primer momento, identificar los aspectos e ítems que integrarían el instrumento, identificándose tres aspectos: Ex ante, durante la ejecución y Ex post.

De Chica (2015), se desprende el análisis de lo concluido en la Segunda Mesa; en la cual, la Organización para la Cooperación y el Desarrollo Económico (OCDE) se asoció con diferentes agencias de desarrollo y concluyen que son cinco principios para gestionar para resultados en el desarrollo, los cuales son:

1. En todas las fases, desde la planificación estratégica, pasando por la ejecución, hasta la terminación, concentrar el diálogo en los resultados para los países socios (OCDE), agencias de desarrollo y otros interesados.

2. Alinear la programación real, el seguimiento y la evaluación de actividades con los resultados esperados acordados.

3. Mantener el sistema de información de resultados tan simple, costo-efectivo y amigable como sea posible.

4. Administrar para y no por resultados.

5. Usar información de los resultados para administrar aprendiendo, tomar decisiones, informar y rendir cuentas.

Particularmente, respecto al primer principio, concentrar el diálogo en los resultados, es su contenido, se toma como premisa que en la gestión para resultados es fundamental tener un enfoque coherente: ex ante, implementación de programas y ex post.  Ex ante, ocurre en la fase estratégica y de planificación, es cuando se articulan los resultados esperados, se analizan los costos e impactos esperados; en la etapa de implementación de programas, se da el seguimiento necesario para evaluar el progreso de las acciones con el objetivo de identificar correcciones; Ex post, es cuando los resultados son evaluados y contrastados con respecto a los objetivos y los factores que influyen en los proyectos; relacionado con el eje transversal, sociedad del conocimiento, se considera como una actividad continua en todas las fases y se centra en el uso de las tecnologías de la información y comunicación, y el análisis de datos para la toma de decisiones. Bajo este dimensionamiento, se construyó el instrumento con el tipo de rúbrica analítica, ya que por su naturaleza es descriptiva y sistémica (Alcon-Latorre, 2016).

Si bien el instrumento se considera que incorpora los elementos referentes y pertenecientes al constructo, se tiene que demostrar que ítems y aspectos elegidos para su elaboración son indicadores de lo que se pretende medir (Robles-Garrote y Rojas, 2015). Por lo anterior, el instrumento se sometió a la revisión de expertos, juicio de expertos y aplicación a un grupo piloto. A este respecto, la revisión de expertos reveló la pertenencia y relevancia de los aspectos e ítems, así como su redacción. De lo anterior, se puede indicar que la profundización efectuada, en el análisis documental, permitió un acercamiento importante a la redacción final de los indicadores y sugerencias de mejora de los expertos se centraron en detallar los niveles. En este sentido, se realizaron observaciones para delimitar o agregar elementos en los niveles del indicador, para así dejar clara la redacción a la persona que contesta el instrumento. Por ejemplo: al diseñar un programa, se establecen objetivos y se generan metas para alcanzarlos, por lo que se pudiera confundir con resultados.

Respecto al juicio de expertos, si bien se ha indicado como la vía usual para determinar la validez de contenido de un instrumento, se deben de considerar diversos aspectos inherentes al mismo. En este orden, un factor fundamental para un adecuado análisis de validez de contenido se relaciona con la selección y número de expertos (Scapolo y Miles, 2006; García y Fernández, 2008; Juárez-Hernández y Tobón, 2018). Por lo anterior, se buscó la participación de jueces que tuvieran: experiencia en el área, grado mínimo de maestría, artículos publicados y experiencia en el diseño y validación de instrumentos de investigación (Juárez-Hernández y Tobón, 2018). Otro aspecto para mencionar es el número de ellos, ya que en el presente se tuvo una alta participación con 27 jueces, destacando que el número de jueces es superior al que estipulan diversos autores (Hyrkäs, Appelqvist-Schmidlechner, y Ossa, 2003; Mills, Butt, Maynard, y Hardwood, 2012). De esta fase, también destaca el tipo de evaluación que se efectuó, la cual fue cualitativa y cuantitativa, tal y como se sugiere (Haynes, Richard, y Kubany, 1995; Juárez-Hernández y Tobón, 2018).

La primera de ellas permitió identificar comentarios y sugerencias valiosos de los jueces expertos. De las cuales, resaltan aportaciones para mejorar la calidad de la redacción, brindando elementos teóricos y prácticos, así como su propia experiencia para aclarar los descriptores; distinciones para delimitar el nivel de desempeño en descriptores; así como, retroalimentación para aclarar la redacción de preguntas. Por su parte, la evaluación cuantitativa permitió empleó de un índice de relevancia, de manera específica la V de Aiken (Aiken, 1980; Penfield y Giacobbi; 2004). A este respecto, con la implementación de este coeficiente se logró confirmar la validez de contenido de los ítems del instrumento en los criterios evaluados (Penfield y Giacobbi, 2004; Newcombe y Merino-Soto, 2006). Sobresale que, para la totalidad de los ítems, ninguno de ellos presentó un valor del coeficiente de validez de contenido V de Aiken menor al estipulado (V>0.75); así como, para el intervalo de confianza inferior (ICI>0.50). Mediante este esquema se puede indicar que los ítems propuestos son representativos del constructo y confiere una adecuada claridad gramatical o de redacción de estos; así como, de las instrucciones (Haynes, Richard, y Kubany, 1995; Koller, Levenson, y Glück, 2017).

Estas fases tuvieron objetivos específicos y particulares, los cuales se suscribieron dentro de un marco metodológico para presentar un instrumento de carácter científico (Kerlinger, Lee, Pineda, y Mora-Magaña, 2002; Mendoza-Mendoza y Garza, 2009). En este sentido, Las fases efectuadas anteriormente permitieron aplicar un instrumento a un grupo piloto y mediante esta aplicación se logró la clarificación de las instrucciones y la adecuación de algunos términos para la población objetivo; los cuales, se consideran elementos relevantes que pueden afectar las propiedades psicométricas de un instrumento (Haynes, Richard, y Kubany, 1995; Meliá, 2001; Koller, Levenson, y Glück, 2017).

Propiamente, la selección de los elementos que conformarían el grupo piloto se basó en el criterio de personas que ocupen un puesto directivo en la administración pública federal o estatal; por lo tanto, se eligieron 12 participantes. Los resultados de esta fase fueron satisfactorios, ya que, en primer orden, se valoró como de buen grado la comprensión de las instrucciones e ítems, además se manifestó una excelente satisfacción con el instrumento, con la relevancia de las preguntas y con el tiempo para su resolución. Es importante señalar que, esta evaluación brinda elementos para efectuar mejoras al instrumento para incrementar el grado de comprensión del instrumento que lo integran (instrucciones y descriptores de los niveles de desempeño); y que, mediante éstas, se logre una evaluación excelente de estos aspectos en un futuro.

Por su parte, de acuerdo con los lineamientos establecidos por Nunnally y Bernstein, (1994), la confiabilidad estimada es óptima (Alfa de Cronbach: 0.822). Es importante indicar que este coeficiente proporciona el grado de correlación entre ítems y su representación del concepto abordado (Welch y Comer, 1988; Celina-Oviedo y Campo-Arias, 2005).  A este respecto, se menciona que el valor tomado por el coeficiente tiende a ser inestable con muestras pequeñas (Charter, 2003); por lo anterior, únicamente el valor obtenido no puede ser conclusivo.

Mediante el marco metodológico efectuado, la Rúbrica Analítica para evaluar el Enfoque Directivo en la Gestión para Resultados en la Sociedad del Conocimiento cuenta con validez de contenido y muestra una adecuación para la aplicación a una muestra poblacional. Se reconoce que, de acuerdo a la búsqueda preliminar, no se tiene disponible un instrumento similar, por lo que se considera conveniente realizar futuras estudios para consolidar el enfoque que se pretende medir y así aportar a la mejora de la gestión de las organizaciones públicas.

Alcon-Latorre, M. (2016). La rúbrica como instrumento de evaluación en los estudios universitarios. Revista Observar, 10(1), 1-15.

Aiken, L. R. (1980). Content validity and reliability of single items or questionnaries. Educational and Psychological Measurement(40), 955-959.

Bulger, S. M., y Housner, L. D. (2007). Modified Delphi investigation of exercise science in physical education teacher education. Journal of Teaching in Physical Education, 26(1), 57-80.

Buela-Casal, G., y Sierra, J. C. (1997). Manual de evaluación psicológica: fundamentos, técnicas y aplicaciones. Siglo XXI de España Editores.

Bueno, E., Salmador, M., y Merino, C. (2008). Génesis, concepto y desarrollo del capital intelectual en la economía del conocimiento: Una reflexión sobre el Modelo Intellectus y sus aplicaciones. Estudios de Economía aplicada, 26(2), 43-64.

Cabero-Almenara, J., y Llorente Cejudo, M. C. (2013), La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información (TIC). Revista de Tecnología de Información y Comunicación en Educación, 7 (2) pp.11-22. Recuperado de: http://tecnologiaedu.us.es/tecnoedu/images/stories/jca107.pdf.

Carrion, C., Soler, M., y Aymerich, M. (2015). Análisis de la validez de contenido de un cuestionario de evaluación del aprendizaje basado en problemas. Un enfoque cualitativo. Formación Universitaria, 8(1).

Charter, R. A. (2003). A breakdown of reliability coefficients by test type and reliability method, and clinical implications of low reliability. The Journal of General Psychology, 130(3), 290-304.

Celina-Oviedo, H., y Campo-Arias, A. (2005). Aproximación al uso del coeficiente alfa de Cronbach. Revista colombiana de psiquiatría, 34(4).

Cicchetti, D. V. (1994). Guidelines, criteria, and rules of thumb for evaluating normed and standarized assessment instruments in psychology. Psychological Assessment, 6, 284-290.

Chica, S. A. (enero-junio de 2015). Gestión para Resultados en el Desarrollo: Hacia la Construcción de una Buena Gobernanza. Administración & Desarrollo, 45(1), 71-93.

CIFE. (2018). Planeación del diseño y validación de un instrumento de investigación. Cuernavaca, Morelos, México: Centro Universitario CIFE.

Corral de Franco, Y. J. (2009). Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. Revista Ciencias de la Educación, 19(33).

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334.

García, I., y Fernández, S. (2008). Procedimiento de aplicación del trabajo creativo en grupo de expertos, Energética, 29(2), 46-50. Recuperado de: http://www.redalyc.org/articulo.oa?id=329127758006

Haynes, S. N., Richard, D., y Kubany, E. S. (1995). Content validity in in psychological assessment: a functional approach to concepts and methods. Psychological assessment, 7(3), 238-247.

Hernández-Sampieri, R., Fernández-Collado, C., y Baptista-Lucio, P. (2010). Metodología de la Investigación. México: McGrawHill Educación.

Hidalgo, L. (2005). Confiabilidad y Validez en el contexto de la investigación y evaluación cuantitativas. Revista Venezolana de Investigación, 225-243.

Hyrkäs, K., Appelqvist-Schmidlechner, K., y Ossa, L. (2003). Validating an instrument for clinical supervision using an expet panel. International of nursing studies, 40(6), 619-625.

Juárez-Hernández, L. G. y Tobón, S. (2018). Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación. Espacios, 39 (Número Especial CITED), 23-30.

Kerlinger, F. N., Lee, H. B., Pineda, L. E., y Mora-Magaña, I. (2002). Fundations of Behavior Research (4ta. Edición. Investigación del Comportamiento ed., Vol. XXIX). McGrawHill / Interamericana.

Koller, I., Levenson, M. R., y Glück, J. (2017). What Do You Think You Are Measuring? A Mixed-Methods Procedure for Assessing the Content Validity of Test Items and Theory-Based Scaling. Frontier in Psychology, 8(126).

Makón, M. P. (2000). El modelo de gestión por resultados en los organismos de la administración pública nacional. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Santo Domingo, República Dominicana.

Meliá, J. L. (2001). Teoría de la Fiabilidad y Validez. Valencia: Cristóbal Serrano Villalba.

Mendoza-Mendoza, J., y Garza, J. B. (2009). La medición en el proceso de investigación científica: Evaluación de validez de contenido y confiabilidad. Innovaciones de negocios, 6(11), 17-32.

Mills, A., Butt, J., Maynard, I., y Hardwood, C. (2012). Identifying factors perceived to influence The development of elite youth Football Academy players. Journal of Sport Sciences, 30(15), 1593-1604.

Montero, I., y León, O. G. (2002). Clasificación y descripción de las metodologías de investigación en psicología. Revista Internacional de Psicología Clínica y de la Salud, 2(3), 503-508.

Muñoz, F., y Alejandro, A. (2018). La gestión para resultados y su relación con los programas presupuestales del Gorea en el periodo 2016.

Newcombe, R., y Merino-Soto, C. (2006). Intervalos de confianza para las estimaciones de proporciones y las diferencias entre ellas. Interdisciplinaria, 23(2), 141-154.

Nunnally, J. C., y Bernstein, I. H. (1994). Psychometric Theory (McGraw-Hill Series in Psychology) (Vol. 3). New York: McGraw-Hill.

Pedraja-rejas, L. (marzo de 2017). Desafios para la gestión pública en la sociedad del conocimiento. Interciencia, 42(3), 145.

Penfield, R., y Giacobbi, P. (2004). Applying a score confidence interval to Aiken´s item content-relevance index. Measurement in Physical Education and Exercise Science, 8(4), 213-225.

Ramos-García, J. M. (2016). Gestión por Resultados en México, 2013 - 2014. Algunos Impactos en Baja California. Estudios Fronterizos, nueva época, 17(34), 64 - 84. doi: http://dx.doi.org/10.21670/ref.2016.34.a04

Reina Gamba, N. C., y Vargas Rosero, E. (2008). Validez de contenido y validez facial del instrumento "Percepción de comportamientos de cuidado humanizado". Av.enferm, 71-79.

Ruiz, C. (2002). Instrumentos de investigación educativa. Procedimientos para su diseño y validación. C.A., Venezuela: Tipografía y Litografía Horizontes.

Secretaría de Hacienda y Crédito Público. (2017). Módulo 2. Planeación y Presupuesto Orientado a Resultados del Diplomado de Presupuesto Basado en Resultados. Ciudad de México: SHCP.

Scapolo, F., y Miles, I. (2006). Eliciting experts’ knowledge: A comparison of two methods. Technological Forecasting & Social Change, 73, 679-704. Recuperado de: http://dx.doi.org/10.1016/j.techfore.2006.03.001

Tobón, S., Guzmán, C. E., Hernández, J. S., y Cardona, S. (2015). Sociedad del Conocimiento: Estudio documental desde una perspectiva humanista y compleja. Revista Paradigma, XXXVI(2), 7 - 36.

Welch, S., y Comer, J. (1988). Quantitative methods for public administration: Techniques and applications. Houghton Mifflin Harcourt P.

1. Doctorando del Centro Universitario CIFE, Profesor de Tiempo Completo, TecNM / Instituto Tecnológico de San Luis Potosí, México. joseisaias.martinezcorona@gmail.com

2. Doctorando del Centro Universitario CIFE, Profesor de Tiempo Completo, TecNM / Instituto Tecnológico de San Luis Potosí, México. academica.gloria@gmail.com

3. Profesor-Investigador; Centro Universitario CIFE; México. luisgibran@cife.edu.mx