Espacios. Vol. 22 (1) 2.001

Evaluacion de los resultados del financiamiento publico a la innovación: Objetivos, conceptos y directrices 3/5

Evaluation of the results of the public financing to the innovation: Objectives, concepts and directives.

José Henrique Souza

3 ¿Cómo evaluar?

A partir de algunos estudios, como por ejemplo Canadá, 1996; McDONALD y TEATHER, 1997; OCDE, 1995; TAFTIE, 1997, podemos concluir que cuando un organismo pretenda ejecutar una evaluación debe hacer un proyecto de evaluación que contenga, al menos, tres aspectos: Comprensión, Estrategia y Táctica.

3.1 Comprensión

De acuerdo al grupo TAFTIE, se deben buscar respuestas básicas que sirvan de guía general para la evaluación. Es decir, es necesario identificar el factor orientador y cuáles son los objetivos de la evaluación:

  1. ¿Cuál es el contexto del programa que será evaluado? La evaluación se debe adaptar y debe buscar respuestas que se relacionen con los objetivos, posicionamiento y ambiente en el que se desarrollan las actividades de la institución. Sólo así puede haber exigencias sociales, corrección de acciones y mejoras en la planificación.
    Sería oportuno que el ente público concentrara su atención en la comprensión de su misión. Los encargados del organismo deberían pensar para qué fue creado y cuál es su posicionamiento como institución (fuentes de recursos, estructura, personal, instrumentos de operación y tipo de clientes) para alcanzar los resultados para los que fue creado, y por los cuales recibe una cuota de los ingresos nacionales. Pensando de ese modo, sería más fácil identificar el conjunto de preocupaciones y cuestionamientos que orientarán la evaluación.
  2. ¿Quién está apoyando la evaluación y para qué? La evaluación puede ser una demanda gerencial, una “exigencia” de órganos externos de control o un esfuerzo por demostrar resultados con el objetivo de obtener partidas y presupuestos.
  3. ¿Quién usará sus resultados y cómo? Los datos de la evaluación pueden ser utilizados por varias personas e instituciones. Sus informaciones sirven para mejorar el manejo de la institución, para castigar a los funcionarios, para comprobar la eficiencia de la institución, etc. Lo ideal es que el sistema de evaluación fuera, a semejanza de lo que ocurre en el Programa de Asistencia a la Investigación Regional (IRAP) de Canadá, un apoyo a la Planificación Estratégica o a cualquier otro tipo de planificación del organismo o del programa (CANADÁ, 1996).
  4. ¿Cuáles son los entes interesados y cuál es el papel de dichos organismos en la evaluación? La evaluación puede ser una demanda interna o externa y también puede ser ejecutada por personas pertenecientes o ajenas a la institución evaluada. Lo importante es saber que quien ejecuta no puede ser el único evaluador. Para que una evaluación tenga un mínimo de credibilidad, debe contener algún grado de opinión externa.
  5. ¿Quién ejecutará la evaluación? La evaluación puede ser ejecutada por personas pertenecientes o no a la institución evaluada. Lo importante es saber que quien ejecuta no puede ser el único evaluador. Para que una evaluación tenga un mínimo de credibilidad, debe contener algún grado de opinión externa.

3.2 Estrategia

Se debe definir el objetivo y la forma en general de abordar la evaluación. Una forma de orientar la evaluación puede estar fundamentada en un área de atención como por ejemplo economía, calidad, adecuación, eficacia, eficiencia, impactos, adicionalidad, transferencia, etc.

Igualmente, no debe perderse de vista que la evaluación forma parte de un conjunto de actividades entre las que se incluyen: la Planificación de la Institución, el Desarrollo de los métodos de evaluación, la recopilación de datos, la construcción de bases de datos, la evaluación de estudios de caso, el análisis estadístico de los datos obtenidos (RUEGG, 1998: 01) y la utilización de esos datos para la demostración de los resultados a los contribuyentes y para el aprendizaje organizacional.

Anteriormente mencionamos que el fomento público a la innovación busca obtener un rendimiento social y económico. Como los objetivos de la evaluación son mejorar la rendición de cuentas a la sociedad y auxiliar la planificación de la institución, la evaluación debe tener como preocupaciones centrales: a) Verificar los resultados sociales y económicos alcanzados por su apoyo y b) producir datos que sean útiles para mejorar la planificación y la gestión institucional.

Es necesario recopilar evidencias de que si el Estado tiene éxito o fracasa en sus acciones en el área de C & T, eso se debe a algún factor que puede ser difundido o corregido. Para ello, la recopilación de información debe enfocarse hacia la opinión e información de los “clientes” del organismo y sobre las informaciones internas de la propia organización.

3.3 Táctica

Se debe hacer una planificación más detallada de la evaluación. Es necesario que se haga una selección de metodologías, técnicas e instrumentos de análisis de “input/output” (insumo/ efecto directo), procesos, resultados e impactos. En esa fase también se escogen los métodos para la recopilación de datos, variables, indicadores y sistemas (TAFTIE, 1997: 9).

3.4 Conceptos relacionados con la evaluación

Antes de continuar con nuestro estudio sobre el tema de la evaluación necesitamos definir algunos conceptos básicos relacionados con el tema de la evaluación de resultados. Partiendo de esas definiciones podremos estructurar mejor algunas conclusiones sobre la evaluación de los resultados en el campo del financiamiento público. Este esfuerzo es necesario para el presente trabajo porque necesitaremos descubrir el método que mejor pueda adaptarse al mundo del financiamiento público orientado a la innovación empresarial.

En muchos países como en Brasil y en Francia 11, el término “evaluación” es usado para designar varios tipos de estudios. En este punto trataremos de definir los principales conceptos relacionados directamente con el tema de la evaluación. Basándonos principalmente en las lecturas de JAFFE, 1996; GEORGHIOU, 1995; HILLS y DALE, 1995; KUHLMANN, 1995; SIRILLI y MELICIANI, 1994 y TAFTIE, 1997, podemos definir los siguientes conceptos:

    1. aquella que comprende nuevos productos, servicios y procesos (“innovación trascendental” o “tecnológicamente nuevo”), es decir, cuyas características tecnológicas o uso difieren significativamente de los anteriores porque incorporan nuevas tecnologías y/o combinaciones de tecnologías existentes para nuevos usos y
    2. aquella que resulta de importantes avances tecnológicos en productos, servicios y procesos ya existentes (innovación de desarrollo o tecnológicamente mejorado), es decir, son modificaciones que mejoran el rendimiento, calidad y costos a través del uso de componentes, materiales o subsistemas con un mejor desempeño.

En el caso de las innovaciones del proceso, puede ocurrir una mejora de los métodos de producción o entrega, incluyendo cambios en los equipos, en la organización de la producción, o ambos. Tales cambios pueden ser implementados para producir o distribuir nuevos productos que exigen nuevos métodos y equipos o simplemente para mejorar la eficiencia de la producción y entrega de los productos existentes.

Para que sea una innovación, ésta debe haber sido introducida en el mercado (innovación de producto y servicios) o utilizada en un proceso de producción (innovación de proceso). Otra característica de la innovación es que ella implica actividades comerciales, financieras, organizacionales, tecnológicas y científicas.

La innovación puede implicar actividades comerciales, financieras, organizacionales, tecnológicas y científicas. Por lo general, la innovación surge como resultado de respuestas exitosas a cambios, problemas, fallas y desafíos que se presentan en el interior de una industria (en la tecnología del producto y en el proceso, en el mercado y en la estructura industrial) y en su ambiente (en el conocimiento social, técnico y científico; en la estructura de la población y en la expectativa de vida de las personas) (DRUCKER, 1998). Sin embargo, lo más importante es que para que sea una innovación, debe haber sido introducida en el mercado como producto o proceso de producción.

Algunas innovaciones pueden ser aplicadas en el lanzamiento o en las mejoras introducidas a un gran número de productos o procesos de varios sectores y segmentos. Otras tienen una aplicación más específica con pocas externalidades (TAFTIE, 1997: 38). Es de vital importancia que el organismo de fomento identifique la capacidad que tienen las innovaciones para generar efectos.

    1. Externalidades de mercado: son las ganancias de los consumidores que adquieren productos mejores o más baratos o de empresas que utilizan bienes intermedios o bienes de capital más productivos, desarrollados por otras. Como ejemplo podemos citar un consumidor que puede comprar productos con menos sustancias tóxicas para el agro o una empresa que compra bienes de producción (insumos o máquinas) más baratos o más productivos, o que logra lanzar nuevos productos para disponer de esos bienes 13. También pueden ser empleos generados en otros segmentos como resultado de los efectos multiplicadores de los salarios.
    2. Externalidad de conocimiento: Muchos conocimientos generados dentro de una empresa innovadora pueden ser imitados por otras empresas. Esas compañías pueden crear valores con un costo de cero o con un costo menor del que fue pagado por la empresa innovadora. La copia de los nuevos conocimientos y tecnologías por empresas competidoras también puede anular completamente las ventajas competitivas de costo o diferenciación de los innovadores (PORTER, 1990: 17 y KOTLER, 1993: 376).Un proceso de producción más (o menos) eficiente puede ser copiado (evitado) por otras compañías sin que la empresa innovadora pueda apropiarse de todos los resultados. Hay otro caso que se presenta cuando los usuarios y proveedores desarrollan un bien de capital o insumo que será comercializado posteriormente por el proveedor. En ese caso, la transferencia de conocimiento no se origina de la imitación ni de una relación de mercado sino de una necesidad del proceso de innovación (JAFFE, 1996: 09).
    3. Externalidad de la red: La rentabilidad y los beneficios sociales de un conjunto interrelacionado e interdependiente de tecnologías depende del éxito individual de cada empresa (JAFFE, 1996: 03-08).
      Los RESULTADOS, “OUTCOME”, O “RESULTS” se refieren a todas las consecuencias (efectos directos e indirectos) originados de la realización del proyecto (JAFFE, 1996: 02 y TAFTIE, 1997: anexo I). Estas son, por lo tanto, las consecuencias totales del proyecto.

Para ilustrar los conceptos anteriormente expresados, podemos aplicarlos a un ejemplo concreto. La FINEP (Financiadora de Estudios y Proyectos, un banco de financiamiento para la innovación del Brasil) apoyó, en 1998, un proyecto de investigación en biotecnología con el objetivo de estudiar la clonación del eucalipto (HÁFEZ, 1998). Ese proyecto de innovación, al que se le ha asignado un presupuesto de R$430.000 (costo de financiamiento), fue presentado por una empresa que pretendía aumentar su productividad en un 30% (efecto directo).

El hecho es que dicha innovación también presentaba efectos indirectos como: a) por cada hectárea de eucalipto plantado, serían preservadas 10 hectáreas de flora nativa; b) el eucalipto mejorado genéticamente, dotado de una mayor resistencia y precocidad, podría sustituir maderas nobles como la caoba, el cerezo, el yataz que demoran varias décadas para alcanzar su madurez; c) el aprovechamiento del eucalipto podría aumentar al pasar del 50% actual al 70%, lo que podría provocar “una caída de hasta 12% en los precios de los productos de la empresa, como los paneles unidos” (HÁFEZ, 1998); d) los directivos de la empresa imaginaban que con la caída de los precios aumentaría el consumo, lo que traería consigo un aumento en los turnos y en el personal de la empresa; e) las exportaciones, que representaban 50% de la facturación de la empresa crecerían en la misma proporción del aumento de la producción.

    1. EVALUACIÓN EX-ANTE (Appraisal, apreciación): Se produce antes del inicio del programa/proyecto como un proceso de selección. Busca evaluar los efectos alternos de instrumentos de intervención para la toma de decisiones. Examina, a partir del diseño del programa, su viabilidad y probables efectos. Está ligada a la formulación de la Política de C&T o institucional y a la asignación de recursos (CURI et al., 1998: 16).
      En el caso de los proyectos, se evalúa las oportunidades, riesgos con resultados negativos, recursos utilizados, tiempo para alcanzar las metas y capacidad de pago del financiamiento. Para esa etapa de evaluación se recomienda la utilización de una relación normalizada más flexible que ayude a tomar la decisión sobre la selección del proyecto (CURI et al., 1998:16), así como en la competencia sobre el control y análisis de los cambios que se producen en el mercado (tendencias tecnológicas, nuevos participantes, clientes, proveedores, distribuidores, etc...
    2. CONTROL: (Monitoring, Supervisión o ex-cursus): Es una forma rutinaria y periódica de verificar el rendimiento de los proyectos para apoyar la gestión del programa, hacer las correcciones en curso y relatar los progresos. Incluye la compilación y análisis de pocos indicadores “claves”, preferiblemente cuantitativos y fácilmente disponibles, sobre el desarrollo del proyecto o programa basándose en los resultados y objetivos ya alcanzados (CURI et al., 1998: 15-16 y TAFTIE, 1997:7).
    3. EVALUACIÓN EN TIEMPO REAL: (Ad Interim, Real Time, a mediano plazo): Ese tipo de evaluación busca, al igual que el control, recibir señales sobre el desarrollo de los proyectos. Sin embargo, difiere de éste por ser menos mecánica y más propensa al juicio o análisis. En consecuencia, se trata de un control sistemático de resultados intermediarios para examinar las decisiones pasadas y futuras (HILLS y DALE, 1995 y TAFTIE, 1997:7).
    4. EVALUACIÓN EX-POST (Assessment): Busca analizar los resultados obtenidos para verificar si son significativos y coherentes con los objetivos y cuáles son las medidas futuras para el desarrollo. Analiza los resultados de un esfuerzo realizado cuando ya se han manifestado los resultados y puedan ser descritos o estimados con razonable exactitud. Ese tipo de evaluación puede verse perjudicado por el olvido o falta de registro de los resultados (TAFTIE, 1997: 7).
      En lo que respecta al contenido que se quiere evaluar tenemos:
    5. EVALUACIÓN ECONOMICA DE LA INVESTIGACIÓN E INNOVACIÓN: Busca medir los resultados económicos obtenidos por programas de I&D y detecta la división de los beneficios entre los diversos participantes involucrados en el proceso.
    6. EVALUACIÓN TÉCNICO-CIENTÍFICA DE LA INVESTIGACIÓN E INNOVACIÓN: Utiliza la evaluación de pares en la investigación académica, y de especialistas en la investigación tecnológica. Asimismo, hace uso de métodos cuantitativos, estudios bibliométricos sobre producción científica, número de patentes, etc.
      En lo que respecta al enfoque organizacional, la evaluación puede ser:
    7. EVALUACIÓN GERENCIAL DE LA INVESTIGACIÓN E INNOVACIÓN: Ese tipo de evaluación procura relacionar informaciones tecno-económicas-organizacionales para brindar apoyo al establecimiento de las estrategias, definiciones de las prioridades y para la toma de decisiones de las instituciones que ejecutan el I&D.
    8. EVALUACIÓN INSTITUCIONAL DE LA INVESTIGACIÓN E INNOVACIÓN: A pesar de seguir los mismos métodos de la evaluación gerencial, posee un ámbito más amplio y procura incluir los objetivos socio- económicos vinculados a las políticas públicas que orientan la institución.

METODOS DE EVALUACIÓN: Existen innumerables formas de evaluar un programa o proyecto. Basados en un estudio patrocinado por organismos y departamentos públicos canadienses (WILLIAMS, 1993; WILLIAMS y RANK, 1998) resumiré a continuación los principales métodos que pueden ser utilizados para evaluar los beneficios económicos generados por programas de desarrollo público a la innovación.

  1. Muestra de Usuarios/ Clientes. Muestra a usuarios primarios de los resultados de las investigaciones.
    Marco Temporal de I&D: Finalizada o en ejecución.
    Virtudes:
  2. Costo-Beneficio Evaluación de proyectos específicos de I&D en términos de beneficios sociales y económicos generados para la sociedad, relacionados con los costos sociales y económicos.
    Marco Temporal de I&D: Concluido (Puede ser utilizado para programas en ejecución y futuros en algunos casos).
    Virtudes:
  3. Estudios y registros históricos de casos. Es la documentación sistemática de los impactos de I&D que fueran ejecutados en el pasado.
    Marco Temporal de I&D: Culminado
    Virtudes:
  4. Indicadores Parciales. Consisten en una colección de informaciones fácilmente disponibles sobre una serie de características, actividades y resultados de I&D. Cada una de esas características ofrece alguna percepción sobre la extensión de los impactos socioeconómicos de I&D.
  5. Indicadores Parciales Integrados Similar al método anterior, e incluye algún sistema para sumar indicadores parciales y extraer alguna puntuación fundamental que refleje cada proyecto estudiado.

3.5 Aspectos técnicos relacionados con la evaluación intervalo temporal

Uno de los principales problemas para la evaluación de los resultados del programa es el tiempo que se necesita para que surjan esos efectos. Muchos resultados, principalmente aquellos que interesan a la sociedad, demoran varios años en aparecer. Esto plantea dos problemas: la necesidad de que se haga un estimado de los resultados esperados y la atribución de esos resultados al financiamiento público en un período en el que actúan innumerables variables sobre los mismos.

Las estimaciones generalmente se basan en informaciones provenientes de las empresas, del propio ente público y de los evaluadores externos. Los problemas que surgen en las estimaciones son: a) cómo separar los resultados de más de un proyecto ejecutados en una empresa. En otras palabras, muchas empresas ejecutan varios proyectos al mismo tiempo, por lo que aislar la participación de un sólo proyecto en el resultado general de una empresa, en ocasiones resulta imposible, b) cómo identificar la participación del financiamiento público en las posibles e innumerables divisiones que pueden surgir de un proyecto inicial. (TAFTIE, 1997:39).

Para la empresa, las estimaciones pueden hacerse sobre productos o procesos específicos relacionados con los proyectos. Para el organismo de fomento sería impracticable recoger todas las informaciones que surgen de todos los proyectos a los que ha brindado apoyo. De esta manera, el organismo deberá tomar como base informaciones suministradas por empresas o evaluadores (TAFTIE, 1997: 39).

De cualquier forma, se debe recopilar información al inicio, durante y luego del término del proyecto. Esto es necesario para comparar los resultados, y porque las empresas exitosas o que no necesitan recursos públicos tienden a subestimar el papel del organismo. Por el contrario, las empresas que no han tenido muchos éxitos o que sí necesitan de los recursos públicos, tienden a sobrestimar el papel del fomento público (TAFTIE, 1997:40).

[anterior] [Volver a parte superior página] [siguiente]

[Volver al inicio]

Vol. 22 (1) 2.001
[Editorial] [Índice]