José Henrique Souza
Las tres fuentes de informaciones para el Sistema de Evaluación del organismo público de fomento son: las empresas, el propio ente y los evaluadores externos. Los aspectos que se relacionan con esas fuentes son la capacidad y los intereses que poseen las fuentes de generar informaciones confiables, y el universo de datos y observaciones.
Las empresas tienden a sobrestimar los valores de los proyectos para obtener el mayor volumen posible de recursos. Por lo general las agencias se defienden de esa actitud financiando sólo una parte del proyecto, exigiendo que la empresa asuma riesgos invirtiendo recursos propios o vinculando la liberación de los financiamientos (o de sus cuotas) a la culminación de metas finales o parciales. Según TAFTIE (1997: 40) esos métodos también pueden ser utilizados para lograr una mayor seriedad en las informaciones de las empresas, lo que propiciaría estimaciones más realistas de los resultados de los proyectos.
Los evaluadores externos pueden representar un costo elevado, pero generan informaciones y conclusiones más detalladas y precisas. Mientras tanto, el organismo necesita tener o construir una red de evaluadores calificados, especializados y confiables. Otra ventaja de esa fuente de informaciones es que puede ser flexible y abarcar un amplio abanico de tecnologías.
Por su parte, las desventajas son que el evaluador puede estar comprometido con una empresa, pudiendo haber espionaje empresarial, evaluaciones tendenciosas (TAFTIE, 1997:40), lo que puede suscitar el temor de que las empresas que suministran informaciones. La evaluación externa también puede quedar poco vinculada al proceso de aprendizaje y a la estructura de control y evaluación de la institución (TAFTIE, 1997: 40).
La tercera fuente de informaciones son los propios técnicos del ente de fomento que evalúan a las empresas solicitantes, los proyectos y sus prácticas rutinarias. Esos funcionarios pueden alimentar con datos, los sistemas de información del organismo. La visión sesgada de los datos de esos técnicos a favor o en contra de una empresa es menor que la visión sesgada de los datos presentados por las firmas o por los evaluadores externos. Sin embargo, es mayor cuando se trata de la evaluación del propio organismo y del papel del financiamiento público (TAFTIE, 1997: 41). Asimismo puede ser susceptible a las ideologías, como por ejemplo el nacionalismo, que pueden distorsionar las evaluaciones ex- ante y ex- post.
Queda claro que todas las fuentes de informaciones pueden presentar visiones sesgadas lo que dificulta la ejecución de una evaluación libre de cualquier tendencia. Por eso, lo ideal es que la evaluación, ya que va a reflejar algún grado de tendencia, no refleje una sola tendencia. Cuando hay intereses involucrados, se recomienda que existan otras fuentes de informaciones que permitan la comprobación de los resultados.
El organismo no puede ser la única “voz” en la evaluación, la única fuente de informaciones ni en el único agente evaluador (OHAYON, 1999). Lo importante es recordar que cada fuente de información tenga un papel importante y que la confiabilidad y la seriedad de sus informaciones dependen de la fase de evaluación y del tipo de información que se quiere recopilar. Según TAFTIE (1997:41) las informaciones provenientes de los técnicos de los organismos públicos son más confiables en las etapas iniciales de la recopilación de datos y en el control.
Los problemas relacionados con las fuentes de información y con los ejecutores de la evaluación nos llevan a creer que es necesario que la institución posea técnicos especializados y dedicados al asunto de la evaluación. No obstante, también es necesario que la institución mantenga contactos permanentes con especialistas en el área (OHAYON, 1999), como lo hace, por ejemplo, el Instituto Nacional de Normas y Tecnología/Programa Avanzado de Tecnología (NIST/ATP) en Estados Unidos (RUEGG, 1998:04-05).
Existen dos métodos principales para la recopilación de informaciones para la elaboración de indicadores de rendimiento: entrevistas y cuestionarios.
Las entrevistas pueden ser utilizadas para controlar y evaluar ex-ante y ex-post. En ese caso, la evaluación se basa en solicitudes de datos y documentos relacionados con los planes del proyecto, planes financieros, planes de explotación, y planes de negocios de la empresa. El grupo TAFTIE (1997:41) sugiere que se haga al menos una entrevista con los candidatos al financiamiento en el momento de la evaluación del proyecto. Justamente en el momento en el que la empresa se encuentra más inclinada o dispuesta a suministrar informaciones es el instante en el que el organismo deberá asegurarse de que el financiamiento esté basado en informaciones confiables. Esa entrevista puede suministrar una serie de informaciones en cuanto a medidas de rendimiento, incluyendo una estimación de los resultados esperados.
El cuestionario es la forma más común de recopilar datos para controlar y evaluar. Sin embargo, el cuestionario plantea dos problemas. A pesar de la evolución que ha promovido la Estadística en este instrumento de investigación, existe la posibilidad de una mala interpretación de las preguntas y la necesidad de hacer varias preguntas para recopilar informaciones complejas, lo que reduce la confiabilidad en los datos y la devolución de las respuestas (TAFTIE, 1997:41).
La unidad básica de la cual se pueden obtener los indicadores son las siguientes: la empresa, la innovación y el proyecto. Desde el punto de vista de los organismos de fomento, el elemento básico es el proyecto (TAFTIE, 1997:37). No habría ningún problema en considerar el proyecto o la empresa como una unidad. Entretanto, muchos proyectos se relacionan con consorcios de empresas y algunas innovaciones son el resultado de proyectos paralelos. Lo ideal sería que el organismo pudiera cruzar esas informaciones, lo que ampliaría el poder de análisis de los datos recopilados.
Lo que ocurre es que el éxito comercial de los proyectos sufre interferencias de muchos factores como el mercadeo, la producción, la situación económica, etc. De ese hecho surgen dos divisiones relacionadas con el problema de la atribución: una es si la empresa financiada no ejecutaría el proyecto o en qué medida sería ejecutado sin el apoyo del estado. Otra es estimar cuál es la proporción del resultado del proyecto que puede ser atribuida al apoyo público.
En lo que respecta al último planteamiento, podemos usar la participación del financiamiento (% del costo del proyecto que fue financiado) para “aislar” los efectos que pueden ser atribuidos al financiamiento. En lo que respecta al primer planteamiento, sabemos que es extremadamente difícil calcular esos efectos, especialmente cuando se trata de decisiones que implican un gran número de personas o de esfuerzos cuyos impactos sólo se ven a largo plazo.
Otro problema de la atribución que puede presentarse en el caso de los indicadores es que un mismo beneficio puede ser obtenido por diferentes medios. Por ejemplo: el aumento de la productividad puede obtenerse por el uso de nuevas máquinas, tecnología de información o nuevas herramientas gerenciales. ¿Cómo se solucionaría ese problema si la empresa estuviera adoptando varios medios para cambiar su forma de trabajar?
Un modo de resolver ese caso sería encontrar variables que reflejen los resultados que pueden ser atribuidos a diferentes proyectos o esfuerzos. De esta manera, por ejemplo, podemos imaginar una variable como “reducción del costo de producción” que puede obtenerse por un proyecto que busque transferir tecnología, adoptar nuevos modelos de gestión o cualquier otro esfuerzo. El “efecto colateral” que surge de esa “solución” es que existen innumerables beneficios que pueden surgir de un esfuerzo de modernización, lo que va en contra de cualquier intento de montar un Sistema de Evaluación “vacío”. La solución sería entonces buscar variables que se relacionen con los principales efectos buscados por los proyectos, pero abriendo la posibilidad de que se puedan registrar otros efectos no previstos en el Sistema de Evaluación.