José Henrique Souza
Creo que los conceptos e investigaciones presentados anteriormente son fuentes importantes para iniciar la identificación de planteamientos vitales de la evaluación de resultados. A partir de ellos y de las características de la institución o programa a ser evaluado, resulta más fácil elaborar propuestas para mejorar las formas de evaluación de resultados de organismos públicos de financiamiento a I&D y a la innovación.
Podemos imaginar que un organismo de financiamiento a la innovación debería desarrollar una amplia gama de formas de evaluación. En lo que se refiere a la evaluación en relación con el progreso del programa o proyecto, el organismo de financiamiento necesita alguna forma de evaluación ex-ante para escoger las líneas de financiamiento que deben sustentar y los proyectos que debe apoyar. Asimismo, es necesario acompañar (controlar) los proyectos para establecer un cronograma de liberación de recursos.
En lo que respecta al contenido, queda claro que el organismo de financiamiento necesita enfocar su evaluación en la comparación de los resultados sociales y económicos generados por su apoyo. En el campo organizacional, el organismo podría enfocar una evaluación más institucional ya que tiene una misión básicamente social.
La técnica que podría utilizar sería algún método cercano al “Método de los Indicadores Parciales” unido a un sistema de acompañamiento. El problema fundamental en ese punto es justamente definir cuáles serían los indicadores de desempeño y de control que se adaptarán a la comparación de los resultados del organismo público. Sin embargo, es necesario dejar claro que el uso de indicadores de rendimiento es apenas una forma de buscar informaciones. Esos indicadores deben estar unidos a otros medios de recopilación de datos y dentro de un contexto en el cual puedan apoyar análisis y recomendaciones. Además, la evaluación es apenas uno entre los muchos “inputs” (insumos) que forman parte del proceso de aprendizaje y generalmente juega un papel indirecto en el diseño de la política (McDONALD y TEATHER, 1997 y TAFTIE, 1997:8).
Podemos concluir que, para que un organismo público de financiamiento a I&D promueva una evaluación sistemática, eficiente y útil sería aconsejable que primero definiera con claridad su misión para después escoger y desarrollar metodologías, directrices, criterios, instrumentos e indicadores de rendimiento que se adecuen al universo de intereses e impactos que despiertan sus acciones.
Una evaluación solamente de resultados alcanzados no sería suficiente para que el organismo consiguiera brindar apoyo a su gerencia. Lo ideal sería que se estableciera un verdadero Sistema de Evaluación compuesto por varios métodos que se complementaran y que incluyese el punto de vista de los clientes. Sin embargo, la principal preocupación debe ser siempre la comparación de la eficiencia en la gestión de recursos y en la obtención de resultados.
Los pasos básicos para que los organismos de financiamiento pudieran seguir serían:
1) Establecer los objetivos básicos de la evaluación y su utilidad. El organismo debe velar por su misión y moldear un sistema de evaluación que auxilie el aprendizaje, la demostración de resultados y la planificación institucional.
Como organismo de financiamiento sus acciones se desarrollan en el Sistema de Financiamiento a la C&T, un ambiente de gran riesgo e incertidumbre y en el que el ente tiene control únicamente sobre una pequeña parte de las fuerzas que interfieren en sus actividades. En este caso, nos referimos a su estructura, calificación de sus recursos humanos y tipos de instrumentos de operación. Las fuentes de recursos, sus competidores, el ambiente macroeconómico y las características de los clientes no son variables controladas por el organismo;
2) Establecer la preocupación fundamental del Sistema de Evaluación que consiste en recopilar informaciones sobre: a) su función en el sistema financiero que consiste en cubrir una falla en la oferta de recursos a I&D; b) la eficacia con la que operan sus instrumentos de acción y c) la eficiencia en generar resultados para la sociedad.
3) Escoger y detallar la metodología y los instrumentos de análisis, de tal forma que tomen en cuenta los problemas planteados anteriormente.
La experiencia ha demostrado que la razón de cualquier evaluación es la aplicación de sus resultados para la mejora y justificación de programas y políticas, y para la difusión de prácticas innovadoras. Es evidente que la propia ejecución de los programas genera aprendizajes que son incorporados a los organismos. La evaluación puede ser encarada como un aporte para mejorar la aplicación de recursos públicos a la investigación, innovación y desarrollo.
La preocupación por la eficiencia en la gestión de los recursos públicos, dirigidos al desarrollo socioeconómico es la guía para el establecimiento de un Sistema de evaluación de organismos de financiamiento público. Ese Sistema debe considerar al organismo como una empresa, como un agente financiero dedicado al desarrollo del país, un instrumento de la política del Gobierno y un proveedor y divulgador de casos exitosos.
Al organismo le corresponde, como empresa, “hacer realidad las cosas reales”, es decir, ser eficiente y lograr sus objetivos con el rendimiento máximo y el mínimo gasto posible. En su condición de instrumento de política pública debe cooperar con los objetivos y las metas del gobierno. El sistema de evaluación debe tratar justamente de verificar los resultados de esas misiones.
ALMEIDA, Maria Lúcia Horta de. Entrevista realizada en Financiadora de Estudios y Proyectos (FINEP)/RJ los días 08 y 23/02/1999. Maria Lúcia H. de Almeida es una ejecutiva de la Unidad de Desarrollo Social y Regional de la FINEP.
ANDRADE, Rui Gregório. Entrevista realizada en FINEP/RJ el día 13/01/98. Rui G. Andrade es técnico de la Unidad de Competitividad de FINEP.
BACH et al. L’espace est-il rentable?, Réalités Industrialles, nov, pp 25-56, 1992a.
________ Measuring and Managing Spinoffs: The case of the spinoffs generated by ESA Programs, en GREENBERG, J. S. e HERTZFELD, H. R. (eds.) Space Economics, Washington, DC, vol. 144, p. 171-206, 1992b.
________ Evaluation of the Economic Effects of BRITE-EURAM Programmes on the European Industry, Scientometrics, vol. 34, no. 3, pp 325-349, 1995a.
________ Evaluation of the Economic Effects Generated by R&D Service Provided to Industry by Materials – Ireland, Strasbourg, France, 1995?.
BALLART, Xavier e SUBIRATS, Joan Science and Technology Policy for a Medium-Size Industrial Country: the case of Spain. Science and Public Policy, Inglaterra, volume 24, número 3, pp. 197-205, Junio de 1997.
BEHN, Robert D. The New Public Management Paradigm and the Search for Democratic Accountability. International Public Management Journal, 1(2): 131-164. Stanford, Connecticut. USA. 1998.
BOTELHO, Antonio J. J. Entrevista realizada en la Pontifícia Universidade Católica- PUC–RIO el día 22/02/99. Antonio Botelho es investigador visitante de la Oficina de Desarrollo y del Centro Técnico-Científico de la PUC-RIO.
BRASIL. Confederação Nacional da Indústria – CNI , FINEP, INPI, IPEN. Linhas de Financiamento Para Capacitação Tecnológica. Série Apoio à Capacitação Tecnológica, Brasília, 1994b
________ Confederação Nacional da Indústria – CNI. Ministério da Ciência e Tecnologia - MCT. Estudo da Demanda do Setor Privado por Investimento em Tecnologia 1997/2001. Brasília, 1997.
________ Coordenação Geral de Acompanhamento/ Secretaria de Avaliação e Acompanhamento do Ministério da Ciência e Tecnologia - CGA/SECAV/MCT. Acompanhamento e Avaliação em C&T no Brasil: situação atual e perspectiva. Brasília, Versão 26.08.98 (Mimeografiado).
________ IBICT,FINEP, CNI, SEBRAE. Pesquisa Cooperativa: Programa de Apoio à Capacitação Tecnológica da Indústria. Série Apoio à Capacitação Tecnológica, Brasília, vol. 3, 1993b.
________ Ministério da Ciência e Tecnologia. Ciência e Tecnologia no Governo Federal, Brasília. 1997b.
________ Ministério da Indústria, do Comércio e do Turismo. Instituto Nacional de Metrologia, Normalização e Qualidade Industrial O Brasil e a Certificação ISSO 9000, Brasília, 1996.
BROOKS, H. National Science Policy anda Technological Innovatio. En Landau,R & Rosemberg, N. (org.) The Positive Sum Strategy. Washington D.C, National Academy Press, 1986.
BUARQUE, Cristovam. Avaliação Econômica de Projetos. Rio de Janeiro: Editora Campus. 1989.
BUSSAB, W. e MORETTIN, P. Estatística Básica, 4a edição, SP: Ed. Atual, 1987.
CANADA. National Research Council Canada (NRC)– Conseil National de Recherches Canada (CNRC). Assessment Of The Industrial Research Assistance Program. Review Committee Report: planning and assessment”, noviembre de 1996.
CAPELLA FILHO, Otávio. Entrevista realizada en CPqD/Campinas el día 12.02.1999. Otávio Capella es Gerente de la División de Productos y Servicios de CPqD.
CHIANG, Tsong. From ‘mission-oriented’ to ‘diffusion-oriented’ paradigm: the new trend of US industrial technology policy. Technovation, Dorset, UK,11 (6), 339-356, 1991.
CURI, Mário C. L.; CRUZ, Osvaldo; TAKAHASHI, Roberto. Uma Abordagem para Avaliação de Projetos no CPqD”. PROTAP – Programa Modular de Treinamento em Administração de Pesquisas Científicas eTecnológicas. PACTo/FIA/USP, São Paulo, 1998. (Mimeografiado).
DANIELS, Peter L. National Technology Gaps and Trade – an empirical study of the influence of globalization. Research Policy, U. K.,25, p. 1189-1207, 1997.
DRUCKER, Peter The Discipline of Innovation. Harvard Business Review. Boston, USA, p. 149-157, noviembre-diciembre, 1998.
ERBER, Fábio S. (1996) O Mito da Travessia e a Retórica Oficiosa do Governo: Franco, Mendonça de Barros e Goldenstein. Trabajo preparado para el Boletim de Conjuntura del IEI/UFRJ, septiembre, (Mimeografiado).
ERBER, Fábio S.; CASSIOLATO, José E. Política Industrial: teoria e prática no Brasil e na OECD. Revista de Economia Política, SP, vol. 17, n. 2 (66),abril-junio de 1997.
ERBER, FÁBIO S. Uma Política Industrial Estruturante, Gazeta Mercantil, 4.01.99, página a-3.
EVANGELISTA, Rinaldo e SIRILLI, Giorgio. Measuring Innovation in Services. Research Evaluation,
U. K., vol. 5, número 3, diciembre p. 207-215, 1995.
FAÇANHA, Luis Otávio. Avaliação de Financiamentos da FINEP: uma síntese de resultados, RJ,1983 (Mimeografiado).
________ Avaliação do Financiamento a I&D e o Progresso Técnico. Revista de Administração, SP, n. 25 (1), p. 84-91, enero/marzo de 1990.
________ (coord). Uma Avaliação de Resultados: projetos financiados pela FINEP com recursos do Contrato de Empréstimo BID 498/OC-BR”, RJ,1992. (Mimeografiado)
FAYL, G; et al. Evaluation of Research and Technological Development Programmes: a tool for policy design. Research Evaluation, U. K.,vol. 7, número 2, p. 93-97, agosto de 1998.
FERNANDES da COSTA, Suzana. Entrevista realizada en la FINEP/RJ, el día 08.02.99. Suzana Costa era técnica de la Unidad de Competitividad de la FINEP.
FERNÁNDEZ, E., JUNQUERA, B. e VÁZQUEZ, C. J. Government Support for R&D: the Spanish case. Technovation, Dorset, UK., 11(16), p. 59-65, 1996.
FINEP. Relatório de Atividades: exercício de 1993, RJ, 1994.
________ Relatório de Atividades: Exercício de 1994, RJ, 1995.
_______ Relatório de Atividades: Exercício de 1995, RJ, 1996.
________ Critérios para Avaliação e Acompanhamento de Projetos Apoiados pela FINEP na Área de Competitividade, versão 14/11/1997. (Mimeografiado).
________ Estatuto da FINEP. RJ, editado pela Comunicação Social da FINEP, marzo de 1998a.
______ Manual de Organização. RJ, 15 de maio de 1998b. (Mimeografado).
FINEP/IBQN. Relatório de Avaliação Piloto do Produto AGQ: Apoio à Gestão da Qualidade”, noviembre de 1996. (Mimeografiado).
FLEURY, Paulo F. e GONÇALVES NETO, César. Relatório de Avaliação: empréstimo IDB620/OC-BR. COPPEAD-UFRJ, RJ marzo de 1998a.
________ Sumário Executivo: Avaliação IDB620/OC-BR. COPPEAD-UFRJ, RJ,marzo de 1998b.
FURTADO, A. e SOUZA, J. H. Levantamento das Principais Metodologias de Avaliação de Projetos e Programas de I&D no Eixo Rio-São Paulo. Artículo presentado en el Seminario ALTEC99, Madrid, España, 1999.
GABOLDE, Jean. New Challenges For Indicators In Science and Technology Policy-making: a European view. Research Evaluation, U. K., vol. 7, número 2, p. 99-104, agosto de 1998.
GEORGHIOU, L. e MEYER-KRAMER, F. Evaluation of Socio-economic Effects of European Community R&D Programmes in the SPEAR Network. Research Evaluation, U.K., vol. 2, no. 1, p. 5-15, abril/1992.
GEORGHIOU, Luke. Research Evaluation in European National Science and Technology Sistems. Research Evaluation, U. K., vol. 5, p. 3-10, número 1, abril de 1995.
GUARANYS, Lúcia. Entrevista realizada en la FINEP/RJ, el día 22/07/1998. Lúcia Guaranys era técnica de la Unidad de la Universidad Abierta de la FINEP.
GUINOT, Carlos Joaquín Durán. Entrevista realizada por correo electrónico los días 18.09.98, 21.09.98 y 22.11.99. Carlos Durán Guinot trabaja en el CDTI de España y participa en el Grupo TAFTIE.
GUY, Ken e ARNOLD, Erik. UK Government Practice in Science and Technology Evaluation. Research Evaluation, U. K.,vol. 3, no. 3, p. 179-186, diciembre/1993.
HADDAD, Paulo. Agências de Fomento e o Desenvolvimento. http:www.abd_ estud3.thm. El texto también fue publicado en un artículo. Gazeta Mercantil, 07.07.97, p. A-3.
HÁFEZ, ANDRÉA. FINEP Concentra Crédito em Projetos Privados. Gazeta Mercantil, página a-9, 14.12.98.
HOFFMANN, Rodolfo. Estatística Para Economistas, SP: Livraria Pioneira Editora, 1980.
HILLS, Philip e DALE, Alison. Research and Technology evaluation in the United Kingdon. Research Evaluation, U. K.,vol. 5, número 1, p. 33-44, abril de 1995.
INDUSTRY CANADA. Focusing on Results: A Guide to Performance Measurement. Discussion Paper, Canadá, marzo de 1995.
JACKSON, Richard H. F. (1997) Perspectives on the Future of Manufacturing Engineering. Manufacturing Engineering Laboratory, National Institute of Standards and Technology., Gaithersburg, Md. http:\\www.atp.nist.gov/speeches/matalk.htm.
JAFFE, Adam B. (1996) Economic Analysis of Research Spillovers Implications for the Advanced Technology Program. http:\\www.atp.nist.gov/www/cao/ger/J3.htm.
KASTRINOS, Nikos e ROMERO, Fernando. Policies for Competitiveness in Less Favoured Regions of Europe: a comparison of Greece and Portugal. Science and Public Policy, U. K., vol. 24, no. 3, Junio de 1997, pp. 189-195.
KOTLER, Philip. Administração De Marketing: análise, planejamento, implementação e controle, SP: Editora Atlas, 2a- edição, 1993.
KUHLMANN, Stefan. Patterns of Science and Technology Policy Evaluation in Germany. Research Evaluation, U. K.,vol. 5, número 1, p. 23-33, abril de 1995.
LARÉDO, Philippe e MUSTAR, Philippe. France, the Guarantor Model and the Institutionalization of Evaluation ”. Research Evaluation, U. K., vol. 5, número 2, p. 123-129, agosto de 1995.
LIMA, Antonio G. Garcia. Entrevista realizada en el CEPEL/RJ el día 22/02/99. Antonio Lima es Coordinador del Programa Tecnología de Equipamientos de Generación, Transmisión y Distribución – TEQ do CEPEL (Centro de Pesquisas de Energia Elétrica da ELETROBRÁS).
________ Relatório CEPEL, s.d. (Mimeografiado).
LIPSETT, M et. al. R&D and Innovation at the Firm Level: improving the S&T policy information base. Research Evaluation, vol. 5, número 1, p. 11-21, abril de 1995.
MARCIANO DA SILVA, C. e HENRIQUES, Luísa. R&D Evaluation in Portugal Research Evaluation, U. K.,vol. 5, número 1, p. 89-97, abril de 1995.
McDONALD, Robert e TEATHER, George. «Science and Technology Evaluation practices in the government of Canada». OECD CONFERENCE: Best Practices in the Evaluation of Technology and Innovation Policies. Paris, Junio de 1997.
MACLEAN, M. ANDERSON, J. e MARTIN, B. Identifying Research Priorities in Public Sector Funding Agencies: mapping science outputs onto user needs. SPRU, University of Sussex, Brighton, UK, 1997
MELLO, Henrique A. Entrevista realizada en CENPES/RJ el día 22/02/99.
MENDES de CASTRO, Antonio. FINEP – Passado, Presente e Futuro. Documento dirigido a la Dirección de FINEP en noviembre de 1987. (Mimeografiado).
MENDES de CASTRO, Antonio. Entrevista realizada en FINEP/RJ el día 12/01/1998.Antonio Mendes de Castro era Ejecutivo de la Unidad de Micro y Pequeña Empresa de la FINEP.
MENEZES, Ana C. Lima y GONZAGA, Solange M. Indicadores de Desempenho: um instrumento de gerenciamento para o CENPES. Trabalho apresentado na XII Reunião Anual dos Associados ANPEI. CENPES/PETROBRÁS. Rio de Janeiro, 1996. (Mimeografiado).
MIRANDA, Jayr Augusto. Avaliação de Resultados do Processo Tecnológico na PETROBRÁS. Trabajo presentado en XII Reunión Anual de los Asociados ANPEI CENPES/PETROBRÁS. Rio de Janeiro, 1996. (Mimeografiado)
________ Entrevista realizada en CENPES/RJ el día 22/02/99.
OECD. National Systems For Financing Innovation. Secretary-General of OECD, Committee for Scientific and Technological Policy. Paris, France, 1995.
________ OSLO MANUAL. Directorate for Science, Technology and Industry.Committee for Scientific and Technological Policy, Paris, France, 1-2, octubre de 1996.
OHAYON, Pierre. Entrevista realizada en la PUC-RIO el día 23/02/99. Pierre Ohayon es investigador de la Oficina de Desarrollo y del Centro Técnico-Científico de la PUC-RIO y Asesor de Planificación Estratégica de la Fundación Oswaldo Cruz.
ORMALA, Erkki. Research Evaluation Benefits for International Exchange. Research Evaluation, U. K., vol. 5, número 1, p. 2, abril de 1995.
PINHEIRO, Luis Otávio. Entrevista realizada en FINEP/RJ, el día 22/07/1998.
PENTZAROPOULOS, A e HATZIPARADISSIS, G. . Evaluation of Publicly-funded Research in Greece: a time-level analysis of the Information Technology Sector. Research Evaluation, vol. 4, número 2, p. 89-96, agosto de 1994.
PIANTA, M. e SIRILLI, G. Impact of Innovation Policies: evidence from the Italian innovation survey”. Science And Public Policy, U. K., vol. 24, agosto, p.245-253.
PORTER, Michael. Vantagem Competitiva: criando e sustentando um desempenho Superior. 4ª edição, RJ: Ed. Campus, 1990.
QUESNEL, Jean (1997) Informe Anual de la oficina de Evaluación 1996, Banco Interamericano de Desarrollo, Washington, D.C., http://www.iadb.org/cont/evo/evinfi.htm.
RATCHFORD, J. Thomas. Science and Technology in Government and Industry: whence and whiter?”. Technology In Society, U. K., vol. 19, n. 314, p. 211-236, 1997.
ROTHWELL, R. e DODGSON, M. European Technology Policy Evolution: convergence towards SMES and regional technology transfer. Technovation. Dorset, U. K., vol. 12, no. 04, pp. 223-238, 1992.
RUEG, Rosalie (1996) Guidelines for Proposing Economic Evaluation Studies to the Advanced Technology Program (ATP). National Institute of Standards and Tecnhology Administration (NIST). US Department of Commerce. Gaithersburg, MD 20899 USA. http://ww.atp.nist.gov/www.eao/ir5896.html.
________ (1998) The Advanced Technology Program’s Evaluation Plan & Progress. National Institute of Standards and Technology Administration (NIST). US Department of Commerce, November. Gaithersburg, MD 20899 USA. http://www.atp.nist.gov/www.eao/7 thiftm.htm
SANZ-MENENDEZ, Luis. Research Actors and the State: research evaluation and evaluation of science and technology policies in Spain”. Research Evaluation. U. K., vol. 5, número 1, p. 9-88, abril, 1995.
SEIDL, Peter Rudolf. Entrevista realizada en la FAPER/RJ, el día 08/02/1999. Peter Seidl es Diretor Científico de FAPERJ (Fundação de Amparo à Pesquisa do Estado do Rio de Janeiro).
SHAPIRA, Philip et al. Current Practices in the Evaluation of Industrial Modernization Program, Research Policy, U. K.,25(1996) 185-214, 1996.
SILVA, Aloysio Manso. Acompanhamento de Processos. Documento de uso interno de FAPERJ, RJ, 1998. (Mimeografiado).
________ Entrevista realizada en FAPER/RJ el día 08.02.1999. Aloysio Silva es Asistente de la Dirección Científica de FAPERJ (Fundação de Amparo à Pesquisa do Estado do Rio de Janeiro).
SILVANI, Alberto e SIRILLI, Giorgio. R&D Evaluation in Italy: a science and technology policy view.). Research Evaluation, U. K., vol. 5, número 1, abril de 1995.
SIRILLI, Giorgio e MELICIANI, Valentina. Research Evaluation at The National Research Council of Italy: a survey of decision-makers”. Research Evaluation, U. K., vol. 4, número 2, p. 75-88, agosto, 1994.
SOUZA, José Henrique. Os Núcleos de Articulação com a Indústria: um instrumento de Política Tecnológica para o Setor de Bens de Capital. 1997. Disertación presentada al Instituto de Geociencias de la Universidad del Estado de Campinas – UNICAMP.
TAFTIE. Taftie Guidelines on Performance Indicators for Evaluation and Monitoring. The
TAFTIE Evaluation Network. Madrid, España, Versión 20.11.97.
TSIPOURI, Lena. Evaluating The Economic Effects of R&D In Less Favoured Countries: the notions of complementarity. Research Evaluation, U. K.,vol. 2, número 1,p. 27-35, abril de 1992
VILELA, Sérgio Luiz de O., PINTO, João B. G. e MORAES, Maria D. C. de. A Problemática da Avaliação dos Impactos Sociais das Tecnologias Agropecuárias: construindo uma metodologia. Trabajo elaborado para la presentación el XXXIII Congreso de SOBER, s. d. (Mimeografiado).
WEISZ, Joel. Entrevista realizada en FINEP/RJ el día 23.02.1999
WILLIAMS, Doug. Methods for Assessing the Socioeconomic Impacts of Government S&T. ARA Consulting Group Inc. Canadá, mayo de 1993.
WILLIAMS, D. e RANK, «D. Measuring the Economic Benefits of Research and Development: the current state of the art», Research Evaluation, U. K., vol. 2, número 1, p. 27-35, abril de 1998.
ZANCO FILHO, Romulo Angelo. Entrevista realizada el CPqD/Campinas el día 12.02.1999. Gerente de la División de Información e Investigaciones de Mercado del CPqD.