HOME | ÍNDICE POR TÍTULO | NORMAS PUBLICACIÓN Espacios. Vol. 37 (Nº 15) Año 2016. Pág. 14
Érika de Andrade Silva LEAL 1; Márcia Elisa ECHEVESTE 2; Idália Antunes Cangussú REZENDE 3; Danilo CARVALHO 4; Giovani Freire AZEREDO 5
Recibido: 15/02/16 • Aprobado: 18/03/2016
4. Proposta e validação do instrumento de pesquisa
RESUMO: O trabalho tem como objetivo realizar um levantamento e uma análise de indicadores relevantes para a avaliação de impactos de programas de inovação financiados e/ou coordenados pelo setor público. O instrumento de pesquisa foi realizado em forma de um questionário contemplando cinco dimensões: econômica; social; ambiental; tecnológica; cultura e relacionamento. Utilizou-se o coeficiente Alfa de Cronbach para a validação do instrumento de pesquisa, sendo o mesmo aplicado junto aos pesquisadores residentes no Estado do Espírito Santo, Brasil. Entende-se que o instrumento possa ser replicado a outras populações no intuito de validar indicadores para medir o impacto de projetos de inovação. |
ABSTRACT: The work aims to conduct a survey and analysis of relevant indicators for the assessment of impacts of programs of innovation funded and/or coordinated by the public sector . The research instrument was conducted in the form of a questionnaire covering five dimensions: economic; social; environmental; technological; culture and relationships . We used the Cronbach´s Alpha coefficient for the validation of the research instrument, and the same applied together with researchers resident in the Espírito Santo Stage, Brazil . It is understood that the instrument can be replicated to other populations in order to validate indicators to measure the impact of innovation projects. |
A participação dos governos no financiamento e/ou coordenação de programas públicos de inovação tem sido crescente nas últimas décadas, como mostram os trabalhos de Mowery, Nelson e Martin (2010) e Mahroum e Al-Saleh (2013). Estes autores pregam que os governos buscam investir em inovações, pois a sociedade enfrenta uma série de desafios relacionados à mudança climática, saúde, educação e segurança que exigem soluções inovadoras que somente poderão ser realizadas com a atuação conjunta dos setores privado e público.
No Brasil, desde o início desse século, uma série de ações também foram realizadas pelos governos no sentido de ampliar as ações relacionadas à Ciência, Tecnologia e Inovação (C,T&I) no país Ministério da Ciência e Tecnologia (2007) e Fonseca (2012). Do ponto de vista institucional em 2004, foi publicada a Lei nº 10.973 que dispõe sobre os incentivos à inovação e à pesquisa científica e tecnológica no ambiente produtivo; em 2005 tal Lei foi regulamentada no Decreto nº 5.563; em 2006 foi publicada a Lei do Bem nº 11.196 que também incentiva a inovação no ambiente produtivo; além da promoção por meio de uma série de debates nos estados e municípios sobre esse novo marco legal.
No que se refere aos Governos Estaduais, a partir de 1989, estes incluíram artigos em suas constituições que determinam percentuais mínimos da arrecadação a serem utilizados na execução de políticas públicas de C,T&I. Além disso, buscaram organizar em suas regiões, os sistemas de inovação, por meio do fortalecimento ou criação das Secretarias de Ciência e Tecnologia, das Fundações de Amparo à Pesquisa (FAP`s) e articulação dessas instituições com empresas, universidades, centros tecnológicos e demais parceiros.
Com a ampliação dos programas públicos de ciência, tecnologia e inovação; outra demanda importante das políticas públicas de C,T&I se tornou bastante latente nas instituições de fomento a essa atividade: a avaliação dos programas implantados. A avaliação dos programas tem o intuito de estabelecer mecanismos de atestar o cumprimento dos objetivos propostos e medir o retorno dos programas para a sociedade. Alguns estudos que têm como tema a avaliação de programas públicos de C,T&I, como Reis (2010), mostraram que a avaliação de programas de inovação geralmente ocorre em três fases. A fase ex ante cujo objetivo é selecionar os projetos que serão financiados. A fase intermediária, também chamada de acompanhamento, trata-se de avaliar todas as etapas durante a execução do programa. A fase ex post trata-se da avaliação de resultados e de impactos dos programas que foram executados, ou seja, avaliar eficácia do programa de CT&I.
É sobre essa última fase que o trabalho pretende trazer uma contribuição. Assim, destaca-se como objetivo geral levantar indicadores de avaliação de impactos de projetos públicos de inovação disponíveis na literatura com o intuito de elaborar um instrumento que contenha indicadores relevantes para a avaliação de impactos de programas de inovação financiados e/ou coordenados pelo setor público.
Para atingimento do objetivo geral da pesquisa, delinearam-se os seguintes objetivos específicos:
Para tanto, o trabalho está dividido em 5 (cinco) etapas além dessa introdução. A etapa 1, a seguir, traz uma breve revisão sobre a avaliação de impactos de programas públicos presentes na literatura. No item 3 está apresentada a metodologia do trabalho. Na etapa 4 (quatro), é apresentada a proposta e validação do instrumento de pesquisa e na etapa 5 são feitas as considerações finais e recomendações para trabalhos futuros.
A avaliação dos resultados e dos impactos dos programas de CT&I é um tema presente na agenda dos pesquisadores contemporâneos como Tassey (2003); Lima (2005); Shin et al. (2007); Nelson et al. (2010); Kapsali (2011); Saéz et al. (2011); Coccia (2012); Samara et al. (2012); Mahroum e Al-Saleh (2013); Dewangan e Godse (2014).
Lima (2005) mostrou que as primeiras tentativas no sentido de avaliar impactos de programas públicos de C,T&I são oriundas do pós Segunda Guerra Mundial. A autora ressalta também que os métodos e práticas de avaliação têm sido desenvolvidos em sintonia com a compreensão do próprio processo de inovação e a avaliação de impactos de projetos de C,T&I utiliza tanto métodos quantitativos quanto qualitativos. No que tange aos métodos quantitativos destacam-se a bibliometria, os indicadores de C&T e os dados de patentes que são medidas utilizadas em geral para avaliação dos impactos dos projetos sobre os sistemas nacionais de inovação.
Outra análise também bastante utilizada no que se refere aos impactos dos programas e projetos de C,T&I públicos, trata-se dos estudos relacionados aos impactos dessa atividade sobre a P&D empresarial. Nesse caso, busca-se avaliar quão relevante foi o investimento nos projetos de C,T&I públicos para incentivar o investimento em P&D privado e a verificação da existência de relação entre o investimento em Pesquisa e Desenvolvimento (P&D) e o aumento da produtividade empresarial e consequentemente para a competitividade das empresas (DEMIREL; MAZUCCATTO, 2009).
Do ponto de vista teórico, autores da corrente "neoshumpeteriana" como Nelson e Winter (1983), Freeman (1995) e Perez (2012) afirmam que as inovações são importantes para a competitividade das empresas e consequentemente são a "mola propulsora" do desenvolvimento econômico.
Um trabalho coletivo no sentido de contribuir para a interpretação de dados sobre a inovação tecnológica e orientar os países na elaboração de métricas para avaliação dos impactos dos projetos de C,T&I se refere ao Manual de Oslo, que foi editado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) no início dos anos 1990 tendo sido traduzido para o português no início dos anos 2000.
A Pesquisa Industrial de Inovação (PINTEC) realizada no Brasil, desde os anos 2000, que avalia os impactos dos gastos com inovação em empresas brasileiras utiliza o Manual de Oslo como referencial metodológico.
Mais recentemente, um grupo de pesquisadores europeus, também de inspiração "neoshumpeteriana" tem se dedicado a desenvolver métricas para a verificação da relação direta entre os investimentos em projetos de inovações e os impactos sobre o desempenho econômico, como é o caso dos estudos desenvolvidos por Demirel e Mazuccatto (2009) e Perez (2012). As métricas trabalhadas por esses autores são baseadas em estudos econométricos que permitem identificar relações entre o volume de gastos em P&D e aumento da produtividade e da riqueza de uma região ao longo do tempo.
Mahroum e Al-Saleh (2013) ao desenvolverem um indicador para aferir a eficácia dos programas de inovação, afirmam que os indicadores de avaliação de impactos da inovação e as políticas de inovação tendem a focar em dois aspectos da atividade inovadora: criação de novos conhecimentos e a exploração de novos conhecimentos e inovações.
Todas as ferramentas voltadas para aqueles aspectos estão relacionadas à concepção do modelo linear de inovação que assume uma relação unidirecional entre os diversos insumos e produtos do processo de inovação, tais como gastos em P&D, desenvolvimento de produto, ou ciência e engenharia.
Como resultado desta concepção, tradicionalmente, as ferramentas de medidas de impacto dos projetos de inovação têm dedicado uma pequena importância para o que acontece entre insumos e produtos, isto é, mais especificamente ao aprendizado, à adoção e à adaptação do conhecimento que tem papel de destaque no processo de inovação.
No caso brasileiro, alguns programas de C,T&I coordenados por diversas instituições foram alvo de avaliação, tais como, análises acadêmicas e avaliações encomendadas pelas próprias instituições de fomento
Desde o início dos 2000, teses de doutorado que contemplem os desafios da avaliação de impactos de programas públicos de C,T&I tem sido desenvolvidas em diferentes universidades brasileiras e em diferentes perspectivas.
O trabalho de Zackiewick (2005), por exemplo, mostra as trajetórias e os desafios da avaliação dos programas públicos de C,T&I. O autor desenvolveu um modelo para avaliação de impactos em múltiplas dimensões (MDM) que foi aplicado ao Programa Procana, financiado pela Finep, em São Paulo. Como sugestão para trabalhos futuros, o estudo recomenda fortemente a elaboração de instrumentos de avaliação de impactos, que contemplem as peculiares do programa a ser avaliado e da região onde o mesmo foi desenvolvido.
Lima (2005) também desenvolveu sua tese de doutorado nesse tema. Avaliou três projetos que integram o Programa de Modernização dos Pólos Tecnológicos do Estado do Rio Grande do Sul, sob a perspectiva do desenvolvimento sustentável. Assim como Zackiewick (2005), a autora ressalta a importância da elaboração de instrumentos de avaliação de impactos de programas públicos de C,T&I em consonância com as peculiares da região alvo do programa.
Outros programas como o Programa de Pesquisas em Saneamento Básico (PROSAB) da Financiadora de Estudos e Projetos (Finep), por exemplo, foi objeto de avaliação por Furtado et al. (2008).
A Fapesp (2011) publicou uma pesquisa sobre os Indicadores de Ciência, Tecnologia e Inovação para Estado de São Paulo/2010, em que foram apresentados e analisados indicadores de insumos e produtos.
Como indicadores de insumos foram analisados elementos como educação (básica, graduação acadêmica e tecnológica, pós-graduação) e recursos humanos e financeiros para P&D. Os indicadores de produtos analisados foram a produção científica e tecnológica e atividades de inovação na empresa.
O estudo abordou as informações de forma descrita (qualitativa e quantitativa), trazendo ainda uma avaliação sobre os indicadores de percepção pública de CT&I para o estado de São Paulo.
Gallon, Reina e Ensslin (2010) trataram de avaliar o impacto do financiamento da inovação promovido pelo Programa Juro Zero (PJZ), executado pela Finep em parceria com diversas instituições do estado de Santa Catarina. Realizou-se também uma pesquisa de natureza descritiva, com abordagem qualitativa e quantitativa dos dados.
No caso da avaliação de programa público de inovação no Espírito Santo, o estudo recente que se tem registro de avanço no tema trata-se de Reis (2010). A autora utilizou o software Impactos para avaliar o Programa Telecárdio, financiado pela Fundação de Amparo à Pesquisa no Espírito Santo. Cabe registrar que tal ferramenta é utilizada pela Embrapa, para avaliar em múltiplas dimensões seus programas de inovação.
Não se tem registro de elaboração de um instrumento que permita identificar quais indicadores são relevantes para medir o impacto de um programa público de inovação que contemple as peculiares da realidade capixaba, desenvolvido a partir da busca de indicadores na literatura e consulta a especialistas.
O presente trabalho apresenta um instrumento contendo itens que se consideram relevantes para a avaliação de impactos de programas de inovação no Espírito Santo. O instrumento não apresenta a forma como tais itens deverão ser medidos, isso é objeto de trabalho futuros. O estudo ressalta o que deve ser medido a partir da combinação dos aspectos revisados na literatura com as considerações apontadas pelos especialistas.
Para atendimento ao objetivo proposto no trabalho, foi realizada uma pesquisa exploratória com abordagem qualitativa e quantitativa. Para tanto, inicialmente foi realizada uma pesquisa bibliográfica sobre os indicadores que devem ser utilizados na avaliação de impactos de projetos públicos de C,T&I. Em seguida, foram entrevistados 5 (cinco) especialistas em gestão de políticas públicas de inovação para observar a avaliação desses profissionais acerca dos itens levantados na literatura, bem como a divisão destes em dimensões.
Considerando o método de pesquisa e de trabalho utilizados na pesquisa, foi elaborado o delineamento do estudo pelo qual os objetivos serão alcançados. O método de pesquisa deste trabalho está dividido em seis etapas: (i) levantamento de indicadores na literatura, (ii) consulta a especialistas, (iii) combinação de indicadores da literatura com as contribuições dos especialistas para criação do questionário, (iv) aplicação do questionário aos pesquisadores que estão envolvidos com projetos de inovação residentes no Espírito Santo, (v) validação do questionário por meio da aplicação do Alfa de Cronbach e (vi) ajustes no instrumento de pesquisa.
Para realizar essa etapa foi utilizada a busca de artigos no Portal de Periódicos da Capes, bem com nos repositórios de teses e dissertações de universidades brasileiras. Os indicadores de avaliação registrados na literatura foram agrupados em dimensões. Inicialmente, utilizando uma sugestão de Lima (2005) e IBGE (2010) foi feito um questionário com 03 (três) dimensões, a saber: econômica, social e ambiental (três dimensões do desenvolvimento sustentável).
De posse do questionário preliminar, foram selecionados 05 (cinco) especialistas em gestão de programas públicos de inovação para avaliar os indicadores levantados. Esses especialistas foram entrevistados de forma presencial e fizeram uma avaliação qualitativa do roteiro proposto.
Os especialistas recomendaram manter as 03 (três) dimensões propostas no questionário preliminar e ajustar alguns indicadores e inserir duas dimensões, a saber, a dimensão Tecnológica e a dimensão Cultura e Relacionamento. Tendo em vista que considerando a realidade capixaba, é fundamental buscar avaliar o impacto do programa de inovação para a geração de cultura inovadora na empresa. Dessa forma, o questionário foi proposto com 39 indicadores distribuídos em cinco dimensões, em que três são consideradas dimensões do desenvolvimento sustentável: econômica, social e ambiental (IBGE, 2010). As outras duas dimensões são: tecnológica; cultura e relacionamento, que foram propostas pelos especialistas.
O questionário possuía então 39 indicadores que foram apresentados aos entrevistados e solicitado que eles atribuíssem uma nota utilizando uma escala que variava de 1 a 10. Sendo 1 (nenhuma importância do item para medição de impacto de programa público de inovação no Espírito Santo) e 10 (máxima importância do item para medição de programa público de inovação no Espírito Santo).
De posse do questionário, foi definida a amostra para as entrevistas. Visando atender ao pressuposto da análise de confiabilidade, a saber, a heterogeneidade dos entrevistados, ressalta-se que embora a amostra seja composta de 10 (dez) pesquisadores sendo todos professores mestres e doutores residentes no Estado do Espírito Santo que possuem ou já possuíram projetos de inovação financiados por agências de fomento público, tal amostra possui elementos de heterogeneidade, pois são pesquisadores de áreas de formação e atuação distintas.
Após a definição da amostra, iniciou-se a coleta de dados, por meio da aplicação dos questionários, realizada com entrevistas presenciais. Em seguida, os dados foram tabulados e utilizou-se um software estatístico para o cálculo do Alfa de Cronbach, para validação do instrumento de pesquisa. Durante esse procedimento, verificou-se que ao retirar um indicador da Dimensão Tecnológica, elevaria o alfa dessa dimensão. Por isso, a versão final do instrumento possui 38 indicadores. O valor do alfa mínimo aceitável para a confiabilidade de um questionário é de α ≥ 0,70, valores menores que 0,70 indicam que a escala utilizada tem baixa consistência interna. Habitualmente, os valores de alfa mais confiáveis estão entre 0,80 e 0,90 (STREINER, 2003).
Como informado anteriormente, decidiu-se que o instrumento na versão final contemplaria cinco dimensões: econômica, tecnológica, cultura e relacionamento, social e ambiental. Na dimensão econômica, os primeiros quatro indicadores, a saber, "Capacidade de promover inovação em produto/serviço"; "Capacidade de promover melhoria em produto/serviço"; "Capacidade de promover inovação em processo"; "Capacidade de promover melhoria em processo", são abordados de forma indireta na literatura. Os indicadores relacionados ao incremento nas vendas, exportações e retorno sobre investimento (lucro líquido/investimento) são geralmente medidas clássicas de impacto considerando tal dimensão.
No caso, do Espírito Santo cumpre ressaltar que o requisito "Capacidade de ampliar as exportações" foi citado por alguns especialistas como praticamente irrelevante para medição de impacto de programa de inovação, tendo em vista que as empresas que utilizam tais programas não acessam ao mercado internacional. Por outro lado, decidiu-se manter esse requisito, uma vez o Espírito Santo é o estado da federação que possui o maior índice de abertura para o exterior. O grau de abertura (GA) de uma economia ao exterior é resultado da soma das exportações (X) mais as importações (M) dividido pelo PIB, ou seja, GA = (X+M) ÷ PIB. Enquanto que para o Brasil como um todo, esse indicador médio durante a primeira década de 2000 foi de 21%, no caso do Espírito Santo representou 46%. Isso significa que o comércio exterior é responsável por quase 50% da riqueza gerada pela economia estadual, (IJSN, 2012; MAGALHÃES, TOSCANO, 2011).
Na Dimensão Econômica estão registrados 7 (sete) itens e o Alfa de Cronbach calculado para essa dimensão foi 0,82.
No caso Dimensão Tecnológica, os cinco primeiros indicadores, "Capacidade de criar nova empresa"; "Capacidade de criar spin-off"; "Capacidade de criar joint-venture"; "Capacidade de registrar patente de invenção"; "Capacidade de registrar software", são recorrentemente registrados na literatura como indicadores de inovação. O indicador "Capacidade de Registrar Patentes" geralmente é tratado na literatura como "Patentes Concedidas". Para o caso do Espírito Santo, a cultura de registro de patentes por empresas que utilizam programas públicos de inovação é praticamente inexistente, então, sugeriu-se avaliar a capacidade de registro de patentes e não as patentes concedidas como é mais convencional na literatura.
O Alfa de Cronbach para esta Dimensão, inicialmente foi calculado registrando um valor de 0,71. Ao analisar os itens da Dimensão Tecnológica que poderiam ter contribuído para o registro de um valor menor para o Alfa, notou-se que se fosse retirado apenas o item "Capacidade de Fazer Licenciamento de Tecnologias" elevaria o Alfa da Dimensão para 0,807. Considera-se possível retirar esse item, pois como mostra Caçador (2010) as empresas do Espírito Santo são mais voltadas para a absorção que para ser ofertantes de tecnologias.
No que tange à Dimensão Cultura e Relacionamento, nota-se que avaliar se o programa foi importante para a empresa beneficiada ser estimulada a fazer outros projetos de inovação e a captar outros recursos para inovar são indicadores relevantes na medição. Além disso, a questão do relacionamento das empresas com universidades e institutos de pesquisas, com fornecedores e com outras empresas do setor é outro tema que deve ser avaliado.
Especificamente, a questão da relação das empresas com universidades e centros de pesquisas, é um tema que tem sido estudado, sobretudo após os anos 1960 com o Relatório de Jorge Sábato (SÁBATO, 2015). Essa questão continua sendo um tema de destaque na agenda contemporânea, como mostram os trabalhos de Eom e Lee et al. (2010); Giuliani et. al. (2010); Suzigan et al. (2011); Bruneel, D'este, e Salter (2010) e Letten et al. (2014). A relação universidade-empresa no Espírito Santo foi estudada por Sessa e Grassi (2009). Estes autores demonstraram que tal relação é bastante tímida. Considerando todos os 6 (seis) itens, o Alfa de Cronbach para esta Dimensão foi calculado gerando um valor de 0,81.
Os três primeiros indicadores propostos para a Dimensão Social, "Capacidade de promover qualificação de recursos humanos"; "Capacidade de promover melhoria de rendimento"; "Capacidade de promover melhoria nas condições de trabalho", são muito comuns na literatura que trata de avaliação de impactos de programas de inovação. Já os indicadores que se referem aos impactos dos programas de inovação sobre saúde, educação e segurança além de serem comuns foram colocados como fundamentais para avaliação no Espírito Santo, tendo em vista que o estado possui grandes déficits sociais nessas áreas. De todo modo, o Alfa de Cronbach para esta dimensão, considerando 9 (nove) itens foi de 0,88. O maior Alfa registrado em todas as dimensões do instrumento.
No que tange à dimensão Ambiental, o IBGE (2010) registra o fato de que os temas ambientais são mais recentes e não contam com uma tradição de produção de estatísticas, o que resulta numa menor disponibilidade de informações para a construção dos indicadores requeridos numa abordagem mais completa. De todo modo, foi feita a análise do Alfa de Cronbach para os 9 (nove) itens da dimensão ambiental registrando alfa igual a 0,84.
Em síntese, foi apurado o Alfa de Cronbach do Instrumento, cujo valor foi 0,93 sendo que o alfa da Dimensão Social foi a que mais aproximou do Alfa do Instrumento, com valor igual a 0,88.
A Tabela 1 a seguir apresenta de forma resumida:
Tabela 1 - Dimensões e Resultados
Este trabalho teve como objetivo geral levantar indicadores de avaliação de impactos de projetos públicos de inovação disponíveis na literatura com o intuito de elaborar um instrumento que contenha indicadores relevantes para a avaliação de impactos de programas de inovação financiados e/ou coordenados pelo setor público. Embora o instrumento tenha sido desenvolvido considerando as peculiaridades do estado do Espírito Santo, é importante ressaltar que as características dos indicadores analisadas também podem, com o devido cuidado, servir de referência para outras regiões, sobretudo aquelas que possuem características semelhantes ao estado capixaba.
Recomenda-se que sejam feitas avaliações de programas de inovação utilizando as características desses indicadores. Além dessas recomendações de cunho prático, do ponto de vista teórico, espera-se que este trabalho contribua para o desenvolvimento de estudos futuros voltados à formalização de mecanismos de levantamento de indicadores de impactos de programas públicos de financiamento à inovação.
BRUNEEL, J.; D'ESTE, P.; SALTER, A (2010); "Investigating the factors that diminish the barriers to university–industry collaboration". Research Policy, v. 39, n. 7, 858–868.
CAÇADOR, S (2010); "A indústria capixaba pós-1990: um olhar crítico a partir do "polígono"". Revista Brasileira de Estudos Regionais e Urbanos, v. 40, n. 3, 454-480.
COCCIA, M (2012); "Political economy of R&D to support the modern competitiveness of nations and determinants of economic optimization and inertia". Technovation, v. 32, n. 6 , 370-379.
DEMIREL, P.; MAZZUCATO, M. Survey of the Literature on Innovation and Economic Performance. Working Paper, FINNOV [on line], 2009 [Acesso 15 de fevereiro de 2015]. Disponível em: < http://oro.open.ac.uk/28551/1/Finnov_D2.1.pdf>.
DEWANGAN , V; GODSE M (2014); "Towards a holistic enterprise innovation performance measurement system". Technovation, v. 34, n. 9, 536-545.
EOM, B.; LEE, K (2010); "Determinants of industry–academy linkages and, their impact on firm performance: The case of Korea as a latecomer in knowledge industrialization". Research Policy, v. 39, n. 5, 625–639.
FAPESP (2011); Indicadores de ciência, tecnologia e inovação em São Paulo 2010. BRENTANI, R. R.; Cruz, C. H. B.; Suzigan, W.; J. E. M. P, Furtado; Garcia, R. C. São Paulo.
FONSECA, M. L. M. Formulação de Políticas Públicas de Ciência, Tecnologia e Inovação (CT&I): Cooperação Intergovernamental em busca do desenvolvimento científico regional. CONGRESSO CONSAD DE GESTÃO PÚBLICA [on line], Brasília, 2012, [Acesso em: 15 fev. 2015] Disponível em: < http://www.escoladegoverno.pr.gov.br/arquivos/File/2013/V_CONSAD/093.pdf>.
FREEMAN, C (1995); "The "National System of Innovation" in Historical Perspective". Journal of Economics, v. 10, n. 1, 5-25.
FURTADO, A.; BIN, et al. (2008); "Avaliação de resultados e impactos da pesquisa e desenvolvimento – avanços e desafios metodológicos a partir de estudo de caso". Gestão e Produção, v.15, n. 2.
GALLON, A. V.; REINA, D. R.M; ENSSLIN, S.R. O Impacto do Financiamento da Inovação Promovido pelo Programa Juro Zero da FINEP no Desempenho Econômico-financeiro das MPEIs Catarinenses. [versão online], ENCONTRO DA ANPAD. 24, 2010, Rio de Janeiro, [Acesso em 15 de Fevereiro de 2015]. Disponível em: < http://www.anpad.org.br>.
GEORGHIOU, L.; ROESSNER, D (2000); "Evaluating technology programs: tools and methods". Research Policy, v. 29, n. 4-5, 657-678.
GIULIANI, E, et. al (2010); "Who are the researchers that are collaborating with industry? An analysis of the wine sectors in Chile, South Africa and Italy". Research Policy, v. 39, n. 6, 748–761.
IBGE - INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (2010); Indicadores de Desenvolvimento Sustentável. Brasil.
IJSN - INSTITUTO JONES DOS SANTOS NEVES. Estatísticas de Comércio Exterior: empresas do Espírito Santo. [on line] Vitória, 2005 [Acesso em 15 de março de 2015]. Disponível em: < http:// http://www.ijsn.es.gov.br/ConteudoDigital/20120822_comexempresas2005.pdf>.
KAPSALI, M (2011); "How to implement innovation policies through projects successfully". Technovation, 31, 615-626.
LEE, C (2011); "The differential effects of public R&D support on firm R&D: Theory and evidence from multi-country data". Technovation, v. 31, n. 12, 256-269.
LETTEN et. al (2014);"Science or graduates: How do firms benefit from the proximity of universities?" Research Policy, v. 43, n. 8, 1398–1412.
LIMA, M.P.B (2005); "Avaliação de Impactos de Investimentos Públicos em Ciência e Tecnologia Sobre o Desenvolvimento Regional." Tese (Doutorado em Administração) – Programa de Pós-Graduação em Administração -, Universidade Federal do Rio Grande do Sul, Porto Alegre, p.268.
MAGALHÃES, M. A; TOSCANO, V (2011); "Vocação para exportar: uma avaliação retrospectiva dos padrões de comércio exterior do estado Espírito Santo 1996-2010". Texto para Discussão nº 34. Instituto Jones dos Santos Neves, Vitória.
MAHROUM, S. SALEH-AL (2013); "Towards a functional framework for measuring national innovation efficacy". Technovation, v. 33, 320-332.
MANUAL DE OSLO. Proposta de Diretrizes para Coleta e Interpretação de Dados sobre Inovação Tecnológica. Traduzido sob responsabilidade da Finep das edições originais em francês e inglês. [on line], 2004 [Acesso em mar de 2015]. Disponível em: < http://www.uesc.br/nucleos/nit/manualoslo.pdf>.
(MCT). Ciência, Tecnologia e Inovação para o Desenvolvimento MINISTÉRIO DA CIÊNCIA E TECNOLOGIA Nacional. Plano de Ação 2007-2010. [on line], Brasília, 2007 [Acesso em mar de 2015]. Disponível em: < http://www.mct.gov.br/upd_blob/0203/203406.pdf>.
MOWERY, D,; NELSON, R. R.; MARTIN, B. R (2010); "Technology policy and global warming: why new policy models are needed". Research Policy, v. 39, n. 8, 1011-1023.
NELSON, R. R.; FORAY, D.; MOWERY, D. C. (2012); Public R&D and social challenges: What lessons from missions R&D programs? Research Policy, v. 41, n. 10, 1687-1702.
NELSON, R.; WINTER, S (1983); "A Evolutionary Theory of Economic Change". Cambridge: Harvard University Press.
PEREZ, Carlota (2012); "Financial bubbles, crises and role of government in unleashing golden ages. Working Paper". FINNOV, Reino Unido.
REIS, R. V (2010); Avaliação ex-post de projeto de pesquisa e desenvolvimento. Dissertação de mestrado. Universidade Federal do Espírito Santo. Dissertação (Mestrado em Economia) Programa de Pós Graduação em Economia. Universidade Federal do Espírito Santo.
SÁBATO, J. A. Ecyt-ar. [on line], [Acesso em mar de 2015] Disponível em: < http://cyt-ar.com.ar/cyt-ar/index.php/Jorge_Alberto_S%C3%A1bato >.
SÁEZ, F.J et. al (2011); "Evaluating research efficiency within National R&D Programmes". Research Policy, v. 40, 230-241.
SAMARA et. al (2012); "The impacts of innovation policies on the performance of national innovation systems: A system dynamics analysis". Technovation, v. 32, 624-638.
SESSA, C. B.; GRASSI, R. A (2009); "Uma abordagem integrada da economia evolucionista e da nova economia institucional para entendimento da relação universidade-empresa: o caso nexem/UFES". Revista Economia Ensaios, v. 25, 33-58.
SHIN, C.; YOO, S.; KWAK, S (2007); "Applying the analytic hierarchy process to evaluation of the national nuclear R&D projects: the case of Korea". Progress in Nuclear Energy, v. 49, n. 5, 375-384.
STREINER, D. L (2003); "Being inconsistent about consistency: when coefficient alpha does and doesn´t matter". Journal of Personality Assessment, v. 80, 217-222.
SUZIGAN, W. et. al (2003); "Em busca da inovação: Interação universidade-empresa no Brasil". Fapesp.
TASSEY, G. (2003); "Methods for assessing the economic impacts of government R&D". NIST Planning Report, 01-03.
ZACKIEWICZ, M (2005); "Trajetórias e Desafios em Ciência, Tecnologia e Inovação". Tese de Doutorado. Universidade Estadual de Campinas, 2005. Tese (Doutorado em Política Científica e Tecnologia) – Programa de Pós-Graduação em Geociência, Universidade Estadual de Campinas, Campinas, 200 fls.
1. Professora do Instituto Federal do Espírito Santo / Campus Cariacica Email: professoraerikaleal@gmail.com
2. Professora da Universidade Federal do Rio Grande do Sul
3. Professora do Instituto Federal do Espírito Santo / Campus Cariacica
4. Professora do Instituto Federal do Espírito Santo / Campus Vitória
5. Professor do Instituto Federal do Espírito Santo / Campus Serra