1. Introdução

O sistema de Ciência, Tecnologia e Inovação(C,T&I) brasileiro é formado por agentes do setor governamental, produtivo e educacional. Em nível estadual, há as Fundações Estaduais de Amparo à Pesquisa (FAP´s), agentes que fomentam projetos de pesquisa de instituições públicas e privadas (HERRLEIN, 2001).

As FAP´s pertencem à administração indireta e exercem o papel do governo de incentivar a partilha de conhecimento na sociedade, buscando o bem estar social, o desenvolvimento econômico e benefícios em termos de arrecadação do Estado (PEIXOTO, 2005).

Como o sistema de C,T&I vem crescendo consideravelmente nos últimos anos, também os investimentos em pesquisa tiveram um aumento notável, no entanto, é necessário avançar em inovação, transformando os atuais índices de produção cientifica em elementos de desenvolvimento tecnológico (BORGES, 2007). Isto faz com que as instituições que compõem esse sistema busquem formas de gerir melhor os recursos aplicados, se mostrando interessadas em avaliar suas políticas de financiamentos em C,T&I, e assim justificar suas decisões. Além disso, há maior cobrança da sociedade em relação aos investimentos públicos feitos em C,T&I, fazendo com que sejam incorporados a este sistema novas formas de informar ao público o que vem sendo desenvolvido (FRANCISCO, 2002).

Neste contexto, a busca por processos e sistemas eficientes de avaliação de resultados de projetos e programas públicos se intensifica. Além da transparência, este sistema deve servir também, e principalmente, como uma ferramenta gerencial, que permita correções e ajustes nas políticas de investimento.

Tradicionalmente, as FAP´s vinham apresentando a destinação dos recursos sem indicar os benefícios sócio-econômicos proporcionados. Um sistema de avaliação ex-post (ou de resultados) poderá fornecer respostas que justifiquem não somente os recursos financeiros empregados, mas também as escolhas feitas, as áreas científicas de maior potencial ou regiões mais carentes de desenvolvimento cientifico e tecnológico (FRANCISCO, 2002), bem como as necessidades de inovação.

O presente artigo está dividido em cinco seções: a primeira relativa à introdução; a segunda seção trata do referencial teórico que aborda três assuntos relacionados com o tema - Conceitos e tendências de C, T&I as FAP's e a evaliação ex-post em projetos de pesquisa; a terceira seção trata do método aplicado na pesquisa (estudo de casos múltiplos), coleta e tratamento dos dados; a seção quatro mostra a análise e interpretação dos resultados e, finalmente, a quinta trata das considerações finais seguida das referências.

2. Referencial Teórico

2.1. Ciência, Tecnologia e Inovação: Conceitos e Tendências

A Ciência, a Tecnologia e a Inovação – C,T&I - são fatores determinantes para o desenvolvimento econômico de um país. Para Zouain (2001) ciência e tecnologia são sistemas diferentes, mas inter-relacionados. A tecnologia alimenta a ciência com problemas, instrumentos e recursos. A ciência, por sua vez, alimenta a tecnologia produzindo conhecimento e capacidades básicas, porém, em menor extensão.

Para Spinak (1998) a ciência é definida como um sistema de produção de informação, na forma de publicações e patentes, considerando publicação como qualquer informação 6 registrada em formatos permanentes e disponíveis para o uso comum. Já a tecnologia é definida como a aplicação desse conhecimento da ciência à produção em geral.

Segundo Rocha e Ferreira (2001, p. 65) "As abordagens baseadas nas politicas de ciência e tecnologia estão sendo substituídas pela concepção dos sistemas nacionais de inovação". O processo de inovação vem assumindo um papel estratégico nas discussões sobre a sobrevivência e a competitividade das empresas brasileiras.

Essa nova tendência, de acordo com Baêta (1999), decorre de uma demanda crescente por tecnologia e da necessidade de inovar imposta pela nova estrutura econômica. Segundo a autora, a abertura dos mercados fez com que empresas e governos buscassem estratégias para aumentar o nível da capacitação tecnológica no país.

As economias industrializadas vêem a incorporação do conhecimento científico como característica central da inovação tecnológica. O desafio é incrementar a capacidade de inovar e de transformar conhecimento em riqueza para a sociedade brasileira. Esta transformação acontece através da ação inovadora tanto das empresas (SILVA e MELO, 2001), como dos agentes governamentais.

2.2 As Fundações de Amparo à Pesquisa (FAP's)

A Constituição Federal de 1988 facultou aos estados a vinculação orçamentária para o setor de C,T&I, estimulando assim atividades de fomento à pesquisa científica e tecnológica por parte dos governos. No Brasil, o sistema para apoiar esta descentralização são as Fundações Estaduais de Amparo à Pesquisa.

As FAP´s estão inseridas no Sistema de C,T&I e são responsáveis pela distribuição de recursos financeiros governamentais destinados ao desenvolvimento científico e tecnológico do país e dos estados. Atuam no fomento e capacitação de recursos humanos e nas atividades de C,T&I, sob a forma de programas que se classificam em básicos e especiais. Os programas básicos destinam-se ao atendimento das demandas nas diversas áreas do conhecimento, mediante critérios de mérito, ou também, de acordo com as prioridades de investimento estabelecidas pelo órgão. Os programas especiais atendem a áreas consideradas estratégicas, por meio de mecanismos de indução, da articulação interinstitucional e da incorporação de critérios relevantes (NEVES, 1999).

As FAP's têm papel decisivo na qualidade e na velocidade em que ocorrem os avanços científicos e tecnológicos no País. É por meio delas que novos campos de pesquisa são incentivados e áreas incipientes podem desenvolver-se, ao mesmo tempo em que se mantém assegurada a continuidade da pesquisa em campos maduros (FRANCISCO, 2002).

Além dos projetos de pesquisa, de maneira geral, as FAP´s também concedem recursos para auxílio na organização de eventos, auxílio pesquisador visitante, apoio à pósgraduação e bolsas.

A Constituição de cada Estado estabelece um valor percentual a ser repassado às Fundações para apoio à pesquisa. Ocorre que, na maioria dos estados, isto não é cumprido, o que demonstra a fragilidade do sistema em relação à política que é praticada.

As FAP´s devem reconhecer que o principal cliente do sistema é a sociedade e que seus anseios de eficiência/eficácia, em termos de C,T&I deveriam ser monitorados permanentemente de forma a identificar desvios entre o almejado e o alcançado (PEIXOTO, 2005).

Em virtude do baixo nível de recursos destinados pelas empresas, o governo ainda é um importante agente na execução e no financiamento da P&D, portanto, tão importante quanto a avaliação é a divulgação dos resultados dos projetos apoiados pelas FAP´s. É através da demonstração destes resultados que o sistema científico e tecnológico poderá apresentar à sociedade os benefícios pelos quais é responsável.

No entanto, estas fundações não parecem estar preparadas para essas exigências. É possível constatar deficiências em seus processos de controle interno, avaliação de desempenho e prestação de contas para o ambiente externo, potencializando a necessidade de compreender e atuar sobre sua situação financeira e operacional (PEIXOTO, 2005).

Para atender as cobranças e verificar se as atividades promovidas estão realmente gerando produtos e serviços para a sociedade, dentre outras ações, as FAP´s necessitam construir sistemas eficientes para avaliar os resultados de seus programas e projetos.

3 Avaliação em Projetos de Pesquisa

Tratando-se de recursos públicos, é importante que os resultados alcançados tenham potencial para um retorno sócio-econômico, não só pela escassez de recursos como também para prestar contas à sociedade sobre o retorno dos investimentos que estão sendo feitos pela administração pública. Segundo Herrlein (2001, p. 10):

A avaliação de projetos constitui-se uma tarefa complexa e necessária, pois influencia a tomada de decisão com respeito a investimentos públicos. Num ambiente de escassez de recursos, qualquer investimento deve proporcionar um resultado que compense o esforço despendido.

Castro (2006) afirma que toda organização deve ser analisada sob o escopo da eficácia e da eficiência. A eficácia relaciona-se com o atendimento dos objetivos desejados (SCHWARTZMAN, 2002). A eficiência considera que mais importante que o simples alcance dos objetivos estabelecidos é deixar explícito como tais objetivos foram conseguidos (TORRES, 2004). Além da eficácia e da eficiência, a literatura especializada incorporou um terceiro conceito, a efetividade. Na área pública, esta afere em que medida os resultados de uma ação trazem benefício à população (CASTRO, 2006).

Francisco (2002) afirma que a avaliação de projetos tem como objetivo justificar escolhas, controlar o desenvolvimento e auxiliar os processos de decisão. É utilizada para fornecer subsídios tanto para as atividades administrativas como para as operacionais, direcionando-as à obtenção de melhores índices de eficácia, eficiência, relevância, e ainda de impactos positivos (efetividade). É um processo orientado para a ação e para a gestão. Implica na análise do contexto e na determinação de critérios apropriados, parâmetros de referência, variáveis, medições e indicadores (MARTINEZ e ALBORNOZ, 1998 apud FRANCISO, 2002).

Devido à existência de diferentes metodologias, existe um dilema sobre qual deve ser o foco da avaliação. Cohen e Franco (2004) apresentam duas metodologias básicas: (1) Avaliação de processos – corresponde à gestão, pois é realizada durante a implementação do programa procurando identificar as dificuldades que ocorrem durante o processo a fim de efetuar correções ou adequações. (2) Avaliação de impactos ou resultados – tem objetivos mais amplos, pois procura responder se o programa funcionou ou não, em que medida o programa alcançou seus objetivos e quais foram os seus efeitos.

Costa e Castanhar (2003) ainda apresentam a metodologia da avaliação de metas que é o tipo mais tradicional e tem como propósito medir o grau de êxito que um programa obtém com relação aos produtos mais imediatos (ou concretos) que dele decorrem.

Para uma melhor precisão na determinação dos resultados dos projetos apoiados, é necessária a escolha por um método adequado de avaliação ex-post . Serão apresentadas a seguir as principais teorias conceituais e metodológicas sobre este tipo de avaliação.

3.1 Avaliação Ex-post em Projetos de Pesquisa

A avaliação ex-post é realizada após a conclusão do projeto, ou, mais precisamente, após o término do prazo estipulado para esta execução, permitindo a identificação dos resultados obtidos na pesquisa considerando seu desempenho ou sucesso (SBRAGIA, 1984).

Embora se associe normalmente a avaliação de desempenho ou resultados à mensuração de eficiência, este não é o único e nem o mais importante critério a ser utilizado, a lista deles é longa e a escolha de um, ou vários, depende dos aspectos que se deseja privilegiar na avaliação. Segundo o manual da UNICEF (1990, apud Costa e Castanhar, 2003) os mais comuns são: (1) Eficiência: a menor relação custo/benefício possível para o alcance dos objetivos estabelecidos; (2) Eficácia: medida do grau em que o programa atinge os seus objetivos e metas; (3) Impacto (ou efetividade): indica se o projeto tem efeitos (positivos) no ambiente externo em que interveio, em termos técnicos, econômicos, socioculturais, institucionais e ambientais; (4) Sustentabilidade: mede a capacidade de continuidade dos efeitos benéficos alcançados pelos projetos após o seu término; (5) Análise custo-efetividade: comparação de formas alternativas da ação social para a obtenção de determinados impactos, para ser selecionada aquela atividade/projeto que atenda os objetivos com o menor custo; (6) Satisfação do beneficiário: avalia a atitude do usuário em relação à qualidade do atendimento que está obtendo; (7) Eq�idade: procura avaliar o grau em que os benefícios estão sendo distribuídos de maneira justa e compatível com as necessidades do usuário.

Trata-se de estabelecer critérios para verificar se os resultados do projeto foram positivos não somente no que se refere aos seus próprios objetivos e custos, mas também verificar quais foram os impactos gerados na sociedade como um todo, levando-se em consideração as principais necessidades identificadas previamente.

Cotta (1998), afirma que a diferença entre uma avaliação de resultados e de impactos depende do tipo de análise que se pretende realizar, se o objetivo é identificar os efeitos de 11 uma intervenção sobre a clientela atendida, refere-se a uma avaliação de resultados; se a intenção é captar os reflexos desta mesma intervenção em contexto mais amplo, então, referese de uma avaliação de impacto.

Um dos resultados mais importantes e alvo das pesquisas no país são os impactos de inovação. Mas as pesquisas de inovação precisam respeitar um tempo mínimo para que o conhecimento e/ou a tecnologia adquiridos sejam aplicados e a empresa possa medir os benefícios gerados. Já a pesquisa básica não precisa deste respaldo, visto que não se relaciona a uma inovação específica. Diante disso, é importante que se distingam os produtos e impactos efetivos daqueles potenciais (CAMPOS, 1999).

Uma estrutura de avaliação destinada à medição dos benefícios econômicos da P&D, recomendada por Williams e Rank (1998 apud Francisco, 2002) consideram que as atividades de pesquisa geram três tipos de outputs: resultados da P&D, aumento do conhecimento e da perícia, e produtos que afetam as atividades futuras de inovação.

Destes, são gerados três tipos de benefícios: (1) benefícios diretos: desenvolvimento de novos produtos ou processos de produção; (2) benefícios de competências: devidos ao uso dos conhecimentos ou da experiência ganha durante a P&D; (3) benefícios para o sistema de inovação: desenvolvimento de inovações a partir do uso das facilidades disponíveis como resultado do esforço da P&D.

Para que a avaliação de resultados seja possível, o planejamento deve ser consistente. Uma maneira de se testar essa consistência, apresentada por Costa e Castanhar (2003), é através da definição prévia da matriz lógica do programa. Esta começa pela identificação dos objetivos gerais e específicos, dos indicadores de performance pelos quais o programa será avaliado, bem como a indicação das fontes de dados que serão usadas para as mensurações, comparações e análises necessárias.

Num segundo momento essa metodologia se volta para a identificação dos recursos (financeiros, humanos e de infra-estrutura) alocados ao programa, as atividades previstas, os resultados/impactos esperados (imediatos, médio e de longo prazo) e as relações causais que a teoria por trás do programa pressupõe que podem ser assumidas.

Relaciona-se com este tipo de processo a gestão por objetivos ou resultados, que tem sido utilizada por alguns autores como uma ferramenta moderna e competente, que persegue a evolução de indicadores objetivamente expressos, para que todo o sistema se mova compromissado. Assim, é necessário que a administração pública se gerencie não mais por inputs (recursos), mas sim por resultados, sejam eles quantificáveis, tangíveis e imediatos (serviços oferecidos) ou impactos voltados aos usuários (SANTOS e KOBASHI, 2005).

Verifica-se uma multiplicidade de conceitos aplicáveis e uma variedade de critérios apontados pelos estudiosos da matéria. Mas, nem a dificuldade nem o risco devem ser obstáculos para as tentativas de se aplicar essa metodologia, pois, esse é um campo em que o aprendizado com as experiências práticas contribui para a superação das dificuldades conceituais e operacionais (COSTA e CASTANHAR, 2003).

A aplicação destes conceitos e critérios requer formas específicas de operacionalização, que são conhecidas como indicadores.

3.2 Indicadores de Avaliação de Projetos de Pesquisa

Para Wilk (apud Seadi; Fracasso; Santos, 2003, p.1), indicador pode se conceituado como:

[...] estatísticas que medem aspectos quantificáveis da criação, disseminação e aplicação de ciência e tecnologia. Como indicadores eles devem ajudar a descrever o sistema de ciência e tecnologia, possibilitando uma melhor compreensão de sua 13 estrutura, do impacto de suas políticas e programas e do impacto de ciência e tecnologia na sociedade e na economia.

Na perspectiva de Kondo (1998), a escolha de indicadores na área de C,T&I deve levar em consideração razões como: necessidades sociais do país, efeitos em cascata, melhorar um bem público com uma ação particular que poderá melhorar o bem-estar da sociedade.

Tradicionalmente, estes indicadores são desagregados segundo três dimensões: (1) a natureza da pesquisa (básica e aplicada) e atividades científicas e técnicas correlatas; (2) os setores que executam ou financiam estas atividades (governo, instituições de ensino superior e empresas); e (3) a classificação dos recursos de cada um destes setores, obedecendo a critérios específicos para o governo (segundo objetivos sócio-econômicos), as instituições de ensino superior (segundo áreas do conhecimento) e as empresas (segundo setores de atividade econômica) (BRASIL, 2007).

Mais recentemente, foram desenvolvidos os chamados indicadores de resultados, que incorporaram a produção de patentes e a transferência de tecnologia. Mas, segundo Brasil (2007), são ainda incipientes as tentativas de elaboração de indicadores de impacto, isto é, formas de mensurar como determinado resultado científico ou tecnológico afeta as várias dimensões das condições de existência dos indivíduos.

De acordo com Kondo (1999), os indicadores existem para permitir aos tomadores de decisão verificar se o sistema sob sua responsabilidade está atingindo os objetivos para o qual foi planejado. Assim, um sistema de avaliação ex-post , necessário para as FAP´s, deve fornecer respostas que justifiquem não somente os recursos financeiros empregados, mas também as escolhas feitas, como as áreas científicas de maior potencial ou regiões mais carentes de desenvolvimento científico e tecnológico. Os indicadores são fundamentais para a 14 construção deste sistema, pois, servem para reduzir a incerteza no processo de tomada de decisão (FRANCISCO, 2002).

Devido à variedade das áreas de conhecimento envolvidas nos projetos de C,T&I, em especial os destinados aos projetos apoiados por FAP´s, diferentes objetivos econômicos e sociais são enfatizados, sendo necessária a elaboração de indicadores que apresentem características próprias, como a generalidade e a capacidade de adequação a variados casos (HERRLEIN, 2001).

Um conjunto de indicadores é proposto por Francisco (2002) para avaliar os projetos financiados pela FAP do Rio Grande do Sul. Esta fez uma análise dos indicadores apresentados por vários outros autores e manuais, estabelecendo, de uma forma muito apropriada, aqueles que serviriam para medir os resultados e impactos dos projetos de pesquisa na área de C,T&I:

• Indicadores de Insumo – usados para demonstrar os investimentos nas atividades de pesquisa.
• Indicadores de Produto – é o resultado imediato da pesquisa, ou seja, os produtos gerados como publicações, patentes.
• Indicadores de Impacto Social – servem para quantificar os impactos das atividades científicas em função de toda sociedade, não apenas o seu impacto econômico.
• Indicadores de Inovação – são os objetivos econômicos (ampliar a gama de produtos, desenvolver produtos ecológicos, manter ou aumentar a participação no mercado, diminuir custos de produção, melhorar as condições de trabalho, etc).

Nem todos os indicadores escolhidos podem ser relevantes para todos os projetos, assim como existem indicadores que podem ser imprescindíveis na avaliação de algum projeto, eles vão variar de acordo com os objetivos e a natureza dos mesmos.

De acordo com Geisler (2000), duas das características mais importantes a serem apresentadas por um conjunto de indicadores de avaliação, que são a validade e a confiabilidade. A validade é essencial porque conecta o instrumento de medição com o fenômeno a ser analisado, ou seja, é o que descreve o grau no qual os valores apurados realmente medem o que se propõem a medir. A confiabilidade refere-se ao grau no qual diferentes leituras do instrumento de medição estão dentro de uma escala de erro aceitável.

Para se chegar a indicadores confiáveis, é necessário definir alguns passos de construção do sistema de avaliação. Deve-se saber o que se deseja mensurar e atingir e partir daí levantar um conjunto de medições passíveis de serem avaliadas, que são combinadas e colocadas sob forma de indicadores. Estes devem ser testados, segundo critérios estabelecidos, para que possam realmente servir de auxílio na avaliação (GEISLER, 2000).

Para a avaliação de projetos apoiados por FAP´s, é importante que o conjunto de indicadores selecionados destaque as características relacionadas à validade, confiabilidade, relevância, abrangência do uso dos mesmos e a possibilidade de quantificação (mensuralidade), além da viabilidade de coleta dos dados (FRANCISCO, 2002).

A escolha dos indicadores adequados envolve uma fundamentação nos reais objetivos e interesses daquilo que se pretende medir. E para manipulá-los é necessário que se possua conhecimento suficiente para interpretar os dados obtidos e transformá-los em informações importantes para o Sistema de C,T&I.