HOME | ÍNDICE POR TÍTULO | NORMAS PUBLICACIÓN

Espacios. Vol. 37 (Nº 32) Año 2016. Pág. 15

Responsabilidade Fiscal, Social e de Gestão das Capitais das Unidades da Federação Brasileira: avaliação em um único índice (2005 – 2010)

Tax-related, Social and Management-related Responsibility of the Capital Cities of the Brazilian Federal States: assessment in a single index (2005-2010)

Maurício Corrêa da SILVA 1; José Emerson FIRMINO 2; Anailson Márcio GOMES 3; José Dionísio Gomes da SILVA 4

Recibido: 13/06/16 • Aprobado: 02/07/2016

Conteúdo

1. Introdução

2. Revisão da Literatura

3. Procedimentos Metodológicos

4. Resultados e Discussões

5. Considerações Finais

Referências

1. Introdução

Estimar em que medida as ações governamentais produzem os seus efeitos esperados é um dos principais desafios enfrentados por estudiosos do assunto e formuladores de políticas públicas (Figueiredo Filho et al., 2013). Santagada (1993) esclarece que os indicadores sociais tiveram uma boa aceitação desde seu surgimento e estão inseridos no planejamento governamental da maioria dos países.

Neste prisma, avaliar o desempenho institucional significa demonstrar que o sucesso de reformas políticas está relacionado não somente com a qualidade das leis e instituições e com a capacidade dos governos em implementa-las, mas também com a qualidade do tecido social no qual é implantada (Santos; Bitarello; Pedde, 2008).

Os desempenhos das instituições públicas podem ser avaliados por indicadores sociais e neste sentido, pode-se citar como exemplos: o Índice de Desenvolvimento Humano Municipal (IDHM) do Programa das Nações Unidas para o Desenvolvimento (PNUD), o Índice de Desenvolvimento Municipal (IFDM) da Federação das Indústrias do Estado do Rio de Janeiro (FIRJAN) e o Índice de Responsabilidade Fiscal, Social e de Gestão (IRFS) da Confederação Nacional de Municípios (CNM), dentre outros.

O Índice de Responsabilidade Fiscal, Social e de Gestão (IRFS) da Confederação Nacional de Municípios (CNM, 2016) é um instrumento que objetiva disseminar a cultura da responsabilidade fiscal associada à responsabilidade social, divulgado anualmente e já possui nove edições (anos de 2003 a 2011).

Diante do exposto, surge a seguinte questão central de pesquisa: Qual o desempenho de responsabilidade fiscal, social e gestão das capitais das unidades da Federação Brasileira, a partir do Índice de Responsabilidade Fiscal, Social e de Gestão (IRFS) dos anos de 2005 a 2010? Assim, o objetivo geral é elaborar um único índice de desempenho de responsabilidade fiscal, social e gestão das capitais das unidades da Federação Brasileira, a partir dos IRFS (Índice de Responsabilidade Fiscal, Social e de Gestão) dos anos de 2005 a 2010, com a utilização da Análise de Componentes Principais (ACP).

As pesquisas de avaliação de desempenho do setor público são formas de exercer o controle social e neste sentido a relevância desta pesquisa está fundamentada no esclarecimento dos resultados das referidas entidades, visando reduzir a assimetria da informação existente entre a sociedade e as entidades governamentais. Ademais, ao sintetizar seis indicadores (IRFS de 2005 a 2010) em um único índice, a pesquisa contribui com o processo de elaboração de indicadores sociais. Desse modo, estudos correlatos poderão sintetizar outros indicadores, os quais poderão dar uma visão ampla da situação em que se encontram os municípios (capitais) avaliados.

A pesquisa está amparada na Teoria dos Stakeholders e na Teoria da Medição e para atingir o objetivo proposto, este artigo está dividido em cinco seções. Após esta introdução, a seção dois traz a revisão da literatura. A seção seguinte os procedimentos metodológicos. A quarta seção mostra os resultados da pesquisa e análises. A quinta seção trata das considerações finais.

2. Revisão da Literatura

Para Harrison, Rouse e De Villiers (2012), na perspectiva da Teoria dos Stakeholders a prestação de contas e a medição de desempenho pode e deve ser utilizada no setor público. Mcwilliams e Siegel (2001) esclarecem que o trabalho de Freeman é tido como seminal na fundamentação da Teoria dos Stakeholders.

A definição clássica de stakeholders, corresponde a qualquer grupo ou pessoa cujos interesses podem afetar ou ser afetados pelas realizações dos objetivos de uma organização. A Teoria dos Stakeholders é usada para identificar quem são os stakeholders; quais são as suas características; quais são as suas motivações e os recursos disponíveis (Vieira; Costa; Boaventura, 2011).

A análise da Teoria dos Stakeholders, para Freeman et al. (2010), no processo de políticas públicas é útil para mapear os grupos constituintes, a estrutura de poder, as redes de políticas e a comunidade. Neste sentido, pode ser usada para identificar o potencial de cada parte interessada em controlar o grupo, formar coalização, identificar o poder relativo etc.

Segundo Ricardo (2012), na Teoria dos Stakeholders foi desenvolvido o conceito das partes interessadas, entendida como qualquer grupo ou indivíduo que pode afetar ou ser afetados pela realização do propósito da organização. De acordo com Falco (2000), na interpretação da res publica (coisa pública), pela Teoria dos Stakeholders a relação do agente principal é definida como uma forma de interação social em que o público principal é representado por qualquer centro decisório com poder para criar órgãos deliberativos formalmente estabelecidos pela Constituição.

Já a Teoria da Representação da Medição ou simplesmente Teoria da Medição trata da medição, no sentido mais amplo com a atribuição de números a objetivos ou eventos, de acordo com as regras (Arias, 2010). Para Cohen e Franco (2012), pela Teoria da Medição, os números são símbolos com dois significados: o quantitativo habitual, que implica que com eles podem ser realizadas operações algébricas, e o qualitativo, que pode significar uma denominação arbitrária ou estabelecer uma ordem. Martins (2005) esclarece que a estatística não cria leis ou teorias, seu grande valor está em fornecer subsídios para que o pesquisador utilize as informações relevantes, visando à construção ou verificação de teorias.

Depreende-se assim, que a Teoria dos Stakeholders serve para explicar as relações entre uma determinada organização e as pessoas, grupos e outras organizações em seus ambientes e neste sentido pode ser utilizada para explicar situações entre a sociedade e a administração pública. A Teoria da Medição respalda a utilização da mensuração quantitativa para elaborar índices ou indicadores sociais nas avaliações de desempenho.

Para Jannuzzi (2002), um indicador social é uma medida em geral quantitativa, dotada de significado social substantivo, usado para substituir, quantificar ou operacionalizar um conceito social abstrato, de interesse teórico (para pesquisa acadêmica) ou programático (para a formulação de políticas). Consoante as afirmações de Soligo (2012), os indicadores sociais não possuem o mesmo grau de consenso e nem a mesma força explicativa daqueles utilizados nas ciências exatas. Sua efetividade para explicação dos fenômenos analisados difere no espaço e no tempo.

São encontradas diversas pesquisas que tratam da construção de índices e indicadores de desempenhos. Soares et al. (1999) construíram o Índice de Desenvolvimento Municipal (IDM) com a técnica multivariada da análise fatorial e a análise de componentes principais com o objetivo de traçarem um perfil de desenvolvimento dos municípios cearenses.

O IDM foi construído com base na média ponderada de 27 indicadores, classificados em índices setoriais. A pesquisa realizou uma hierarquia dos 187 municípios cearenses com base no agrupamento de indicadores definidos como: fisiográficos; fundiários e agrícolas; demográficos e econômicos; de infraestrutura de apoio e sociais. Os autores enfatizaram que a criação do índice representa mais um passo para o estabelecimento de políticas públicas e a avaliação dos resultados das gestões municipais (Soares et al., 1999).

Soares et al. (2011) utilizaram a análise de componentes principais para estabelecerem um ranking na gestão dos municípios catarinenses. Os principais índices utilizados no modelo foram: liquidez corrente (ativo financeiro dividido pelo passivo financeiro); situação financeira líquida (ativo financeiro menos o passivo financeiro dividido pela receita total); estrutura de capital (passivo financeiro mais o passivo permanente dividido pelo ativo total).

A partir da análise da matriz de variância-covariância das variáveis escolhidas para a análise, o método apresentou o melhor número de componentes principais, combinações lineares das variáveis escolhidas, às quais foram utilizadas para estabelecer o ranking. No ranking de gestão, os municípios de Chapadão do Lageado e Abdon Batista apresentaram o melhor desempenho e os municípios de Florianópolis e Caçador, os piores (Soares et al., 2011).

Silva, Silva e Borges (2015a) avaliaram o desempenho da execução orçamentária por funções de governo dos 50 municípios mais populosos, no ano de 2012, com a utilização de índices de desempenho, elaborados com a técnica da Análise de Componentes Principais (ACP). Foram elaborados 4 índices de desempenho (subgrupos de funções per capita): funções administrativas; funções sociais; funções de infraestrutura e um índice com todas as 21 funções de governo que foram classificadas nos subgrupos.

Os resultados da pesquisa de Silva, Silva e Borges (2015a) revelaram que o município de Campos dos Goytacazes (RJ) teve o melhor desempenho nas funções administrativas, de infraestrutura e nas 21 funções de governo e ainda ficou na 3ª posição de desempenho das funções sociais. Quanto ao pior desempenho (última posição), se destacaram nas funções administrativas, sociais, de infraestrutura e nas 21 funções, respectivamente, os municípios de Ananindeua (PA), São João do Meriti (RJ), Nova Iguaçu (RJ) e São Gonçalo (RJ).

Silva et al. (2015) avaliaram o desempenho dos 100 municípios brasileiros com os melhores IDHM (Índice de Desenvolvimento Humano Municipal), a partir do IDHM (Índice de Desenvolvimento Humano Municipal), IFDM (Índice de Desenvolvimento Municipal da Federação das Indústrias do Estado do Rio de Janeiro) e o IRFS (Índice de Responsabilidade Fiscal, Social e de Gestão) do ano de 2010, com a utilização da Análise de Componentes Principais (ACP), em um único índice e estabelecerem o ranking de desempenho.

Os resultados da pesquisa de Silva et al. (2015) evidenciaram com base no Índice Geral de Desempenho (IGD), que os municípios de São Caetano do Sul (SP), Santos (SP) e Vitória (ES) apresentaram os melhores desempenhos. Os municípios de Santa Cruz da Conceição (SP), Porto União (SC) e Palmas (TO) ficaram nas últimas posições (piores desempenhos).

3. Procedimentos Metodológicos

3.1. Caracterizações do método, população, amostra e das variáveis

Foi utilizado nesta investigação o método de pesquisa empírico-analítico (arquivo/empirista - banco de dados) que corresponde à utilização de técnica de coleta, tratamento e análise de dados com métricas quantitativas. Matias-Pereira (2012) esclarece que nesse método, o processo de validação da prova científica é feito por meio de testes dos instrumentos, graus de significância e sistematização das definições operacionais.

A população é constituída de todos os municípios brasileiros e a amostra se refere aos municípios (capitais) das vinte e seis Unidades da Federação Brasileira (Tabela 3).

As variáveis escolhidas foram os Índices de Responsabilidade Fiscal, Social e de Gestão (IRFS) dos anos de 2005 a 2010. Os IRFS de 2003, 2004 e 2011 foram excluídos por falta de divulgação dos índices do ano de 2004 para a capital Aracaju/SE, e do ano de 2011 da capital Palmas/TO. Desse modo, foram avaliados os IRFS (sequenciais) dos anos de 2005 a 2010. Os dados foram extraídos do sítio eletrônico da Confederação Nacional de Municípios (CNM, 2016).

O Quadro 1 esclarece as dimensões (subíndices) que são avaliados pelo IRFS.

Quadro 1 - Dimensões do Índice de Responsabilidade Fiscal, Social e de Gestão (IRFS)

Fonte: CNM (2016)

De acordo com a CNM (2016), os índices são calculados a partir das informações prestadas pelas próprias prefeituras à Secretaria do Tesouro Nacional (STN) e a outros órgãos oficiais, como o DATASUS (Departamento de Informática do SUS) e o INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira).

3.2. Mensuração quantitativa e modelo teórico e empírico

A mensuração quantitativa foi realizada com a Análise de Componentes Principais (ACP) para elaborar um índice de desempenho único dos IRFS de 2005 a 2010. O modelo teórico para atender o objetivo está amparado nos ensinamentos de Mingoti e Silva (1997), Kubrusly (2001), Jolliffe (2002), Timm (2002), Vyas e Kumaranayake (2006), Mingoti (2007), Johnson e Wichern (2007), Manly (2008), Field (2009), Lattin, Carroll e Green (2011), Ribas e Vieira (2011), Ayres (2012) e Silva, Silva e Borges (2015b).

As variáveis observadas são decompostas em seus autovalores (variâncias) e autovetores (coeficientes padronizados) em equações de combinações lineares pela técnica da Análise de Componentes Principais (ACP). Todas as variáveis observadas são incluídas nas equações dos escores de desempenho dos componentes principais (Silva; Silva e Borges, 2015b).

A ACP pode ser usada para construir um índice com a combinação linear das variáveis que tenha a maior variância possível. Os índices ou componentes não são correlacionados, sendo que cada componente é uma combinação linear ponderada das variáveis iniciais. O primeiro componente é um índice de desempenho global e em termos de ordenação, pode esperar que os primeiros componentes principais sejam suficientes para descreverem as diferenças entre os objetos (Kubrusly, 2001; Vyas e Kumaranayake, 2006; Mingoti, 2007; Manly, 2008).

Timm (2002) argumenta que os componentes principais são usados para descobrir e interpretar as dependências que existem entre as variáveis, e para examinar as relações que possam existir entre os indivíduos.

Para utilizar a ACP é necessário que haja correlação entre as variáveis (Mingoti, 2007; Field, 2009; Lattin; Carroll e Green, 2011), que a matriz de correlação não pode ser identidade (Field, 2009). Deve haver, também normalidade multivariada (Mingoti, 2007) e o determinante da matriz de correlação deve ser maior que 0.00001 (Field, 2009).

O desenvolvimento dos componentes principais não requer uma aceitação normal multivariada e sim da matriz de correlação ou da matriz de covariância (Johnson e Wichern, 2007). As variáveis observadas não dependem de qualquer suposição sobre distribuição de probabilidade (Mingoti e Silva, 1997). Não há pressuposições em relação às variáveis originais (Ayres, 2012) e ainda, as variáveis podem ser contínuas e distribuídas normalmente ou não (Jolliffe, 2002).

Neste contexto, a Tabela 1 apresenta os dados necessários para validar a utilização da Análise de Componentes Principais (ACP).

Tabela 1 – Dados da Correlação e Teste de Significância

Fonte: dados da pesquisa.

Observa-se na Tabela 1, que os pressupostos para utilizar a ACP, nesta pesquisa foram cumpridos: existência de correlação; o determinante da matriz de correlação é maior que o exigido e há normalidade multivariada (o qui-quadrado calculado é maior que o valor crítico no Teste de Esfericidade de Bartlett).

Os escores de desempenho são calculados na ACP, a partir dos autovalores (variância) e autovetores (coeficientes das variáveis). Os autovalores representam o poder explicativo do componente em relação à variância das variáveis originais (observadas) e são medidos em unidades de variância (Manly, 2008; Ayres, 2012). Na análise dos componentes principais é recomendável obter as variâncias de porcentagem alta, ou seja, acima de 80% ou mais (Manly, 2008). A soma dos autovalores é igual a p e representam o número de variáveis X escolhidas (seis IRFS representam a variância igual a 6). O autovalor de 4.6693 (Tabela 2) do componente 1 possui a maior variância (4.6693 / 6 * 100% = 77.82%).

Os autovetores são os coeficientes das variáveis X padronizadas usados para calcular escores dos componentes principais. Os autovetores representam o módulo unitário associado a cada autovalor e as direções dos eixos dos componentes principais (Manly, 2008; Ayres, 2012).

  Os escores de desempenho podem ser calculados em todas as equações dos componentes principais, mas os escores do componente 1 representam a maior variância. De acordo com Ribas e Vieira (2011), cada componente é uma função linear das variáveis originais, sendo essa função similar à regressão múltipla, exceto pelo fato de que não há intercepto.

A Tabela 2 apresenta os autovalores e autovetores calculados com a técnica da Análise de Componentes Principais (ACP).

Tabela 2 – Autovalores e autovetores calculados pelos componentes principais

Fonte: dados da pesquisa.

Foram extraídos 6 componentes principais (Tabela 2) com os seus respectivos autovalores (4.6693 + 0.5093 + 0.3441 + 0.2070 + 0.1433 + 0.1270 = 6, que corresponde a variância total – seis variáveis observadas) e autovetores (coeficientes – pesos das variáveis). No componente 1, os autovetores são: IRFS (2005) = 0.4174; IRFS (2006) = 0.4285; IRFS (2007) = 0.4204; IRFS (2008) = 0.4122; IRFS (2009) = 0.3946 e IRFS (2010) = 0.3738.

Para operacionalizar o cálculo dos índices de desempenho com a ACP, o Quadro 2 sintetiza o modelo empírico utilizado, a partir das contribuições da literatura citada para o modelo teórico.

Quadro 2
Modelo empírico do cálculo do índice de desempenho realizado pela Análise de Componentes Principais

Fonte: elaborado pelos autores.

No Quadro 2, observa-se que inicialmente são realizados os cálculos do Índice Geral de Desempenho (IGD), para depois nominar o novo índice calculado. O desempenho final das 26 capitais foi realizado com as equações lineares Y1 e Y2 para obter a variância mínima de 80% (ponderação pelos autovalores dos componentes 1 e 2 - Tabela 2).

Os cálculos foram realizados com os softwares BioEstat 5.0® (Ayres et al., 2007) e SPSS Statistic 21®. Convém registrar que o software BioEstat 5.0® apresenta os resultados dos cálculos dos escores dos componentes principais e o SPSS Statistic 21®, o determinante da matriz de correlação e o qui-quadrado do Teste de Esfericidade de Bartlett.

4. Resultados e Discussões

A Tabela 3 apresenta os escores de desempenho (equações Y1 e Y2) calculados com base nos esclarecimentos constantes do Quadro 2. Observa-se que o IGD foi denominado de IRFS - Índice de Responsabilidade Fiscal, Social e de Gestão (único), o qual sintetiza os IRFS dos anos de 2005 a 2010 das 26 capitais estaduais brasileiras.

Tabela 3 – Ranking de desempenho das Capitais Estaduais Brasileiras, a partir do IRFS -
Índice de Responsabilidade Fiscal, Social e de Gestão (único) - 2005 a 2010.

Fonte: dados da pesquisa.

A maioria das capitais estaduais (15) apresentou valores de escores negativos. Isto mostra uma tendência de se posicionarem abaixo da percentagem média geral de cada capital e no caso dos escores positivos (11) de se posicionaram acima. Observa-se assim, que mais de 58% das capitais ficaram abaixo da média geral da responsabilidade fiscal, social e de gestão apurado pelo índice único.

No ranking geral, Vitória/ES e Campo Grande/MS apresentaram os melhores desempenhos de responsabilidade fiscal, social e de gestão, no período de 2005 a 2010 (1ª e 2ª posições, respectivamente) e Maceió/AL (25ª) e Salvador/BA (26ª) ficaram nas últimas posições. Quanto a última posição no ranking dos IRFS (2005 a 2010), observa que o desempenho do município de Salvador/BA também foi considerado baixo na pesquisa de Silva, Silva e Borges (2015a) com a 43ª posição em 50 municípios em 2012, no desempenho de execução de funções sociais.

Fortaleza/CE classificado na 1ª posição no IDM dos municípios cearenses (Soares et al., 1999), apresentou baixo desempenho no IRFS (2005 a 2010) com 34ª posição. Já Vitória/ES, além de ser o 1º colocado no IRFS (2005 a 2010), apresentou também excelente desempenho (3ª) no ranking de desempenho dos 100 municípios na pesquisa de Silva et al. (2015).

Desta na Tabela 3, o desempenho de Florianópolis/SC na 7ª posição no IRFS (2005 a 2010), considerado de grande movimentação econômica, mas na penúltima posição no ranking de gestão dos municípios catarinenses (Soares et al., 2011) com a 21ª posição no ranking de desempenho de funções em 2012 (Silva; Silva e Borges, 2015a) e na 4ª posição no ranking de desempenho dos 100 municípios com melhores IDHM (Silva et al., 2015). Isto significa destaque de desempenho nas avaliações realizadas.

Observa-se que esta investigação e as pesquisas Soares et al. (1999), Soares et al. (2011), Silva, Silva e Borges (2015a) e de Silva et al. (2015) são relevantes para reduzirem a assimetria de informação existente entre os cidadãos e os governos e atendem também as argumentações de Rosenblatt e Shidlo (1996): os eleitores deveriam estar bem informados a respeito de como seus governos estaduais e/ou municipais se comparam com os de outras regiões.

As assertivas de Rosenblatt e Shidlo (1996) encontram também amparo na Teoria dos Stakeholders (Harrison; Rouse e De Villiers, 2012) no que concerne a questão de realizar medições de desempenho no setor público entre governos diferentes. As partes interessadas, principais stakeholders (Vieira; Costa e Boaventura, 2011), nesta investigação, são os gestores públicos municipais e os cidadãos das respectivas capitais.

Quanto a elaboração de um único índice do IRFS dos anos de 2005 a 2010, observa-se mais um caso da aplicação da Teoria da Medição (Martins, 2005; Arias, 2010; Cohen e Franco, 2012) para atribuir números a eventos e assim estabelecer uma ordem e validar a prova científica com métricas quantitativas.

5. Considerações Finais

Esta pesquisa, em atenção ao objetivo formulado, elaborou um único índice de desempenho de responsabilidade fiscal, social e gestão das capitais das unidades da Federação Brasileira, a partir dos IRFS (Índice de Responsabilidade Fiscal, Social e de Gestão) dos anos de 2005 a 2010, com a utilização da Análise de Componentes Principais (ACP).

O Índice de Responsabilidade Fiscal, Social e de Gestão (IRFS), elaborado pela Confederação Nacional de Municípios (CNM) objetiva disseminar a cultura da responsabilidade fiscal associada à responsabilidade social dos gestores públicos de todos os municípios brasileiros.

As pesquisas de avaliação são estratégias de investigação aplicada para avaliar programas, projetos, políticas etc. O IRFS avalia o endividamento; a suficiência de caixa; gasto com pessoal; superávit primário; custeio da máquina; gastos com saúde; gastos com educação; taxa de abandono escolar da rede municipal de ensino etc. Desse modo, o IRFS é considerado como pesquisa de avaliação de resultados.

As pesquisas de avaliação de resultados e de processos representam os dois tipos de pesquisa de avaliação. A relevância dessas pesquisas está na busca de contribuir com a redução da assimetria da informação existente entre os gestores públicos e os cidadãos. De forma geral, os cidadãos não compreendem os termos utilizados pelos gestores públicos na administração dos recursos. Assim, essas pesquisas podem também servir como instrumentos de melhoria da gestão pública para os gestores públicos e para os cidadãos podem ajudar a exercerem o controle social.

 Como contribuição desta investigação, destaca os esclarecimentos metodológicos para elaborar índices de desempenho com a utilização da Análise de Componentes Principais (ACP). Recomenda-se a realização de outras pesquisas, tanto para sintetizar outros indicadores em um único, bem como elaborar índices de desempenho de resultados de gestões públicas.

Concluindo, foi verificado que no ranking geral, Vitória/ES e Campo Grande/MS apresentaram os melhores desempenhos de responsabilidade fiscal, social e de gestão, no período de 2005 a 2010 (1ª e 2ª posições, respectivamente) e Maceió/AL (25ª) e Salvador/BA (26ª) ficaram nas últimas posições.

Referências

Arias, E. R. (2010). Estadística: Medición, Descripción e Inferencia. Perspectivas Psicológicas, Santo Domingo (Rep. Dom.), Volúmenes 6 y 7. Año X - ISSN 1992-5131, Edición Especial.

Ayres, M. (2012). Elementos de bioestatística: a seiva do açaizeiro. 2. ed. Belém: Supercores.

_____. Ayres Júnior, M.; Ayres, D. L.; Santos, A. A. S.; Ayres, L. L. (2007). BioEstat 5.0 – Aplicações estatísticas nas áreas das ciências biomédicas. Belém, PA: Sociedade Civil Mamirauá, PA.

Cohen, E.; Franco, R. (2012). Avaliação de projetos sociais. 10. ed. Petrópolis: Vozes.

Confederação Nacional de Municípios (CNM). (2016). IRFS - Índice de Responsabilidade Fiscal, Social e de Gestão. Disponível em: < http://www.cnm.org.br/institucional/irfs>. Acesso em: 11 jun. 2016.

Falco, S. E. (2000). Instrumentos de voice giving na relação entre os cidadãos e a administração pública: a carta dos serviços. Revista do Serviço Público, Ano 51, Número 3, Jul-Set.

Field, A. (2009). Descobrindo a estatística usando o SPSS.  Tradução de Lorí Viali. 2. ed. Porto Alegre: Artmed.

Figueiredo Filho, D. B.; Paranhos, R.; Rocha, E. C.; Silva Jr, J. A.; Maia, R. G.  (2013). Análise de componentes principais para construção de indicadores sociais. Rev. Bras. Biom., São Paulo, v.31, n.1, p.61-78.

Freeman, R. E.; Harrison, J. S.; Wicks, A. C.; Parmar, B.; Colle, S. (2010). Stakeholder Theory: The State of the Art. Cambridge University Press, Cambridge.

Harrison, J. A.; Rouse, P.; De Villiers, C. J. (2012). Accountability and Performance Measurement: A Stakeholder Perspective. JCC: The Business and Economics Research Journal, Volume 5, Issue 2, 243-258.

Jannuzzi, P. M. (2002). Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. RAP, Rio de Janeiro 36(1):51-72, J an. /Fev.

Johnson, R. A.; Wichern, D. W. (2007). Applied Multivariate Statistical Analysis. 6nd. edition. New Jersey: Prentice Hall.

Jolliffe, I.T. (2002). Principal component analysis. 2nd. edition. New York: Springer-Verlag.

Kubrusly, L. S. (2001). Um procedimento para calcular índices a partir de uma base de dados multivariados. Pesquisa Operacional, Vol. 21, Nº. 1, p. 107-117, junho.

Lattin, J.; Carroll, J. D.; Green, P. E. (2011). Análise de dados multivariados. Tradução de Harue Avritscher. São Paulo: Cengage Learning.

Manly, B. J. F. (2008). Métodos estatísticos multivariados: uma introdução. Tradução de Sara Ianda Carmona. 3. ed. Porto Alegre: Bookman.

Martins, G. A. (2005). Falando sobre teorias e modelos nas ciências contábeis. BBR – Brazilian Business Review, Vol. 2, nº 2, Vitória-ES, Brasil – Jul / Dez, pp. 131-144.

Matias-Pereira, J. (2012). Manual de metodologia da pesquisa científica. 3. ed. São Paulo: Atlas.

Mcwilliams, A.; Siegel, D. (2001). Corporate social responsibility: a theory of the firm perspective. The Academy of Management Review, 26(1), 117-127. DOI: 10.5465/AMR.2001.4011987.

Mingoti, S. A. (2007). Análise de dados através de métodos de estatística multivariada: uma abordagem aplicada. 1ª reimpressão. Belo Horizonte: Editora UFMG.

Mingoti, S. A.; Silva, A. F. (1997). Um exemplo de aplicação de técnicas de estatística multivariada na construção de índices de preços. Nova Economia, Belo Horizonte, v. 7, n. 2.

Ribas, J. R.; Vieira, P. R. C. (2011). Análise multivariada com o uso do SPSS. Rio de Janeiro: Ciência Moderna.

Ricardo, G. Q. (2012). Responsabilidad social universitaria: una nueva mirada a la relación de la universidad con la sociedad desde la perspectiva de las partes interesadas. Un estudio de caso. Tesis doctoral. Universidad de Valladolid. Facultad de Educación y Trabajo Social. Disponible en: <http://uvadoc.uva.es/handle/10324/923>. Acceso en: 19 abr. 2015.

Rosenblatt, D.; Shidlo, G. (1996). Quem tem mais recursos para governar? Uma comparação das receitas per capita dos estados e dos municípios brasileiros. Revista de Economia Aplicada, vol. 16, nº 1 (61), janeiro-março.

Santagada, S. (1993). Indicadores sociais: contexto social e breve histórico. Indicadores Econômicos FEE, Porto Alegre, vol. 20, n. 4.

Santos, E.; Bitarello, J.; Pedde, V. (2008). Determinantes do desempenho institucional: um esboço teórico. Revista do Serviço Público, Brasília, 59 (4): 441-454, Out./Dez.

Silva, M. C.; Silva, J. D. G.; Borges, E. F.; Souza. F. J. V. (2015). Ranking de desempenho de municípios: elaboração de um único índice a partir do IDHM, IFDM E IRFS. Veredas FAVIP, ano 11, volume 8, número 1.

Silva, M. C.; Silva, J. D. G.; Borges, E. F. (2015a). Avaliação da execução orçamentária por funções de governo em municípios com a utilização de índices de desempenho. RMC, Revista Mineira de Contabilidade, v. 16, n. 1, art. 1, p. 5-17, jan./abril.

Silva, M. C.; Silva, J. D. G.; Borges, E. F. (2015b). Análise de componentes principais para elaborar índices de desempenho no setor público. Rev. Bras. Biom., São Paulo, v.33, n.3, p.291-309.

Soares, A. C. L. G.; Gosson, A. M. P. M.; Madeira, M. A. L. H.; Teixeira, V. D. S. (1999). Índice de Desenvolvimento Municipal: hierarquização dos municípios do Ceará no ano de 1997. R. Paran. Desenv., Curitiba, n. 97, p. 71-89, set./dez.

Soares, M.; Lyra, R. L. W. C.; Hein, N.; Kroenke, A. (2011). O emprego da análise de balanços e métodos estatísticos na área pública: o ranking de gestão dos municípios catarinenses. RAP - Rio de Janeiro, 45(5):1425-443, Set./out.

Soligo, V. (2012). Indicadores: conceito e complexidade do mensurar em estudos de fenômenos sociais. Est. Aval. Educ., São Paulo, v. 23, n. 52, p. 12-25, mai./ago.

Timm, N. H. (2002). Applied multivariate analysis. New York: Springer-Verlag.

Vieira, S. F. A.; Costa, B. K.; Boaventura, J. M. G. (2011). Análise de stakeholders aplicada em órgãos públicos: o caso da Secretaria de Estado do Turismo do Paraná. Revista de Ciências da Administração, v. 13, n. 31, p. 81 – 110, set/dez. DOI: 10.5007/2175-8077.2011v13n31p81.

Vyas, S.; Kumaranayake, L. (2006). Constructing socio-economic status indices: how to use principal components analysis. Health Policy and Planning, 9 October, 21 (6): 459-468. DOI: 10.1093/heapol/czl029.

1. Discente do Doutorado em Ciências Contábeis das UnB/UFPB/UFRN. Professor do Departamento de Ciências Contábeis da Universidade Federal do Rio Grande do Norte (UFRN). Mestre em Ciências Contábeis (UnB/UFPE/UFPB/UFRN). E-mail: prof.mauriciocsilva@gmail.com
2. Discente do Doutorado em Ciências Contábeis das UnB/UFPB/UFRN. Professor do Departamento de Ciências Contábeis da Universidade Federal do Rio Grande do Norte (UFRN). Mestre em Ciências Contábeis (UnB/UFPB/UFRN). E-mail: joseemersonfirmino@gmail.com
3. Doutor em Ciências Contábeis (UnB/UFPB/UFRN). Professor do Departamento de Ciências Contábeis da Universidade Federal do Rio Grande do Norte (UFRN) e do Programa de Mestrado em Ciências Contábeis da UFRN. E-mail: anailson82@gmail.com

4. Doutor em Controladoria e Contabilidade (USP). Professor do Departamento de Ciências Contábeis da Universidade Federal do Rio Grande do Norte (UFRN), do Programa de Mestrado em Ciências Contábeis da UFRN e do Programa de Pós-graduação em Ciências Contábeis das UnB/UFPB/UFRN. E-mail: dionisio@ufrnet.br