9 Critérios de validação dos indicadores
Esta subseção finaliza a fundamentação teórica necessária, por meio da disposição dos critérios utilizados, para avaliar a qualidade dos indicadores, bem como validá-los.
Para atingir seus objetivos e proporcionar os benefícios citados no Capítulo 2, os indicadores de desempenho devem ser precisos, inteligíveis, coerentes e relevantes para os gestores (Mustea; Mihiţ; Lobonţ, 2021), sendo necessário avaliá-los em relação a quesitos que permitem aferir sua qualidade e também atuam como critérios de seleção perante uma certa quantidade de indicadores propostos (Ambrozewicz, 2015; ENAP, 2021b). A ratificação dos indicadores por esses critérios, evitarão muitos dos efeitos negativos provenientes de implantações errôneas, esses apresentados no Capítulo 3.
Indicadores sem qualidade, bem como em excesso, são prejudiciais aos SMD e à gestão dos órgãos que os implantam.
Assim como os atributos de um indicador, os critérios utilizados para sua validação também podem ser divididos conforme a cronologia de sua construção entre aqueles que validam:
a elaboração do indicador;
os elementos relativos ao cálculo do indicador;
a apresentação dos resultados.
Os cartões abaixo apresentam esses critérios de validação em ordem alfabética, sendo importante ater-se mais à descrição do que aos seus nomes, que podem variar conforme o autor: como exemplo, Francischini e Francischini (2017) os denominam por características dos indicadores de desempenho
9.1 Critérios relativos à elaboração dos indicadores
| CRITÉRIO | DESCRIÇÃO |
|---|---|
| NÃO SOBREPOSIÇÃO | Não deve existir mais de um indicador para a medição do mesmo objeto sob a mesma dimensão. |
| REPRESENTATIVIDADE | Demonstra as etapas mais importantes e críticas daquilo que se mede. |
| SELETIVIDADE OU IMPORTÂNCIA | O objeto de medição é significativo para a instituição. |
| SIMPLICIDADE | De fácil e simples elaboração. |
| UTILIDADE OU RELEVÂNCIA | Apoia as decisões em diversos níveis, considerando as necessidades das partes interessadas. |
| VALIDADE | Representa a realidade do que mede com a maior proximidade possível. |
Muitos dos critérios apresentados funcionam como contornos ou soluções a determinados fatores limitantes à medição de desempenho no setor público. Como por exemplo, a significância da medição pode ser evitado por meio dos critérios seletividade, representatividade e utilidade.
9.2 Critérios referentes ao cálculo dos indicadores
| CRITÉRIO | DESCRIÇÃO |
|---|---|
| COBERTURA | Capacidade de abrangência da medição (territorial, temporal, populacional ou por outra perspectiva). |
| COMPARABILIDADE | Proporciona comparações com outras referências, sejam internas, externas, territoriais ou temporais. |
| CONFIABILIDADE DA FONTE | Os dados para geração do indicador provêm de fontes confiáveis. |
| CONFIABILIDADE METODOLÓGICA, RASTREABILIDADE OU AUDITABILIDADE | Os processos de geração do indicador estão definidos e formalizados, permitindo replicação. |
| DISPONIBILIDADE, VIABILIDADE OU FACTIBILIDADE | Os dados para o cálculo do indicador são facilmente obtidos. |
| ECONOMICIDADE | Os benefícios da geração do indicador superam os custos para sua elaboração. |
| ESTABILIDADE | O objeto de medição possui constância para proporcionar medições estáveis ao longo do tempo. |
| INDEPENDÊNCIA | Fatores não controláveis possuem baixa influência nos resultados do indicador. |
| SUPORTE TÉCNICO | Há suporte para a elaboração e medição do indicador. |
| TEMPESTIVIDADE | O resultado pode ser apurado em tempo hábil para a adoção das medidas corretivas. |
9.3 Critérios para a apresentação dos resultados
| CRITÉRIO | DESCRIÇÃO |
|---|---|
| DESAGREGABILIDADE | Permite fornecer resultados em diversos níveis conforme segmentos específicos. |
| OBJETIVIDADE, CLAREZA OU COMUNICABILIDADE | Apresenta facilmente os resultados e de maneira inequívoca. |
| PUBLICIDADE | Os resultados do indicador devem estar disponíveis a todas as partes interessadas. |
| SENSIBILIDADE | Os resultados repercutem as variações do fenômeno que mede. |
9.4 Seleção de critérios de qualidade e validação de indicadores
Para Brasil (2020b) e Uchoa (2013) não atender a todos os critérios não implica imediata exclusão do indicador; algumas fontes selecionam, entre os próprios critérios que apresentam, aqueles que consideram essenciais, como validade, confiabilidade metodológica e da fonte (Brasil, 2010; 2012; Rio de Janeiro, 2020), utilidade, disponibilidade (Brasil, 2012; Rio de Janeiro, 2020), publicidade (Rio de Janeiro, 2020) e simplicidade (Brasil, 2010). Brasil (2010) sugere dividir os critérios existentes entre aqueles considerados essenciais para a organização - denominados eliminatórios e outros que embora sejam importantes, não são essenciais - esses são denominados como classificatórios.
A disposição dos 20 critérios de validação conforme a frequência de citação entre as 39 fontes da pesquisa bibliográfica, de onde esses foram identificados e extraídos, pode facilitar a divisão proposta. Nessa ordenação, aqueles critérios relativos à validação da elaboração dos indicadores estão apresentados na cor azul e em negrito; os referentes à validação dos elementos e procedimentos de cálculo estão apresentados na cor laranja e sublinhado; por fim, os critérios utilizados para validação dos resultados estão dispostos na cor verde e em itálico.
| Ordem | Critério | Frequência absoluta (n=39) |
|---|---|---|
| 1 | Confiabilidade da fonte | 26 |
| 2 | Disponibilidade | 23 |
| 3 | Representatividade | 23 |
| 4 | Tempestividade | 22 |
| 5 | Utilidade ou relevância | 22 |
| 6 | Objetividade | 22 |
| 7 | Confiabilidade metodológica | 20 |
| 8 | Estabilidade | 18 |
| 9 | Economicidade | 16 |
| 10 | Sensibilidade | 14 |
| 11 | Simplicidade | 12 |
| 12 | Validade | 11 |
| 13 | Publicidade | 10 |
| 14 | Seletividade | 9 |
| 15 | Desagregabilidade | 8 |
| 16 | Comparabilidade | 6 |
| 17 | Independência | 4 |
| 18 | Não sobreposição | 2 |
| 19 | Cobertura | 1 |
| 20 | Suporte técnico | 1 |
Os 12 primeiros critérios mais citados estão ordenados nessa importância tanto para as fontes que visam a medição de programas dos Planos Plurianuais governamentais, quanto para a medição de desempenho organizacional, bem como para a avaliação da performance de processos.
Esta subseção apresentou os critérios utilizados para validar os indicadores construídos ou em processo de construção, pois aferem a qualidade dos indicadores, bem como permitem sua seleção diante de um grupo. Esses critérios podem ser divididos entre aqueles relativos à elaboração, cálculo e apresentação dos resultados dos indicadores, sendo considerados de duas formas distintas: a instituição pode apontar aqueles critérios que lhe são essenciais e aqueles que, embora sejam importantes, não vão eliminar um indicador, mas avaliá-lo e classificá-lo para futura escolha.
No capítulo seguinte tem-se a síntese de todo o capítulo de fundamentação que proporcionou as condições necessárias para se iniciar o processo de criação de indicadores de desempenho, tema da terceira seção deste guia.