Metodologia

Índice

1. Revisando a Metodologia Aplicada

2. Período de Aplicação da Pesquisa

3. Divulgação e Propaganda

4. Metodologia Estatística para o Cálculo do Tamanho da Amostra 8. Análise das Críticas e Sugestões - Ações

5. Aplicação da Pesquisa

6. Produção de Relatórios

7. Análise dos Dados Consolidados

A metodologia de aplicação da Pesquisa e a forma de alcançar todos os usuários evoluiu ao longo dos anos, acompanhando a modernização do sistema. O fluxo operacional a seguir apresenta as etapas envolvidas no desenvolvimento e na aplicação da Pesquisa:

 

FluxoOperacional

 

1. Revisando a Metodologia Aplicada

Desde o primeiro ano em que foi aplicada a Pesquisa tem sido muito bem sucedida. O ano de 2000 foi um marco, não só no que diz respeito ao número de usuários participantes, como também pelos conceitos obtidos, que indicavam elevado grau de satisfação dos usuários com o sistema.

Um exemplo reside no fato de inúmeros usuários atribuírem notas elevadas aos quesitos "tempo de resposta para entrada de dados" e "tempo de resposta para consulta". No entanto, no espaço destinado aos comentários, críticas e sugestões, informarem que "o sistema é muito demorado". 

Embora toda opinião de usuários fosse importante para análise, tornava-se difícil classificá-las , tendo em vista que a equipe gestora não detinha informações suficientes para identificar as Unidades nas quais o sistema apresentava tempo de resposta menor ou maior que nas outras, uma vez que "demorado" é um conceito subjetivo, não tendo sido previamente associado a uma unidade de mensuração. 

Por essas dificuldades, a COSIS/STN tomou a iniciativa de reformular a Pesquisa por inteiro em 2001, com a participação da CCONT/STN e o do SERPRO. Cinco assuntos principais foram escolhidos: atendimento, consultas e inclusões de documentos, tempo de resposta, disponibilidade e Manual SIAFI. Em 2009 definiu-se para o questionário 28 questões de múltipla escolha e uma questão reservada para críticas, sugestões e comentários sobre qualquer um dos itens de interesse do usuário. 

 


2. Período de Aplicação da Pesquisa

A Pesquisa tem sido aplicada, desde 1996, nos meses de setembro e outubro.


3. Divulgação e Propaganda

Por meio de COMUNICA - subsistema de mensagens do SIAFI - mensagens são enviadas a todas Unidades Gestores (UG´s) cadastradas, nas quais se informa aos usuários o período de aplicação da Pesquisa e lhes solicita participar da mesma. Ao término do período de aplicação são encaminhadas mensagens de agradecimento.


4. Metodologia Estatística para o Cálculo do Tamanho da Amostra

Como é dispendioso, ou mesmo inviável, analisar um número elevado de respostas em pesquisas de opinião, utiliza-se o recurso da estatística. Dessa forma, limita-se as análises por meio de dados amostrais, procurando assegurar-se de que o tamanho da amostra seja representativo do universo dos usuários, de forma a não distorcer o resultado. 

A metodologia aplicada em 2009 repete a dos anos anteriores: usuários são classificados por tempo médio de utilização do Sistema nos meses de abril a junho de 2009, nas seguintes categorias: menos de 10H (de uso do sistema), entre 10H e 15H, entre 15H e 20H e mais de 20H e por nível de acesso. O universo dos usuários foi então calculado e se chegou à cifra de 45.040. 

A amostra nos dois últimos anos (2008 e 2009) foi calculada segundo as mesmas regras estabelecidas para as pesquisas de 1998 a 2005, ou seja, a partir do universo total de usuários, admitindo-se erro estatístico de 2% e um nível de significância de 95%. 

Em 2007 a amostra continha 1623 usuários, 1830 usuários em 2008 e 3376 em 2009, distribuídos proporcionalmente por Unidade de Federação (UF), de acordo com a suas participações percentuais no universo de usuários cadastrados. Os resultados da Pesquisa organizados por UF ou consolidados em nível nacional também estão disponíveis para consulta.Clique aqui para visualizá-los

____________________________________________________

5. Aplicação da Pesquisa

Durante o período de aplicação da Pesquisa, ou seja, de setembro a outubro, além do controle periódico do número de questionários respondidos, procedeu-se ao seu acompanhamento, por meio da transação ATUPESQ. Esta transação informa o porte da amostra por UF, a quantidade de usuários participantes e detalha o tempo médio de utilização do sistema por nível de acesso. 

O questionário foi colocado à disposição de todos usuários, dos mais diversos perfis, independente dos critérios definidos para a seleção da amostra, de modo a permitir ampla expressão de críticas, sugestões e comentários dos assuntos abordados. 

 


6. Produção de Relatórios

Após o encerramento da Pesquisa e de o SERPRO haver consolidado os dados, a COSIS se encarrega de os examinar e definir quais as medidas corretivas e/ou evolutivas cabíveis. A CCONT também deve se manifestar sobre as questões pertinentes à área de Contabilidade. 

Em seguida são produzidos os relatórios - Relatório Nacional e o Relatório de UF - que se encontram à disposição do público. O Relatório Nacional, além de ser o mais abrangente, também serve de modelo para os parciais, por UF.

 


7. Análise dos Dados Consolidados

Esta é uma das partes mais importantes da Pesquisa pois é onde se procede análise da informações de usuários, consolidados em três demonstrativos (I,II,III) e de um gráfico de figura (figura I). 

Alguns indicadores devem ser destacados: no Demonstrativo II abaixo observa-se que em 2001 a média de pico de usuários simultâneos equivalia a 1.521,56 para um tempo de resposta médio do sistema em torno de 1,30" minutos. Por outro lado, em 2009, a média de pico de usuários simultâneos elevou-se para 3.137,78, e o tempo de resposta médio do sistema caiu para 0,07". Verifica-se, portanto, que apesar de o número de transações acessadas terem aumentado substancialmente, o tempo médio de resposta do sistema diminuiu pela metade. 

Também surpreende o elevado grau de eficiência do sistema no período, quando se constata que de 2001 a 2009 o número de unidades gestores e usuários ativos quase que dobrou, pois passaram, respectivamente de 8.818 a 20.297 e de 34.904 usuários ativos para 63.266 usuários. 

Demonstrativo II

ITENS DO SIAFI EXERCÍCIO 2001 EXERCÍCIO 2002 EXERCÍCIO 2003 EXERCÍCIO 2004 EXERCÍCIO 2005 EXERCÍCIO 2006 EXERCÍCIO 2007 EXERCÍCIO 2008 EXERCÍCIO
2009

 Órgãos

328 

334 

372 

425 

446 

449 

451 

416 

 505

 Unidades Gestoras (excluindo as municipais) 

8.818 

9.195 

9.919 

11.385 

12.261 

12.236 

12.159 

13.220 

 14.667

 Usuários Ativos

34.904 

40.036 

42.836 

51.686 

50.924 

53.092 

56.091 

59.009 

 63.492

 Documentos Registrados

14.501.608 

12.793.698 

16.249.434 

20.925.986 

23.200.492 

24.566.525 

21.060.702 

26.824.643 

 32.366.051

 Transações Acessadas

502.160.126 

451.775.855 

568.549.470 

713.438.147 

791.215.523 

898.883.030 

758.920.748 

856.184.343 

 1.045.784.343

 Tempo Médio de Resposta

1,30" 

1,00" 

0,20" 

0,48" 

0,28" 

0,09" 

0,07" 

0.08" 

 0,07"

 Média de Pico de Usuários Simultâneos

1.521,56 

1.767,59 

2.234,66 

2.551,73 

2.597,07 

2.710,84 

2.859,58 

2.949,96 

 3.159,07

 

Os dados demonstram que o nível de satisfação dos usuários sofreu mudanças significativas ao longo desses últimos anos. Observa-se, por exemplo, que em 1996 a moda indicava que - medida estatística de tendência que indica o maior/menor percentual - entre 50% a 60 % de usuários julgaram o SIAFI "ótimo", tendo esta avaliação sofrido um decréscimo nos anos 1997 a 1999. 

A partir de 2000 os percentuais se elevaram novamente, caindo em 2004 - ano atípico, pois houve, justamente no período em que a Pesquisa foi aplicada, problemas no HOD elevando-se novamente em 2005 e 2006. 

Desde 1997 a moda passa a ter o conceito "bom" por mais de 50% dos usuários. O demonstrativo III, abaixo, mostra essa tendência. Por outro lado, o conceito "insatisfatório" sofreu queda sistemática ao longo desses anos, chegando próximo de zero nas Pesquisas 2005 e 2006. 

 

Demonstrativo III

graf_linha_2009.gif

O gráfico I (torta) a seguir mede o conceito do SIAFI, em nível nacional, em 2009, no período analisado (meses de abril a junho). Verifica-se que somente 0,53% dos usuários consideram o SIAFI insatisfatório, 6,19% consideram-no regular e o restante dos usuários, ou seja, 93,28%, aprovam-no, e dentre estes se encontram 43,36% os que consideram-no ótimo.

 

Gráfico I - Conceito SIAFI - Nacional

graf_pizza_2009.jpg

 

8. Análise das Críticas e Sugestões - Ações

Após analisar aproximadamente mais de 1400 comentários, críticas e sugestões apresentados a COSIS dividiu-os em dois grupos: aqueles que formularam alguma crítica ao sistema SIAFI e encaminharam sugestões de aperfeiçoamento - 6,5% dos usuários que responderam a Pesquisa - e aqueles que consideram-no bom e que também encaminharam sugestões. 

Comecemos pelos primeiros, pois nota-se que esperam, mais que os outros usuários, resposta da COSIS para suas questões e sugestões. Pode-se considerar que as questões centraram-se basicamente - tal como nos anos anteriores - em: atendimento; pouca flexibilidade do SIAFI; transação em manutenção (ATUCPR); dificuldade em operar o subsistema CPR; necessidade de treinamento. 

Em relação ao atendimento, a GEREL/COSIS informa que tem buscado contínuo aperfeiçoamento de sua equipe no que se refere ao aprimoramento de conhecimentos técnicos, necessários para estabelecer com o usuário comunicação clara e objetiva. 

A GEREL, contudo, orienta as unidades gestoras para não se reportarem somente à STN e que procurem contatar as suas respectivas setoriais de contabilidade. É dessa forma que as dificuldades dos usuários são conhecidas pelas setoriais, que podem avaliar mais adequadamente as necessidades de cada UG subordinada e, na medida do possível, solucionar as questões que lhes são encaminhadas. São as setoriais contábeis que têm a incumbência de disseminar informações sobre a utilização do SIAFI, na sua área de competência. Por último, acrescente-se que as dúvidas sobre as operações básicas do SIAFI também podem ser dirimidas diretamente no Manual SIAFI. 

Usuários que informaram sobre a demora nas respostas de suas solicitações pelas equipes da GEREL/COSIS, CCONT ou SERPRO saibam que, não obstante exista alguma demora no atendimento, o problema resulta de que muitos assuntos são repassados de uma coordenação para outra, que trabalham em conjunto, ou encaminhados ao SERPRO quando se constata a ocorrência de erro no sistema. 

No sentido de agilizar e racionalizar o atendimento, a partir de dezembro/2006 a COSIS pôs em atividade o SIGTI, que é um sistema interno de cadastramento de toda demanda dos usuários SIAFI. Dessa forma, toda e qualquer solicitação SIAFI encaminhada à COSIS passará primeiramente pelo filtro do SIGTI, evitando sobreposição de trabalho, ou seja, mais de um funcionário realizando o mesmo trabalho. 

Além das vantagens mencionadas, o SIGTI permite organizar as solicitações em ordem de suas entradas na Coordenação e facilita o atendimento de assuntos por sua urgência e importância. O sistema proporciona ainda duplo benefício ao usuário porque cadastra suas solicitações e informa-o automaticamente quando as mesmas são solucionadas. 

Alguns usuários afirmaram desconhecer o serviço de atendimento ao SIAFI. Então cumpre informá-los sobre a forma de estruturação do atendimento: (a) CAS/SERPRO, cujo número de telefone é 0800.728.2323, encontra-se disponível ao usuário 24 horas por dia, a semana toda; (b) GEREL/COSIS, que tem a incumbência de resolver e/ou repassar ao SERPRO questões em que há erro no sistema; (c) e a CCONT, que atende usuários com problema relativos à contabilidade; (d) setoriais de contabilidade dos órgãos. Caso o atendimento da CAS não lhe satisfaça, o usuário poderá solicitar auxílio do atendimento da STN, encaminhado-os por e-mail, telefone ou comunica, para GEREL ou CCONT, que funcionam das 8:00 às 18:00 horas, de segunda a sexta-feira. 

A modernização do sistema tornou-se preocupação constante da COSIS e sugestões de melhoria das suas funcionalidades são continuamente reavaliadas. Assim as inúmeras sugestões dos usuários são avaliadas, pois existe na COSIS uma gerência especialmente encarregada da parte evolutiva do SIAFI. Desse modo, a flexibilidade do SIAFI é fruto das constantes contribuições dos diversos órgãos e de todas as ações desenvolvidas. 

Sobre o CPR - subsistema do SIAFI - no qual se obtêm informações analíticas e gerenciais relativas ao fluxo financeiro e de caixa, da previsão do efetivo recebimento e pagamento - algumas críticas de usuários, não em relação ao sistema propriamente, mas na dificuldade que encontram na sua utilização. Consciente da dificuldade do usuário, a GEREL tem desenvolvido esforços para minimizá-las e disponibiliza, desde 2002, o Centro de Treinamento Virtual - CTVS.