Esse documento sintetiza as questões e propostas apresentadas pelo GT de Avaliação ao Fórum de Coordenadores e aprovadas em Vitória. Contém um roteiro que deverá ser preenchido pelos Coordenadores Estaduais e enviado à Coordenação Executiva da RNIS, no Rio de Janeiro, aos cuidados de Ezequiel, Marcelo ou Ricardo, para ser sintetizado pelo GT de Avaliação em reunião preparatória ao Seminário da Paraíba.

• Qual avaliação julgamos adequada? Como operacionalizá-la?

• O momento atual do Projeto RNIS, bem como as próprias características da rede que se propõe a criar, sugere uma avaliação capaz de captar o processo que desencadeou e as mudanças que produziu no cenário da informação e informática em saúde, mais do que impacto;
• A avaliação deverá ser capaz de considerar os problemas operacionais concretos enfrentados pelo projeto: Ministério da Saúde, Fundo Nacional de Saúde, REFORSUS e Secretarias Estaduais de Saúde (SES), inclusive as descontinuidades nas coordenações e equipes estaduais, decorrentes das eleições estaduais e das dinâmicas específicas das SESs. Identificar esses problemas evitará o equívoco associar à potencialidade do projeto somente os efeitos dos problemas de fluxo que tivemos entre os atores que o conduziram;
• A avaliação também deverá permitir o desenvolvimento de tecnologias para a qualificação do projeto à médio e longo prazos. Identificando os problemas enfrentados na fase atual deveremos conseguir propor estratégias de desenvolvimento mais adequadas nas próximas fases;
• Na avaliação deverão ser consideradas as dificuldades dos próprios coordenadores RNIS para a manutenção dos fluxos dos documentos nas instâncias de gestão (DATASUS, REFORSUS). Há um acúmulo de funções sobre os técnicos envolvidos com a RNIS nos estados, dificultando uma dedicação maior;
• Um importante indicador para o acompanhamento da RNIS, as Salas de Situação, sofreu problemas de descontinuidade no Ministério da Saúde e nos Estados. Embora não possa ser utilizada para avaliar a abrangência da RNIS por conta desse fato, ficou marcada a demanda pela sua continuidade, com mais estímulo por parte do Ministério e sua maior participação nas discussões da Rede.
• Os projetos RNIS, diferentemente da maior parte dos convênios com o MS, tiveram uma maior participação dos Estados tanto em sua concepção, como na determinação das estratégias adotas para seu desenvolvimento, tal fato deve ser considerado na avaliação;
• Evidenciou-se a necessidade de elaboração de um instrumento para o acompanhamento da alocação dos equipamentos distribuídos pelo projeto, objetivando garantir sua efetiva utilização nos objetivos originalmente propostos;
• As estratégias para a avaliação deverão ser capazes de mobilizar o envolvimento dos estados e municípios e não somente buscar a definição de indicadores administrativos;
• Necessidade de uma participação mais efetiva dos gerentes REFORSUS nos estados, junto às coordenações estaduais da RNIS;
• O "Painel de Controle" (instrumento disponível na Home Page da RNIS: www.datasus.gov.br/rnis) deve ser usado como instrumento para gestão e avaliação. Os Coordenadores Estaduais deverão atualizar regularmente as informações disponíveis para viabilizar a composição de indicadores para a avaliação;
• Os critérios de avaliação também devem servir como instrumentos de gestão, possibilitando corrigir erros, propor mudanças e fortalecer os resultados do projetos: devem avaliar aspectos operacionais (infra: nas SES e no MS; fluxos) e conceituais (avaliação do potencial integrador, desenvolvimento de atividades integradas de capacitação, uso da informação para aprimorar a capacidade decisória dos gestores, etc);
• A avaliação deverá preservar e destacar as especifidades de cada projeto, já que não foram definidas metas uniformes para todos os estados em termos de atividades a serem desenvolvidas. Essa questão, bastante relevante porque considera a autonomia dos estados no processo de descentralização, não deverá apontar indicadores a priori negativos para os estados que eventualmente não tenham estabelecido metas em algum dos critérios por terem priorizado outras atividades, prioritárias no momento da elaboração do projeto. Para tanto, devem ser previstos indicadores compatíveis (com denominador relacionado não ao universo da variável considerada, mas ao conjunto de situações relativas à variável considerada previsto no projeto), bem como com critérios válidos seletivamente para as UF que as utilizaram.
• A avaliação deverá ser capaz de mensurar (quantitativa e qualitativamente) a inserção espontânea de municípios que não tinham sido originariamente previstos para compor a RNIS já em sua primeira fase.

• Quais indicadores serão utilizados?

• Nº de UF com projetos integralmente executados* x 100 =

• Como será operacionalizado esse item? Os Coordenadores Estaduais deverão informar os dados de implementação do seu projeto e a situação das Home Pages. Além de informar se o projeto está executado (ou o percentual de execução financeira) e se a HP estadual está montada, apresentar também, sucintamente, uma avaliação dessas duas variáveis no estado. Incluir, nessa descrição, o nível de utilização da RNIS em relação a cada um dos SIS. Descrever os bancos de dados disponibilizados na HP. Descrever o estágio de descentralização dos SIS aos municípios e capacitação de trabalhadores para os SIS REALIZADOS NO PROJETO RNIS (considerar as definições do projeto de cada estado). Além dos dados apresentados pelos Estados, a Coordenação Executiva fará uma avaliação das HP Estaduais, conforme definido em Vitória.

• Como será operacionalizado esse item? Os Coordenadores Estaduais deverão informar os numeradores e denominadores desses indicadores relativos a cada UF tendo como parâmetro as definições de cada projeto. Além dos dados quantitativos, os Coordenadores deverão acrescentar no Relatório dados qualitativos que julgarem adequados, para cada Estado, de modo sucinto.

• Como será operacionalizado esse item? Os Coordenadores Estaduais deverão informar os numeradores e denominadores de cada UF, considerando as definições existentes em cada projeto. Além dos dados quantitativos, os Coordenadores deverão incluir no relatório uma descrição sucinta do desenvolvimento dessas variáveis em cada Estado. Também devem ser acrescentados nesse item outros dados quantitativos e qualitativos do projeto estadual que não foram considerados até o presente momento ou que diferenciam o projeto da UF dos demais projetos. Sucintamente, os Coordenadores Estaduais podem apresentar nesse item outros dados que julgarem adequados para incluir no Relatório Geral de Avaliação, que será formatado pelos integrantes do GT de Avaliação e apresentado no Seminário Nacional.