Avaliação técnica da qualidade dos dados do SID

Data: 27/01/22

Autores:

1. João Pedro Rocha Brito (Assessor)

O time Titãs realiza as manutenções de diversos sistemas, sendo eles até este momento: SID, Skala, Comunique-se e Cegonha. Devido a um levantamento técnico se cogitou a avaliação técnica da qualidade dos dados do SID. Para viabilidade desse tipo de levantamento, será necessário uma série de verificações no banco de dados.

 

2. Desenvolvimento

2.1. Abordagem geral

O SID é um sistema relativamente pequeno, em termos de estrutura de dados, vejamos seu diagrama:

Fonte: Setic

O sistema conta com dados datados a partir do ano de 2016 e até o atual momento conta com o total de 63.934 solicitações de férias ou remarcação de férias e possui 1752 portarias em sua base de dados.

Em análise preliminar foi identificado alguns problemas que impactam na qualidade de seus dados, como exemplo podemos citar: portarias que não estão vinculadas à solicitações, solicitações de férias duplicadas, falta de coerência nos períodos de férias das solicitações, solicitações que não computaram auditoria do usuário responsável, remarcações de solicitações não portariadas, etc.

Do ponto de vista técnico, as avaliações de qualidade de dados, deveriam ser executadas por analistas de qualidade de dados, profissionais estes que até o momento não estão disponíveis na SETIC, suas funções seriam avaliar e interpretar cada métrica de qualidade de dados individual.

Normalmente agregam uma pontuação para a qualidade geral dos dados e fornecem uma porcentagem para representar a precisão de seus dados. As regras de qualidade de dados são um componente integral da governança de dados, que é o processo de desenvolvimento e estabelecimento de um conjunto definido e acordado de regras e padrões pelos quais todos os dados de uma organização são regidos.

A governança de dados eficaz deve harmonizar dados de várias fontes de dados, criar e monitorar políticas de uso de dados e eliminar inconsistências e imprecisões que, de outra forma, afetariam negativamente a precisão da análise de dados e a conformidade regulatória.

2.2. Razão da falta de qualidade nos dados

O sistema SID, desde sua criação, foi delegado sua responsabilidade por vários times de desenvolvimento no ambiente da SETIC, suas regras de negócios foram demandando várias alterações com o tempo. Tais alterações ocasionaram bugs no decorrer do caminho e alguns dos bugs ocasionaram a falta da qualidade de dados do sistema.

Um exemplo na prática é que na ação de gerar portaria o sistema disponibiliza uma lista de servidores que estão com suas férias já previamente marcadas no Portal do Servidor, acontece que após o ato que gera a portaria e isso inclui a assinatura, todas as solicitações envolvidas devem ser atualizadas no banco de dados e incluir a portaria em questão, vejamos o código:

Fonte: Setic

Tal procedimento anteriormente acontecia sem as condicionais do ano aquisitivo, tipo de solicitação e status. O que na maioria das vezes fazia com que a solicitação fosse atualizada no banco de dados de forma errada, o que corrompia a credibilidade de muitos dados portariados.

A melhoria contínua dos bugs no SID, pelo time Titãs, melhoraram a qualidade dos atuais dados de 2021 até o ano corrente, no entanto a maior preocupação é com os dados passados, dados estes que já ingressaram no banco de dados de forma incorreta ou foram atualizados erroneamente.

 

2.3. Procedimentos para atender a necessidade

2.3.1. Descrever detalhadamente os dados

Descrever bem os dados do SID é fundamental. Uma boa descrição e metadados ajudam a fornecer contexto para os dados, padroniza formatos e regras dentro e entre secretarias de governo e melhora o uso de dados em geral. Bons metadados melhoram a qualidade dos dados melhorando a consistência.

2.3.2. Prevenir os problemas antes que eles ocorram

Corrigir erros de dados é demorado e difícil. A criação de tempo adicional para planejamento e preparação antes de começar a coletar e analisar dados, pode ajudar a evitar a ocorrência de erros e economizar tempo e esforço valiosos. Esse trabalho é frequentemente descrito como garantia de qualidade e é um trabalho essencial no gerenciamento de dados. O trabalho de garantia de boa qualidade ajuda a definir metas para o uso dos dados.

2.3.3. Priorizar e corrigir erros comuns

Não importa quanta prevenção se faça, alguns erros ocorrerão. Detectar e corrigir erros, ou controle de qualidade, é um componente chave da qualidade dos dados. O controle de qualidade geralmente é feito manualmente, mas pode ser simplificado por meio do uso de ferramentas de criação de perfil de dados e da catalogação de problemas de dados comuns com correções simples. O uso de estatísticas resumidas para revisar seus dados também pode ajudar a descobrir possíveis erros que precisam ser corrigidos. A correção de erros comuns ajuda a melhorar a precisão , integridade e consistência de seus dados. Garantir que pessoas e recursos sejam dedicados a essa etapa é a última linha de defesa para melhorar a qualidade dos dados.

2.4. Complexidades de implementação

Dados incorretos podem ter consequências negativas e significativas para a SETIC. Os dados do SID em situação de baixa qualidade pode ser frequentemente apontado como a fonte de confusão operacional, análises imprecisas e estratégias mal concebidas. Exemplos de danos econômicos que problemas de qualidade de dados podem causar, incluem despesas adicionais, quando as férias que possuem períodos de abono, conter duplicidade ou parâmetros de segurança não atendidos, poderá ocasionar pagamento indevido.

Falta de qualidade nos dados faz com que fique complexo quando é hora de usar os dados armazenados. A principal complicação enfrentada durante um processo é usar os dados e seus atributos de forma eficiente e para a finalidade pretendida. Devido a essa série de problemas, o processo de correção é árduo e manual, ocasionando impactos negativos na equipe de desenvolvimento.

Por regra, a existência dos dados deveria satisfazer os requisitos da finalidade pretendida. Se os dados armazenados não puderem atender aos requisitos da SETIC, eles são considerados de baixa qualidade, e o custo da má qualidade dos dados é altamente subestimado.

2.5. Valor agregado

A longo prazo, dados de alta qualidade é a base das melhorias práticas. À medida que a qualidade dos dados melhora, a organização fica mais forte, permitindo que os usos potenciais dos dados se multipliquem em outros dados ou informações. Encontrar maneiras da SETIC prevenir, detectar e corrigir problemas de qualidade de dados do SID preparará o cenário para que os dados sejam colocados em serviço de várias maneiras, desde melhorar a marcação de férias e até fornecer informações precisas sobre o cenário do planejamento de férias.

3. Conclusão

O presente ESTUDO TÉCNICO PRELIMINAR, elaborado pelos integrantes TÉCNICOS do time TITÃS, considerando a análise dos desafios técnicos envolvidos e citados, conclui pela RECOMENDAÇÃO DO PROCESSO DE MELHORIA DA QUALIDADE DOS DADOS, uma vez que foram considerados as vantagens e desvantagens em termos de eficiência, principalmente potenciais problemas que afetem a disponibilidade do serviço. Em complemento, os contratempos identificados são administráveis, pelo que RECOMENDAMOS o prosseguimento da demanda a iniciar pelo sistema SID, uma vez que, o projeto já encontra em um estado de preocupação técnica.