Ir para o conteúdo principal

[Atuarial][SPIKE] Análise de Viabilidade de Carregamento na Base

CONTEXTO

Dada a necessidade do Estado de realizar estudos de impacto financeiro, mantendo assim a saúde financeira do mesmo, uma das abordagens é a utilização do Cálculo Atuarial. Trata-se de um técnica baseada na contabilidade atuária que visa fornecer insumos para a previsibilidade orçamentária.

PROBLEMA

Ao tentar realizar a carga do DW_Atuarial, identificamos que após cerca de 60h a consulta ainda não havia finalizado, tendo que ser abortada para não impactar nos outros agendamentos, como DW_COVID e DW_PIPEFY.

PREMISSAS

P1) A consulta realiza muitas leituras lógicas em diferentes tabelas e bases de dados;
P2) Como o Cálculo Atuarial leva em consideração diversos insumos (valores), cada tupla possui mais de 40 atributos; 
P3) Foi-nos solicitados a carga histórica, levando em consideração os meses anteriores;
P4) Cada consulta envolve o relacionamento Servidor -> Mês;
P5) Existe uma grande quantidade de sub-consultas e conversões de formatos;

OBJETIVO

Sendo considerados os itens apresentados, com este estudo, tem-se por objetivo identificar o tempo necessário para a entrega dos dados necessários, para que seja possível identificar a melhor abordagem para a entrega. 

PROPOSTA

Para que seja possível a consolidação do objetivo, propõe-se a realização de um estudo de caso com aplicações práticas, no qual, delimita-se o escopo da seleção à meses específicos para estimar o tempo necessário da entrega em sua totalidade.

ESTUDO DE CASO

 Conforme proposta, definimos pelo realização do calculo de estimativa do tempo total baseado no agrupamento de alguns meses. Analisamos as estatísticas de leitura e tempo e execução, sendo os resultados da consulta persistidos na base e já disponibilizados ao cliente.

Análise exploratória

VALORES ABSOLUTOS meses¹ 262 registros² 9451609 testes realizados 8

¹ considerando a relação servidor→mês
² Os agrupamentos dos registros são listados no fim deste estudo.

Resultados Preliminares

MEDIA DE CONSULTA SERVIDOR→MÊS registros/servidor→mês 35937,67681 tempo/servidor→mês 00:59:50
ESTIMATIVAS PARA CONCLUSÃO Leituras Lógicas 107895637468,88 Tempo (Minutos) 15780 Tempo (Dias) 10 dias e 23 horas
REGISTROS PERSISTIDOS nu_ano nu_mes registros 2020 12 37721 2021 1 37621 2021 2 37452 2021 3 37263 2021 4 37195 2021 5 37172 2021 6 37089 TOTAL 261513

 

CASOS DE TESTE

#

data

registros

consultas

tempo

C1

202107

37064

434000000

00:46:01

C2

202106

37089

430000000

00:38:19

C3

202104

37195

669000000

01:33:27

202103

37263

C4

202012

37721

430000000

00:59:33

C5

202105

37172

1318996577

04:02:20

202102

37452

202101

37621

TOTAL

298577

3281996577

07:59:40

APÊNDICE

# NU_ANO NU_MES SERVIDORES 1 2021 8 37070 2 2021 7 37064 3 2021 6 37089 4 2021 5 37172 5 2021 4 37195 6 2021 3 37263 7 2021 2 37452 8 2021 1 37621 9 2020 12 37721 10 2020 11 37821 11 2020 10 37933 12 2020 9 38007 13 2020 8 38140 14 2020 7 38272 15 2020 6 38397 16 2020 5 38480 17 2020 4 38622 18 2020 3 38675 19 2020 2 38712 20 2020 1 39131 21 2019 12 39329 22 2019 11 39432 23 2019 10 39454 24 2019 9 39323 25 2019 8 39551 26 2019 7 39837 27 2019 6 40028 28 2019 5 40194 29 2019 4 40339 30 2019 3 40517 31 2019 2 40718 32 2019 1 40879 33 2018 12 40915 34 2018 11 41015 35 2018 10 41360 36 2018 9 41863 37 2018 8 42095 38 2018 7 42519 39 2018 6 42527 40 2018 5 42405 41 2018 4 42617 42 2018 3 42913 43 2018 2 42991 44 2018 1 43034 45 2017 12 43023 46 2017 11 43134 47 2017 10 43075 48 2017 9 42881 49 2017 8 42885 50 2017 7 43057 51 2017 6 43244 52 2017 5 43406 53 2017 4 43589 54 2017 3 43850 55 2017 2 44014 56 2017 1 44321 57 2016 12 44386 58 2016 11 44579 59 2016 10 44767 60 2016 9 44911 61 2016 8 44889 62 2016 7 45119 63 2016 6 45247 64 2016 5 45025 65 2016 4 45113 66 2016 3 45180 67 2016 2 45331 68 2016 1 45414 69 2015 12 45397 70 2015 11 45229 71 2015 10 45233 72 2015 9 45270 73 2015 8 45241 74 2015 7 45217 75 2015 6 44956 76 2015 5 44735 77 2015 4 44843 78 2015 3 44948 79 2015 2 45092 80 2015 1 45144 81 2014 12 45162 82 2014 11 45210 83 2014 10 45222 84 2014 9 45288 85 2014 8 45352 86 2014 7 45409 87 2014 6 45467 88 2014 5 45498 89 2014 4 45562 90 2014 3 45622 91 2014 2 45728 92 2014 1 45789 93 2013 12 45916 94 2013 11 45757 95 2013 10 45842 96 2013 9 45693 97 2013 8 45448 98 2013 7 45217 99 2013 6 45254 100 2013 5 45249 101 2013 4 45330 102 2013 3 45418 103 2013 2 45393 104 2013 1 45427 105 2012 12 45314 106 2012 11 45379 107 2012 10 45369 108 2012 9 45264 109 2012 8 45274 110 2012 7 45239 111 2012 6 45012 112 2012 5 44539 113 2012 4 44207 114 2012 3 44087 115 2012 2 44129 116 2012 1 43985 117 2011 12 44028 118 2011 11 44054 119 2011 10 44026 120 2011 9 43671 121 2011 8 43659 122 2011 7 43202 123 2011 6 43063 124 2011 5 43100 125 2011 4 42776 126 2011 3 42358 127 2011 2 42322 128 2011 1 42053 129 2010 12 42105 130 2010 11 41312 131 2010 10 41034 132 2010 9 40947 133 2010 8 40133 134 2010 7 38938 135 2010 6 38652 136 2010 5 38606 137 2010 4 38595 138 2010 3 38470 139 2010 2 38501 140 2010 1 38486 141 2009 12 38293 142 2009 11 37557 143 2009 10 37571 144 2009 9 37560 145 2009 8 37544 146 2009 7 37572 147 2009 6 37618 148 2009 5 37020 149 2009 4 37010 150 2009 3 37055 151 2009 2 37050 152 2009 1 37118 153 2008 12 37140 154 2008 11 37126 155 2008 10 36841 156 2008 9 36816 157 2008 8 36859 158 2008 7 36899 159 2008 6 36892 160 2008 5 36921 161 2008 4 36916 162 2008 3 36799 163 2008 2 36611 164 2008 1 36333 165 2007 12 35268 166 2007 11 35303 167 2007 10 35374 168 2007 9 35380 169 2007 8 35441 170 2007 7 35469 171 2007 6 35479 172 2007 5 35449 173 2007 4 35372 174 2007 3 35373 175 2007 2 35408 176 2007 1 35439 177 2006 12 34223 178 2006 11 34299 179 2006 10 34349 180 2006 9 34449 181 2006 8 34541 182 2006 7 34645 183 2006 6 34902 184 2006 5 34909 185 2006 4 34997 186 2006 3 35161 187 2006 2 35165 188 2006 1 35143 189 2005 12 34621 190 2005 11 34668 191 2005 10 34787 192 2005 9 34814 193 2005 8 34662 194 2005 7 34608 195 2005 6 34439 196 2005 5 34480 197 2005 4 33736 198 2005 3 33569 199 2005 2 33499 200 2005 1 33432 201 2004 12 33329 202 2004 11 33346 203 2004 10 33327 204 2004 9 33266 205 2004 8 32910 206 2004 7 32622 207 2004 6 31589 208 2004 5 31610 209 2004 4 31137 210 2004 3 30756 211 2004 2 30863 212 2004 1 30831 213 2003 12 30732 214 2003 11 30744 215 2003 10 30659 216 2003 9 30697 217 2003 8 30735 218 2003 7 28099 219 2003 6 26362 220 2003 5 26359 221 2003 4 27565 222 2003 3 28847 223 2003 2 28828 224 2003 1 32569 225 2002 12 26696 226 2002 11 25297 227 2002 10 25253 228 2002 9 25119 229 2002 8 24867 230 2002 7 24973 231 2002 6 24584 232 2002 5 24533 233 2002 4 24502 234 2002 3 24237 235 2002 2 23889 236 2002 1 23867 237 2001 12 23659 238 2001 11 23653 239 2001 10 23631 240 2001 9 23590 241 2001 8 23620 242 2001 7 23645 243 2001 6 23529 244 2001 5 23465 245 2001 4 23242 246 2001 3 23010 247 2001 2 22886 248 2001 1 22778 249 2000 12 22749 250 2000 11 22704 251 2000 10 22670 252 2000 9 22765 253 2000 8 22523 254 2000 7 22528 255 2000 6 22512 256 2000 5 22477 257 2000 4 24398 258 2000 3 22529 259 2000 2 22529 260 2000 1 22528 261 1999 12 10899 262 1999 11 10899