[Atuarial][SPIKE] Análise de Viabilidade de Carregamento na Base
CONTEXTO
Dada a necessidade do Estado de realizar estudos de impacto financeiro, mantendo assim a saúde financeira do mesmo, uma das abordagens é a utilização do Cálculo Atuarial. Trata-se de um técnica baseada na contabilidade atuária que visa fornecer insumos para a previsibilidade orçamentária.
PROBLEMA
Ao tentar realizar a carga do DW_Atuarial, identificamos que após cerca de 60h a consulta ainda não havia finalizado, tendo que ser abortada para não impactar nos outros agendamentos, como DW_COVID e DW_PIPEFY.
PREMISSAS
P1) A consulta realiza muitas leituras lógicas em diferentes tabelas e bases de dados;
P2) Como o Cálculo Atuarial leva em consideração diversos insumos (valores), cada tupla possui mais de 40 atributos;
P3) Foi-nos solicitados a carga histórica, levando em consideração os meses anteriores;
P4) Cada consulta envolve o relacionamento Servidor -> Mês;
P5) Existe uma grande quantidade de sub-consultas e conversões de formatos;
OBJETIVO
Sendo considerados os itens apresentados, com este estudo, tem-se por objetivo identificar o tempo necessário para a entrega dos dados necessários, para que seja possível identificar a melhor abordagem para a entrega.
PROPOSTA
Para que seja possível a consolidação do objetivo, propõe-se a realização de um estudo de caso com aplicações práticas, no qual, delimita-se o escopo da seleção à meses específicos para estimar o tempo necessário da entrega em sua totalidade.
ESTUDO DE CASO
Conforme proposta, definimos pelo realização do calculo de estimativa do tempo total baseado no agrupamento de alguns meses. Analisamos as estatísticas de leitura e tempo e execução, sendo os resultados da consulta persistidos na base e já disponibilizados ao cliente.
Análise exploratória
| VALORES ABSOLUTOS | |
| meses¹ | 262 |
| registros² | 9451609 |
| testes realizados | 8 |
¹ considerando a relação servidor→mês
² Os agrupamentos dos registros são listados no fim deste estudo.
Resultados Preliminares
| MEDIA DE CONSULTA SERVIDOR→MÊS | |
| registros/servidor→mês | 35937,67681 |
| tempo/servidor→mês | 00:59:50 |
| ESTIMATIVAS PARA CONCLUSÃO | |
| Leituras Lógicas | 107895637468,88 |
| Tempo (Minutos) | 15780 |
| Tempo (Dias) | 10 dias e 23 horas |
| REGISTROS PERSISTIDOS | ||
| nu_ano | nu_mes | registros |
| 2020 | 12 | 37721 |
| 2021 | 1 | 37621 |
| 2021 | 2 | 37452 |
| 2021 | 3 | 37263 |
| 2021 | 4 | 37195 |
| 2021 | 5 | 37172 |
| 2021 | 6 | 37089 |
| TOTAL | 261513 | |
|
CASOS DE TESTE |
||||
|
# |
data |
registros |
consultas |
tempo |
|
C1 |
202107 |
37064 |
434000000 |
00:46:01 |
|
C2 |
202106 |
37089 |
430000000 |
00:38:19 |
|
C3 |
202104 |
37195 |
669000000 |
01:33:27 |
|
202103 |
37263 |
|||
|
C4 |
202012 |
37721 |
430000000 |
00:59:33 |
|
C5 |
202105 |
37172 |
1318996577 |
04:02:20 |
|
202102 |
37452 |
|||
|
202101 |
37621 |
|||
|
TOTAL |
298577 |
3281996577 |
07:59:40 |
|
APÊNDICE
| # | NU_ANO | NU_MES | SERVIDORES |
| 1 | 2021 | 8 | 37070 |
| 2 | 2021 | 7 | 37064 |
| 3 | 2021 | 6 | 37089 |
| 4 | 2021 | 5 | 37172 |
| 5 | 2021 | 4 | 37195 |
| 6 | 2021 | 3 | 37263 |
| 7 | 2021 | 2 | 37452 |
| 8 | 2021 | 1 | 37621 |
| 9 | 2020 | 12 | 37721 |
| 10 | 2020 | 11 | 37821 |
| 11 | 2020 | 10 | 37933 |
| 12 | 2020 | 9 | 38007 |
| 13 | 2020 | 8 | 38140 |
| 14 | 2020 | 7 | 38272 |
| 15 | 2020 | 6 | 38397 |
| 16 | 2020 | 5 | 38480 |
| 17 | 2020 | 4 | 38622 |
| 18 | 2020 | 3 | 38675 |
| 19 | 2020 | 2 | 38712 |
| 20 | 2020 | 1 | 39131 |
| 21 | 2019 | 12 | 39329 |
| 22 | 2019 | 11 | 39432 |
| 23 | 2019 | 10 | 39454 |
| 24 | 2019 | 9 | 39323 |
| 25 | 2019 | 8 | 39551 |
| 26 | 2019 | 7 | 39837 |
| 27 | 2019 | 6 | 40028 |
| 28 | 2019 | 5 | 40194 |
| 29 | 2019 | 4 | 40339 |
| 30 | 2019 | 3 | 40517 |
| 31 | 2019 | 2 | 40718 |
| 32 | 2019 | 1 | 40879 |
| 33 | 2018 | 12 | 40915 |
| 34 | 2018 | 11 | 41015 |
| 35 | 2018 | 10 | 41360 |
| 36 | 2018 | 9 | 41863 |
| 37 | 2018 | 8 | 42095 |
| 38 | 2018 | 7 | 42519 |
| 39 | 2018 | 6 | 42527 |
| 40 | 2018 | 5 | 42405 |
| 41 | 2018 | 4 | 42617 |
| 42 | 2018 | 3 | 42913 |
| 43 | 2018 | 2 | 42991 |
| 44 | 2018 | 1 | 43034 |
| 45 | 2017 | 12 | 43023 |
| 46 | 2017 | 11 | 43134 |
| 47 | 2017 | 10 | 43075 |
| 48 | 2017 | 9 | 42881 |
| 49 | 2017 | 8 | 42885 |
| 50 | 2017 | 7 | 43057 |
| 51 | 2017 | 6 | 43244 |
| 52 | 2017 | 5 | 43406 |
| 53 | 2017 | 4 | 43589 |
| 54 | 2017 | 3 | 43850 |
| 55 | 2017 | 2 | 44014 |
| 56 | 2017 | 1 | 44321 |
| 57 | 2016 | 12 | 44386 |
| 58 | 2016 | 11 | 44579 |
| 59 | 2016 | 10 | 44767 |
| 60 | 2016 | 9 | 44911 |
| 61 | 2016 | 8 | 44889 |
| 62 | 2016 | 7 | 45119 |
| 63 | 2016 | 6 | 45247 |
| 64 | 2016 | 5 | 45025 |
| 65 | 2016 | 4 | 45113 |
| 66 | 2016 | 3 | 45180 |
| 67 | 2016 | 2 | 45331 |
| 68 | 2016 | 1 | 45414 |
| 69 | 2015 | 12 | 45397 |
| 70 | 2015 | 11 | 45229 |
| 71 | 2015 | 10 | 45233 |
| 72 | 2015 | 9 | 45270 |
| 73 | 2015 | 8 | 45241 |
| 74 | 2015 | 7 | 45217 |
| 75 | 2015 | 6 | 44956 |
| 76 | 2015 | 5 | 44735 |
| 77 | 2015 | 4 | 44843 |
| 78 | 2015 | 3 | 44948 |
| 79 | 2015 | 2 | 45092 |
| 80 | 2015 | 1 | 45144 |
| 81 | 2014 | 12 | 45162 |
| 82 | 2014 | 11 | 45210 |
| 83 | 2014 | 10 | 45222 |
| 84 | 2014 | 9 | 45288 |
| 85 | 2014 | 8 | 45352 |
| 86 | 2014 | 7 | 45409 |
| 87 | 2014 | 6 | 45467 |
| 88 | 2014 | 5 | 45498 |
| 89 | 2014 | 4 | 45562 |
| 90 | 2014 | 3 | 45622 |
| 91 | 2014 | 2 | 45728 |
| 92 | 2014 | 1 | 45789 |
| 93 | 2013 | 12 | 45916 |
| 94 | 2013 | 11 | 45757 |
| 95 | 2013 | 10 | 45842 |
| 96 | 2013 | 9 | 45693 |
| 97 | 2013 | 8 | 45448 |
| 98 | 2013 | 7 | 45217 |
| 99 | 2013 | 6 | 45254 |
| 100 | 2013 | 5 | 45249 |
| 101 | 2013 | 4 | 45330 |
| 102 | 2013 | 3 | 45418 |
| 103 | 2013 | 2 | 45393 |
| 104 | 2013 | 1 | 45427 |
| 105 | 2012 | 12 | 45314 |
| 106 | 2012 | 11 | 45379 |
| 107 | 2012 | 10 | 45369 |
| 108 | 2012 | 9 | 45264 |
| 109 | 2012 | 8 | 45274 |
| 110 | 2012 | 7 | 45239 |
| 111 | 2012 | 6 | 45012 |
| 112 | 2012 | 5 | 44539 |
| 113 | 2012 | 4 | 44207 |
| 114 | 2012 | 3 | 44087 |
| 115 | 2012 | 2 | 44129 |
| 116 | 2012 | 1 | 43985 |
| 117 | 2011 | 12 | 44028 |
| 118 | 2011 | 11 | 44054 |
| 119 | 2011 | 10 | 44026 |
| 120 | 2011 | 9 | 43671 |
| 121 | 2011 | 8 | 43659 |
| 122 | 2011 | 7 | 43202 |
| 123 | 2011 | 6 | 43063 |
| 124 | 2011 | 5 | 43100 |
| 125 | 2011 | 4 | 42776 |
| 126 | 2011 | 3 | 42358 |
| 127 | 2011 | 2 | 42322 |
| 128 | 2011 | 1 | 42053 |
| 129 | 2010 | 12 | 42105 |
| 130 | 2010 | 11 | 41312 |
| 131 | 2010 | 10 | 41034 |
| 132 | 2010 | 9 | 40947 |
| 133 | 2010 | 8 | 40133 |
| 134 | 2010 | 7 | 38938 |
| 135 | 2010 | 6 | 38652 |
| 136 | 2010 | 5 | 38606 |
| 137 | 2010 | 4 | 38595 |
| 138 | 2010 | 3 | 38470 |
| 139 | 2010 | 2 | 38501 |
| 140 | 2010 | 1 | 38486 |
| 141 | 2009 | 12 | 38293 |
| 142 | 2009 | 11 | 37557 |
| 143 | 2009 | 10 | 37571 |
| 144 | 2009 | 9 | 37560 |
| 145 | 2009 | 8 | 37544 |
| 146 | 2009 | 7 | 37572 |
| 147 | 2009 | 6 | 37618 |
| 148 | 2009 | 5 | 37020 |
| 149 | 2009 | 4 | 37010 |
| 150 | 2009 | 3 | 37055 |
| 151 | 2009 | 2 | 37050 |
| 152 | 2009 | 1 | 37118 |
| 153 | 2008 | 12 | 37140 |
| 154 | 2008 | 11 | 37126 |
| 155 | 2008 | 10 | 36841 |
| 156 | 2008 | 9 | 36816 |
| 157 | 2008 | 8 | 36859 |
| 158 | 2008 | 7 | 36899 |
| 159 | 2008 | 6 | 36892 |
| 160 | 2008 | 5 | 36921 |
| 161 | 2008 | 4 | 36916 |
| 162 | 2008 | 3 | 36799 |
| 163 | 2008 | 2 | 36611 |
| 164 | 2008 | 1 | 36333 |
| 165 | 2007 | 12 | 35268 |
| 166 | 2007 | 11 | 35303 |
| 167 | 2007 | 10 | 35374 |
| 168 | 2007 | 9 | 35380 |
| 169 | 2007 | 8 | 35441 |
| 170 | 2007 | 7 | 35469 |
| 171 | 2007 | 6 | 35479 |
| 172 | 2007 | 5 | 35449 |
| 173 | 2007 | 4 | 35372 |
| 174 | 2007 | 3 | 35373 |
| 175 | 2007 | 2 | 35408 |
| 176 | 2007 | 1 | 35439 |
| 177 | 2006 | 12 | 34223 |
| 178 | 2006 | 11 | 34299 |
| 179 | 2006 | 10 | 34349 |
| 180 | 2006 | 9 | 34449 |
| 181 | 2006 | 8 | 34541 |
| 182 | 2006 | 7 | 34645 |
| 183 | 2006 | 6 | 34902 |
| 184 | 2006 | 5 | 34909 |
| 185 | 2006 | 4 | 34997 |
| 186 | 2006 | 3 | 35161 |
| 187 | 2006 | 2 | 35165 |
| 188 | 2006 | 1 | 35143 |
| 189 | 2005 | 12 | 34621 |
| 190 | 2005 | 11 | 34668 |
| 191 | 2005 | 10 | 34787 |
| 192 | 2005 | 9 | 34814 |
| 193 | 2005 | 8 | 34662 |
| 194 | 2005 | 7 | 34608 |
| 195 | 2005 | 6 | 34439 |
| 196 | 2005 | 5 | 34480 |
| 197 | 2005 | 4 | 33736 |
| 198 | 2005 | 3 | 33569 |
| 199 | 2005 | 2 | 33499 |
| 200 | 2005 | 1 | 33432 |
| 201 | 2004 | 12 | 33329 |
| 202 | 2004 | 11 | 33346 |
| 203 | 2004 | 10 | 33327 |
| 204 | 2004 | 9 | 33266 |
| 205 | 2004 | 8 | 32910 |
| 206 | 2004 | 7 | 32622 |
| 207 | 2004 | 6 | 31589 |
| 208 | 2004 | 5 | 31610 |
| 209 | 2004 | 4 | 31137 |
| 210 | 2004 | 3 | 30756 |
| 211 | 2004 | 2 | 30863 |
| 212 | 2004 | 1 | 30831 |
| 213 | 2003 | 12 | 30732 |
| 214 | 2003 | 11 | 30744 |
| 215 | 2003 | 10 | 30659 |
| 216 | 2003 | 9 | 30697 |
| 217 | 2003 | 8 | 30735 |
| 218 | 2003 | 7 | 28099 |
| 219 | 2003 | 6 | 26362 |
| 220 | 2003 | 5 | 26359 |
| 221 | 2003 | 4 | 27565 |
| 222 | 2003 | 3 | 28847 |
| 223 | 2003 | 2 | 28828 |
| 224 | 2003 | 1 | 32569 |
| 225 | 2002 | 12 | 26696 |
| 226 | 2002 | 11 | 25297 |
| 227 | 2002 | 10 | 25253 |
| 228 | 2002 | 9 | 25119 |
| 229 | 2002 | 8 | 24867 |
| 230 | 2002 | 7 | 24973 |
| 231 | 2002 | 6 | 24584 |
| 232 | 2002 | 5 | 24533 |
| 233 | 2002 | 4 | 24502 |
| 234 | 2002 | 3 | 24237 |
| 235 | 2002 | 2 | 23889 |
| 236 | 2002 | 1 | 23867 |
| 237 | 2001 | 12 | 23659 |
| 238 | 2001 | 11 | 23653 |
| 239 | 2001 | 10 | 23631 |
| 240 | 2001 | 9 | 23590 |
| 241 | 2001 | 8 | 23620 |
| 242 | 2001 | 7 | 23645 |
| 243 | 2001 | 6 | 23529 |
| 244 | 2001 | 5 | 23465 |
| 245 | 2001 | 4 | 23242 |
| 246 | 2001 | 3 | 23010 |
| 247 | 2001 | 2 | 22886 |
| 248 | 2001 | 1 | 22778 |
| 249 | 2000 | 12 | 22749 |
| 250 | 2000 | 11 | 22704 |
| 251 | 2000 | 10 | 22670 |
| 252 | 2000 | 9 | 22765 |
| 253 | 2000 | 8 | 22523 |
| 254 | 2000 | 7 | 22528 |
| 255 | 2000 | 6 | 22512 |
| 256 | 2000 | 5 | 22477 |
| 257 | 2000 | 4 | 24398 |
| 258 | 2000 | 3 | 22529 |
| 259 | 2000 | 2 | 22529 |
| 260 | 2000 | 1 | 22528 |
| 261 | 1999 | 12 | 10899 |
| 262 | 1999 | 11 | 10899 |