Ir para o conteúdo principal

[Atuarial][SPIKE] Análise de Viabilidade de Carregamento na Base

CONTEXTO

Dada a necessidade do Estado de realizar estudos de impacto financeiro, mantendo assim a saúde financeira do mesmo, uma das abordagens é a utilização do Cálculo Atuarial. Trata-se de um técnica baseada na contabilidade atuária que visa fornecer insumos para a previsibilidade orçamentária.

PROBLEMA

Ao tentar realizar a carga do DW_Atuarial, identificamos que após cerca de 60h a consulta ainda não havia finalizado, tendo que ser abortada para não impactar nos outros agendamentos, como DW_COVID e DW_PIPEFY.

PREMISSAS

P1) A consulta realiza muitas leituras lógicas em diferentes tabelas e bases de dados;
P2) Como o Cálculo Atuarial leva em consideração diversos insumos (valores), cada tupla possui mais de 40 atributos; 
P3) Foi-nos solicitados a carga histórica, levando em consideração os meses anteriores;
P4) Cada consulta envolve o relacionamento Servidor -> Mês;
P5) Existe uma grande quantidade de sub-consultas e conversões de formatos;

OBJETIVO

Sendo considerados os itens apresentados, com este estudo, tem-se por objetivo identificar o tempo necessário para a entrega dos dados necessários, para que seja possível identificar a melhor abordagem para a entrega. 

PROPOSTA

Para que seja possível a consolidação do objetivo, propõe-se a realização de um estudo de caso com aplicações práticas, no qual, delimita-se o escopo da seleção à meses específicos para estimar o tempo necessário da entrega em sua totalidade.

ESTUDO DE CASO

Conforme proposta, definimos pelo realização do calculo de estimativa do tempo total baseado no agrupamento de alguns meses. Analisamos as estatísticas de leitura e tempo e execução, sendo os resultados da consulta persistidos na base e já disponibilizados ao cliente.

Análise exploratória

VALORES ABSOLUTOS
meses¹ 262
registros² 9451609
testes realizados 8

¹ considerando a relação servidor→mês
² Os agrupamentos dos registros são listados no fim deste estudo.

Consultas Realizadas

CASOS DE TESTE

#

data

registros

consultas

tempo

C1

202107

37064

434000000

00:46:01

C2

202106

37089

430000000

00:38:19

C3

202104

37195

669000000

01:33:27

202103

37263

C4

202012

37721

430000000

00:59:33

C5

202105

37172

1318996577

04:02:20

202102

37452

202101

37621

TOTAL

298.577

3.281.996.577

07:59:40

Resultados Preliminares

MEDIA DE CONSULTA SERVIDOR→MÊS
registros/servidor→mês 35937,67681
tempo/servidor→mês 00:59:50
ESTIMATIVAS PARA CONCLUSÃO
Leituras Lógicas 107895637468,88
Tempo (Minutos) 15780
Tempo (Dias) 10 dias e 23 horas
REGISTROS PERSISTIDOS
nu_ano nu_mes registros
2020 12 37721
2021 1 37621
2021 2 37452
2021 3 37263
2021 4 37195
2021 5 37172
2021 6 37089
2021 7 37064
TOTAL 298.577

 

DISCUSSÃO

APÊNDICE

# NU_ANO NU_MES SERVIDORES
1 2021 8 37070
2 2021 7 37064
3 2021 6 37089
4 2021 5 37172
5 2021 4 37195
6 2021 3 37263
7 2021 2 37452
8 2021 1 37621
9 2020 12 37721
10 2020 11 37821
11 2020 10 37933
12 2020 9 38007
13 2020 8 38140
14 2020 7 38272
15 2020 6 38397
16 2020 5 38480
17 2020 4 38622
18 2020 3 38675
19 2020 2 38712
20 2020 1 39131
21 2019 12 39329
22 2019 11 39432
23 2019 10 39454
24 2019 9 39323
25 2019 8 39551
26 2019 7 39837
27 2019 6 40028
28 2019 5 40194
29 2019 4 40339
30 2019 3 40517
31 2019 2 40718
32 2019 1 40879
33 2018 12 40915
34 2018 11 41015
35 2018 10 41360
36 2018 9 41863
37 2018 8 42095
38 2018 7 42519
39 2018 6 42527
40 2018 5 42405
41 2018 4 42617
42 2018 3 42913
43 2018 2 42991
44 2018 1 43034
45 2017 12 43023
46 2017 11 43134
47 2017 10 43075
48 2017 9 42881
49 2017 8 42885
50 2017 7 43057
51 2017 6 43244
52 2017 5 43406
53 2017 4 43589
54 2017 3 43850
55 2017 2 44014
56 2017 1 44321
57 2016 12 44386
58 2016 11 44579
59 2016 10 44767
60 2016 9 44911
61 2016 8 44889
62 2016 7 45119
63 2016 6 45247
64 2016 5 45025
65 2016 4 45113
66 2016 3 45180
67 2016 2 45331
68 2016 1 45414
69 2015 12 45397
70 2015 11 45229
71 2015 10 45233
72 2015 9 45270
73 2015 8 45241
74 2015 7 45217
75 2015 6 44956
76 2015 5 44735
77 2015 4 44843
78 2015 3 44948
79 2015 2 45092
80 2015 1 45144
81 2014 12 45162
82 2014 11 45210
83 2014 10 45222
84 2014 9 45288
85 2014 8 45352
86 2014 7 45409
87 2014 6 45467
88 2014 5 45498
89 2014 4 45562
90 2014 3 45622
91 2014 2 45728
92 2014 1 45789
93 2013 12 45916
94 2013 11 45757
95 2013 10 45842
96 2013 9 45693
97 2013 8 45448
98 2013 7 45217
99 2013 6 45254
100 2013 5 45249
101 2013 4 45330
102 2013 3 45418
103 2013 2 45393
104 2013 1 45427
105 2012 12 45314
106 2012 11 45379
107 2012 10 45369
108 2012 9 45264
109 2012 8 45274
110 2012 7 45239
111 2012 6 45012
112 2012 5 44539
113 2012 4 44207
114 2012 3 44087
115 2012 2 44129
116 2012 1 43985
117 2011 12 44028
118 2011 11 44054
119 2011 10 44026
120 2011 9 43671
121 2011 8 43659
122 2011 7 43202
123 2011 6 43063
124 2011 5 43100
125 2011 4 42776
126 2011 3 42358
127 2011 2 42322
128 2011 1 42053
129 2010 12 42105
130 2010 11 41312
131 2010 10 41034
132 2010 9 40947
133 2010 8 40133
134 2010 7 38938
135 2010 6 38652
136 2010 5 38606
137 2010 4 38595
138 2010 3 38470
139 2010 2 38501
140 2010 1 38486
141 2009 12 38293
142 2009 11 37557
143 2009 10 37571
144 2009 9 37560
145 2009 8 37544
146 2009 7 37572
147 2009 6 37618
148 2009 5 37020
149 2009 4 37010
150 2009 3 37055
151 2009 2 37050
152 2009 1 37118
153 2008 12 37140
154 2008 11 37126
155 2008 10 36841
156 2008 9 36816
157 2008 8 36859
158 2008 7 36899
159 2008 6 36892
160 2008 5 36921
161 2008 4 36916
162 2008 3 36799
163 2008 2 36611
164 2008 1 36333
165 2007 12 35268
166 2007 11 35303
167 2007 10 35374
168 2007 9 35380
169 2007 8 35441
170 2007 7 35469
171 2007 6 35479
172 2007 5 35449
173 2007 4 35372
174 2007 3 35373
175 2007 2 35408
176 2007 1 35439
177 2006 12 34223
178 2006 11 34299
179 2006 10 34349
180 2006 9 34449
181 2006 8 34541
182 2006 7 34645
183 2006 6 34902
184 2006 5 34909
185 2006 4 34997
186 2006 3 35161
187 2006 2 35165
188 2006 1 35143
189 2005 12 34621
190 2005 11 34668
191 2005 10 34787
192 2005 9 34814
193 2005 8 34662
194 2005 7 34608
195 2005 6 34439
196 2005 5 34480
197 2005 4 33736
198 2005 3 33569
199 2005 2 33499
200 2005 1 33432
201 2004 12 33329
202 2004 11 33346
203 2004 10 33327
204 2004 9 33266
205 2004 8 32910
206 2004 7 32622
207 2004 6 31589
208 2004 5 31610
209 2004 4 31137
210 2004 3 30756
211 2004 2 30863
212 2004 1 30831
213 2003 12 30732
214 2003 11 30744
215 2003 10 30659
216 2003 9 30697
217 2003 8 30735
218 2003 7 28099
219 2003 6 26362
220 2003 5 26359
221 2003 4 27565
222 2003 3 28847
223 2003 2 28828
224 2003 1 32569
225 2002 12 26696
226 2002 11 25297
227 2002 10 25253
228 2002 9 25119
229 2002 8 24867
230 2002 7 24973
231 2002 6 24584
232 2002 5 24533
233 2002 4 24502
234 2002 3 24237
235 2002 2 23889
236 2002 1 23867
237 2001 12 23659
238 2001 11 23653
239 2001 10 23631
240 2001 9 23590
241 2001 8 23620
242 2001 7 23645
243 2001 6 23529
244 2001 5 23465
245 2001 4 23242
246 2001 3 23010
247 2001 2 22886
248 2001 1 22778
249 2000 12 22749
250 2000 11 22704
251 2000 10 22670
252 2000 9 22765
253 2000 8 22523
254 2000 7 22528
255 2000 6 22512
256 2000 5 22477
257 2000 4 24398
258 2000 3 22529
259 2000 2 22529
260 2000 1 22528
261 1999 12 10899
262 1999 11 10899