Tenho 12 arquivos parquet, um para cada mês do ano em um diretório x. preciso juntar esses 12 meses em apenas um arquivo para posteriormente eu possa tratá-los. O problema que eu estou enfrentando é que ao juntar os arquivos está consumindo toda memoria do PC ( 16GB RAM ) e fechando o código. Alguém teria alguma solução viável ? uma melhoria no código ou algum tipo de arquivo ainda mais compactado que o parquet. Segue a baixo o código. import pandas as pd import os # arquivos presente no diretorio diretorio = r'C:C:\Users\User\Desktop\sla' arquivos = [ 'nov.parquet', 'dez.parquet', 'jan.parquet', 'ferv.parquet', 'março.parquet', 'abr.parquet', 'maio.parquet', 'jun.parquet', 'out.parquet', 'set.parquet', 'jul.parquet', 'agost.parquet' ] # armazena os DataFrames de cada arquivo dfs = [] # Carrega e concatena os arquivos Parquet for arquivo in arquivos: caminho_arquivo = os.path.join(diretorio, arquivo) if os.path.exists(caminho_arquivo): df = pd.read_parquet(caminho_arquivo) dfs.append(df) # Concatena os DataFrames em um único DataFrame dados_concatenados = pd.concat(dfs, ignore_index=True) # salvar caminho_saida = os.path.join(diretorio, 'uc_2023.parquet') dados_concatenados.to_parquet(caminho_saida, index=False) Continue reading...
