Hoje, vamos embarcar em uma aventura pelo reino mágico da manipulação de dados usando Python, SQL e um novo herói que acabou de entrar na arena, o DuckDB. Vamos desmistificar esses conceitos e mostrar como você pode começar a brincar com dados. Boralá?!

O que é SQL?

SQL, ou Linguagem de Consulta Estruturada, é uma linguagem usada para “conversar” com bancos de dados. Imagine que você tem uma grande caixa cheia de arquivos. O SQL é como o assistente super eficiente que você pede para buscar, organizar ou modificar esses arquivos para você. Prático, não é?

Python e Data Science

Python é uma linguagem de programação muito popular, especialmente na ciência de dados. É como um canivete suíço para lidar com dados: seja para coletar, analisar, visualizar ou, como veremos hoje, manipular dados em formato tabular (como uma tabela de Excel) usando algo chamado DataFrame. Sim, Python é esse incrível!

Conhecendo o DuckDB

DuckDB é um sistema de gerenciamento de banco de dados analítico orientado a colunas, projetado para análise de dados on-the-fly. Ele permite que você execute operações de banco de dados diretamente em seus DataFrames do Pandas usando SQL, oferecendo uma maneira eficiente e fácil de manipular seus dados. DuckDB é como o super-herói que você não sabia que precisava!

Quando e por que usar o DuckDB?

Você pode se perguntar: “Por que eu usaria o DuckDB se eu posso manipular meus dados diretamente com Pandas?” Boa pergunta, jovem Padawan! Aqui estão algumas razões:

• Familiaridade com SQL: Se você já está confortável com SQL, pode ser mais fácil e intuitivo continuar usando SQL para manipular seus dados, mesmo em Python.
• Eficiência: DuckDB é projetado para ser eficiente com grandes conjuntos de dados. Se você está trabalhando com um DataFrame muito grande, pode ser mais rápido realizar operações de manipulação de dados com DuckDB do que com Pandas.
• Compatibilidade: DuckDB permite que você execute consultas SQL em DataFrames do Pandas, mas também em muitos outros formatos de dados, como CSV, Parquet e mais. Isso pode tornar seu fluxo de trabalho mais consistente se você estiver trabalhando com diferentes formatos de dados.
• Análise on-the-fly: DuckDB é otimizado para análise de dados on-the-fly, o que significa que ele pode executar cálculos complexos diretamente no banco de dados, sem a necessidade de carregar todos os dados na memória. Isso pode ser uma grande vantagem se você estiver trabalhando com conjuntos de dados muito grandes. Além disso, a interação linha a linha pode ser mais eficiente do que usar funções vetorizadas, como apply() com uma função lambda, especialmente quando se trabalha com grandes conjuntos de dados.

Mãos à obra: Manipulando Dados com Python, SQL e DuckDB

Vamos supor que você tem um monte de dados armazenados em um arquivo CSV (que é basicamente uma tabela salva em um arquivo de texto). Você quer usar SQL para fazer algumas perguntas a esses dados. Como podemos fazer isso? Vamos usar Python e DuckDB!

Passo 1: Carregar os dados

Primeiro, precisamos carregar os dados do arquivo CSV para um DataFrame do Pandas. Pandas é uma biblioteca Python que nos permite trabalhar com DataFrames.

import pandas as pd

# Carregar dados do arquivo CSV para um DataFrame do Pandas
df = pd.read_csv('meu_arquivo.csv')

Passo 2: Conectar com o DuckDB

Agora, vamos criar uma conexão com o DuckDB. Assim como o SQLite, o DuckDB é um sistema de banco de dados que salva todos os dados em um único arquivo no seu computador.

# pip install duckdb
import duckdb

# Criar uma conexão DuckDB
conn = duckdb.connect('meu_banco_de_dados.duckdb')

Com a conexão estabelecida, podemos agora escrever os dados do DataFrame para uma tabela DuckDB.

# Escrever os dados do DataFrame para uma tabela DuckDB
conn.execute("CREATE TABLE minha_tabela AS SELECT * FROM df")

Passo 4: Fazer perguntas aos dados

Finalmente, podemos começar a fazer perguntas aos nossos dados! Vamos usar uma consulta SQL para isso.

# Consultar a tabela DuckDB
result = conn.execute("SELECT * FROM minha_tabela").fetchdf()

Este código retorna todos os dados da tabela que criamos. Mas você pode fazer perguntas mais específicas. Por exemplo, se você quiser ver apenas as linhas onde a coluna ‘idade’ é maior que 30, você poderia fazer:

result = conn.execute("SELECT * FROM minha_tabela WHERE idade > 30").fetchdf()

E aí está! Você acabou de fazer sua primeira manipulação de dados com Python, SQL e DuckDB! Lembre-se, este é apenas o começo. Com Python, SQL e DuckDB, as possibilidades são infinitas. Continue explorando, aprendendo e se divertindo!

A Importância do SQL para Analistas de Dados

O SQL é uma ferramenta essencial no arsenal de qualquer analista de dados. Ele permite que você faça perguntas complexas aos seus dados, combine dados de diferentes fontes e até mesmo realize análises avançadas. Além disso, o SQL é amplamente utilizado na indústria, então entender SQL pode abrir muitas portas para você no campo da análise de dados.

Se você está sério sobre se tornar um analista de dados, temos uma ótima notícia para você! Dentro da nossa Formação Power Query 2.0, temos um curso completo de SQL voltado para analistas de dados. Este curso tem 32 horas de conteúdo e vai te ensinar tudo o que você precisa saber sobre SQL. E não para por aí, também temos uma trilha completa de Python esperando por você!

Conclusão

E aí está, você acabou de dar seus primeiros passos na incrível jornada de manipulação de dados com Python, SQL e DuckDB. Esperamos que você tenha se divertido tanto quanto nós! A ciência de dados é um campo emocionante e dinâmico, cheio de desafios intrigantes e descobertas surpreendentes. E com as ferramentas certas, como Python, SQL e DuckDB, você está bem equipado para enfrentar qualquer desafio que venha pela frente.

Mas espere, tem mais! Sabemos que a melhor maneira de aprender é fazendo, então preparamos um presente especial para você. Temos um arquivo chamado ‘20230715_duckdb_jovi.zip‘ que contém o código completo que usamos neste post, junto com uma base de dados de teste para você praticar. E a melhor parte? Você pode baixá-lo gratuitamente!

Então, o que você está esperando? Vá em frente, baixe o arquivo, comece a brincar com os dados e veja o que você pode descobrir. E lembre-se, a jornada para se tornar um analista de dados é uma maratona, não uma corrida. Então, continue aprendendo, continue explorando e, acima de tudo, continue se divertindo. Estamos animados para ver o que você vai criar!

Obrigado por ler! Se você gostou deste post, convidamos você a visitar nossa central de conteúdos, onde você encontrará mais recursos e aprendizados para ajudá-lo em sua jornada de análise de dados. E não se esqueça, a Formação Power Query 2.0 está sempre aqui para ajudá-lo a aprimorar suas habilidades e levar sua carreira de analista de dados para o próximo nível.

Até a próxima, e lembre-se: o céu é o limite quando você tem Python, SQL e DuckDB ao seu lado!

Forte abraço do