Joviano

Categoria: Power Query

Como fazer webscraping com Power Query

Como fazer webscraping com Power Query

No post de hoje quero falar sobre a arte do WEBSCRAPING com Power Query, sem aquele medo de sites que tenham várias subpáginas. Eu preparei uma aula aonde faço isso em uma página que tinha 26 subpáginas, usando LOOPS no Power Query, e fiz isso para atender o convite de meu amigo CRISTIANO GALVÃO, no evento EXCEL WEEKEND # 7 Essa aula dispõe de material de apoio, com todo o código que fiz nela, para você sair usando, e modificando a vontade. PARA FAZER WEBSCRAPING COM POWER QUERY VOCÊ PRECISA ENTENDER LOOPS Loop é um comando que fica sendo reexecutado por várias vezes até que uma condição é atingida, e tenho certeza que sua mãe já aplicou um loop em você, quando ela dizia: “pode brincar na rua até as 18 horas”. De tempos em tempos você olhava no relógio (teste lógico) para verificar se já era 18 horas, e não sendo, retornava à brincadeira. O segundo vídeo do meu canal no Youtube foi sobre loop no Excel comparando-o ao Python, e você pode assistir Clicando Aqui. Em se tratando de Power Query eu tenho ensinado LOOPS de um “jeitão” mais leve, sem usar um tal de List.Generate que se ouve falar por ai, no mundo do “Power Query Tecniquez”. Mas então o que o JOVI usa?Eu uso o @ para fazer os LOOPS, e preparei uma PLAYLIST para você poder se exercitar ainda mais nesse tema. CONCLUINDO Essa aula é um nível mais avançado em Power Query, mas que você consegue acompanhar se replicar no passo-a-passo. Mas se você quer dominar o POWER QUERY e fazer comandos como esse, e muito mais, te convido a conhecer a FORMAÇÃO POWER QUERY 2.0, que é um pacote com mais de 15 cursos que totalizam mais de 300 horas. E por hoje é isso galera! Abraço do JOV!

O que é o Power Query?

O que é o Power Query?

A Microsoft vem evoluindo suas ferramentas ao longo dos anos trazendo sempre novidades com foco em aumento de produtividade e autonomia de seus usuários. Essas novidades, como o Power Query (por exemplo), permitem usuários não programadores, criar as famosas “planilhas da NASA” com poucos cliques e/ou comandos. A tríade de ferramentas, que já vem instaladas no Excel, que vêm ganhando espaço nas planilhas da galera é composta por: Com essas ferramentas, aquele afirmação de que “não é possível calcular mais de 1 milhão de linhas” passou a não ser mais verdade. E mais, não existe mais aquela necessidade de “pedir para o carinha fera do Excel” montar uma MACRO em VBA, para converter aquele arquivos txt (ou csv) que você recebe mensalmente, e precisa conferir e confrontar com outro relatório. Com o Power Query, você programa uma vez só isso tudo, e todo mês basta clicar em Atualizar Tudo. O que exatamente o Power Query faz? É uma ferramenta capaz de pegar dados de alguma fonte, seja ela txt-csv-pdf e até mesmo banco de dados, efetuar uma série de tratamentos nestes dados, criando uma tabela, que você pode simplesmente carregar para o Excel ou seu modelo de Power BI. O mais interessante é que você pode começar na ferramenta apenas com os cliques do mouse, diferentemente do VBA, que exige uma lógica apurada e muitas linhas de código digitadas. Imagine que você trabalha no departamento contábil, custos, pcp ou controladoria e se depara com um relatório de estoques zoneado como esse aqui: ou você trabalha no departamento financeiro, e tem um relatório parecido com esse: E com alguns cliques, você consegue fazer um tratamento nesses dados (limpeza), resultando em uma tabela com cada informação em uma coluna, capaz de usar, por exemplo, numa tabela dinâmica. Como essa que a seguir: Faça um exercício, e pare pra pensar no trabalho que daria fazer essa conversão com aquele famoso “texto para colunas”, e pior, no próximo mês, quando fosse necessitar dos dados atualizados, teria que fazer tudo novamente. Quando você cria um tratamento de dados como esse, você está criando, ao toque do mouse, um conjunto de regras, e quando virar o mês, trocar o arquivo base (Fonte), clicar em atualizar, e todos aqueles comandos se aplicam. Mas ele está no Excel? Me explica melhor isso! Eu conheci o Power Query através do Power BI, mas a verdadeira revolução aconteceu quando eu vi que ele estava presente no meu Excel, lá no ano de 2016. Você pode acessar o programa através da guia dados, como na imagem a seguir: Para versões anteriores a 2016 (limitadas a 2010), há necessidade de instalar o Power Query como suplemento, e você pode obtê-lo clicando aqui. Então seu acesso nesse caso se dará através de uma guia exclusiva, denominada POWER QUERY (do ladinho de Dados, Exibir…) Quer continuar aprendendo? CLICANDO AQUI você terá acesso a um curso GRATUITO de Power Query, com duração de 2 horas, aonde te mostro como utilizar o Power Query em 5 CASES (reais). Mas se você já deseja virar um especialista em tratamento de dados, seguindo uma trilha de aprendizado, e nunca mais passar calor ao ter que converter um relatório, e confrontar com outro, inclusive, conectando direto no Banco de Dados, te convido a fazer parte da FORMAÇÃO POWER QUERY 2.0. É um pacote de 16 cursos que totalizam aproximadamente 400 horas (em 2023) que vai pegar você que é “basicão” em Excel e transformar em um Mestre Jedi do tratamento de dados. Por hoje é isso pessoal,Forte abraço e bora tomar aquele café ☕

MUITO + que Power Query

Aprenda também SQL, DAX, Python e outras ferramentas que vão te fazer assumir posição de destaque em sua empresa.

Solicite a EMENTA CURRICULAR da FORMAÇÃO