Joviano

Tag: power bi

Como fazer webscraping com Power Query

Como fazer webscraping com Power Query

No post de hoje quero falar sobre a arte do WEBSCRAPING com Power Query, sem aquele medo de sites que tenham várias subpáginas. Eu preparei uma aula aonde faço isso em uma página que tinha 26 subpáginas, usando LOOPS no Power Query, e fiz isso para atender o convite de meu amigo CRISTIANO GALVÃO, no evento EXCEL WEEKEND # 7 Essa aula dispõe de material de apoio, com todo o código que fiz nela, para você sair usando, e modificando a vontade. PARA FAZER WEBSCRAPING COM POWER QUERY VOCÊ PRECISA ENTENDER LOOPS Loop é um comando que fica sendo reexecutado por várias vezes até que uma condição é atingida, e tenho certeza que sua mãe já aplicou um loop em você, quando ela dizia: “pode brincar na rua até as 18 horas”. De tempos em tempos você olhava no relógio (teste lógico) para verificar se já era 18 horas, e não sendo, retornava à brincadeira. O segundo vídeo do meu canal no Youtube foi sobre loop no Excel comparando-o ao Python, e você pode assistir Clicando Aqui. Em se tratando de Power Query eu tenho ensinado LOOPS de um “jeitão” mais leve, sem usar um tal de List.Generate que se ouve falar por ai, no mundo do “Power Query Tecniquez”. Mas então o que o JOVI usa?Eu uso o @ para fazer os LOOPS, e preparei uma PLAYLIST para você poder se exercitar ainda mais nesse tema. CONCLUINDO Essa aula é um nível mais avançado em Power Query, mas que você consegue acompanhar se replicar no passo-a-passo. Mas se você quer dominar o POWER QUERY e fazer comandos como esse, e muito mais, te convido a conhecer a FORMAÇÃO POWER QUERY 2.0, que é um pacote com mais de 15 cursos que totalizam mais de 300 horas. E por hoje é isso galera! Abraço do JOV!

Gráfico Bonito ou Funcional?

Gráfico Bonito ou Funcional?

Tenho vergonha de mim! Pois achava que gráfico bonito era um gráfico funcional 😕 Lembro-me dos meus primeiros gráficos na minha carreira, aonde eu pensava que montar um gráfico era apenas plotar algo na tela, e fazendo sentido, e parecendo bonito, estaria tudo certo…Santa ingenuidade… Comecei a necessitar de gráficos quando deixei de ser consultor e comecei a ‘ir todo dia para o mesmo cliente’. Então eu conheci a PowerBi, aonde a possibilidade da criação de gráficos era imensa, rápida e extremamente intuitiva. Criava consultas simples, mas conseguia plotar sempre algo em tela, que expressasse meu sentimento. Perdi as contas de quantos dashboards montei, pensando que ficaram de leitura legível, que o usuário não conseguia (ou levava tempo demais para) processar. Então percebi que necessitava de ajuda, pois a linguagem visual de meus reports não estava transmitindo a riqueza da informação que eu havia passado horas montando o algoritmo. A ajuda Inicial – Divisor de Águas Para você desenvolver seu vocabulário visual deverá aprender com experiência de outras pessoas, assim como você faz ao procurar no Google ‘como se faz isso/aquilo’. Como minhas ferramentas de trabalho são Excel e PowerBi, eu identifiquei um curso (em inglês, mas com legendas em português – caso necessite) que parecia que tinha algo que ‘os vídeos do Youtube’ não tinham. O curso é oferecido pelo Marco Russo e Alberto Ferrari, fundadores da plataforma de cursos SQLBI (https://www.sqlbi.com/) e escritores de diversas obras no tocante a gerar informação com dados (https://www.sqlbi.com/books/). O nome do curso é Power Bi – Dashboard design course (https://www.sqlbi.com/training/data-visualization/) e custava na época US$ 99. Com eles eu aprendi não somente a usar melhor minhas ferramentas de trabalho, mas, como criar uma identidade visual limpa, cristalina e eficaz no tocante a transmissão de sentimento. Aprendi que cada tipo de gráfico tem uma função e ‘fala uma língua’, e também, que tem outros tipos que são simplesmente mudos (gráfico de pizza…risos). Meus stakeholders me procuravam para comentar a mudança na minha linguagem visual, e que parecia que as coisas estavam ‘mais mastigadas’ e mais fáceis de se identificar. Gráfico Bonito com a Experiência de mestres no assunto Ao fazer os módulos de visualização de dados, na formação de cientista de dados, nossa professora nos apresentou um Guia, escrito por Cole Nussbaumer Knaflic (ex Google), analítico com situações reais (porém anônimas) de como conseguimos contar histórias com dados. O nome do livro é Storytelling with data (contando história com dados – disponível no Brasil – pt-Br – plataformas digitais como Amazon e Google Books). No momento que eu lia o livro, eu dava gargalhadas, lembrando que eu já tinha feito algumas ‘obras’ (sentido pejorativo) as quais ela conseguiu transformar em um gráfico legível. Fiquei feliz por ver que a obra dela, as palavras de minha professora de visualização de dados, e os mestres do SQLBI estão em consonância. Paradigma Determinado dia comentei esse texto com uma pessoa que havia me pedido ajuda com PowerBi, e ele mencionou que achava caro pagar US$ 99 por um curso que foca só em visualização de dados. Quase chorei, pois percebi que algumas pessoas estão preocupadas só com o volume de aprendizado, e não com a qualidade. Nossa, experiencia é fruto de suor, e obras (sejam as aulas do SQLBI ou livro da Sra. Knaflick) demandaram horas de preparação e limpeza, para transmitir as melhores práticas, auxiliando-nos a não cometer erros que eles mesmo podem ter cometido no passado. Conclusão Devemos tratar nossos dados, a fim de nos entregar uma base forte, que facilite a criação de nossos relatórios, e que nossos relatórios sejam legíveis para maioria de nossos stakeholders. Por fim, que nossos relatórios sejam limpos, com informações claras e objetivas. Para reflexão, faço referência à página 189 do referido livro, com um antes e depois de um gráfico e entenda os conceitos: Antes de finalizar, quero deixar aqui uma recomendação de uma aula da MARATONA PYTHON AO POWER BI, que é um Workshop gratuito que preparei para você, aonde recomendo que você assista a AULA 4, aonde falamos sobre algumas dicas de design usadas naquele projeto. Por hoje é isso pessoal,Forte abraço a todos!

MUITO + que Power Query

Aprenda também SQL, DAX, Python e outras ferramentas que vão te fazer assumir posição de destaque em sua empresa.

Solicite a EMENTA CURRICULAR da FORMAÇÃO