Foi um mês repleto de desafios, em um projeto diferente, aonde me propus em trazer uma série de aulas, resultando em um projeto de BI completo.Partimos do Webscraping com Python, incluímos os dados em banco SQL, e depois consumimos estes dados em um lindo painel do Power BI. Esse projeto é alusivo, e comemorativo à marca de 5 mil alunos, e ao mesmo tempo, 5 mil seguidores no LinkedIn. São 4 aulas que totalizam aproximadamente 8 horas, de material ultra detalhado focado 100% no projeto, e sem “firulas”. Todas essas aulas geram um material de apoio, que também está disponível no LINK acima, e totalmente gratuito. Apenas para gerar o certificado, caso você desejar, há um custo simbólico. Mas WebScraping no Python? Por que se o Power BI faz isso?!?!?! O Power Query (do Power BI e do Excel) faz sim WebScraping (raspagem de dados na Internet), mas, possui certas limitações, e o pior, é que cada atualização reexecuta a raspagem em todas as páginas. Claro que você poderia fazer uma inserção de dados no Banco, mas seria um pouco custoso. Por isso que estamos aproveitando e trazendo a opção de fazer isso via Python, pois tem uma quantidade de ferramentas e opções maior que o Power Query, tornando o trabalho mais tranquilo e com muito mais opções. Outra vantagem, é que com Python, o algoritmo pode ser executado em servidor LINUX (por exemplo). Você já conhece Python? Não? Eu te ajudo! Se você não conhece Python, fique tranquilo pois você pode optar por iniciar este treinamento pelo meu CURSO GRATUITO de Lógica de Programação com Python, ou, pode tentar acompanhar “na cara e na coragem”, pois eu organizei o conteúdo bem “be a bá”. O Link para este conteúdo está dentro do material de apoio. Concluindo Com esse material, você vai ter um mix de linguagens resolvendo um baita de um “problema de negócio”, altamente replicável no seu dia a dia. Imagine você, que ao invés de WebScraping, a fonte dos dados fossem planilhas vindas do Departamento de Vendas, que você precisaria limpar e inserir em um banco de maneira padronizada diariamente…Entendeu?! Espero poder ter te ajudado, e também, te convido a me seguir, que toda semana eu trago conteúdo novinho em folha. Ah, te convido a participar dessas aulas semanais que acontecem no meu canal do Youtube.Acesse CLICANDO AQUI Forte abraço
Joviano Silveira
Airbnb no Chile é Caro?
Vamos hoje falar de uma análise exploratória que fiz sobre usar uma locação de imóvel para estadia no CHILE com Airbnb. Para quem não sabe, o Airbnb é uma plataforma de locação de imóveis por tempos curtos, diretamente com o proprietário, como alternativa ao convencional aluguel de quarto de hotel. A plataforma está presente em quase todos os países, emprega mais de 5 mil pessoas, e em 2020 sua receita havia ultrapassado os US$ 3.378 bilhões. O LOCAL ANALISADO O CHILE é um país que margeia a costa do pacífico na América do Sul, e tem sido um destino comum dos Brasileiros que desejam viajar para fora do país. Seu litoral tem extensão de mais de 6 mil Km e se estende até perto da Antártida, aonde reclama soberania sob 1.250 mil Km². Um dos destinos mais procurados por turistas são as estações de esqui La Parva, que é uma cidade e estação de esqui localizada a cerca de 50 km a nordeste da capital chilena de Santiago. Fica no cume do meio dos resorts “3 Vales”, que também inclui El Colorado e Valle Nevado. Ainda no norte do país, outros destinos muito admirados e visitados são os Lagos Atiplano, Vale da Lua, Lago Chungará, Vulcões Parinacota e Pomerape (mais de 6 Km de altura), e claro, outras estações de esqui, como as famosas Valle Nevado e Portillo. Ao sul podemos citar a Patagônia Chilena, Parque San Rafael (geleiras), Arquipélago de Chiloé e Ilha de Páscoa. A análise dos dados sobre Airbnb no Chile Usamos para esse estudo uma base de dados REDUZIDA do CHILE cedidas pela Airbnb, a qual está datada de agosto/2020. Essa base nos traz pouco mais de 9 mil registros de imóveis para locação temporária no país, bem como 17 categorias de informações sobre cada registro. O estudo é uma analise de dados pura, ou seja, captura > tratamento > carregamento > interpretação de dados. Nesta oportunidade não foram aplicadas técnicas de aprendizado de máquina (inteligência artificial). Como o estudo foi elaborado? Limpamos os dados, retirando os “pontos fora da curva”, e ordenamos os dados para facilitar a leitura, e por sua vez o entendimento. Esses pontos fora da curva, denominados outliers, são imóveis com quantidade de pernoites maior que 21 dias, e com valores zerados ou maiores que 95% dos registros. Com essa limpeza nossa base reduziu em 800 linhas, representando 8% de nossos dados. Conclusão O estudo aponta que em AGO/2020, haviam muitas opções para “se hospedar” no Chile na faixa dos 200 a 300 Reais, que é uma faixa de valores interessante para o turista brasileiro. O local mais caro que pudemos identificar, foi a cumuna (bairro) de Lo Barnechea na cidade de Santiago, com custo mediano de mais de R$ 1.2 mil por noite. Compartilhando o código fonte O algoritmo desenvolvido em Python está disponível no Github, o qual recomendamos que você faça o Download, pois algumas funcionalidades (como folium) não funcionam bem no GITBUB. Forte Abraço
Câmbio entre Moedas e Cotações de Ações
Algo que é muito bem vindo, e também muito solicitado por alunos, são as cotações de ações na bolsa de valores, e o câmbio entre moedas em determinada data. Eu preparei um algoritmo em Python, e analisando ele, você vai aprender nesse script, a aliar o GOOGLE SHEETS (que tem o GOOGLE FINANCE embutido), trazendo seus dados sempre atualizados, fresquinhos, para o Python, sem precisar ficar atualizando a planilha na mão. No exemplo que criei, eu busquei o custo das Ações de uma CIA e também, busquei a cotação histórica do Dólar. Depois eu fiz a mesma consulta de Ações com uma biblioteca pandas_datareader, que busca as informações do Yahoo Finance. E por fim, aproveitei o ensejo para mostrar que o Governo Brasileiro tem uma API que retona o valor da cotação do Dolar, e claro, obtivemos os dados também com ela. Explorei um pouco da biblioteca de data, trabalhei com dicionários, laços de repetição e manipulação de colunas de Dataframe (Tabela no Python) com a função LAMBDA. Você vai perceber que é uma solução com muita praticidade, e alguns macetes interessantes foram empregados, como por exemplo, o manuseio da data incluindo os caracteres especiais de espaço, comumente usados em um endereço de URL (navegação WEB). Espero que goste! Se você gostou, deixe seu comentário, e acesse mais sobre meu trabalho Forte abraço,
Formas de criar tabela no DAX [POWER BI]
Conheça algumas maneiras de criar tabela no DAX, e auxiliar nas medidas do Power BI e Power Pivot (do Excel).
O que é o Power Query?
A Microsoft vem evoluindo suas ferramentas ao longo dos anos trazendo sempre novidades com foco em aumento de produtividade e autonomia de seus usuários. Essas novidades, como o Power Query (por exemplo), permitem usuários não programadores, criar as famosas “planilhas da NASA” com poucos cliques e/ou comandos. A tríade de ferramentas, que já vem instaladas no Excel, que vêm ganhando espaço nas planilhas da galera é composta por: Com essas ferramentas, aquele afirmação de que “não é possível calcular mais de 1 milhão de linhas” passou a não ser mais verdade. E mais, não existe mais aquela necessidade de “pedir para o carinha fera do Excel” montar uma MACRO em VBA, para converter aquele arquivos txt (ou csv) que você recebe mensalmente, e precisa conferir e confrontar com outro relatório. Com o Power Query, você programa uma vez só isso tudo, e todo mês basta clicar em Atualizar Tudo. O que exatamente o Power Query faz? É uma ferramenta capaz de pegar dados de alguma fonte, seja ela txt-csv-pdf e até mesmo banco de dados, efetuar uma série de tratamentos nestes dados, criando uma tabela, que você pode simplesmente carregar para o Excel ou seu modelo de Power BI. O mais interessante é que você pode começar na ferramenta apenas com os cliques do mouse, diferentemente do VBA, que exige uma lógica apurada e muitas linhas de código digitadas. Imagine que você trabalha no departamento contábil, custos, pcp ou controladoria e se depara com um relatório de estoques zoneado como esse aqui: ou você trabalha no departamento financeiro, e tem um relatório parecido com esse: E com alguns cliques, você consegue fazer um tratamento nesses dados (limpeza), resultando em uma tabela com cada informação em uma coluna, capaz de usar, por exemplo, numa tabela dinâmica. Como essa que a seguir: Faça um exercício, e pare pra pensar no trabalho que daria fazer essa conversão com aquele famoso “texto para colunas”, e pior, no próximo mês, quando fosse necessitar dos dados atualizados, teria que fazer tudo novamente. Quando você cria um tratamento de dados como esse, você está criando, ao toque do mouse, um conjunto de regras, e quando virar o mês, trocar o arquivo base (Fonte), clicar em atualizar, e todos aqueles comandos se aplicam. Mas ele está no Excel? Me explica melhor isso! Eu conheci o Power Query através do Power BI, mas a verdadeira revolução aconteceu quando eu vi que ele estava presente no meu Excel, lá no ano de 2016. Você pode acessar o programa através da guia dados, como na imagem a seguir: Para versões anteriores a 2016 (limitadas a 2010), há necessidade de instalar o Power Query como suplemento, e você pode obtê-lo clicando aqui. Então seu acesso nesse caso se dará através de uma guia exclusiva, denominada POWER QUERY (do ladinho de Dados, Exibir…) Quer continuar aprendendo? CLICANDO AQUI você terá acesso a um curso GRATUITO de Power Query, com duração de 2 horas, aonde te mostro como utilizar o Power Query em 5 CASES (reais). Mas se você já deseja virar um especialista em tratamento de dados, seguindo uma trilha de aprendizado, e nunca mais passar calor ao ter que converter um relatório, e confrontar com outro, inclusive, conectando direto no Banco de Dados, te convido a fazer parte da FORMAÇÃO POWER QUERY 2.0. É um pacote de 16 cursos que totalizam aproximadamente 400 horas (em 2023) que vai pegar você que é “basicão” em Excel e transformar em um Mestre Jedi do tratamento de dados. Por hoje é isso pessoal,Forte abraço e bora tomar aquele café ☕
