Foi um mês repleto de desafios, em um projeto diferente, aonde me propus em trazer uma série de aulas, resultando em um projeto de BI completo.Partimos do Webscraping com Python, incluímos os dados em banco SQL, e depois consumimos estes dados em um lindo painel do Power BI. Esse projeto é alusivo, e comemorativo à marca de 5 mil alunos, e ao mesmo tempo, 5 mil seguidores no LinkedIn. São 4 aulas que totalizam aproximadamente 8 horas, de material ultra detalhado focado 100% no projeto, e sem “firulas”. Todas essas aulas geram um material de apoio, que também está disponível no LINK acima, e totalmente gratuito. Apenas para gerar o certificado, caso você desejar, há um custo simbólico. Mas WebScraping no Python? Por que se o Power BI faz isso?!?!?! O Power Query (do Power BI e do Excel) faz sim WebScraping (raspagem de dados na Internet), mas, possui certas limitações, e o pior, é que cada atualização reexecuta a raspagem em todas as páginas. Claro que você poderia fazer uma inserção de dados no Banco, mas seria um pouco custoso. Por isso que estamos aproveitando e trazendo a opção de fazer isso via Python, pois tem uma quantidade de ferramentas e opções maior que o Power Query, tornando o trabalho mais tranquilo e com muito mais opções. Outra vantagem, é que com Python, o algoritmo pode ser executado em servidor LINUX (por exemplo). Você já conhece Python? Não? Eu te ajudo! Se você não conhece Python, fique tranquilo pois você pode optar por iniciar este treinamento pelo meu CURSO GRATUITO de Lógica de Programação com Python, ou, pode tentar acompanhar “na cara e na coragem”, pois eu organizei o conteúdo bem “be a bá”. O Link para este conteúdo está dentro do material de apoio. Concluindo Com esse material, você vai ter um mix de linguagens resolvendo um baita de um “problema de negócio”, altamente replicável no seu dia a dia. Imagine você, que ao invés de WebScraping, a fonte dos dados fossem planilhas vindas do Departamento de Vendas, que você precisaria limpar e inserir em um banco de maneira padronizada diariamente…Entendeu?! Espero poder ter te ajudado, e também, te convido a me seguir, que toda semana eu trago conteúdo novinho em folha. Ah, te convido a participar dessas aulas semanais que acontecem no meu canal do Youtube.Acesse CLICANDO AQUI Forte abraço
Dia: 19 de novembro de 2022
Airbnb no Chile é Caro?
Vamos hoje falar de uma análise exploratória que fiz sobre usar uma locação de imóvel para estadia no CHILE com Airbnb. Para quem não sabe, o Airbnb é uma plataforma de locação de imóveis por tempos curtos, diretamente com o proprietário, como alternativa ao convencional aluguel de quarto de hotel. A plataforma está presente em quase todos os países, emprega mais de 5 mil pessoas, e em 2020 sua receita havia ultrapassado os US$ 3.378 bilhões. O LOCAL ANALISADO O CHILE é um país que margeia a costa do pacífico na América do Sul, e tem sido um destino comum dos Brasileiros que desejam viajar para fora do país. Seu litoral tem extensão de mais de 6 mil Km e se estende até perto da Antártida, aonde reclama soberania sob 1.250 mil Km². Um dos destinos mais procurados por turistas são as estações de esqui La Parva, que é uma cidade e estação de esqui localizada a cerca de 50 km a nordeste da capital chilena de Santiago. Fica no cume do meio dos resorts “3 Vales”, que também inclui El Colorado e Valle Nevado. Ainda no norte do país, outros destinos muito admirados e visitados são os Lagos Atiplano, Vale da Lua, Lago Chungará, Vulcões Parinacota e Pomerape (mais de 6 Km de altura), e claro, outras estações de esqui, como as famosas Valle Nevado e Portillo. Ao sul podemos citar a Patagônia Chilena, Parque San Rafael (geleiras), Arquipélago de Chiloé e Ilha de Páscoa. A análise dos dados sobre Airbnb no Chile Usamos para esse estudo uma base de dados REDUZIDA do CHILE cedidas pela Airbnb, a qual está datada de agosto/2020. Essa base nos traz pouco mais de 9 mil registros de imóveis para locação temporária no país, bem como 17 categorias de informações sobre cada registro. O estudo é uma analise de dados pura, ou seja, captura > tratamento > carregamento > interpretação de dados. Nesta oportunidade não foram aplicadas técnicas de aprendizado de máquina (inteligência artificial). Como o estudo foi elaborado? Limpamos os dados, retirando os “pontos fora da curva”, e ordenamos os dados para facilitar a leitura, e por sua vez o entendimento. Esses pontos fora da curva, denominados outliers, são imóveis com quantidade de pernoites maior que 21 dias, e com valores zerados ou maiores que 95% dos registros. Com essa limpeza nossa base reduziu em 800 linhas, representando 8% de nossos dados. Conclusão O estudo aponta que em AGO/2020, haviam muitas opções para “se hospedar” no Chile na faixa dos 200 a 300 Reais, que é uma faixa de valores interessante para o turista brasileiro. O local mais caro que pudemos identificar, foi a cumuna (bairro) de Lo Barnechea na cidade de Santiago, com custo mediano de mais de R$ 1.2 mil por noite. Compartilhando o código fonte O algoritmo desenvolvido em Python está disponível no Github, o qual recomendamos que você faça o Download, pois algumas funcionalidades (como folium) não funcionam bem no GITBUB. Forte Abraço
Câmbio entre Moedas e Cotações de Ações
Algo que é muito bem vindo, e também muito solicitado por alunos, são as cotações de ações na bolsa de valores, e o câmbio entre moedas em determinada data. Eu preparei um algoritmo em Python, e analisando ele, você vai aprender nesse script, a aliar o GOOGLE SHEETS (que tem o GOOGLE FINANCE embutido), trazendo seus dados sempre atualizados, fresquinhos, para o Python, sem precisar ficar atualizando a planilha na mão. No exemplo que criei, eu busquei o custo das Ações de uma CIA e também, busquei a cotação histórica do Dólar. Depois eu fiz a mesma consulta de Ações com uma biblioteca pandas_datareader, que busca as informações do Yahoo Finance. E por fim, aproveitei o ensejo para mostrar que o Governo Brasileiro tem uma API que retona o valor da cotação do Dolar, e claro, obtivemos os dados também com ela. Explorei um pouco da biblioteca de data, trabalhei com dicionários, laços de repetição e manipulação de colunas de Dataframe (Tabela no Python) com a função LAMBDA. Você vai perceber que é uma solução com muita praticidade, e alguns macetes interessantes foram empregados, como por exemplo, o manuseio da data incluindo os caracteres especiais de espaço, comumente usados em um endereço de URL (navegação WEB). Espero que goste! Se você gostou, deixe seu comentário, e acesse mais sobre meu trabalho Forte abraço,
