Programa 20 – Data Science

(download)

Neste 20º episódio estivemos à conversa com Daniel Costa, Data Scientist  na MOG.

Nos dias de hoje, esta área está difundida por todas as aplicações que usamos diariamente. As sugestões de novas conexões no LinkedIn, a construção do newsfeed no Facebook, ou as sugestões de quem podemos seguir no Twitter são alguns exemplos. Daí a nossa vontade de conhecer como é que tudo funciona na prática.

Começámos por falar sobre o percurso profissional do Daniel, sobre o papel e os desafios de um Data Scientist. Falámos ainda sobre o processo de recolha e tratamento dos dados, e das diferentes ferramentas que usa no seu trabalho.

Links úteis

1. Tecnologias para projetos de streaming:
   • Kafka: https://kafka.apache.org/
   • Rabbit Message Queue: https://www.rabbitmq.com/
2. Modelo de dados descritivos:
   • Avro: https://avro.apache.org/
   • Thrift: https://thrift.apache.org/
3. Os “chavões” do Data Science:
   • Hadoop: http://hadoop.apache.org/
     • MapReduce: https://research.google.com/archive/mapreduce.html
     • Hive: http://hive.apache.org/
     • Pig: http://pig.apache.org/
     • Mahout: http://mahout.apache.org/

Tópicos abordados

• Percurso profissional [00:00:19]
• O que faz um Data Scientist [00:05:30]
• Principais desafios [00:07:00]
• Crescimento da recolha e coleção de dados [00:09:26]
• A MOG, e os tipos de dados interessantes para o negócio [00:11:55]
• Recolha e processamento de dados [00:16:17]
• Tecnologias de Data Science usadas na MOG [00:30:10]
• Hadoop, MapReduce, Hive, Pig… o que são? [00:34:30]
• Visualização dos dados [00:37:30]
• Machine Learning [00:43:20]
• Questões respondidas por Data Science [00:48:00]
• Aplicações práticas de Data Science [00:53:00]
• Perguntas Rápidas [00:57:00]

Perguntas Rápidas

• Expectativas para os próximos 12 meses a nível de web?
  Data Science na cloud, acessível a todas as empresas
• Qual a app mobile que não dispensarias?
  Spotify
• Qual a ferramenta de desenvolvimento/produtividade mais indispensável para o teu dia-a-dia?
  Git (Gitlab)
• Um podcast ou livro fundamental?
  Podcast: 10web 🙂
  Livro: sobre Social Engineering, por exemplo: Art of Human Hacking 
• Conferência a não perder
  Conferências Google e Apache
• Sugestão de próximo convidado
  Sobre Docker, Miguel Poeira da MOG