Black Friday: Monitore preços com a ajuda de crawlers

Publicado em: 20/4/2016

A Black Friday está chegando e consequentemente uma explosão de promoções. Quem nunca viu aquele gadget por metade do preço? E a metade do preço na verdade ser a metade do dobro?

Nessa época surgem muitos sites especializados em detectar fraudes. Não tiro o mérito deles, mas no momento de desconfiança em que vivemos, decorrentes de fake news e corrupção, prefiro acreditar naquilo que posso ver e comprovar. E como comprovar que o preço daquele smartphone está realmente mais barato? Você pode usar crawlers!

O que são Crawlers?

Os crawlers também são conhecidos como bots ou robôs, e são usados para fazer a tarefa automática de abrir um site para executar aquilo que você programou ele para fazer. O Google, por exemplo, tem um crawler usado para varrer sites que estão na sua base de dados e ler o conteúdo do site para disponibilizar nas suas buscas. Desta forma, quando alguém faz uma busca vai retornar aquilo que o crawler encontrou.

Como os Crawlers podem ajudar no período da Black Friday?

Usando essa ideia do crawler, podemos varrer a Internet buscando preços relacionados ao gadget que queremos comprar. Exemplo prático: Vamos comprar o smartphone X (substitua o X pela marca ou modelo que você quer). Então eu vou fazer meu crawler buscar no Google na primeira página as seguintes informações. “X preço”, “X review”, “X lançamento”, “comprar X”, “X”.

Ao realizar a busca no Google, vamos acessar todos os links da primeira página buscar dentro desses links a data de atualização da página, o preço e o nome do X. Vamos salvar o resultado das nossas buscas juntamente com o link da página para uma possível consulta manual.

Com esses dados em mãos podemos fazer um histórico do preço do produto desde o lançamento até à data presente e comparar com os preços na Black Friday.

Como montar meu Crawler?

Você pode usar qualquer linguagem de maneira pura ou usando diversas bibliotecas já prontas para fazer crawler, precisando apenas adaptar para a sua necessidade. Caso você não queira começar do zero para montar o seu crawler, recomendo as bibliotecas Crawler em PHP e Wombat em Ruby.

Gostou da dica? Já conhecia e sabia que poderia usar os crawlers dessa maneira? Quer um tutorial ensinando passo a passo como montar um crawler do zero? Deixe um comentário.

Publicado originalmente em DevLooper