Gastronomer Gastronomer PlaneraHandlaReceptStöd vid spisenMatkreatörer

Gastronomers robotar

Gastronomer är en tjänst för recept och inköpslistor. Två robotar besöker andra webbplatser åt oss: Gastronomer-prisbot och GastronomerBot.

Gastronomer-prisbot

Gastronomer-prisbot hämtar priser på mat och dryck, så att vi kan jämföra vad en inköpslista kostar i olika butiker.

Det här läser den

  • Publika priser på mat och dryck hos Willys och ICA, samma sidor som vem som helst ser utan att logga in.
  • En gång per dygn, på natten eller tidigt på morgonen.

Så beter den sig

  • Följer robots.txt, även Crawl-delay och Visit-time.
  • Väntar minst 11 sekunder mellan två anrop.
  • Presenterar sig som Gastronomer-prisbot, med en länk hit.
  • Loggar aldrig in, sparar inga kakor och lägger inget i en varukorg.
  • Hämtar inga personuppgifter.

Den stannar vid en spärr

Svarar en webbplats att den inte vill ha besök, till exempel med 403 eller 429, stannar hämtningen direkt. Vi stänger av den för webbplatsen och försöker inte igen förrän vi har pratat med er. Vi går aldrig runt en spärr.

Begränsa eller stoppa den

Skriv det här i er robots.txt, så läser den ingenting hos er från nästa körning:

User-agent: Gastronomer-prisbot
Disallow: /

Crawl-delay och Visit-time i samma grupp följs också.

GastronomerBot

GastronomerBot läser en handfull matsajter och trendsidor som vi valt ut, för att se vad som är nytt. Den sparar bara rubriken och adressen, aldrig text eller bilder.

Det här läser den

  • Publika sidor, flöden och sitemaps, samma som vem som helst ser utan att logga in.
  • En gång i veckan, och när vi lägger till en ny källa.

Så beter den sig

  • Följer robots.txt, även Crawl-delay och Visit-time.
  • Väntar minst 3 sekunder mellan två anrop till samma webbplats.
  • Presenterar sig som GastronomerBot, med en länk hit.
  • Loggar aldrig in, sparar inga kakor och hämtar inga personuppgifter.
  • Svarar en webbplats att den inte vill ha besök, till exempel med 403 eller 429, slutar den läsa där och försöker inte igen av sig själv.

Begränsa eller stoppa den

Skriv det här i er robots.txt, så läser den ingenting hos er från nästa gång:

User-agent: GastronomerBot
Disallow: /

Kontakt

Frågor eller önskemål om robotarna: hej@gastronomer.se.