Netarkivet
netarkivet.dk
Vi har ansvaret for at indsamle og bevare den danske del af internettet som en del af pligtafleveringsloven. Målet er blandt andet at sikre, at man i fremtiden kan bruge materialet i forskningsøjemed.

Virker da rimeligt sejt. Fra hvad jeg kan læse bruger de crawleren en udviklet af internet archive. Desværre er dataen kun tilgængelig for forskning men det er da rart at vide at tingene bliver bevaret for eftertiden. Det kan være @sortekanin kan tjekke om deres crawler har været forbi feddit.dk ;) den har user agenten

Mozilla / 5.0 (compatible; kb.dk_bot; heritrix / 3.4.0 + https: //www.kb.dk/netarkivindsamling) Firefox / 57
  • @SorteKaninMA
    2•8 months ago

    Efter kommunikation med dem om problemet, var min opfattelse at de ikke anede hvad de foretog sig

    Det kan godt være det er en fordom fra min side men jeg tror desværre det er sådan i meget offentligt software/IT. Det offentlige betaler jo ikke nok til at få gode folk fra den branche ind.