robots.awk
BEGIN}t=0;
$(NF-n) ~ /.*ia_archiver.*/ }
$(NF-n) ~ /.*Semager.*/ }
$(NF-n) ~ /.*Yanga.*/ }
$(NF-n) ~ /.*WebDataCentreBot.*/ }
$(NF-n) ~ /.*flatlandbot.*/ }
$(NF-n) ~ /.*VoilaBot.*/ }
$(NF-n) ~ /.*DomainCrawler.*/ }
$(NF-n) ~ /.*LinguaBot.*/ }
$(NF-n) ~ /.*Speedy Spider.*/ }
$(NF-n) ~ /.*KaloogaBot.*/ }
$(NF-n) ~ /.*psbot.*/ }
$(NF-n) ~ /.*Nutch.*/ }
$(NF-n) ~ /.*tagsdir.org.*/ }
$(NF-n) ~ /.*Robozilla.*/ }
$(NF-n) ~ /.*Yeti.*/ }
$(NF-n) ~ /.*nrsbot.*/ }
$(NF-n) ~ /.*wikiwix-bot.*/ }
$(NF-n) ~ /.*Slurp.*/ }
$(NF-n) ~ /.*SurveyBot.*/ }
$(NF-n) ~ /.*Googlebot.*/ }
$(NF-n) ~ /.*msnbot.*/ }
$(NF-n) ~ /.*bot.php.*/ }
$(NF-n) ~ /.*Twiceler.*/ }
$(NF-n) ~ /.*exabot.*/ }
$(NF-n) ~ /.*ScoutJet.*/ }
$(NF-n) ~ /.*Sogou.*/ }
$(NF-n) ~ /.*EmailSearch.*/ }
$(NF-n) ~ /.*oozbot.*/ }
$(NF-n) ~ /.*Gigabot.*/ }
$(NF-n) ~ /.*EmailSearch.*/ }
$(NF-n) ~ /.*PlantyNet_WebRobot.*/ }
$(NF-n) ~ /.*Yandex.*/ }
$(NF-n) ~ /.*robots.txt.*/ }
$(NF-n) ~ /.*/ && t == 0 }
