СВОБОДОМЫСЛИЕ
/ (ГОСУДАРСТВО, ИНФ. ТЕХНОЛОГИИ) / Личные заметки / .gov robots.txt
.gov robots.txt
29/03/09 14:52  © haz
Недавно вспомнил, как я ранее развлекался. Думаю, многие знают, о назначении файлика robots.txt - там указывается, что поисковикам индексировать ненадо. Так вот, идем на usasearch.gov или google.com/unclesam, и вбиваем в сёрч кейвуд robots.txt. А далее, если иметь терпение, можно найти довольно забавные вещи :)

Года 2 назад, был такой приватный проект cup.su (Cyber Undergroud Project), общими усилиями нашли немало интересного - базы работников госструктур с именами и телефонами, даже фотки каких-то военных баз :) Где-то это добро у меня еще валяется..

Вот сегодня, решил немного погуглить, и уже 2 первых линка оказались забавными:

United States Department of Justice usdoj.gov/robots.txt
Disallow: /civil/frauds/

министерство юстиции прячет в своих нёдрах наебки для цивилов? :)

The Website of Republicans in Congress gop.gov/robots.txt
Disallow: /heartland/stories #stories from the Heartland iFrame

республиканцы по линку gop.gov/heartland типа хотят знать вашу слезную историю. Тем не менее, раз они запрещают их индексацию, стало быть пропиарить свое горе на их сайте для общественности не удастся. Напрашиваются выводы, что насрать республиканцам на вас и ваше горе :)

можно тут в коментах делится своими находками, очень немало гос сайтов хранят там свои тайны :)
ВЫБОРКА И КОММЕНТАРИИ
 выборка (0) | обсуждения (2)
(1) Re: .gov robots.txt
30/03/09 00:07  © haz
http://www.onr.navy.mil/sci_tech/32/321/mcg3nest06/070129_draft_report.pdf
Во нашел кую-то прикольную штуку, может кому будет интересно. Черновик какого-то репорта "морских кошечек" :)

http://www.onr.navy.mil/robots.txt - вообще там много интересного.
Полазил немного по интернальным каталогам, пока не увидел страшные надписи типа US DEPARTMENT OF DEFENSE WARNING STATEMENT с обещаниями надрать зад в случае чего, увидел маты что у меня нету сертификата, и вспомнил что я ж сука без впн/соксов полез :)

Короче интересная развлекуха, всем советую, гос тайну врядли найдете, хотя кто его знает, может где и профтыкали закрыть админку и т.д., людской фактор, он сам знаете какой ненадежный :)
(2) Re: .gov robots.txt
30/03/09 00:47  © haz
даже фотки каких-то военных баз :) Где-то это добро у меня еще валяется..

раз, два, и три

что интересно, теперь туда Forbidden, You don't have permission to access...
Ex.time (sec): 0.02562