「学校専用検索システム構築のための
WWWサーチロボット訪問について」

大阪教育大学越桐、東金女子高校高橋、福島県教育庁渡部、平野小学校石原、
千葉大附属中芳賀の、学校専用検索システム自主研究グループでは、本年度
４月に学校専用の全文検索システム（学校ホームページに限定したサーチエ
ンジン）を試験的に構築し、評価版として学校関係者に仮公開しました。
　　　　お問い合わせ：　kensaku@jr.chiba-u.ac.jp
　　　　学校検索評価版：http://st.jr.chiba-u.ac.jp/readme.txt

評価版では多くの方にお試しいただき、大変好評を得ております。
そこで、これまでの評価版を正式版として一般公開するためシステムを再構築
いたします。正式版では、大阪教育大学の教育リストに登録されている小中高
等全学校のホームページの内容を検索できるものにする予定です。
（評価版では2800校18万URLの検索システムです）
（7/14/98版では3975組織 30万URLの検索システムです）


以上のようなシステムを一般公開する予定でおりますが、みなさまの学校にお
いて公開されている全てのHTML書類、Text書類を、サーチロボットと呼ばれる
WWW自動巡回プログラムによって１つのサーバ上（千葉大附属中UNIXサーバ）
に自動取得し、データベースを作成することになります。また今後３ヶ月に１
度程度、最新のホームページを取得するため，同じくサーチロボットを訪問さ
せていただく予定でいます。

このサーチロボットを今週より皆さまの学校のWWWサーバに訪問させる予定で
おりますので、お知らせいたします。
=========================================================================

１.【サーチロボット，訪問の時間，取得書類】

・サーチロボット
ブラウザを使用せずに，自動的にWWWのページを取得するプログラムを
サーチロボットプログラムと言います。今回は，千葉大附属中UNIXサ
ーバによりサーチロボットプログラムを自動運転させます。

httpdのagent_logには，

　『　SchoolSearch/2.0 [Simple&Safety Gakko Kensaku Robot] - 
　　　　　　　　　　　　　　　(Engine; sagasu.jr.chiba-u.ac.jp)　』

とのアクセス履歴が残ります。
また，access_logには，sky.jr.chiba-u.ac.jp(133.82.98.1)からのアク
セス履歴が残ります。なお，今回取得するものは，HTML,TEXT書類に限定
して取得します。GIF,JPEGなど画像，CLASS,APLETなどJAVAソフト，DOC,
JXWなどワープロ書類については，一切＊取得しません＊。
また，取得時間は，夕方以降早朝までの夜間に限定します。
＊土日・休日を除いて日中は実行しない予定です＊。

前回のサーチロボット派遣時では、例えば１００校プロジェクト校では、
１校平均1Mbyte（最大10Mbyte程度)の書類を取得、１校平均5分程度（最
大１時間程度）でした。


2.【サーチロボットの部分的なアクセス禁止を設定することができます】

・robots.txt
校内限定のページなど、WWWサーバに保存している全ページのうち一部のペ
ージのみをサーチロボットに取得させないように、制限をかけることがで
きます。こちらから派遣するサーチロボットプログラムは、ロボット規約
に則り、robots.txtというファイルに記されたアクセス禁止条件を遵守し
ます。
　たとえば、www.school.city.pref.jp/himitsu/というディレクトリの情
報とnaibu.htmlの書類へのサーチロボットの閲覧を拒否したい場合、
http://www.school.city.pref.jp/robots.txt
というURLでアクセスできるrobots.txtという名前のテキスト書類ファイル
に
　===  ここから  ====
	#robots.txt for www.school.city.pref.jp
	User-agent: *
	Disallow: /himitsu/    #秘密のディレクトリ
	Disallow: /naibu.html  #内部利用限定書類
  ===  ここまで  ====

のように記述したものを御用意ください。（Disallow:行は複数行指定できます）
また、プロバイダの学校でも、自分のホームページの先頭のディレクトリにrobots.txt
を用意することで、同じく制限が可能です。

サーチロボットについての詳細は、たとえば
http://senrigan.ascii.co.jp/r/coop.html
http://fml.ec.tmit.ac.jp/robofaq-j.html
の説明をご覧いただけると幸いです。