ウェブデザイン基礎講座

    フォトショップ講座

    HTML&CSS講座

    グラフィック講座

    Flash講座

    3D講座

    ウェブプログラミング講座

    サイトメンテナンス講座

    サイト紹介

    スペシャルリンク

サイト内検索

 メールマガジン

テンプレートモンスター
ホームページテンプレート

Free Templates Online JP
無料ホームページテンプレート
Free Templates Online JP

株式会社ネットオン
採用Webマーケティング
indeed広告代理店

海外 SEO対策 トラッキングツール
海外 SEO対策
ランキングチェックツール

Rank Tracker

テクニック

Homeウェブデザイン基礎講座 > robots.txtファイルの適切な使い方

robots.txtファイルの適切な使い方

投稿日:2006年9月12日   レベル:中級    ソフトウェア:−



robotsファイルの適切な使い方ウェブサイトを最適化するときに、ほとんどのウェブマスターはrobots.txtファイルの使用を考慮していません。これはサイトにとってとても重要なファイルです。これの有無によってスパイダーやクローラーがサイトを認識できるかどうか決まります。フォルダの外に配置しておくことでとても助けになります。

ここにrobots.txtファイルに入れ込むことができる変数を挙げてみます。

1)User-agent:ここには、特定のロボットに対してのアクセスポリシーを記述します。もしくは”*”で全てのロボットに対して有効、となります。下に上げる例でさらに説明します。

2)Disallow:ここには、クローラーが入らないファイルやフォルダを特定します。

3)#はコメント数を表示します。


例として、redball.comのrobots.txtファイルを紹介します。

User-agent: *
Disallow:

ここでは、全てのスパイダーが全てのコンテンツにおいて許可されています。

別の例では

User-agent: *
Disallow: /cgi-bin/

全てのスパイダーからcgi-binディレクトリをブロックしています。

User-agent: googlebot
Disallow:

User-agent: *
Disallow: /admin.php
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /stats

ここでは、googlerobotに対しては全て許可していますが、他のスパイダーには、index、admin.php、cgi-bin、admin、statsディレクトリへの侵入を禁止しています。ひとつのファイルadmin.phpについても設定できるのです


引用:Web Design Library著者:Jimmy Whisenhunt 翻訳:atuk




スポンサードリンク

コメント

ランダム記事5件

2016年5月の人気記事ランキング