行儀の悪い検索ロボット(クローラ)のアクセスをユーザエージェントを使って制限する mod_rewriteルールとrobots.txtを簡単に生成できるツールを作ってみた。
タグ: mod_rewrite
「WWWあり」と「WWWなし」を統一する
サーバの設定の事情で、http://www.example.comとhttp://example.comで同じコンテンツを表示するようになっていることがあります。この場合、検索エンジンから複製コンテンツということでマーク… 続きを読む 「WWWあり」と「WWWなし」を統一する
画像ファイルへのホットリンクを禁止する
mod_rewriteを使って、画像ファイルやCSS、PDFなどへのホットリンク(外部サイトからの直接呼び出し)を禁止する方法です。 例えば、拡張子が「css、gif、jpg、jpeg、js、pdf、png、ttf、da… 続きを読む 画像ファイルへのホットリンクを禁止する