SEO | クローラーのインデックスを制御

検索エンジンのクローラーにインデックスされたくないページの制御方法。
メタタグ、robots.txt、rel属性による制御があり適切な方法を選択することができます。

メタタグの指定

HTML内の<head>と</head>の間に記入するメタタグを記述することでクローラーを制御できます

・現ページおよびリンク先を拒否

<meta name="robots" content="noindex,nofollow">

・現ページは拒否、リンク先は許可

<meta name="robots" content="noindex,follow">

・現ページは許可、リンク先を拒否

<meta name="robots" content="index,nofollow">

・現ページおよびリンク先を許可(※デフォルトで記述無しと同じになります)

<meta name="robots" content="index,follow">

・キャッシュを拒否

<meta name="robots" content="noarchive">

・紹介文を非表示

<meta name="robots" content="nosnippet">

・画像収集を拒否

<meta name="Googlebot-Image" content="noindex,nofollow"> 
<meta name="Yahoo-MMCrawler" content="noindex,nofollow">
<meta name="psbot" content="noindex,nofollow"> 

アンカータグのrel属性を使った指定

・リンク先のインデックス化を拒否

<a href=http://www.sample.com/ rel="nofollow">リンク先</a>