かくれが

検索除けとクローラー拒否でmetaタグとrobots.txtを併用しない方がよいと聞きました。
robots.txtがbotを遮断してmetaタグが読めなくなってしまうのだとか。
サイトの方はワンポチで検索除けできるのと全体でクローラー拒否してくださってるので深く考えてなかったのですが、ここでは自分で設定しなきゃいけなかったので何も考えず併用していました！　危ない！
とりあえずrobots.txtは削除して、.htaccessでクローラー拒否してみました。複雑ですね。
わかったような顔して書いてますが5割くらいしかわかってません。
これからサイト作る方は参考にしてみてください（？）