【Adsense】ads.txtエラー！robots.txtで解決した事例を紹介

2024年12月26日

「ads.txt ファイルが見つかりません」
「広告クローラのエラーが生じており、収益の損失が発生する可能性があります。」

こんな恐ろしいエラーメッセージをAdsenseの管理画面で見たことはありませんか？
先日、このWebサイト「Promapedia」でこのエラーに遭遇し、かなり焦りました。

原因を調べてみると、どうやら robots.txt というファイルに問題があるようでした。

「robots.txt？なにそれ？」

そう思った方もいるかもしれません。

この記事では、Promapedia運営者の体験を元に、Adsenseのクローラエラー「ads.txtファイルにアクセスできません」の原因と解決策を、初心者の方にもわかりやすく解説します。

同じエラーで困っている方は、ぜひ参考にしてください。

1. Adsenseでクローラエラー発生！
2. エラーの原因はrobots.txt？
- 2.1. robots.txt？
3. robots.txtを作成してみた
4. robots.txt設置後、エラーは無事解消！
5. まとめ
6. おわりに

Adsenseでクローラエラー発生！

[画像：Adsense のサイトの管理の画面] — Adsense の「サイトの管理」の画面。エラー中は赤枠部分「ads.txtのステータス」が「不明」になっていた。

事の発端は、２週間ほど前にAdsenseの管理画面で表示されたエラー通知でした。

「ads.txt ファイルが見つかりません」という内容で、Adsense の「サイトの管理」の画面で確認できるads.txtのステータスが「不明」になっていました。

ads.txtはAdsenseが広告主を識別している重要なファイルで、サイトの収益に影響するため、かなり焦りました。

さっそく解決方法を探し、Adsenseのサポートページで紹介されている以下のことを試しました。

URLでads.txtを確認
ファイルの権限の確認

しかし、URLからads.txtを開いても問題はなく、ファイルの権限を確認しても、やはり問題はありませんでした。
もともとads.txtは長く更新しておらず、これまで何の問題もなかったので、トラブルシューティングは難航しました。

エラーの原因はrobots.txt？

「ads.txt」のエラーを解消できずに焦っていると、数日後、追い打ちをかけるように「広告クローラのエラー」まで発生しました。

Adsenseからの「収益の損失が発生する可能性があります。」というメッセージを見て、不安はさらに増大しました。

[画像：Adsense のポリシーセンターの画面] — Adsense のポリシーセンターの画面

Adsenseのポリシーセンターの画面から、落ち着いてエラーの内容を確認してみると、「クローラ: robots.txt ファイルにアクセスできません」と表示されていました。

robots.txt？

robots.txtとは、クローラ（Webサイトを巡回して情報を収集するプログラム）に対する指示を記述したファイルのことです。

クローラは、Webサイトの情報を収集する際に、まずrobots.txtを参照します。

そして、robots.txtに書かれた指示に従って、サイトのどのページにアクセスするかを判断します。

Promapediaにはrobots.txtがなかったので、クローラがサイトにアクセスできず、エラーが発生したようです。

robots.txtを作成してみた

robots.txtはWebサイトにかならずしもアップしなければならないファイルではないと言われています。
なぜなら、robots.txtはクローラにインデックスさせたくないページがある場合や、アクセスを拒否したいページがある時に使用するからです。

Promapediaはアクセスの管理は別の方法でしているため、robots.txtに特別記述する内容はありませんでした。

しかし、「robots.txt ファイルにアクセスできません」というエラーが発生している以上、robots.txtファイルを作成しなければなりません。

そこで、今回robots.txtには下記の内容を記述しました。

User-agent: *
Disallow:
Sitemap: サイトマップのURL

上のrobots.txtの内容は以下のとおりです。

User-agent: クローラの名前を指定します。* はすべてのクローラを意味します。
Disallow: クローラにアクセスを許可しないページを指定します。
Sitemap: サイトマップのURLを指定します。

つまり、「クローラをすべて受け入れます」「クローラを拒否するページはありません」という意味の内容をrobots.txtに書き込み、サイトのルートディレクトリにアップロードしました。

ルートディレクトリとは？

ルートディレクトリとは、ウェブサイトのファイルが保存されている場所の、一番上の階層のことです。
家の住所で例えると、国や都道府県のような一番大きな範囲を指します。
ウェブサイトのファイルは、このルートディレクトリの下に、フォルダを作って整理されています。
robots.txtを置く場合は、このルートディレクトリに置く必要があります。

ただし、このルートディレクトリがサーバー内のどこにあるかは、Webサイトごとに異なるため、もし不安な方は、会社の情報システム部に質問したり、周囲の専門家に問い合わせしたりしてください。

もちろん、Promapediaを運営しているSSAITSに質問することも可能です！

今回、せっかくrobots.txtを作成するならサイトマップの場所もクローラに明示しようと、サイトマップのURLを含めましたが、必須の項目ではありません。