Google AdSense 提示 ads.txt 问题的修正方法

最近登录 Google AdSense 时，总是显示一条“有收益受损风险 - 您需要纠正 ads.txt 文件存在的一些问题，以免严重影响您的收入。”的提示，可我明明已经在网站根目录下上传了 ads.txt 文件，而且可以通过在网址末尾添加 /ads.txt 来访问该文件的，文件内容也是正确的，更新了几次 ads.txt  文件，问题始终不能解决。

分析 Google AdSense 出现这个提示的原因，根本来说是 Goolge AdSense 的爬虫无法抓取到我们站点根目录下的 ads.txt 文件。那么网站根目录下明明有这个 ads.txt 文件，为啥 Google  AdSense 依旧这么“顽固”的提示这个问题呢？

这个问题困扰了很久，经过多方排查，终于解决了。问题的关键有两个方面：

1、访问的网址不对

Google AdSense 要求能通过在网址末尾添加 /ads.txt 来访问该文件，网址的形式是 domain.com/ads.txt 这样。注意，网址中是不加 www 的，domain.com 才是主域名。如果你的网站是需要添加 www 才能访问的话，那你就需要在 DNS 解析中新增加个 @ 值的 A 记录到服务器的 IP 地址，使得 domain.com/ads.txt 能正常访问。

有些网站从 SEO 优化考虑，domain.com 访问是 301 重定向跳转到 www.domain.com 网址的。对此， Google AdSense 的解释是，请检查您的网址。是否需要添加“www”才能访问该网站？如果答案是“是”，则：

您需要设置从 domain.com/ads.txt 到 www.domain.com/ads.txt 的重定向。

重定向相当常见。Ads.txt 的抓取将从根网域开始，而根网域需要从 ads.txt 文件返回或重定向到 ads.txt 文件。

www.domain.com/ads.txt 上的 ads.txt 文件只有在 domain.com/ads.txt 重定向到它时才会被抓取。

如果你的网站使用了 CDN 服务，那么在做域名 DNS 解析时，要记得给主域名（@）和二级域名（www）都做上解析记录。

我的网站是自动跳转到 www.domain.com 访问的，出于对重定向的理解，我在所使用的上海云盾 CDN 安全加速配置中添加了一条重定向规则。WEB安全加速 - 控制台 - 精准访问控制 - 新增规则 - 重定向，内容填写如图所示。

2、Goolge 爬虫无法访问

我们看到 Google AdSense 显示 Ads.txt 状态为“未找到”，也就是说 Goolge 爬虫无法访问 ads.txt 文件，如果你的网站访问是正常的，那么最大可能是你禁止了 Google 爬虫来抓取你的 ads.txt 文件。

排查一：网站 robots.txt 文件中是否禁止访问 ads.txt 文件。

robots.txt 文件包含一组指令，用于指示网页抓取工具（也称为“蜘蛛”程序或漫游器）可以访问或不能访问网站上的哪些网页或文件。如果网站的 robots.txt 文件包含特定指令，这些抓取工具可能会忽略 ads.txt 文件。

如果打开 domain.com/robots.txt 后，你看到：

User-agent: *
Disallow: /ads

此 robots.txt 文件中的指令会指示抓取工具忽略 ads.txt 文件。

如果打开 domain.com/robots.txt 后，你看到：

User-agent: Googlebot
Disallow: /

此 robots.txt 文件中的指令会指示禁止 Google 爬虫访问网站。

我们可以通过更新 robots.txt 文件，以向抓取工具授予对 ads.txt 文件的访问权限。请尝试以下方法之一（其他方法也可行）：

方法 1：更改指令以专门允许访问 ads.txt：

User-agent: *
Allow: /ads.txt
Disallow: /ads

方法 2：从 Disallow 中移除“/”，允许 Google 爬虫访问：

User-agent: Googlebot
Disallow:

方法 3：允许 Googlebot 访问你的 ads.txt

User-agent: Googlebot
Allow: /ads.txt

注意：此方法取决于抓取工具是否支持使用 Allow robots.txt 指令。对 robots.txt 文件做出的任何更改，可能要等到抓取工具再次尝试访问你的网站时，才会反映出来。

排查二：是否禁止国外 IP 访问你的网站

我逐一排查以上可能因素后，仍然出现“立即修正”提示，百思不得其解时，突然发现我在 CDN 的 WEB安全加速 - 控制台 - 精准访问控制 中设置了“区域屏蔽”的规则，因为曾遇到过一次国外 IP 的网络攻击，考虑到自己网站的受众是国内中文用户，所以就设置了不允许国外 IP 访问网站的规则。

而 Goolge 爬虫是通过国外 IP 地址访问的，我的这个访问限制规则自然把它给屏蔽了。当我取消了这个规则限制后，问题终于得以解决。