您可能注意到WordPress后台存在一个设置,上面写着“建议搜索引擎不索引本站点”。
或者,您可能正在寻找一种方法来对不受欢迎的访问者隐藏您的网站,并想知道这个小复选框是否足以使您的内容安全保密。
这个选项是什么意思?它到底对您的网站做了什么?为什么要避免依赖它——即使你试图隐藏你的内容?以下是答案和其他一些方法,可以为您的网站取消索引并阻止对某些页面的访问。
- 建议搜索引擎不索引本站点是什么意思?
- 如何检查您的网站是否开放给搜索引擎
- 如何阻止搜索引擎索引WordPress网站
- 禁止搜索引擎索引网站的其他方法
建议搜索引擎不索引本站点是什么意思?
您有没有想过搜索引擎如何索引您的网站并衡量您的搜索引擎优化?他们使用称为蜘蛛(也称为机器人或爬虫)的自动化程序来完成此操作。蜘蛛“爬行”网络,访问网站并记录您的所有内容。
Google使用它们来决定如何在搜索结果中对您的网站进行排名和放置,从您的文章中抓取搜索结果页面的简介,并将您的图片拉入Google图片。
当您勾选“建议搜索引擎不索引本站点”时,WordPress会修改您的robots.txt文件(该文件向蜘蛛提供有关如何抓取您的站点的说明)。它还可以在您网站的标题中添加一个元标记,告诉Google和其他搜索引擎不要将您整个网站上的任何内容编入索引。
这里的关键词是“劝阻”:搜索引擎没有义务满足这个要求,尤其是那些不使用谷歌使用的标准robots.txt语法的搜索引擎(你可以通过新手站长网提供的蜘蛛爬虫查询工具,查看哪些爬虫遵守或者不遵守robots协议)。
网络爬虫仍然能够找到您的站点,但正确配置的爬虫会读取您的robots.txt并离开而不将内容编入索引或显示在其搜索结果中。
过去,WordPress中的此选项并没有阻止Google在搜索结果中显示您的网站,只是将其内容编入索引。您仍然可以看到您的网页出现在搜索结果中,并显示错误,例如“此网页没有可用信息”或“由于网站的robots.txt,此结果的说明不可用”。
虽然谷歌没有索引页面,但他们也没有完全隐藏页面。这种异常导致人们能够访问他们不应该看到的页面。感谢WordPress 5.3 ,它现在可以正常工作,阻止网站的索引和列表。
您可以想象如果您不小心启用了这将如何破坏您的SEO。仅当您真的不希望任何人看到您的内容时才使用此选项至关重要 – 即便如此,它也可能不是您想要采取的唯一措施。
为什么您可能不想将您的网站编入索引
网站是为了让人们看到。您希望用户阅读您的文章、购买您的产品、消费您的内容——您为什么要故意阻止搜索引擎?您可能想要隐藏部分或全部网站的原因有几个。
- 您的网站正在开发中,尚未准备好让公众看到。
- 您使用WordPress作为内容管理系统,但希望将所述内容保密。
- 您正试图隐藏敏感信息。
- 您希望只有少数人通过链接或邀请访问您的网站,而不是通过公共搜索页面。
- 您想将某些内容放在付费专区或其他门之后,例如时事通讯独家文章。
- 您想切断旧的、过时的文章的流量。
- 您想防止在测试页面或重复内容上受到SEO处罚。
对于其中一些有更好的解决方案——使用适当的离线开发服务器,将您的文章设置为private ,或将它们置于密码后面——但是您可能想要取消部分或全部站点的索引是有正当理由的。
如何检查您的网站是否开放给搜索引擎
虽然您可能有正当理由对您的网站取消索引,但得知您无意中打开了此设置或无意中将其打开时,可能会感到震惊。如果您的流量为零并怀疑您的网站没有被编入索引,请按以下方法确认。
一种直接的方法是选中位于管理仪表盘主屏幕上的“概览”框。只需登录您的后端并选中该框即可。如果您看到“自动建议搜索引擎不抓取”,那么您就知道您已激活该设置。
WordPress仪表盘中的“概览”。
更可靠的方法是检查您的robots.txt 。您甚至无需登录您的站点即可在浏览器中轻松验证这一点。要检查robots.txt ,您需要做的就是将/robots.txt
添加到站点URL的末尾。例如: https://www.wbolt.com/robots.txt
如果您看到Disallow: /
则您的整个站点都被禁止索引。
robots.txt中的“Disallow”
如果您看到Disallow:
后跟URL路径,例如Disallow: /wp-admin/
,则表示任何带有/wp-admin/
路径的URL都不允许搜索引擎索引。这种结构对于某些页面来说是正常的,但是,例如,如果它拦截了/blog/
,其中包含您想要索引的页面,则可能会导致问题!
既然WordPress使用元标记而不是robots.txt来对您的网站取消索引,您还应该检查您的标题是否有修改。登录到您的后端并转到外观>主题编辑器。找到Theme Header (header.php)并查找以下代码:
在header.php中的noindex, nofollow
您还可以检查functions.php中的noindex
标记,因为可以通过此文件远程将代码插入到标头中。如果您在主题文件中找到此代码,则说明您的网站没有被Google编入索引。但与其手动删除它,不如先尝试关闭原始设置。
如何阻止搜索引擎索引WordPress网站
如果您想跳过额外的步骤并直接进入原始设置,这里是如何在WordPress中激活或停用“禁止搜索引擎”选项。
登录您的WordPress仪表盘并导航至设置 > 阅读 。查找带有标记为“对搜索引擎的可见性”的“建议搜索引擎不索引本站点”的复选框。
对搜索引擎的可见性复选框
如果您发现这已经打开并希望您的网站被编入索引,请取消选中它。如果您打算阻止您的网站被编入索引,请勾选它(并在某处记下备注,提醒您稍后将其关闭!)。
现在单击保存更改,您就可以开始了。重新索引您的网站或将其从搜索结果中拉出可能需要一些时间。
如果您的网站仍被取消索引,您还可以noindex
代码,或手动编辑robots.txt以删除“Disallow”标志。
所以这很简单,但是您应该避免使用此选项或至少不完全依赖它的一些原因是什么?
使用建议搜索引擎不索引本站点选项的缺点
看起来很简单——勾选一个复选框,没有人能够看到你的网站。这还不够好吗?为什么要避免单独使用此选项?
当您打开此设置或任何类似的选项时,它所做的只是在您的标题或robots.txt中添加一个标签。正如旧版本的WordPress仍然允许您的网站出现在搜索结果中所示,一个小故障或其他错误可能会导致人们看到您所谓的隐藏页面。
此外,完全取决于搜索引擎是否接受不抓取您网站的请求。主要的搜索引擎如Google和Bing通常都会,但并非所有搜索引擎都使用相同的robots.txt语法,并且并非所有爬行网络的蜘蛛都是由搜索引擎发出的。
例如,利用网络爬虫的一项服务是Wayback Machine 。如果您的内容被这样的服务编入索引,它就会永远在网络上。
Wayback Machine
您可能会认为仅仅因为您的全新网站没有指向它的链接,它就可以免受蜘蛛的侵害,但事实并非如此。存在于共享服务器上,发送带有指向您网站链接的电子邮件,甚至在浏览器(尤其是 Chrome)中访问您的网站都可能会打开您的网站,直到被抓取。
如果您想隐藏内容,那么添加参数并不是一个好主意,并希望它能成功。
让我们明确一点,如果您要取消索引的内容具有敏感或个人性质,则绝对不应依赖robots.txt或元标记来隐藏它。
最后但并非最不重要的一点是,此选项会将您的网站完全隐藏在搜索引擎中,而很多时候您只想对某些页面取消索引。
那么你应该做些什么来代替这种方法或与这种方法一起做呢?
禁止搜索引擎索引的其他方法
虽然WordPress提供的选项通常会起作用,但在某些情况下,使用其他隐藏内容的方法通常会更好。甚至Google自己也说不要使用robots.txt隐藏页面。
只要您的网站有域名并且位于面向公众的服务器上,就无法保证您的内容不会被爬虫看到或编入索引,除非您将其删除或将其隐藏在密码或登录要求后面。
也就是说,有什么更好的方法可以隐藏您的网站或其中的某些页面?
使用.htaccess拦截搜索引擎
虽然它的实现在功能上与简单地使用“阻止搜索引擎”选项相同,但您可能希望手动使用.htaccess来阻止对您网站的索引。
您需要使用FTP/SFTP程序来访问您的站点并打开.htaccess文件,该文件通常位于根文件夹(您打开站点时看到的第一个文件夹)或public_html中。将此代码添加到文件中并保存:
Header set X-Robots-Tag "noindex, nofollow"
注意:此方法仅适用于Apache服务器。 NGINX服务器,需要将此代码添加到.conf文件中,该文件可以在/etc/nginx/中找到(您可以在此处找到元标记实现的示例):
add_header X-Robots-Tag "noindex, nofollow";
密码保护敏感页面
如果您不希望搜索引擎索引某些文章或页面,隐藏它们的最佳方法是使用密码保护您的站点。这样,只有您和您想要的用户才能看到该内容。
幸运的是,此功能内置于WordPress中,因此无需安装任何插件。只需转到文章页面,然后单击要隐藏的页面。编辑您的页面并查找右侧可见性菜单。
如果您不使用古腾堡,则过程类似。您可以在“发布”框中找到相同的菜单。将可见性更改为受密码保护并输入密码,然后保存 – 您的内容现在对公众隐藏。
将文章设置为密码保护
如果您想用密码保护整个网站怎么办?每个页面都需要密码是不切实际的。
您可以使用内容限制插件(例如Password Protected )。请安装并激活它,然后前往设置 > Password Protected并启用Password Protected Status 。这为您提供了更好的控制,甚至允许您将某些IP地址列入白名单。
将文章设置为密码保护
通过WordPress插件来实现
当WordPress的默认功能不够用时,一个好的插件通常可以解决您的问题。
例如,如果您想对特定页面而不是整个站点取消索引,Yoast可以使用此选项。
在Yoast SEO中,您可以打开要隐藏的页面,然后在“Advanced”选项卡下查找选项:Allow search engines to show this Post in search results? 将其更改为No,页面将被隐藏。
Yoast SEO设置
您应该注意,这两种方法都依赖与WordPress阻止搜索引擎索引的默认选项相同的方法,并且存在相同的缺陷。某些搜索引擎可能不会满足您的要求。如果您真的想完全隐藏此内容,则需要使用其他方法。
另一种解决方案是支付您的内容或将其隐藏在所需的登录名后面。 Simple Membership或Ultimate Member插件可以帮助您设置免费或付费的会员内容。
Simple Membership插件
使用临时站点进行测试
在处理测试项目或进行中的网站时,保持它们隐藏的最佳选择是使用暂存或开发站点。这些网站是私有的,通常托管在本地机器上,只有您和您允许的其他人才能访问。
许多Web 主机将为您提供易于部署的临时站点,并允许您在准备好时将它们推送到您的公共服务器。
如果您无法访问创建临时站点的简单方法, WP STAGING插件可以帮助您复制安装并将其移动到文件夹中以便于访问。
使用Google Search Console暂时隐藏网站
Google Search Console是一项服务,可让您声明对网站的所有权。随之而来的是能够暂时阻止Google将某些页面编入索引。这种方法有几个问题:它是Google独有的(所以像 Bing 这样的网站不会受到影响)并且它只能持续6个月。
但是,如果您想要一种快速简便的方法来暂时将您的内容从Google搜索结果中删除,这就是实现的方法。
如果您还没有,则需要将您的网站添加到Google Search Console 。完成后,打开Removals并选择Temporary Removals > New Request 。然后单击仅删除此 URL并链接要隐藏的页面。
这是一种更可靠的内容拦截方式,但同样,它仅适用于Google,并且只能持续 6 个月。
小结
您可能想要隐藏站点上的内容的原因有很多,但依靠“建议搜索引擎不索引本站点”选项并不是确保此类内容不被看到的最佳方法。
除非您想在网络上隐藏您的整个网站,否则永远不要单击此选项,因为如果不小心切换,它会对您的SEO造成巨大损害。
即使您确实想隐藏您的站点,此默认选项也是一种不可靠的方法。它应该与密码保护或其他阻止配对,尤其是在您处理敏感内容时。
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:http://www.cnzhanzhang.com/6518.html