独立站SEO优化之Robots.txt设置,TDK优化及固定链接

一切从我在百度输入 site:www.usdtx.com 查询百度收录我的网站页面开始，结果我发现一些惨不忍睹的事情。

1 . 首页分页被收录，链接不同

首页1链接：https://www.kuajingyuan.com

首页2链接: https://www.kuajingyuan.com/page/2

然而我网站首页内容没有分页，只有加载更多按钮，所以这俩链接都指向相同内容。需要在robots.txt里设置禁止首页分页收录。

2 . 同一篇文章，被收录两次，收录链接都不同

由于我以前没设置过固定链接，文章链接是以 ?p= 结尾，后来文章链接改成以%postname%结尾的，又被收录一次。

文章链接1 :

文章链接2 ：

但我记得写这篇文章时，固定链接好像已经设置了。所以我为求保险，在robots.txt里设置禁止收录带 ?p= 结尾的文章 (该设置效果有待观察，看是否对文章收录有影响).

3 . 被收录的文章默认描述不同

可以看到下图中第一篇文章把按钮里的文字都当作默认描述了，正常来讲是下图中第二篇文章这种抓取文章内容作为描述。

这个其实需要SEO插件来辅助，在写文章时填写TDK（Title标题,Description描述，Keywords关键词）

4 . 用户页面被收录

用户页面收录的链接都快赶上我的文章收录链接了，抓取这些页面毫无意义，还会影响排名。

下面进入SEO优化设置正文

一. Robots.txt 编写

Robots.txt 是配置搜索引擎蜘蛛抓取规则的文件，这里面涉及到一个抓取成本的问题，如果页面太多，蜘蛛就会忽略一些页面。这样势必造成一些想要被收录的页面没有及时收录，无关的页面却被收录了。像独立站后台的页面都可以禁止抓取，只抓取产品页面和博客页面就可以了。

登录宝塔面板在线管理界面 (关于宝塔面板请看 VPS服务器安装宝塔面板教程 ) ，点击左侧栏网站进入网站列表，点击”根目录”下面链接进入网站根目录。

然后点击上面按钮新建一个空白文件，名称为robots.txt . 选中这个文件，点击右边编辑按钮进入编辑模式。

以下为我的robots.txt 配置

# 所有搜索引擎蜘蛛抓取规则
User-agent:*
Disallow: /users/
Disallow: /?p=*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /articles/*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Disallow: /page/
Disallow: /category/*/page/
Disallow: /tags/*/page/