网站进行改版或是迁移，或者对于某些内容涉及敏感话题进行删除等，都会造成网站的页面 404 ，无法正常访问链接。如果知道某个链接是 404 ，那还比较简单，直接提交给搜索引擎，比如百度站长平台的死链提交。但是，如果因某些因素造成的 404 死链，导致搜索引擎蜘蛛爬虫大量爬取 404 链接，那么会造成网站运营的不便。如何减少这种情况的产生呢？通过 Shell 脚本分析网站日志可以获得 404 链接。 Shell 脚本代码： #!/bin/bash #Desc: Death Chain File Script #Auth…

近来总感觉网站被恶意访问，造成宽带和服务器拖慢，于是决定研究一下之前看到关于分析 Nginx 网站日志，获取频繁访问的 IP 进行自动屏蔽的 Shell 脚本。 一、工作原理 Nginx 配置中，可以通过 allow , deny ip 来进行权限屏蔽。因此，需要创建一个 blockip.conf ,将屏蔽的 IP 保存在里面，并加载至 Nginx 配置中。例子： allow 1.1.1.1; allow 1.1.1.2; deny all; 全站屏蔽：include blockip.conf; 放到 http {…

通过 Shell 脚本分析网站日志，统计访问数据并发送至指定邮箱。 统计项目包括： 1、总访问量 2、总带宽 3、独立访客量 4、访问IP统计 5、访问url统计 6、来源统计 7、404统计 8、搜索引擎访问统计(谷歌，百度) 9、搜索引擎来源统计(谷歌，百度) Shell 脚本如下： #!/bin/bash log_path=/home/www.centos.bz/log/access.log.1 domain="centos.bz" email="log@centos.bz" maketime=`date +…

LNMPA 搭建服务器环境软件，有时候不知道是什么原因，会导致无法连接数据库的问题，网站无法正常访问，影响用户体验和蜘蛛爬虫。发现的时候，已经不知道停止了多久，而且只能手动重启。经过翻墙谷歌搜索，找到了一个博主写的Ubuntu Linux下定时监测MySQL进程终止时自动重启的方法，测试成功。至于是否有效，还需要后面做监测。 测试环境：CentOS 7.x LNMPA 编写Shell脚本 首先，我们要编写一个shell脚本，脚本主要执行的逻辑如下： 显示mysqld进程状态，如果判断进程未在运行，那么输出日志到文件…

学会用shell分析日志只要一上午！！！ 很多地方分享了日志分析的shell脚本，但是基本没说每个命令符的具体含义，学习成本还是很高，在这里总结下，方便大家快速入门。 1、在Windows下的用户要使用shell命令符的话请先安装cygwin，安装方法自行Google（搜技术问题请使用google，百度搜不到活该） 2、下面粗略介绍下SEO日志分析常用的命令符用法，需要详细了解每个命令符请使用Google。 less 文件名 查看文件内容 按“q” 退出 cat 文件名 打开文件，可以多次打开几个文件 | cat …