网站进行改版或是迁移,或者对于某些内容涉及敏感话题进行删除等,都会造成网站的页面 404 ,无法正常访问链接。如果知道某个链接是 404 ,那还比较简单,直接提交给搜索引擎,比如百度站长平台的死链提交。但是,如果因某些因素造成的 404 死链,导致搜索引擎蜘蛛爬虫大量爬取 404 链接,那么会造成网站运营的不便。如何减少这种情况的产生呢?通过 Shell 脚本分析网站日志可以获得 404 链接。 Shell 脚本代码: #!/bin/bash #Desc: Death Chain File Script #Auth…

2017年8月9日 5条评论 1252点热度 2人点赞 WPTalk 阅读全文

近来总感觉网站被恶意访问,造成宽带和服务器拖慢,于是决定研究一下之前看到关于分析 Nginx 网站日志,获取频繁访问的 IP 进行自动屏蔽的 Shell 脚本。 一、工作原理 Nginx 配置中,可以通过 allow , deny ip 来进行权限屏蔽。因此,需要创建一个 blockip.conf ,将屏蔽的 IP 保存在里面,并加载至 Nginx 配置中。例子: allow 1.1.1.1; allow 1.1.1.2; deny all; 全站屏蔽:include blockip.conf; 放到 http {…

2017年8月9日 2条评论 2249点热度 0人点赞 WPTalk 阅读全文

通过 Shell 脚本分析网站日志,统计访问数据并发送至指定邮箱。 统计项目包括: 1、总访问量 2、总带宽 3、独立访客量 4、访问IP统计 5、访问url统计 6、来源统计 7、404统计 8、搜索引擎访问统计(谷歌,百度) 9、搜索引擎来源统计(谷歌,百度) Shell 脚本如下: #!/bin/bash log_path=/home/www.centos.bz/log/access.log.1 domain="centos.bz" email="log@centos.bz" maketime=`date +…

2017年8月7日 0条评论 1191点热度 0人点赞 WPTalk 阅读全文

LNMPA 搭建服务器环境软件,有时候不知道是什么原因,会导致无法连接数据库的问题,网站无法正常访问,影响用户体验和蜘蛛爬虫。发现的时候,已经不知道停止了多久,而且只能手动重启。经过翻墙谷歌搜索,找到了一个博主写的Ubuntu Linux下定时监测MySQL进程终止时自动重启的方法,测试成功。至于是否有效,还需要后面做监测。 测试环境:CentOS 7.x LNMPA 编写Shell脚本 首先,我们要编写一个shell脚本,脚本主要执行的逻辑如下: 显示mysqld进程状态,如果判断进程未在运行,那么输出日志到文件…

2017年2月16日 0条评论 1390点热度 0人点赞 WPTalk 阅读全文

学会用shell分析日志只要一上午!!! 很多地方分享了日志分析的shell脚本,但是基本没说每个命令符的具体含义,学习成本还是很高,在这里总结下,方便大家快速入门。 1、在Windows下的用户要使用shell命令符的话请先安装cygwin,安装方法自行Google(搜技术问题请使用google,百度搜不到活该) 2、下面粗略介绍下SEO日志分析常用的命令符用法,需要详细了解每个命令符请使用Google。 less 文件名 查看文件内容 按“q” 退出 cat 文件名 打开文件,可以多次打开几个文件 | cat …

2016年10月29日 0条评论 1016点热度 0人点赞 WPTalk 阅读全文