Sec Hotspot 首页  排行榜  收藏本站  技术博客  RSS
统计信息
已收录文章数量:18849 篇
已收录公众号数量:91 个
本站文章为爬虫采集,如有侵权请告知
已收录微信公众号
阿里云先知 网安寻路人 网信中国 区块链大本营 白说区块链 区块链投资家 区块链官微 区块链铅笔Blockchain HACK学习呀 二道情报贩子 合天智汇 小白帽学习之路 小米安全中心 弥天安全实验室 SAINTSEC SecPulse安全脉搏 TideSec安全团队 360安全卫士 游侠安全网 计算机与网络安全 安全祖师爷 安全学习那些事 腾讯安全联合实验室 黑客技术与网络安全 安全圈 腾讯御见威胁情报中心 Python开发者 Python之禅 编程派 Python那些事 Python程序员 安全威胁情报 吾爱破解论坛 行长叠报 安在 i春秋 嘶吼专业版 E安全 MottoIN 网信防务 网安杂谈 数说安全 互联网安全内参 漏洞战争 安全分析与研究 邑安全 ChaMd5安全团队 天融信阿尔法实验室 安全牛 SecWiki 安全学术圈 信安之路 漏洞感知 浅黑科技 Secquan圈子社区 奇安信集团 奇安信 CERT 国舜股份 雷神众测 盘古实验室 美团安全应急响应中心 瓜子安全应急响应中心 顺丰安全应急响应中心 蚂蚁金服安全响应中心 携程安全应急响应中心 滴滴安全应急响应中心 字节跳动安全中心 百度安全应急响应中心 腾讯安全应急响应中心 网易安全应急响应中心 OPPO安全应急响应中心 京东安全应急响应中心 Bypass CNNVD安全动态 安恒应急响应中心 天融信每日安全简报 奇安信威胁情报中心 看雪学院 黑白之道 水滴安全实验室 安全客 木星安全实验室 云鼎实验室 绿盟科技安全预警 白帽汇 深信服千里目安全实验室 腾讯玄武实验室 长亭安全课堂 FreeBuf 绿盟科技 nmask
百家|手把手教你免费自建百万量级数据日志分析系统
本文来自公众号:安在   2021.02.23 15:40:14



“百家”,既是“诸子百家”,亦为“百花齐放”。他们是各行各业网络安全专家:有CSO、业界大咖、权威代表,更有奋战在网安一线的实践者、思想者和分享者。安在“百家”,最佳实践,真知灼见,思想火花,期待有你!




这次的“百家”与众不同,实在太过“硬核”,可是,谁让咱安在粉丝藏龙卧虎并喜爱舞刀弄枪呢?所以,既然有人投稿,主编就偶也耍宝,编发本期“加餐”,后续,欢迎大家投稿更多“干货”哦。







诱惑@Topsec

做过开发的安全菜狗。做些力所能及的小事,不委屈自己、不麻烦他人。


个人博客: https://iflytek.cnblogs.com






My blade is at your service




注:因公众号编辑器适配原因,部分英文字母字间距可能较大,如有疑问可在留言区指出,我们会逐一进行解答。



一、 背景说明


网络安全法第三章第二十一条明确规定“采取监测、记录网络运行状态、网络安全事件的技术措施,并按照规定留存相关的网络日志不少于六个月”。为了满足合规性的要求,应当建设相应的日志采集存储系统。市面上不少日志系统价格不菲,针对百万级数据量,考虑在Centos 7.6环境下,基于MariaDB 和 Rsyslog,搭建开源免费的日志采集分析系统LogAnalyzer。


二、 所需软件


① VMware Workstation 15 Player

② CentOS-7-x86_64-Minimal-1810.iso

③ loganalyzer-4.1.11.tar.gz

④ loganalyzer-4.1.11中文语言包.zip


三、 系统架构



四、 安装说明


安装分为两部分,首先是虚拟机的安装和配置(1~31),无脑傻瓜式操作哦。



1、创建新虚拟机


2、稍后安装操作系统



3、选择Linux,版本为CentOS 7 64位



4、填写虚拟机名称:CentOS7,位置为C:\vm



5、设置磁盘大小为10G,选择将虚拟磁盘存储为单个文件



6、点击完成



7、点击编辑虚拟机设置



8、设置内存为2048MB



9、设置CD/DVD,使用的ISO文件为CentOS-7-x86_64-Minimal-1810.iso



10、设置网络适配器,网络连接为桥接模式



11、播放虚拟机



12、键盘上下键选中Install CentOS 7



13、出现VMware Tools,点击以后提醒我



14、选中语言为中文



15、点击系统,选择安装位置



16、使用自动配置分区,点击完成



17、点击开始安装



18、点击ROOT密码进行设置



19、设置ROOT密码为123456,虽然是弱口令,图个方便先用着啦



20、正在安装



21、安装完成后重启虚拟机


22、重启操作系统后,

输入账号: root

输入密码: 123456

进入系统


23、查看网络配置,

输入: cd /

输入: ip addr


24、输入:cd /etc/sysconfig/network-scripts/

输入: ls

查看目录



25、输入:vi ifcfg-ens33

默认配置如下:



使用指定IP,所以修改为如下内容:

BOOTPROTO=static

ONBOOT=yes

IPADDR=192.168.20.123

NETMASK=255.255.255.0

GATEWAY=192.168.20.240



输入:wq,保存并退出


26、重启网络服务,

输入: service network restart


27、尝试ping一下百度,输入:

ping www.baidu.com, 发现ping不通,怀疑是DNS问题


28、需要设置DNS,

输入: vi /etc/resolv.conf


29、填写DNS内容,

输入: nameserver 114.114.114.114

输入: nameserver 8.8.8.8


输入:wq,保存并退出


30、再次重启网络服务,

输入: service network restart


31、再次输入:

ping www.baidu.com,这下能ping通了


然后是rsyslog相关组件以及MariaDB数据库、LogAnalyzer系统的安装和配置(32~70),也是无脑按着截图操作即可。


32、查看rsyslog是否安装,以及CentOS版本信息,

输入: cd /

输入: rpm -qa | grep rsyslog

输入: cat /etc/redhat-release


33、关闭防火墙,

输入: systemctl stop firewalld.service

输入: systemctl disable firewalld.service

输入: systemctl status firewalld.service


34、关闭selinux,

输入: vi /etc/selinux/config


默认如下:


设置SELINUX=disabled


输入:wq,保存并退出,修改后重启操作系统


35、查看MariaDB是否安装,

输入: cd /

输入: rpm –qa | grep mariadb

发现只有mariadb-libs


36、安装MariaDB服务,

输入: yum -y install mariadb mariadb-server


37、再次查看MariaDB安装情况,

输入: rpm –qa | grep mariadb


38、启动MariaDB服务,并设置为开机启动,

输入: systemctl start mariadb.service

输入: systemctl enable mariadb


39、设置MariaDB的密码,

输入: cd /root

输入: /bin/mysql_secure_installation

设置账号root,密码123456




40、输入:

mysql -uroot –p123456

进入MariaDB


41、创建rsyslog数据库(用来存放LogAnalyzer系统的配置信息),字符编码设置为utf-8,

输入:create database rsyslog character set utf8 collate utf8_bin;


42、查看当前有几个数据库,

输入:show databases;


43、为rsyslog数据库创建本地用户rsyslog,设置密码为rsyslog,权限为全部权限,

输入:

grant all privileges on rsyslog.* to 'rsyslog'@'localhost' identified by 'rsyslog';

flush privileges;


44、输入: exit

退出MariaDB


45、安装rsyslog的MySQL扩展程序包rsyslog-mysql,

输入: yum -y install rsyslog-mysql


46、将rsyslog的MySQL表导入创建的rsyslog数据库,

输入:

mysql -uroot -p < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql


47、查看当前有几个数据库,

输入: show databases;

可以看到多了一个Syslog数据库


48、使用Syslog数据库,

输入: use Syslog;

查看Syslog数据库下有几个表,

输入: show tables;

SystemEvents表用来存放日志记录


49、为Syslog数据库创建本地用户rsyslog,设置密码为rsyslog,权限为全部权限,

输入: grant all privileges on Syslog.* to 'rsyslog'@'%' identified by 'rsyslog';flush privileges;


50、修改rsyslog配置文件,

输入: vi /etc/rsyslog.conf

默认如下:


需要设置使用以账号rsyslog、密码rsyslog使用mysql数据库的Syslog库,并启用UDP和TCP接收数据,修改为如下:


新增:

$ModLoad ommysql

*.*:ommysql:localhost,Syslog,rsyslog,rsyslog


去除如下内容前面的#:

$ModLoad imudp

$UDPServerRun 514

$ModLoad imtcp

$InputTCPServerRun 514



输入:wq,保存并退出


51、启动rsyslog服务并设置为开机启动,

输入: systemctl restart rsyslog.service
输入: systemctl enable rsyslog.service


52、安装LAMP环境,

输入: yum install httpd php php-mysql php-gd –y


53、创建相应的目录用来存放loganalyzer的解压文件和运行后生成的日志,

输入: mkdir -p /var/www/html/log

输入: mkdir -p /var/log/httpd/log


54、把loganalyzer-4.1.11.tar.gz上传到/opt目录下,并解压,

输入: tar –zxvf loganalyzer-4.1.11.tar.gz


55、输入:cd loganalyzer-4.1.11

输入: cp -r src/* /var/www/html/log

输入: cp -r contrib/* /var/www/html/log


56、输入:cd /var/www/html/log

输入: chmod +x configure.sh secure.sh
输入: ./configure.sh
输入: ./secure.sh
输入: touch config.php
输入: chmod 666 config.php
输入: chown -R apache.apache *
输入: systemctl start httpd
输入: systemctl enable httpd
输入: systemctl status httpd


57、地址栏输入:

http://192.168.20.123/log,点击Click here开始安装



58、第一步,准备工作



59、第二步、验证文件权限



60、第三步、基础配置,设置用户数据库,填写前面创建的rsyslog数据库,账号和密码都是rsyslog



61、第四步、创建表



62、第五步、检查SQL结果



63、第六步、创建系统的用户和密码,这儿都用的rsyslog



64、第七步、创建第一个数据源用来接收syslog数据,选择数据源类型为数据库,填写使用Syslog数据库的SystemEvents表,账号密码也是前面创建并赋了全部权限的rsyslog



65、第八步,前面都操作成功,完成安装



66、点击上图的Finish就能看到首页



67、点击Login,输入账号和密码,都是rsyslog



68、登录后看见下图



69、系统的基本设置,显示的字体设置为了Courier New


默认的字符编码设置为utf-8




70、中文语言包只是对菜单等进行了汉化,把中文语言包文件放入
/var/www/html/log/lang
目录下即可



至此,安装全部结束。


五、 总结


“一通操作猛如虎,一看战绩零杠五”^_^咱们的这篇无脑安装就算完成了。希望有更多的人可以一起来研究,毕竟咱和美帝的差距还是巨大滴。开源日志采集分析系统还是挺多的,比如:ELK、GrayLog等,后续有机会逐一尝试。 本文参考了不少网络资料,感谢热爱分享的人们!


「推荐阅读」


2019百家专栏文章



百家 | 洪延青:过度收集个人信息怎破?四大部门集体发声
百家 | 董祎铖:基于通用技术的企业安全运营架构
百家 | 董祎铖:态势感知从入坑到重生
百家 | 科技创新型企业,小团队如何做安全?
百家 | 宋克亚 :商业银行渗透测试体系建设思考
百家 | 送给CSO的三个锦囊
百家 | 小团队做安全之金融、互金、游戏行业篇
百家 | 互联网新技术新业务信息安全评估实践
百家 | 卫剑钒:信息安全管理锦囊妙计之9大思维
百家 | GDPR实施一周年: 中国企业个人数据保护的差距简析与解决方案
百家 | 浅谈电子物证鉴定: 对不起,有钱真的可以为所欲为
百家 | 等保2.0时代,企业如何实现网络安全价值
百家 | 业务连续性建设之业务影响分析浅谈
百家 | 建设 “指导员”体系,打造网安创业企业的子弟兵
百家 | 治疗条款——CCPA留给企业的“救命稻草”
百家 | 未来已来——网络超视距战争
百家 | 王卫东: 智慧医院网络安全建设思路


2020百家专栏文章



百家 | 周利斌:企业数字化转型


百家 | 某集团企业数字化转型期信息安全建设之路


百家 | 科技企业和金融企业在信息安全领域的差异


百家 | 中信银行提供流水的教训凸显金融隐私保护关键在人


百家 | 朱林:关于SOC、态势感知,5种常见的关联分析模型


百家|从企业合规落地角度,试解《数据安全法(草案)》


百家 | 信息安全为富力数字化转型保驾护航


百家 | 抖音侵犯隐私案判决逻辑全解析


百家 | HW行动,蓝军秘籍


百家|2021年十大端点安全趋势


2021百家专栏文章



百家 | 信息安全需要沉静的力量


2018百家专栏全集请戳“阅读原文”




齐心抗疫 与你同在




点【在看】的人最好看