域名资产收集整理实践篇

adopi

原文链接：域名资产收集整理实践篇
之前一位学员分享了一个关于自动化挖洞的方法论《我的渗透测试方法论》完整讲述了如何从一个域名开始到最终的漏洞扫描，但是对于初学者而言，知道思路，从思路到实践又有很长的路要走，今天来分享下第一阶段的工作如何做。

多工具组合收集子域名
主要完成以下工作：

1、使用 Oneforall、amass、ksubdomain 针对目标进行域名收集

2、将所有结果进行汇总，然后提取所有目标到对应的文件中

3、使用 dnsgen 基于收集到的域名列表，生成新的字典，然后使用 ksubdomain 进行验证

4、最后将所有存活的域名和IP对应列表整理出来，输出文件

其中涉及开源工具以及自定义脚本实现数据的整合处理。

第一步：使用 Onefoall 实现子域名收集
使用命令（只进行域名收集，不做存活验证）：

1. python3 oneforall.py --target xazlsec.com --req False run

复制代码

结果格式如下：

1. cat results/xazlsec.com.csv

复制代码

第二步：使用 amass 实现子域名收集
使用命令（被动+枚举）:

1. amass enum -v -src -ip -brute -d xazlsec.com -o xazlsec-amass.txt

复制代码

结果格式如下：



第三步：使用 ksubdomain 实现子域名收集
提前准备字典（针对泛解析域名，效果一般，需要手动去掉与泛解析结果相同的域名），命令：


结果如图：



针对大文件做 dns 枚举存在丢包的情况
1、可以使用自定义脚本或者 split 对大文件进行分割

1. split -l 1000 subdomain.txt subs/

复制代码

分割后的文件保存至目录 subs 中

2、简单写一个脚本，生成一个 bash 脚本

1. import os
   
2. 
   
3. for item in os.listdir('subs/'):
   
4.     print("./ksubdomain v --dns-type a -f subs/{} -o a/{}".format(item, item))
   
5. python3 gen.py > scana.sh

复制代码

最后执行：

1. bash scana.sh

复制代码

第四步：编写脚本，实现数据整合
首先将三个工具的结果文件放置在相同目录下，方便调用，也可以不用，编写脚本时，指定路径即可，以上三种工具的结果分别是：

1. Oneforall: /usr/src/github/OneForAll/results/xazlsec.com.csv Amass: /root/xazlsec-amass.txt ksubdomain: /root/xazlsec-ksub.txt
   

复制代码

下面是一个简单脚本，将三个文件中的域名提取出来进行去重汇总；

1. #!/usr/bin/env python3
   
2. #-*- coding: utf-8 -*-
   
3. 
   
4. Oneforall="/usr/src/github/OneForAll/results/xazlsec.com.csv"
   
5. Amass="/root/xazlsec-amass.txt"
   
6. ksubdomain="/root/xazlsec-ksub.txt"
   
7. 
   
8. #读取 Oneforall 的结果
   
9. #id,alive,request,resolve,url,subdomain,level,cname,ip,public,cdn,port,status,reason,title,banner,cidr,asn,org,addr,isp,source
   
10. def readOneforall(filename):
    
11.     domain2ip = {}
    
12.     for item in open(filename):
    
13.         sub = item.strip().split(',')[5]
    
14.         ip = item.strip().split(',')[8]
    
15.         if sub != "subdomain":
    
16.             domain2ip[sub] = ip
    
17.     return domain2ip
    
18. 
    
19. 
    
20. #读取 amass 的结果
    
21. def readAmass(filename):
    
22.     domain2ip = {}
    
23.     for item in open(filename):
    
24.         sub = item.strip().split(' ')[-2]
    
25.         ip = item.strip().split(' ')[-1]
    
26.         domain2ip[sub] = ip
    
27.     return domain2ip
    
28. 
    
29. 
    
30. 
    
31. #读取 ksubdomain 的结果
    
32. def readKsubdomain(filename):
    
33.     domain2ip = {}
    
34.     for item in open(filename):
    
35.         sub = item.strip().split('=>')[0]
    
36.         ip = item.strip().split('=>')[-1]
    
37.         domain2ip[sub] = ip
    
38.     return domain2ip
    
39. 
    
40. 
    
41. #保存结果
    
42. def saveResults(domain2ip):
    
43.     obj = open("results.txt", 'a+', encoding='utf-8')
    
44.     for sub in domain2ip:
    
45.         ip = domain2ip[sub]
    
46.         obj.writelines(sub+'\n')
    
47.     obj.close()
    
48. 
    
49. if __name__=="__main__":
    
50.     o = readOneforall(Oneforall)
    
51.     a = readAmass(Amass)
    
52.     k = readKsubdomain(ksubdomain)
    
53.     domain2ip = o
    
54.     for sub in a:
    
55.         ip = a[sub]
    
56.         domain2ip[sub] = ip
    
57.     for sub in k:
    
58.         ip = k[sub]
    
59.         domain2ip[sub] = ip
    
60.     saveResults(domain2ip)
    
61. 使用方法也很简单，将你本地的文件路径进行替换，然后执行该脚本，最后结果保存至文件 results.txt 中：
    
62. 
    
63. 图片
    
64. 
    
65. 第五步：使用 dnsgen 基于已知域名生成新的字典
    
66. 需要将所有子域名保存至文件中，不包含 IP 地址的纯子域列表，然后使用命令：
    
67. 
    
68. dnsgen results.txt -w word.txt > newdns.txt
    
69. 
    
70. 为了方便，可以将之前收集的域名一起放在这个新域名列表中，最终解析的结果就是一个比较全面的结果，只需提取其中的域名和IP即可：
    
71. 
    
72. cat results.txt >> newdns.txt
    
73. 
    
74. 最后使用 ksubdomain 进行最后的解析操作：
    
75. 
    
76. ksubdomain verify -f newdns.txt -o newsub.txt
    
77. 
    
78. 最后的 newsub.txt 就是之前所有步骤中收集的所有子域名列表，为后续的操作提供数据支持。
    
79. 
    
80. 第六步：排除泛解析域名
    
81. 排除思路，首先判断域名是否存在泛解析，如果存在则启动排除泛解析的程序，排除方法的话，可以保留与泛解析 IP 一致的结果中的三个，其余的都进行删除。这个操作最好只针对暴力枚举阶段的结果进行排除，也就是针对 ksubdomain 产生的结果。
    
82. 
    
83. 实现上面功能的脚本，如下：
    
84. 
    
85. #!/usr/bin/env python3
    
86. #-*- coding: utf-8 -*-
    
87. 
    
88. import sys
    
89. import random
    
90. import string
    
91. import dns.resolver
    
92. 
    
93. #读取 ksubdomain 的结果
    
94. def readKsubdomain(filename):
    
95.     domain2ip = {}
    
96.     for item in open(filename):
    
97.         sub = item.strip().split('=>')[0]
    
98.         ip = item.strip().split('=>')[-1]
    
99.         domain2ip[sub] = ip
    
100.     return domain2ip
     
101. 
     
102. 
     
103. #判断域名是否存在泛解析
     
104. def judgeWildcard(domain):
     
105.     randstr = ''.join(random.choices(string.ascii_letters + string.digits, k=32))
     
106.     try:
     
107.         answer = dns.resolver.Resolver().resolve(randstr + "." +domain)
     
108.         for a in answer:
     
109.             return str(a)
     
110.     except:
     
111.         return False
     
112. 
     
113. #保存结果
     
114. def saveResults(domain2ip):
     
115.     obj = open("ksubresults.txt", 'a+', encoding='utf-8')
     
116.     for sub in domain2ip:
     
117.         ip = domain2ip[sub]
     
118.         obj.writelines(sub+"\t"+ip+'\n')
     
119.     obj.close()
     
120. 
     
121. 
     
122. if __name__=="__main__":
     
123.     domain = sys.argv[1]
     
124.     wildcard = judgeWildcard(domain)
     
125.     if not wildcard:
     
126.         print("[-]不存在泛解析，程序退出")
     
127.     filename = sys.argv[2]
     
128.     d2i = readKsubdomain(filename)
     
129.     newd2i = {}
     
130.     i = 0
     
131.     for sub in d2i:
     
132.         ip = d2i[sub]
     
133.         if ip == wildcard:
     
134.             i = i + 1
     
135.             if i > 3:
     
136.                 continue
     
137.         newd2i[sub] = ip
     
138. 
     
139.     saveResults(newd2i)
     
140.     print('[+]存在泛解析，结果保存至：ksubresults.txt')

复制代码

其他部分内容
今天分享是是整个过程中的第一阶段，如何从主域名到子域名列表的跨越，其余四阶段分别为：

从 IP 到端口到网站链接的跨越
从网站链接到网站信息的跨越，包括存活验证、去重、指纹识别、waf 识别、网站截图等技术
从存活网站到 URL 列表的跨越，包括带参数 url 去重
从网站信息到漏洞发现的跨越，包括漏扫工具的组合