一款快速从数据库中提取信息工具

adopi

工具简介

DataMiner是一款数据库自动抽取工具，用于快速从数据库中提取信息，目前支持 mysql、mssql、oracle、mongodb等数据库，可导出CSV、HTML。


功能概述

1. 
   
2. 支持对所有数据库数据进行采样，并指定采样数量。
   
3. 支持对指定数据库表进行采样，并指定采样数量。
   
4. 支持数据库中关键敏感内容的抓取，目前支持邮箱、身份证、手机号码、密码。
   
5. 支持对数据库内容进行自定义正则表达式匹配。
   
6. 支持socks5代理连接到远程数据库。
   
7. 支持对数据库数据量的统计。
   
8. 支持批量连接数据库进行信息采集。
   
9. 支持 HTML 和 CSV 格式的输出数据。
   
10. 目前支持Mysql、Mssql、Oracle和Mongodb数据库。

复制代码

功能命令说明
命令参数说明

命令：

1. Sampledata,缩减命令: SD              //数据库全部取样功能
   
2. Overview,缩减命令: OV                //数据库数据量统计功能
   
3. SearchSensitiveData,缩减命令: SS     //数据库敏感数据捕获功能
   
4. SingleTable,缩减命令: ST             //数据库单表取样功能
   
5. 参数：
   
6. -T  databaseType                    //数据库类型(必选参数，目前支持 mysql、mssql、oracle、mongodb)
   
7. -da 127.0.0.1:3306                  //数据库地址(必选参数，除非使用-f参数文件输入数据)
   
8. -du name                            //数据库用户名(必选参数，除非使用-f参数文件输入数据)
   
9. -dp passwd                          //数据库密码(必选参数，除非使用-f参数文件输入数据)
   
10. -pa 127.0.0.1:8080                  //代理地址(可选参数)
    
11. -pu name                            //代理用户名(可选参数)
    
12. -pp passwd                          //代理密码(可选参数)
    
13. -n  1                               //指定取样数据条数，默认为3(可选参数)
    
14. -t 1                                //数据库敏感数据捕获功能使用线程数量，默认为5(可选参数)
    
15. -p 自定义正则表达式                  //数据库敏感数据捕获功能自定义正则匹配参数(可选参数)
    
16. -WA                                 //使用Windows本地认证方式登录(仅针对于mssql数据库)
    
17. -f data.txt                         //批量数据库信息导入文件，文本中一条数据库信息占用一行
    
18.                                     文本格式：schema://user:password@host:port
    
19.                                     如：mysql://root:123321@127.0.0.1:3306
    
20.                                         mssql://sa:123321@127.0.0.1:1433
    
21.                                         oracle://system:123321@127.0.0.1:1521
    
22.                                         mongo://admin:123321@127.0.0.1:27017
    
23.                                         mongo://admin:123321@127.0.0.1:27017?admin
    
24.                                         mongo://:@127.0.0.1:27017
    
25.                                         上述后两条分别为mongodb数据库 指定admin数据库登录模式与无用户密码登录模式
    

复制代码

全部数据库采样功能

1. //指定mysql数据库，连接数据库，每个表中内容取样条数为2
   
2. DataMiner SD -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2
   
3. //指定mssql数据库，使用socks代理连接数据库，每个表中内容取样条数为2
   
4. DataMiner SD -T mssql -da 127.0.0.1:1433 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2
   
5. //使用文件批量导入数据库连接信息进行连接，每个表中内容取样条数为2
   
6. DataMiner SD -f data.txt  -n 2
   
7. //使用文件批量导入数据库连接信息并使用socks代理进行连接，每个表中内容取样条数为2
   
8. DataMiner SD -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd -n 2
   
9. //MSSQL数据库本地Windows认证登录使用全部数据库取样功能
   
10. DataMiner SD -T mssql -WA
    
11. //Mongodb数据库无用户密码登录模式使用全部数据库取样功能
    
12. DataMiner SD -T mongo -da 127.0.0.1:27017
    
13. //Mongodb数据库指定admin数据库登录模式使用全部数据库取样功能
    
14. DataMiner SD -T mongo -da 127.0.0.1:27017?admin -du name -dp password
    

复制代码

数据量统计概览功能

1. //指定oracle数据库，连接数据库，使用数据量统计命令
   
2. DataMiner OV -T oracle -da 127.0.0.1:1521 -du name -dp passwd
   
3. //指定mysql数据库,使用socks代理连接数据库，使用数据量统计命令
   
4. DataMiner OV -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd
   
5. //使用文件批量导入数据库连接信息进行连接，使用数据量统计命令
   
6. DataMiner OV -f data.txt
   
7. //使用文件批量导入数据库连接信息并使用socks代理进行连接，使用数据量统计命令
   
8. DataMiner OV -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd
   
9. //MSSQL数据库本地Windows认证登录使用数据量统计概览功能
   
10. DataMiner OV -T mssql -WA
    
11. //Mongodb数据库无用户密码登录模式使用数据量统计概览功能
    
12. DataMiner OV -T mongo -da 127.0.0.1:27017
    
13. //Mongodb数据库指定admin数据库登录模式使用数据量统计概览功能
    
14. DataMiner OV -T mongo -da 127.0.0.1:27017?admin -du name -dp password

复制代码

关键敏感信息捕获功能

1. //指定mssql数据库，连接数据库，每个表中内容取样条数为2,并指定使用6个线程
   
2. DataMiner SS -T mssql -da 127.0.0.1:1433 -du name -dp passwd -n 2 -t 6
   
3. //指定mysql数据库,使用socks代理连接数据库，每个表中内容取样条数为2，并指定使用6个线程
   
4. DataMiner SS -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -t 6
   
5. //使用文件批量导入数据库连接信息进行连接，每个表中内容取样条数为2,并指定使用6个线程
   
6. DataMiner SS -f data.txt  -n 2 -t 6
   
7. //使用文件批量导入数据库连接信息并使用socks代理进行连接，每个表中内容取样条数为2,并指定使用6个线程
   
8. DataMiner SS -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -t 6
   
9. //指定mysql数据库,连接数据库，每个表中内容取样条数为2,指定使用6个线程，并使用自定义正则匹配用户名
   
10. DataMiner SS -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2 -t 6 -p ^[\x{4e00}-\x{9fa5}]{2,4}$
    
11. //MSSQL数据库本地Windows认证登录使用关键敏感信息捕获功能
    
12. DataMiner SS -T mssql -WA
    
13. //Mongodb数据库无用户密码登录模式使用关键敏感信息捕获功能
    
14. DataMiner SS -T mongo -da 127.0.0.1:27017
    
15. //Mongodb数据库指定admin数据库登录模式使用关键敏感信息捕获功能
    
16. DataMiner SS -T mongo -da 127.0.0.1:27017?admin -du name -dp password

复制代码

指定数据库单表抽取功能

/

1. /指定mysql数据库,连接数据库，指定test数据库中users表，取样条数为2
   
2. DataMiner ST -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2 -dt test.users
   
3. //指定mysql数据库,使用socks代理连接数据库，指定test数据库中users表，取样条数为2
   
4. DataMiner ST -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -dt test.users
   
5. 
   

复制代码

抽取样本模块HTML结果输出样例


取样模块CSV结果输出样例


数据库概述模块 HTML 输出示例


敏感数据捕获模块 CSV 输出示例


下载链接：https://github.com/wjlab/DataMiner