一款快速从数据库中提取信息工具

adopi

一款快速从数据库中提取信息工具

DataMiner
介绍

DataMiner是一款数据库自动抽取工具，用于快速从数据库中提取信息，目前支持 mysql、mssql、oracle、mongodb等数据库，可导出CSV、HTML。

功能

支持对所有数据库数据进行采样，并指定采样数量。
支持对指定数据库表进行采样，并指定采样数量。
支持数据库中关键敏感内容的抓取，目前支持邮箱、身份证、手机号码、密码。
支持对数据库内容进行自定义正则表达式匹配。
支持socks5代理连接到远程数据库。
支持对数据库数据量的统计。
支持批量连接数据库进行信息采集。
支持 HTML 和 CSV 格式的输出数据。
目前支持Mysql、Mssql、Oracle和Mongodb数据库。

功能命令说明

命令参数说明

命令：
Sampledata,缩减命令: SD              //数据库全部取样功能
Overview,缩减命令: OV                //数据库数据量统计功能
SearchSensitiveData,缩减命令: SS     //数据库敏感数据捕获功能
SingleTable,缩减命令: ST             //数据库单表取样功能
参数：
-T  databaseType                    //数据库类型(必选参数，目前支持 mysql、mssql、oracle、mongodb)
-da 127.0.0.1:3306                  //数据库地址(必选参数，除非使用-f参数文件输入数据)
-du name                            //数据库用户名(必选参数，除非使用-f参数文件输入数据)
-dp passwd                          //数据库密码(必选参数，除非使用-f参数文件输入数据)
-pa 127.0.0.1:8080                  //代理地址(可选参数)
-pu name                            //代理用户名(可选参数)
-pp passwd                          //代理密码(可选参数)
-n  1                               //指定取样数据条数，默认为3(可选参数)
-t 1                                //数据库敏感数据捕获功能使用线程数量，默认为5(可选参数)
-p 自定义正则表达式                  //数据库敏感数据捕获功能自定义正则匹配参数(可选参数)
-WA                                 //使用Windows本地认证方式登录(仅针对于mssql数据库)
-f data.txt                         //批量数据库信息导入文件，文本中一条数据库信息占用一行
                                    文本格式：schema://user:password@host:port
                                    如：mysql://root:123321@127.0.0.1:3306
                                        mssql://sa:123321@127.0.0.1:1433
                                        oracle://system:123321@127.0.0.1:1521
                                        mongo://admin:123321@127.0.0.1:27017
                                        mongo://admin:123321@127.0.0.1:27017?admin
                                        mongo://127.0.0.1:27017
                                        上述后两条分别为mongodb数据库 指定admin数据库登录模式与无用户密码登录模式

全部数据库采样功能

//指定mysql数据库，连接数据库，每个表中内容取样条数为2
DataMiner SD -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2
//指定mssql数据库，使用socks代理连接数据库，每个表中内容取样条数为2
DataMiner SD -T mssql -da 127.0.0.1:1433 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2
//使用文件批量导入数据库连接信息进行连接，每个表中内容取样条数为2
DataMiner SD -f data.txt  -n 2
//使用文件批量导入数据库连接信息并使用socks代理进行连接，每个表中内容取样条数为2
DataMiner SD -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd -n 2
//MSSQL数据库本地Windows认证登录使用全部数据库取样功能
DataMiner SD -T mssql -WA
//Mongodb数据库无用户密码登录模式使用全部数据库取样功能
DataMiner SD -T mongo -da 127.0.0.1:27017
//Mongodb数据库指定admin数据库登录模式使用全部数据库取样功能
DataMiner SD -T mongo -da 127.0.0.1:27017?admin -du name -dp password

数据量统计概览功能

//指定oracle数据库，连接数据库，使用数据量统计命令
DataMiner OV -T oracle -da 127.0.0.1:1521 -du name -dp passwd
//指定mysql数据库,使用socks代理连接数据库，使用数据量统计命令
DataMiner OV -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd
//使用文件批量导入数据库连接信息进行连接，使用数据量统计命令
DataMiner OV -f data.txt
//使用文件批量导入数据库连接信息并使用socks代理进行连接，使用数据量统计命令
DataMiner OV -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd
//MSSQL数据库本地Windows认证登录使用数据量统计概览功能
DataMiner OV -T mssql -WA
//Mongodb数据库无用户密码登录模式使用数据量统计概览功能
DataMiner OV -T mongo -da 127.0.0.1:27017
//Mongodb数据库指定admin数据库登录模式使用数据量统计概览功能
DataMiner OV -T mongo -da 127.0.0.1:27017?admin -du name -dp password

关键敏感信息捕获功能

//指定mssql数据库，连接数据库，每个表中内容取样条数为2,并指定使用6个线程
DataMiner SS -T mssql -da 127.0.0.1:1433 -du name -dp passwd -n 2 -t 6
//指定mysql数据库,使用socks代理连接数据库，每个表中内容取样条数为2，并指定使用6个线程
DataMiner SS -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -t 6
//使用文件批量导入数据库连接信息进行连接，每个表中内容取样条数为2,并指定使用6个线程
DataMiner SS -f data.txt  -n 2 -t 6
//使用文件批量导入数据库连接信息并使用socks代理进行连接，每个表中内容取样条数为2,并指定使用6个线程
DataMiner SS -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -t 6
//指定mysql数据库,连接数据库，每个表中内容取样条数为2,指定使用6个线程，并使用自定义正则匹配用户名
DataMiner SS -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2 -t 6 -p ^[\x{4e00}-\x{9fa5}]{2,4}$
//MSSQL数据库本地Windows认证登录使用关键敏感信息捕获功能
DataMiner SS -T mssql -WA
//Mongodb数据库无用户密码登录模式使用关键敏感信息捕获功能
DataMiner SS -T mongo -da 127.0.0.1:27017
//Mongodb数据库指定admin数据库登录模式使用关键敏感信息捕获功能
DataMiner SS -T mongo -da 127.0.0.1:27017?admin -du name -dp password

指定数据库单表抽取功能

//指定mysql数据库,连接数据库，指定test数据库中users表，取样条数为2
DataMiner ST -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2 -dt test.users
//指定mysql数据库,使用socks代理连接数据库，指定test数据库中users表，取样条数为2
DataMiner ST -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -dt test.users

抽取样本模块HTML结果输出样例



取样模块CSV结果输出样例


数据库概述模块 HTML 输出示例



敏感数据捕获模块 CSV 输出示例


项目地址：https://github.com/wjlab/DataMiner