eBPF及HTTPS明文抓包的分析[color=rgba(0, 0, 0, 0.9)][color=var(--weui-FG-2)]编码安全 [color=var(--weui-LINK)][url=]编码安全[/url] 2024-04-25 08:30 福建
[color=rgba(0, 0, 0, 0.9)][backcolor=var(--APPMSGCARD-BG)]![](http://mmbiz.qpic.cn/mmbiz_png/haqlQiars3wrIJ0a6Vfic8AnrKAUMuscw7NI0MZJHvddaGYdjArhsDvESBdpiaPlicyXTD5ZNpNicJo9JWHGZAkxOJQ/300?wx_fmt=png&wxfrom=19)
[color=var(--weui-FG-0)]编码安全[color=var(--weui-FG-1)]专注于编程安全技术的分享。
[color=var(--weui-FG-1)]65篇原创内容
[color=var(--weui-FG-2)]公众号
在Linux系统中,动态追踪技术一直是性能监控、故障排查和网络安全等领域的核心技术。随着技术的演进,一种名为eBPF(Extended Berkeley Packet Filter)的新兴技术逐渐崭露头角,成为Linux系统中下一代动态追踪技术的领导者同时也成为Android下的一种动态分析的技术手段。本文将简单探讨eBPF的核心原理、功能和应用以及Demo,展现其强大的功能。 eBPF简介
eBPF(Extended Berkeley Packet Filter)是一种基于内核的轻量级虚拟机,它允许用户在内核中运行自定义的程序,以实现对系统事件的实时监控和分析。 eBPF程序通常以C语言编写,并通过专用的编译器将其编译为eBPF字节码。再将这些字节码将被加载到内核中,并在eBPF虚拟机上运行。 eBPF技术的核心优势在于其高性能、安全性和可扩展性。由于eBPF程序运行在内核空间,它能够实现对系统事件的实时监控,同时避免了频繁的内核态与用户态切换,从而大大降低了性能开销。此外,eBPF程序在加载到内核之前需要经过严格的验证过程,以确保其不会对系统安全和稳定性产生负面影响。最后,eBPF技术具有良好的可扩展性,可以通过编写不同类型的eBPF程序来实现多种功能,如性能监控、网络安全策略控制、故障排查等。 随着eBPF技术的不断发展,越来越多的Linux发行版开始支持eBPF,同时也涌现出了一系列基于eBPF的开源项目和工具,如BCC(BPF Compiler Collection)、bpftrace、Cilium等。这些工具和项目为eBPF技术的普及和应用提供有力支持,使其在Linux系统中的地位日益稳固。 eBPF核心组件
eBPF技术的核心组件包括eBPF虚拟机、程序类型、映射(Maps)、加载和验证机制以及辅助函数(Helper Functions)。 eBPF虚拟机eBPF虚拟机是一种轻量级的内核虚拟机,它允许用户在内核空间运行自定义的eBPF程序。eBPF虚拟机具有独立的寄存器集、堆栈空间和指令集,支持基本的算术、逻辑、条件跳转和内存访问等操作。由于eBPF虚拟机运行在内核空间,它能够实现对系统事件的实时监控,同时避免了频繁的内核态与用户态切换,从而大大降低了性能开销。 eBPF程序类型eBPF程序根据其功能和挂载点可以分为多种类型,包括:
kprobe:用于监控内核函数的调用和返回事件;
uprobes:用于监控用户空间函数的调用和返回事件;
tracepoints:用于监控内核预定义的静态追踪点;
perf events:用于监控硬件和软件性能计数器事件;
XDP (Express Data Path):用于实现高性能的数据包处理和过滤;
cgroup:用于实现基于cgroup的网络和资源控制策略;
socket filters:用于实现套接字级别的数据包过滤和分析。
通过组合不同类型的eBPF程序,用户可以实现多种功能,如性能监控、网络安全策略控制、故障排查等。 eBPF映射(Maps)eBPF映射(Maps)是一种内核态与用户态之间共享数据的机制。它允许eBPF程序在内核空间存储和检索数据,同时也可以通过用户态工具对这些数据进行访问和修改。eBPF映射支持多种数据结构,如哈希表、数组、队列等,可以满足不同场景下的数据存储和检索需求。 eBPF加载和验证机制eBPF程序在加载到内核之前需要经过严格的验证过程,以确保其不会对系统安全和稳定性产生负面影响。验证过程主要包括以下几个方面: 语法检查:确保eBPF程序的字节码符合指令集规范;
控制流检查:确保eBPF程序不包含无限循环和非法跳转等风险操作;
内存访问检查:确保eBPF程序不会访问非法的内存地址和敏感数据;
助手函数检查:确保eBPF程序只调用允许的内核助手函数。
只有通过验证的eBPF程序才能被加载到内核并在eBPF虚拟机上运行。 eBPF辅助函数(Helper Functions)eBPF助手函数(Helper Functions)是一组内核提供的API,用于帮助eBPF程序实现与内核和用户态之间的交互。eBPF助手函数支持多种操作,如读写eBPF映射、获取系统时间、发送网络数据包等。通过调用助手函数,eBPF程序可以实现更加复杂和强大的功能,从而为系统提供更高效和灵活的性能监控、网络安全、负载均衡等方面的解决方案。
eBPF的功能与应用
下图是从eBPF官网的一张图,从图中可以看到eBPF技术具有广泛的功能与应用,主要包括性能监控与优化、网络安全与策略控制以及故障排查与诊断。 性能监控与优化eBPF技术可以实现对Linux系统的实时性能监控和优化,包括CPU利用率分析、内存使用监控和I/O性能调优等。 CPU利用率分析:eBPF可以通过kprobe、uprobes和tracepoints等程序类型实时监控内核和用户空间函数的调用和返回事件,从而分析CPU利用率和热点函数。这有助于发现性能瓶颈,优化程序代码和系统配置,提高CPU利用率。 内存使用监控:eBPF可以实时监控内核和用户空间的内存分配和释放事件,以分析内存使用情况、内存泄漏和碎片化等问题。这有助于优化内存管理策略,提高内存利用率和系统稳定性。 I/O性能调优:eBPF可以通过监控内核I/O子系统的事件,如磁盘I/O、网络I/O和文件系统操作等,来分析I/O性能瓶颈和异常行为。这有助于优化I/O调度策略,提高I/O吞吐量和响应时间。 网络安全与策略控制eBPF技术在网络安全与策略控制领域具有广泛的应用,包括流量监控与分析、防火墙策略与访问控制以及负载均衡与服务发现等。 流量监控与分析:eBPF可以通过XDP和socket filters等程序类型实时监控和分析网络数据包,从而实现对网络流量的统计、审计和异常检测等功能。这有助于发现网络攻击、滥用和故障,提高网络安全和可用性。 防火墙策略与访问控制:eBPF可以实现基于IP地址、端口号、协议类型等条件的数据包过滤和转发,从而实现灵活的防火墙策略和访问控制功能。这有助于保护内部网络资源,阻止未经授权的访问和攻击。 负载均衡与服务发现:eBPF可以实现基于四层(L4)或七层(L7)的负载均衡和服务发现功能,以实现高可用、高性能和可扩展的网络服务架构。这有助于提高服务响应时间,降低故障风险,提高资源利用率。 故障排查与诊断eBPF技术在故障排查与诊断领域具有重要应用,包括系统调用追踪、应用程序性能分析和内核调试与故障排查等。 系统调用追踪:eBPF可以通过kprobe和uprobes等程序类型实时监控内核和用户空间的系统调用事件,以分析系统调用的性能和异常行为。这有助于发现程序错误、资源泄漏和内核故障,提高系统稳定性和可靠性。 应用程序性能分析:eBPF可以通过uprobes和tracepoints等程序类型实时监控应用程序的函数调用和性能指标,如延迟、吞吐量和错误率等。这有助于发现应用程序的瓶颈、异常和优化点,提高应用程序的性能和用户体验。 内核调试与故障排查:eBPF可以通过kprobe、tracepoints和perf events等程序类型实时监控内核的事件和性能指标,以分析内核的性能瓶颈、异常行为和故障原因。这有助于优化内核配置和代码,提高内核的性能和稳定性。 总之,eBPF技术通过提供高性能、安全和可扩展的动态追踪能力,为Linux系统的性能监控、网络安全和故障排查等领域带来了革命性的变革。随着eBPF技术的不断发展和生态系统的壮大,有理由相信,eBPF将成为Linux系统中不可或缺的重要技术。 eBPF工作流程
eBPF的工作流程图如上,这里使用C/C++语言开发,其他语言也是类似,总的来说大概可以分为4个步骤:
1.编写、编译eBPF程序,程序主要用来处理上面介绍的不同类型应用。
2.加载eBPF程序:将eBPF程序编译成字节码,一般由应用程序通过bpf系统调用加载到内核中。
3.执行eBPF程序:事件触发时执行,处理数据保存到Maps中。
4.消费数据:eBPF应用程序从BPF Maps中读出数据并处理。 目前eBPF程序开发(eBPF+应用)支持多种开发语言,主流的有C+C(libxdp、libbpf),C+Golang(Cllium、libbpfgo)和Rust(Aya)等,下文demo代码将基于Rust实现。
明文抓包方案解析
HTTPS加密过程解析HTTPS协议在HTTP协议的基础上增加了会话层(SSL/TLS),在三次握手结束后还要进行下面几个步骤来保证传输数据的安全性: A:客户端发送hello,随机数和支持的算法套件。
B:服务端确定算法套件,返回服务端随机数和证书。
C:客户端验证证书,发送用证书中的公钥加密的预主密钥。使用两个随机数+预主密钥计算主密钥,然后生成会话密钥。
D:用私钥解密出预主密钥,使用两个随机数+预主密钥计算主密钥,然后生成会话密钥,接着返回ok。
E、F:使用会话密钥加密和解密传输的应用数据。 WGET处理HTTPS请求流程下图是wget命令行工具处理get https请求的大致流程: wget使用gethttp函数在发起get请求,整个流程和上面分析的建立加密连接过程基本一致:
1. 初始化SSL。
2. 使用ssl_connect_wget建立连接获取证书,并使用openssl相关的库在底层读写数据等。
3. 使用request_send函数发送数据,底层调用SSL_write接口往socket写数据。
4. 使用open_ssl_read_peek接口读取数据,解析后再交给SSL_read回调函数。 其中SSL_write和SSL_read函数的buf参数都是未加密的数据。 eBPF实现HTTPS明文抓包上面分析了wget请求HTTPS的流程,SSL_read和SSL_write都是未加密的数据,因此可以通过ePBF的uprobe来hook OpenSSL的SSL_read和SSL_write这两个接口来实现HTTPS抓包。 SSL_read和SSL_write的函数签名中都有一个num参数和返回一个整形值,返回值才是实际读取或者写入的数据大小,因此在进入函数后需要使用uprobe在函数入口处保存请求和请求的buf地址,在函数即将返回时使用uretprobe获取实际读取或发送的数据大小,根据大小和缓冲区来确定收发的数据。 所以为SSL_write实现了ssl_write的uprobe和ssl_ret_write的uretprobe;为SSL_read实现了ssl_read和ssl_ret_read的uretprobe。uprobe和uretprobe调用时机一个在函数入口处,一个在函数即将返回时,类似上图右下角SSL_write的处理过程。 除了上面使用到的probe,程序还需要使用几个map来存储处理数据: 需要注意的是eBPF的栈空间有512字节大小的限制,上面的SSLData结构体大小超过512字节,因此不能直接使用栈上的环境变量,而是使用了一个map来当做缓存使用。处理时修改缓存数据然后写到EVENTS array中。 下面是使用该demo程序抓取baidu首页的效果:
小结
目前,eBPF已广泛应用于网络监控、安全和性能分析等领域,随着生态建设的不断完善,eBPF 也将发挥越来越重要的作用。 作为eBPF新手,通过实践来快速入门eBPF的开发应该是效率最高的方式。本文通过简单介绍eBPF和对HTTPS工作流程分析,介绍了HTTPS明文抓包实现的原理,但SSL/TLS的库有很多,上面的方案只研究了OpenSSL库的实现方案,其他不同的库还需要具体分析。
|