eBPF及HTTPS明文抓包的分析

lee

eBPF及HTTPS明文抓包的分析[color=rgba(0, 0, 0, 0.9)][color=var(--weui-FG-2)]编码安全 [color=var(--weui-LINK)][url=]编码安全[/url] 2024-04-25 08:30 福建
[color=rgba(0, 0, 0, 0.9)][backcolor=var(--APPMSGCARD-BG)]
[color=var(--weui-FG-0)]编码安全[color=var(--weui-FG-1)]专注于编程安全技术的分享。
[color=var(--weui-FG-1)]65篇原创内容




[color=var(--weui-FG-2)]公众号

在Linux系统中，动态追踪技术一直是性能监控、故障排查和网络安全等领域的核心技术。随着技术的演进，一种名为eBPF（Extended Berkeley Packet Filter）的新兴技术逐渐崭露头角，成为Linux系统中下一代动态追踪技术的领导者同时也成为Android下的一种动态分析的技术手段。本文将简单探讨eBPF的核心原理、功能和应用以及Demo，展现其强大的功能。

eBPF简介

eBPF（Extended Berkeley Packet Filter）是一种基于内核的轻量级虚拟机，它允许用户在内核中运行自定义的程序，以实现对系统事件的实时监控和分析。

eBPF程序通常以C语言编写，并通过专用的编译器将其编译为eBPF字节码。再将这些字节码将被加载到内核中，并在eBPF虚拟机上运行。

eBPF技术的核心优势在于其高性能、安全性和可扩展性。由于eBPF程序运行在内核空间，它能够实现对系统事件的实时监控，同时避免了频繁的内核态与用户态切换，从而大大降低了性能开销。此外，eBPF程序在加载到内核之前需要经过严格的验证过程，以确保其不会对系统安全和稳定性产生负面影响。最后，eBPF技术具有良好的可扩展性，可以通过编写不同类型的eBPF程序来实现多种功能，如性能监控、网络安全策略控制、故障排查等。

随着eBPF技术的不断发展，越来越多的Linux发行版开始支持eBPF，同时也涌现出了一系列基于eBPF的开源项目和工具，如BCC（BPF Compiler Collection）、bpftrace、Cilium等。这些工具和项目为eBPF技术的普及和应用提供有力支持，使其在Linux系统中的地位日益稳固。

eBPF核心组件

eBPF技术的核心组件包括eBPF虚拟机、程序类型、映射（Maps）、加载和验证机制以及辅助函数（Helper Functions）。

eBPF虚拟机

eBPF虚拟机是一种轻量级的内核虚拟机，它允许用户在内核空间运行自定义的eBPF程序。eBPF虚拟机具有独立的寄存器集、堆栈空间和指令集，支持基本的算术、逻辑、条件跳转和内存访问等操作。由于eBPF虚拟机运行在内核空间，它能够实现对系统事件的实时监控，同时避免了频繁的内核态与用户态切换，从而大大降低了性能开销。

eBPF程序类型

eBPF程序根据其功能和挂载点可以分为多种类型，包括：
kprobe：用于监控内核函数的调用和返回事件；
uprobes：用于监控用户空间函数的调用和返回事件；
tracepoints：用于监控内核预定义的静态追踪点；
perf events：用于监控硬件和软件性能计数器事件；
XDP (Express Data Path)：用于实现高性能的数据包处理和过滤；
cgroup：用于实现基于cgroup的网络和资源控制策略；
socket filters：用于实现套接字级别的数据包过滤和分析。
通过组合不同类型的eBPF程序，用户可以实现多种功能，如性能监控、网络安全策略控制、故障排查等。

eBPF映射（Maps）

eBPF映射（Maps）是一种内核态与用户态之间共享数据的机制。它允许eBPF程序在内核空间存储和检索数据，同时也可以通过用户态工具对这些数据进行访问和修改。eBPF映射支持多种数据结构，如哈希表、数组、队列等，可以满足不同场景下的数据存储和检索需求。

eBPF加载和验证机制

eBPF程序在加载到内核之前需要经过严格的验证过程，以确保其不会对系统安全和稳定性产生负面影响。验证过程主要包括以下几个方面：

语法检查：确保eBPF程序的字节码符合指令集规范；
控制流检查：确保eBPF程序不包含无限循环和非法跳转等风险操作；
内存访问检查：确保eBPF程序不会访问非法的内存地址和敏感数据；
助手函数检查：确保eBPF程序只调用允许的内核助手函数。
只有通过验证的eBPF程序才能被加载到内核并在eBPF虚拟机上运行。

eBPF辅助函数（Helper Functions）

eBPF助手函数（Helper Functions）是一组内核提供的API，用于帮助eBPF程序实现与内核和用户态之间的交互。eBPF助手函数支持多种操作，如读写eBPF映射、获取系统时间、发送网络数据包等。通过调用助手函数，eBPF程序可以实现更加复杂和强大的功能，从而为系统提供更高效和灵活的性能监控、网络安全、负载均衡等方面的解决方案。

eBPF的功能与应用

下图是从eBPF官网的一张图，从图中可以看到eBPF技术具有广泛的功能与应用，主要包括性能监控与优化、网络安全与策略控制以及故障排查与诊断。

性能监控与优化

eBPF技术可以实现对Linux系统的实时性能监控和优化，包括CPU利用率分析、内存使用监控和I/O性能调优等。

CPU利用率分析：eBPF可以通过kprobe、uprobes和tracepoints等程序类型实时监控内核和用户空间函数的调用和返回事件，从而分析CPU利用率和热点函数。这有助于发现性能瓶颈，优化程序代码和系统配置，提高CPU利用率。

内存使用监控：eBPF可以实时监控内核和用户空间的内存分配和释放事件，以分析内存使用情况、内存泄漏和碎片化等问题。这有助于优化内存管理策略，提高内存利用率和系统稳定性。

I/O性能调优：eBPF可以通过监控内核I/O子系统的事件，如磁盘I/O、网络I/O和文件系统操作等，来分析I/O性能瓶颈和异常行为。这有助于优化I/O调度策略，提高I/O吞吐量和响应时间。

网络安全与策略控制

eBPF技术在网络安全与策略控制领域具有广泛的应用，包括流量监控与分析、防火墙策略与访问控制以及负载均衡与服务发现等。

流量监控与分析：eBPF可以通过XDP和socket filters等程序类型实时监控和分析网络数据包，从而实现对网络流量的统计、审计和异常检测等功能。这有助于发现网络攻击、滥用和故障，提高网络安全和可用性。

防火墙策略与访问控制：eBPF可以实现基于IP地址、端口号、协议类型等条件的数据包过滤和转发，从而实现灵活的防火墙策略和访问控制功能。这有助于保护内部网络资源，阻止未经授权的访问和攻击。

负载均衡与服务发现：eBPF可以实现基于四层（L4）或七层（L7）的负载均衡和服务发现功能，以实现高可用、高性能和可扩展的网络服务架构。这有助于提高服务响应时间，降低故障风险，提高资源利用率。

故障排查与诊断

eBPF技术在故障排查与诊断领域具有重要应用，包括系统调用追踪、应用程序性能分析和内核调试与故障排查等。

系统调用追踪：eBPF可以通过kprobe和uprobes等程序类型实时监控内核和用户空间的系统调用事件，以分析系统调用的性能和异常行为。这有助于发现程序错误、资源泄漏和内核故障，提高系统稳定性和可靠性。

应用程序性能分析：eBPF可以通过uprobes和tracepoints等程序类型实时监控应用程序的函数调用和性能指标，如延迟、吞吐量和错误率等。这有助于发现应用程序的瓶颈、异常和优化点，提高应用程序的性能和用户体验。

内核调试与故障排查：eBPF可以通过kprobe、tracepoints和perf events等程序类型实时监控内核的事件和性能指标，以分析内核的性能瓶颈、异常行为和故障原因。这有助于优化内核配置和代码，提高内核的性能和稳定性。

总之，eBPF技术通过提供高性能、安全和可扩展的动态追踪能力，为Linux系统的性能监控、网络安全和故障排查等领域带来了革命性的变革。随着eBPF技术的不断发展和生态系统的壮大，有理由相信，eBPF将成为Linux系统中不可或缺的重要技术。

eBPF工作流程

eBPF的工作流程图如上，这里使用C/C++语言开发，其他语言也是类似，总的来说大概可以分为4个步骤：
1.编写、编译eBPF程序，程序主要用来处理上面介绍的不同类型应用。
2.加载eBPF程序：将eBPF程序编译成字节码，一般由应用程序通过bpf系统调用加载到内核中。
3.执行eBPF程序：事件触发时执行，处理数据保存到Maps中。
4.消费数据：eBPF应用程序从BPF Maps中读出数据并处理。

目前eBPF程序开发（eBPF+应用）支持多种开发语言，主流的有C+C（libxdp、libbpf），C+Golang（Cllium、libbpfgo）和Rust（Aya）等，下文demo代码将基于Rust实现。

明文抓包方案解析

HTTPS加密过程解析

HTTPS协议在HTTP协议的基础上增加了会话层（SSL/TLS），在三次握手结束后还要进行下面几个步骤来保证传输数据的安全性：

A：客户端发送hello，随机数和支持的算法套件。
B：服务端确定算法套件，返回服务端随机数和证书。
C：客户端验证证书，发送用证书中的公钥加密的预主密钥。使用两个随机数+预主密钥计算主密钥，然后生成会话密钥。
D：用私钥解密出预主密钥，使用两个随机数+预主密钥计算主密钥，然后生成会话密钥，接着返回ok。
E、F：使用会话密钥加密和解密传输的应用数据。

WGET处理HTTPS请求流程

下图是wget命令行工具处理get https请求的大致流程：

wget使用gethttp函数在发起get请求，整个流程和上面分析的建立加密连接过程基本一致：
1. 初始化SSL。
2. 使用ssl_connect_wget建立连接获取证书，并使用openssl相关的库在底层读写数据等。
3. 使用request_send函数发送数据，底层调用SSL_write接口往socket写数据。
4. 使用open_ssl_read_peek接口读取数据，解析后再交给SSL_read回调函数。

其中SSL_write和SSL_read函数的buf参数都是未加密的数据。

eBPF实现HTTPS明文抓包

上面分析了wget请求HTTPS的流程，SSL_read和SSL_write都是未加密的数据，因此可以通过ePBF的uprobe来hook OpenSSL的SSL_read和SSL_write这两个接口来实现HTTPS抓包。

SSL_read和SSL_write的函数签名中都有一个num参数和返回一个整形值，返回值才是实际读取或者写入的数据大小，因此在进入函数后需要使用uprobe在函数入口处保存请求和请求的buf地址，在函数即将返回时使用uretprobe获取实际读取或发送的数据大小，根据大小和缓冲区来确定收发的数据。

所以为SSL_write实现了ssl_write的uprobe和ssl_ret_write的uretprobe；为SSL_read实现了ssl_read和ssl_ret_read的uretprobe。uprobe和uretprobe调用时机一个在函数入口处，一个在函数即将返回时，类似上图右下角SSL_write的处理过程。

除了上面使用到的probe，程序还需要使用几个map来存储处理数据：

需要注意的是eBPF的栈空间有512字节大小的限制，上面的SSLData结构体大小超过512字节，因此不能直接使用栈上的环境变量，而是使用了一个map来当做缓存使用。处理时修改缓存数据然后写到EVENTS array中。

下面是使用该demo程序抓取baidu首页的效果：

小结

目前，eBPF已广泛应用于网络监控、安全和性能分析等领域，随着生态建设的不断完善，eBPF 也将发挥越来越重要的作用。

作为eBPF新手，通过实践来快速入门eBPF的开发应该是效率最高的方式。本文通过简单介绍eBPF和对HTTPS工作流程分析，介绍了HTTPS明文抓包实现的原理，但SSL/TLS的库有很多，上面的方案只研究了OpenSSL库的实现方案，其他不同的库还需要具体分析。