编译运行Linux内核源码中的BPF示例代码

社区的大佬们为学习BPF的同学们准备了福利 ，Linux内核源码里包含了大量的BPF示例代码，几乎覆盖了所有种类的BPF程序，非常适合学习者阅读和测试。今天为大家介绍如何编译运行这些BPF示例代码。

TL;DR

文章涉及的实验环境和代码可以到这个git repo获取：
https://github.com/nevermosby/linux-bpf-learning

内核源码里的BPF示例代码

示例代码里基本是kern和user成对出现，也就是对于一个示例来说，分别提供了在内核空间运行的和用户空间运行的程序，绝对是良心之作了。

下载Linux内核源代码

First thing first，第一步是下载内核代码。

选择内核版本

目前社区维护的内核版本繁多，你需要确定下载哪个版本的代码。个人建议是下载与你的操作系统运行一致的内核版本，避免后续编译时出现不兼容问题。

选择下载渠道

代码下载渠道也很多：

1. 通过Linux社区官方仓库下载。以下几个网站都是官方维护的：
   
   • https://github.com/torvalds/linux
   • https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/
   观察下来，只要有新的commit，基本是实时同步的，下载最新版本的内核代码肯定没问题。如果你跟我一样，需要相对较旧的版本，只要切换相关的目标tag即可。我的内核版本是v4.15.0，下载地址参考如下：
   
   • https://github.com/torvalds/linux/tree/v4.15
   • https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/tag/?h=v4.15
2. 通过Ubuntu apt仓库下载。Ubuntu官方自己维护了每个操作系统版本的背后的Linux内核代码，可以通过以下两种apt命令方式获取相关代码：
   

# 第一种方式
# 先搜索
> apt-cache search linux-source
	linux-source - Linux kernel source with Ubuntu patches
	linux-source-4.15.0 - Linux kernel source for version 4.15.0 with Ubuntu patches
	linux-source-4.18.0 - Linux kernel source for version 4.18.0 with Ubuntu patches
	linux-source-5.0.0 - Linux kernel source for version 5.0.0 with Ubuntu patches
	linux-source-5.3.0 - Linux kernel source for version 5.3.0 with Ubuntu patches
# 再安装
> apt install linux-source-4.15.0
	
# 第二种方式
> apt-get source linux
	Reading package lists... Done
	NOTICE: 'linux' packaging is maintained in the 'Git' version control system at:
	git://git.launchpad.net/~ubuntu-kernel/ubuntu/+source/linux/+git/bionic
	Please use:
	git clone git://git.launchpad.net/~ubuntu-kernel/ubuntu/+source/linux/+git/bionic
	to retrieve the latest (possibly unreleased) updates to the package.
	Need to get 167 MB of source archives.
	Get:2 https://mirrors.ustc.edu.cn/ubuntu bionic-updates/main linux 4.15.0-99.100 (tar) [158 MB]
	...
	
# 以上两种方式，内核源代码均下载至/usr/src/目录下

下载完成后，BPF示例就在「源码根目录/samples/bpf」目录下，可以到这里看个在线版的，建议大家通读一遍这个目录下的README.rst，了解整体步骤。

编译BPF示例代码

安装编译所依赖的工具

在真正开始编译工作之前，请确保你的实验环境已经安装clang和llvm：

正式编译示例代码

万事俱备了，可以正式开始编译工作。我们说的「编译」其本质就是利用内核目录下不同的Makefile，通过特定的make指令完成特定工作。来，先上命令：

# 切换到内核源代码根目录
cd linux_sourcecode/
# 生成内核编译时需要的头文件
make headers_install
# 可视化选择你想为内核添加的内核模块，最终生成保存了相关模块信息的.config文件，为执行后面的命令做准备
make menuconfig
# 使用make命令编译samples/bpf/目录下所有bpf示例代码，注意需要加上最后的/符号
make samples/bpf/ # or  make M=samples/bpf

如下截图看结果，生成了一大堆的文件，有.o后缀的目标文件，还有绿色高亮的可执行文件，挑两个执行下，效果符合期待。

分析samples/bpf/Makefile文件

如果你是个喜欢打破砂锅问到底的同学，可以跟我一起看看最后的make命令到底用了什么魔法？当然你也可以跳过这个章节。本次分析的Makefile是基于内核版本v4.15.0，不同内核版本的Makefile内容会有差异，但总体逻辑是一致的。

前提条件

• 如果你对make作为构建工具还不熟悉，可以看看这个教程。
• Linux内核中大部分Makefile都是基于Kernel Build System，简称kbuild，它是对Makefile的扩展，使其在编译内核文件时更加高效、简洁。因此你需要对其有所了解，可以到这里看看官方介绍。
• 上文使用的另外两个make命令，利用的是根目录下的Makefile，完成「生成头文件」和「生成.config文件」，这两步是内核开发的必要步骤，感兴趣的同学移步看README.rst。

分段分析

# List of programs to build
hostprogs-y := test_lru_dist
hostprogs-y += sock_example
hostprogs-y += fds_example
hostprogs-y += sockex1
hostprogs-y += sockex2
hostprogs-y += sockex3
...

hostprogs-y := test_lru_dist

# Tell kbuild to always build the programs
always := $(hostprogs-y)

# Libbpf dependencies
LIBBPF := ../../tools/lib/bpf/bpf.o
CGROUP_HELPERS := ../../tools/testing/selftests/bpf/cgroup_helpers.o
	
test_lru_dist-objs := test_lru_dist.o $(LIBBPF)
sock_example-objs := sock_example.o $(LIBBPF)
fds_example-objs := bpf_load.o $(LIBBPF) fds_example.o
sockex1-objs := bpf_load.o $(LIBBPF) sockex1_user.o
sockex2-objs := bpf_load.o $(LIBBPF) sockex2_user.o
sockex3-objs := bpf_load.o $(LIBBPF) sockex3_user.o
...

sockex1-objs := bpf_load.o $(LIBBPF) sockex1_user.o

HOSTCFLAGS += -I$(objtree)/usr/include
HOSTCFLAGS += -I$(srctree)/tools/lib/
HOSTCFLAGS += -I$(srctree)/tools/testing/selftests/bpf/
HOSTCFLAGS += -I$(srctree)/tools/lib/ -I$(srctree)/tools/include
HOSTCFLAGS += -I$(srctree)/tools/perf
	
HOSTCFLAGS_bpf_load.o += -I$(objtree)/usr/include -Wno-unused-variable
HOSTLOADLIBES_fds_example += -lelf
HOSTLOADLIBES_sockex1 += -lelf
HOSTLOADLIBES_sockex2 += -lelf
HOSTLOADLIBES_sockex3 += -lelf
...
HOSTLOADLIBES_tracex4 += -lelf -lrt
...

HOSTCFLAGS_bpf_load.o += -I$(objtree)/usr/include -Wno-unused-variable

# Trick to allow make to be run from this directory
all:
    $(MAKE) -C ../../ $(CURDIR)/
	
...
$(obj)/%.o: $(src)/%.c
    $(CLANG) $(NOSTDINC_FLAGS) $(LINUXINCLUDE) $(EXTRA_CFLAGS) -I$(obj) \
				-I$(srctree)/tools/testing/selftests/bpf/ \
				-D__KERNEL__ -Wno-unused-value -Wno-pointer-sign \
				-D__TARGET_ARCH_$(ARCH) -Wno-compare-distinct-pointer-types \
				-Wno-gnu-variable-sized-type-not-at-end \
				-Wno-address-of-packed-member -Wno-tautological-compare \
				-Wno-unknown-warning-option $(CLANG_ARCH_ARGS) \
				-O2 -emit-llvm -c $< -o -| $(LLC) -march=bpf -filetype=obj -o $@

# Trick to allow make to be run from this directory
all:
    $(MAKE) -C ../../ $(CURDIR)/

$(obj)/%.o: $(src)/%.c
			$(CLANG) $(NOSTDINC_FLAGS) $(LINUXINCLUDE) $(EXTRA_CFLAGS) -I$(obj) \
				-I$(srctree)/tools/testing/selftests/bpf/ \
				-D__KERNEL__ -Wno-unused-value -Wno-pointer-sign \
				-D__TARGET_ARCH_$(ARCH) -Wno-compare-distinct-pointer-types \
				-Wno-gnu-variable-sized-type-not-at-end \
				-Wno-address-of-packed-member -Wno-tautological-compare \
				-Wno-unknown-warning-option $(CLANG_ARCH_ARGS) \
				-O2 -emit-llvm -c $< -o -| $(LLC) -march=bpf -filetype=obj -o $@

clang -I $(srctree)/tools/testing/selftests/bpf/ \ 
		      -O2 -emit-llvm -c $< -o -| \ 
		      llc -march=bpf -filetype=obj -o $@

小结

对samples/bpf/Makefile这个文件执行make命令的本质就是：

1. 为运行在内核空间的示例源代码（一般文件名称后缀为kern.c），编译生成.o后缀的目标文件，以便加载到对应BPF提供的hook中去。
2. 为运行在用户空间的示例源代码(一般文件文件后缀为user.c)，编译生成可以在本机直接运行的可执行文件，以便用户可以直接运行测试。

我在执行Make命令遇到的问题

我自己的实验环境是Ubuntu 18.04 with 4.15.0内核，在执行上面的make命令时，发生了以下的错误信息：

...
In file included from ./tools/perf/perf-sys.h:9:0,
            	 from samples/bpf/bpf_load.c:28:
./tools/perf/perf-sys.h: In function ‘sys_perf_event_open’:
./tools/perf/perf-sys.h:68:15: error: ‘test_attr__enabled’ undeclared (first use in this function)
  if (unlikely(test_attr__enabled))
        	   ^
./tools/include/linux/compiler.h:74:43: note: in definition of macro ‘unlikely’
 # define unlikely(x)  __builtin_expect(!!(x), 0)
                                    	   ^
./tools/perf/perf-sys.h:68:15: note: each undeclared identifier is reported only once for each function it appears in
  if (unlikely(test_attr__enabled))
        	   ^
./tools/include/linux/compiler.h:74:43: note: in definition of macro ‘unlikely’
 # define unlikely(x)  __builtin_expect(!!(x), 0)
                                    	   ^
In file included from samples/bpf/bpf_load.c:28:0:
./tools/perf/perf-sys.h:69:3: warning: implicit declaration of function ‘test_attr__open’ [-Wimplicit-function-declaration]
   test_attr__open(attr, pid, cpu, fd, group_fd, flags);
   ^~~~~~~~~~~~~~~
scripts/Makefile.host:107: recipe for target 'samples/bpf/bpf_load.o' failed
make[1]: *** [samples/bpf/bpf_load.o] Error 1
Makefile:1823: recipe for target 'samples/bpf/' failed
make: *** [samples/bpf/] Error 2

根据错误信息，查看发生错误的文件为./tools/perf/perf-sys.h，报错的那一行是test开头的。通过Google发现了内核大佬们的邮件来往：https://www.spinics.net/lists/netdev/msg608676.html。大佬们建议由于是测试相关的代码，所以可以skip掉。修改完的文件在这里，请斟酌参考。重新运行make命令，错误不再发生了。

make samples/bpf/ # and it works

为自己的BPF程序生成可执行文件

如果你想利用Linux内核环境来编译自己的BPF程序，是非常方便的。只要对samples/bpf/目录下的Makefile进行一点点自定义改造即可，如果你仔细阅读了上面的分析，那么改造的原理就显而易见了：

# 假设你自己BPF程序如下所示：
# 内核空间代码：my_bpf_101_kern.c
# 用户空间代码：my_bpf_101_user.c
# 从上之下，添加新的代码行
 
# 1. 追加新的一行至hostprogs-y开头的代码块最后，保证自己的BPF程序能够生成可执行文件
hostprogs-y += my_bpf_101
# 2. 一般BPF程序使用以下命令即可，具体取决于你的程序是否依赖其他特殊头文件
my_bpf_101-objs := bpf_load.o $(LIBBPF) my_bpf_101_user.o
# 3. 追加新的一行至always开头的代码块最后，保证触发生成可执行文件的任务
always += my_bpf_101_kern.o

一般的BPF程序只需要通过如上3处更新加入到Makefile中，就可以使用make samples/bpf/命令，生成你自己程序的可执行文件了。