本文是一系列对cgroup说明的文档，已期望说明cgroup子系统涉及的所有子系统，本文只对CpusetGroup进行说明，本文的目录如下

0. 什么是CpusetGroup ？
1. CpusetGroup在运行时中是如何实现的 ？

1 什么是CpusetGroup ?

cpuset提供了一套linux 内核机制，这套机制用于限制在机器上任务或者进程使用的CPU和Mem（内存），至于在linux如何通过这些参数来实现cpuset机制不在本文说明范围内。

cpuset使用说明一

cpuset在设置时有许多规则，举例来说，如上图cpuset设置cpu节点举例来说，假设需要设置了A，B，C，D四个cpuset请求，且A限制在0-1，B限制在2-3，C限制在4-5，D限制在6-7节点，此时根目录下cpuset限制的节点只有2-3，4-5，6-7，此时最终的结果cpu限制结果会取根目录下和请求的交集，也就是B，C，D（2，3，4，5，6，7）

以使用为例，使用linux cpuset提供的文件系统方式为例

$ cd /sys/fs/cgroup/cpuset
$ mkdir test
$ cd test
$ ls
cgroup.clone_children  cpuset.memory_pressure
cgroup.event_control   cpuset.memory_spread_page
cgroup.procs           cpuset.memory_spread_slab
cpuset.cpu_exclusive   cpuset.mems
cpuset.cpus            cpuset.sched_load_balance
cpuset.mem_exclusive   cpuset.sched_relax_domain_level
cpuset.mem_hardwall    notify_on_release
cpuset.memory_migrate  tasks
## 限制cpu使用节点
$ /bin/echo 2-3 > cpuset.cpus
## 限制mem使用节点
$ /bin/echo 1 > cpuset.mems
## 需要限制的进程
$ /bin/echo $ > tasks

2 CpusetGroup在运行时中是如何实现的 ?

目前的常见的容器技术docker底层其实是runc的调用实现，

图2 docker资源限制实现

runc对资源的限制正是通过cgroup来实现的，以容器运行时中runc中的设置cpuset逻辑为例：

0. 所在目录上一级目录需要存在，不存在复制上一级目录配置内容。
1. 根据config配置中的cpuset.cpus配置所在目录的cpuset.cpus内容，不存在则复制上一级目录配置
2. 根据config配置中的cpuset.mems配置所在目录的cpuset.mems内容，不存在则复制上一级目录配置
3. 写入cgroup.procs文件pid（pid=2458547），写入pid时查看文件内容一致（。相应的，查看对应的日志以及文件。

[debug] current=/sys/fs/cgroup/cpuset/a, currentCpus=, currentMems=
[debug] parent=/sys/fs/cgroup/cpuset, parentCpus=0-79, parentMems=0-1
[debug] write cgroup proc, dir=/sys/fs/cgroup/cpuset/a, CgroupProcesses=cgroup.procs, pid=2458544

[node test]# cat /sys/fs/cgroup/cpuset/a/cgroup.procs 
2458547
[node test]# cat /sys/fs/cgroup/cpuset/a/cpuset.mems
0-1
[node test]# cat /sys/fs/cgroup/cpuset/a/cpuset.cpus
0-79

这里的current指代的是当前a这个任务的目录（/sys/fs/cgroup/cpuset/a），一开始未设置cpu和mem，这里继承了上一级目录（/sys/fs/cgroup/cpuset）的配置，并将任务id写入到（/sys/fs/cgroup/cpuset/a/cgroup.procs ）和第1小节以shell的形式写入文件系统类似，由此可以看到，最底层针对cgroup v1，runc实现的运行时对cpuset也是以这种方式来对任务使用的cpu和mem进行限制的，最终影响到任务使用的cpu节点和mem节点。

参考文献

[cpuset规则说明1] https://techpubs.jurassic.nl/manuals/0650/admin/IA_Resource/sgi_html/figures/move_cpuset.gif

[cpuset子系统说明] https://www.kernel.org/doc/Documentation/cgroup-v1/cpusets.txt

[docker底层资源限制实现] https://www.slideshare.net/Docker/container-performance-analysis-brendan-gregg-netflix