Tim

一枚野生程序员~

  • 主页
  • 分类
  • 标签
  • 归档
  • 关于
所有文章 工具

Tim

一枚野生程序员~

  • 主页
  • 分类
  • 标签
  • 归档
  • 关于

Union File System在Docker中的应用

阅读数:次 2020-02-22
字数统计: 1.9k字   |   阅读时长≈ 7分

Union File System

Union File System,简称UnionFS,关于联合文件系统我之前的一篇博客里也写过的《Docker镜像与数据容器卷》,是一种为Linux、FreeBSD 和NetBSD操作系统设计的,把其他文件系统联合到一个联合挂载点的文件系统服务。它使用branch把不同文件系统的文件和目录“透明地”覆盖,形成一个单一一致的文件系统。这些branch或者是read-only的,或者是read-write的,所以当对这个虚拟后的联合文件系统进行写操作的时候,系统是真正写到了一个新的文件中。看起来这个虚拟后的联合文件系统是可以对任何文件进行操作的,但是其实它并没有改变原来的文件,这是因为unionfs用到了一个重要的资源管理技术,叫写时拷贝。

关于写时拷贝技术用到的地方有很多,我在之前一篇转载的文章中也说到了写时拷贝技术,《谈谈写时拷贝》,可以参考Unix的fork函数与vfork函数,还是很容易明白的,调用fork函数时,内核只为新生成的子进程创建虚拟空间结构,它们来复制于父进程的虚拟究竟结构,但是不为这些段分配物理内存,它们共享父进程的物理空间,当父子进程中有更改相应段的行为发生时,再为子进程相应的段分配物理空间。 vfork函数调用时连内核连子进程的虚拟地址空间结构也不创建了,直接共享了父进程的虚拟空间,当然了,这种做法就顺水推舟的共享了父进程的物理空间。

高级多层统一文件系统 AUFS

AUFS(全称:advanced multi-layered unification filesystem,高级多层统一文件系统)用于为Linux文件系统实现联合挂载。AUFS完全重写了早期的UnionFS 1.x,其主要目的是为了可靠性和性能,并且引入了一些新的功能,比如可写分支的负载均衡。AUFS的一些实现已经被纳入UnionFS 2.x 版本。同UnionFS类似,它能够将不同类型的文件系统透明地层叠在一起,实现一个高效的分层文件系统。说白了AUFS就是能将不同的目录挂载到某一目录下,并将各个源目录下的内容联合到目标目录下,这里每个源目录对应aufsAUFS一层,用户在目标目录读写时,感觉不到此目录是联合而来的。早期的Docker就是使用了AUFS作为第一种存储驱动。从Linux对AUFS支持版本可以看出,最新的内核已经支持到了AUFS 5, http://aufs.sourceforge.net/

Docker如何使用AUFS

首先得看一下Docker的镜像层,每一个Docker image 都是由一系列只读镜像层(image layer)组成的。镜像层的内容都存储在 Docker hosts filesystem 的/var/lib/docker/aufs/diff 目录下。而/var/lib/docker/aufs/layers 目录,则存储着镜像层如何堆叠这些镜像的元数据,可以近似看成是镜像层之间的依赖关系!

我在我的Ubuntu16.04上安装了Docker1.11.2,执行ls /var/lib/docker/aufs/diff/ 发现无任何文件

mark

拉取镜像后,可以看到在docker pull中的结果显示ubuntu:l5.04 镜像一共有4个layer ,在执行命令的结果中也有4个对应的存储文件目录。自从Docker1.10 之后,diff目录下的存储镜像layer文件夹不再与镜像ID相同。

mark

所以说,/var/lib/docker/aufs/layers 目录,则存储着镜像层如何堆叠这些镜像的元数据,可以近似看成是镜像层之间的依赖关系!

接下来,以ubuntu:l5.04 镜像为基础镜像,创建一个名为changed-ubuntu 的镜像。这个镜像只是在镜像的/tmp文件夹中添加一个写了”Hello world”的文件。可以使用下面的DockerFile来实现。

mark

使用如下命令,可以清楚地查看到changed-ubuntu 镜像使用了哪些image layer

mark

从输出中可以看到83f8696997cf image layer 位于最上层,只有12B 的大小,由/bin/sh -c echo "Hello World" > /tmp/newfile命令创建

也就是说,changed-ubuntu镜像只占用了12B的磁盘空间,这也证明了AUFS是如何高效使用磁盘空间的。而下面的四层image layer ,则是共享地构成ubuntu:15.04镜像的4个image layer 。”missing” 标记的layer,是自Docker1.10 之后,一个镜像的image layer 的image history 数据都存储在一个文件中导致的,这是Docker官方认为的正常行为,可以看到新的镜像层需要之前的四层来构建:

mark

进一步探查/var/lib/docker/aufs/diff/f973657917d003daa420129cc1f1d802e2d31e34429d1ded178fa988d94f9182 文件夹,发现其中存储了一个/tmp/newfile文件,文件中只有一行”Hello world”,至此我们完整地分析出了image layer和AUFS是如何通过共享文件和文件夹来实现镜像存储的。

mark

mark

container layer与AUFS

Docker使用AUFS的COW技术来实现image layer共享和减少磁盘空间占用。COW意味着一旦某个文件只有很小的部分有改动, AUFS也需要复制整个文件。这种设计会对容器性能产生一定的影响,尤其是在待复制的文件很大,或者位于很多image layer下方,又或者AUFS需要深度搜索目录结构树的时候。不过也不用过度担心,对于一个容器而言,每个image layer最多只需要复制一次。后续的改动都会在第一次拷贝的container layer上进行。

启动一个container的时候,Docker 会为其创建一个read-only的init layer,用来存储与这个容器内环境相关的内容:Docker还会为其创建一个read-write的layer来执行所有写操作。

container layer的mount目录也是/var/lib/docker/aufs/mnt。container的元数据和配置文件都存放在/var/lib/docker/containers/<container-id>目录中。container 的read-write layer存储在/var/lib/docker/aufs/diff/目录下。即使容器停止,这个可读写层仍然存在,因而重启容器不会丢失数据,只有当一个容器被删除的时候,这个可读写层才会一起删除。

接下来,仍然用实验来证明上面的结论。首先查询到现有的容器数目为0 ,而且在/var/lib/docker/containers目录下也没有查到任何数据。最后,查看一下系统的aufs mount 情况,发现只有一个config文件。

mark

如上图,我们启动了一个changed-ubuntu容器,查看/var/lib/docker/aufs/diff目录发现,下面多了2个文件夹,fe0d1e8647d74a0f0a6eaf381ba135502be61e8eb323f31767e48fda4042fb01-init是Docker为容器创建的read-only的init layer,而fe0d1e8647d74a0f0a6eaf381ba135502be61e8eb323f31767e48fda4042fb01则是Docker为容器创建的read-write layer

在/var/lib/docker/containers目录下多了一个与containerid 相同的文件夹,存放着容器的metadata和config文件

mark

接下来从系统AUFS来看mount的情况,在/sys/fs/aufs/目录下多了一个si_dca9c25b7188665e文件夹,执行如下命令

mark

可以清楚地看到这就是刚刚创建的容器的layer权限, 只有最上面的fe0d1e8647d74a0f0a6eaf381ba135502be61e8eb323f31767e48fda4042fb01 layer是read-write权限

说一下AUFS如何为container删除一个文件。如果要删除file1时,AUFS会在container的read-write层生成一个.wh.file1的文件来隐藏所有read-only层的file1文件。至此,我们己清楚地描述和验证了Docker是如何使用AUFS来管理container layer的

赏

谢谢你请我喝咖啡

支付宝
微信
  • 本文作者: Tim
  • 本文链接: https://zouchanglin.cn/1588956344.html
  • 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 许可协议。转载请注明出处!
  • Linux
  • Docker
  • 文件系统
  • 虚拟化技术

扫一扫,分享到微信

动手实现AUFS文件系统
Cgroups在Docker中的应用
  1. 1. Union File System
  2. 2. 高级多层统一文件系统 AUFS
  3. 3. Docker如何使用AUFS
  4. 4. container layer与AUFS
© 2017-2021 Tim
本站总访问量次 | 本站访客数人
  • 所有文章
  • 工具

tag:

  • 生活
  • Android
  • 索引
  • MySQL
  • 组件通信
  • Nginx
  • JavaSE
  • JUC
  • JavaWeb
  • 模板引擎
  • 前端
  • Linux
  • 计算机网络
  • Docker
  • C/C++
  • JVM
  • 上传下载
  • JavaEE
  • SpringCloud
  • Golang
  • Gradle
  • 网络安全
  • 非对称加密
  • IDEA
  • SpringBoot
  • Jenkins
  • 字符串
  • vim
  • 存储
  • 文件下载
  • Mac
  • Windows
  • NIO
  • RPC
  • 集群
  • 微服务
  • SSH
  • 配置中心
  • XML
  • Chrome
  • 压力测试
  • Git
  • 博客
  • 概率论
  • 排序算法
  • 分布式
  • 异常处理
  • 文件系统
  • 哈希
  • openCV
  • 栈
  • 回溯
  • SpringCore
  • 流媒体
  • rtmp
  • 面向对象
  • Vue
  • ElementUI
  • 软件工程
  • 异步
  • 自定义UI
  • ORM框架
  • 模块化
  • 交互式
  • Jsoup
  • Http Client
  • LRUCache
  • RabbitMQ
  • 消息通信
  • 服务解耦
  • 负载均衡
  • 权限
  • 多线程
  • 单例模式
  • Protobuf
  • 序列化
  • Python
  • m3u8
  • 堆
  • 二叉树
  • 自定义View
  • 观察者模式
  • 设计模式
  • 线程池
  • 动态扩容
  • 高可用
  • GC
  • ffmpeg
  • SpringMVC
  • REST
  • Redis
  • 缓存中间件
  • UML
  • Maven
  • Netty
  • 高性能网络
  • IPC通信
  • IO
  • Stream
  • 发布订阅
  • SQLite
  • Hash
  • 集合框架
  • 链表
  • Lambda
  • 汇编语言
  • 组件化
  • Router
  • 开发工具

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录(注意不是yilia-plus根目录)执行以下命令:
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置:

      jsonContent:
        meta: false
        pages: false
        posts:
          title: true
          date: true
          path: true
          text: false
          raw: false
          content: false
          slug: false
          updated: false
          comments: false
          link: false
          permalink: false
          excerpt: false
          categories: false
          tags: true
    

  • 思维导图
  • PDF工具
  • 无损放大
  • 代码转图
  • HTTPS证书