JuiceFS —全新分布式文件系统，对标HDFS

欢迎大家来到IT世界,在知识的湖畔探索吧!

HDFS（Hadoop Distributed File System）对于开发的小伙伴是熟悉的不能再熟悉了。曾几何时，作为Hadoop的生态的核心的分布式文件系统产品，HDFS可谓是相当的火热。可是时势造英雄，毕竟hadoop太笨重，随着现在互联网数据的发展，热门产品的不断迭代更新，比如我现在常用的Spark，还有Flink。这两个产品基本就快把hadoop的江山分割完了。

今天给大家介绍一款高性能、云原生的分布式文件系统—JuiceFs。

产品介绍

JuiceFS是最近新开源的分布式文件系统，一经开源在github上已经达到10.8K了。作为新型产品，JuiceFS是一款面向云原生的、高性能的、开源的分布式文件系统，兼容 POSIX、HDFS 和 S3 协议。可以几乎将所有的对象存储接入本地使用，可以在不同在磁盘上读取。开源协议Apache 2.0，开源版本可以免费使用。有云服务版本和企业版本，这些是收费的。

欢迎大家来到IT世界,在知识的湖畔探索吧!

JuiceFS采用数据和元数据分离存储的架构，文件本身存储在对象存储上（OSS），元数据保存在Redis、mysql等多种数据库中，从而实现分布式文件系统。

同时也提供了丰富的Api，可以对多种不同的数据进行管理、分析、归档、备份等操作。能够实现在不修改代码的前提下对接大数据、机器学习。

JuiceFS分为社区版和云服务版。

社区版

云服务版

官网地址：https://juicefs.com/zh-cn/

github地址：https://github.com/juicedata/juicefs

github

技术架构

架构图

从架构图我们可以看到JuiceFS有Java SDK、S3等多种api 以及文件数据和元数据存储。

数据存储会直接上传到Oss。大家可以对接各大厂商的对象存储服务、也可以使用OpenStack、monio等文件服务。

元数据存储包含文件名称、大小、权限、修改时间、文件属性、文件锁等。

如何存储？

JuiceFS存储文件和传统文件系统存储文件模式不一样。JuiceFS主要分为Chunk、Slice、Block这三种核心概念。

1、每个文件由一个或者多个Chunk组成，每个Chunk最大64M，读写会根据文件偏移量来定位对应的Chunk。

2、为了方便定位，实际的文件写入实在Slice中进行，Slice属于Chunk，最大也是64M。

3、文件写入产生Slice，flush会将Slice持久化，持久化对象存储会进一步生成Block。默认最大4M，多线程并发写入提升性能。Block 是最终的物理存储形式，是对象存储和磁盘缓存的最小存储单元。

核心特性

• 分布式设计： 数据和元数据分离，支持高并发
• 强一致性：确保数据在所有服务器上保持一致
• 兼容性：兼容POSIX、S3、HDFS协议
• 云原生：支持k8s、docker 集成
• 文件安全：支持文件锁、数据压缩、数据加密

优势

场景

支持大数据、机器学习、k8s场景。

行业支持量化投资、自动驾驶。

好了，今天就介绍这么多了，感兴趣的小伙伴可以在参考官方文档在自己服务器搭建。欢迎大家在评论区留言讨论。[比心]