Erasure encoding in Hadoop 3.0x

在Hdfs中支持纠删码

data分类
热数据Hot data:创建七天以上,并且访问频率高(20次/每天),空间使用200%
温数据warm data:一周内,数据访问只有少数几次,在磁盘归档一份数据并保存一份副本
冷数据Colod data:创建一个月,并且在一个月之内,数据只由少数几次访问,无副本,使用插除编码

EC
ECManager 名字节点
驻留在名字节点,管理擦除编码的组(分配,创建,替换,监控,协助,管理)节约存储空间大约50%
ECclient 客户端节点
擦除编码的客户端,对客户端的扩展,将带状的数据并行发送给数据节点,或将带状的数据并行接受读取
ECWorker 数据节点
驻留在数据节点上,是数据节点的扩展,如果数据节点擦除编码出错,追踪出错的代码块进行纠错修复,在ECManager的控制下进行

擦除编码的优缺点
可以使得总的存储空间节省百分之59以上
管理员可以对数据打标签
容易对数据进行数据恢复

Data Locality
编码解码过程对系统性能(CPU)要求很大
对数据的操作(复制 移动)成本很高
数据的局部性不能得到保证

HDFS common interfaces

HDFS read

dffs 读
URL 统一资源定位服
file system
URI 统一资源标识符
hdfs fs -ls

常用文件操作命令

上传与下载
hadoop fs -copyFromLocal 本地路径文件 目标主机地址
或者
Hadoop fs -put 本地文件路径 目标主机路径
拉取至本地:
Hadoop fs -get 目标文件地址 本地存放路径
Hadoop fs -copyToLocal 目标文件地址 本地存放路径
拷贝命令
Hadoop fs -cp 文件地址 目标文件地址
du
Hadoop fs -du 「-h」 路径
合并文件
Hadoop fs -getmerge 需要合并的文件夹路径 合并后的存放位置
合并文件可选参数:
-skip-empty-file:在合并的时候跳过空文件
创建目录
hadoop fs -mkdir -p 创建路径
-p:如果在创建某个目录时,创建目录没有父目录,此参数将会自动创建目录的父目录
删除
hadoop fs -rm -r -skipTrash 删除路径
-skipTrash hadoop删除文件时,会默认将删除文件移至回收站,如不需要回收站,此命令将会直接跳过回收站,执行删除
-r 递归删除
所有者
hadoop fs -chown -R 路径
-R:如果更改使用者权限的执行路径内有多个文件,此命令将会采取递归方式
更改文件所用者 默认改为当前用户
标准输出
hadoop fs -cat 文件路径
将文件打印至标准输出上

通过 core-site.xml core-default.xml 创建对象

递归删除 HDFS delete

JVM 

最后修改:2021 年 04 月 21 日 09 : 42 AM
如果觉得我的文章对你有用,请随意赞赏