Node labels/节点标签


Exclusive/独有/排他
标签独有,唯一性,独占
如果有剩余资源,应用程序不允许其他应用程序运行
应用程序在运行时资源充裕

Nod-Exclusive/非独有
如果有剩余资源,应用程序会允许其他非排他的应用程序运行
按照优先级分配和压缩资源

Configuring node labels/配置节点标签

  • Creating directory structure onHDFS
  • sudo su hdfs
  • Hadoop fs -mkdir -p /YARN/packt/node-labels
  • Hadoop fs -chown -R YARN:YARN /YARN
  • Hadoop fs -chmod -R 700 /YARN
  • Granting permission to YARN/YARN用户必须在hdfs目录下
  • sudo su hdfs
  • Hadoop fs -mkdir -p /user/YARN/
  • Hadoop fs -chown -R YARN:YARN /user/YARN
  • Hadoop fs -chmod -R 700 /user/YARN
  • 此命令第一次使用时敲
  • 创建节点标签
  • sudo -u YARN
  • YARN rmadmin -addToClusterNodeLabels "<node-Label1> (exclusive=<ture | false>),"<node-Label2> (exclusive=<ture | false>)"
  • 创建标签时,如果exclusive为ture,则为排他,如果为false,则为非排他
  • YARN cluster --list-node-labels 查看标签
  • Assigning node with node label/给节点打标签
  • YARN rmadmin -replaceLabelsOnNode "<nodeaddress1>:<port>=<node-label1>"
  • YARN 命令 参数 主机名:端口号=标签
  • 创建标签队列
  • Refreshing the queue/刷新队列
  • sudo su YARN
  • YARN rmadmin -re
  • Submitting job/指定相应的队列
  • Hadoop jar wordcount.jar -num_containers 4 -queue product -node_expression Hadoop

YARN Timeline server in Hadoop 3.x/YARN的时间服务器,在Hadoop3.x

如果想知道当前作业的历史信息,就使用Hadoop的作业历史服务器
job history server 是根据MapReduce设计的

  • Applecation information
  • 应用程序被用户调用之后,可以多次尝试提交,每次程序提交的时候,可以启动多个容器,每个容器都会被日志记录下来,也会提供一个访问这些信息的web接口
  • Framework information
  • 记录了MapReduce的运行记录
  • 以下是Hadoop3.x中对时间服务器的增强
  • Scalability and reliability/提高读写的可靠性与送偶性
  • 读写操作是松耦合的,不一定有读就有写,分开的
  • Flows and aggregation/流程与聚合
  • YARN有很多步骤,也可以启动多个应用程序,每个应用程序都会有一个完整的生命周期 所以我们需要聚合应用程序并生成一个完整的应用程序报告

YARN 中时间服务器的配置/Configuring YARN Timeline server

Basic configuration/基本配置
Host configuration/Host配置
在那个主机上启动的ip 填写其中
主机名 端口号
启动timeserver
YARN timelineserver

最后修改:2021 年 04 月 21 日 09 : 49 AM
如果觉得我的文章对你有用,请随意赞赏