yarn中aM与Container的配置

无标签

发布日期: 2019-12-28

文章字数: 310

Yarn中如何调整AppMatser容器与Container容器的大小配置

1.配置AppMatser容器大小的文件目录地址

AppMaster: hadoop3.1/etc/hadoop/capacity-scheduler.xml

2.配置中信息解读

<property>
	<name>yarn.scheduler.capacity.maximum-am-resourcepercent</name>
    <value>0.1</value>#你要关注的地方
    <description>
      	Maximum percent of resources in the cluster which can be used to run 
      	application masters i.e. controls number of concurrent running
      	applications.
    </description>
</property>

0.1代表AppMaster分配的容器的内存上限是整体内存的10%,可以根据需要修改,开启多个AppMaster

值得注意是:假如整体内存是100G,上限内存是10G,但是如果第一个AppMaster占用大小为20G也是可以启动的,但是再启动第二个AppMaster就处于等待而无法启动了.

3.配置NameNode中的运行MapTask的容器的大小配置

hadoop-3.1.3/etc/hadoop/yarn-site.xml

4.信息解读

<!-- yarn容器允许分配的最大最小内存 -->
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
<!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>