a亚洲精品_精品国产91乱码一区二区三区_亚洲精品在线免费观看视频_欧美日韩亚洲国产综合_久久久久久久久久久成人_在线区

首頁 > 學院 > 操作系統(tǒng) > 正文

yarn-site.xml

2024-06-28 16:00:19
字體:
供稿:網(wǎng)友

注意,配置這些參數(shù)前,應充分理解這幾個參數(shù)的含義,以防止誤配給集群帶來的隱患。另外,這些參數(shù)均需要在yarn-site.xml中配置。

1.    ResourceManager相關(guān)配置參數(shù)

(1) yarn.resourcemanager.address

參數(shù)解釋:ResourceManager 對客戶端暴露的地址。客戶端通過該地址向RM提交應用程序,殺死應用程序等。

默認值:${yarn.resourcemanager.hostname}:8032

(2) yarn.resourcemanager.scheduler.address

參數(shù)解釋:ResourceManager 對applicationMaster暴露的訪問地址。ApplicationMaster通過該地址向RM申請資源、釋放資源等。

默認值:${yarn.resourcemanager.hostname}:8030

(3) yarn.resourcemanager.resource-tracker.address

參數(shù)解釋:ResourceManager 對NodeManager暴露的地址.。NodeManager通過該地址向RM匯報心跳,領(lǐng)取任務等。

默認值:${yarn.resourcemanager.hostname}:8031

(4) yarn.resourcemanager.admin.address

參數(shù)解釋:ResourceManager 對管理員暴露的訪問地址。管理員通過該地址向RM發(fā)送管理命令等。

默認值:${yarn.resourcemanager.hostname}:8033

(5) yarn.resourcemanager.webapp.address

參數(shù)解釋:ResourceManager對外web ui地址。用戶可通過該地址在瀏覽器中查看集群各類信息。

默認值:${yarn.resourcemanager.hostname}:8088

(6) yarn.resourcemanager.scheduler.class

參數(shù)解釋:啟用的資源調(diào)度器主類。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。

默認值:

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

(7) yarn.resourcemanager.resource-tracker.client.thread-count

參數(shù)解釋:處理來自NodeManagerRPC請求的Handler數(shù)目

默認值:50

(8) yarn.resourcemanager.scheduler.client.thread-count

參數(shù)解釋:處理來自ApplicationMasterRPC請求的Handler數(shù)目

默認值:50

(9) yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb

參數(shù)解釋:單個可申請的最小/最大內(nèi)存資源量。比如設置為1024和3072,則運行MaPRedce作業(yè)時,每個Task最少可申請1024MB內(nèi)存,最多可申請3072MB內(nèi)存。

默認值:1024/8192

(10) yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores

參數(shù)解釋:單個可申請的最小/最大虛擬CPU個數(shù)。比如設置為1和4,則運行MapRedce作業(yè)時,每個Task最少可申請1個虛擬CPU,最多可申請4個虛擬CPU。什么是虛擬CPU,可閱讀我的這篇文章:“YARN 資源調(diào)度器剖析”。

默認值:1/32

(11) yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path

參數(shù)解釋:NodeManager黑白名單。如果發(fā)現(xiàn)若干個NodeManager存在問題,比如故障率很高,任務運行失敗率高,則可以將之加入黑名單中。注意,這兩個配置參數(shù)可以動態(tài)生效。(調(diào)用一個refresh命令即可)

默認值:“”

(12) yarn.resourcemanager.nodemanagers.heartbeat-interval-ms

參數(shù)解釋:NodeManager心跳間隔

默認值:1000(毫秒)

2.    NodeManager相關(guān)配置參數(shù)

(1) yarn.nodemanager.resource.memory-mb

參數(shù)解釋:NodeManager總的可用物理內(nèi)存。注意,該參數(shù)是不可修改的,一旦設置,整個運行過程中不可動態(tài)修改。另外,該參數(shù)的默認值是8192MB,即使你的機器內(nèi)存不夠8192MB,YARN也會按照這些內(nèi)存來使用(傻不傻?),因此,這個值通過一定要配置。不過,Apache已經(jīng)正在嘗試將該參數(shù)做成可動態(tài)修改的。

默認值:8192

(2) yarn.nodemanager.vmem-pmem-ratio

參數(shù)解釋:每使用1MB物理內(nèi)存,最多可用的虛擬內(nèi)存數(shù)。

默認值:2.1

(3) yarn.nodemanager.resource.cpu-vcores

參數(shù)解釋:NodeManager總的可用虛擬CPU個數(shù)

默認值:8

(4) yarn.nodemanager.local-dirs

參數(shù)解釋:中間結(jié)果存放位置,類似于1.0中的mapred.local.dir。注意,這個參數(shù)通常會配置多個目錄,已分攤磁盤IO負載。

默認值:${hadoop.tmp.dir}/nm-local-dir

(5) yarn.nodemanager.log-dirs

參數(shù)解釋:日志存放地址(可配置多個目錄)。

默認值:${yarn.log.dir}/userlogs

(6) yarn.nodemanager.log.retain-seconds

參數(shù)解釋:NodeManager上日志最多存放時間(不啟用日志聚集功能時有效)。

默認值:10800(3小時)

(7) yarn.nodemanager.aux-services

參數(shù)解釋:NodeManager上運行的附屬服務。需配置成mapreduce_shuffle,才可運行MapReduce程序

默認值:“”

更多資料:http://blog.csdn.net/shendefu/article/details/53394758


發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 亚洲va中文字幕 | 日本免费高清视频 | 午夜视频一区二区 | 亚洲一区二区中文字幕 | 国产一二区在线观看 | 欧美高清在线一区 | 欧美黑人一级爽快片淫片高清 | 久久av黄色 | 性高湖久久久久久久久 | 国产一区二区在线看 | 男人天堂99 | 成人久久18免费网站图片 | 国产视频91在线 | а天堂中文最新一区二区三区 | 久久久久久久国产精品 | 国产一区二区视频免费 | 日韩成人在线免费观看 | 成人黄页在线观看 | 影视在线观看 | 九九综合| 九九在线视频 | 国产97免费视频 | 欧美成人精品一区二区 | 奇米影视奇米色777欧美 | 国产一区二区三区免费 | 成人黄色小视频 | 欧美一级久久 | 色综合一区| 91超碰caoporm国产香蕉 | 日本欧美在线观看 | 特级毛片在线 | 国产中文字幕一区 | 青草视频在线播放 | 国产免费看 | 国产精品一区二区在线看 | 国产中文在线 | 国产日产久久欧美精品一区 | 免费视频色 | 欧美日韩中文在线 | 亚洲丶国产丶欧美一区二区三区 | 日本黄色大片免费看 |