a亚洲精品_精品国产91乱码一区二区三区_亚洲精品在线免费观看视频_欧美日韩亚洲国产综合_久久久久久久久久久成人_在线区

首頁 > 應用 > 軟件技巧 > 正文

hadoop入門之namenode工作特點介紹

2024-07-16 17:45:46
字體:
來源:轉載
供稿:網友

namenode始終在內存中保存metedata(整個文件系統的目錄結構,每個目錄有哪些文件,每個文件有哪些分塊及每個分塊保存在哪個DataNode上),用于處理“讀請求”(不需要修改內容)
到有“寫請求”到來時,namenode會首先對metedata修改的內容寫editlog到磁盤(每一次改變都會同步到磁盤。),成功返回后,才會修改內存,并且向客戶端返回。客戶端在寫數據到每個datanode中。namenode在將metadata寫到editlog的時候會同步到磁盤。

Hadoop會維護一個fsimage文件,也就是namenode中metedata的鏡像,但是fsimage不會隨時與namenode內存中的metedata保持一致(因為非常大),而是每隔一段時間通過合并editlog來更新內容。Secondary namenode就是用來更新fsimage的 

secondary namenode的工作流程

1.Secondary通知primary切換editlog(目的合并editlog)
2.Secondary從primary獲得fsimage和editlog(通過http)
3.Secondary將fsimage載入內存,然后開始合并editlog
4.Secondary將新的fsimage發回給primary
5.Primary用新的fsimage替換舊的fsimage

什么時候checkpiont?
fs.checkpoint.period 指定兩次checkpoint的最大時間間隔,默認3600秒。
fs.checkpoint.size 規定edits文件的最大值,一旦超過這個值則強制checkpoint,不管是否到達最大時間間隔。默認大小是64M。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 一区二区免费在线 | 做a视频| 国产免费黄色 | 日本精品不卡 | 国产精品久久久久久久久久久久久久 | 日本不卡一二三区 | 欧美日韩成人在线观看 | 亚洲成人网在线 | 久久亚洲精品国产亚洲老地址 | 免费欧美一级 | 国产精品不卡视频 | 欧美精品久久久久久久久久丰满 | 天天插天天 | 国产精品禁久久精品 | 99精品网站 | 欧美日韩二区三区 | 91福利电影在线观看 | jizz国产免费 | 久久精品系列 | 欧美精品久久一区 | 久久久久久久一区 | 一区二区三区免费网站 | 在线色网| 亚洲国产二区三区 | 成人免费福利视频 | 六月色婷婷 | 久久伊人精品视频 | 99视频在线免费观看 | 国产精品一区人伦免视频播放 | 一级黄色片子免费看 | 成人国产精品久久 | 一区二区免费在线观看 | 福利网址 | 一区小视频| 一区二区在线视频 | 国精产品一区一区三区免费完 | 国产高清在线精品 | 国产免费一区二区三区最新不卡 | 日本欧美不卡 | 99视频在线免费观看 | 日韩一区二区三区在线 |