久久精品国产亚洲高清|精品日韩中文乱码在线|亚洲va中文字幕无码久|伊人久久综合狼伊人久久|亚洲不卡av不卡一区二区|精品久久久久久久蜜臀AV|国产精品19久久久久久不卡|国产男女猛烈视频在线观看麻豆

    1. <style id="76ofp"></style>

      <style id="76ofp"></style>
      <rt id="76ofp"></rt>
      <form id="76ofp"><optgroup id="76ofp"></optgroup></form>
      1. 千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

        手機(jī)站
        千鋒教育

        千鋒學(xué)習(xí)站 | 隨時隨地免費學(xué)

        千鋒教育

        掃一掃進(jìn)入千鋒手機(jī)站

        領(lǐng)取全套視頻
        千鋒教育

        關(guān)注千鋒學(xué)習(xí)站小程序
        隨時隨地免費學(xué)習(xí)課程

        當(dāng)前位置:首頁  >  技術(shù)干貨  > 談?wù)勀銓ongoDB WT存儲引擎的理解?

        談?wù)勀銓ongoDB WT存儲引擎的理解?

        來源:千鋒教育
        發(fā)布人:wjy
        時間: 2022-09-19 15:33:11 1663572791

          從幾個方面回答,比如:

          插件式存儲引擎架構(gòu)

          實現(xiàn)了Server層和存儲引擎層的解耦,可以支持多種存儲引擎,如MySQL既可以支持B-Tree結(jié)構(gòu)的InnoDB存儲引擎,還可以支持LSM結(jié)構(gòu)的RocksDB存儲引擎。

          B-Tree + Page

        MongoDB WT存儲引擎1

         

          上圖是WiredTiger在內(nèi)存里面的大概布局圖,通過它我們可梳理清楚存儲引擎是如何將數(shù)據(jù)加載到內(nèi)存,然后如何通過相應(yīng)數(shù)據(jù)結(jié)構(gòu)來支持查詢、插入、修改操作的。

          內(nèi)存里面B-Tree包含三種類型的page,即rootpage、internal page和leaf page,前兩者包含指向其子頁的page index指針,不包含集合中的真正數(shù)據(jù),leaf page包含集合中的真正數(shù)據(jù)即keys/values和指向父頁的home指針;

          為什么是Page?

          數(shù)據(jù)以page為單位加載到cache、cache里面又會生成各種不同類型的page及為不同類型的page分配不同大小的內(nèi)存、eviction觸發(fā)機(jī)制和reconcile動作都發(fā)生在page上、page大小持續(xù)增加時會被分割成多個小page,所有這些操作都是圍繞一個page來完成的。

          Page的典型生命周期如下圖所示:

        MongoDB WT存儲引擎2

         

          什么是CheckPoint?

          本質(zhì)上來說,Checkpoint相當(dāng)于一個日志,記錄了上次Checkpoint后相關(guān)數(shù)據(jù)文件的變化。作用: 一是將內(nèi)存里面發(fā)生修改的數(shù)據(jù)寫到數(shù)據(jù)文件進(jìn)行持久化保存,確保數(shù)據(jù)一致性; 二是實現(xiàn)數(shù)據(jù)庫在某個時刻意外發(fā)生故障,再次啟動時,縮短數(shù)據(jù)庫的恢復(fù)時間,WiredTiger存儲引擎中的Checkpoint模塊就是來實現(xiàn)這個功能的。

          一個Checkpoint包含關(guān)鍵信息如下圖所示:

        MongoDB WT存儲引擎3

         

          每個checkpoint包含一個root page、三個指向磁盤具體位置上pages的列表以及磁盤上文件的大小。

          如何理解WT事務(wù)機(jī)制?

          要了解實現(xiàn)先要知道它的事務(wù)的構(gòu)造和使用相關(guān)的技術(shù),WT在實現(xiàn)事務(wù)的時使用主要是使用了三個技術(shù):snapshot(事務(wù)快照)、MVCC (多版本并發(fā)控制)和redo log(重做日志),為了實現(xiàn)這三個技術(shù),它還定義了一個基于這三個技術(shù)的事務(wù)對象和全局事務(wù)管理器。

          如何理解WT緩存淘汰?

          eviction cache是一個LRU cache,即頁面置換算法緩沖區(qū),它對數(shù)據(jù)頁采用的是分段局部掃描和淘汰,而不是對內(nèi)存中所有的數(shù)據(jù)頁做全局管理。基本思路是一個線程階段性的去掃描各個btree,并把btree可以進(jìn)行淘汰的數(shù)據(jù)頁添加到一個lru queue中,當(dāng)queue填滿了后記錄下這個過程當(dāng)前的btree對象和btree的位置(這個位置是為了作為下次階段性掃描位置),然后對queue中的數(shù)據(jù)頁按照訪問熱度排序,最后各個淘汰線程按照淘汰優(yōu)先級淘汰queue中的數(shù)據(jù)頁,整個過程是周期性重復(fù)。WT的這個evict過程涉及到多個eviction thread和hazard pointer技術(shù)。

          WT的evict過程都是以page為單位做淘汰,而不是以K/V。這一點和memcache、redis等常用的緩存LRU不太一樣,因為在磁盤上數(shù)據(jù)的最小描述單位是page block,而不是記錄。

        tags:
        聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
        10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
        請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
        免費領(lǐng)取
        今日已有369人領(lǐng)取成功
        劉同學(xué) 138****2860 剛剛成功領(lǐng)取
        王同學(xué) 131****2015 剛剛成功領(lǐng)取
        張同學(xué) 133****4652 剛剛成功領(lǐng)取
        李同學(xué) 135****8607 剛剛成功領(lǐng)取
        楊同學(xué) 132****5667 剛剛成功領(lǐng)取
        岳同學(xué) 134****6652 剛剛成功領(lǐng)取
        梁同學(xué) 157****2950 剛剛成功領(lǐng)取
        劉同學(xué) 189****1015 剛剛成功領(lǐng)取
        張同學(xué) 155****4678 剛剛成功領(lǐng)取
        鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
        董同學(xué) 138****2867 剛剛成功領(lǐng)取
        周同學(xué) 136****3602 剛剛成功領(lǐng)取
        相關(guān)推薦HOT
        Visual Studio Online和GitHub有什么區(qū)別?

        1.定位不同Visual Studio Online,現(xiàn)更名為Visual Studio Codespaces,是微軟提供的一款在線開發(fā)環(huán)境,允許開發(fā)者在云端進(jìn)行編程和調(diào)試工作。而...詳情>>

        2023-10-15 00:21:42
        什么是域控制器?

        一、域控制器的定義域控制器是指在Windows Server操作系統(tǒng)中部署Active Directory服務(wù)的服務(wù)器。Active Directory是微軟公司開發(fā)的目錄服務(wù),用...詳情>>

        2023-10-15 00:10:28
        深度學(xué)習(xí)模型權(quán)重h5、weights、ckpt、pth有什么區(qū)別?

        1.來源框架不同h5格式通常用于Keras和TensorFlow框架,weights用于Darknet框架,ckpt是TensorFlow框架的一種格式,而pth則主要用于PyTorch框架...詳情>>

        2023-10-15 00:05:17
        大數(shù)據(jù)測試工程師需要具備哪些技能?

        一、理解大數(shù)據(jù)概念大數(shù)據(jù)測試工程師需要理解大數(shù)據(jù)的基本概念和原理,如分布式存儲、MapReduce、實時計算等。他們還需要了解如何處理大規(guī)模的...詳情>>

        2023-10-14 23:43:03
        為什么SpringBoot的 jar 可以直接運行?

        一、JAR文件的結(jié)構(gòu)與執(zhí)行方式Spring Boot的JAR包是Java Archive的縮寫,它是一種壓縮文件格式,可以將Java項目的類文件、資源文件以及依賴庫等...詳情>>

        2023-10-14 23:01:49
        快速通道
        德令哈市| 连江县| 磐石市| 明星| 安新县| 敖汉旗| 堆龙德庆县| 武义县| 靖宇县| 年辖:市辖区| 洛浦县| 开江县| 永川市| 莱州市| 淮滨县| 嘉定区| 阿拉善左旗| 乌兰浩特市| 九龙县| 仙游县| 曲沃县| 毕节市| 彭阳县| 鲜城| 广东省| 林周县| 吐鲁番市| 扎囊县| 鹿邑县| 绥滨县| 施秉县| 大同市| 娄底市| 汤原县| 盈江县| 砚山县| 阿合奇县| 哈尔滨市| 洪洞县| 鲁山县| 镇安县|