一、數(shù)據(jù)結(jié)構(gòu)中Passes和I/O cost

Passes和I/O cost

pass翻譯成“趟”。一趟過去做若干歸并。

I/O cost翻譯成“I/O開銷”。I/O是整個(gè)操作系統(tǒng)數(shù)據(jù)交換與人機(jī)交互的通道，現(xiàn)在系統(tǒng)都有可能處理大量文件，大量數(shù)據(jù)庫操作，而這些操作都依賴于系統(tǒng)的I/O性能。

BIO （Blocking I/O）：同步阻塞I/O模式，數(shù)據(jù)的讀取寫入必須阻塞在一個(gè)線程內(nèi)等待其完成。這里使用那個(gè)經(jīng)典的燒開水例子，這里假設(shè)一個(gè)燒開水的場(chǎng)景，有一排水壺在燒開水，BIO的工作模式就是， 叫一個(gè)線程停留在一個(gè)水壺那，直到這個(gè)水壺?zé)_，才去處理下一個(gè)水壺。但是實(shí)際上線程在等待水壺?zé)_的時(shí)間段什么都沒有做。

NIO （New I/O）：同時(shí)支持阻塞與非阻塞模式，但這里我們以其同步非阻塞I/O模式來說明，那么什么叫做同步非阻塞？如果還拿燒開水來說，NIO的做法是叫一個(gè)線程不斷的輪詢每個(gè)水壺的狀態(tài)，看看是否有水壺的狀態(tài)發(fā)生了改變，從而進(jìn)行下一步的操作。

AIO （ Asynchronous I/O）：異步非阻塞I/O模型。異步非阻塞與同步非阻塞的區(qū)別在哪里？異步非阻塞無需一個(gè)線程去輪詢所有IO操作的狀態(tài)改變，在相應(yīng)的狀態(tài)改變后，系統(tǒng)會(huì)通知對(duì)應(yīng)的線程來處理。對(duì)應(yīng)到燒開水中就是，為每個(gè)水壺上面裝了一個(gè)開關(guān)，水燒開之后，水壺會(huì)自動(dòng)通知我水燒開了。

IO調(diào)用步驟

進(jìn)程中的IO調(diào)用步驟大致可以分為以下四步：

進(jìn)程向操作系統(tǒng)請(qǐng)求數(shù)據(jù) ;

操作系統(tǒng)把外部數(shù)據(jù)加載到內(nèi)核的緩沖區(qū)中;

操作系統(tǒng)把內(nèi)核的緩沖區(qū)拷貝到進(jìn)程的緩沖區(qū) ;

進(jìn)程獲得數(shù)據(jù)完成自己的功能 ;

當(dāng)操作系統(tǒng)在把外部數(shù)據(jù)放到進(jìn)程緩沖區(qū)的這段時(shí)間（即上述的第二，三步），如果應(yīng)用進(jìn)程是掛起等待的，那么就是同步IO，反之，就是異步IO，也就是AIO 。

延伸閱讀：

二、數(shù)據(jù)庫IO特點(diǎn)

IO有四種類型：連續(xù)讀，隨機(jī)讀，隨機(jī)寫和連續(xù)寫，連續(xù)讀寫的IO size通常比較大(128KB-1MB)，主要衡量吞吐量，而隨機(jī)讀寫的IO size比較小(小于8KB)，主要衡量IOPS和響應(yīng)時(shí)間。數(shù)據(jù)庫中的全表掃描是連續(xù)讀IO，索引訪問則是典型的隨機(jī)讀IO，日志文件是連續(xù)寫IO，而數(shù)據(jù)文件則是隨機(jī)寫IO。

數(shù)據(jù)庫系統(tǒng)基于傳統(tǒng)磁盤訪問特性來設(shè)計(jì)，最大特點(diǎn)是日志文件采用sequential logging，數(shù)據(jù)庫中的日志文件，要求必須在事務(wù)提交時(shí)寫入到磁盤，對(duì)響應(yīng)時(shí)間的要求很高，所以設(shè)計(jì)為順序?qū)懭氲姆绞?，可以有效降低磁盤尋道花費(fèi)的時(shí)間，減少延遲時(shí)間。日志文件的順序?qū)懭耄m然是物理位置是連續(xù)的，但是并不同于傳統(tǒng)的連續(xù)寫類型，日志文件的IO size很小(通常小于4K),每個(gè)IO之間是獨(dú)立的(磁頭必須抬起來重新尋道，并等待磁盤轉(zhuǎn)動(dòng)到相應(yīng)的位置)，而且間隔很短，數(shù)據(jù)庫通過log buffer(緩存)和group commit的方式(批量提交)來達(dá)到提高IO size的大小，并減少IO的次數(shù)，從而得到更小的響應(yīng)延遲，所以日志文件的順序?qū)懭肟梢员徽J(rèn)為是“連續(xù)位置的隨機(jī)寫入”，更關(guān)注IOPS，而不是吞吐量。

數(shù)據(jù)文件采用in place uddate的方式，意思是數(shù)據(jù)文件的修改都是寫入到原來的位置，數(shù)據(jù)文件不同于日志文件，并不會(huì)在事務(wù)commit時(shí)寫入數(shù)據(jù)文件，只有當(dāng)數(shù)據(jù)庫發(fā)現(xiàn)dirty buffer過多或者需要做checkpoint動(dòng)作時(shí)，才會(huì)刷新這些dirty buffer到相應(yīng)的位置，這是一個(gè)異步的過程，通常情況下，數(shù)據(jù)文件的隨機(jī)寫入對(duì)IO的要求并不是特別高，只要滿足checkpoint和dirty buffer的要求就可以了。