linux top命令中的cache & buffers


今天用top查看系統具體進程使用系統資源的情況時,對cache和buffer這兩個概念不是很清楚,研究了一下:

**cache是高速緩存,用於CPU和內存之間的緩沖
**buffer是I/O緩存,用於內存和硬盤的緩沖*

[參考鏈接](http://blog.chinaunix.net/uid-24020646-id-2939696.html)

當你在linux下頻繁存取文件后,物理內存會很快被用光,當程序結束后,內存不會被正常釋放,而是一直作為caching.這個問題,貌似有不少人在問,不過都沒有看到有什么很好解決的辦法.那么我來談談這個問題.
先來說說free命令

[root@server ~]# free -m
total used free shared buffers cached
Mem: 249 163 86 0 10 94
-/+ buffers/cache: 58 191
Swap: 511 0 511
其中:
total 內存總數
used 已經使用的內存數
free 空閑的內存數
shared 多個進程共享的內存總額
buffers: Buffer Cache
cached: Page Cache
-buffers/cache 的內存數:used - buffers - cached
+buffers/cache 的內存數:free + buffers + cached
**可用的memory=free memory+buffers+cached**

有了這個基礎后,可以得知,我現在used為163MB,free為86,buffer和cached分別為10,94
那么我們來看看,如果我執行復制文件,內存會發生什么變化.

[root@server ~]# cp -r /etc ~/test/
[root@server ~]# free -m
total used free shared buffers cached
Mem: 249 244 **重點內容** 4 0 8 174
-/+ buffers/cache: 62 187
Swap: 511 0 511

在我命令執行結束后,used為244MB,free為4MB,buffers為8MB,cached為174MB,天吶都被cached吃掉了.別緊張,這是為了提高文件讀取效率的做法.

為了提高磁盤存取效率, Linux做了一些精心的設計, 除了對dentry(目錄項http://blog.sina.com.cn/s/blog_6fe0d70d0101e36f.html)進行緩存(用於VFS,加速文件路徑名到inode的轉換), 還采取了兩種主要Cache方式:Buffer Cache和Page Cache。前者針對磁盤塊的讀寫,后者針對文件inode的讀寫。這些Cache有效縮短了 I/O系統調用(比如read,write,getdents)的時間。”

那么有人說過段時間,linux會自動釋放掉所用的內存,我們使用free再來試試,看看是否有釋放>?

[root@server test]# free -m
total used free shared buffers cached
Mem: 249 244 5 0 8 174
-/+ buffers/cache: 61 188
Swap: 511 0 511

MS沒有任何變化,那么我能否手動釋放掉這些內存呢???回答是可以的!
/proc是一個虛擬文件系統,我們可以通過對它的讀寫操作做為與kernel實體間進行通信的一種手段.也就是說可以通過修改/proc中的文件,來對當前kernel的行為做出調整.那么我們可以通過調整/proc/sys/vm/drop_caches來釋放內存.操作如下:

[root@server test]# cat /proc/sys/vm/drop_caches
0

首先,/proc/sys/vm/drop_caches的值,默認為0

[root@server test]# sync

手動執行sync命令(描述:sync 命令運行 sync 子例程。如果必須停止系統,則運行 sync 命令以確保文件系統的完整性。sync 命令將所有未寫的系統緩沖區寫到磁盤中,包含已修改的 i-node、已延遲的塊 I/O 和讀寫映射文件)

[root@server test]# echo 3 > /proc/sys/vm/drop_caches
[root@server test]# cat /proc/sys/vm/drop_caches
3

將/proc/sys/vm/drop_caches值設為3

[root@server test]# free -m
total used free shared buffers cached
Mem: 249 66 182 0 0 11
-/+ buffers/cache: 55 194
Swap:511 0 511

再來運行free命令,發現現在的used為66MB,free為182MB,buffers為0MB,cached為11MB.那么有效的釋放了buffer和cache.


有關/proc/sys/vm/drop_caches的用法在下面進行了說明

/proc/sys/vm/drop_caches (since Linux 2.6.16)
Writing to this file causes the kernel to drop clean caches,
dentries and inodes from memory, causing that memory to become free.
To free pagecache, use echo 1 >/proc/sys/vm/drop_caches;
to free dentries and inodes, use echo 2 >
/proc/sys/vm/drop_caches;
to free pagecache, dentries and inodes, use echo 3 > /proc/sys/vm/drop_caches.
Because this is a non-destructive operation and dirty objects are not freeable, the user should run sync(8) first.

  buffer 與cache 的區別
   A buffer is something that has yet to be “written” to disk.
   A cache is something that has been “read” from the disk and stored for later use.

  更詳細的解釋參考:Difference Between Buffer and Cache
  對於共享內存(Shared memory),主要用於在UNIX 環境下不同進程之間共享數據,是進程間通信的一種方法,一般的應用程序不會申請使用共享內存,筆者也沒有去驗證共享內存對上面等式的影響。如果你有興趣,請參考:What is Shared Memory?

  cache 和 buffer的區別:
  Cache:高速緩存,是位於CPU與主內存間的一種容量較小但速度很高的存儲器。由於CPU的速度遠高於主內存,CPU直接從內存中存取數據要等待一定時間周期,Cache中保存着CPU剛用過或循環使用的一部分數據,當CPU再次使用該部分數據時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。
  Cache又分為一級Cache(L1 Cache)和二級Cache(L2 Cache),L1 Cache集成在CPU內部,L2 Cache早期一般是焊在主板上,現在也都集成在CPU內部,常見的容量有256KB或512KB L2 Cache。

  補充:CPU內部有控制器、I/O控制邏輯、ALU(算術邏輯運算單元)、工作寄存器(數據register、地址register)等,cpu訪問內存是ALU通過寄存器去訪問內存的,然后內存再去訪問外部存儲(Flash、EEprom)、硬盤等。
 cache位置就在寄存器與內存(RAM)之間,但集成在CPU內部。而Buffer則在RAM與外部存儲之間,buffer又有兩種來源,一是從RAM中分一部分作為buffer用,二是有些高級硬盤上有硬盤控制器,自帶buffer。(此部分內容咨詢老師所得,后續會驗證真實性)

  Buffer:緩沖區,一個用於存儲速度不同步的設備或優先級不同的設備之間傳輸數據的區域。通過緩沖區,可以使進程之間的相互等待變少,從而使從速度慢的設備讀入數據時,速度快的設備的操作進程不發生間斷。

  Free中的buffer和cache:(它們都是占用內存)
  buffer : 作為buffer cache的內存,是塊設備的讀寫緩沖區
  cache: 作為page cache的內存, 文件系統的cache
  如果 cache 的值很大,說明cache住的文件數很多。如果頻繁訪問到的文件都能被cache住,那么磁盤的讀IO bi會非常小。

==============================================================================================
cache最初用於cpu cache, 主要原因是cpu 與memory, 由於cpu快,memory跟不上,且有些值使用次數多,所以放入cache中,主要目的是,重復使用, 並且一級\二級物理cache速度快;

buffer 主要用於disk與memory,主要是保護硬盤或減少網絡傳輸的次數(內存數據表現dataSet).當然也可以提高速度(不會立即寫入硬盤或直接從硬盤中讀出的數據馬上顯示),重復使用,最初最主要的目的是保護disk。 asp.net的cache有outputcahe與數據cache, 主要目的是重復使用,提高速度,outputcache主要存儲Reader后的頁,一般是多次使用同一個HTML,建議不要varybyparam,不要存多version,
數據cache,如dataSet, dataTable, 等@page buffer=”true”, 使用buffer,讓buffer滿后再顯示讀出或寫入,(c中文件輸出也是如此,主要目的是保護硬盤), 也可以提高下次的訪問速度. 在client browse端表現是: true是一次性顯示,要么不顯示, 中間等, false是一次顯示一些, 這在網絡輸出也是如此表現. 對於文件訪問c中默認采用的是buffer = true, 這與asp.net一樣, 相當於Response.write();中當buffer滿后輸出,以減少網絡的傳輸次數 <%@ OutputCache Duration="60" VaryByParam="none"%>, 是將asp.net生成的HTML緩存起來,在指定的時間內不需要重新生成html, control.ascx.也有組件緩存(htmlCach)。 dataSet也是如此。DataCache,cache和buffer都是緩沖區, 在翻譯上,cache翻譯成高速緩沖區要好一點(因為主要是為下次訪問加速), buffer翻譯成緩沖區好點。都是緩沖的作用,可目的有點不同,主要是理解,不需要太咬文嚼字.


緩存(cache)是把讀取過的數據保存起來,重新讀取時若命中(找到需要的數據)就不要去讀硬盤了,若沒有命中就讀硬盤。其中的數據會根據讀取頻率進行組織,把最頻繁讀取的內容放在最容易找到的位置,把不再讀的內容不斷往后排,直至從中刪除。
緩沖(buffers)是根據磁盤的讀寫設計的,把分散的寫操作集中進行,減少磁盤碎片和硬盤的反復尋道,從而提高系統性能。linux有一個守護進程定期清空緩沖內容(即寫如磁盤),也可以通過sync命令手動清空緩沖。舉個例子吧:

我這里有一個ext2的U盤,我往里面cp一個3M的MP3,但U盤的燈沒有跳動,過了一會兒(或者手動輸入sync)U盤的燈就跳動起來了。卸載設備時會清空緩沖,所以有些時候卸載一個設備時要等上幾秒鍾。

修改/etc/sysctl.conf中的vm.swappiness右邊的數字可以在下次開機時調節swap使用策略。該數字范圍是0~100,數字越大越傾向於使用swap。默認為60,可以改一下試試。

兩者都是RAM中的數據。簡單來說,buffer是即將要被寫入磁盤的,而cache是被從磁盤中讀出來的。

buffer是由各種進程分配的,被用在如輸入隊列等方面,一個簡單的例子如某個進程要求有多個字段讀入,在所有字段被讀入完整之前,進程把先前讀入的字段放在buffer中保存。
cache經常被用在磁盤的I/O請求上,如果有多個進程都要訪問某個文件,於是該文件便被做成cache以方便下次被訪問,這樣可提供系統性能。
A buffer is something that has yet to be “written” to disk. A cache is
something that has been “read” from the disk and stored for later use.
 
綜上所述可以理解為cache系統管理, buffer由進程和系統一起管理.
 

===========================================
補充:釋放buffers&cached

sync
echo 1 > /proc/sys/vm/drop_caches
echo 2 > /proc/sys/vm/drop_caches
echo 3 > /proc/sys/vm/drop_caches
cache釋放:
##To free pagecache:
echo 1 > /proc/sys/vm/drop_caches
##To free dentries and inodes:
echo 2 > /proc/sys/vm/drop_caches
##To free pagecache, dentries and inodes:
echo 3 > /proc/sys/vm/drop_caches

說明,釋放前最好sync一下,防止丟數據。
因為LINUX的內核機制,一般情況下不需要特意去釋放已經使用的cache。這些cache起來的內容可以增加文件以及的讀寫速度。


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com