經常遇到一些剛接觸 Linux 的新手會問內存佔用怎麼那麼多?
在 Linux 中經常發現空閒內存很少,似乎所有的內存都被系統佔用了,表面感覺是內存不夠用了,其實不然。這是 Linux 內存管理的一個優秀特性,在這方面,區別於 Windows 的 內存管理。主要特點是,無論實體內存有多大,Linux 都將其充份利用,將一些程式呼叫過的硬碟資料讀入內存,利用內存讀寫的高速特性來提高 Linux 系統的資料訪問效能。而 Windows 是隻在需要內存時, 才為應用程式分配內存,並不能充分利用大容量的內存空間。換句話説,每增加一些實體內存,Linux 都將能充分利用起來,發揮了硬體投資帶來的好處,而 Windows 只將其做為擺設,即使增加 8GB 甚至更大。
Linux 的這一特性,主要是利用空閒的實體內存,劃分出一部份空間,做為 cache 、 buffers ,以此提高資料訪問效能。
頁 WordPress 加速緩存內存 (cache) 是 Linux 核心實現的一種主要磁碟 WordPress 加速緩存。它主要用來減少對磁碟的 I/O 操作。具體地講,是通過把磁碟中的資料 WordPress 加速緩存到實體內存中,把對磁碟的訪問變為對物理 內存的訪問。
磁碟 WordPress 加速緩存內存的價值在於兩個方面:第一,訪問磁碟的速度要遠遠低於訪問內存的速度,因此,從內存訪問資料比從磁碟訪問速度更快。第二,資料一旦被訪問,就很有可能在短期內再次被訪問到。
下面來了解下 Linux 內存管理機制:
一、實體內存和虛擬內存
我們知道,直接從實體內存讀寫資料要比從硬碟讀寫資料要快的多,因此,我們希望所有資料的讀取和寫入都在內存完成,而內存是有限的,這樣就引出了實體內存與虛擬內存的概念。
實體內存就是系統硬體提供的內存大小,是真正的內存,相對於實體內存,在 Linux 下還有一個虛擬內存的概念,虛擬內存就是為了滿足實體內存的不足而提出的策略,它是利用磁碟空間虛擬出的一塊邏輯內存,用作虛擬內存的磁碟空間被稱為交換空間(Swap Space)。
作為實體內存的擴充套件,Linux 會在實體內存不足時,使用交換分割槽的虛擬內存,更詳細的説,就是核心會將暫時不用的內存塊資訊寫到交換空間,這樣以來,實體內存得到了釋放,這塊內存就可以用於其它目的,當需要用到原始的內容時,這些資訊會被重新從交換空間讀入實體內存。
Linux 的內存管理採取的是分頁存取機制,為了保證實體內存能得到充分的利用,核心會在適當的時候將實體內存中不經常使用的資料塊自動交換到虛擬內存中,而將經常使用的資訊保留到實體內存。
要深入瞭解 Linux 內存執行機制,需要知道下面提到的幾個方面:
Linux 系統會不時的進行頁面交換操作,以保持儘可能多的空閒實體內存,即使並沒有什麼事情需要內存,Linux 也會交換出暫時不用的內存頁面。這可以避免等待交換所需的時間。
Linux 進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬內存,Linux 核心根據” 最近最經常使用 “演算法,僅僅將一些不經 常使用的頁面檔案交換到虛擬內存,有時我們會看到這麼一個現象:Linux 實體內存還有很多,但是交換空間也使用了很多。其實,這並不奇怪,例如,一個佔 用很大內存的程序執行時,需要耗費很多內存資源,此時就會有一些不常用頁面檔案被交換到虛擬內存中,但後來這個佔用很多內存資源的程序結束並釋放了很多內 存時,剛才被交換出去的頁面檔案並不會自動的交換進實體內存,除非有這個必要,那麼此刻系統實體內存就會空閒很多,同時交換空間也在被使用,就出現了剛才 所説的現象了。關於這點,不用擔心什麼,只要知道是怎麼一回事就可以了。
交換空間的頁面在使用時會首先被交換到實體內存,如果此時沒有足夠的實體內存來容納這些頁面,它們又會被馬上交換出去,如此以來,虛擬內 存中可能沒有足夠空間來儲存這些交換頁面,最終會導致 Linux 出現假宕機、服務異常等問題,Linux 雖然可以在一段時間內自行恢復,但是恢復後的系統 已經基本不可用了。
因此,合理規劃和設計 Linux 內存的使用,是非常重要的.
二、內存的監控
作為一名 Linux 系統管理員,監控內存的使用狀態是非常重要的,通過監控有助於瞭解內存的使用狀態,比如內存佔用是否正常,內存是否緊缺等等,監控內存最常使用的命令有 free 、 top 等,下面是某個系統 free 的輸出:
[root@linuxeye ~]# free
total used free shared buffers cached
Mem: 3894036 3473544 420492 0 72972 1332348
-/+ buffers/cache: 2068224 1825812
Swap: 4095992 906036 3189956
每個選項的含義:
第一行:
total:實體內存的總大小
used:已經使用的實體內存大小
free:空閒的實體內存大小
shared:多個程序共享的內存大小
buffers/cached:磁碟 WordPress 加速緩存的大小
第二行 Mem:代表實體內存使用情況
第三行 (-/+ buffers/cached):代表磁碟 WordPress 加速緩存使用狀態
第四行:Swap 表示交換空間內存使用狀態
free 命令輸出的內存狀態,可以通過兩個角度來檢視:一個是從核心的角度來看,一個是從應用層的角度來看的。
從核心的角度來檢視內存的狀態
就是核心目前可以直接分配到,不需要額外的操作,即為上面 free 命令輸出中第二行 Mem 項的值,可以看出,此係統實體內存有 3894036K,空閒的內存只有 420492K,也就是 40M 多一點,我們來做一個這樣的計算:
3894036 – 3473544 = 420492
其實就是總的實體內存減去已經使用的實體內存得到的就是空閒的實體內存大小,注意這裏的可用內存值 420492 並不包含處於 buffers 和 cached 狀態的內存大小。
如果你認為這個系統空閒內存太小,那你就錯了,實際上,核心完全控制著內存的使用情況,Linux 會在需要內存的時候,或在系統執行逐步推進時,將 buffers 和 cached 狀態的內存變為 free 狀態的內存,以供系統使用。
從應用層的角度來看系統內存的使用狀態
也就是 Linux 上執行的應用程式可以使用的內存大小,即 free 命令第三行 -/+ buffers/cached 的輸出,可以看到,此係統已經使用的內存才 2068224K,而空閒的內存達到 1825812K,繼續做這樣一個計算:
420492+(72972+1332348)=1825812
通過這個等式可知,應用程式可用的實體內存值是 Mem 項的 free 值加上 buffers 和 cached 值之和,也就是説,這個 free 值是包括 buffers 和 cached 項大小的,對於應用程式來説,buffers/cached 佔有的內存是可用的,因為 buffers/cached 是為了提高檔案讀取的效能,當應用程式需要用到內存的時候,buffers/cached 會很快地被回收,以供應用程式使用。
buffers 與 cached 的異同
在 Linux 操作系統中,當應用程式需要讀取檔案中的資料時,操作系統先分配一些內存,將資料從磁碟讀入到這些內存中,然後再將資料分發給應用程式;當需要往檔案中寫 資料時,操作系統先分配內存接收使用者資料,然後再將資料從內存寫到磁碟上。然而,如果有大量資料需要從磁碟讀取到內存或者由內存寫入磁碟時,系統的讀寫性 能就變得非常低下,因為無論是從磁碟讀資料,還是寫資料到磁碟,都是一個很消耗時間和資源的過程,在這種情況下,Linux 引入了 buffers 和 cached 機制。
buffers 與 cached 都是內存操作,用來儲存系統曾經開啓過的檔案以及檔案屬性資訊,這樣當操作系統需要讀取某些檔案時,會首先在 buffers 與 cached 內存區查詢,如果找到,直接讀出傳送給應用程式,如果沒有找到需要資料,才從磁碟讀取,這就是操作系統的 WordPress 加速緩存機制,通過緩 存,大大提高了操作系統的效能。但 buffers 與 cached 緩衝的內容卻是不同的。
buffers 是用來緩衝塊裝置做的,它只記錄檔案系統的後設資料(metadata)以及 tracking in-flight pages,而 cached 是用來給檔案做緩衝。更通俗一點説:buffers 主要用來存放目錄裏面有什麼內容,檔案的屬性以及許可權等等。而 cached 直接用來記憶我們開啓過的檔案和程式。
為了驗證我們的結論是否正確,可以通過 vi 開啓一個非常大的檔案,看看 cached 的變化,然後再次 vi 這個檔案,感覺一下兩次開啓的速度有何異同,是不是第二次開啓的速度明顯快於第一次呢?
接著執行下面的命令:
find /* -name *.conf
看看 buffers 的值是否變化,然後重複執行 find 命令,看看兩次顯示速度有何不同。
Linux 操作系統的內存執行原理,很大程度上是根據站羣服務器的需求來設計的,例如系統的緩衝機制會把經常使用到的檔案和資料 WordPress 加速緩存在 cached 中,linux 總是在力求 WordPress 加速緩存更多的資料和資訊,這樣再次需要這些資料時可以直接從內存中取,而不需要有一個漫長的磁碟操作,這種設計思路提高了系統的整 體效能。
參考:http://ixdba.blog.51cto.com/2895551/541355