安基網 首頁 系統 Linux 查看內容

Linux性能調優那些事兒

2019-11-4 09:30| 投稿: xiaotiger |來自: 互聯網


免責聲明:本站系公益性非盈利IT技術普及網,本文由投稿者轉載自互聯網的公開文章,文末均已注明出處,其內容和圖片版權歸原網站或作者所有,文中所述不代表本站觀點,若有無意侵權或轉載不當之處請從網站右下角聯系我們處理,謝謝合作!

摘要: 我們可以在文章的開始就列出一個列表,列出可能影響Linux操作系統性能的一些調優參數,但這樣做其實并沒有什么價值。因為性能調優是一個非常困難的任務,它要求對硬件、操作系統、和 ...
作者:turkeyzhou
來源:https://blog.csdn.net/turkeyzhou/article/details/6704524

Linux性能調優那些事兒

01

一、前提

我們可以在文章的開始就列出一個列表,列出可能影響Linux操作系統性能的一些調優參數,但這樣做其實并沒有什么價值。因為性能調優是一個非常困難的任務,它要求對硬件、操作系統、和應用都有著相當深入的了解。如果性能調優非常簡單的話,那些我們要列出的調優參數早就寫入硬件的微碼或者操作系統中了,我們就沒有必要再繼續讀這篇文章了。正如下圖所示,服務器的性能受到很多因素的影響。

當面對一個使用單獨IDE硬盤的,有20000用戶的數據庫服務器時,即使我們使用數周時間去調整I/O子系統也是徒勞無功的,通常一個新的驅動或者應用程序的一個更新(如SQL優化)卻可以使這個服務器的性能得到明顯的提升。正如我們前面提到的,不要忘記系統的性能是受多方面因素影響的。理解操作系統管理系統資源的方法將幫助我們在面對問題時更好的判斷應該對哪個子系統進行調整。

02

二、Linux的CPU調度

任何計算機的基本功能都十分簡單,那就是計算。為了實現計算的功能就必須有一個方法去管理計算資源、處理器和計算任務(也被叫做線程或者進程)。非常感謝Ingo Molnar,他為Linux內核帶來了O(1)CPU調度器,區別于舊有的O(n)調度器,新的調度器是動態的,可以支持負載均衡,并以恒定的速度進行操作。

新調度器的可擴展性非常好,無論進程數量或者處理器數量,并且調度器本身的系統開銷更少。新調取器的算法使用兩個優先級隊列。

�9�9活動運行隊列

�9�9過期運行隊列

調度器的一個重要目標是根據優先級權限有效地為進程分配CPU 時間片,當分配完成后它被列在CPU的運行隊列中,除了 CPU 的運行隊列之外,還有一個過期運行隊列。當活動運行隊列中的一個任務用光自己的時間片之后,它就被移動到過期運行隊列中。在移動過程中,會對其時間片重新進行計算。如果活動運行隊列中已經沒有某個給定優先級的任務了,那么指向活動運行隊列和過期運行隊列的指針就會交換,這樣就可以讓過期優先級列表變成活動優先級的列表。通常交互式進程(相對與實時進程而言)都有一個較高的優先級,它占有更長的時間片,比低優先級的進程獲得更多的計算時間,但通過調度器自身的調整并不會使低優先級的進程完全被餓死。新調度器的優勢是顯著的改變Linux內核的可擴展性,使新內核可以更好的處理一些有大量進程、大量處理器組成的企業級應用。新的O(1)調度器包含仔2.6內核中,但是也向下兼容2.4內核。



調度器另外一個重要的優勢是體現在對NUMA(non-uniform memory architecture)和SMP(symmetric multithreading processors)的支持上,例如[email protected]的超線程技術

改進的NUMA支持保證了負載均衡不會發生在CECs或者NUMA節點之間,除非發生一個節點的超出負載限度

03

三、Linux的內存架構

今天我們面對選擇32位操作系統還是64位操作系統的情況。對企業級用戶它們之間最大的區別是64位操作系統可以支持大于4GB的內存尋址。從性能角度來講,我們需要了解32位和64位操作系統都是如何進行物理內存和虛擬內存的映射的。



在上面圖示中我們可以看到64位和32位Linux內核在尋址上有著顯著的不同。

在32位架構中,比如IA-32,Linux內核可以直接尋址的范圍只有物理內存的第一個GB(如果去掉保留部分還剩下896MB),訪問內存必須被映射到這小于1GB的所謂ZONE_NORMAL空間中,這個操作是由應用程序完成的。但是分配在ZONE_HIGHMEM中的內存頁將導致性能的降低。

在另一方面,64位架構比如x86-64(也稱作EM64T或者AMD64)。ZONE_NORMAL空間將擴展到64GB或者128GB(實際上可以更多,但是這個數值受到操作系統本身支持內存容量的限制)。正如我們看到的,使用64位操作系統我們排除了因ZONE_HIGHMEM部分內存對性能的影響的情況。

實際中,在32位架構下,由于上面所描述的內存尋址問題,對于大內存,高負載應用,會導致死機或嚴重緩慢等問題。雖然使用hugemen核心可緩解,但采取x86_64架構是最佳的解決辦法。

04

四、虛擬內存管理

因為操作系統將內存都映射為虛擬內存,所以操作系統的物理內存結構對用戶和應用來說通常都是不可見的。如果想要理解Linux系統內存的調優,我們必須了解Linux的虛擬內存機制。應用程序并不分配物理內存,而是向Linux內核請求一部分映射為虛擬內存的內存空間。如下圖所示虛擬內存并不一定是映射物理內存中的空間,如果應用程序有一個大容量的請求,也可能會被映射到在磁盤子系統中的swap空間中。



另外要提到的是,通常應用程序不直接將數據寫到磁盤子系統中,而是寫入緩存和緩沖區中。Bdflush守護進程將定時將緩存或者緩沖區中的數據寫到硬盤上。

Linux內核處理數據寫入磁盤子系統和管理磁盤緩存是緊密聯系在一起的。相對于其他的操作系統都是在內存中分配指定的一部分作為磁盤緩存,Linux處理內存更加有效,默認情況下虛擬內存管理器分配所有可用內存空間作為磁盤緩存,這就是為什么有時我們觀察一個配置有數G內存的Linux系統可用內存只有20MB的原因。

同時Linux使用swap空間的機制也是相當高效率的,如上圖所示虛擬內存空間是由物理內存和磁盤子系統中的swap空間共同組成的。如果虛擬內存管理器發現一個已經分配完成的內存分頁已經長時間沒有被調用,它將把這部分內存分頁移到swap空間中。經常我們會發現一些守護進程,比如getty,會隨系統啟動但是卻很少會被應用到。這時為了釋放昂貴的主內存資源,系統會將這部分內存分頁移動到swap空間中。上述就是Linux使用swap空間的機制,當swap分區使用超過50%時,并不意味著物理內存的使用已經達到瓶頸了,swap空間只是Linux內核更好的使用系統資源的一種方法。

簡單理解:Swap usage只表示了Linux管理內存的有效性。對識別內存瓶頸來說,Swap In/Out才是一個比較又意義的依據,如果Swap In/Out的值長期保持在每秒200到300個頁面通常就表示系統可能存在內存的瓶頸。下面的事例是好的狀態:

05

五、模塊化的I/O調度器

就象我們知道的Linux2.6內核為我們帶來了很多新的特性,這其中就包括了新的I/O調度機制。舊的2.4內核使用一個單一的I/O調度器,2.6 內核為我們提供了四個可選擇的I/O調度器。因為Linux系統應用在很廣闊的范圍里,不同的應用對I/O設備和負載的要求都不相同,例如一個筆記本電腦和一個10000用戶的數據庫服務器對I/O的要求肯定有著很大的區別。

(1)Anticipatory

anticipatory I/O調度器創建假設一個塊設備只有一個物理的查找磁頭(例如一個單獨的SATA硬盤),正如anticipatory調度器名字一樣,anticipatory調度器使用“anticipatory”的算法寫入硬盤一個比較大的數據流代替寫入多個隨機的小的數據流,這樣有可能導致寫 I/O操作的一些延時。這個調度器適用于通常的一些應用,比如大部分的個人電腦。

(2)Complete Fair Queuing (CFQ)

Complete Fair Queuing(CFQ)調度器是Red Flag DC Server 5使用的標準算法。CFQ調度器使用QoS策略為系統內的所有任務分配相同的帶寬。CFQ調度器適用于有大量計算進程的多用戶系統。它試圖避免進程被餓死和實現了比較低的延遲。

(3)Deadline

deadline調度器是使用deadline算法的輪詢的調度器,提供對I/O子系統接近實時的操作,deadline調度器提供了很小的延遲和維持一個很好的磁盤吞吐量。如果使用deadline算法請確保進程資源分配不會出現問題。

(4)NOOP

NOOP調度器是一個簡化的調度程序它只作最基本的合并與排序。與桌面系統的關系不是很大,主要用在一些特殊的軟件與硬件環境下,這些軟件與硬件一般都擁有自己的調度機制對內核支持的要求很小,這很適合一些嵌入式系統環境。作為桌面用戶我們一般不會選擇它。

06

六、網絡子系統

新的網絡中斷緩和(NAPI)對網絡子系統帶來了改變,提高了大流量網絡的性能。Linux內核在處理網絡堆棧時,相比降低系統占用率和高吞吐量更關注可靠性和低延遲。所以在某些情況下,Linux建立一個防火墻或者文件、打印、數據庫等企業級應用的性能可能會低于相同配置的Windows服務器。

在傳統的處理網絡封包的方式中,如下圖藍色箭頭所描述的,一個以太網封包到達網卡接口后,如果MAC地址相符合會被送到網卡的緩沖區中。網卡然后將封包移到操作系統內核的網絡緩沖區中并且對CPU發出一個硬中斷,CPU會處理這個封包到相應的網絡堆棧中,可能是一個TCP端口或者Apache應用中。



這是一個處理網絡封包的簡單的流程,但從中我們可以看到這個處理方式的缺點。正如我們看到的,每次適合網絡封包到達網絡接口都將對CPU發出一個硬中斷信號,中斷CPU正在處理的其他任務,導致切換動作和對CPU緩存的操作。你可能認為當只有少量的網絡封包到達網卡的情況下這并不是個問題,但是千兆網絡和現代的應用將帶來每秒鐘成千上萬的網絡數據,這就有可能對性能造成不良的影響。

正是因為這個情況,NAPI在處理網絡通訊的時候引入了計數機制。對第一個封包,NAPI以傳統的方式進行處理,但是對后面的封包,網卡引入了POLL 的輪詢機制:如果一個封包在網卡DMA環的緩存中,就不再為這個封包申請新的中斷,直到最后一個封包被處理或者緩沖區被耗盡。這樣就有效的減少了因為過多的中斷CPU對系統性能的影響。同時,NAPI通過創建可以被多處理器執行的軟中斷改善了系統的可擴展性。NAPI將為大量的企業級多處理器平臺帶來幫助,它要求一個啟用NAPI的驅動程序。在今天很多驅動程序默認沒有啟用NAPI,這就為我們調優網絡子系統的性能提供了更廣闊的空間。

07

七、理解Linux調優參數

因為Linux是一個開源操作系統,所以又大量可用的性能監測工具。對這些工具的選擇取決于你的個人喜好和對數據細節的要求。所有的性能監測工具都是按照同樣的規則來工作的,所以無論你使用哪種監測工具都需要理解這些參數。下面列出了一些重要的參數,有效的理解它們是很有用處的。

(1)處理器參數

�9�9CPU utilization

這是一個很簡單的參數,它直觀的描述了每個CPU的利用率。在xSeries架構中,如果CPU的利用率長時間的超過80%,就可能是出現了處理器的瓶頸。

�9�9Runable processes

這個值描述了正在準備被執行的進程,在一個持續時間里這個值不應該超過物理CPU數量的10倍,否則CPU方面就可能存在瓶頸。

�9�9Blocked

描述了那些因為等待I/O操作結束而不能被執行的進程,Blocked可能指出你正面臨I/O瓶頸。

�9�9User time

描述了處理用戶進程的百分比,包括nice time。如果User time的值很高,說明系統性能用在處理實際的工作。

�9�9System time

描述了CPU花費在處理內核操作包括IRQ和軟件中斷上面的百分比。如果system time很高說明系統可能存在網絡或者驅動堆棧方面的瓶頸。一個系統通常只花費很少的時間去處理內核的操作。

�9�9Idle time

描述了CPU空閑的百分比。

�9�9Nice time

描述了CPU花費在處理re-nicing進程的百分比。

�9�9Context switch

系統中線程之間進行交換的數量。

�9�9Waiting

CPU花費在等待I/O操作上的總時間,與blocked相似,一個系統不應該花費太多的時間在等待I/O操作上,否則你應該進一步檢測I/O子系統是否存在瓶頸。

�9�9Interrupts

Interrupts 值包括硬Interrupts和軟Interrupts,硬Interrupts會對系統性能帶來更多的不利影響。高的Interrupts值指出系統可能存在一個軟件的瓶頸,可能是內核或者驅動程序。注意Interrupts值中包括CPU時鐘導致的中斷(現代的xServer系統每秒1000個 Interrupts值)。

(2)內存參數

�9�9Free memory

相比其他操作系統,Linux空閑內存的值不應該做為一個性能參考的重要指標,因為就像我們之前提到過的,Linux內核會分配大量沒有被使用的內存作為文件系統的緩存,所以這個值通常都比較小。

�9�9Swap usage

這 個值描述了已經被使用的swap空間。Swap usage只表示了Linux管理內存的有效性。對識別內存瓶頸來說,Swap In/Out才是一個比較又意義的依據,如果Swap In/Out的值長期保持在每秒200到300個頁面通常就表示系統可能存在內存的瓶頸。

�9�9Buffer and cache

這個值描述了為文件系統和塊設備分配的緩存。在Red Flag DC Server 5版本中,你可以通過修改/proc/sys/vm中的page_cache_tuning來調整空閑內存中作為緩存的數量。

�9�9Slabs

描述了內核使用的內存空間,注意內核的頁面是不能被交換到磁盤上的。

�9�9Active versus inactive memory

提供了關于系統內存的active內存信息,Inactive內存是被kswapd守護進程交換到磁盤上的空間。

(3)網絡參數

�9�9Packets received and sent

這個參數表示了一個指定網卡接收和發送的數據包的數量。

�9�9Bytes received and sent

這個參數表示了一個指定網卡接收和發送的數據包的字節數。

�9�9Collisions per second

這個值提供了發生在指定網卡上的網絡沖突的數量。持續的出現這個值代表在網絡架構上出現了瓶頸,而不是在服務器端出現的問題。在正常配置的網絡中沖突是非常少見的,除非用戶的網絡環境都是由hub組成。

�9�9Packets dropped

這個值表示了被內核丟掉的數據包數量,可能是因為防火墻或者是網絡緩存的缺乏。

�9�9Overruns

Overruns表達了超出網絡接口緩存的次數,這個參數應該和packets dropped值聯系到一起來判斷是否存在在網絡緩存或者網絡隊列過長方面的瓶頸。

�9�9Errors 這個值記錄了標志為失敗的幀的數量。這個可能由錯誤的網絡配置或者部分網線損壞導致,在銅口千兆以太網環境中部分網線的損害是影響性能的一個重要因素。

(4)塊設備參數

�9�9Iowait

CPU等待I/O操作所花費的時間。這個值持續很高通常可能是I/O瓶頸所導致的。

�9�9Average queue length

I/O請求的數量,通常一個磁盤隊列值為2到3為最佳情況,更高的值說明系統可能存在I/O瓶頸。

�9�9Average wait

響應一個I/O操作的平均時間。Average wait包括實際I/O操作的時間和在I/O隊列里等待的時間。

�9�9Transfers per second

描述每秒執行多少次I/O操作(包括讀和寫)。Transfers per second的值與kBytes per second結合起來可以幫助你估計系統的平均傳輸塊大小,這個傳輸塊大小通常和磁盤子系統的條帶化大小相符合可以獲得最好的性能。

�9�9Blocks read/write per second

這個值表達了每秒讀寫的blocks數量,在2.6內核中blocks是1024bytes,在早些的內核版本中blocks可以是不同的大小,從512bytes到4kb。

�9�9Kilobytes per second read/write

按照kb為單位表示讀寫塊設備的實際數據的數量。



小編推薦:欲學習電腦技術、系統維護、網絡管理、編程開發和安全攻防等高端IT技術,請 點擊這里 注冊賬號,公開課頻道價值萬元IT培訓教程免費學,讓您少走彎路、事半功倍,好工作升職加薪!

本文出自:https://www.toutiao.com/a6754695040070599176/

免責聲明:本站系公益性非盈利IT技術普及網,本文由投稿者轉載自互聯網的公開文章,文末均已注明出處,其內容和圖片版權歸原網站或作者所有,文中所述不代表本站觀點,若有無意侵權或轉載不當之處請從網站右下角聯系我們處理,謝謝合作!


鮮花

握手

雷人
1

路過

雞蛋

剛表態過的朋友 (1 人)

相關閱讀

最新評論

 最新
返回頂部
湖北快3 购买技巧