系統級性能分析工具 — Perf
從2.6.31內核開始，linux內核自帶了一個性能分析工具perf，能夠進行函數級與指令級的熱點查找。
perf
Performance analysis tools for Linux. Performance counters for Linux are a new kernel-based subsystem that provide a framework for all things performance analysis. It covers hardware level (CPU/PMU, Performance Monitoring Unit) features and software features (software counters, tracepoints) as well.
Perf是內置於Linux內核源碼樹中的性能剖析(profiling)工具。 它基於事件採樣原理，以性能事件為基礎，支持針對處理器相關性能指標與操作系統相關性能指標的性能剖析。 常用於性能瓶頸的查找與熱點代碼的定位。
CPU週期(cpu-cycles)是默認的性能事件，所謂的CPU週期是指CPU所能識別的最小時間單元，通常為億分之幾秒， 是CPU執行最簡單的指令時所需要的時間，例如讀取寄存器中的內容，也叫做clock tick。
Perf是一個包含22種子工具的工具集，以下是最常用的5種：
- perf-list
- perf-stat
- perf-top
- perf-record
- perf-report
perf-list
Perf-list用來查看perf所支持的性能事件，有軟件的也有硬件的。
List all symbolic event types.
perf list [hw | sw | cache | tracepoint | event_glob]
(1) 性能事件的分佈
- hw：Hardware event，9個
- sw：Software event，9個
- cache：Hardware cache event，26個
- tracepoint：Tracepoint event，775個
sw實際上是內核的計數器，與硬件無關。
hw和cache是CPU架構相關的，依賴於具體硬件。
tracepoint是基於內核的ftrace，主線2.6.3x以上的內核版本才支持。
(2) 指定性能事件(以它的屬性)
- -e
: u // userspace - -e
: k // kernel - -e
: h // hypervisor - -e
: G // guest counting (in KVM guests) - -e
: H // host counting (not in KVM guests)
(3) 使用例子
顯示內核和模塊中，消耗最多CPU週期的函數：
# perf top -e cycles:k
顯示分配高速緩存最多的函數：
# perf top -e kmem:kmem_cache_alloc
perf-top
對於一個指定的性能事件(默認是CPU週期)，顯示消耗最多的函數或指令。
System profiling tool.
Generates and displays a performance counter profile in real time.
perf top [-e
perf top主要用於實時分析各個函數在某個性能事件上的熱度，能夠快速的定位熱點函數，包括應用程序函數、
模塊函數與內核函數，甚至能夠定位到熱點指令。默認的性能事件為cpu cycles。
(1) 輸出格式
perf top
Samples: 1M of event 'cycles', Event count (approx.): 73891391490
5.44% perf [.] 0x0000000000023256
4.86% [kernel] [k] _spin_lock
2.43% [kernel] [k] _spin_lock_bh
2.29% [kernel] [k] _spin_lock_irqsave
1.77% [kernel] [k] __d_lookup
1.55% libc-2.12.so [.] __strcmp_sse42
1.43% nginx [.] ngx_vslprintf
1.37% [kernel] [k] tcp_poll
第一列：符號引發的性能事件的比例，默認指佔用的cpu週期比例。
第二列：符號所在的DSO(Dynamic Shared Object)，可以是應用程序、內核、動態鏈接庫、模塊。
第三列：DSO的類型。[.]表示此符號屬於用戶態的ELF文件，包括可執行文件與動態鏈接庫)。[k]表述此符號屬於內核或模塊。
第四列：符號名。有些符號不能解析為函數名，只能用地址表示。
(2) 常用交互命令
- h：顯示幫助 UP/DOWN/PGUP/PGDN/SPACE：上下和翻頁。
- a：annotate current symbol，註解當前符號。能夠給出彙編語言的註解，給出各條指令的採樣率。
- d：過濾掉所有不屬於此DSO的符號。非常方便查看同一類別的符號。
- P：將當前信息保存到perf.hist.N中。
(3) 常用命令行參數
- -e
：指明要分析的性能事件。 - -p
：Profile events on existing Process ID (comma sperated list). 僅分析目標進程及其創建的線程。 - -k
：Path to vmlinux. Required for annotation functionality. 帶符號表的內核映像所在的路徑。 - -K：不顯示屬於內核或模塊的符號。
- -U：不顯示屬於用戶態程序的符號。
- -d
：界面的刷新週期，默認為2s，因為perf top默認每2s從mmap的內存區域讀取一次性能數據。 - -G：得到函數的調用關係圖。
perf top -G [fractal]，路徑概率為相對值，加起來為100%，調用順序為從下往上。
perf top -G graph，路徑概率為絕對值，加起來為該函數的熱度。
(4) 使用例子
# perf top // 默認配置
# perf top -G // 得到調用關係圖
# perf top -e cycles // 指定性能事件
# perf top -p 23015,32476 // 查看這兩個進程的cpu cycles使用情況
# perf top -s comm,pid,symbol // 顯示調用symbol的進程名和進程號
# perf top --comms nginx,top // 僅顯示屬於指定進程的符號
# perf top --symbols kfree // 僅顯示指定的符號
perf-stat
用於分析指定程序的性能概況。
Run a command and gather performance counter statistics.
perf stat [-e <EVENT> | --event=EVENT] [-a] <command>
perf stat [-e <EVENT> | --event=EVENT] [-a] - <command> [<options>]
(1) 輸出格式
# perf stat ls
Performance counter stats for 'ls':
0.653782 task-clock # 0.691 CPUs utilized
0 context-switches # 0.000 K/sec
0 CPU-migrations # 0.000 K/sec
247 page-faults # 0.378 M/sec
1,625,426 cycles # 2.486 GHz
1,050,293 stalled-cycles-frontend # 64.62% frontend cycles idle
838,781 stalled-cycles-backend # 51.60% backend cycles idle
1,055,735 instructions # 0.65 insns per cycle
# 0.99 stalled cycles per insn
210,587 branches # 322.106 M/sec
10,809 branch-misses # 5.13% of all branches
0.000945883 seconds time elapsed
輸出包括ls的執行時間，以及10個性能事件的統計。
- task-clock：任務真正佔用的處理器時間，單位為ms。CPUs utilized = task-clock / time elapsed，CPU的佔用率。
- context-switches：上下文的切換次數。
- CPU-migrations：處理器遷移次數。Linux為了維持多個處理器的負載均衡，在特定條件下會將某個任務從一個CPU 遷移到另一個CPU。
- page-faults：缺頁異常的次數。當應用程序請求的頁面尚未建立、請求的頁面不在內存中，或者請求的頁面雖然在內 存中，但物理地址和虛擬地址的映射關係尚未建立時，都會觸發一次缺頁異常。另外TLB不命中，頁面訪問權限不匹配 等情況也會觸發缺頁異常。
- cycles：消耗的處理器週期數。如果把被ls使用的cpu cycles看成是一個處理器的，那麼它的主頻為2.486GHz。 可以用cycles / task-clock算出。
- stalled-cycles-frontend：略過。
- stalled-cycles-backend：略過。
- instructions：執行了多少條指令。IPC為平均每個cpu cycle執行了多少條指令。
- branches：遇到的分支指令數。branch-misses是預測錯誤的分支指令數。
(2) 常用參數
- -p：stat events on existing process id (comma separated list). 僅分析目標進程及其創建的線程。
- -a：system-wide collection from all CPUs. 從所有CPU上收集性能數據。
- -r：repeat command and print average + stddev (max: 100). 重複執行命令求平均。
- -C：Count only on the list of CPUs provided (comma separated list), 從指定CPU上收集性能數據。
- -v：be more verbose (show counter open errors, etc), 顯示更多性能數據。
- -n：null run - don't start any counters，只顯示任務的執行時間 。
- -x SEP：指定輸出列的分隔符。
- -o file：指定輸出文件，--append指定追加模式。
- --pre
：執行目標程序前先執行的程序。 - --post
：執行目標程序後再執行的程序。
(3) 使用例子
執行10次程序，給出標準偏差與期望的比值：
# perf stat -r 10 ls > /dev/null
顯示更詳細的信息：
# perf stat -v ls > /dev/null
只顯示任務執行時間，不顯示性能計數器：
# perf stat -n ls > /dev/null
單獨給出每個CPU上的信息：
# perf stat -a -A ls > /dev/null
ls命令執行了多少次系統調用：
# perf stat -e syscalls:sys_enter ls
perf-record
收集採樣信息，並將其記錄在數據文件中。 隨後可以通過其它工具(perf-report)對數據文件進行分析，結果類似於perf-top的。
Run a command and record its profile into perf.data. This command runs a command and gathers a performance counter profile from it, into perf.data, without displaying anything. This file can then be inspected later on, using perf report.
(1) 常用參數
- -e：Select the PMU event.
- -a：System-wide collection from all CPUs.
- -p：Record events on existing process ID (comma separated list).
- -A：Append to the output file to do incremental profiling.
- -f：Overwrite existing data file.
- -o：Output file name.
- -g：Do call-graph (stack chain/backtrace) recording.
- -C：Collect samples only on the list of CPUs provided.
(2) 使用例子
記錄nginx進程的性能數據：
# perf record -p `pgrep -d ',' nginx`
記錄執行ls時的性能數據：
# perf record ls -g
記錄執行ls時的系統調用，可以知道哪些系統調用最頻繁：
# perf record -e syscalls:sys_enter ls
perf-report
讀取perf record創建的數據文件，並給出熱點分析結果。
Read perf.data (created by perf record) and display the profile. This command displays the performance counter profile information recorded via perf record.
(1) 常用參數
- -i：Input file name. (default: perf.data)
(2) 使用例子
# perf report -i perf.data.2
More
除了以上5個常用工具外，還有一些適用於較特殊場景的工具， 比如內核鎖、slab分配器、調度器， 也支持自定義探測點。
perf-lock
內核鎖的性能分析。 Analyze lock events. perf lock {record | report | script | info}
需要編譯選項的支持：CONFIG_LOCKDEP、CONFIG_LOCK_STAT。 CONFIG_LOCKDEP defines acquired and release events. CONFIG_LOCK_STAT defines contended and acquired lock events.
(1) 常用選項
-i <file>：輸入文件
-k <value>：sorting key，默認為acquired，還可以按contended、wait_total、wait_max和wait_min來排序。
(2) 使用例子
# perf lock record ls // 記錄
# perf lock report // 報告
(3) 輸出格式
Name acquired contended total wait (ns) max wait (ns) min wait (ns)
&mm->page_table_... 382 0 0 0 0
&mm->page_table_... 72 0 0 0 0
&fs->lock 64 0 0 0 0
dcache_lock 62 0 0 0 0
vfsmount_lock 43 0 0 0 0
&newf->file_lock... 41 0 0 0 0
- Name：內核鎖的名字。
- aquired：該鎖被直接獲得的次數，因為沒有其它內核路徑佔用該鎖，此時不用等待。
- contended：該鎖等待後獲得的次數，此時被其它內核路徑佔用，需要等待。
- total wait：為了獲得該鎖，總共的等待時間。
- max wait：為了獲得該鎖，最大的等待時間。
- min wait：為了獲得該鎖，最小的等待時間。
最後還有一個Summary：
=== output for debug===
bad: 10, total: 246
bad rate: 4.065041 %
histogram of events caused bad sequence
acquire: 0
acquired: 0
contended: 0
release: 10
perf-kmem
slab分配器的性能分析。
Tool to trace/measure kernel memory(slab) properties.
perf kmem {record | stat} [
(1) 常用選項
- --i
：輸入文件 - --caller：show per-callsite statistics，顯示內核中調用kmalloc和kfree的地方。
- --alloc：show per-allocation statistics，顯示分配的內存地址。
- -l
：print n lines only，只顯示num行。 - -s
(2) 使用例子
# perf kmem record ls // 記錄
# perf kmem stat --caller --alloc -l 20 // 報告
(3) 輸出格式
------------------------------------------------------------------------------------------------------
Callsite | Total_alloc/Per | Total_req/Per | Hit | Ping-pong | Frag
------------------------------------------------------------------------------------------------------
perf_event_mmap+ec | 311296/8192 | 155952/4104 | 38 | 0 | 49.902%
proc_reg_open+41 | 64/64 | 40/40 | 1 | 0 | 37.500%
__kmalloc_node+4d | 1024/1024 | 664/664 | 1 | 0 | 35.156%
ext3_readdir+5bd | 64/64 | 48/48 | 1 | 0 | 25.000%
load_elf_binary+8ec | 512/512 | 392/392 | 1 | 0 | 23.438%
- Callsite：內核代碼中調用kmalloc和kfree的地方。
- Total_alloc/Per：總共分配的內存大小，平均每次分配的內存大小。
- Total_req/Per：總共請求的內存大小，平均每次請求的內存大小。
- Hit：調用的次數。
- Ping-pong：kmalloc和kfree不被同一個CPU執行時的次數，這會導致cache效率降低。
- Frag：碎片所佔的百分比，碎片 = 分配的內存 - 請求的內存，這部分是浪費的。
有使用--alloc選項，還會看到Alloc Ptr，即所分配內存的地址。 最後還有一個Summary：
SUMMARY
=======
Total bytes requested: 290544
Total bytes allocated: 447016
Total bytes wasted on internal fragmentation: 156472
Internal fragmentation: 35.003669%
Cross CPU allocations: 2/509
probe-sched
調度模塊分析。
trace/measure scheduler properties (latencies)
perf sched {record | latency | map | replay | script}
(1) 使用例子
# perf sched record sleep 10 // perf sched record <command>
# perf report latency --sort max
(2) 輸出格式
---------------------------------------------------------------------------------------------------------------
Task | Runtime ms | Switches | Average delay ms | Maximum delay ms | Maximum delay at |
---------------------------------------------------------------------------------------------------------------
events/10:61 | 0.655 ms | 10 | avg: 0.045 ms | max: 0.161 ms | max at: 9804.958730 s
sleep:11156 | 2.263 ms | 4 | avg: 0.052 ms | max: 0.118 ms | max at: 9804.865552 s
edac-poller:1125 | 0.598 ms | 10 | avg: 0.042 ms | max: 0.113 ms | max at: 9804.958698 s
events/2:53 | 0.676 ms | 10 | avg: 0.037 ms | max: 0.102 ms | max at: 9814.751605 s
perf:11155 | 2.109 ms | 1 | avg: 0.068 ms | max: 0.068 ms | max at: 9814.867918 s
- TASK：進程名和pid。
- Runtime：實際的運行時間。
- Switches：進程切換的次數。
- Average delay：平均的調度延遲。
- Maximum delay：最大的調度延遲。
- Maximum delay at：最大調度延遲發生的時刻。
perf-probe
可以自定義探測點。 Define new dynamic tracepoints.
使用例子
(1) Display which lines in schedule() can be probed
# perf probe --line schedule
前面有行號的可以探測，沒有行號的就不行了。
(2) Add a probe on schedule() function 12th line.
# perf probe -a schedule:12
在schedule函數的12處增加一個探測點。
Reference
[1]. Linux的系統級性能剖析工具系列，by 承剛
[2]. http://www.ibm.com/developerworks/cn/linux/l-cn-perf1/
[3]. http://www.ibm.com/developerworks/cn/linux/l-cn-perf2/
[4]. https://perf.wiki.kernel.org/index.php/Tutorial