原文地址：

推荐诊断 CheckLists:

img

1. 绪论

系统性能是对整个系统的研究，包括了所有的硬件组件和整个软件栈。所有数据路径上和软硬件上所发生的事情集合，因为这些都会影响性能。

1.1 通用系统软件栈

��������述

1.2 性能的事情列表

性能事件
设置性能目标和建立性能模型
基于软件和硬件原型，归纳出性能特征
对开发代码进行性能分析（软件整合之前）
执行软件非回归性测试（软件发布前或发布后）
针对软件发布版本的基准测试
目标环境中的概念验证测试
生产环境部署的配置优化
监控生产环境中运行的软件
特定问题的性能分析

1.3 两种性能分析视觉：资源分析和负载分析

性能术语**“容量规划”（capacity planning）**指的是一系列事前行动。在设计阶段，包括通过研究开发软件的资源占用情况，来得知原有设计在多大程度上能满足目标需求。在部署后，包括监控资源的使用情况，这样问题在出现之前就能预测到。

��������述

  • 资源分析指标：IPOS，吞吐量，使用率，饱和度
  • 工作负载指标：吞吐量和延时。

性能分析必须量化问题的重要与否程度，有一个指标很合适，叫做延时（latency）

动态跟踪技术把所有的软件变得可监控，而且能用于真实的生产环境中。这项技术利用内存中的 CPU 指令并在这些指令上动态构建检测数据。这样能从任何运行的软件中获取定制化的性能统计数据，从而提供远超系统自带统计所能给予的观测性。

DTrace 对用户态和内核态的软件都提供了静态跟踪和动态跟踪，并且数据是实时产生的。

1.4 受测系统

��������述

扰动（perturbation）是会影响结果的。扰动包括定时执行的系统活动，系统的其他用户以及其他的工作负载。现代环境的另一个困难是系统很可能由若干个网络化的组件组成，都用于处理输入工作负载，包括负载均衡，Web服务器，数据库服务器，应用程序服务器，以及存储系统。

1.5 排队系统

��������述

1.6 排队理论及使用率响应时间关系

平������使�����线

平������使�����线

1.7 方法

在取得数据之前就把事情理论化，是一个严重的错误。不理智的人歪曲事实来适应自己的理论，而不是通过修正理论来适应事实。

面对一个性能不佳，且有一定复杂程度的系统环境时，首先要知道的就是从什么地方开始分析，开始收集什么样的数据，以及如何分析数据。

1.7.1 通用的性能分析方法

��������述

��������述

  • 街灯讹方法：在熟悉的工具或流程中试错，比较盲目
  • Ad Hoc 核对清单法：保证所有人知道如何检查最糟糕的问题，覆盖全面，但必须保持清单及时更新
  • 诊断循环：假设——仪器检验——数据——假设
  • USE 方法：本书重点要讲的方法：对于所有资源，我们依次查看它的使用率，饱和度，错误。

��������述

2. 操作系统

了解操作系统和内核，对于系统性能分析是至关重要的。我们经常针对系统行为来开发和测试，如系统调用是如何执行的，CPU 是如何调度线程的，有限大小的内存是如何影响性能的，或者文件系统是如何处理 I/O 的。

这部分书中介绍了如下操作系统相关基本概念：

  • 内核：内核执行，时钟周期，内核态/用户态

  • 栈：用户栈和内核栈

  • 中断和中断线程

  • 中断优先级

  • 进程：进程创建，进程的生命周期，进程环境

  • 系统调用

  • 虚拟内存

  • 内存管理

  • 调度器

  • 文件系统：VFS, I/O 栈

  • 缓存（括号内表示例子）：

    • 应用程序缓存
    • 服务器缓存（Apache缓存）
    • 缓存服务器（Redis缓存）
    • 数据库缓存（MySQL缓冲区高速缓存）
    • 目录缓存（DNLC）
    • 文件元数据缓存（inode缓存）
    • 操作系统缓冲区高速缓存（segvn）
    • 文件系统主缓存（ZFS ARC）
    • 文件系统次级缓存（ZFS L2ARC）
    • 设备缓存（ZFS vdev）
    • 块缓存（缓冲区高速缓存）
    • 磁盘控制器缓存（RAID卡缓存）
    • 存储阵列缓存
    • 磁盘内置缓存

  • 网络

  • 设备驱动

  • 多处理器：CPU 交叉调用

  • 抢占 / 非抢占

  • 资源管理

  • 观测性

3. 观测工具

性能观测工具可以按照系统级别和进程级别来分类，多数工具要么基于计数器，要么基于跟踪：

��������述

3.1 计数器

操作系统内核中维护了各种统计数据，称为计数器，用于对事件计数。通常计数器实现为 unsigned int，发生事件时递增。

系统级的计数器有：

  • vmstat：虚拟内存和物理内存统计，系统级别
  • mpstat：每个 CPU 的使用情况
  • iostat：每个磁盘 I /O 的使用情况，由块设备接口报告
  • netstat：网络接口的统计，TCP/IP 栈的统计，以及每个连接的一些统计信息
  • sar：各种各样的统计，能归档历史数据

进程级别的计数器：

  • ps：进程状态，显示进程的各种统计信息，包括内存和 CPU 使用
  • top：按一个统计数据排序，显示排名高的进程
  • pmap：将进程的内存段和使用统计一起列出

一般来说，上述工具是从 /proc 文件系统里读取统计信息的

3.2 跟踪

跟踪收集每一个事件的数据以供分析。跟踪框架一般默认是不启用的，因为跟踪捕获数据会有 CPU 开销，另外还需要不小的存储空间来存放数据。

系统级别：

  • tcpdump：网络包跟踪（libpcap lib)
  • blktrace：块 I/O 跟踪
  • DTrace：跟踪内核的内部活动和所有资源的使用情况，支持静态和动态的跟踪
  • SystemTap：作用 = DTrace
  • perf：Linux 性能事件，跟踪动态和静态的指针

进程级别：

  • strace：系统调用跟踪
  • gbd：源码级别的调试器

4. 应用程序

性能调整离工作具体执行的地方越近越好，最好在应用程序里，包括 Web 服务器，应用服务器，负载均衡器，文件服务器等。

设立性能目标能为我们分析性能指明方向，并帮助我们做出选择。没有清晰的目标，性能分析容易沦为“一通乱撞”

常见指标：

  • 延时（latency）
  • 吞吐量
  • 资源使用率

应用程序性能技术：选择 I/O 尺寸，缓存，缓冲区，轮询（epoll），并发和并行，非阻塞 I/O，处理器绑定

5. CPU分析

5.1 CPU分析工具

��������述

5.2 CPU调优

  • 当前有多少 CPU 可用？是核吗？是硬件的线程？
  • CPU 架构是单架构还是多处理器架构
  • CPU 缓存大小是多少？是共享 CPU 吗？
  • CPU 的时钟频率是多少？是动态时钟吗？是否基于 BIOS ？
  • CPU 有其它特性？
  • CPU 勘误表上有硬件上的 bug 吗?
  • BIOS 版本有 bug 吗？
  • CPU 有使用软件的限制吗 ？

6. 内存分析

6.1 内存分析工具

��������述

6.2 内存调优

  • 主内存有多少？
  • 配置允许应用程序使用的内存大小？
  • 使用哪个分配器？
  • 主内存 I/O 速度？
  • 系统架构？ NUMA（共享存储器，物理上分布在所有处理机的本地存储器上的存储器） ? UMA（均匀存储器存取） ?
  • 内存总线大小？
  • 是否配置使用了大页面？
  • 是否支持和配置过度提交？
  • 使用了哪些内存可调参数？
  • 软件强制内存限制？

7. 文件系统分析

7.1 文件系统分析工具

��������述

7.2 文件系统调优

  • 当前挂载并使用的文件系统数量？
  • 文件系统记录大小？
  • 是否启用访问时间戳？
  • 是否有其他参数（压缩？加密？）
  • 缓存的大小？二级缓存？三级缓存？
  • 存储设备数量？配置如何？是否RAID ？
  • 何种文件系统？版本？
  • 是否启用 I/O 控制？

8. 磁盘分析

8.1 磁盘分析工具

��������述

8.2 磁盘性能调优

  • 磁盘数量？类型？
  • 磁盘的固件版本？
  • 多少个磁盘控制器？版本？接口类型？
  • 是否为调速插槽？
  • 是否配置了 RAID ?
  • 是否启用多路径？
  • 磁盘设备驱动？
  • 是否启用 I/O 控制？

9. 网络

网络通信是由一组协议栈组成的，其中每一层实现一个特定的目标：

��������述

一些网络通信和网络性能相关的概念：

  • 网络和路由

  • 协议

  • 封装

  • 包的长度

  • 延时

    • DNS 解析延时
    • ping 延时
    • 连接延时
    • 首字节延时
    • 往返时间
    • 连接生命周期

  • 缓冲

  • 连接积压队列

  • 接口协商

  • 使用率

  • 本地连接

对于日常检测来说，最常用的还是各种工具，比如：

��������述

  • netstat -s：查找高流量的重新传输和乱序数据包
  • nestat -i：检查接口的错误计数器
  • ifconfig：检查“错误”，“丢弃”，“超限”
  • ip(8)：检查传输和接收的字节率
  • tcpdump/snoop：尽管需要大量的 CPU 开销，短期使用可能就足以发现谁在使用网络并定位和消除不必要的网络 I/O 开销
  • dtrace / stap /perf：用来检查包括内核状态在内的应用程序与线路间选中的数据

10. 云计算 & 基准测试

略。

11 术语

11.1 方法

  • IOPS：每秒发生的输入 / 输出操作的次数。是度量数据传输的一个指标，对磁盘的读写，IOPS 指的是每秒读写的次数
  • 吞吐量：评价工作执行效率的指标。尤其在数据传输方面，吞吐量用于描述数据传输速度。在某些情况下比如如数据库，吞吐量指的是操作的速度（每秒操作数或每秒业务数）
  • 响应事件：一次操作完成的事件。包括用于等待和服务的事件，也包括用来返回结果的时间。
  • 延时（latency）：描述操作里用来等待服务的事件。在某些情况下，它可以指整个操作时间，等同于响应时间
  • 使用率：对于服务器所请求的资源，使用率描述在所给定的时间区间内，资源使用的繁忙程度。对于存储资源来说，使用率指的是所消耗的存储容量（例如内存使用率）
  • 饱和度：指的是某一资源无法满足服务的排队工作量
  • 瓶颈：在系统性能力，瓶颈指的是限制系统性能的那个资源。分辨和移除系统瓶颈是性能分析的重要工作
  • 工作负载：系统的输入或对系统施加的负载叫做工作负载。对于数据库来说，工作负载指的是客户端发出的数据库请求和命令
  • 缓存：用于复制或缓冲一定量数据的高速存储区域。目的是为了避免对较慢的存储层级的直接访问。从而提高性能。

11.2 操作系统

  • 操作系统：这里指的是安装在系统上的软件和文件，使得系统可以启动和运行程序。操作系统包括内核，管理工具以及系统库
  • 内核：内核是管理系统的程序，包括设备（硬件），内核和 CPU 调度。它运行在 CPU 的特权模式，允许直接访问硬件，成为内核态
  • 进程：是一个操作系统的抽象概念，是用来执行程序的环境。程序通常运行在用户模式，通过系统调用或陷阱来进入内核模式
  • 线程：可被调度的，运行在 CPU 上的可执行上下文。内核有多个线程，一个进程包含一或多个线程
  • 任务：一个 Linux 的可运行实体。可以指一个进程（包括单线程进程），一个多线程进程中的一个线程，或内核线程
  • 内核空间：内核的内存地址空间
  • 用户空间：进程的内存地址空间
  • 上下文切换：内核程序切换 CPU ，让其在不同的地址空间上做操作
  • 系统调用：一套明确定义的协议，为用户程序请求内核执行特权操作，包括设备 I/O
  • 陷阱：信号发送到内核，请求执行一段系统程序（特权操作）。陷阱类型包括系统调用，处理器异常，中断。
  • 中断：由物理设备发送给内核的信号，通常是请求 I/O 服务。

12 USE 法 Linux 检查清单

��������述

��������述

��������述

12.1 软件资源

��������述

��������述