这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天
1.自动内存管理
由程序语言在运行时系统回收动态内存。
动态内存:程序在运行时根据需求动态分配的的内存
1.1 三个任务
- 为新对象分配内存
- 找到存活对象
- 回收死亡对象的内存空间
1.2 相关基础概念
- Mutator:业务线程,分配新对象,修改对象指向关系。
- Collector:GC线程,找到存活对象,回收死亡对象的内存空间。
- Serial GC:只有一个collector
- Parallel GC:支持多个collector同时回收的GC算法
- Concurrent GC:mutator和collector可以同时执行(PS:collector必须感知对象指向关系的变化)
如何评价GC算法
- 安全性:不能回收存活的对象 基本要求
- 吞吐率:1- GC时间/程序执行总时间 花在GC上的时间
- 暂停时间:业务是否感知(执行时间长短)
- 内存开销:GC元数据开销(额外内存开销)
1.3 常用GC算法
一、追踪垃圾回收
- 对象被回收的条件:指针指向关系不可达的对象
- 标记根对象(从这里出发):静态变量、全局变量、常量、线程栈等
- 标记:找到可达对象(从根对象出发,找到所有可达对象)
- 清理:所有不可达对象
三种方式
- 将存活对象复制到另外的内存空间(Coping GC)
- 将死亡对象的内存标记为“可分配”(Mark-sweep GC)
- 移动并整理存活对象(Mark-compact GC)
根据对象的声明周期,使用不同的标记和清理策略(内存空间中存活和死亡对象谁多谁少)
二、分代GC(Generational GC)
- 分代假设:most objects die young(很多对象在分配出来后很快就不再使用)
- 每个对象都有年龄:经历过GC的次数
- 目的:对年轻和老年的对象,制定不同的GC策略,降低整体内存管理的开销(操作较少的部分)
- 不同年龄的对象处于heap的不同区域
年轻代
- 常规的对象分配
- 由于存活对象很少,所以采用Coping GC
- GC吞吐率很高
老年代
- 对象趋向于一直活着,反复复制开销较大
- 由于死亡对象很少,所以采用Mark-sweep GC
三、引用计数
- 每个对象都有一个与之关联的引用数目
- 对象存活的条件:当且仅当引用数大于0
优点:
- 内存管理的操作被平摊到程序执行过程中
- 内存管理不需要了解runtime的实现细节: C++智能指针(smart pointer)
缺点:
- 维护引用计数的开销较大:通过原子操作保证对用计数操作的原子性和可见性
- 无法回收环形数据结构一weak reference
- 内存开销:每个对象都引入的额外内存空间来存储引用数目
- 回收内存时依然可能引发暂停(需要回收的对象过多)
2.Go内存管理及优化
2.1 Go内存分配—分块
任务:为对象在heap上分配内存
提前将内存分块
- 调用系统调用mmap()向OS申请一大块内存,例如4 MB
- 先将内存划分成大块,例如8 KB,称作mspan
- 再将大块继续划分成特定大小的小块,用于对象分配
- noscan mspan:分配不包含指针的对象--GC不需要扫描
- scan mspan:分配包含指针的对象--GC需要扫描
- 对象分配:根据对象的大小,选择最合适的块返回
2.2 Go内存分配—缓存
借鉴TCMalloc(thread caching)的思想
2.3 Go内存管理优化
Why 内存优化?
- 对象分配是非常高频的操作:每秒分配GB级别的内存
- 小对象占比较高
Go内存分配比较耗时
- 分配路径长: g -> m -> p -> mcache -> mspan -> memory block -> return pointer
- pprof:对象分配的函数是最频繁调用的函数之一
How 内存优化?----- Balanced GC
本质:将多个小对象的分配合并成依次大对象的分配
- 每个g都绑定一大块内存(1 KB) , 称作goroutine allocation buffer (GAB)
- GAB用于noscan类型的小对象分配: < 128 B
- 使用三个指针维护GAB: base, end, top
Bump pointer (指针碰撞)风格对象分配
- 无须和其他分配请求互斥
- 分配动作简单高效
存在问题,当一个GAB中有一小块被占用时,GAB的其余空间都无法回收,造成浪费
解决方案:
- 当GAB总大小超过一定阈值时, 将GAB中存活的对象复制到另外分配的GAB中
- 原先的GAB可以释放,避免内存泄漏
- 本质:用copying GC的算法管理小对象