PostgreSQL技术大讲堂 - 第23讲：缓冲区管理器

时间：2023-07-20 来源：

PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。

第23讲：缓冲区管理器

内容1 : 缓冲区概述

内容2 : 缓冲区管理器结构

内容3 : 缓冲区管理器锁

内容4 : 缓冲区管理器如何工作

内容5 : 环形缓冲区

内容6 : 脏块写

缓冲区概述

· 缓冲区结构(存放各种类型的数据块)

    数据文件页—表和索引块

    可用空间地图块

    可见性地图块

    缓冲区数组索引--buffer_ids

· Buffer Tag结构

    RelFileNode (分别为表对象oid、数据库oid、表空间oid)

    页面的fork number (分别为0、1、2)

    页面number 示例：

    缓冲区标记{(16821、16384、37721)、0、7}

    1、标识第七个块中的页

    2、其关系的OID和fork号分别为37721和0(0即为存放表数据的文件)

    3、该块存放在OID为16384的数据库中，表空间的OID为16821

· Backend进程读数据块到缓冲区

· 写脏块

    下面进程工作时会导致脏块写：

    · Checkpointer

    · background writer

缓冲区管理器结构

· 管理器结构

· 第一层(Buffer Table)

    在这一层内置的hash函数将buffer_tags映射到插槽，插槽中记录了buffer_tags和描述层的buffer_id的映射关系。

· 第二层(Buffer Descriptor)

    描述层包含了很多重要的信息，包括buffer_tag与缓冲池插槽id的映射关系，访问次数统计，锁等信息。

    · Tag

     · buffer_id

     · refcount (被进程访问过一次加一，被时钟扫描过后减一，为零时可用)

     · usage_count

     · context_lock and io_in_progress_lock

     · Flags

     dirty bit

             valid bit

         io_in_progress bit

     · freeNext

· Buffer Descriptors Layer (Loading the first page)

    先请求一个缓冲区空间，buffer table层把描述层的buffer_id与buffer_tag进行映射;然后在描述层把buffer_tag与缓冲区id进行映射;最后把数据块读到相应的缓冲区槽中。

· 第三层(Buffer Pool)

    缓冲池是存储数据文件页(如表和索引)的简单数组。缓冲池数组的索引称为buffer_ids。

    缓冲池被分割成大小为8 KB的插槽，等于页面大小。因此，每个槽可以存储整个页面。缓冲区管理器锁

· Buffer Manager Locks

    缓冲区管理器为许多不同的目的使用许多锁

    锁是缓冲区管理器同步机制的一部分;它们与任何SQL语句和SQL选项都不相关

· Buffer Table 层的锁

    BufMappingLock保护整个缓冲表的数据完整性。它是一个轻量锁，可以在共享和独占模式下使用。在缓冲区表中搜索条目时，后端进程保存共享的BufMappingLock。当插入或删除条目时，后端进程持有独占锁。

· Buffer Descriptor 层锁

    每个缓冲区描述符使用两个轻量级锁

        · content_lock

        · io_in_progress_lock

· content_lock

content_lock是一种典型的强制访问限制的锁。它可以用于共享和独占模式。

当执行下列操作之一时，将获取独占内容锁：

· dml操作

· 物理删除元组或压缩存储页上的可用空间(vacuum和HOT处理)

· 冻结存储页中的元组

· io_in_progress_lock

    io_in_progress锁用于等待缓冲区上的I/O完成。当PostgreSQL进程从存储器加载/写入页面数据时，该进程在访问存储器时持有相应描述符的独占io_in_progress锁。

· spinlock

    下面显示如何固定缓冲区描述符：

    1、获取缓冲区描述符的自旋锁。

    2、将其refcount和usage_count的值增加1。

    3、松开旋转锁。

    下面显示如何将脏位设置为“1”：

    1、获取缓冲区描述符的自旋锁。

    2、使用按位操作将脏位设置为“1”。

    3、松开旋转锁。

缓冲区管理器如何工作

· 访问已存放在缓冲区中的数据块

· 加载数据块到空的缓冲池插槽

· 加载数据块到一个需要释放的缓冲池插槽

· 缓冲区块替换机制

    替换页面算法

        · 时钟扫描(8.1开始及以后的版本)

        · LRU算法(8.1以前的版本)

· 时钟扫描算法

    缓冲区描述符显示为蓝色或青色框，框中的数字显示每个描述符的使用计数，每扫描一次则减一，缓冲区每被访问过一次则加一。

Ring Buffer

· Ring Buffer

· Bulk-reading

    需要大块的缓冲池时，如果扫描缓冲池时其大小超过(共享缓冲区/4)四分之一的空间时，还没有找到足够的缓冲池，则分配256KB环形缓冲区。

· Bulk-writing

    执行下面列出的SQL命令时。在这种情况下，环缓冲区大小为16MB。

        COPY FROM command.

        CREATE TABLE AS command.

        CREATE MATERIALIZED VIEW or REFRESH MATERIALIZED VIEW command.

        ALTER TABLE command.

· Vacuum-processing

    当自动真空机进行真空处理时。在这种情况下，环缓冲区大小为256 KB。

脏块写

· Flushing Dirty Pages

    检查点进程和后台写入进程将脏页刷新到存储区，检查点与后台写进程分离。

    检查点进程将检查点记录写入WAL段文件，并在检查点启动时刷新脏页。

    后台写进程的作用是减少检查点密集写的影响。后台写进程持续一点一点地刷新脏页，对数据库活动的影响最小。

    默认情况下，后台写入程序每200毫秒唤醒一次(由bgwriter_delay定义)，并最多刷新为100页(由bgwriter_lru_maxpages 定义)

共享池缓冲区参数设置

· 共享缓冲区相关参数

    shared_buffers参数设置 show shared_buffers;

    Alter system set shared_buffers=256M;

    wal_buffers参数设置 show wal_buffers;

    Alter system set wal_buffers =4M;

    effective_cache_size 参数设置 show effective_cache_size;

    提供可用于磁盘高速缓存的内存量的估计值。它只是一个建议值，而不是确切分配的内存或缓存大小。它不会实际分配内存，而是会告知优化器内核中可用的缓存量。在一个索引的代价估计中，更高的数值会使得索引扫描更可能被使用，更低的数值会使得顺序扫描更可能被使用。在设置这个参数时，还应该考虑PostgreSQL的共享缓冲区以及将被用于PostgreSQL数据文件的内核磁盘缓冲区。默认值是4GB。

以上就是【PostgreSQL从小白到专家】第23讲 - 缓冲区管理  的内容，欢迎一起探讨交流钉钉交流群：35，82，24，60，往期视频及文档内容联系CUUG