berkeley DB

[翻译]Berkeley DB内存池相关API-- 8. DB_ENV->set_mp_max_write

Linkman的学习记录 — Thu, 18 Jan 2007 13:46:00 GMT

DB_ENV->set_mp_max_write

#include <db.h>

int

DB_ENV->set_mp_max_write(DB_ENV *env, int maxwrite, int maxwrite_sleep);

int

DB_ENV->get_mp_max_write(DB_ENV *env, int *maxwritep, int *maxwrite_sleepp);

描述： DB_ENV->set_mp_max_write

DB_ENV->set_mp_max_write 方法限定了将脏页从缓冲区写回文件的顺序写操作数量。

DB_ENV->set_mp_max_write 方法返回非0的错误值，0表示成功。

参数

maxwrite

将脏页从缓冲区写回文件的顺序写操作数量的最大值，0表示不限制。

maxwrite_sleep

在线程进行新的写操作前需要休眠的毫秒数。

错误

DB_ENV->set_mp_max_write 方法可能失败，返回如下非0值：

EINVAL

标志或参数非法

描述： DB_ENV->get_mp_max_write

DB_ENV->get_mp_max_write 方法返回将脏页从缓冲区写回文件的顺序写操作数量，以及等待的时间。

DB_ENV->get_mp_max_write 方法可以在应用程序的生命周期的任何时间被调用。

DB_ENV->get_mp_max_write 方法返回非0的错误值，0表示成功。

参数

maxwritep

将脏页从缓冲区写回文件的顺序写操作数量的最大值。

maxwrite_sleepp

在线程进行新的写操作前需要休眠的毫秒数。

类

DB_ENV, DB_MPOOLFILE

另见

内存池和相关方法

[翻译]Berkeley DB内存池相关API-- 7. DB_ENV->set_mp_max_openfd

Linkman的学习记录 — Thu, 18 Jan 2007 13:44:00 GMT

DB_ENV->set_mp_max_openfd

#include <db.h>

int

DB_ENV->set_mp_max_openfd(DB_ENV *env, int maxopenfd);

int

DB_ENV->get_mp_max_openfd(DB_ENV *env, int *maxopenfdp);

描述： DB_ENV->set_mp_max_openfd

DB_ENV->set_mp_max_openfd 方法限定了缓冲区并发打开的文件数。

DB_ENV->set_mp_max_openfd 方法返回非0的错误值，0表示成功。

参数

maxopenfd

将页刷回文件时的缓冲区并发打开的文件数最大数。

错误

DB_ENV->set_mp_max_openfd 方法可能失败，返回如下非0值：

EINVAL

标志或参数非法

描述： DB_ENV->get_mp_max_openfd

DB_ENV->get_mp_max_openfd 方法返回打开的最大文件数。

DB_ENV->get_mp_max_openfd 方法可以在应用程序的生命周期的任何时间被调用。

DB_ENV->get_mp_max_openfd 方法返回非0的错误值，0表示成功。

参数

maxopenfdp

DB_ENV->get_mp_max_openfd 方法maxopenfdp返回打开的最大文件数。

类

DB_ENV, DB_MPOOLFILE

另见

内存池和相关方法

[翻译]Berkeley DB内存池相关API-- 6. DB_ENV->set_cachesize

Linkman的学习记录 — Thu, 18 Jan 2007 13:42:00 GMT

DB_ENV->set_cachesize

#include <db.h>

int

DB_ENV->set_cachesize(DB_ENV *dbenv,

u_int32_t gbytes, u_int32_t bytes, int ncache);

int

DB_ENV->get_cachesize(DB_ENV *dbenv,

u_int32_t *gbytesp, u_int32_t *bytesp, int *ncachep);

描述： DB_ENV->set_cachesize

设置共享内存缓冲池的尺寸。缓冲区的尺寸应当满足应用程序的正常工作需要的工作集，还需要为特殊情况下预留一些尺寸。（注意：工作集与同时访问的页面数的概念不一样，工作集一般情况下要大得多）

缺省的缓冲区尺寸是256KB，不能够小于20KB。所有小于500MB的缓冲区被自动增加25%的大小。而尺寸大于500MB则精确指定。在32位的操作系统中，最大的单个缓冲区的尺寸为4GB，而在64位系统上，值为10TB。（所有的尺寸都是2的幂，比如，256KB是2的18次幂而不是256000）。为了详细了解Berkeley BD如何应如何调整缓冲区尺寸，请见“选缓冲区尺寸”。

可能在某些架构和操作系统上，Berkeley DB不能申请连续的大尺寸缓冲区。比如，在某些版本的Solaris上处理器就限制了能被申请的连续空间的尺寸。如果ncache是0或1，则缓冲区将被申请为一段连续的空间，如果大于1，则缓冲区被平分为数量为ncache的多块内存。

数据库环境的缓冲区尺寸还可以通过环境配置文件DB_CONFIG进行配置。在该文件中以字符串“set_cachesize”开始，一个或多个空格字符，而缓冲区尺寸包括以下三部分：缓冲区的GB部分、字节部分、以及块数，同样由空格隔开。例如： “set_cachesize 2 524288000 3” 应当建立一个2.5GB的逻辑缓冲区，缓冲区被分为3个物理块。因为DB_CONFIG文件是在数据库环境被打开时读入，它将覆盖那些在它之前执行的配置过程。

DB_ENV->set_cachesize 方法配置数据库环境，而不是只处理由DB_ENV 指定的句柄。

DB_ENV->set_cachesize 方法在DB_ENV->open 方法调用后不应当再被调用。如果在执行DB_ENV->open时数据库环境已存在，被DB_ENV->set_cachesize设定的值将会被忽略。

DB_ENV->set_cachesize 方法返回非0的错误值，0表示成功。

参数

bytes

缓冲区的总尺寸为gbytes GB + bytes。

gbytes

缓冲区的总尺寸为gbytes GB + bytes。

ncache

ncache 参数为缓冲区的块数。

错误

DB_ENV->set_cachesize 方法可能错误，返回如下的非0错误号：

EINVAL

指定的缓冲区尺寸太小，或者是在DB_ENV->open 之后被调用，或者带有不正确的标志，或参数不正确。

描述： DB_ENV->get_cachesize

DB_ENV->get_cachesize 方法返回缓冲区的尺寸。

DB_ENV->get_cachesize 方法可以在应用程序的生命周期的任何时间被调用。

DB_ENV->get_cachesize 方法返回非0的错误值，0表示成功。

参数

bytesp

缓冲区的总尺寸为gbytes GB + bytes。

gbytesp

缓冲区的总尺寸为gbytes GB + bytes。

ncachep

ncache 参数为缓冲区的块数。

类

DB_ENV

另见

数据库环境和相关方法

[翻译]Berkeley DB内存池相关API-- 5. DB_ENV->memp_register

Linkman的学习记录 — Thu, 18 Jan 2007 13:41:00 GMT

DB_ENV->memp_register

#include <db.h>

int

DB_ENV->memp_register(DB_ENV *env, int ftype,

int (*pgin_fcn)(DB_ENV *, db_pgno_t pgno, void *pgaddr, DBT *pgcookie),

int (*pgout_fcn)(DB_ENV *, db_pgno_t pgno, void *pgaddr, DBT *pgcookie));

描述： DB_ENV->memp_register

DB_ENV->memp_register 方法在指定的内存池中为类型为ftype的文件为注册页读/写处理函数。

如果pgin_fcn 函数非空，它在每次类型为ftype的文件将页从磁盘文件页读到内存池时被调用。或者是在类型为ftype的页被创建时被调用（见DB_MPOOLFILE->get的DB_MPOOL_CREATE标志）。

如果pgout_fcn 函数非空，则每个类型为ftype的文件在写回到文件前被调用。

DB_ENV->memp_register 函数的目的是为了支持那些在页读入内存池或写回文件时进行处理。例如：该函数可以在页读/写时进行拉丁字节转换。

为了可能在多线程或多进程共享内存池时，让每个线程或进程的页能与其它的页进行区分，需要指定特别的文件类型。在初始化时，应用程序应当调用DB_ENV->memp_register为每种需要共享内存池的文件注册页读/写处理过程。（标准的Berkeley DB访问方式不需要注册函数，因为DB->open 已单独地注册了它们）。

如果线程或进程不为某文件类型调用DB_ENV->memp_register，就不能处理内存池的页读写处理。因为这个原因，DB_ENV->memp_register总是被每个共享内存池的每种文件的每个应用程序调用，不管该应用是否使用使用该类型的文件。

DB_ENV->memp_register 方法返回非0的错误值，0表示成功。

参数

ftype

ftype 参数指定了需要进行页读/写的文件类型。

ftype 的值应当是一个小于128的非0整数值。（0和负数被Berkeley DB内部保留）。

pgin_fcn

pgout_fcn

类

DB_ENV, DB_MPOOLFILE

另见

内存池和相关方法

[翻译]Berkeley DB内存池相关API-- 4. DB_ENV->memp_trickle

Linkman的学习记录 — Wed, 17 Jan 2007 15:14:00 GMT

DB_ENV->memp_trickle

#include <db.h>

int

DB_ENV->memp_trickle(DB_ENV *env, int percent, int *nwrotep);

描述: DB_ENV->memp_trickle

DB_ENV->memp_trickle 方法使得内存池中指定的百分比的页被清空并被写入到对应有文件中。

DB_ENV->memp_trickle 函数的目的是允许内存池管理者确保总有足够多的可用页，以用来读新信息，而不需要等待写入。

DB_ENV->memp_trickle 方法返回非0错误，0表示成功。

参数

nwrotep

当指定的百分比达到时，nwrotep指定需保存的页数

percent

percent 参数是确定多少页页面需要被清空。

错误

DB_ENV->memp_trickle 方法失误时返回非0的错误号：

EINVAL

非法参数。

类

DB_ENV, DB_MPOOLFILE

另见

内存池和相关方法

[翻译]Berkeley DB内存池相关API-- 3. DB_ENV->memp_sync

Linkman的学习记录 — Wed, 17 Jan 2007 15:03:00 GMT

DB_ENV->memp_sync

#include <db.h>

int

DB_ENV->memp_sync(DB_ENV *env, DB_LSN *lsn);

描述: DB_ENV->memp_sync

DB_ENV->memp_sync 方法将缓冲区中已改变的页写入到对应的文件中。

在内存池中的页不会直接被写回到磁盘文件中（例如：该页当前被其它线程使用），而是等到他们能够被写回到磁盘。

为了支持DB_ENV->memp_sync 的功能性，内存池函数知道每一种文件类型的日记顺序号的位置。位置应当在打开时通过DB_MPOOLFILE->set_lsn_offset 方法指定。不需要考虑日记顺序号在页中以何处方式被对齐。

DB_ENV->memp_sync 方法返回非常的错误值，返回0表示成功。

参数

lsn

lsn 参数的目的是支持事务管理者确认（作为检查点的一部分）所有被修改的页面被已被写入到磁盘。

所有具有一个日志顺序号（DB_LSN）的被修改的页，以及所有小于该LSN参数的数据将被写入磁盘。如果lsn 为空，则所有被改动的页将被写入到磁盘。

类

DB_ENV, DB_MPOOLFILE

另见

内存池和相关方法

[翻译]Berkeley DB内存池相关API-- 2. DB_ENV->memp_stat

Linkman的学习记录 — Wed, 17 Jan 2007 14:45:00 GMT

DB_ENV->memp_stat

#include <db.h>

int

DB_ENV->memp_stat(DB_ENV *env, DB_MPOOL_STAT **gsp,

DB_MPOOL_FSTAT *(*fsp)[], u_int32_t flags);

int

DB_ENV->memp_stat_print(DB_ENV *env, u_int32_t flags);

描述: DB_ENV->memp_stat

DB_ENV->memp_stat 方法返回内存池（也就是缓冲区）子系统的统计信息。

DB_ENV->memp_stat 方法建立一个类型为DB_MPOOL_STAT和DB_MPOOL_FSTAT结构类型的统计信息，将指针复制至用户特定的内存位置。缓冲区统计信息被保存在DB_MPOOL_STAT 结构中，每个文件的缓冲区统计信息被保存在DB_MPOOL_FSTAT结构中。

统计结构被保存在申请的内存中。如果特别的应用程序内存申请函数被定义（见DB_ENV->set_alloc 了解更多的信息），它们在被特别申请的内存中使用，否则，使用标准C库的malloc(3)。调要者需要负责释放内存，为了释放内存，应当释放内存的引用，以及内存中需要被单独释放的引用。

如果gsp 非空，缓冲区内存池的全局的统计信息复制到gsp指向的内存. DB_MPOOL_STAT将被填入:

size_t st_gbytes;

以GB字节为单位的缓冲区尺寸（总缓冲区尺寸为st_gbytes + st_bytes）。

size_t st_bytes;

以字节为单位的缓冲区尺寸（总缓冲区尺寸为st_gbytes + st_bytes）。

u_int32_t st_ncache;

缓冲区的块数。

roff_t st_regsize;

每块缓冲区的尺寸，以字节为单位。

size_t st_mmapsize;

内存映射文件尺寸的最大值。

int st_maxopenfd;

打开文件描述符的最大值。

int st_maxwrite;

连续缓冲区写的最大值

int st_maxwrite_sleep;

在连续缓冲区写最大值后休眠的时间。

u_int32_t st_map;

映射到程序地址空间的被请求的页面 (这对判断请求是否导致磁盘I/O，还是测试应用程序页失效率等，都没有直接的帮助)。

u_int32_t st_cache_hit;

在缓冲区中发现的请求页数。

u_int32_t st_cache_miss;

不能在缓冲区中发现的请求页数。

u_int32_t st_page_create;

在缓冲区中建立的页数。

u_int32_t st_page_in;

读入到缓冲区的页数。

u_int32_t st_page_out;

从缓冲区中写到磁盘文件中页数。

u_int32_t st_ro_evict;

缓冲区中强制置干静的页数

u_int32_t st_rw_evict;

缓冲区中强制置脏的页数。

u_int32_t st_page_trickle;

使用DB_ENV->memp_trickle 方法写盘的页数。

u_int32_t st_pages;

缓冲区中的页数

u_int32_t st_page_clean;

缓冲区中当前为干静的页数。

u_int32_t st_page_dirty;

缓冲区中当前为脏的页数。

u_int32_t st_hash_buckets;

缓冲区中HASH表中的HASH桶树。

u_int32_t st_hash_searches;

缓冲区中HASH表查找的总数。

u_int32_t st_hash_longest;

缓冲区中HASH表查找的最长的链。

u_int32_t st_hash_examined;

在HASH表查找过程中HASH元表贯穿的总数。

u_int32_t st_hash_nowait;

线程能够直接得到一个HASH桶锁而不需要等待的次数。

u_int32_t st_hash_wait;

线程不能够直接得到一个HASH桶锁而需要等待的次数。

u_int32_t st_hash_max_nowait;

线程能够直接得到一个HASH桶锁,因为该锁已超过了最大计数的数次。

u_int32_t st_hash_max_wait;

任何一个HASH桶锁被线程等待的最大次数。

u_int32_t st_region_wait;

线程在得到一个缓冲区区域锁前被强制要等待的次数。

u_int32_t st_region_nowait;

线程在得到一个缓冲区区域锁前不需要等待的次数。

u_int32_t st_mvcc_frozen;

被冻结缓冲区计数。

u_int32_t st_mvcc_thawed;

被解冻缓冲区计数。

u_int32_t st_mvcc_freed;

被释放冻结缓冲区计数。

u_int32_t st_alloc;

申请的页数。

u_int32_t st_alloc_buckets;

在申请时检测的HASH桶计数。

u_int32_t st_alloc_max_buckets;

在申请时检测的HASH桶最大值。

u_int32_t st_alloc_pages;

在申请时检测的页计数。

u_int32_t st_alloc_max_pages;

在申请时检测的页最大数。

u_int32_t st_io_wait;

等待I/O完成的操作锁计数。

flags 必须被设置为0 或如下的值：

DB_STAT_CLEAR

在得到值之后复位统计值。

如果 fsp 非空, 一个指向以空结束的可变可数组指针包含了每个文件的统计信息。缓冲区mp信息被复制到它指向的内存位置。如果缓冲区中没有文件存在，则fsp被设为NULL。

每个文件的统计信息被保存在类型为DB_MPOOL_FSTAT的结构中。下面的DB_MPOOL_FSTAT 字段被每个文件填充，也就是说，由多个元素购成数组:

char * file_name;

文件名

size_t st_pagesize;

页尺寸，以字节为单位。

u_int32_t st_cache_hit;

存在于缓冲区中的请求页数。

u_int32_t st_cache_miss;

不存在于缓冲区中的请求页数。

u_int32_t st_map;

映射到程序地址空间的请求页。

u_int32_t st_page_create;

在缓冲区中建立的页数。

u_int32_t st_page_in;

读入缓冲区的页数。

u_int32_t st_page_out;

从缓冲区中写到文件的页数。

DB_ENV->memp_stat 方法返回一个非0的值表示错误，0表示成功。

参数

flags

flags 参数必须被设为0，或者是如下的值：

DB_STAT_CLEAR

在返回值之后复位统计信息。

fsp

fsp 参数指向一个指向已申请的复制每个文件统计信息的数组。

gsp

gsp 参数指向一个全局统计信息的结构。

错误

DB_ENV->memp_stat 可能失败，返回如下的非常错误号：

EINVAL

不正确的参数值，或者参数值是特定的，不符合要求。

Description: DB_ENV->memp_stat_print

DB_ENV->memp_stat_print 方法输出诊断信息到DB_ENV->set_msgfile方法设定的文件中。

在DB_ENV->open被调用前中，DB_ENV->memp_stat_print 方法不能被调用。

DB_ENV->memp_stat_print 方法返回非0的错误值，0表示成功。

参数

flags

flags 参数必须设为由以下值位或构成：

DB_STAT_ALL

显示所有用的信息。

DB_STAT_MEMP_HASH

显示带HASH链的缓冲区。

类

DB_ENV, DB_MPOOLFILE

另见

内存池和相关方法

[翻译]Berkeley DB内存池相关API-- 1. DB->get_mpf

Linkman的学习记录 — Wed, 17 Jan 2007 13:53:00 GMT

DB->get_mpf

#include <db.h>

DB_MPOOLFILE *

DB->get_mpf(DB *db);

描述: DB->get_mpf

DB->get_mpf 方法返回数据内在的缓冲区文件句柄。

DB->get_mpf 方法可以在应用程序的生命周期内的任何时间被调用。

类

另见

数据库及相关的方法

[翻译]Berkeley DB内存池相关API--0.API列表

Linkman的学习记录 — Wed, 17 Jan 2007 13:47:00 GMT

下表列出了内存池相关的所有函数及其说明：

内存池和相关函数	描述
DB->get_mpf	返回 DB 的内在 DB_MPOOLFILE 句柄
DB_ENV->memp_stat	返回内存池统计信息
DB_ENV->memp_sync	将内存池中的页面刷新到磁盘
DB_ENV->memp_trickle	将内存池中的页面批次刷新到磁盘
内存池配置
DB_ENV->memp_register	为内存池文件注册“读/写”函数
DB_ENV->set_cachesize	设置缓冲区尺寸
DB_ENV->set_mp_max_openfd	设置打开文件的最大值
DB_ENV->set_mp_max_write	设置磁盘一次顺序写入的最大值
DB_ENV->set_mp_mmapsize	设置内存映射数据库的文件最大尺寸
内存池文件
DB_ENV->memp_fcreate	建立一个内存池文件句柄
DB_MPOOLFILE->close	关闭一个内存池文件
DB_MPOOLFILE->get	从内存池文件中得到一页
DB_MPOOLFILE->open	打开一个内存池文件
DB_MPOOLFILE->put	将页释放回内存池
DB_MPOOLFILE->set	设置内存池页的属性
DB_MPOOLFILE->sync	将内存池文件的脏页刷回至文件
内存池文件配置
DB_MPOOLFILE->set_clear_len	设置文件页中需被清空的字节数
DB_MPOOLFILE->set_fileid	设置文件的唯一标识
DB_MPOOLFILE->set_flags	配置内存池文件的通用标志
DB_MPOOLFILE->set_ftype	设置文件类型
DB_MPOOLFILE->set_lsn_offset	设置日志顺序号的偏移
DB_MPOOLFILE->set_maxsize	设置文件的最大尺寸
DB_MPOOLFILE->set_pgcookie	设置文件的页面输入/输出的自定义参数
DB_MPOOLFILE->set_priority	设置内存池文件的优先级

[翻译]Berkeley DB 参考手册--2.访问方式--16.2.选择缓冲区尺寸

Linkman的学习记录 — Wed, 17 Jan 2007 13:38:00 GMT

注：
本翻译的英文原文为Berkeley DB Reference Guide (Version: 4.5.20)中2.4.2
欢迎转摘，转摘时请注明引用：http://blog.vckbase.com/linkman/

Berkeley DB 参考手册

2. 访问方式

2.4.2. 选择缓冲区尺寸

数据库缓冲区的尺寸可以通过调用DB->set_cachesize 方法设定。不幸的是，选择缓冲区尺寸是一件充满“艺术”的活。你的缓冲区必须至少足够大到除了满足你工作的需要外，还要考虑一些异常环境的需要。

当使用B树访问方式时，你必须有一个足够大的缓冲区，这个缓冲区至少大到能容纳一次单独访问所需要空间，包括一个根页面、一个或多个内部页（决定于树的深度）、以及一个叶子页面。如果缓冲区比以上所需要的还要少，则每次访问新页面将会导致一次最先-最近使用页的淘汰，于是Berkeley DB在每次数据库访问时都需要重读树的根页面。

如果关键字的尺寸比较小（10多个字节），且页面尺寸在4KB到8KB之间，大部分B树程序只需要三层，举例说明：使用带有20个字节关键字，每个关键字对应的数据为20字节，一个8KB的页能够保存大概400个关键字（或200个关键字/数据对），所以一个完整的三层B树可以保存3200万个关键字/数据对，一个50%充满度的树可以保存1600万个关键字/数据对。虽然Berkeley DB支持多到255层的树，我们很少遇到超过5层的树

一个单凭经验的方法是：有缓冲总是好事，更多的缓冲区总是更好的。通常，程序的性能受益于缓冲区尺寸的增加，直到增长到某个点，在该点之上，再增加缓冲区尺寸不再改善程序性能。当这一点到达时，以下事情发生了：一个是缓冲区尺寸足够大，以及于所有数据都不需要与磁盘交互；或者程序完全随机访问，增加缓冲区尺寸不能显著地增加发现下一个在缓冲区的访问时间。后者发生的可能性比较小， -- 几乎所有应用程序都能找到一个可测的增长点。

还有一个重要的事情，不要使增加的缓冲区尺寸超过了系统的能力，那会导致性能的下降。在许多操作体系统下，减小足够的虚拟内存将导致你的内存和潜在程序的数据交换。这点很象那些没有统一的操作系统级缓冲区和虚拟内存空间的系统，缓冲区在启动时被申请而不能在基于应用请时大量虚拟内存时被调整。

举例说明：即便是真正随机地访问B树，你的访问模式将受益于从内部页到叶子页的访问，所以你的缓冲区应该足够大到可以保存所有的内部页。当处在稳定的状态时，大部分的访问请求可以只通过一次I/O操作便可以到达对应的叶子页。

你可以使用db_stat 工具来监视缓冲区的性能。下面的输出引用至带-m 参数的调用结果：

prompt: db_stat -m

131072  Cache size (128K).

4273    Requested pages found in the cache (97%).

134     Requested pages not found in the cache.

18      Pages created in the cache.

116     Pages read into the cache.

93      Pages written from the cache to the backing file.

5       Clean pages forced from the cache.

13      Dirty pages forced from the cache.

0       Dirty buffers written by trickle-sync thread.

130     Current clean buffer count.

4       Current dirty buffer count.

以上缓冲区的统计信息指出，在缓冲区中有4,273次请求，只有116次请求需要进行磁盘I/O 操作。这意味着缓冲区工作良好，缓冲区命中率为97%。db_stat 工具将呈现两类统计信息：整个的缓冲区，以及每一个文件特殊的缓冲区。