学习记录

实时数据库领域中有关数据压缩的认识误区

Linkman的学习记录 — Mon, 05 Nov 2007 14:45:00 GMT

2007年10月28日晚上，我挖了一个坑，那篇“关于实时数据库接口标准的讨论”，只写了第一部分，到现在还没有填上。工作忙是一个原因，我只能利用晚上22:00至23:00这一段时间写一些东西，另外一个更重要的原因是：我还在为该文章备课呢，请大家再等一段时间吧。

今天咱另换一个话题，谈谈在实时数据库领域中，有关数据压缩的一些认识误区。

我曾答应liyaoer123（实时数据库阵地的博主）同学，与他讨论一下数据压缩技术。另外，我经常收到一些朋友的来信，他们对实时数据库及数据压缩的认识有一些误区，今天，我便收到三封讨论实时数据库的邮件。

数据压缩是实时数据库中一个很重要的概念和技术，只要接触过实时数据库，都应该听说过数据压缩。同时，很多人对实时数据库中数据压缩存在误解，我们就一条一条地解说吧。

1.实时数据库中的数据压缩技术很高深很神秘。

现在的数据压缩理论和技术已经很成熟，大家可以看看我转摘的博文《数据压缩技术简史》，该文章浅显易懂，是一篇很好的关于数据压缩的科普文章。

在不同的应用领域，又可以针对不同的数据应用特征，引用不同的数据压缩技术，比如，图形处理领域的JEPG压缩技术，声音处理中的MP3压缩技术等。在流程工业行业中，工业实时数据也有一定的变化规律，可以针对这些规律，研究特定的数据压缩算法。

下面是工业实时数据的一些特征：

工业实时数据的数据变化具有一定波形规律；
工业实时数据中只有一小部分测点的值经常发生改变；
工业实时数据中很多测点的数值都具有慢变化的特征；
数值变化与时间变化具有共同变化特性；
用户在一定范围内，能够允许数据的精度损失；

在工业应用领域中，常用的压缩算法分为三类：

无损压缩；
有损压缩；
二级压缩；

其中，无损压缩一般以通用压缩理论为基础，采取哈佛曼算法等经典的压缩算法；而有损压缩而更多地考虑了工业实时数据的特征，而采取的一些特殊舍点算法；二级压缩技术，则是同时利用了这两种数据压缩技术。

实时数据库的无损压缩以通用压缩理论为基础，随便找一本大学教材就能看懂，在此不再多说。

目前比较著名的有损压缩算法,有PI中使用的旋转门压缩算法，IH中使用的死区压缩算法，以及一些变通压缩算法（如在旋转门算法基础上改用二次均方差作为偏差比较，以提高数据还原精度），这些算法原理都比较简单。网上有很多相关的文章，我在前几篇文章中提到的变化压缩算法，是死区压缩算法的简化变种，而liyaoer123同学在他的博客上帖出了osisoft关于旋转门压缩的技术文章，大家有兴趣可以去看看。

总而言之，实时数据库的压缩算法真的不难理解，只是实时数据库重多技术中的一种而已。

2.只要搞清楚数据压缩算法，就能编写好的实时数据库了。

这个问题要从两方面来分析。

首先要说明，数据压缩只是实时数据库中一个技术点，这个技术点相对于实时数据库其它技术点而言，难度和工作量是非常小的，我在《实时数据库的理论与技术》中，列出了实时数据库需关心的技术点，大家可以看看。只搞清数据压缩算法，是不能编写良好的实时数据库的。

另一个方面，只从数据压缩这个角度来看，只考虑算法也是不行的。

在实时数据库的数据压缩模块中，除了要考虑压缩算法之外，还要考虑以下内容：

变量ID、时间戳、质量戳、值四个字段在压缩算法中的数据组织，包括逻辑组织和空间组织；
压缩算法与内存缓冲区的配合；
压缩算法与磁盘文件的配合；
特殊情况的数据处理，如，启动、停止、备份、恢复等时的数据压缩状态。

3.实时数据库中，数据压缩的压缩率越高越好。

刚才提到，实时数据库中的数据压缩算法都是非常简单，这是由实时数据库的应用特点决定的。

要考虑一个实时数据库的数据压缩技术技术，需要从以下几方面考虑：

数据压缩率；
压缩数据的检索和定位速度；
数据压缩时间；
数据解压时间；
压缩数据在内存和磁盘的组织结构，以便更方便地利用内存和磁盘的特性；
数据解压后的还原精度；

数据压缩率只是其中一个指标，实时数据库追求的是综合性能指标，不能只看某一项指标。

从某个角度而言，在实时数据库的应用中，数据的压缩和解压时间的指标，要优先于数据压缩率指标。但是，在设计良好的系统中，这两个指标之间并不矛盾。

4.无损压缩比有损压缩要好

在两个洋品牌PI和eDNA之间，经常会就无损压缩和有损压缩哪个更好这个问题产生争执。

基本上，在此争执中，eDNA的无损压缩处于攻势，而PI则见招折招处处守势。总的来说，eDNA的市场宣传做得很不错，很多用户都是这样评价：eDNA比PI相比有很多优点，它采用了无损压缩技术，还有......，而且，它的价格比PI便宜多了。

客观地讲，无损压缩有其好处，它在某些方面保证了数据的精度，但是，这并不能说，无损压缩一定比有损压缩好。

采用无损压缩算法的实时数据库厂家，不能回避以下两个问题：

采用无损压缩算法的压缩率比采用有损压缩算法要低得多，针对工业实时数据的特征信息提取的无损压缩，是不可能达到10:1的。

采用无损压缩算法的实时数据库，单机总处理点数会存在性能瓶颈，以目前主流的计算机而言，采用无损压缩算法的实时数据库，平均只能处理2万左右的历史点。

另外，无损压缩所宣称的100%保持数据不丢失，只是一句话宣传词，在计算机上处理工业实时数据，本身就存在大量的数据信息丢失：

数据采集传感器存在采集误差；
数据采集是实时数据趋势变化的采样和数字化的过程，采集周期之间的特征波型已经丢失；
计算机处理和网络传输造成的延时和不确定，也会造成采集波型的失真；
传感器和计算机的数据类型字节限制，也会造成数据的失真。

在存在多处无法控制的失真环节的情况下，只强调保存数据的完全不失真，是没有意义的，只是商务宣传的需要，只要是数字化和计算机化处理，所有的数据就是近似的处理过程。

有人会说，这也失真、那也失真，还处理个屁呀。这其实是一种处女情结，是在无意义地追求某个特定的指标而不考虑系统整体性能。如果实时数据库在采用无损压缩的同时，还能保证很快的解压缩速度和较高的压缩率，当然无可厚非，但目前的理论和技术条件下，这些指标是矛盾的。而采取有损压缩技术，是在不影响整体精度情况下的性能指标的综合平衡。

5.实时数据库中，数据压缩不重要，要不要数据压缩没关系。

关于这一论点，有两种不同的观点。

第一种观点认为，现在的计算机硬盘很便宜了，磁盘容量不够，大不了多买几块磁盘。

第二种观点认为，实时数据库的重点是上层功能和应用，在工业应用中，数据压缩费力又不讨好，还不如将精力放在其它功能上。

这两种观点都不正确，实时数据库的市场存在意义，是因为现在的其它数据库产品，不能地处理大量工业实时和历史数据。这里说不能处理，包括处理速度和磁盘容量。

在我的文章《实时数据库历史数据容量的计算方法》中计算得出，用关系数据库保存10000个每秒钟变化一次的双精度数，同时建立一个索引，保存一年需要磁盘空间为：12922G，而用实时数据库保存，则只需103G，大家可以换算一下，12922G，需要多少块磁盘？

磁盘容量只是问题的一个方面，另一方面，数据的高压缩率意味着整个系统的数据处理速度更快，这体现在三个方面：高压缩率的数据，占用磁盘空间小，将数据从磁盘读入内存的速度快，网络传输的速度快，数据在内存中占用的空间小。而这三个因素，是实时数据库提高系统整体运行速度很重要的几个因素。

一个良好的实时数据库，必须要处理好实时压缩问题，只有处理好数据压缩问题，才能使系统的整体性能达到某个可用性指标。

以下有一个对是否选用实时数据库和数据压缩技术的简单判断：

关系数据库只能处理5000点每秒变化的工业实时数据，在此范围内，可以不考虑选用实时数据库。
在5000点至10000点的系统内，需要抛开关系数据库，重新设计自己的数据存贮系统，但是，在这个领域，是不太需要考虑数据压缩技术的。
当系统的历史点数在10000点以上时，必须要考虑数据压缩技术和专门的实时数据库了。

很多朋友告诉我，他们的系统不采用数据压缩技术，他们也不关心数据压缩技术，他们认为，良好的上层应用软件比数据压缩更重要。我要对他们说：不同的行业，不同的系统规模，对实时数据库的性能指标要求是不一样的。实时数据库系统是一个综合性的应用系统，设计良好的底层模块是其它模块良好运行的基础，数据压缩技术与其它数据库技术一起，对整个系统的运行提供了很底层但很重要的环境，大型实时数据库系统中，数据压缩技术是必须考虑的，另一方面，实时数据库中，数据压缩技术只是实时数据库系统中一个重要的技术点，但不是全部。

linkman 2007-11-05 22:44 发表评论

悲观程序员的五件武器

Linkman的学习记录 — Mon, 29 Oct 2007 12:34:00 GMT

我不知道，自己现在还算不算一个程序员。如果还算程序员的话，我肯定不是那种绝顶聪明的程序员。

我不是一个聪明的程序员，不能在键盘上手指翻飞，灵光似剑，一日千行，闭目成章。大师的高度，远非我能指望，我会犯很多错误，只是一个普通的程序员。

所以，对于编程，我是一个悲观主义者。

我不相信，所编写的程序能够一次编译通过；也不相信，能在家里将程序的所有错误都找出，而不需要出差现场；更不相信，我的程序能够在不同的环境下，对各种异常，都处理得非常完美；尤不相信，我的程序没有任何内存丢失，可以连续运行一周。

我本来不是一个悲观主义者，曾经的我，是那么激扬那么狂妄，只是一次次被打击，让我越来越务实，越来越冷静，越来越清醒地看待自己。随着岁月的增长，我编程的次数已越来越少，但是，我的悲观主义思想却越来越浓。

一打开程序，我便想到，因为软件出错，而不得不给用户写检讨；便想到，因为每月死机一次，客户对我大发雷霆；便想到，因为产品质量问题，而陪客户喝酒，连饮七大瓶啤酒。

那七瓶要命的啤酒，依然不能让客户回心转意，于是，我成了一个悲观程序员。

我是悲观主义程序员，好在还有五件武器。

第一件武器：断言（ASSERT）；

我希望，任何调用我的模块的程序，都能按照希望的参数格式和调用方法，正确地调用我的模块。因此，在我所编写的每一个模块内，都会大量地使用断言（ASSERT），在模块中加上了断言，我便相信，程序模块有了一个一个相对真实的调用环意，便有了一种虚幻的安全感。

第二件武器：静态代码检测工具，如PC-lint，有时也使用编译器的最严格的编译级别；

我从不认为，自己是一个对C/C++/VC等，都非常熟悉的程序员，经常会不小心使用一些不正常的语法，或是不太考虑字段的边界，因此，在程序编到一定的阶段，都会采用pc-lint，对我所编写的程序，进行严格的编译检查。

第三件武器：动态代码检测工具，如boundcheck；

对于C/C++程序员而言，最大的痛苦就是内存泄漏，或其它资源泄漏了，我对内存泄漏有天生的恐惧，也经常在内存丢失方面犯错误，因此，在产品发布给用户前，一定会采用动态代码检测工具，进行一次彻底的测试。

第四件武器：单元测试工具，如cppunit；

我没有足够的自信，认为自己能够很好地驾驭多个模块的大型程序，也不相信自己写过的、超过50行的程序会没有问题，因此，我会尽量引入单元测试，对每一个重要的函数或模块进行地毯式单元测试，当看到那一遍测试通过的绿色，才能够安心地回家睡觉。

第五件武器：调试信息；

我相信，我所编写的所有程序，都不可能一次成功，即便再认真地调试检查，再多地厂内工作，在现场还是免不了会出问题。因为，不可能在家里模拟现场所有的情况，也不能够对各种异常情况进行完整地猜测。因此，在我所编写的很多程序中，特别是与监控有关的、需要长期、连续运行的程序，都会加上尽可能多的调试信息。

在程序中加上调试信息，是我最后的稻草，有了它，我终于敢将产品战战兢兢地交给客户。

那么，调试信息应该记录哪些内容？我想说的是，调试信息应该能够记录现场所有的信息，包括：

程序的启停状态；
调用它人程序的边界参数；
被它人调用的程序的边界参数；
与外部环境的边界，包括操作系统、文件系统、硬件、数据库等；
与网络交互的两端边界；
重要模块的被调用参数；
模块内的重要过程的当前参数；

有了这些调试信息，我便可以不出差了，当现场发生了事情时，我的第一反应便是要求查看这些调试信息。

今天一位朋友问我，你如何保证你的程序能够稳定，我告诉他：我有五件武器。

宝刀配英雄，现在我已很少编写程序了，这些武器，就送给战斗在第一线的程序员吧，也许你们现在不觉得它们有多重要，但总有一天，你们会自觉地将它们带在身边的。

推荐一本好书

Linkman的学习记录 — Thu, 11 Jan 2007 13:51:00 GMT

书    名事务处理：概念与技术
作    者（美）Jim Gray Andreas Reuter 著孟小峰译

今天看了这本书的第13章和第14章，讲资源管理（也就是数据库）的缓冲区管理，真是经典呀，就是觉得有点难。

将目录列出来，大家有兴趣可以去买，我看的是超星。

内容提要    事务处理广泛地应用于数据库和操作系统领域，并在现代计算机系统中监控、控制和更新信息。本书向读者展示了大型的、分布的、异构的计算机系统是如何进行可靠工作的。作者使用事务作为基本概念，说明了在有限的资金和风险下如何构建高性能的高可用性应用。书中还详细阐述了各种可能发生的问题，以及解决这些问题的实际可用的技术。本书列举了大量成功的商业和研究系统的实例，此外，列出了许多事务处理算法的可编译的C代码片段。本书对于那些对实现分布式系统或客户-服务器结构感兴趣的人来说，是值得一读的。

出版者的话
专家指导委员会
中文版序
译者序
译者简介
序
前言
第一部分事务处理基础
第1章概述
1.1 历史回顾
1.2 什么是事务处理系统
1.2.1 最终用户对事务处理系统的认识
1.2.2 管理员/操作员对事务处理系统的认识
1.2.3 应用设计者对事务处理系统的认识
1.2.4 从资源管理器角度对事务处理系统的认识
1.2.5 TP系统的核心服务
1.3 事务处理系统特征列表
1.3.1 应用开发特征
1.3.2 中心库特征
1.3.3 TP监控器的特征
1.3.4 数据通信特征
1.3.5 数据库特征
1.3.6 操作特征
1.3.7 教育和测试特征
1.3.8 特征小结
1.4 小结
1.5 历史评注
习题
答案
第2章计算机系统基本术语
2.1 引言
2.2 基本硬件
2.2.1 存储器
2.2.2 处理器
2.2.3 通信硬件
2.2.4 硬件结构
2.3 基本软件—地址空间、进程、会话
2.3.1 地址空间
2.3.2 进程、保护域和线程
2.3.3 消息和会话
2.4 一般系统问题
2.4.1 客户和服务器
2.4.2 命名
2.4.3 认证
2.4.4 授权
2.4.5 调度和性能
2.4.6 小结
2.5 文件
2.5.1 文件操作
2.5.2 文件组织
2.5.3 分布式文件系统
2.5.4 SQL
2.6 软件性能
2.7 事务处理标准
2.7.1 可移植性标准和互操作性标准
2.7.2 API和FAP
2.7.3 LU6.2，一个事实标准
2.7.4 具有X/Open DTP的OSI-TP—正式标准
2.8 小结
习题
答案
第二部分容错基础知识
第3章容错
3.1 引言
3.1.1 简单概率概述
3.1.2 容错的外部观点
3.2 定义
3.2.1 故障、失败、可用性、可靠性
3.2.2 故障避免和容错的分类
3.2.3 修复、失败即停、模块性、递归设计
3.3 实验研究
3.3.1 断供是非常少见的事件
3.3.2 传统系统研究
3.3.3 容错系统研究
3.4 典型模块失败率
3.5 容错的硬件措施
3.5.1 n工基本思想：怎样建立失败即停的模块
3.5.2 n工中的失败即停表决器与失败表决型表决器
3.5.3 n工与修复产生高可用性
3.5.4 表决器问题
3.5.5 小结
3.6 软件问题
3.6.1 N版本程序设计和软件容错
3.6.2 事务和软件容错
3.6.3 小结
3.7 故障模型和软件故障屏蔽
3.7.1 模型概览
3.7.2 建立高可用的存储
3.7.3 高可用的进程
3.7.4 基于会话和进程对的可靠消息
3.7.5 进程-消息-存储模型的小结
3.8 一般原理
3.9 一个警戒性的故事—系统错觉
3.10 小结
3.11 历史评注
习题
答案
第三部分面向事务的计算
第4章事务模型
4.1 引言
4.2 原子操作和扁平事务
4.2.1 将写磁盘作为原子操作
4.2.2 操作类型分类
4.2.3 扁平事务
4.2.4 扁平事务的局限性
4.3 控制区域
4.3.1 控制区域的定义
4.3.2 控制区域的动态行为
4.3.3 小结
4.4 一种解释事务模型的符号表示法
4.4.1 描述事务模型哪些是必需的
4.4.2 符号表示法的构成元素
4.4.3 用一套简单的规则定义事务模型
4.5 带保存点的遍平事务
4.5.1 关于保存点
4.5.2 开发保存点模型下的规则
4.5.3 持久性保存点
4.6 链事务
4.7 嵌套事务
4.7.1 嵌套结构的定义
4.7.2 嵌套事务的使用
4.7.3 通过保存点模仿嵌套事务
4.8 分布事务
4.9 多级别事务
4.9.1 补偿事务的角色
4.9.2 多级别事务的使用
4.10 开放嵌套事务
4.11 长事务
4.11.1 事务处理上下文
4.11.2 小批量
4.11.3 saga
4.12 特殊事务模型
4.13 小结
4.14 历史评注
习题
答案
第5章事务处理监控器：概述
5.1 引言
5.2 事务系统中的TP监控器的角色
5.2.1 面向事务的计算方式
5.2.2 事务处理服务
5.2.3 事务处理系统进程结构
5.2.4 小结
5.3 TP监控器的结构
5.3.1 TP监控器组件
5.3.2 事务服务的组件
5.3.3 TP监控器对于资源管理器接口的支持
5.4 事务型远程过程调用：基本思想
5.4.1 远程过程调用中的参与者
5.4.2 远程过程调用句柄的地址空间结构
5.4.3 远程过程调用的动态过程
5.4.4 小结
5.5 事务编程风格的例子
5.5.1 基本的处理循环逻辑
5.5.2 与事务有关的资源管理器：一个简单的例子
5.5.3 与事务有关的资源管理器：一个复杂的例子
5.5.4 使用持久保存点
5.6 专门术语的介绍
5.7 历史评注
习题
答案
第6章事务处理监控器
6.1 介绍
6.2 事务型远程过程调用
6.2.1 资源管理器的接口
6.2.2 资源管理器对事务的支持
6.2.3 资源管理器和TP监控器之间的接口
6.2.4 资源管理器调用与资源管理器会话
6.2.5 小结
6.3 TP监控器的功能原理
6.3.1 TPOS的中心数据结构
6.3.2 TP监控器拥有的数据结构
6.3.3 TRPC路径的概览
6.3.4 中止竞争的TRPC
6.3.5 小结
6.4 管理请求和响应队列
6.4.1 映射资源管理器调用的短期队列
6.4.2 用于异步事务处理的永久性请求队列
6.4.3 小结
6.5 TP监控器的其他任务
6.5.1 负载平衡
6.5.2 认证和授权
6.5.3 重启处理
6.6 小结
6.7 历史评注
习题
答案
第四部分并发控制
第7章隔离性的概念
7.1 引言
7.2 隔离性的引入
7.3 隔离性的依赖模型
7.3.1 静态分配与动态分配
7.3.2 事务依赖
7.3.3 三种有害的依赖
7.3.4 隔离性的形式化模型
7.4 隔离性：应用程序员的观点
7.5 隔离性定理
7.5.1 操作与事务
7.5.2 规范事务和两阶段事务
7.5.3 事务的调度
7.5.4 合法的调度和锁的相容性
7.5.5 版本、依赖、依赖图
7.5.6 等价的和隔离的调度：BEFORE、AFTER和虫洞
7.5.7 虫洞事务不具有隔离性
7.5.8 定义小结
7.5.9 隔离定理的小结
7.6 隔离性的级别
7.6.1 隔离性级别的定理
7.6.2 SQL与隔离级别
7.6.3 低隔离级别的优缺点
7.6.4 特殊的SQL隔离—跳读锁和通知锁
7.7 幻像和谓词锁
7.8 粒度锁
7.8.1 基于树的封锁和意向锁类型
7.8.2 更新型锁
7.8.3 粒度锁小结
7.8.4 码区间封锁
7.8.5 动态码区间锁：前码和后码封锁
7.8.6 码区间锁需要DAG封锁
7.8.7 DAG封锁协议
7.8.8 基于DAG的粒度封锁的形式化定义
7.9 封锁的启发式算法
7.10 嵌套事务封锁
7.11 调度与死锁
7.11.1 护卫现象
7.11.2 死锁避免与检测
7.11.3 等待图和死锁检测
7.11.4 分布式死锁
7.11.5 死锁的概率
7.12 奇特方法
7.12.1 字段调用
7.12.2 契约封锁和其他字段的调用改进
7.12.3 乐观和时间戳封锁
7.12.4 时间域寻址
7.13 小结
7.14 历史评注
习题
答案
第8章锁的实现
8.1 引言
8.1.1 关于本章
8.1.2 锁管理程序中并行的必要性
8.1.3 资源管理器和锁管理程序的地址空间
8.2 原子机指令
8.3 信号量
8.3.1 排他型信号量
8.3.2 蟹行：遍历共享数据结构
8.3.3 共享信号量
8.3.4 分配共享存储
8.3.5 信号量和异常
8.4 锁管理程序
8.4.1 锁名
8.4.2 锁队列和调度
8.4.3 锁长度和锁计数
8.4.4 锁管理程序接口和数据结构
8.4.5 锁管理程序的内部逻辑
8.4.6 锁升级和类属解锁、通知锁
8.4.7 事务保存点、提交和回滚
8.4.8 系统重启时的封锁
8.4.9 长生事务
8.4.10 锁管理程序配置和复杂性
8.4.11 锁管理程序小结
8.5 死锁检测
8.6 并行事务和并行嵌套事务封锁
8.7 小结
8.8 历史评注
习题
答案
第五部分恢复
第9章日志管理程序
9.1 引言
9.1.1 日志的使用
9.1.2 日志管理程序概述
9.1.3 日志管理程序和其他服务的关系
9.1.4 为什么需要日志管理程序
9.2 日志表
9.2.1 映射日志表到文件
9.2.2 日志序号
9.3 日志的公共接口
9.3.1 日志表的存取授权
9.3.2 读日志表
9.3.3 写日志表
9.3.4 小结
9.4 日志读写的实现细节
9.4.1 读日志
9.4.2 日志锚点
9.4.3 与事务相关的锚点
9.4.4 日志插入
9.4.5 分配和刷新日志的审护进程
9.4.6 谨慎写：串行写和乒乓写
9.4.7 成组提交、批量工、集装式
9.4.8 WADS写入
9.4.9 多日志的事务管理器
9.4.10 小结
9.5 日志重启逻辑
9.5.1 保存事务管理器的锚点
9.5.2 准备重启：日志锚点的谨慎写
9.5.3 在重启时找到锚点和日志尾
9.6 日志归档
9.6.1 应当有多少联机日志表
9.6.2 用于回滚、重启、归档的底线
9.6.3 动态日志：副拷贝和正向拷贝
9.6.4 不影响并发事务的日志归档
9.6.5 电子转存和变化累积
9.6.6 处理日志管理程序—归档环路
9.7 客户-服务器体系结构的日志系统
9.8 小结
9.9 历史评注
习题
答案
第10章事务管理器概念
10.1 引言
10.2 事务管理器的接口
10.2.1 事务的应用接口
10.2.2 事务的资源管理器接口
10.2.3 事务管理器的功能
10.3 事务型资源管理器概念
10.3.1 DO-UNDO-REDO协议
10.3.2 日志表和日志记录
10.3.3 通信会话恢复
10.3.4 值日志
10.3.5 逻辑日志
10.3.6 物理-逻辑日志
10.3.7 物理-逻辑日志规则：FIX、WAL和Force-Log-at-Commit
10.3.8 补偿日志记录
10.3.9 物理-逻辑REDO的幂等性
10.3.10 小结
10.4 两阶段提交：使计算具有原子性
10.4.1 集中式系统中的两阶段提交
10.4.2 分布式事务和两阶段提交
10.5 小结
10.6 历史评注
习题
答案
第11章事务管理器结构
11.1 引言
11.2 正常处理
11.2.1 事务标识符
11.2.2 事务管理器的数据结构
11.2.3 MyTrid()、Status_Transaction()、Leave_Transaction()和Resume_Transaction()
11.2.4 保存点日志记录
11.2.5 Begin_Word()
11.2.6 局部Commit_Work()
11.2.7 远程Commit_Work():Prepare()和Commit()
11.2.8 Save_Work()和Read_Context()
11.2.9 Rollback_Work()
11.3 检查点
11.3.1 清晰检查点
11.3.2 模糊检查点
11.3.3 事务管理器检查点
11.4 系统重启
11.4.1 重启时的事务状态
11.4.2 事务管理器的重启逻辑
11.4.3 资源管理器重启逻辑，Identify()
11.4.4 重启设计小结
11.4.5 独立的资源管理器
11.4.6 两检查点方法：一种不同的策略
11.4.7 重启为什么能奏效
11.4.8 分布式事务解决方法：重启时两阶段提交
11.4.9 加速重启
11.4.10 其他重启问题
11.5 资源管理器的失败与重启
11.6 归档恢复
11.7 配置事务管理器
11.8 小结
习题
答案
第12章高级事务管理器主题
12.1 引言
12.2 异构型提交协调者
12.2.1 封闭式与开放式事务管理器
12.2.2 封闭式事务管理器的互操作性
12.2.3 编写开放式事务管理器的网关
12.2.4 事务网关小结
12.3 高可用性（非阻塞型）提交协调者
12.4 提交转移
12.5 两阶段提交的优化
12.5.1 只读提交优化
12.5.2 惰性提交优化
12.5.3 线性提交优化
12.6 远程场地的灾难恢复
12.6.1 系统对接管
12.6.2 接管时的会话切换
12.6.3 配置选项：一级安全、二级安全和极其安全
12.6.4 失败后的追赶处理
12.6.5 系统对设计小结
12.7 小结
12.8 历史评注
习题
答案
第六部分事务型文件系统：一个资源管理器实例
第13章文件和缓冲区管理
13.1 引言
13.2 文件系统作为事务永久存储的基础
13.2.1 外存与主存
13.2.2 本书使用的外部存储模型
13.2.3 事务型文件和数据库管理器中的抽象层次
13.3 介质和文件管理
13.3.1 基本文件系统的对象和操作
13.3.2 磁盘空间管理
13.3.3 低层文件系统的目录管理
13.4 缓冲区管理
13.4.1 数据库缓冲区的工作原理
13.4.2 缓冲区管理器的实现问题
13.4.3 从缓冲区角度的写日志和恢复
13.4.4 缓冲区管理器性能优化
13.5 特殊问题
13.5.1 副文件
13.5.2 单级存储器
13.6 小结
13.7 历史评注
习题
答案
第14章面向元组的文件系统
14.1 引言
14.2 元组到页面的映射
14.2.1 页面的内部组织
14.2.2 文件中空闲区的管理
14.2.3 元组标识
14.3 物理元组管理
14.3.1 属性值的物理表示
14.3.2 短元组的物理表示
14.3.3 元组属性值表示的特殊问题
14.3.4 长元组的物理表示
14.3.5 复杂元组和超长属性的物理表示
14.4 文件组织
14.4.1 管理型操作
14.4.2 扫描操作在不同文件组织上的抽象视图
14.4.3 顺序存取文件
14.4.4 系统顺序文件
14.4.5 相对文件
14.4.6 码顺序文件和散列文件
14.4.7 小结
14.5 特殊问题
14.5.1 聚簇文件
14.5.2 划分文件
14.5.3 使用事务来维护文件系统
14.5.4 目前数据库系统中的面向元组的文件系统
14.6 小结
习题
答案
第15章存取路径
15.1 引言
15.2 实现关联存取路径的技术
15.3 通过散列文件进行关联存取
15.3.1 将码值折叠成数值型数据类型
15.3.2 评价散列函数的准则
15.3.3 散列文件的溢出处理
15.3.4 散列文件中页面的局部管理
15.3.5 散列关联存取的小结
15.4 B树
15.4.1 B树：基本思想
15.4.2 B树的性能方面
15.4.3 对B树的同步：面向页的观点
15.4.4 对B树的同步；面向元组的观点
15.4.5 B树的恢复操作
15.5 B树某些操作的实现样例
15.5.1 声明所有程序用到的数据结构
15.5.2 B树readkey()操作的实现
15.5.3 B树上的码区间封锁
15.5.4 B树插入操作的实现：简单实例
15.5.5 B树插入操作的实现：分裂实例
15.5.6 小结
15.6 特殊问题
15.6.1 可扩展散列
15.6.2 网络文件
15.6.3 hB树
15.7 小结
15.8 历史评注
习题
答案
第七部分系统概览
第16章 TP系统概览
16.1 引言
16.2 IMS
16.2.1 硬件和操作系统环境
16.2.2 工作流模型
16.2.3 程序隔离
16.2.4 主存数据库和字段调用
16.2.5 数据共享
16.2.6 改善的可用性与双工系统
16.2.7 DB2
16.2.8 IMS的最新演进
16.3 CICS和LU6.2
16.3.1 CICS概述
16.3.2 CICS服务
16.3.3 CICS工作流
16.3.4 CICS分布式事务处理
16.3.5 LU6.2
16.4 Guardian90
16.4.1 Guardian:操作系统及硬件
16.4.2 Pathway、终端上下文和服务器类管理
16.4.3 事务管理
16.4.4 其他有意义的特性
16.5 DECdta
16.5.1 ACMS事务处理的三球工作流模型
16.5.2 ACMS服务
16.5.3 ACMS小结
16.5.4 VMS的事务管理支持
16.5.5 DECdta小结
16.5.6 可靠的事务路由器
16.6 X/Open DTP、OSI-TP、CCR
16.6.1 局部情况
16.6.2 分布式情况：服务和服务器
16.6.3 小结
16.7 其他系统
16.7.1 通用事务管理器
16.7.2 ADABAS TPF
16.7.3 Encina
16.7.4 Tuxedo
16.8小结
第八部分附录
附录A 参考文献
附录B 数据结构和接口
附录C 词汇表
索引

不要再浪费时间---阅读文献技巧（转摘）

Linkman的学习记录 — Tue, 02 Jan 2007 17:59:00 GMT

(看到一篇好文章，摘下备用)

不要再浪费时间---阅读文献技巧本文来自:博研联盟论坛
本文来自:博研联盟论坛
本文来自:博研联盟论坛
以下是作者在论坛上收集的一些有关如何阅读文献的心得，希望对大家有所帮助：本文来自:博研联盟论坛
本文来自:博研联盟论坛
之一本文来自:博研联盟论坛
本文来自:博研联盟论坛
1。由点到面。选工作实践中的疑点，热点，由一个小枝节，检索较全的文献，一般近期的20 篇左右已经相当多了。之所以不必在意3年以前的，是因为知识更新非常快，且网上能查到的多为近几年的全文。学习别人是怎么发现解决问题的。知道目前对这个问题的共同看法，和分歧。然后，扩展开，根据兴趣和研究的目的，知道，在研究的领域：谁的文章被引用的次数多，谁的文章最多最新最有启发性。去图书馆找他的文章看全文。逐步扩展自己的视野，构建个人的专业知识结构和看法。本文来自:博研联盟论坛
本文来自:博研联盟论坛
2。由杂到精。有了一定的知识基础以后，对于繁杂的文献，要有个人的判断。追踪某个专题、某个专家的研究进展，比较对于同一专题的论点的发展，掌握其新的方法或新结论，或注意作者观点的改变，探究其原因。培养个人的学术修养。对于高质量高水平的期刊，定期浏览，从面上了解学术进展和热点，根据个人的兴趣和工作进展，逐篇仔细阅读新作. 本文来自:博研联盟论坛
本文来自:博研联盟论坛
3。好记性不如烂笔头。无论是工作中的点滴发现，思想火花，都应该写下来。我和王忠诚院士、顾玉东院士的接触中，发现他们都有记卡片的习惯。病例随访、文献观点，等等。到写作文章时，都是现成的材料。现在有了电脑，但是写文献综述是一个完善知识结构的好方法。随时记下论点，个人心得，会有事半功倍的成绩。无论写在纸上，还是记载在电脑内，都应该有一个记事簿，并且经常整理。本文来自:博研联盟论坛
在这里介绍一款文献管理软件，具有笔记功能，可以随时记录自己对于正在阅读文献的思考，并且可以与当前文献联系起来：本文来自:博研联盟论坛
本文来自:博研联盟论坛
免费下载地址: 本文来自:博研联盟论坛
http://www.scinote.com/support/cgi-bin/download_chs.cgi 本文来自:博研联盟论坛
本文来自:博研联盟论坛
最新的教程地址: 本文来自:博研联盟论坛
http://www.scinote.com/support/noncgi/downloads/NoteExpress_Tutorial.pdf 本文来自:博研联盟论坛
本文来自:博研联盟论坛
word插件演示视频: 本文来自:博研联盟论坛
http://www.scinote.com/supportcn/noncgi/attach/2005/09/26/792-NEVedio_WordAddin.rar 本文来自:博研联盟论坛
本文来自:博研联盟论坛
技术支持地址: 本文来自:博研联盟论坛
http://www.scinote.com/supportcn/cgi-bin/forum_show.cgi 本文来自:博研联盟论坛
本文来自:博研联盟论坛
4。对于下载的文献，要以其内容建立以专题杂志按时间先后的专门分类。哪些需要仔细阅读并保存，哪些用处不大，待删除，哪些需要阅读却尚未阅读。以后想到时，还能及时找到。本文来自:博研联盟论坛
本文来自:博研联盟论坛
5。天天学习。文献天天有。如果只作为一个收藏家，就失去了研究的意义。下载的目的是学习。通过阅读，掌握专业领域的方法和知识。只要坚持学习，就会积累起自己的知识架构。水到渠成，游刃有余。本文来自:博研联盟论坛
本文来自:博研联盟论坛
之二：本文来自:博研联盟论坛
本文来自:博研联盟论坛
对于初次进入一个领域的新手，必须阅读大量的文献，才能把握本领域的动态和方向。本文来自:博研联盟论坛
记得一个留洋的研究生说，起初导师让他读大量的文献，而且每天都规定了数量，好像是100篇吧？由于刚刚接触这一领域，对许多问题还没有什么概念，读起来十分吃力，许多内容也读不懂。请教导师，却被告知只要每天把数量读够就行了。后来随着阅读量的增加，终于最后融汇贯通，也理解了导师的方法。本文来自:博研联盟论坛
所以，我觉得对新手而言，应当重视阅读文献的数量，积累多了，自然就由量变发展为质变了。本文来自:博研联盟论坛
而且，每个作者的研究方法多少有所区别，读得多了，渐渐就会比较出研究方法的优点和缺点，对自己今后的研究大有裨益。本文来自:博研联盟论坛
其实，由于现在科技进步很快，即使是自己从事的领域，也有很多新技术、新观点不停的出现，所以，即使是个“老手”，如果懒于更新自己的知识，也会很快落后。本文来自:博研联盟论坛
本文来自:博研联盟论坛
之三本文来自:博研联盟论坛
在文献多如牛毛的今天，其感觉犹如日益增多的帖子，在不想漏掉好东西的前提下本文来自:博研联盟论坛
本文来自:博研联盟论坛
1 把握动态，每天入园后先浏览一遍自上次登陆以来的新帖子，感兴趣的再看看，必要时保存或收藏，这大体相当与杂志的目录，以此保证不会漏掉新的东西本文来自:博研联盟论坛
本文来自:博研联盟论坛
2 回过头来重点看看感兴趣版块的精华帖、高人气帖、加密帖等，这相当于感兴趣砖头杂志的综述、评论、或是cutting edge（JI）之类的本文来自:博研联盟论坛
本文来自:博研联盟论坛
3 好东西不仅仅只在感兴趣版块，其他版块也有一些，在空的时候看看其他版块的精华帖、高人气帖、加密帖等，这相当于相关砖头杂志的综述、评论、或是cutting edge（JI）之类的本文来自:博研联盟论坛
本文来自:博研联盟论坛
4 用搜索功能查找特定关键词的帖子，大体相当于定题检索本文来自:博研联盟论坛
本文来自:博研联盟论坛
5 随着对领域的熟悉，特别是对大师级人物的熟悉，有时可看看这些作者的帖子本文来自:博研联盟论坛
本文来自:博研联盟论坛
6 在信息的今天，没谁敢说已经超一流，不需再接受新的东西；更没有人能够熟悉所有的领域本文来自:博研联盟论坛
本文来自:博研联盟论坛
之四本文来自:博研联盟论坛
邹承鲁院士写他是如何读文献的：本文来自:博研联盟论坛
无论题目从何而来，都必需紧密追踪当前有关科学领域发展的动向。从研究生时代开始，在导师教导下，以周围同学为榜样，我就养成了每周必定去图书馆浏览最新期刊的习惯，几十年如一日，雷打不动。如果确实有事，下周必定补上。我当时有一个小记录册，登录所有对本专业重要的刊物，每期读过后，一定做记录，决不遗漏一期，直至今日。现在可以在网上阅读所有重要刊物的目录和摘要，这就更容易做到了。掌握文献、对文献进行综合，以批判的眼光评价文献，并从中提取出有用的和正确的信息以指导今后的研究是一个能独立工作的科学工作者必备的能力。本文来自:博研联盟论坛
本文来自:博研联盟论坛
阅读文献以追踪当前发展动态时，务须切记发挥自己判断力，不可盲从，即使是知名科学家和教科书有时也会有错误。古人说得好：“ 尽信书不如无书”。在追踪当前发展的重要方向时切记，你看到的问题别人也同样会看到，越是重要的问题竞争必然越是剧烈，在研究条件不如人时，如果没有创新的研究思想，独到的研究方案是不可能超越他人得到成功的。虽然国际上也有对于某些重要课题一哄而起的情况，但在我国似乎特别严重。缺乏自己的创新思想而片面一哄而起追求热点，是一条必然失败的路线，最多只能是为别人成果锦上添花，或做一些小修小补的工作而已。关键在于自己的创新思想。创新思想来自何处，虽然灵机一动产生了重要的创新思想，在科学史上确实有所记载，但这毕竟是比较罕见的，而远远更为常见的是天才出于勤奋，创新出于积累，积累可以是个人积累，也可以是本人所在单位的长期积累。这就是前面提到的旺火炉原理，也是诺贝尔奖经常出在少数几个单位的原因。只有勤奋努力才能不断有优秀工作的积累，才可能在工作中逐渐产生真正创新的，别人无法剽窃的创新思想，才有可能在重大问题上取得突破。而在一个炉火熊熊的旺火炉中，不断会有优秀工作的积累，优秀人才的产生，并且创新思想和人才的不断相互作用，相互启发，相互激励，就会不断创造出新的突破性成果。本文来自:博研联盟论坛
本文来自:博研联盟论坛
之五：本文来自:博研联盟论坛
MIT人工智能（AI）实验室的教授和学生总结的如何读论文，还不错！本文来自:博研联盟论坛
阅读论文是需要练习的技能。不可能完整地阅读所有的论文。本文来自:博研联盟论坛
阅读论文可分为三个阶段：本文来自:博研联盟论坛
本文来自:博研联盟论坛
第一阶段是看论文中是否有感兴趣的东西。AI论文含有摘要，其中可能有内容的介绍，但是也有可能没有或者总结得不好，因此需要你跳读，这看一点那看一点，了解作者究竟做了些什么。内容目录（the table of contents）、结论部分（conclusion）和简介（introduction）是三个重点。如果这些方法都不行，就只好顺序快速浏览了。一旦搞清楚了论文的大概和创新点，就可以决定是否需要进行第二阶段了。本文来自:博研联盟论坛
本文来自:博研联盟论坛
在第二阶段，要找出论文真正具有内容的部分。很多15页的论文可以重写为一页左右的篇幅；因此需要你寻找那些真正激动人心的地方，这经常隐藏于某个地方。论文作者从其工作中所发现的感兴趣的地方，未必是你感兴趣的，反之亦然。本文来自:博研联盟论坛
最后，如果觉得该论文确实有价值，返回去通篇精读。　读论文时要牢记一个问题，“我应该如何利用该论文？”“真的像作者宣称的那样么？”“如果……会发生什么？”。理解论文得到了什么结论并不等同于理解了该论文。理解论文，就要了解论文的目的，作者所作的选择（很多都是隐含的），假设和形式化是否可行，论文指出了怎样的方向，论文所涉及领域都有哪些问题，作者的研究中持续出现的难点模式是什么，论文所表达的策略观点是什么，诸如此类。本文来自:博研联盟论坛
本文来自:博研联盟论坛
之六本文来自:博研联盟论坛
1.多数文章看摘要，少数文章看全文本文来自:博研联盟论坛
掌握了一点查全文的技巧，往往会以搞到全文为乐，以至于没有时间看文章的内容，更不屑于看摘要。真正有用的全文并不多，过分追求全文是浪费，不可走极端。当然只看摘要也是不对的。本文来自:博研联盟论坛
本文来自:博研联盟论坛
2.集中时间看文献本文来自:博研联盟论坛
看过总会遗忘。看文献的时间越分散，浪费时间越多。集中时间看更容易联系起来，形成整体印象。本文来自:博研联盟论坛
3.做好记录和标记本文来自:博研联盟论坛
复印或打印的文献，直接用笔标记或批注。pdf 或html 格式的文献，可以用编辑器标亮或改变文字颜色。这是避免时间浪费的又一重要手段。否则等于没看。本文来自:博研联盟论坛
4.准备引用的文章要亲自看过。本文来自:博研联盟论坛
转引造成的以讹传讹不胜枚举。本文来自:博研联盟论坛
5.注意文章的参考价值。本文来自:博研联盟论坛
刊物的影响因子、文章的被引次数能反映文章的参考价值。但要注意引用这篇文章的其它文章是如何评价这篇文章的：支持还是反对，补充还是纠错

数据库的分类

Linkman的学习记录 — Mon, 25 Dec 2006 11:33:00 GMT

数据处理是计算机的一个重要应用领域。数据管理发展历程分为两个重要阶段，早期的数据管理方式是使用数据文件来存放数据，常用的高级语言如C语言、BASIC语言都具有数据文件管理功能，支持这种数据文件管理方式的软件称为文件管理系统(FMS )，山于FMS存在种种不足，它不能满足现代数抓管理的应用需求，人们不断寻求新的数据管理方法，因而出现了以数据库为中心的数据库管理系统(DBMS)。数据库技术所研究的问题就是如何科学地组织和存储数据，如何高效地获取和处理数据。六十年代，IBM相继推出了第一个数据库管理系统IDS和第一个商品化的层次数据管理系统IMS, 1970年，Codd提出了关系数据库理论，开创了数据库应用新阶段。

如果说，第一代数据库是基于层次、网状的数据库，第二代数据库是关系数据库，那么可以说第三代数据库是以面向对象为主要特征的数据库。数据库从出现到现在，仅仅三十多年时间，但其发展速度之快、使用范围之广是其它技术所不及的，数据库技术正成为计算机科学中令人瞩目的一个重要分支。

数据库技术的进步推动着数据库应用领域的扩展和应用层次的提高，反过来，新的应用需求又促进了数据库技术的进一步发展，在数据库得到广泛应用的今天，针对不同的应用环境和用户需求，出现了许多新领域、新成果和新技术，这些新的数据库技术称为现代数据库，它们分为：

从数据模型来看，出现了面向对象的数据库(OODB)。OODB引入了面向对象的数据模型和方法，增加了管理数据内在动态联系的能力，对复杂数据对象的表达能力更强，能够支持多种非常规数据库的应用，而且建模能力和运行性能都显示出比关系数据库更大的优越性和潜力。

从数据分布来看，出现了分布式数据库(DDB)。DDB是相对于集中式数据库而言的，DDB是一组数据集，它们逻辑上属于同一系统，但是物理上分散在网络中的多个计算机上。目前，流行的DDBMS有Oracle、Sybase、INGRES等。

从数据处理方式来看，出现了并行数据库(PDB )。随着数据库规模越来越大，数据查询越来越复杂，对数据库系统处理能力和速度要求也越来越高，PDB由此应运而生，它是在并行机卜运行的具有并行处理能力的数据库系统，目前，PDB所依赖的并行计算机结构主要有共享全部资源、共享内存、无共享资源和共享磁盘四种。

从数据管理时间特性来看，出现了时态数据库(TDB)和实时数据库(RTDB)。传统数据库不具有时问特性，在实际应用中，常常要求查询历史数据或在规定时间内作出某种响应，对于这些操作，传统数据库无能为力，而TDB和K'I'DB很好地满足了这些应用需求。

从数据库的应用领域来看，出现了各种各样的特殊数据库。数据库技术与人

工智能相结合，出现了演绎数据库、知识库和主动数据库（ADB）；在多媒体领域，出现了多媒体数据库：在工程领域，出现了工程数据库；在统计领域，出现了统计数据库；在地理领域，出现了空间数据库等等。

从数据库的连接性来看，强调与Internet/Intranet的连接，出现了Web数据库，许多数据库厂商已经把DB与Internet的互连性作为其数据库产品的一个重要性能，纷纷推出了基于Internet/Intranet的数据库系统解决方案。

从数据库存储介质来看，出现了内存数据库(MMDB)。MMDB旨在解决内存和辅存之间速度匹配问题，在数据处理时，一次或分批将辅存数据装入内存，提高数据处理效率。

此外，还有联邦数据库、移动数据库等等。近年来，数据仓库和数据挖掘技术已成为数据库技术发展趋势。数据仓库技术源于数据库技术，它的主要设计思想是将分析决策所需的大量数据从传统的操作环境中分离出来，把分散的、难以访问的操作数据转换成集中统一的、随时可用的信息而建立的一种数据库存储环境。数据挖掘是从大量的原始数据中，运用规则归纳、神经网络、概念簇集、关联发现等方法，析取蕴涵的有价值的新知识。数据挖掘是由众多学科，如数据库技术、人工智能、模式识别、统计学等相互交叉融合所形成的一个新兴的具有广阔前景的领域。

综上所述，数据库技术己经发展到一个新的阶段，我们称之为第四代数据库，它们具有强大的数据建模能力、新的查询机制、强大的数据存储和共享能力、高级事务处理、主动服务和时间认知机制等特点，己广泛应用于现代信息系统、数据处理、CIMS, GIS, DSS等领域。虽然，目前一些商品化的DBMS具有现代数据库的一些特征，如面向对象、事务处理、多媒体等，但它们的功能还很单一、薄弱，我们期待不久的将来，一个集成化的、成熟的现代数据库产品面世，它将带给我们更大的受益。

数据库、实时数据库的分类和厂家列表

Linkman的学习记录 — Sat, 23 Dec 2006 10:28:00 GMT

l 关系型数据库；

l 文档型数据库；

l 并行数据库；

l 分布式数据库；

l 对象型数据库；

l 主动式数据库；

l 内存式数据库；

l 嵌入式数据库；

l 实时数据库

n 硬实时数据库；

n 固实时数据库；

n 软实时数据库

u 处理型软实时数据库；产品特征：

l 需要及时处理采集输入数据，针对输入数据及时运算及输出；

l 对历史数据的使用，只限于报表、查询等简单应用；

l 实时数据的关系相对复杂；

l 数据库作为其它系统的一部分存在；

u 统计型软实时数据库；产品特征：

l 一般不参与控制输出；

l 对历史数据的应用是系统的主要功能；

l 实时数据的结构简单；

l 数据库系统具有较强的独立性；

实时数据库这一概念已越来越火，但是，现在市场上对实时数据库的许多概念仍然混为一谈，事实上，PI、Infoplus等实时数据库都是属于统计型软实时数据库，目前国内提的实时数据库，基本都是这种类型。

目前在国内流行的统计型软实时数据库厂家有(以拼音排序，呵呵)：

l ABB

l ASPEN

l GE

l Honeywell

l Instep

l OSI

l Rockwell

l Wondware

l 力控

l 和利时

l 鲁能

l 麦杰

l 明维

l 新华

l 天地

l 亚控

l 中控

l 中科软

l 紫金桥