学习记录

实时数据库领域中有关数据压缩的认识误区

Linkman的学习记录 — Mon, 05 Nov 2007 14:45:00 GMT

2007年10月28日晚上，我挖了一个坑，那篇“关于实时数据库接口标准的讨论”，只写了第一部分，到现在还没有填上。工作忙是一个原因，我只能利用晚上22:00至23:00这一段时间写一些东西，另外一个更重要的原因是：我还在为该文章备课呢，请大家再等一段时间吧。

今天咱另换一个话题，谈谈在实时数据库领域中，有关数据压缩的一些认识误区。

我曾答应liyaoer123（实时数据库阵地的博主）同学，与他讨论一下数据压缩技术。另外，我经常收到一些朋友的来信，他们对实时数据库及数据压缩的认识有一些误区，今天，我便收到三封讨论实时数据库的邮件。

数据压缩是实时数据库中一个很重要的概念和技术，只要接触过实时数据库，都应该听说过数据压缩。同时，很多人对实时数据库中数据压缩存在误解，我们就一条一条地解说吧。

1.实时数据库中的数据压缩技术很高深很神秘。

现在的数据压缩理论和技术已经很成熟，大家可以看看我转摘的博文《数据压缩技术简史》，该文章浅显易懂，是一篇很好的关于数据压缩的科普文章。

在不同的应用领域，又可以针对不同的数据应用特征，引用不同的数据压缩技术，比如，图形处理领域的JEPG压缩技术，声音处理中的MP3压缩技术等。在流程工业行业中，工业实时数据也有一定的变化规律，可以针对这些规律，研究特定的数据压缩算法。

下面是工业实时数据的一些特征：

工业实时数据的数据变化具有一定波形规律；
工业实时数据中只有一小部分测点的值经常发生改变；
工业实时数据中很多测点的数值都具有慢变化的特征；
数值变化与时间变化具有共同变化特性；
用户在一定范围内，能够允许数据的精度损失；

在工业应用领域中，常用的压缩算法分为三类：

无损压缩；
有损压缩；
二级压缩；

其中，无损压缩一般以通用压缩理论为基础，采取哈佛曼算法等经典的压缩算法；而有损压缩而更多地考虑了工业实时数据的特征，而采取的一些特殊舍点算法；二级压缩技术，则是同时利用了这两种数据压缩技术。

实时数据库的无损压缩以通用压缩理论为基础，随便找一本大学教材就能看懂，在此不再多说。

目前比较著名的有损压缩算法,有PI中使用的旋转门压缩算法，IH中使用的死区压缩算法，以及一些变通压缩算法（如在旋转门算法基础上改用二次均方差作为偏差比较，以提高数据还原精度），这些算法原理都比较简单。网上有很多相关的文章，我在前几篇文章中提到的变化压缩算法，是死区压缩算法的简化变种，而liyaoer123同学在他的博客上帖出了osisoft关于旋转门压缩的技术文章，大家有兴趣可以去看看。

总而言之，实时数据库的压缩算法真的不难理解，只是实时数据库重多技术中的一种而已。

2.只要搞清楚数据压缩算法，就能编写好的实时数据库了。

这个问题要从两方面来分析。

首先要说明，数据压缩只是实时数据库中一个技术点，这个技术点相对于实时数据库其它技术点而言，难度和工作量是非常小的，我在《实时数据库的理论与技术》中，列出了实时数据库需关心的技术点，大家可以看看。只搞清数据压缩算法，是不能编写良好的实时数据库的。

另一个方面，只从数据压缩这个角度来看，只考虑算法也是不行的。

在实时数据库的数据压缩模块中，除了要考虑压缩算法之外，还要考虑以下内容：

变量ID、时间戳、质量戳、值四个字段在压缩算法中的数据组织，包括逻辑组织和空间组织；
压缩算法与内存缓冲区的配合；
压缩算法与磁盘文件的配合；
特殊情况的数据处理，如，启动、停止、备份、恢复等时的数据压缩状态。

3.实时数据库中，数据压缩的压缩率越高越好。

刚才提到，实时数据库中的数据压缩算法都是非常简单，这是由实时数据库的应用特点决定的。

要考虑一个实时数据库的数据压缩技术技术，需要从以下几方面考虑：

数据压缩率；
压缩数据的检索和定位速度；
数据压缩时间；
数据解压时间；
压缩数据在内存和磁盘的组织结构，以便更方便地利用内存和磁盘的特性；
数据解压后的还原精度；

数据压缩率只是其中一个指标，实时数据库追求的是综合性能指标，不能只看某一项指标。

从某个角度而言，在实时数据库的应用中，数据的压缩和解压时间的指标，要优先于数据压缩率指标。但是，在设计良好的系统中，这两个指标之间并不矛盾。

4.无损压缩比有损压缩要好

在两个洋品牌PI和eDNA之间，经常会就无损压缩和有损压缩哪个更好这个问题产生争执。

基本上，在此争执中，eDNA的无损压缩处于攻势，而PI则见招折招处处守势。总的来说，eDNA的市场宣传做得很不错，很多用户都是这样评价：eDNA比PI相比有很多优点，它采用了无损压缩技术，还有......，而且，它的价格比PI便宜多了。

客观地讲，无损压缩有其好处，它在某些方面保证了数据的精度，但是，这并不能说，无损压缩一定比有损压缩好。

采用无损压缩算法的实时数据库厂家，不能回避以下两个问题：

采用无损压缩算法的压缩率比采用有损压缩算法要低得多，针对工业实时数据的特征信息提取的无损压缩，是不可能达到10:1的。

采用无损压缩算法的实时数据库，单机总处理点数会存在性能瓶颈，以目前主流的计算机而言，采用无损压缩算法的实时数据库，平均只能处理2万左右的历史点。

另外，无损压缩所宣称的100%保持数据不丢失，只是一句话宣传词，在计算机上处理工业实时数据，本身就存在大量的数据信息丢失：

数据采集传感器存在采集误差；
数据采集是实时数据趋势变化的采样和数字化的过程，采集周期之间的特征波型已经丢失；
计算机处理和网络传输造成的延时和不确定，也会造成采集波型的失真；
传感器和计算机的数据类型字节限制，也会造成数据的失真。

在存在多处无法控制的失真环节的情况下，只强调保存数据的完全不失真，是没有意义的，只是商务宣传的需要，只要是数字化和计算机化处理，所有的数据就是近似的处理过程。

有人会说，这也失真、那也失真，还处理个屁呀。这其实是一种处女情结，是在无意义地追求某个特定的指标而不考虑系统整体性能。如果实时数据库在采用无损压缩的同时，还能保证很快的解压缩速度和较高的压缩率，当然无可厚非，但目前的理论和技术条件下，这些指标是矛盾的。而采取有损压缩技术，是在不影响整体精度情况下的性能指标的综合平衡。

5.实时数据库中，数据压缩不重要，要不要数据压缩没关系。

关于这一论点，有两种不同的观点。

第一种观点认为，现在的计算机硬盘很便宜了，磁盘容量不够，大不了多买几块磁盘。

第二种观点认为，实时数据库的重点是上层功能和应用，在工业应用中，数据压缩费力又不讨好，还不如将精力放在其它功能上。

这两种观点都不正确，实时数据库的市场存在意义，是因为现在的其它数据库产品，不能地处理大量工业实时和历史数据。这里说不能处理，包括处理速度和磁盘容量。

在我的文章《实时数据库历史数据容量的计算方法》中计算得出，用关系数据库保存10000个每秒钟变化一次的双精度数，同时建立一个索引，保存一年需要磁盘空间为：12922G，而用实时数据库保存，则只需103G，大家可以换算一下，12922G，需要多少块磁盘？

磁盘容量只是问题的一个方面，另一方面，数据的高压缩率意味着整个系统的数据处理速度更快，这体现在三个方面：高压缩率的数据，占用磁盘空间小，将数据从磁盘读入内存的速度快，网络传输的速度快，数据在内存中占用的空间小。而这三个因素，是实时数据库提高系统整体运行速度很重要的几个因素。

一个良好的实时数据库，必须要处理好实时压缩问题，只有处理好数据压缩问题，才能使系统的整体性能达到某个可用性指标。

以下有一个对是否选用实时数据库和数据压缩技术的简单判断：

关系数据库只能处理5000点每秒变化的工业实时数据，在此范围内，可以不考虑选用实时数据库。
在5000点至10000点的系统内，需要抛开关系数据库，重新设计自己的数据存贮系统，但是，在这个领域，是不太需要考虑数据压缩技术的。
当系统的历史点数在10000点以上时，必须要考虑数据压缩技术和专门的实时数据库了。

很多朋友告诉我，他们的系统不采用数据压缩技术，他们也不关心数据压缩技术，他们认为，良好的上层应用软件比数据压缩更重要。我要对他们说：不同的行业，不同的系统规模，对实时数据库的性能指标要求是不一样的。实时数据库系统是一个综合性的应用系统，设计良好的底层模块是其它模块良好运行的基础，数据压缩技术与其它数据库技术一起，对整个系统的运行提供了很底层但很重要的环境，大型实时数据库系统中，数据压缩技术是必须考虑的，另一方面，实时数据库中，数据压缩技术只是实时数据库系统中一个重要的技术点，但不是全部。

linkman 2007-11-05 22:44 发表评论

悲观程序员的五件武器

Linkman的学习记录 — Mon, 29 Oct 2007 12:34:00 GMT

我不知道，自己现在还算不算一个程序员。如果还算程序员的话，我肯定不是那种绝顶聪明的程序员。

我不是一个聪明的程序员，不能在键盘上手指翻飞，灵光似剑，一日千行，闭目成章。大师的高度，远非我能指望，我会犯很多错误，只是一个普通的程序员。

所以，对于编程，我是一个悲观主义者。

我不相信，所编写的程序能够一次编译通过；也不相信，能在家里将程序的所有错误都找出，而不需要出差现场；更不相信，我的程序能够在不同的环境下，对各种异常，都处理得非常完美；尤不相信，我的程序没有任何内存丢失，可以连续运行一周。

我本来不是一个悲观主义者，曾经的我，是那么激扬那么狂妄，只是一次次被打击，让我越来越务实，越来越冷静，越来越清醒地看待自己。随着岁月的增长，我编程的次数已越来越少，但是，我的悲观主义思想却越来越浓。

一打开程序，我便想到，因为软件出错，而不得不给用户写检讨；便想到，因为每月死机一次，客户对我大发雷霆；便想到，因为产品质量问题，而陪客户喝酒，连饮七大瓶啤酒。

那七瓶要命的啤酒，依然不能让客户回心转意，于是，我成了一个悲观程序员。

我是悲观主义程序员，好在还有五件武器。

第一件武器：断言（ASSERT）；

我希望，任何调用我的模块的程序，都能按照希望的参数格式和调用方法，正确地调用我的模块。因此，在我所编写的每一个模块内，都会大量地使用断言（ASSERT），在模块中加上了断言，我便相信，程序模块有了一个一个相对真实的调用环意，便有了一种虚幻的安全感。

第二件武器：静态代码检测工具，如PC-lint，有时也使用编译器的最严格的编译级别；

我从不认为，自己是一个对C/C++/VC等，都非常熟悉的程序员，经常会不小心使用一些不正常的语法，或是不太考虑字段的边界，因此，在程序编到一定的阶段，都会采用pc-lint，对我所编写的程序，进行严格的编译检查。

第三件武器：动态代码检测工具，如boundcheck；

对于C/C++程序员而言，最大的痛苦就是内存泄漏，或其它资源泄漏了，我对内存泄漏有天生的恐惧，也经常在内存丢失方面犯错误，因此，在产品发布给用户前，一定会采用动态代码检测工具，进行一次彻底的测试。

第四件武器：单元测试工具，如cppunit；

我没有足够的自信，认为自己能够很好地驾驭多个模块的大型程序，也不相信自己写过的、超过50行的程序会没有问题，因此，我会尽量引入单元测试，对每一个重要的函数或模块进行地毯式单元测试，当看到那一遍测试通过的绿色，才能够安心地回家睡觉。

第五件武器：调试信息；

我相信，我所编写的所有程序，都不可能一次成功，即便再认真地调试检查，再多地厂内工作，在现场还是免不了会出问题。因为，不可能在家里模拟现场所有的情况，也不能够对各种异常情况进行完整地猜测。因此，在我所编写的很多程序中，特别是与监控有关的、需要长期、连续运行的程序，都会加上尽可能多的调试信息。

在程序中加上调试信息，是我最后的稻草，有了它，我终于敢将产品战战兢兢地交给客户。

那么，调试信息应该记录哪些内容？我想说的是，调试信息应该能够记录现场所有的信息，包括：

程序的启停状态；
调用它人程序的边界参数；
被它人调用的程序的边界参数；
与外部环境的边界，包括操作系统、文件系统、硬件、数据库等；
与网络交互的两端边界；
重要模块的被调用参数；
模块内的重要过程的当前参数；

有了这些调试信息，我便可以不出差了，当现场发生了事情时，我的第一反应便是要求查看这些调试信息。

今天一位朋友问我，你如何保证你的程序能够稳定，我告诉他：我有五件武器。

宝刀配英雄，现在我已很少编写程序了，这些武器，就送给战斗在第一线的程序员吧，也许你们现在不觉得它们有多重要，但总有一天，你们会自觉地将它们带在身边的。

不要再浪费时间---阅读文献技巧（转摘）

Linkman的学习记录 — Tue, 02 Jan 2007 17:59:00 GMT

(看到一篇好文章，摘下备用)

不要再浪费时间---阅读文献技巧本文来自:博研联盟论坛
本文来自:博研联盟论坛
本文来自:博研联盟论坛
以下是作者在论坛上收集的一些有关如何阅读文献的心得，希望对大家有所帮助：本文来自:博研联盟论坛
本文来自:博研联盟论坛
之一本文来自:博研联盟论坛
本文来自:博研联盟论坛
1。由点到面。选工作实践中的疑点，热点，由一个小枝节，检索较全的文献，一般近期的20 篇左右已经相当多了。之所以不必在意3年以前的，是因为知识更新非常快，且网上能查到的多为近几年的全文。学习别人是怎么发现解决问题的。知道目前对这个问题的共同看法，和分歧。然后，扩展开，根据兴趣和研究的目的，知道，在研究的领域：谁的文章被引用的次数多，谁的文章最多最新最有启发性。去图书馆找他的文章看全文。逐步扩展自己的视野，构建个人的专业知识结构和看法。本文来自:博研联盟论坛
本文来自:博研联盟论坛
2。由杂到精。有了一定的知识基础以后，对于繁杂的文献，要有个人的判断。追踪某个专题、某个专家的研究进展，比较对于同一专题的论点的发展，掌握其新的方法或新结论，或注意作者观点的改变，探究其原因。培养个人的学术修养。对于高质量高水平的期刊，定期浏览，从面上了解学术进展和热点，根据个人的兴趣和工作进展，逐篇仔细阅读新作. 本文来自:博研联盟论坛
本文来自:博研联盟论坛
3。好记性不如烂笔头。无论是工作中的点滴发现，思想火花，都应该写下来。我和王忠诚院士、顾玉东院士的接触中，发现他们都有记卡片的习惯。病例随访、文献观点，等等。到写作文章时，都是现成的材料。现在有了电脑，但是写文献综述是一个完善知识结构的好方法。随时记下论点，个人心得，会有事半功倍的成绩。无论写在纸上，还是记载在电脑内，都应该有一个记事簿，并且经常整理。本文来自:博研联盟论坛
在这里介绍一款文献管理软件，具有笔记功能，可以随时记录自己对于正在阅读文献的思考，并且可以与当前文献联系起来：本文来自:博研联盟论坛
本文来自:博研联盟论坛
免费下载地址: 本文来自:博研联盟论坛
http://www.scinote.com/support/cgi-bin/download_chs.cgi 本文来自:博研联盟论坛
本文来自:博研联盟论坛
最新的教程地址: 本文来自:博研联盟论坛
http://www.scinote.com/support/noncgi/downloads/NoteExpress_Tutorial.pdf 本文来自:博研联盟论坛
本文来自:博研联盟论坛
word插件演示视频: 本文来自:博研联盟论坛
http://www.scinote.com/supportcn/noncgi/attach/2005/09/26/792-NEVedio_WordAddin.rar 本文来自:博研联盟论坛
本文来自:博研联盟论坛
技术支持地址: 本文来自:博研联盟论坛
http://www.scinote.com/supportcn/cgi-bin/forum_show.cgi 本文来自:博研联盟论坛
本文来自:博研联盟论坛
4。对于下载的文献，要以其内容建立以专题杂志按时间先后的专门分类。哪些需要仔细阅读并保存，哪些用处不大，待删除，哪些需要阅读却尚未阅读。以后想到时，还能及时找到。本文来自:博研联盟论坛
本文来自:博研联盟论坛
5。天天学习。文献天天有。如果只作为一个收藏家，就失去了研究的意义。下载的目的是学习。通过阅读，掌握专业领域的方法和知识。只要坚持学习，就会积累起自己的知识架构。水到渠成，游刃有余。本文来自:博研联盟论坛
本文来自:博研联盟论坛
之二：本文来自:博研联盟论坛
本文来自:博研联盟论坛
对于初次进入一个领域的新手，必须阅读大量的文献，才能把握本领域的动态和方向。本文来自:博研联盟论坛
记得一个留洋的研究生说，起初导师让他读大量的文献，而且每天都规定了数量，好像是100篇吧？由于刚刚接触这一领域，对许多问题还没有什么概念，读起来十分吃力，许多内容也读不懂。请教导师，却被告知只要每天把数量读够就行了。后来随着阅读量的增加，终于最后融汇贯通，也理解了导师的方法。本文来自:博研联盟论坛
所以，我觉得对新手而言，应当重视阅读文献的数量，积累多了，自然就由量变发展为质变了。本文来自:博研联盟论坛
而且，每个作者的研究方法多少有所区别，读得多了，渐渐就会比较出研究方法的优点和缺点，对自己今后的研究大有裨益。本文来自:博研联盟论坛
其实，由于现在科技进步很快，即使是自己从事的领域，也有很多新技术、新观点不停的出现，所以，即使是个“老手”，如果懒于更新自己的知识，也会很快落后。本文来自:博研联盟论坛
本文来自:博研联盟论坛
之三本文来自:博研联盟论坛
在文献多如牛毛的今天，其感觉犹如日益增多的帖子，在不想漏掉好东西的前提下本文来自:博研联盟论坛
本文来自:博研联盟论坛
1 把握动态，每天入园后先浏览一遍自上次登陆以来的新帖子，感兴趣的再看看，必要时保存或收藏，这大体相当与杂志的目录，以此保证不会漏掉新的东西本文来自:博研联盟论坛
本文来自:博研联盟论坛
2 回过头来重点看看感兴趣版块的精华帖、高人气帖、加密帖等，这相当于感兴趣砖头杂志的综述、评论、或是cutting edge（JI）之类的本文来自:博研联盟论坛
本文来自:博研联盟论坛
3 好东西不仅仅只在感兴趣版块，其他版块也有一些，在空的时候看看其他版块的精华帖、高人气帖、加密帖等，这相当于相关砖头杂志的综述、评论、或是cutting edge（JI）之类的本文来自:博研联盟论坛
本文来自:博研联盟论坛
4 用搜索功能查找特定关键词的帖子，大体相当于定题检索本文来自:博研联盟论坛
本文来自:博研联盟论坛
5 随着对领域的熟悉，特别是对大师级人物的熟悉，有时可看看这些作者的帖子本文来自:博研联盟论坛
本文来自:博研联盟论坛
6 在信息的今天，没谁敢说已经超一流，不需再接受新的东西；更没有人能够熟悉所有的领域本文来自:博研联盟论坛
本文来自:博研联盟论坛
之四本文来自:博研联盟论坛
邹承鲁院士写他是如何读文献的：本文来自:博研联盟论坛
无论题目从何而来，都必需紧密追踪当前有关科学领域发展的动向。从研究生时代开始，在导师教导下，以周围同学为榜样，我就养成了每周必定去图书馆浏览最新期刊的习惯，几十年如一日，雷打不动。如果确实有事，下周必定补上。我当时有一个小记录册，登录所有对本专业重要的刊物，每期读过后，一定做记录，决不遗漏一期，直至今日。现在可以在网上阅读所有重要刊物的目录和摘要，这就更容易做到了。掌握文献、对文献进行综合，以批判的眼光评价文献，并从中提取出有用的和正确的信息以指导今后的研究是一个能独立工作的科学工作者必备的能力。本文来自:博研联盟论坛
本文来自:博研联盟论坛
阅读文献以追踪当前发展动态时，务须切记发挥自己判断力，不可盲从，即使是知名科学家和教科书有时也会有错误。古人说得好：“ 尽信书不如无书”。在追踪当前发展的重要方向时切记，你看到的问题别人也同样会看到，越是重要的问题竞争必然越是剧烈，在研究条件不如人时，如果没有创新的研究思想，独到的研究方案是不可能超越他人得到成功的。虽然国际上也有对于某些重要课题一哄而起的情况，但在我国似乎特别严重。缺乏自己的创新思想而片面一哄而起追求热点，是一条必然失败的路线，最多只能是为别人成果锦上添花，或做一些小修小补的工作而已。关键在于自己的创新思想。创新思想来自何处，虽然灵机一动产生了重要的创新思想，在科学史上确实有所记载，但这毕竟是比较罕见的，而远远更为常见的是天才出于勤奋，创新出于积累，积累可以是个人积累，也可以是本人所在单位的长期积累。这就是前面提到的旺火炉原理，也是诺贝尔奖经常出在少数几个单位的原因。只有勤奋努力才能不断有优秀工作的积累，才可能在工作中逐渐产生真正创新的，别人无法剽窃的创新思想，才有可能在重大问题上取得突破。而在一个炉火熊熊的旺火炉中，不断会有优秀工作的积累，优秀人才的产生，并且创新思想和人才的不断相互作用，相互启发，相互激励，就会不断创造出新的突破性成果。本文来自:博研联盟论坛
本文来自:博研联盟论坛
之五：本文来自:博研联盟论坛
MIT人工智能（AI）实验室的教授和学生总结的如何读论文，还不错！本文来自:博研联盟论坛
阅读论文是需要练习的技能。不可能完整地阅读所有的论文。本文来自:博研联盟论坛
阅读论文可分为三个阶段：本文来自:博研联盟论坛
本文来自:博研联盟论坛
第一阶段是看论文中是否有感兴趣的东西。AI论文含有摘要，其中可能有内容的介绍，但是也有可能没有或者总结得不好，因此需要你跳读，这看一点那看一点，了解作者究竟做了些什么。内容目录（the table of contents）、结论部分（conclusion）和简介（introduction）是三个重点。如果这些方法都不行，就只好顺序快速浏览了。一旦搞清楚了论文的大概和创新点，就可以决定是否需要进行第二阶段了。本文来自:博研联盟论坛
本文来自:博研联盟论坛
在第二阶段，要找出论文真正具有内容的部分。很多15页的论文可以重写为一页左右的篇幅；因此需要你寻找那些真正激动人心的地方，这经常隐藏于某个地方。论文作者从其工作中所发现的感兴趣的地方，未必是你感兴趣的，反之亦然。本文来自:博研联盟论坛
最后，如果觉得该论文确实有价值，返回去通篇精读。　读论文时要牢记一个问题，“我应该如何利用该论文？”“真的像作者宣称的那样么？”“如果……会发生什么？”。理解论文得到了什么结论并不等同于理解了该论文。理解论文，就要了解论文的目的，作者所作的选择（很多都是隐含的），假设和形式化是否可行，论文指出了怎样的方向，论文所涉及领域都有哪些问题，作者的研究中持续出现的难点模式是什么，论文所表达的策略观点是什么，诸如此类。本文来自:博研联盟论坛
本文来自:博研联盟论坛
之六本文来自:博研联盟论坛
1.多数文章看摘要，少数文章看全文本文来自:博研联盟论坛
掌握了一点查全文的技巧，往往会以搞到全文为乐，以至于没有时间看文章的内容，更不屑于看摘要。真正有用的全文并不多，过分追求全文是浪费，不可走极端。当然只看摘要也是不对的。本文来自:博研联盟论坛
本文来自:博研联盟论坛
2.集中时间看文献本文来自:博研联盟论坛
看过总会遗忘。看文献的时间越分散，浪费时间越多。集中时间看更容易联系起来，形成整体印象。本文来自:博研联盟论坛
3.做好记录和标记本文来自:博研联盟论坛
复印或打印的文献，直接用笔标记或批注。pdf 或html 格式的文献，可以用编辑器标亮或改变文字颜色。这是避免时间浪费的又一重要手段。否则等于没看。本文来自:博研联盟论坛
4.准备引用的文章要亲自看过。本文来自:博研联盟论坛
转引造成的以讹传讹不胜枚举。本文来自:博研联盟论坛
5.注意文章的参考价值。本文来自:博研联盟论坛
刊物的影响因子、文章的被引次数能反映文章的参考价值。但要注意引用这篇文章的其它文章是如何评价这篇文章的：支持还是反对，补充还是纠错

数据库的分类

Linkman的学习记录 — Mon, 25 Dec 2006 11:33:00 GMT

数据处理是计算机的一个重要应用领域。数据管理发展历程分为两个重要阶段，早期的数据管理方式是使用数据文件来存放数据，常用的高级语言如C语言、BASIC语言都具有数据文件管理功能，支持这种数据文件管理方式的软件称为文件管理系统(FMS )，山于FMS存在种种不足，它不能满足现代数抓管理的应用需求，人们不断寻求新的数据管理方法，因而出现了以数据库为中心的数据库管理系统(DBMS)。数据库技术所研究的问题就是如何科学地组织和存储数据，如何高效地获取和处理数据。六十年代，IBM相继推出了第一个数据库管理系统IDS和第一个商品化的层次数据管理系统IMS, 1970年，Codd提出了关系数据库理论，开创了数据库应用新阶段。

如果说，第一代数据库是基于层次、网状的数据库，第二代数据库是关系数据库，那么可以说第三代数据库是以面向对象为主要特征的数据库。数据库从出现到现在，仅仅三十多年时间，但其发展速度之快、使用范围之广是其它技术所不及的，数据库技术正成为计算机科学中令人瞩目的一个重要分支。

数据库技术的进步推动着数据库应用领域的扩展和应用层次的提高，反过来，新的应用需求又促进了数据库技术的进一步发展，在数据库得到广泛应用的今天，针对不同的应用环境和用户需求，出现了许多新领域、新成果和新技术，这些新的数据库技术称为现代数据库，它们分为：

从数据模型来看，出现了面向对象的数据库(OODB)。OODB引入了面向对象的数据模型和方法，增加了管理数据内在动态联系的能力，对复杂数据对象的表达能力更强，能够支持多种非常规数据库的应用，而且建模能力和运行性能都显示出比关系数据库更大的优越性和潜力。

从数据分布来看，出现了分布式数据库(DDB)。DDB是相对于集中式数据库而言的，DDB是一组数据集，它们逻辑上属于同一系统，但是物理上分散在网络中的多个计算机上。目前，流行的DDBMS有Oracle、Sybase、INGRES等。

从数据处理方式来看，出现了并行数据库(PDB )。随着数据库规模越来越大，数据查询越来越复杂，对数据库系统处理能力和速度要求也越来越高，PDB由此应运而生，它是在并行机卜运行的具有并行处理能力的数据库系统，目前，PDB所依赖的并行计算机结构主要有共享全部资源、共享内存、无共享资源和共享磁盘四种。

从数据管理时间特性来看，出现了时态数据库(TDB)和实时数据库(RTDB)。传统数据库不具有时问特性，在实际应用中，常常要求查询历史数据或在规定时间内作出某种响应，对于这些操作，传统数据库无能为力，而TDB和K'I'DB很好地满足了这些应用需求。

从数据库的应用领域来看，出现了各种各样的特殊数据库。数据库技术与人

工智能相结合，出现了演绎数据库、知识库和主动数据库（ADB）；在多媒体领域，出现了多媒体数据库：在工程领域，出现了工程数据库；在统计领域，出现了统计数据库；在地理领域，出现了空间数据库等等。

从数据库的连接性来看，强调与Internet/Intranet的连接，出现了Web数据库，许多数据库厂商已经把DB与Internet的互连性作为其数据库产品的一个重要性能，纷纷推出了基于Internet/Intranet的数据库系统解决方案。

从数据库存储介质来看，出现了内存数据库(MMDB)。MMDB旨在解决内存和辅存之间速度匹配问题，在数据处理时，一次或分批将辅存数据装入内存，提高数据处理效率。

此外，还有联邦数据库、移动数据库等等。近年来，数据仓库和数据挖掘技术已成为数据库技术发展趋势。数据仓库技术源于数据库技术，它的主要设计思想是将分析决策所需的大量数据从传统的操作环境中分离出来，把分散的、难以访问的操作数据转换成集中统一的、随时可用的信息而建立的一种数据库存储环境。数据挖掘是从大量的原始数据中，运用规则归纳、神经网络、概念簇集、关联发现等方法，析取蕴涵的有价值的新知识。数据挖掘是由众多学科，如数据库技术、人工智能、模式识别、统计学等相互交叉融合所形成的一个新兴的具有广阔前景的领域。

综上所述，数据库技术己经发展到一个新的阶段，我们称之为第四代数据库，它们具有强大的数据建模能力、新的查询机制、强大的数据存储和共享能力、高级事务处理、主动服务和时间认知机制等特点，己广泛应用于现代信息系统、数据处理、CIMS, GIS, DSS等领域。虽然，目前一些商品化的DBMS具有现代数据库的一些特征，如面向对象、事务处理、多媒体等，但它们的功能还很单一、薄弱，我们期待不久的将来，一个集成化的、成熟的现代数据库产品面世，它将带给我们更大的受益。

数据库、实时数据库的分类和厂家列表

Linkman的学习记录 — Sat, 23 Dec 2006 10:28:00 GMT

l 关系型数据库；

l 文档型数据库；

l 并行数据库；

l 分布式数据库；

l 对象型数据库；

l 主动式数据库；

l 内存式数据库；

l 嵌入式数据库；

l 实时数据库

n 硬实时数据库；

n 固实时数据库；

n 软实时数据库

u 处理型软实时数据库；产品特征：

l 需要及时处理采集输入数据，针对输入数据及时运算及输出；

l 对历史数据的使用，只限于报表、查询等简单应用；

l 实时数据的关系相对复杂；

l 数据库作为其它系统的一部分存在；

u 统计型软实时数据库；产品特征：

l 一般不参与控制输出；

l 对历史数据的应用是系统的主要功能；

l 实时数据的结构简单；

l 数据库系统具有较强的独立性；

实时数据库这一概念已越来越火，但是，现在市场上对实时数据库的许多概念仍然混为一谈，事实上，PI、Infoplus等实时数据库都是属于统计型软实时数据库，目前国内提的实时数据库，基本都是这种类型。

目前在国内流行的统计型软实时数据库厂家有(以拼音排序，呵呵)：

l ABB

l ASPEN

l GE

l Honeywell

l Instep

l OSI

l Rockwell

l Wondware

l 力控

l 和利时

l 鲁能

l 麦杰

l 明维

l 新华

l 天地

l 亚控

l 中控

l 中科软

l 紫金桥

(好文共享)摩尔定律的末日－软硬件性能提升的历史和未来(4)

Linkman的学习记录 — Sat, 23 Dec 2006 10:13:00 GMT

之四，通过堆栈调用解析多线程

首先说明一下，堆是进程的全局数据内存存储区，栈是函数的局部数据内存存储区。由于大多数书籍在介绍堆或栈时，皆以堆栈泛指，因此，题目标题亦如此表述，希望读者不要混淆就是了。

初见标题，也许有人觉得奇怪，多线程和堆栈有关系吗？初学多线程，很多概念难以辨清。要全面深入理解多线程，必须对栈有十分清楚的理解。个人感觉在Windows编程中，栈的概念犹如C/C++中的指针，非常重要，但难于全面理解。市面上的书籍对堆栈的介绍或是蜻蜓点水、浮于表面；或是过于理论化，不够具体，不易理解。在这里，我以示例的形式将自己的一点学习体会写出来与大家分享。为了便于表述清楚，文章分为两部分：第一部分介绍栈的调用，这是此篇文章的核心。第二部分解析多线程的概念。

一、栈的调用

众所周知，在函数调用过程中，参数的传递是通过栈完成的，具体到机器码是什么样子呢？不同的调用约定（PASCAL约定或STDCALL约定等）将导致不同的参数压栈顺序，这些细节就略去不讲了，有兴趣的读者可以参考相关书目。为了把栈的概念表述清楚，这里将涉及到一些简单的汇编语言方面的知识，一点点而已。然后以一个简单的C++控制台程序为示例来进一步详细说明。先把代码列出来，够简单吧。

#include

int fn(int n)

    n+=1;

    return n;

void main()

    int i=1,j=10;

    i=fn(i);  // A

    j=fn(j);  // B

    cout<<I<    在A处，进程的主线程调用了函数fn并传递了参数。其汇编代码如下：

004010B6  mov  eax,dword ptr [ebp-4]  //此时ebp=0x0012ff80，&i=0x12ff7c，ebp-4为i的地址

004010B9  push  eax

004010BA  call  @ILT+20(fn) (00401019)

    再明显不过了，第一行汇编代码将变量i的数值放入寄存器eax中。第二行汇编代码将变量i的数值压入栈

中，对应前面（1）。第三行汇编代码执行call指令，此条指令自动将返回地址压入栈中，然后，跳转到函数

体内部，准备执行函数内部的代码，对应前面（2）。

    现在我们再来看看函数内部的代码是什么样子。这里只截取部分相关代码。

2:    int fn(int n)

3:    {

00401050  push  ebp

00401051  mov   ebp,esp

…    …    …    …

4:        n+=1;

00401068  mov  eax,dword ptr [ebp+8]    //此时ebp=0x12ff20  &n=0x12ff28  eax=1

0040106B  add  eax,1

0040106E  mov  dword ptr [ebp+8],eax

    第一行汇编代码对应前面（3）。第二行汇编代码对应前面（4）。第三行汇编代码将变量n的数值放入寄

存器eax中。第四行汇编代码将其加一。第五行汇编代码将结果放回变量n。这里可以十分清楚地看到，EBP寄

存器用于参数的寻址。

    现在我们再看看B处函数调用的情况。

004010C5  mov  ecx,dword ptr [ebp-8]    //此时ebp=0x12ff80，&j=0x12ff78 ，ebp-8为j的地址

004010C8  push  ecx

004010C9  call   @ILT+20(fn) (00401019)

    可以看到，除了压栈数值变化以外，没有其它不同了。A处压栈i，B处压栈j。

    下面使用VC单步调试，再来看函数体内部，汇编代码没有任何不同，不同的只是栈。当然了，函数体的代

码是编译器一次性编译的。即使被多次调用，去完成不同的工作，不同的只是参数（调用栈），函数内部使用

间接寻址，只是相同的机器码操作不同的内存存储区而已。

2:    int fn(int n)

3:    {

00401050  push  ebp

00401051  mov   ebp,esp

…    …    …    …

4:        n+=1;

00401068  mov  eax,dword ptr [ebp+8]    //此时ebp=0x12ff20  &n=0x12ff28  eax=10

0040106B  add  eax,1

0040106E  mov  dword ptr [ebp+8],eax

    到了这里，栈的概念就讲完了。

二、解析多线程

    这里首先要明确一点：每一个线程都独立拥有一个栈。

    我们知道，Windows系统是一个多任务操作系统，多个线程可以“同时”执行。前面讲到，CPU执行程序

代码完全依靠各种寄存器。当一个线程将被挂起时，当前的各种寄存器的数值就被存储在了线程的栈中。当

CPU重新执行此线程时，将从栈中取出寄存器的数值，接着运行，好像这个线程从来就没有被打断过一样。正

是因为每个线程都有一个独立的栈，使线程拥有了可以“闭门造车”的能力。只要将参数传递给线程的栈，

CPU将担负起这块内存存储区的管理工作，并适时地执行线程函数代码对其进行操作，所有这一切与前面所讲

述的没有不同。当系统在多个线程间切换时，CPU将执行相同的代码操作不同的栈。

    下面举一个例子来加深理解。

    随着面向对象编程方法的普及，我们很乐意将任何操作都包装成为一个类。线程函数也不例外，以静态函

数的形式将线程函数放在类中是C++编程普遍使用的一种方法。通常情况下对象包括属性（类变量）与方法

（类函数）。属性指明对象自身的性质，方法用于操作对象，改变它的属性。现在有一个小问题要注意了。类

的静态函数只能访问类的静态变量，而静态变量是不属于单个对象的，他存放在进程的全局数据存储区。一般

情况下，我们希望每个对象能够“独立”，也就是说，多个对象能够各自干各自的工作，不要相互打扰。如果

以通常的方法，以类（静态）变量存储对象的属性，可就要出问题了，因为类（静态）变量不属于单个对象。

现在怎么办呢？如何继续保持每个对象的“独立性”。解决的方法就是使用栈，将参数传递给线程函数的局部

变量（栈存储区），以单个对象管理每个线程，问题就解决了。当然了，解决方法是多种多样的，这里只是为

了进一步解释多线程与对象的关系。

    由于Windows的内部实现实在是太复杂了，这里只是在应用的层面上对栈给出解释。若深入到Windows内

部，栈的定位首先需要依据寄存器SS经由（全局或局部）段描述符表得到相应的线性地址（虚拟地址）基址，

此基址与EIP相加，然后再经由分页机制寻址物理内存。有兴趣的读者可以参阅文章后面的参考书目。一点学

习体会写出来与大家分享，有不对的地方，欢迎指正。

    参考书目：

    《Intel汇编语言程序设计》（第四版），作者：Kip R.Irvine，电子工业出版社翻译出版。

    《Windows环境下32位汇编语言程序设计》，作者：罗云彬，电子工业出版社出版。

(好文共享)摩尔定律的末日－软硬件性能提升的历史和未来(3)

Linkman的学习记录 — Sat, 23 Dec 2006 10:11:00 GMT

之三，说明（不是我说的）

原文于2005年3月发表在Dr. Dobbs Journal，被Rickard Oberg（J2EE奇才，JBoss作者）认为是2005年度世界最重要技术文章之一。文章深刻分析了处理器性能提升技术的发展历史与未来趋势、并发的重要性及其与软件的关系，以及现阶段并发编程中存在的主要问题。文章特别强调：软件开发史上，自面向对象降生以来的又一个巨变已经叩向我们的房门，那就是并发。

译文叙述深刻而生动、分析到位、不失风趣。实为揭示“后摩尔时代”软硬件相辅相成发展趋势的精彩好文！

“安迪送，比尔取”＝“Intel送、微软取”——指我们大家购买的PC机处理速度越来越快，更快的CPU价格却更便宜，这就是摩尔定律带给我们的实惠。而微软操作系统从95到XP、longhorn越来越大、越来越占用资源，更庞大的操作系统得以运转的基础就是更快的CPU。显然微软也从摩尔定律得到了实惠。

文中指出按照CPU主频从几百M达到1G、2G、3G的跨越速度（大概是2002年－2003年间的事情），2006年的今天我们应该已经得到接近10G速率的CPU，而事实是从4年前CPU达到1G，今天我们常见的CPU速率顶多3G左右，CPU主频提升速度确实几乎停滞！

文章也揭示了今后软件效率提升之道，那就是并发：多线程编程或者说多进程编程！SUN的J2EE有与生具来的天赋，最常见的JSP实际上就是多线程运行的，只是很多编程新手并没有注意到这一点。ABCNews.com报道，众所周知的摩尔定律被英特尔验证是有效的，并被人们认为能在半导体行业里继续存在下去。而摩尔第二定律则成为软件厂商最大的隐患，因为按照摩尔的这两条定律可以发现，软件更新的速度很难赶上硬件。

几乎每一个生活在这个现代社会里的人都听说过摩尔定律(Moores Law)，它甚至成为了这个数字时代的基础，也成了我们日常生活中的节拍器。

但是肯定很少有人听说过摩尔的“第二”定律。在接下来的几年里它将会被证明比第一个定理还要重要。事实上，如果这两个定律继续存在，那么它们将会给微软这样软件巨头带来灾难。

摩尔定律是硬件革新步伐当中的重要主题，并陪伴着落后的软件行业继续前进。这大概就是微软一再推后发布新系统并带来众多麻烦的原因之一。

展望未来，革新步伐的不一致不仅仅会影响软件和电脑市场，同时一些一科技为基础的产品比如飞机、手机、电视甚至MP3播放器，这些人们每天需要的东西都会受到或多或少的影响。

根据行业分析机构Venture Development Corp.的估计，所有目前正在正在进行着的项目当中，大约有一半都要落后与预定的时间，超出的时间平均为四个月。同时更糟的是，我们目前新产品的革新速度已经开始逐渐变的慢下来，这些都是以我们舒适的生活、娱乐甚至健康为代价的。

40岁的“定律”

我们把摩尔定律称为摩尔的第一定律。你肯定还记得它的内容，就是半导体芯片的精度将会以18到24个月为周期翻倍。这个定律是由高登·摩尔(Gordon Moore)于1965年提出的，他是Fairchild公司和英特尔公司的联合创始人。摩尔的预言因为65纳米芯片的出现而被证明是继续有效的，同时摩尔定律还被认为至少能在半导体领域里存在20年甚至更长的时间。这个定律不仅适用于存储芯片，在微处理器方面也表现的相当好，从手机到个人电脑甚至到遗传学，几乎所有的领域都要用到它。

这将真正地告诉了我们摩尔定律在我们的生活中的重要地位，无论我们是不是知道它。

那么第二定律到底是怎么一回事呢？

几乎没有人知道摩尔在写有第一定律的那张纸上的另一个定律，它只是一个很短的段落，尽管描述的不是很清楚甚至很深奥，但是他仍然有力地向我们形容了什么是第二定律。它是这样说的：“我们可以花更小的代价建立出更大的系统，而且它的功能也会很庞大，它由很多相关联的部分组成。它能实现非常庞大的功能，而且这种功能会和设计和结构紧密地结合在一起，它可以让这些巨型系统的制造商快速并经济地设计和构造出各种各样的设备。”

大概一年前，我在《连线》杂志上再次重新看到了这段话，给我的感觉就是一段关于电子设备效率的晦涩难懂的话。而且正像摩尔第一定律还不是一个真正正确的定律，但是芯片制造商们向消费者允诺，称他们会尽可能地保持技术发展的速度，所以摩尔第二定律也要被提倡做出类似的允诺：任何电子系统的整体效率每24个月翻一番。

尽管《连线》杂志的这篇文章称这些电子设备需要更好的电池来提供能量，不过我认识到了对于这个高科技的世界里的一些其他东西，摩尔第二定律对它们的意义将更加深远。

软件必须要赶上硬件的步伐

单凭经验来考虑，芯片的性能翻倍，软件就需要以四倍的速度增长。而且根据摩尔第一定律，芯片的性能每隔两年都会发生飞跃性的改善，那么代码的数量将会每隔一年就增加一倍。不幸的是，这种事情不会成为现实。

环顾周围，你会发现任何一个地方都会有这种问题出现。目前手机使用的代码平均为200万行，到2010年会增加到1000万行。如果根据摩尔定律来看，电视所需要的代码将是这一数字的两倍。而目前的汽车需要的代码数量平均为3500万行，到2010年这个数字会突破1亿行。

而现在这些数不清的科技产品将得不到足够的发展，因为根据摩尔定律，硬件的发展速度远远跟不上软件。这当然会对去年那些堂吉诃德式的商业行为产生影响：为什么微软这个依靠开发和销售操作系统的软件巨头，在它的下一代操作系统Vista上屡屡受挫。Vista的延期发布就像是抛锚了一般，尤其是戴尔。但是微软还是一次又一次的推迟发布。

硬件和软件之间的这种差距在继续拉大，它让人们越来越觉得不安，同时它的恶化速度也会越来越快。

尽管这样，但是我们没有浪费一丁点时间。摩尔定律会继续影响着整个行业，有力并无情地要求更多科技行业不断创造奇迹。单纯提高频率来提高性能，已经被证明是错误的想法　　　　X86通用处理器走到今天，已经面临一个分水岭了，INTEL彻底抛弃Netburst架构和摩尔定律，全面转向Core架构，INTEL重新迎来了一个光明的未来。

2年内，Netburst完全输给了HAMMER，Pentium 4虽然有极高的频率，但是并没有带来高性能，相反，却带来了高功耗和高发热，在零售市场一败再败。INTEL宣称Netburst架构可以发展到10G主频成为一个笑话。

那接下来怎么办？既然单纯提高频率已经被彻底否定，接下来的发展方向在哪里呢？INTEL对外界的回答是多核。那让我们来看看多核吧。

最早出现的双核处理器，是AMD是X2系列。INTEL为了对抗AMD的双核，早早推出了Pentium D805和820，可惜这个早产的Pentium D8XX系列架构同样非常糟糕，INTEL只是简单的将2个Netburst架构的Pentium 4简单的整合在一起，2个核心之间的二级缓存没有共享，2个核心工作的时候，必须通过拥挤的北桥来交换数据，这样无疑大大的拖累了系统的运行速度。而且Netburst架构的高能耗，高发热再一次得到体现，Pentium D820的TDP高达110W，而AMD推出的双核处理器Athlon X2系列则在设计时就考虑了这个问题，2个核心共享二级缓存，这样在效率上大大超过了Pentium D，而且基于HAMMER的优秀架构，Athlon3800+ X2的最高TDP仅为89W，更有低功耗的65W版本，同功耗的效率，几乎比Pentium D性能要高30%。即使是最近发布的Pentium D915，65NM的工艺，性能也不过和AMD的Athlon3600+ X2相当，在浮点运算方面仍然落后于Athlon3600+ X2 5-10%。　　　　Conroe系列处理器的发布，为INTEL在X86处理器市场挽回了一丝面子。2年来，一直被AMD的大锤（HAMMER）架构压制着的INTEL，在DIY市场，份额不断降低，OEM市场，AMD已经得到了广大集成商的青睐，DELL，HP，LENOVO，这三家世界上最大的集成商，均生产了基于AMD处理器的电脑，在中低端服务器市场，Opteron让ITNEL的XEON相形见拙。这一切，随着Core架构系列处理器的发布，INTEL终于重新巩固了业界霸主的地位。　　　　Core核心，抛弃了Netburst架构，直接从P6（Pentium 3时代的架构）基础上重新设计，并借鉴了INTEL位于以色列海尔法实验室（著名的Pentium M就是这里设计的）的经验，采取了较短的14级流水线，并使用了5个新技术：宽区动态执行（相比以前的X86处理器增加了一组解码器，解码器总数达到了4组，AMD以前尝试过没有成功放弃了），高级智能告诉缓存（双核心共享二级缓存，加宽了每个内核的带宽），高级数字媒体增强，智能内存访问，智能功率特性。以上努力使得到目前为止，Conroe成为地球上最强的X86处理器。INTEL进一步宣称，将在未来几年内发布多核，甚至百核的处理器。试图以多核来提高处理器的性能，同时有不致让处理器功耗和发热成倍增长。

AMD对付Conroe的利器，是降价，但是降价毕竟不是长久手段，这是损人不利己的办法，没得办法的办法。AMD基于K8L新架构的处理器，得等到明年2季度才能发布，根据目前的解密信息K8L的浮点运算单元将比目前的HAMMER增加一倍，并且将采取模块化设计，原生4核，和65NM工艺。但是从目前看，似乎仍然无法超越Conroe，顶多是打个平手。为此，AMD祭出了大旗——HT3和协处理器。

HT,即HyperTransport，是AMD 1999年提出的一种总线技术，是一种为主板上的集成电路互连而设计的端到端总线技术，目前市面上销售的AMD的处理器，都是基于HT2连接的。目前的HT，类似于INTEL的FSB（Front Side Bus前端总线）。以前这一点，只有InfiniBand和光纤通道做得到，但是这2者都需要通过独立的控制器实现，而且CPU和CPU之间是无法直接沟通的。而HT2时代AMD的Opteron处理器在服务器领域高速发展的原因之一就是因为在一个服务器内不管有多少个处理器，通过HT2，总能保持高效工作和卓越的协作效率。

而HT3，则不仅仅是主板上各部件的端到端总线技术和各个处理器之间的连接，HT3可以扩展到多个处理器连接的同时，还扩展到多个服务器系统之间的连接，即多部服务器可以HT3标准的线缆联结在一起，，由于HT3控制器由CPU提供，这意味着无论集群内有多少枚处理器，彼此都是通过HT3来直接沟通，这样就确保了优良的协作效率，从而非常简单的构建服务器集群。而且，HT3是弹性的，OEM厂商可以迅速的调整集群内服务器的数量，而不必考虑更多的技术问题，这就让哪些技术实力不强的PC厂商也有能力开发销售自己的服务器集群产品。而大型的基于HT3技术连接服务器，还可以用于大规模科学运算，模拟核实验，气象预测等等领域，这些领域到目前为止都是RISC处理器的天下，X86无法插足。HT3的出现将改变这个现象。AMD的HT3的出现，将是计算机领域的一次革命，他不仅仅威胁到INTEL，而且还威胁到了IBM，SUN，HP等公司在该领域的存在。计算机领域将重新洗牌的可能性非常大。

协处理器，则是AMD在收购了ATI公司以后提出来的一个概念，代号为Torrenza。

关于AMD Torrenza平台技术：该新平台允许两颗处理器（CPU或GPU）以协处理器架构同时运行，将把下一代多核心64位处理器的效用再次提升。Torrentza的设计为开放式架构，它以Opteron处理器为基础，支持使用“Accelerators（加速芯片组）技术。可缩短CPU、芯片组、内存之间的通信延迟，实现系统的提速，并向第三方芯片组厂商开放。而协处理器可以通过HT3总线连接，换句话说，以后的电脑，如果你觉得性能不足，你可以如同插入USB设备一般，加一个CPU或GPU，而不必要重新购买主板等等，让你的整机性能获得质的飞跃。

写在最后：

INTEL和AMD是目前世界上2大半导体巨头，控制着世界上90%以上的X86处理器的生产和销售。

INTEL在Conroe发布后，在2006秋季IDF上公布了新的4核处理器，代号为Kentsfield,该处理器是将2颗Conroe封装在一起，每个双核的Conroe单独享用4M的二级缓存，在某些方面，性能比Conroe提高了30-40%，而TDP仅仅为130W而已。跟Pentium D可以看平。这里足以看出Conore的架构之优秀。

AMD则没有仅仅关注处理器本身，他把目光放得更远，力图构建一个基于HT3.0为核心的新的计算机体系。如果INTEL不拿出及时有效的对付方案，仅仅关注处理器本身的发展，在未来新一波的计算机技术发展过程中，不免将再次落入下风。

引用资料：微型计算机10月上期硬派讲堂，10月下期产品与评测。

(好文共享)摩尔定律的末日－软硬件性能提升的历史和未来(2)

Linkman的学习记录 — Sat, 23 Dec 2006 10:06:00 GMT

之二，译注

译注1

处理器发展历史上，精简指令集（RISC，Reduced Instruction Set Computer）阵营曾向微特尔（Wintel，Microsoft＋Intel）阵营发动过三波声势浩大的微电脑盟主争霸战。

上世纪70年代以来，对处理器的要求更为全面，不单是提升速度就能满足，比如低耗能、小体积，加强数值运算、支持多媒体功能等。复杂指令集（CISC，Complex Reduced Instruction Set Computer）的微指令多且长度不统一，造成解码器线路复杂；加上受当时制造工艺的限制，如果在芯片上直接集成高速缓存和其他部件，体积和价格都将变得难以想象。

RISC应运而生。因为RISC指令精简、线路精简，所以芯片体积和能耗降低，腾出空间也可容纳更多寄存器；另外指令定长，通过硬件加速，还可提升效能。RISC学术界从一开始就分为两派：Berkeley RISC（伯克利大学RISC计划）和Stanford MIPS（斯坦福大学MIPS计划。MIPS，Microprocessor without Interlocked Pipeline Stages，无内部互锁流水级的微处理器。我国龙芯即MIPS架构）。

Sun公司引进了RISC技术，在此基础上制定了Sparc（Scalable Processor Architecture，可扩展处理器体系结构）微处理器体系结构规范，并于1985年推出了相应处理器。1988年，Sun领头组建了Sparc联盟，口号是“RISC + UNIX vs CISC + DOS”，藉此发动第一次争霸冲击。后因市场迟迟未见销量，加上Sun在技术上又留了一手，导致联盟最后只剩Sun自己和德州仪器。

1990年，MIPS研究开花结果，开发团队成立了同名公司MIPS，并于1991年建立了ACE（Advanced Computing Environment）联盟，主要成员有Digital（迪吉多）、SGI（Silicon Graphics，视算科技）和Compaq（康柏）。Compaq当时市场低迷，且Intel对Compaq展开了游说，因此Compaq最先退出了联盟；而Digital又忙于Alpha芯片的开发。主要成员离心离德，1992年，第二次联盟以SGI收购MIPS草草收场。

IBM从1975年开始精简指令集芯片研究，也就是后来的PowerPC。1992年，IBM与Motorola（摩托罗拉）、Apple Computer（苹果）宣布合组Power联盟。刚开始，Power联盟引用学界评比论文，直指ｘ８６复杂指令集结构无法应付未来信息需求，而媒体也纷纷发难斥责ｘ８６电脑效能低劣，操作介面不便，都表示支持大胆改革的Power联盟。形势危机，当时Intel的总裁葛洛夫甚至认为Intel已陷入死亡之谷，如果应对失措，“Intel”将成为历史名词。Power联盟洋洋得意。

但在接下来的三年里，Power联盟迟迟不能统一平台标准，操作系统开发进度也严重滞后。到1994年，Intel推出了Pentium芯片，微软的Windows 95也大功告成。尽管当时的Pentium逊于PowerPC，Windows 95界面也不如Macintosh，但前二者相互支援，前后兼容，不断改进，而后二者却不够统一，用户没有安全感。形势急转直下，Power联盟大跌眼镜。

第一波攻击，Sun退回到工作站；第二波攻击，SGI退回绘图工作站；第三波攻击至今，IBM还在服务端处理器领域靠PowerPC苦撑。

顺带说一句，Intel和AMD主要走的都是CISC路线。但处理器发展到现在，各方面技术已经相互融合，不存在绝对CISC或者RISC的芯片了。

译注2

In-Stat：www.instat.com，全球著名的行业研究机构，Reed Business Information出版集团成员公司之一，Reed Elsevier的战略组成部分；涉及半导体、电信和电子消费品等领域的研究、评估与预测。

MDR：MicroDesign Resources，原属美国Ziff-Davis电子出版集团，1999年被Reed Elsevier收购。

In-Stat/MDR主办《Microprocessor Report》（《微处理器报告》）杂志，三周刊；Microprocessor Forum（微处理器论坛）每年10月在加利福尼亚州San Jose举行。

译注3

原句为：Andy giveth, and Bill taketh away.

Andy：Andy Grove，安迪·格鲁夫，1968年和罗伯特·诺宜斯（Robert Noyce）、戈登·摩尔（Gordon Moore）共同创立Intel。

Bill：Bill Gates，比尔·盖茨，1975年和保罗·艾伦（Paul Allen）创立Microsoft。

译注4

大概是2001年看到过一则新闻，到网上搜了一下，内容大致如下：

澳大利亚教授韦伯领导的研究小组利用位于夏威夷的世界最大的天文望远镜“凯克”观测17颗不同的类星体。由于这些类星体距离地球120亿光年，它们在宇宙形成初期发出的光线到今天才抵达地球。在长途旅行中，部分光线被星系间的气云吸收。光线的吸收情况既能反映星系气云的性质，也能反映出光的变化情况，这其中就包括光的速度以及决定光速的光谱线精细结构常数。结果，韦伯等人发现，精细结构常数发生了微小的变化。从理论上说，这意味着光速有可能发生过改变。消息公布后，不少物理学家对此发现持谨慎态度。韦伯及同事希望用位于智利的另一个大型天文望远镜来证实他们的结果，据称要得出最终结论尚需2至3年的时间。

不过到目前为止，似乎还没看到他们的最终结论。

译注5

管线：pipelining，或流水线。CPU的管线并不是数据输入输出使用的物理线路，而是指指令执行的流程。一条指令必须被分解为多个执行步骤，每个步骤占用一个时钟周期。例如最基础的管线是5级的：（1）取指令，（2）对指令译码，（3）演算出操作数，（4）执行指令，（5）将结果存储到高速缓存。前三步由指令控制器（ICU）完成，后两步由运算器（ALU或FPU）完成。管线可以细化，例如苹果的G4处理器采用了7级管线，AMD 2500+处理器10级，Intel公司的P3到10级，P4到20级，P4-E甚至高达31级。管线加长，则每级任务量减小，执行所需时间缩短，因此时钟周期可以缩短，即时钟速度加快。设管线为N级，时钟速度为TMIPS（T百万次/秒），那么平均完成一条指令所花费时间为N/T（当然要求芯片的确在每个周期内能完成各管线级的任务），因此理论上只要时钟速度加快，则芯片处理能力上升。但问题是管线执行时总有出错（如分支预测失败）的可能，一旦出错，整个管线就要全部清空，然后从第一级重新执行，在这种情况下，长管线的全部花费时间通常比短管线多。这就是部分AMD部分芯片比Intel相同甚至更高主频的芯片实际速度要快的原因。

分支预测：branch prediction。解决管线中条件转移引起管线停顿的问题。例如第一条指令是条件转移，那么需要等其判断结果出来后才能执行下一条指令，分支预测可预测判断结果，然后尽快执行其他指令，从而不致管线停顿。当然预测也有出错的时候，预测失败将导致管线清空，从头执行。目前预测准确度可达90%，进一步提高分支预测准确率是正在研究的重要课题。

乱序执行：out-of-order execution。解决管线中指令相关引起管线停顿的问题。后序指令需要正在执行指令的结果，因此无法立即处理后序指令，这叫做指令相关，造成其他处理单元的停顿，白白损失时钟周期。解决办法是立即找出其他不相关指令来执行，最后由重新排列单元将各执行单元的结果按原来指令顺序重新排列。很显然，乱序执行是有风险的。

译注6

出自美国电影《化身博士》(Dr. Jekyll and Mr. Hyde，有1931和1941两个版本)。故事讲述哲基尔医生相信每个人都同时拥有两极化的个性——好的一面与邪恶的一面。如果将这两种个性分开成为截然不同的两个人，这两个灵魂都将获得释放。他随后成功地用化学实验将自身邪恶的一面转化成为海德先生，此先生犯下了可怕的罪行。但当他想要停止用药时，却惊恐的发现一切为时已晚……

译注7

读/写操作再排序都属乱序执行。看下面一段原始指令代码：

(p1)br label //分支判断。若为true则跳转到label，否则继续执行

ld8 r9 r5 //从r5所指地址空间读取8个字节到r9

add r2 r9 r3 //将r9和r3中值求和，并存入r2

其中ld，load；r，register。

因为load操作较耗时间，通常花费几个时钟周期才能完成。因此从提高效率的角度看，应该在处理器空闲的情况下，尽早加载此操作。比如简单再排序优化后：

ld8 r9 r5

(p1)br label

add r2 r9 r3

如果分支判断结果为false，流程发生跳转，那么可以直接舍弃r9的结果值，即ld8白做了；但如果未发生跳转，则ld尽早执行，提高了流程整体效率。

当然，CPU实际工作远比上面例子复杂。比如将ld提前，但如果ld失败怎么办？有依赖关系的指令呢，能否乱序？在多线程应用里，乱序还可能引起其他一些问题，比如Java中的Double-Checked Locking失败。

不光CPU支持乱序执行，现在的很多编译器也开始做乱序优化，而且重心有逐渐从硬件转到软件的趋势。

有两篇资料可以参看：Scaling Itanium® Architecture for Higher Performance（特别是其中的如何处理指令依赖值得了解）和Verified Optimizations for the Intel IA-64 Architecture。

译注8

片内，英文为on the die或On-Die。Die：裸芯；Chip：包装后的芯片。类似有On-Chip、Off-Die/Chip。

译注9

MMX：MultiMedia eXtension，多媒体扩展。Intel在1996年3月份正式公布了MMX技术的细节，并于1997年1月正式向全球推出基于MMX技术的166MHz和200MHz Pentium芯片，AMD也几乎在同时推出了支持MMX技术的第六代处理器AMD K6。

MMX技术是Intel针对×86体系的一次重大扩充，使计算机同多媒体相关任务的综合处理能力提高了1.5～2倍。它不仅是Intel自 i386面世以来对CPU体系结构的一次显著改进，同时也是IT界对多媒体数据处理等专用芯片及功能板卡的一次成功挑战。

SSE：Streaming SIMD（单指令多数据） Extensions，是Intel针对AMD K6-2引入的“3D NOW！”技术，于l999年在Pentium3中引入的SIMD扩展指令集，业界也称为MMX2，在多媒体数据处理（特别是3D）和浮点运算等能力上全面加强。

译注10

目前频率最高的处理器是Intel P4 570J，3.8GHz，上升非常缓慢。

CPU频率越高，所需电能和发热量越多；而晶体管越小，耗电和热量越低。制造工艺进步，可能让晶体管更小，从而让CPU在相同或一定程度内提高的能耗下达到更高频率。从这个角度说，提升CPU频率的瓶颈是制造工艺。

于是，Intel推出了了90nm工艺的Prescott核心Pentium4，其理论频率将能达到6GHz！然而世事难料，在90nm工艺晶体管里，由于电介质厚度太低无法阻挡电子的穿越，造成了严重的电流泄漏问题，随之带来的就是大量的电能消耗和废热。如果强行提升频率，则发热激增，CPU经不起如此的高烧。

泄漏电流问题并非不可解决，但绝不能在短时间办到。至此，芯片厂商提升系统性能的思路开始发生重大变化，即转向多核。

有关电流泄漏和应对策略的详情，可参看：NetBurst的继承者 Core微处理器架构技术解析。

译注11

在IDF05（Intel Developer Forum 2005）上。Intel首席执行官Craig Barrett就取消4GHz芯片计划一事，半开玩笑当众单膝下跪致歉

译注12

Working Set，记录了操作系统为进程提交的内存的总量。

译注13

并发编程语言（Concurrent Language）中的术语。

协同程序（coroutines），或协程。用以实现协作式多任务，于上世纪60年代提出。同属一个协程的多个进程，在同一时刻只能有一个处于运行状态。协程属于一种并发进程创建方式，其他方式还有Fork/join、Cobegin/coend和进程显式申明（Process declarations）等。

并发进程之间的通信方式主要有两种方式：变量共享（shared variables）和消息传递（message passing）。其他还包括抽象于更高层次的远程过程调用（remote procedure call，RPC）等。

通信就离不开同步。同步方法主要包括：信号量（semaphores）、条件临界区（conditional critical regions）、管程（monitors）、互斥（mutual exclusion）、路径表达式（path expressions）、原子事务（atomic transactions）和汇集（rendezvous）等。

其中的管程是位于低级同步控制手段之上的一种对象化管理工具。信号量的使用是无结构的，很不方便；条件临界区相对于信号量更结构化，但同步控制代码仍然非常分散，不利于管理。因此引入了管程，它实现了共享资源的集中管理，封装了共享资源以及施于其上的操作。

译注14

因为某些原因（如竞争条件下静态变量初始化问题），线程还未被列入ISO C++标准。目前在不同的平台上，都有线程的专门实现，短时间内难以完全统一。

不过Boost线程库目前差不多具有准标准身份。

译注15

并行编程中必须考虑的两个问题是被处理数据和任务间通讯。经过用户的选择与市场的淘汰，现在的并行编程标准基本上趋向以下三种：

1、数据并行。特点，各任务处理的数据彼此分离，任务间通过消息传递进行通讯；数据分离和消息传递工作由编译器完成。

HPF（High Performance Fortran，高性能Fortran）是典型的数据并行编程语言。因为目前的编译器技术对实际应用中各种不规则问题的解决方案仍不够理想，加上专注于数据并行，因此HPF未获广泛应用。

2、消息传递。特点，各任务处理的数据彼此分离，任务间通过消息传递进行通讯；数据分离和消息传递工作由程序员和用户完成，因此对程序员要求很高。这种模式非常适用于消息传递的体系结构（如机群系统），用户和程序员主要需考虑的是通讯同步和通讯性能问题。

并行虚拟机（PVM，Parallel Virtual Machine）和消息传递接口（MPI，Message Passing Interface）是两种广泛使用的消息传递并行编程标准。其中PVM侧重异构环境下的可移植性和互操作性；MPI更强调性能，但在异构环境下有不同的实现。几乎所有的高性能计算系统都支持PVM和MPI。

3、共享内存。特点，各任务处理的数据实现内存共享，任务间也通过共享数据实现通讯；数据共享可由程序员或编译器完成。共享内存并行编程主要应用在对称多处理器（SMP ，Symmetric Multi Processors）系统上。

OpenMP（Open MultiProcessing由X3H5发展而来）和PThread（POSIX Thread）都是共享内存并行编程的实现。

OpenMP由1993年建立的X3H5标准发展而来，目前已成共享内存并行编程的实际工业标准，得到DEC、Intel、IBM和Sun等厂商广泛支持。它在Forthan、C/C++得到了实现，主要支持隐式并行编程，即编译器实现并行。

PThread主要在Unix系统上使用。Unix的实现系统很多，比如Linux、FreeBSD、Solaris、Mac OS X等。要在众多“类UNIX”上开发跨平台的多线程应用，绝非易事，因此制定了POSIX Thread标准。Addison Wesley（Boost库发起者之一，ISO C++标准委员会成员）的《Programming with POSIX Threads》这本书，可以说是Unix上编写多线程应用的必备参考书。对其他平台并行程序开发也有很高参考价值。

总的来说，共享内存并行编程与目前大多数的多线程程序员思维习惯最为接近，是程序员从单核转向多核系统需付代价最小的方案。但专家仍有不同意见，比如Herb Sutter就不看好OpenMP，因为共享内存并行编程本质上并没有太多改进，仍然依赖数据资源的锁定，这会带来性能问题。消息传递并行有性能优势，但对程序员的要求又太高了。所有这些难题，还需要研究并行和各种标准、库的专家继续努力解决。