构建银行的数据处理流水线 <br />赵东林（转载自中国金融电脑）　　　　2004年09月26日 <br />前言<br /><br /><br />　　经过近几年的努力，中国银行业的数据大集中工作，取得了阶段性的成果，大多数银行都实现了区域集中，有的银行已经实现数据的全国集中。随着，数据集中程度的提高，过去在数据分散状态下开发的应用系统已经不能满足当前的需要，巨大的交易量、数据量使这些老的系统不堪重负，甚至崩溃，给银行带来很大的风险。如何开发一系列适应数据大集需要的以客户为中心的应用系统是摆在银行科技人员面前的一个难题和挑战。本文试图从一个全新角度，借用工业上流水线思想，以设计银行的综合业务系统为例，从以下几个方面，来探讨银行新的信息系统的设计思路。 <br /><br /><br />一． 要改变变传统的交易处理流程<br /><br /><br />　　传统的交易处理是一种串行的处理，比如，客户从ATM上取款，银行主机系统的处理流程如图一：<br /><br /> <br /><img src='http://www.csai.cn/tszl/bankline1.gif' border='0' alt='user posted image' /><br />　　很显然，这样一个联机交易要占用较多的系统资源，数据大集中后，并发的业务请求很多，我们把交易做得越短，占用系统资源越少，对提高整个系统的性能会越有好处。<br /><br /><br />二． 以客户为中心，要求交易要短<br /><br /><br />　　在银行信息化的过程中，银行业的经营理念也正从以账务和产品为中心向以客户为中心的转变，银行的信息化建设正向以客户为中心发展。那么，我们设计银行业务系统也应该树立以客户为中心的思想。银行是服务行业，它提供给客户的是服务，给客户方便快捷的服务，一直是银行追求的目标；长期以来，银行有一条原则是先记账后付款，于是银行就用较长的时间来记账，包括记客户账和银行账，还要打印银行所需要的各种传票，而这时客户只好在柜台外面等待，由于等待的时间较长，于是银行就给客户准备了坐椅。这种服务流程如图： <br /><br /><br /><img src='http://www.csai.cn/tszl/bankline2.gif' border='0' alt='user posted image' /><br />　　要更好的服务客户，缩短客户在柜台外等待时间，就必须改变银行的服务流程，银行受理客户的服务请求，应该只处理与客户密切相关事情，银行的内部账、银行的内部传票要在完成给客户的服务后再处理和加工。如果我们把服务流程简化如图三所示，就可以减少客户的等待时间。<br /><img src='http://www.csai.cn/tszl/bankline3.gif' border='0' alt='user posted image' /><br />　在简化的服务流程中，记客户账可以简化为只记客户交易账（如图四），客户的其他账及银行内部账可以放在给客户的服务完整后再处理。作为银行的综合业务系统，联机交易占用系统资源的大量减少，必然会全面提高系统性能。<br /><img src='http://www.csai.cn/tszl/bankline4.gif' border='0' alt='user posted image' /><br />三． 数据大集中，使分类处理成为必然<br /><br /><br />　　上面介绍的简化的交易处理流程，只记录客户基本的交易信息，而其他的如客户的分户账、无折交易、会计交易、会计分户账、会计总账都是非常重要的，都是银行应用系统必须记录的，我们准备把这些工作交给后续数据处理流水线去做。数据大集中后，相同信息集中存放，每一类信息的数量比数据集中前都大大增加，从而，使数据的分类处理成为必然；过去，我们往往写一个程序来完成几个甚至十几个数据库表的操作，现在我们完全可以，把分类的数据用不同的程序来处理，使每个程序做单一的事情。比如，我们可以写一个程序根据零售交易更新客户分户账，用另外一个程序写无折交易表，会计交易、会计分户账、会计总账都用不同的程序来处理。这样我们就把一个更新账务的过程分成了很多工序，每一道工序由专门的程序来完成，每一道工序都有自己所需要原料，每一道工序都有自己的产品。 <br /><br /><br />四． 工业流水线给我们的启示<br /><br /><br />　　在工业经济时代，产业分工越来越细，产业链越来越长，企业为适应激烈的竞争环境，往往采用集中决策，规模生产，于是便产生了流水线生产。每一级流水线，都是用一定规格的原料，生产出一定规格的产品，这就要求这些原料和产品的规格是可以准确度量的。这就是说，使用流水线要具备两个条件，一，每道工序的原料和产品都是有固定规格的；二，每道工序的产品的规格是可以度量的，不合格的产品是能够被发现的。我们要把工业流水线的思想引入到数据处理中去，首先要看是否具备上面两个条件，很显然，我们已经具备上述条件，我们可以把基本的交易信息作为基础数据，加工成下面工序所需要的合格数据，不合格的数据也可以被检测出来，这样我们便可以建造我们的数据处理流水线了。<br /><br /><br />五． 设计多级流水线处理数据，条件已经成熟<br /><br /><br />　　实现数据大集中是银行信息化建设的一个步骤，银行信息化建设必然向经营服务信息化、管理决策信息化发展，通过对数据进行深层次加工处理，给银行经营、管理、决策提供帮助信息和依据，是银行信息化建设的重要目标。所以，银行数据大集中后，对数据进行深层次的加工、处理，是银行信息系统要做的重要工作。运用多级流水线技术，必将大大提高银行处理海量数据的效率。银行的数据要经过三个加工阶段：联机的数据加工阶段，日终批量的数据加工阶段，数据的深加工阶段（运用数据仓库技术）。而客户通过银行应用系统做业务，产生基础数据的阶段，我们称为数据采集阶段，就象一个工厂的供应部门。我们把数据加工的三个阶段的工作，分别交给三个以流水线方式工作的数据处理工厂来完成。联机数据处理工厂负责基础数据的加工、处理，记录银行系统需要的基本交易账务信息，满足联机需要，该工厂要根据银行主机的负载来调节工作节奏；日终数据处理工厂，负责日终的账务处理、报表加工工作，满足次日营业需要；数据深加工工厂，负责数据挖掘、分析、知识发现等工作，为银行经营、管理、决策提供服务。这样，一个以多级流水线方式工作的数据处理工厂集团就展现在我们面前。 <br /><br /><br />六． 关键点在于控制调度系统的设计<br /><br /><br />　　建设一个处理数据工厂，控制调度部门是最重要，只有控制调度得好，才能让各条流水线协调工作，产生最高的效率，产生最好的效益。说到流水线，就不能不提，并行处理，并行处理是流水线高效工作的关键，也是控制调度系统设计的关键。其实，流水线技术早已应用到计算机硬件的核心部分，我们做软件设计可以很好的借鉴流水线技术。<br /><br /><br />七． 系统全貌<br /><br /><img src='http://www.csai.cn/tszl/bankline5.gif' border='0' alt='user posted image' /><br />八． 结束语<br /><br /><br />　　数据大集中后，银行信息系统的设计是个庞大的系统工程，首先在架构上要有全新的思路，满足银行经营、管理、决策信息化的要求，还要面向未来银行业务虚拟化的趋势，同时在具体实现上还要采用最先进的技术。因为中国是世界上人口最多的国家，经济的发展，人们经济活动越来越频繁，给银行信息系统的设计者以前所未有挑战。本文引进工业化的积极成果，虽未提供一个完整的解决方案，但求从一个侧面展现一种思路，为银行信息化建设做点有益的探索。<br /> <br /> <br /> <br />