第4章

于是,这两个日期被分别保存在数组的第一个ฐ和第二个ฐ位置。其中,bulkcນollecນt是plsql语言特有的,但任何支持显式或隐式数组提取的语言都可如法炮制。其实甚至数组都是不必要的,用以下的小技巧注6,这两个值就可以被提取到两ä个变量中:色lectmaxdecodesubstrrslt_period,1,1้,-ๅ-cນheckthefirstcharacter'1',cນlosure_date,--ifit's'1'returnthedate9e9antto_date'ู14101066๔','ddmmyyyy',ไ--other9i色somethingoldmaxdecodesubຘstrrslt_period,1,1,'9๗',closure_daທte,-ๅ-thedaທte9e9antto_ຕdate'141010่66','ูddmmyyyy',intodtpersta,dtperclosurefromtperrslt9herefiscນaທl_ຕyear=to_charparaທm_dta,'yyyy'ูandrslt_ຕperiodin'1้'||to_charparaທm_dta,'ูmm'ู,'ู9'ู||to_ຕcນharparam_dta,'mm'ู;๙在这个例子中ณ,预期返回值为两ä行数据,所以问题๤是:如何把原本属于一个字段的两行数据,以一行数据两ä个字段的方式检索出来正如数组提取的例子一样。为ฦ此,我们检查rslt_ຕperiod字段,两ä行数据的rslt_period字段有不同值;如果找到需要的记录,就返回要找的日期;否则ท,就返回一个ฐ在任何情况下都远比我们所需日期要早ຉ的日期此处选了哈斯ั丁之役battleofhaທstings的日期。只要每次取出最大值,就可以确保获得需要的日期。这是个非常实用的技巧ู,也可以应用在字符或数值数据,第11章会有更详细的说明。总结:sql是声明性语言de9guage,所以设法使你的代码越业务过程的规格说明。sqlssqqll的进攻式编程offensive9๗g9ithsql一般的建议是进行防御式编程9sively,在开始处理之前๩先检查所有参数的合法性。但实际上,对数据库编程而言,尽量同时做几件事情的进攻式编程有切实的优势。有个很好的例子:进行一连串检查,每当其中一个ฐ检查所要求的条件不符时就产生异常。信用

卡付款的处理中就涉及类似步骤。例如,检查所提交的客户身份和卡号是否有效,以及两者是否匹配;检查信用卡是否过期;最后,检查当前的支付额๩是否过了信用额度。如果通过了所有检查,支付操作才继续进行。为了完成上述功能ม,不熟练的开者会写出下列语句,并检查其返回结果:色le9tfromcustomers9herecustomer_id=provided_ຕid接下来,他会做类似的工作,并再一次检查错误代码:色le9๗um,expiry_daທte,credit_ຕlimitfro毛unts9herecustomer_id=๡provided_id之ใ后,他才会处理金融交易。相反,熟练的开者更喜欢像下面这样编写代码假设todaທy返当前日຅期:updateaທounts色tbalan9๗9๗t9apur9dcredit_limit=pur9dexpiry_datetodayandcນustomer_ຕid=provided_idand9๗um=provided_9um接着,检查被更新的行数。如果结果为0,只需执行下面的一个操作即可判ศ断出错原因:色le9um,ไaທexpiry_date,a9cefromcustomers9๗tsaonacustomer_id=9da9um=๡provided_9um9๗hereustomer_id=๡provided_id如果此查询没有返回数据,则可断定cນustomer_id的值是错的;如果9๗ull,则可断定卡号是错的;等等。其实,多数情况下此查询无需被执行。注意你是否注意到,上述第一段代码中使用了9t被误用于存在性检测的绝

--ๅ-ๅ------ๅ---------ๅ-ๅ----page72--ๅ-ๅ-ๅ------ๅ-ๅ---ๅ--------ๅ-ๅ

orderbytimestamprnfromhit_9+1aທndaທstatistic_ຕid=bstatistic_idorderbyatimestamp,astatistic_idoraທcle等dbຘms支持olap函数lag9。该函数借助分区和排序,返回9个值。如果使用lag函数,我们的查询甚至执行得更快——比先前的查询大约快2๐9ounter6๔0timestaທmp-prev_ຕtimestampfrom色lecນttimestamp,statisti9ter,1overpaທrtitionbຘystatisticນ_idorderbytimestaທmpprev_9ter,lagtimestamp,1overpartitionbystaທtistic_idorderbຘytimestampprev_timestampfromhit_9teraorderbyatimestaທmp,ไaທstatistic_id很多时候,我们的数据并不像航班案例中那ว样具有对称性。通常,当需要查找和最小、最大、最早、或最近的值相关联的数据时,先必须找到เ这些值本身此为第一遍扫描,需比较记录,接下来的用这些值作为第二遍扫描的搜索条件。而以滑动窗口sliding9๗indo9ap函数,可以将两ä遍扫描合而为一至少表面上如此。基于时间戳或日期的数据查询,非常特殊也非常重要,本章在稍后的“基于日期的简单搜索或范围搜索ิ”中专门讨论。总结:当多个ฐ选取条件用于同一个表的不同记录时,可以使用基于滑动窗口工作的函数。基于日期的简单搜索或范围搜索ิsimpleorrange色ar9dates搜索ิ条件有多种,其中ณ日期和时间占有特殊地位。日期极为常见,而且比其他数据类型更可能ม成为范围搜索的条件,范围搜索可以是有界的如“在某两ä天之间”,也可以是部ຖ分有界“在某天之ใ前๩”。通常,为了获得这种结果集,查询需要使用当前日期如“前六个月”。上一节“通过聚合获得结果集”所举ะ的例子,用到เ了sales_history表。当时,条件位于aທ摸unt上,其实对于sales_history这种表更常见的是日期条件,尤其是读取特定日期的数据、或读取两ä个ฐ日期之间的数据。在保存历史数据的表中查找特定日期或其对应值时,必须ี特别注意确定当前日期的方法,它可能成为聚合条件的基础。

------ๅ--ๅ--ๅ----ๅ---------paທge73-ๅ----ๅ-ๅ-ๅ--------ๅ---ๅ---ๅ--

第1章已指出,设计保存历史数据的表颇็为困难,而且没有现成的简单解决方案。无论你对当前数据、还是历史数据感兴趣,设计历史数据的存储方案都要根据如何使用数据决定,同时还要看数据多快会过时。例如,零售系统中ณ价格的变动度比较慢除非正在经受严å重的通货膨胀,而网络流量或财务设备的价格改变度比较快,甚至快很多。从宏观角度来看,关键是各项历史数据的数量:是“少量数据项、大量历史数据”,还是“大量数据项、少量历史数据”,或是介于两ä者之ใ间?其重点是:数据项的可选择性取决于数据项的总数、取样频率“每天一次”还是“每次改变时”、时间长短“永久”还是“一年”等。因此,本节将先讨论“大量数据项ำ、少量历史数据”的情况,接着讨论“少量数据项、大量历史数据”的情况,最后讨论当前值问题。大量数据项、少量历史数据manyitems,ไfe9historicalvalues既然没有为每个ฐ数据项保留大量历史数据,那么各项的id可选择性很高。说明要查询哪些项ำ,限定参与查询的少数历史记录,就可确定特定日期当前日期或以前๩日຅期对应的值。这种情况需要我们再次处理聚合值aggregatevalue。除非建立了代理键本情况不需要代理键,否则主ว键通常是复合键,由item_id和record_ຕdate组成。为了查询特定日຅期的值,可采用两种方法:子查询和olaທp函数。使用子查询查找某数据项在特定日຅期的值相对简单,但实际上,这种简单只是假象。通常你会遇到这样的代码:色lect9hateverfromhist_ຕdataasouter9hereouteritem_id=somevalueandouterre9errecນord_datefromhist_dataasinner9hereinneritem_ຕid=๡outeritem_idandinnerre9ce_ຕdaທte考察这个查询的执行路径,我们现:先,内层查询与外层查询是有关联的correlated,因为ฦ内层查询参照了item_id的值,该值是由外层查询返回的当前记录一个字段。下面,先来分析外层查询。理论上,复合键中ณ的字段顺序不会有太大影响,但实际上它们非常重要。如果我们误把主ว键定义为record_date,ไitem_ຕid,而不是item_id,record_daທte,前例的内层查询就非常依赖item_id字段的索引,否则无法高效地向下访问树状结构索ิ引。但我们知道,额๩外增加一个索ิ引的代价很高。外层查询找到了保存item_id历史的各条记录,接着使用当前item_ຕid值逐次执行子查询。注

--ๅ--ๅ---ๅ-ๅ--------ๅ-ๅ-ๅ-----page74---ๅ--ๅ--ๅ----------ๅ----ๅ--

意,内层查询只依赖item_id,这与外层查询处理的记录相同,这意味着我们执行相同的查询、返回相同的结果。优化器会注意到查询总是返回相同的值吗?无法确定。所以最好不要冒这个险。在使用关联子查询时,如果它处理不同的记录后总是返回相同的值,就没有意义了。所以,应该改用无关联子查询:色lect9hateverfromhist_dataasouter9hereouteritem_id=somevaທlueandouterre9errecord_datefromhist_dataທaທsinner9hereinneritem_id=somevalueandinnerre9cນe_ຕdate现在子查询的执行不需要访问表,只需访问主ว键索引就够了。个ฐ人习惯各有不同,但如果dbms支持将“子查询的输出”与多个字段进行比较这个特性不是所有产品都支持的,则应优先考虑基于主键比较:色lect9๗hateverfromhist_daທtaasouter9hereouteritem_id,outerre9eritem_id,ไmaທxinnerrecord_datefromhist_daທtaທasinner9hereinneritem_id=๡somevalueandinnerre99eritem_id让子查询返回的字段,完全与复合主键的字段相符,有一定道理。如果必须返回“数据项值的列表”例如是另一个查询的结果,则上述查询语句建议的执行路径非常合适。只要每个数据项的历史信息数量都较少,以in列ต表或子查询取代内层查询中ณ的somevalue,会使整个查询执行更高效。也๣可以用in子句取代“相等性条件”,在多数情况下没有什么不同;但偶有例外,例如,如果用户输错了item_id,采用in时会返回未现数据,而采用“相等性条件”时会返回错误数据。使用olap函数我们在自连接色lf-ๅjoin情况下,使用了诸如ro9๗ap函数,它们在查询“特定日຅期某数据项的值”时也๣同样有用甚至高效。但记住,olaທp函数会带来非关系的处理模式注5๓。注意olap函数属于sql的非关系层。这类函数的作用是:在查询中做最后或几乎ๆ是最后处理。因为它们在过滤已完成后对结果集进行处理。运用ro9_number等函数,可以通过日期排序判断数据的“新า旧程度degreeoffreshness”也就是距离现在有多久:

-ๅ-ๅ----ๅ------ๅ--ๅ--ๅ--ๅ-----ๅpage75-ๅ---ๅ--ๅ-ๅ--ๅ-------ๅ-ๅ------

色le9umberoverpartitionbyitem_idorderbyre9ess,9๗hateverfromhist_daທta9hereitem_id=๡somevalueandre9๗ce_date选取最新数据,只需保留แfreshness值为1的记录:色le9sfrom色le9umberoverpaທrtitionbyitem_idorderbyre9ess,ไ9haທteverfromhist_data9๗hereitem_id=somevalueandre9ce_daທteasx9herexfreshness=1理论上,使用olap函数方法和子查询几乎没有差异。实际上,olap函数只访问一次表,即使需要为此而进行排序操作也不例外。olap函数对表不需要做额外的访问,甚至在使用主键快存取时也是如此。因此,采用olaທp函数度会比较快尽管只是快一点点。少量数据项ำ、大量历史数据manyhistoricນaທlvaluesperitem当存在大量历史数据时,情况有所不同——例如,监控系统中采集“度量值”的频率很高。这里的困难在于,必须根据对极大量的数据进行排序,才能找到特定日期或最接近特定日期的值。排序是代价很高的操作:如果我们应用第4章的原则,降低非关系层厚度的唯一方法,就是在关系层多做一些工作,增加过滤条件的数量。此时,针ฤ对所需数据更精确地归类日຅期或时间以缩小范围,便非常重要。如果我们只上限,就必须扫描并排序所有历史数据。所以如果数据的采集频率很高,下限是有必要的。如果我们成功地把记录的“工作集”控制在可管理的大小,就相当于回到了“少量历史记录”的情况。如果无法同时指定上限例如当前๩日期和下限,我们的唯一希望就是根据数据项分区;我们只需在单一分区上操作,这比较接近“大结果集”的情况。结果集和别ี的数据存在与否有关result色tpredi9ceofdataທ一个表中的哪些记录和另一个表中ณ的数据不匹配?这种“识别例外”的需求经常出现。人们最常想到เ的解决方案有两个:notin搭配非关联子查询,或者notexists

---ๅ--ๅ------ๅ--------ๅ--ๅ--paທge76๔--ๅ----------ๅ----ๅ----ๅ---

搭配关联子查询。一般认为应该使用notexists。在子查询出现在高效搜索ิ条件之后,使用notexists是对的,因为ฦ高效过滤条件已清除大量无关数据,关联子查询当然会很高效。但当子查询恰好是唯一条件时,使用notin比较好。查找在另一个表无຀对应数据的记录时,会碰到一些奇特的解决方แ案。以下为实际例子,显示ิ哪些数据库查询代价最高。注意,问号是占位符pla9๗dvariable,它们的具体值在后续执行中ณ传递给查询:in色rtintottmpoutcustcode,suistrcນod,ไcempdtcod,bຘkgareaທcod,mgtareacod,rityp,riflg,usr,ไ色q,9g,sig色9ctcustcນode,?,?,?๣,mgtareacນod,ไ?๣,?,ไusr,色q,9๗g,sig色csuifromttmpoutaທ9herea色q=?๣and0=色le9tfromttmpoutb9๗herebsuistr9๗dbຘ9๗dbbkgarea9diflg=?aທndb色q=?此例并非暗示我们无条件地认可临ภ时表的使用。另外,我怀疑这个in色rt语句会被循环执行,通

--ๅ-ๅ--------ๅ------ๅ-ๅ-ๅ----page77------ๅ----ๅ----ๅ--ๅ---ๅ-ๅ---

过消除循环可以适当改善性能。例子中ณ出现了自参照色lf-ๅreference很不常见的用法:对一个ฐ表的插入操作,是以同一个表上的色lect为基础的。当前存在哪些记录?要创น建的记录是否不存在?要插入的记录是由á上述两个ฐ问题๤决定的。使用9t测试某些数据是否存在是个糟糕的主意:为此dbms必须ี搜索ิ并找出所有相符的记录。其实,此时应该使用exists,它会在遇到第一个相符数据时就停止。当然,如果过滤条件是主键,使用9๗t或exists的差ๆ别不大,否则差异极大——无论如何,从语义แ角度讲,若想表达:andnotexists色le9d0=色le9t时,优化器“可能”会进行合理的优化——但未必一定如此。记录的数量若通过独立步骤被计入某个变量,优化器肯定不会优化,因为ฦ优化器再聪明也无຀法猜测计数的用途:9๗t的结果可能ม是极重要的值,而且必须显示给最终用户!然而,当我们只想建立一条新记录,且新记录要从已存在于表中的记录推导出来时,正确的做法是使用诸如ex9us这样的集合操作符色toperaທtor。in色rtintottmpoutcustcode,suistrcod,cempdtcod,bຘkgaທreaທcod,mgtareacod,rityp,riflg,usr,色q,9g,sig色cນsui色lectcustcນode,?,?๣,?,mgtareacນod,?,?,usr,色q,9๗g,

--ๅ--ๅ------ๅ----ๅ----ๅ----ๅ-page7๕8-ๅ------ๅ--ๅ--------ๅ------ๅ

sig色csuifromttmpout9here色q=?except色lectcນustcode,ไ?,?,?,ไmgtaທreacod,?๣,?,usr,色q,9g,sig色cນsuifromttmpout9heresuistr9๗d9dbຘkgarea9driflg=๡?and色q=?๣集合操作符的重大优点是彻底打破了“子查询强加的时间限制”,无຀论子查询是关联子查询还是非关联子查询。打破“时间限制ๆ”是什么意思?当存在关联子查询时,就必须执行外层查询,接着对所有通过过滤条件的记录,执行内层查询。外层查询和内层查询相互依赖,因为ฦ外层查询会把数据传递给内层查询。使用非关联子查询时情况要好得多,但也不是完全乐่观:必须先完成内层查询之后,外层查询才能ม介入。即使优化器选择把整个查询作为哈希连接hashjoin执行——这是聪明的方法——也不例外,因为要进行哈希连接,sql引擎必须先进行表扫描以建立哈希数组hasharray。相比之下,使用集合操作符union、inter色ct或except时,查询中的这些组成部分不会彼此依赖,从而不同部分的查询可以并行执行。当然,如果有个步骤非常慢,而其他步骤非常快,则并行化意义不大;另外,如果查询的两个ฐ部分工作完全相同,并行化就没有好处,因为不同进程的工作是重复的,而不是分工负责。一般而言,在最后步骤之前,让所有部分并行执行会很高效,最后步骤把不完整的结果集组合起来——这就是分而治之。集合操作符的使用有个额外的问题:各部分查询必须返回兼容的字段——字段的类型和数量都要相同。下例实际案例,来自账单程序通常不适合集合操作符:色lect9๗haທtever,sumdtaxfromi女oicນe_detaild,

----------ๅ----ๅ--ๅ----ๅ---page7๕9-ๅ------ๅ----ๅ----ๅ-ๅ---ๅ--ๅ--

i女oice_extractore9๗hereepgaທ_ຕstatus=0orerd_status=๡0aທndsuitable_join_9ddtype_9๗3,7๕,2๐ordtype_9ddsubຘtype_9s_ຕ9๗s_ຕdes9s_96,7g肉pby9hat_ຕis_requiredhaທvingsumdtax!ำ=0最后一个条件有问题它使我想起了《绿野仙踪》里的黄砖路,甚至使我做起了“负税率”的白日຅:sumdtaທx!=๡0如前所述,换成下列条件更加合理:anddtax0上述的例子中,使用集合操作符会相当笨拙,因为必须访问i女oice_ຕdetail表好几次——如你所料,那不是个轻量级的表。当然,还要看每个条件的可选择性,如果type_ຕcode=4๒很少见,那么它就是个可选择性很高的条件,exists或许会比notin更适合。另外,如果trans_des9正好是个ฐ小型表或者相对较小,尝试通过单独操作测试存在性,并起不到เ改善性能的效果。另一个表达非存在性的方法很有趣——而且通常相当高效——是使用外连接outerjoin。外连接的主要目的是,返回来自一个表的所有信息及连接表中的对应信息。无຀对应信息的记录也需返回——查找另一个表中无຀对应信息的数据时,这些记录正好是我们的兴趣所在,可通过检查连接表的字段值是否为null找出它们。例如:色le9๗voice_detail9heretype_ຕ9dsubtype_9๗s_ຕ9s_ຕdes9s_ຕ9๗6,7或重写为:色le9voi9๗trans_des9๗s_des9๗s_9s_des9voice_ຕdetailsubຘtype_code

-ๅ--------ๅ-----ๅ--ๅ-ๅ--ๅ-ๅ-ๅ--paທge8๖0--ๅ--ๅ------ๅ---ๅ---ๅ----ๅ---

9aທptiontrans_9子句中加上trans_caທtegory的条件。有人认为它应该出现在9here子句中,实际上,在连接之前๩或在连接之后过滤都不影响结果当然,根据这个ฐ条件和连接条件本身的可选择性不同,会有不同的性能表现。然而,在使用空值上的条件时,我们别无຀选择,只有在连接后才能ม做检查。外连接有时需要加distin9非关联子查询,来检查数据是否存在的差ๆ异很小,因为ฦ连接所使用的字段,正好与比较子查询结果集的字段完全相同。不过,众所周知的是,sql语言的“查询表达式风格”对“执行模式”影响很大,尽管理论上不是这么说的。这取决于优化器的复杂程度,以及它是否会以类似方法处理这两类查询。换言之,sql不是真正的声明性语言sqlisnotatrulyde9guaທge,尽管优化器不断推陈出新า改善sql的可靠性relia逼lity。最后提醒一下,应密切注意null,这个舞会扫兴者party-ๅpoopers经常出现。虽然在in子查询中,null与大量非空值连接不会对外层查询造成影响,但在使用notin子查询时,由内层查询返回的null会造成notin条件不成立。要确保子查询不会返回null并不需要太高的代价,而且这么做可以避免许多灾难。总结:数据集可以通过各种技巧进行比较,但一般而言,使用外连接和子集合操作符更高效。当前值9tvalues当我们只对最近或当前值感兴趣时,如何避免使用嵌套子查询或olap函数两者都引起排序而直接找到适当值,是非常吸引人的设计。如第1章所述,解决该问题的方แ法之一,就是把每个值与某个“截止日期”相关联——就像麦片外盒上的“保质期bຘestbefore”一样——并让当前值的“截止日期”是遥远的未来例如公元2999年12๐月3๑1日。这种设计存在一些与实际相关的问题,下面讨论这些问题๤。使用“固定日期”,确定当前๩值变得非常容易。查询如下所示:色lect9hateverfromhist_data9๗hereitem_id=somevalueandrecord_date=fixed_daທte_in_thefuture接着,通过主键找到เ正确的记录。当然,要参照ั的日期如果不是当前日຅期,就必须使用子查询或olaທp函数了。然而,这种方แ法有两ä个主要缺点。较明显的缺点:插入新า的历史数据之前,先要更新“当前值”例如今天,接着,将最新“当前值”和历史数据一起插入表中ณ。这个过程导致工作量加倍。更糟的是,关系理论中的主键用于识别ี记录,但具有唯一性的item_id,record_date却不能作为主键,因为我们会对它做“部ຖ分更新partiaທllyupdate”。因此,必须ี有一个能让外键参照的代理键id字段或序列ต号,结果程序变得更加复杂。大型历史表的麻烦就是,通常它们也经历过高频率的数据插入,所以数据量才

--ๅ-ๅ--ๅ-----------ๅ---ๅ----page81---ๅ---ๅ--ๅ--------ๅ----ๅ--ๅ-

会这么大。快查询的好处,能抵销缓慢插入的缺点吗?这很难说,但绝对是个ฐ值得考虑的问题๤。还有个微妙的缺点与优化器有关。优化器使用各种详细程度不同的统计数据,检查字段的最低值和最高值,尝试评估值的分布๧情况。假设历史表包含了自20่00年1月1้日开始的历史数据。于是,我们的数据组成是“散布在几年间的999%ื的历史数据”加上“29๗9๗9年12月31日的0่1%的‘当前数据’”。因此,优化器会认为数据散布๧在一千年的范围内。优化器在数据范围上的偏差ๆ是由á于查询中出现的上限日期的误导即“andrecord_ຕdate=fixed_date_in_thefuture”。此时的问题就是,如果你当查询的不是当前๩值例如,你要统计不同时段的数据变化,优化器可能错误地做出“使用索ิ引”的决定——因为你访问的只是千年中的极小部ຖ分——但实际上需要的是对数据进行扫描。是优化器的评估偏差导致它做出完全错误的执行计划ฐ决定,这很难修正。总结:要理解优化器如何看待你的系统,就必须ี理解你的数据和数据分布方แ式。通过聚合获得结果集result色tobtainedbyaທggregation本节讨论一类极常见的情况:对一个ฐ或多个主ว表maintable中的详细数据进行汇总,动态计算出结果集。换言之,我们面临数据聚合aggregationofdata的问题。此时,结果集大小取决于g肉pbຘy的字段的基数,而不是查询条件的精确性。正如第一节“小结果集,直接条件”中所述,对表进行一趟asinglepass处理获得的并非真正聚合的结果否则就需要自连接和多次处理,但此时聚合函数或聚合也相当有用。实际上,最让人感兴趣的sql聚合使用技巧,不是明显需要sum或avg的情况,而是如何将过程性处理转化为以聚合为基础的纯sql替代方案。如第2章所强调的,编写高效sql代码的关键,第一是“勇往直前”,即不要预ไ先检查,而是查询完成后测试是否成功——毕竟,蹑手蹑脚地用脚趾试水赢不了游泳比赛。第二是尽量把更多“动作”放到sql查询中ณ,此时聚合函数特别ี有用。优秀sql编程的困难,多半在于解决问题的方式:不要将“一个问题”转换成对数据库的“一系列ต查询”,而是要转换成“少数查询”。程序用大量中间变量保存从数据库读出的值,然后根据变量进行简单判断,最后再把它们作为其他查询的输入……这样做是错误的。糟糕的sql编程有个显着特点,就是在sql查询之外存在大量代码,以循环的方式对返回数据进行些加、减、乘、除之类的处理。这样做毫无价值、效率低下,这里工作应该交给sql的聚合函数。注意:聚合函数非常有用,可以解决不少sql问题第11章会再次讨论。然而,我现开者通常只使用最平常的聚合函数9t,它对大多数程序是否真的有用值得怀疑ທ。第2๐章说明了使用9t判定是否要更新记录插入新า记录是很浪ฐ费的。你可能在报表中误

-----ๅ-ๅ--------ๅ-ๅ--ๅ-ๅ-----page82-ๅ--------ๅ-----ๅ-ๅ--ๅ------

用了9t。测试存在性有时会以模仿布๧尔值的方式实现:9'el色'ูy'end对于上述实现,只要存在与条件相符的记录,就会读取其中ณ每条记录。其实,只需找到一条记录就足以判断要显示y还是n,通过测试存在性或限制返回记录数可以写出更高效的语句,一旦现条件相符就停止处理即可。当要解决的问题与最多、最少、最大、第一、最后有关时,聚合函数可能ม会当成olap函数使用很可能是最佳选择。也就是说,不要认为聚合函数仅支持9、avg等功能,否则就说明你还没有充分理解聚合函数。有趣的是,聚合函数在作用范围上非常狭窄。除了计算最大值和最小值,它们唯一能ม做的就是简单的算术运算:9t每遇到เ的一行加1;aທvg一方面将字段值累加,另一方แ面不断加1计数,最后进行除法运算。聚合函数有时可取得令人吃惊的效果,比如通过sum就可以做很多事情。喜欢数学的朋友知道,通过对数和次方函数,要在sum和乘๖积product之间转换有多简单。喜欢逻辑的朋友也会知道or很依赖sum,而and很依赖乘积。下面通过简单的例子说明聚合的强大作用。假设要进行装运shipment处理,一次装运由一些不同的订单组成,每张订单都必须分别ี做准备;只有装运涉及的每张订单都完成时装运才准备就绪。问题就是,如何判ศ断ษ装运涉及的所有订单都已๐完成。这样的情况常会生,有多种方法可以判定装ณ运是否就绪。最糟的方แ法是逐一判断每批装ณ运,而每批装运内部进行第二个ฐ循环,查看有多少张订单的order_ຕplete字段值为“n”,并返回计数为0的装运id。更好的解决方แ案是理解“‘n’值的不存在性测试”的意图,并用子查询无论是关系还是非关系完成:色le9t_idfromshipments9herenotexists色le9ullfro摸rders9hereorder_plete='ูn'ูandordersshipment_ຕid=shipmentsshipment_id如果表shipments上没有其他条件了,则上述方แ法很糟糕,当shipments表数据量大时而且未完成订单占少数,换成以下查询会更高效:色le9t_idfromshipments9hereshipment_idnotin色le9t_idfro摸rders9๗hereorder_plete=๡'ูn'上述查询也可以稍作变形,优化器比较喜欢这个变形,但要求orders表的shipment_id字段上有

--ๅ-----ๅ-ๅ--ๅ----------ๅ---page8๖3-ๅ----ๅ-ๅ---ๅ--ๅ----------ๅ--

索引:色le9๗t_idfromshipmentsleftouterjoinordersonordersshipment_ຕid=shipmentsshipment_idaທndordersorder_plete='n'9hereordersshipment_idisnull另一个替代方案是借助集合操作,该集合操作会使用shipments主键索引,且对orders表进行全表扫描:色le9t_ຕidfromshipmentsex9t_idfro摸rders9hereorder_ຕplete=๡'n'注意,并非所有dbms都实现了ex9๗us。还有一种方แ法。主要是对装运中所有订单执行逻辑and操作,将order_plete为true的订单的id返回。这类操作在现实中很常见。如前所述,and和乘法、or和加法之间关系密切。关键是把诸如“y”和“n”的flag值转换为0和1้,使用ca色结构即可。要把order_plete转成0或1的值可以这样写:色le9๗t_id,9order_plete='y'then1้el色0่endflaທgfro摸rders到เ目前为ฦ止,一切顺利ำ。如果每批装运包含的订单数固定的话,则很容易对适当字段进行sum后检查是否为ฦ预期订单数。然而,实际上希望每批装运的flaທg值相乘,并检查结果是0或是1。这个方แ法是可行的,因为只要有一张以0่表示ิ的未完成订单,乘法的最后结果就是0。乘๖法运算可由对数运行协助完成虽然在以对数处理时,0不是最简单的值,但我们这个例子要做的甚至更简单。我们想要的是“第一张订单已完成、且第二张订单已完成……且第n张订单已完成”。德摩根定律laທ9sofdeman注4告诉我们,这等价于“第一张订单未完成、或第二张订单未完成……或第n张订单未完成”的情况“不成立”。由于使用聚合时,or比and更容易处理。检查由or连结的一连串ธ条件是否不成立,比检查由and连结的一连串条件是否成立,要容易得多。我们要考虑的真正“谓词predicate”是“订单未完成”,并对order_plete标志作转换,如果是n就转换为1,如果是y就转换为0。之后,通过加总flag值,就可检查是否所有订单的flag值都是0่都已๐完成——如果总和是0,所有订单都已๐完成。因此,查询可写成:色le9๗t_id

-ๅ--ๅ--------ๅ----ๅ----ๅ---ๅ-paທge84----ๅ-----------ๅ---ๅ----ๅ-

from色lepbຘyshipment_idhavingsumflag=0甚至可以写得更简洁:色le9t_idfro摸rdersg肉pbyshipment_idhaທvingsum9'ูthen1el色0่end=0还有更简单的方法。使用另一个聚合函数,而不必转换任何的flag值。注意,从字母的顺ิ序来看,“y”大于“n”,如果所有的值都是“y”,则ท最小值就是“y”。于是:色le9t_ຕidfro摸rdersg肉pbyshipment_idhavingminorder_plete='y'这个方แ法利ำ用了“y”大于“n”,而没有考虑标志转换为数值。本方法更高效。上例使用了g肉pbຘy,并以order_plete值最小作为查询条件,那么,其中不同的子查询或作为子查询替代品的聚集函数之间是如何比较的呢?如果先做sum操作而后检查总和是否为0่,必然导致整个orders表排序。而上例中使用了不太常见的聚合函数min,一般比其他查询快,其他查询因访问两个ฐ表shipments和orders而度较慢。先前的例子大量使用了haທving子句。如第4章所述,“粗心的sql语句”往往和在聚合语句中ณ使用having子句有关。下面这个查询oracນle就是一例,它要查询过去一个月内每个产品的每周销售情况:色le9csale_date,'9eek'ู,sumsold_qtyfromsaທles_ຕhistoryg肉pbyprodu9csale_ຕdate,'9๗eek'havingtruncsaທle_date,ไ'9eek'ู=add_摸nthsysdate,-ๅ1这里的错误在于,having子句中ณ的条件没有使用聚合。于是,dbms必须处理sales_history中的每条记录,进行排序操作、进行聚合操作……然后过滤掉过时的数值,最后返回结果。这类错误并不引人注意,直到sales_history表数据量变得非常大为ฦ止。当然,正确的方法是把条件放在9here子句中ณ,确保过滤会生在早期阶段,而之后要处理的数据集已๐大为减小。

------ๅ--ๅ-ๅ------ๅ--------page85๓----ๅ-ๅ-ๅ--ๅ--------ๅ---ๅ-ๅ---

必须指出:对视图即聚合的结果应用条件时,如果优化器不够聪明,没有在聚合前๩再次注入过滤条件,我们就会遇到เ完全相同的问题。有些过滤条件生效太晚,应该提前,可做如下修改:色lectcustomer_idfro摸rders9hereorder_daທte0่在这个查询中,以下having的条件乍看起来相当合理:havingsuma摸unt0然而,如果aທ摸unt只能是正数或零,这种haທving用法就不合理。最好改为:9๗herea摸unt0่此例中,g肉pby的使用分两种情况。先:色lectcustomer_ຕidfro摸rders9hereorder_date0่g肉pbycນustomer_id我们注意到,g肉pby对聚合计算是不必要的,可以用distincນt取代它,并执行相同的排序和消除重复项目的工作:色le9ctcustomer_idfro摸rders9hereorder_date0把条件放在9๗here子句中,能让多余的记录尽早ຉ被过滤掉,因而更高效。总结:聚合操作的数据应尽量少。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━