昨天上午11时左右，83岁的朱熔基到达清华经管学院，亦是清华同学的夫人劳安、女儿朱燕来陪同，国务委员刘延东、教育部长袁贵仁随行。有清华同学在新浪微博上“直播”了朱熔基出现的全过程，他入场时全场起立鼓掌，校方先安排学生上台发言，朱熔基与之对答，气氛轻松。之后朱熔基向清华经管图书馆送出新整理的《朱熔基讲话实录》一书，是他任副总理和总理的12年间的所有讲话录音，“让你们和现实情对比一下，看看我是不是说的真话、实话。”

　　朱熔基说，现时送出的是试印版，包括很多未公开过的照片和亲笔信，还要经过中央相关部门审阅才能出版，“批评了别人，总要让别人辩解吧”。

　　反驳制定税收政策弊端说

　　朱熔基指示都提要给学生们送书，特别提到要送《中国农民调查》，他指此书引致很多对他的攻击，指税改政策让农民陷于贫穷。“这本书受到很多国外异见分子的追捧，”送书的目的是让同学们有批判意识，用事实去对比书中内容。

　　朱熔基又批驳他当年制定的税收政策被指令地方财政困难的说法，指去年全国财政收入8.3万亿，其中地方收入4万亿，中央返还3万多亿，“中央自己才1万多亿，怎么能说中央把税都收上去了，收得过多呢？无知透顶啊。当然我们自己也有错误。税收返还的工作做得很不好，要靠地方跑部钱进求爷爷告奶奶才能拿到。”

　　不主张斥资补贴汽车工业

　　他又指，现“每天7点到7点半必看中央电视台，看他们胡说些什?。”他留意到上海车展中最贵车卖1.2亿元，“我不主张花这么多钱去补贴汽车工业，像这样花1亿多买一辆车的发展。还有很多贫困山区，很多贫困孩子无法上学。”他批评很多钱都花在大学，但大学扩大招生政策失误，出现伪劣论文等，又指教育中长期规划都是“空话”，令刘延东和袁贵仁十分尴尬。朱熔基离开时，有学生高呼“学长好”，朱则呼“清华万岁，清华经管万岁”，引发学生欢呼。

	【查看照片对比】〓忆草〓祛印平疤活肤霜〓祛痘印、祛痘疤、痘坑
	58.0元

　　3月2日，全国政协委员、北京师范大学经济与工商管理学院副院长高明华说，他参与调研的《国有企业的性质表现与改革》报告显示，中国国内居民收入水平远不如美国，但一些垄断行业产品的价格，却高出美国很多，而美国的这些行业却不一定有国有投资。

　　同为报告起草人的社科院经济所研究员赵农也指出，2001～2008年，国有及国有控股企业累计获得利润总额为4．91748万亿，但同期少缴纳的利息、地租、资源租以及获得财政补贴共计64766．91亿元。如果排除一些不必要的各种享受补贴和各种低额的成本，2001年至2008年国有及国有控股企业平均的真实净资产收益率为－6．2%。

　　上述报告经过了一年多的研究，引起学界的高度关注。全国政协委员、清华大学教授蔡继明指出，这个结论给目前已有的各种企业利润数据提出了反证，这对进一步观察判断国有企业到底目前是什么性质，以及今后如何改革有很重要的借鉴意义。

　　国企补贴多

　　对民企不公平

　　数据显示，多年来国有企业特别是央企的利润高速增长。

　　而这些利润的获得，与享受的各种优惠补贴和各种待遇有关。

　　2009年国有企业上缴比例仅约6%。国资委副主任邵宁近期指出，2011年国企上缴红利比例将提高，从2007年后的5%和10%两档，上缴比例提高到今年的10%和15%两档，但是比例仍不大。同时从支出构成上，收缴的红利目前主要在央企体系内部转移，尚没有体现出惠及民众的意义。

　　之所以过去多年国企账面利润增长速度非常快，这与背后存在各种补贴因素有关。

　　此外，由于国有企业融资的成本低，这使得国企有很多暗含的少支出收入。

　　报告还指出，国有企业还享受低的工业租金和资源税补贴收入。课题组负责人赵农分析认为，如果算上上述补贴，那么国有企业所实现的账面利润基本上是虚的。同期，国有企业的职工工资总额也显得很高。比如2008年，国有企业人员薪酬比其他单位高13．3%比社会平均水平高12%。并且国企的所得税负担小。2007～2009年，992家国企的企业所得税平均税负为10%民企的平均税负达到24%。

　　中国社会科学院教授王晓晔感觉上述结论有很大的启发意义。因为，现在国企的老总、企业职工收入那么高，如果不是出于企业的竞争力，而是出于国家的补贴，以及银行低息贷款和各种各样优惠政策，“这说明民营企业和国有企业的竞争环境不公平。”

　　政协委员拟建议

　　国企退出竞争性行业

　　全国政协委员、清华大学教授蔡继明对于上述报告的结论感到震惊。

　　他近期准备了在两会期间拿出国有企业退出竞争性领域的提案。不过他感到难度太大，因为他感觉如何规范国有企业的行业投资是个问题。

　　上述《国有企业的性质表现与改革》报告建议，国有企业不仅仅是退出竞争性领域的行业，所有以营利为目的的行业，都应该退出。一些所谓的战略性行业，就是国有企业需要控制，这个看法未必正确。

　　因为即使是在美国，石油也没有一家国有企业，军工企业也是私营的。“军工和石油都可以营利，这都可以放开，至于像煤炭、钢铁等领域更是需要放开。而像公交等领域，本身不以赚钱为目的，这可以让给国有企业。”赵农说。

　　为此，报告建议：下一步应该收缩国有企业的经营范围，对国有资产进行必要的整合，放开石油石化、电信、煤炭、民航、航运等大行业。

改革开放以来，我国综合国力得到极大提高，社会财富大量涌现，但是，财富分配不均日益加剧。近些年来，两极分化问题突出，已经成为经济发展、社会进步的主要障碍之一。在此背景下，《中共中央关于制定国民经济和社会发展第十二个五年规划的建议》提出，坚持把保障和改善民生作为加快转变经济发展方式的根本出发点和落脚点。涉及民生的问题很多，如就业、分配、社保、医疗、教育、住房，等等。其中提高劳动报酬在一次分配中所占的比重，从而提高居民消费能力，进而调整投资与消费比例，已经成为转变经济发展方式的重要议题。

我国劳动报酬比重变动情况

●在与其它国家进行比较时，要看到大多数国家的情况，不能因为可以找出比我国劳动报酬比重更低的国家就来论证我国劳动报酬比重不低。

●近20年来，企业普通职工的实际劳动报酬占GDP的比重是大幅度下降了。

根据省际收入法GDP构成数据，我国劳动者报酬占GDP的比重1990年为53.4%，1995年为52.8%，2000年为51.4%，2006年为40.61%，2007年为39.74%。2000年到2007年，劳动报酬占比下降了11.66个百分点，其中，2004年，国家统计局把个体经营业主的收入从劳动报酬转为营业利润，然而，这并未改变2004年之前劳动报酬比重不断下降，2004年之后劳动报酬比重仍下降的总体趋势。

2007年，我国包括农业主收入在内的劳动报酬占比39.74%，同期美国劳动报酬占比为55.81%，英国为54.5%，瑞士为62.4%，德国为48.8%，南非为68.25%。2006年，韩国劳动报酬占比为45.4%，俄罗斯为44.55%，巴西为40.91%，印度为28.07%。在与其他国家进行比较时，要看到大多数国家的情况，不能因为可以找出比我国劳动报酬比重更低的国家就来论证我国劳动报酬比重不低。我们要建设的是社会主义市场经济，理应比其他国家更好地维护劳动者的利益，学习国外好的经验。

从国际比较可以看出，随着经济发展水平的提高，劳动报酬份额不断增加，到一定阶段后趋于相对稳定。美国、加拿大、英国等一些发达国家的数据表明，在与我国现有产业结构相似时期，劳动者报酬与业主收入相加，在业主收入占GDP比重快速下降的情况下，劳动报酬与业主收入两个账户总和占GDP比重仍快速提高。例如：1920-1929年，美国劳动报酬和业主收入总和占国民净收入的比重为78.1%，1950-1954年这一比重增加为82.1%，1980-1984年为81.8%，其中劳动报酬比重由1920-1929年的60.5%上升到1980-1984年的74.3%，而业主收入比重由1920-1929年的60.5%和17.6%下降到1980-1984年的7.5%。近20多年来，我国包括农户收入在内的劳动报酬比重不断降低，更说明了我国非农劳动者劳动报酬在GDP中的比重下降幅度较大。此外，工资总额是劳动报酬的重要组成部分，我国职工工资总额占GDP比重由1995年的13.32%下降到2008年的11.21%，城镇单位就业人员劳动报酬占GDP比重也由1995年 的13.6%下 降 到2008年 的11.7%。说明我国劳动报酬比重的确在较短时间内快速下降了。

而且，劳动报酬总量占GDP的比重下降，还不足以说明普通职工收入的变动状况。如果与上世纪90年代初期相比，还应考虑劳动报酬的结构性变化：一是上世纪90年代初机关事业单位与企业工资差别不大，企业经营者与普通职工工资差别不大，且那时企业职工基本不缴纳社会保障费；二是1998年以来机关事业单位多次增长工资，而企业中经营职位和一般职位间收入差距目前普遍在20倍以上；三是上世纪90年代中后期以来国有行政性垄断行业职工工资增长过快，行业平均工资差距从2倍左右扩大到6倍以上；四是目前企业职工工资总额中还包括要缴纳约占基本工资10%的养老、医疗、失业保险费。可以断定，近20年来，企业普通职工的实际劳动报酬占GDP的比重是大幅度下降了。

正确界定政府在提高劳动报酬占比中的作用

●日本没有“农民工”的概念，更没有“第二代农民工”的现象，日本的农民从农村迁出后，14天之内凭“誉本”就可到所迁移地的政府登记，变为当地人，他们的子女如是适学儿童，必须在3天之内到当地教育委员会报到，与当地儿童一样安排入学。经过30年的经济起飞，我们还在研究所谓“第二代农民工”问题，其关键在于城乡户籍制度以及城乡公共服务体系的行政分割。

●进一步完善收入分配、劳动保护方面的法律法规并严格执行，完善劳动仲裁和法律援助机制，为劳动者获得合法收入提供法律保障，是政府在一次分配中不可推卸的责任。

提高劳动报酬在一次分配中的比重是可以量化的，有学者提出要把这一比例从现在的11%左 右 提 高 到20%左右。问题在于通过何种途径实现这一目标？是使用行政手段还是发挥市场机制来提高这一比例？用行政办法强令企业给职工涨工资，制定五年工资倍增计划等，也可能在一段时间较快奏效，但我们如果搞工资倍增计划与日本当年不同，很可能要层层落实到各级政府一把手责任制。因此不少学者质疑，这是否不适当地干预了企业的经营自主权？从长远看，这是在建立完善的市场经济体系还是在走回头路？那么，不直接干预企业用人与工资自主权，政府在一次分配方面是否就无所作为了呢？

一些学者又认为，中国劳动力长期供大于求，劳动报酬低是市场供求规律决定的，政府不能干预一次分配，调整收入分配关系主要应在二次分配上做文章。这种分析只看到了我国劳动力市场的数量特点，忽视了我国劳动力市场的制度特点。按照人口增长态势，从1980年改革开放直至2020年左右，我国都处在劳动力总量供大于求的状态，这是对劳动力市场的数量分析。与此同时，我国的劳动力资源正处在由政府统一配置向市场配置的转型期，这是对劳动力市场的体制分析。把体制分析与数量分析结合起来，才能更好地探讨我国的劳动报酬问题。而认真分析近年来一次分配的现状就不难发现，劳动报酬过低的情况，在很大程度上正是劳动力资源配置转型不到位，劳动力市场运行不规范，市场机制没有充分、合理发挥作用的结果。

第一、初次分配中农民工工资长期被过分压低。从事同样的工作，城市职工比农民工工资高一倍甚至两倍。

2008年广州、深圳、杭州、南京、东莞、上海、无锡、苏州、宁波等长三角、珠三角九个城市，出口加工企业中农民工平均工资与当地城市职工平均工资相比，很少超过40%的，差别最大的东莞，城镇职工平均工资每月3293元，农民工是971元，不到城镇职工的30%。

最低工资标准国际上一般是社会平均工资的40%-60%，这意味着东莞等地农民工工资连最低标准都达不到，难怪他们要用脚投票，闹民工荒。多项研究成果显示，如果按现代劳动力市场规律办事，反对就业歧视，实行同工同酬，上亿农民工每年至少可多得约3千至5千亿元，远高于免除农业税、家电下乡补贴等惠农措施。多年累积下来，仅农民工工资欠账这一块，对扩大消费、缩小城乡差距的影响就极其巨大。

可以比较一下日本工业化过程中的农业劳动力转移。1955年到1975年，日本平均每年有72.5万农业劳动力转移到城市，20年之内完成了农业劳动力的转移。日本没有“农民工”的概念，更没有“第二代农民工”的现象，日本的农民从农村迁出后，14天之内凭“誉本”就可到所迁移地的政府登记，变为当地人，他们的子女如是适学儿童，必须在3天之内到当地教育委员会报到，与当地儿童一样安排入学。经过30年的经济起飞，我们还在研究所谓“第二代农民工”问题，其关键在于城乡户籍制度以及城乡公共服务体系的行政分割。户籍制度是典型的行政手段，积极稳妥地改革户籍等一系列行政分割城乡劳动力市场的制度，政府责无旁贷。

第二、初次分配中行业收入差距过大。

根据去年统计局公布的数据，中国证券业的工资水平比职工平均工资高6倍左右，收入最高和最低行业的差距达11倍。人力资源和社会保障部工资研究所发布的最新数据，这一差距又扩大到15倍。如果把证券业归到金融业一并计算，行业差距也高达6倍。其它市场经济国家的行业收入差距，根据人力资源和社会保障部国际劳工保障研究所提供的资料，2006-2007年最高和最低行业工资差距，日本、英国、法国约为1.6-2倍左右，德国、加拿大、美国、韩国在2.3-3倍之间。

日本在经济起飞的后期，上世纪80年代，金融行业平均工资水平只是制造业的1.38倍。这些国家金融行业的高工资并不是由其行业的特殊性造成的，而是由于金融行业对知识的要求比较高，从业者受教育年限较长，付出成本较高，因而要求的回报也相应较高。在比较成熟的市场经济国家，劳动力自由、合理流动，行业工资差距其实是各个行业从业人员平均受教育程度的差距。从目前的资料看，中国行业收入差距已跃居世界之首，已经超过巴西。如此巨大的行业收入差距是市场竞争的结果吗？显然在很大程度上是由于市场准入方面的行政限制带来的。国家发改委就业和收入分配司编辑出版的《中国居民收入分配年度报告(2008)》分析认为，行政性垄断行业的收入有三分之一是靠各类特许经营权获得的。再深入分析还有资源税、资源产品价格等问题。打破行政性垄断，合理调整行业之间的收入水平以及推进与此相关的资源税、资源产品价格改革当然是政府的责任。

第三、初次分配中工资集体谈判机制不健全。

在供大于求的条件下，一般劳动力价格会被压低，工资水平相对较低有其部分合理性。但是，现代劳动力市场中的工资水平不仅受到供求关系的影响，还要受到劳资集体谈判的影响。自1949年国际劳工组织通过集体谈判公约后，集体谈判已经成为市场经济国家调整企业工资福利的通行规则。但我国至今尚未形成完善、有效的集体谈判机制。正如去年全国人大常委会执法检查组关于检查《工会法》实施情况的报告所指出的，企业工会干部大多数是企业的中高层管理人员，这种情况造成工会干部很难真正代表职工的利益。去年南海本田罢工事件中，当地工会公开站在雇主一边，要求工人立即复工并与罢工工人发生冲突，被学者称为“世界劳工史上的奇闻”。可以说，工会组织为劳动者维权的作用尚未充分发挥，是我国劳动报酬比重低于一般市场经济国家的重要原因。由于缺乏有序、有效的集体谈判机制，我国企业内的劳资纠纷多以无序方式展开，其中集体争议案件大幅度上升，已成为影响社会稳定的重大因素。

此外，我国雇主组织的作用也远没有到位。劳动力是跨企业、跨行业流动的，如果集体谈判仅局限于单个企业中的职工与雇主之间进行，很难避免攀比效应，多数情况下会推动工资福利的过多增长。要协调行业的工资福利水平，并进而协调不同行业的工资福利水平，就要建立跨行业、跨地区的处理劳工关系的雇主组织。

我们不能也不应当重蹈一些国家资本原始积累时期劳资剧烈冲突的覆辙，在劳动力市场发育时期就要注重劳动力供求主体组织行为的形成。在当前形势下，劳动力市场供求主体的组织行为不仅有利于平衡劳动报酬与资本收益之间的关系，还可以起到反对官僚主义，监督腐败行为的作用。在社会主义市场经济条件下，工人的组织权、谈判权、罢工权如何界定，雇主的组织权、谈判权、关厂权如何界定，应当提到政府的重要议事日程了。

第四、规范初次分配的劳动法律法规不落实。

例如在最低工资、最低劳动条件确定等方面，政府虽然有相关规定，却疏于执行和监管。按照国际惯例，最低工资应占社会平均工资的40%-60%，但据全国总工会的调查，2009年各省会城市的最低工资多数只略高于30%，2010年各地最低工资有较大幅度的增长，多数仍未达到国际惯例标准。一些调查材料显示，像强制超时加班、泛用学生工、非法使用童工、私了工伤事故、无视劳动保护条件等违法违规的事情经常发生，许多已有的劳动法律、法规及有关规定得不到落实。拖欠工资，特别是拖欠农民工工资至今时有所闻。一些地方政府领导为追求任期内的GDP增长，过分强调招商引资，对严重违犯劳动法律法规的现象疏于监管，也压低了一次分配中的劳动报酬。因此，进一步完善收入分配、劳动保护方面的法律法规并严格执行，完善劳动仲裁和法律援助机制，为劳动者获得合法收入提供法律保障，是政府在一次分配中不可推卸的责任。

以上提到的四个方面说明，提高劳动报酬在一次分配中的比重，政府可以有所作为，而且必须有所作为，但主要不是依靠层层落实行政指令的方式去作为，而是要在完善社会主义市场经济体系上下功夫，加快城乡统一劳动力市场的建设，加大行政性垄断行业的改革，健全集体协商机制，健全劳动法律法规并严格执行，充分发挥市场配置劳动力资源的基础性作用。

政府有责任铲除灰色收入的滋生环境

最近，关于灰色收入的规模，学术界争论激烈。其实社会上存在大量灰色收入，对此人们并无多大争议。但要对灰色收入做精确的数量推断很难，真能以百亿元为单位计量出灰色收入来，那灰色收入的透明度岂不比工资福利的透明度还高了？现在政府部门对灰色收入研究很不够，说不清灰色收入的大致规模，由民间学术团体的研究来填补，根据部分入户调查推算出2008年灰色收入高达5.4万亿元，引发了大家对灰色收入的关注，有利于推进这方面的研究。那么研究的重点应该放在哪里？就如已知一个人长了肿瘤，与其着重在量级上争论它的大小，不如下功夫研究如何割掉它。灰色收入很难界定在一次分配领域还是二次分配领域，但规范一次分配的秩序，加大二次分配平抑一次分配差距的作用，加快民主法治建设步伐，从体制、机制上压缩钱权交易的空间，铲除灰色收入的滋生地，也是政府不可推脱的责任。

	【查看照片对比】〓忆草〓祛印平疤活肤霜〓祛痘印、祛痘疤、痘坑
	58.0元

昝辉，网名Zac，1992年毕业于北京航空航天大学电子工程系，1995年北京电影学院硕士研究生毕业。1997来到新加坡在后期制作公司担任编辑和项目经理等职务。Zac于2006年开始写中文博客《SEO每天一贴》。几个月内《SEO每天一贴》成为中国SEO领域被引用最多，最受欢迎的行业博客之一，很多文章在网上广为流传。

注明：本文由电子工业出版社授权站长之家连载，未经授权请勿转载。文章内容节选自《SEO实战密码》第二章节。

搜索引擎工作过程非常复杂，接下来的几节我们简单介绍搜索引擎是怎样实现网页排名的。这里介绍的内容相对于真正的搜索引擎技术来说只是皮毛，不过对SEO人员已经足够用了。

搜索引擎的工作过程大体上可以分成三个阶段。

（1）爬行和抓取：搜索引擎蜘蛛通过跟踪链接访问网页，获得页面HTML代码存入数据库。

（2）预处理：索引程序对抓取来的页面数据进行文字提取、中文分词、索引等处理，以备排名程序调用。

（3）排名：用户输入关键词后，排名程序调用索引库数据，计算相关性，然后按一定格式生成搜索结果页面。

 爬行和抓取

爬行和抓取是搜索引擎工作的第一步，完成数据收集的任务。

1．蜘蛛

搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。

搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。

蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址。

和浏览器一样，搜索引擎蜘蛛也有标明自己身份的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辨识搜索引擎蜘蛛。下面列出常见的搜索引擎蜘蛛名称：

· Baiduspider+（+http://www.baidu.com/search/spider.htm） 百度蜘蛛

· Mozilla/5.0 （compatible; Yahoo！ Slurp China; http://misc.yahoo.com.cn/help.html） 雅虎中国蜘蛛

· Mozilla/5.0 （compatible; Yahoo！ Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp） 英文雅虎蜘蛛

· Mozilla/5.0 （compatible; Googlebot/2.1; +http://www.google.com/bot.html） Google蜘蛛

· msnbot/1.1 （+http://search.msn.com/msnbot.htm） 微软 Bing蜘蛛

· Sogou+web+robot+（+http://www.sogou.com/docs/help/webmasters.htm#07）搜狗蜘蛛

· Sosospider+（+http://help.soso.com/webspider.htm） 搜搜蜘蛛

· Mozilla/5.0 （compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; ） 有道蜘蛛

2．跟踪链接

为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来。

整个互联网是由相互链接的网站及页面组成的。从理论上说，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面。当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有页面。

最简单的爬行遍历策略分为两种，一种是深度优先，另一种是广度优先。

所谓深度优先，指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一个页面，沿着另一个链接再一直往前爬行。

如图2-20所示，蜘蛛跟踪链接，从A页面爬行到A1，A2，A3，A4，到A4页面后，已经没有其他链接可以跟踪就返回A页面，顺着页面上的另一个链接，爬行到B1，B2，B3，B4。在深度优先策略中，蜘蛛一直爬到无法再向前，才返回爬另一条线。

广度优先是指蜘蛛在一个页面上发现多个链接时，不是顺着一个链接一直向前，而是把页面上所有第一层链接都爬一遍，然后再沿着第二层页面上发现的链接爬向第三层页面。

如图2-21所示，蜘蛛从A页面顺着链接爬行到A1，B1，C1页面，直到A页面上的所有链接都爬行完，然后再从A1页面发现的下一层链接，爬行到A2，A3，A4，……页面。

图2-20 深度优先遍历策略

 图2-21 广度优先遍历策略

从理论上说，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，都能爬完整个互联网。在实际工作中，蜘蛛的带宽资源、时间都不是无限的，也不可能爬完所有页面。实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分。

深度优先和广度优先通常是混合使用的，这样既可以照顾到尽量多的网站（广度优先），也能照顾到一部分网站的内页（深度优先）。

3．吸引蜘蛛

由此可见，虽然理论上蜘蛛能爬行和抓取所有页面，但实际上不能、也不会这么做。SEO人员要想让自己的更多页面被收录，就要想方设法吸引蜘蛛来抓取。既然不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要页面。哪些页面被认为比较重要呢？有几方面影响因素。

1、网站和页面权重。质量高、资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会有更多内页被收录。

2、页面更新度。蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取。如果页面内容经常更新，蜘蛛就会更加频繁地访问这种页面，页面上出现的新链接，也自然会被蜘蛛更快地跟踪，抓取新页面。

3、导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被爬行深度增加。

4、与首页点击距离。一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁的也是首页。离首页点击距离越近，页面权重越高，被蜘蛛爬行的机会也越大。

4．地址库

为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现还没有抓取的页面，以及已经被抓取的页面。

地址库中的URL有几个来源：

（1）人工录入的种子网站。

（2）蜘蛛抓取页面后，从HTML中解析出新的链接URL，与地址库中的数据进行对比，如果是地址库中没有的网址，就存入待访问地址库。

（3）站长通过搜索引擎网页提交表格提交进来的网址。

蜘蛛按重要性从待访问地址库中提取URL，访问并抓取页面，然后把这个URL从待访问地址库中删除，放进已访问地址库中。

大部分主流搜索引擎都提供一个表格，让站长提交网址。不过这些提交来的网址都只是存入地址库而已，是否收录还要看页面重要性如何。搜索引擎所收录的绝大部分页面是蜘蛛自己跟踪链接得到的。可以说提交页面基本上是毫无用处的，搜索引擎更喜欢自己沿着链接发现新页面。

5．文件存储

搜索引擎蜘蛛抓取的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都有一个独特的文件编号。

6．爬行时的复制内容检测

检测并删除复制内容通常是在下面介绍的预处理过程中进行的，但现在的蜘蛛在爬行和抓取文件时也会进行一定程度的复制内容检测。遇到权重很低的网站上大量转载或抄袭内容时，很可能不再继续爬行。这也就是有的站长在日志文件中发现了蜘蛛，但页面从来没有被真正收录过的原因。

2 预处理

在一些SEO材料中，“预处理”也被简称为“索引”，因为索引是预处理最主要的步骤。

搜索引擎蜘蛛抓取的原始页面，并不能直接用于查询排名处理。搜索引擎数据库中的页面数都在数万亿级别以上，用户输入搜索词后，靠排名程序实时对这么多页面分析相关性，计算量太大，不可能在一两秒内返回排名结果。因此抓取来的页面必须经过预处理，为最后的查询排名做好准备。

和爬行抓取一样，预处理也是在后台提前完成的，用户搜索时感觉不到这个过程。

1．提取文字

现在的搜索引擎还是以文字内容为基础。蜘蛛抓取到的页面中的HTML代码，除了用户在浏览器上可以看到的可见文字外，还包含了大量的HTML格式标签、JavaScript程序等无法用于排名的内容。搜索引擎预处理首先要做的就是从HTML文件中去除标签、程序，提取出可以用于排名处理的网页面文字内容。

比如下面这段HTML代码：

<div id="post-1100" class="post-1100 post hentry category-seo"> <div class="posttitle"> <h2><a href今天愚人节哈">今天愚人节哈</a></h2>="http://www.chinamyhosting.com/seoblog/2010/04/01/fools-day/" rel="bookmark" title="Permanent Link to

除去HTML代码后，剩下的用于排名的文字只是这一行：

今天愚人节哈

除了可见文字，搜索引擎也会提取出一些特殊的包含文字信息的代码，如Meta标签中的文字、图片替代文字、Flash文件的替代文字、链接锚文字等。

2．中文分词

分词是中文搜索引擎特有的步骤。搜索引擎存储和处理页面及用户搜索都是以词为基础的。英文等语言单词与单词之间有空格分隔，搜索引擎索引程序可以直接把句子划分为单词的集合。而中文词与词之间没有任何分隔符，一个句子中的所有字和词都是连在一起的。搜索引擎必须首先分辨哪几个字组成一个词，哪些字本身就是一个词。比如“减肥方法”将被分词为“减肥”和“方法”两个词。

中文分词方法基本上有两种，一种是基于词典匹配，另一种是基于统计。

基于词典匹配的方法是指，将待分析的一段汉字与一个事先造好的词典中的词条进行匹配，在待分析汉字串中扫描到词典中已有的词条则匹配成功，或者说切分出一个单词。

按照扫描方向，基于词典的匹配法可以分为正向匹配和逆向匹配。按照匹配长度优先级的不同，又可以分为最大匹配和最小匹配。将扫描方向和长度优先混合，又可以产生正向最大匹配、逆向最大匹配等不同方法。

词典匹配方法计算简单，其准确度在很大程度上取决于词典的完整性和更新情况。

基于统计的分词方法指的是分析大量文字样本，计算出字与字相邻出现的统计概率，几个字相邻出现越多，就越可能形成一个单词。基于统计的方法的优势是对新出现的词反应更快速，也有利于消除歧义。

基于词典匹配和基于统计的分词方法各有优劣，实际使用中的分词系统都是混合使用两种方法的，快速高效，又能识别生词、新词，消除歧义。

中文分词的准确性往往影响搜索引擎排名的相关性。比如在百度搜索“搜索引擎优化”，如图2-22所示，从快照中可以看到，百度把“搜索引擎优化”这六个字当成一个词。

图2-22 百度快照显示的对“搜索引擎优化”的分词结果

而在Google搜索同样的词，如图2-23所示，快照显示Google将其分切为“搜索”、“引擎”和“优化”三个词。显然百度切分得更为合理，搜索引擎优化是一个完整的概念。Google分词时倾向于更为细碎。

图2-23 Google快照显示的对“搜索引擎优化”的分词结果

再举一个更明显的例子。在Google搜索“点石互动”四个字，如图2-24所示，快照显示Google将其切分为“点”，“石”及“互动”三个词。“点石互动”这个中文SEO领域最知名的品牌，显然并没有进入Google的词典中。

图2-24 Google快照显示的对“点石互动”的分词结果

在百度搜索“点石互动”时会发现，百度将“点石互动”当做一个词。甚至在百度搜索“点石大会报名”，可以发现百度把“点石大会”都当成一个词，如图2-25所示。

图2-25 百度快照显示的对“点石大会报名”的分词结果

这种分词上的不同很可能是一些关键词排名在不同搜索引擎有不同表现的原因之一。比如百度更喜欢将搜索词完整匹配地出现在页面上，也就是说搜索“点石互动”时，这四个字连续完整出现更容易在百度获得好的排名。Google就与此不同，不太要求完整匹配。一些页面出现“点石”和“互动”两个词，但不必完整匹配地出现，“点石”出现在前面，“互动”出现在页面的其他地方，这样的页面在Google搜索“点石互动”时，也可以获得不错的排名。

搜索引擎对页面的分词取决于词库的规模、准确性和分词算法的好坏，而不是取决于页面本身如何，所以SEO人员对分词所能做的很少。唯一能做的是在页面上用某种形式提示搜索引擎，某几个字应该被当做一个词处理，尤其是可能产生歧义的时候，比如在页面标题、h1标签及黑体中出现关键词。如果页面是关于“和服”的内容，那么可以把“和服”这两个字特意标为黑体。如果页面是关于“化妆和服装”，可以把“服装”两个字标为黑体。这样，搜索引擎对页面进行分析时就知道标为黑体的应该是一个词。

3．去停止词

无论是英文还是中文，页面内容中都会有一些出现频率很高，却对内容没有任何影响的词，如“的”、“地”、“得”之类的助词，“啊”、“哈”、“呀”之类的感叹词，“从而”、“以”、“却”之类的副词或介词。这些词被称为停止词，因为它们对页面的主要意思没什么影响。英文中的常见停止词有the，a，an，to，of等。

搜索引擎在索引页面之前会去掉这些停止词，使索引数据主题更为突出，减少无谓的计算量。

4．消除噪声

绝大部分页面上还有一部分内容对页面主题也没有什么贡献，比如版权声明文字、导航条、广告等。以常见的博客导航为例，几乎每个博客页面上都会出现文章分类、历史存档等导航内容，但是这些页面本身与“分类”、“历史”这些词都没有任何关系。用户搜索“历史”、“分类”这些关键词时仅仅因为页面上有这些词出现而返回博客帖子是毫无意义的，完全不相关。所以这些区块都属于噪声，对页面主题只能起到分散作用。

搜索引擎需要识别并消除这些噪声，排名时不使用噪声内容。消噪的基本方法是根据HTML标签对页面分块，区分出页头、导航、正文、页脚、广告等区域，在网站上大量重复出现的区块往往属于噪声。对页面进行消噪后，剩下的才是页面主体内容。

5．去重

搜索引擎还需要对页面进行去重处理。

同一篇文章经常会重复出现在不同网站及同一个网站的不同网址上，搜索引擎并不喜欢这种重复性的内容。用户搜索时，如果在前两页看到的都是来自不同网站的同一篇文章，用户体验就太差了，虽然都是内容相关的。搜索引擎希望只返回相同文章中的一篇，所以在进行索引前还需要识别和删除重复内容，这个过程就称为“去重”。

去重的基本方法是对页面特征关键词计算指纹，也就是说从页面主体内容中选取最有代表性的一部分关键词（经常是出现频率最高的关键词），然后计算这些关键词的数字指纹。这里的关键词选取是在分词、去停止词、消噪之后。实验表明，通常选取10个特征关键词就可以达到比较高的计算准确性，再选取更多词对去重准确性提高的贡献也就不大了。

典型的指纹计算方法如MD5算法（信息摘要算法第五版）。这类指纹算法的特点是，输入（特征关键词）有任何微小的变化，都会导致计算出的指纹有很大差距。

了解了搜索引擎的去重算法，SEO人员就应该知道简单地增加“的”、“地”、“得”、调换段落顺序这种所谓伪原创，并不能逃过搜索引擎的去重算法，因为这样的操作无法改变文章的特征关键词。而且搜索引擎的去重算法很可能不止于页面级别，而是进行到段落级别，混合不同文章、交叉调换段落顺序也不能使转载和抄袭变成原创。

6．正向索引

正向索引也可以简称为索引。

经过文字提取、分词、消噪、去重后，搜索引擎得到的就是独特的、能反映页面主体内容的、以词为单位的内容。接下来搜索引擎索引程序就可以提取关键词，按照分词程序划分好的词，把页面转换为一个关键词组成的集合，同时记录每一个关键词在页面上的出现频率、出现次数、格式（如出现在标题标签、黑体、H标签、锚文字等）、位置（如页面第一段文字等）。这样，每一个页面都可以记录为一串关键词集合，其中每个关键词的词频、格式、位置等权重信息也都记录在案。

搜索引擎索引程序将页面及关键词形成词表结构存储进索引库。简化的索引词表形式如表2-1所示。

表2-1 简化的索引词表结构

每个文件都对应一个文件ID，文件内容被表示为一串关键词的集合。实际上在搜索引擎索引库中，关键词也已经转换为关键词ID。这样的数据结构就称为正向索引。

7．倒排索引

正向索引还不能直接用于排名。假设用户搜索关键词2，如果只存在正向索引，排名程序需要扫描所有索引库中的文件，找出包含关键词2的文件，再进行相关性计算。这样的计算量无法满足实时返回排名结果的要求。

所以搜索引擎会将正向索引数据库重新构造为倒排索引，把文件对应到关键词的映射转换为关键词到文件的映射，如表2-2所示。

在倒排索引中关键词是主键，每个关键词都对应着一系列文件，这些文件中都出现了这个关键词。这样当用户搜索某个关键词时，排序程序在倒排索引中定位到这个关键词，就可以马上找出所有包含这个关键词的文件。

表2-2 倒排索引结构

8．链接关系计算

链接关系计算也是预处理中很重要的一部分。现在所有的主流搜索引擎排名因素中都包含网页之间的链接流动信息。搜索引擎在抓取页面内容后，必须事前计算出：页面上有哪些链接指向哪些其他页面，每个页面有哪些导入链接，链接使用了什么锚文字，这些复杂的链接指向关系形成了网站和页面的链接权重。

Google PR值就是这种链接关系的最主要体现之一。其他搜索引擎也都进行类似计算，虽然它们并不称为PR。

由于页面和链接数量巨大，网上的链接关系又时时处在更新中，因此链接关系及PR的计算要耗费很长时间。关于PR和链接分析，后面还有专门的章节介绍。

9．特殊文件处理

除了HTML文件外，搜索引擎通常还能抓取和索引以文字为基础的多种文件类型，如PDF、Word、WPS、XLS、PPT、TXT文件等。我们在搜索结果中也经常会看到这些文件类型。但目前的搜索引擎还不能处理图片、视频、Flash这类非文字内容，也不能执行脚本和程序。

虽然搜索引擎在识别图片及从Flash中提取文字内容方面有些进步，不过距离直接靠读取图片、视频、Flash内容返回结果的目标还很远。对图片、视频内容的排名还往往是依据与之相关的文字内容，详细情况可以参考后面的整合搜索部分。

2.4.3 排名

经过搜索引擎蜘蛛抓取页面，索引程序计算得到倒排索引后，搜索引擎就准备好可以随时处理用户搜索了。用户在搜索框填入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程是与用户直接互动的。

1．搜索词处理

搜索引擎接收到用户输入的搜索词后，需要对搜索词做一些处理，才能进入排名过程。搜索词处理包括如下几方面。

（1）中文分词。与页面索引时一样，搜索词也必须进行中文分词，将查询字符串转换为以词为基础的关键词组合。分词原理与页面分词相同。

（2）去停止词。和索引时一样，搜索引擎也需要把搜索词中的停止词去掉，最大限度地提高排名相关性及效率。

（3）指令处理。查询词完成分词后，搜索引擎的默认处理方式是在关键词之间使用“与”逻辑。也就是说用户搜索“减肥方法”时，程序分词为“减肥”和“方法”两个词，搜索引擎排序时默认认为，用户寻找的是既包含“减肥”，也包含“方法”的页面。只包含“减肥”不包含“方法”，或者只包含“方法”不包含“减肥”的页面，被认为是不符合搜索条件的。当然，这只是极为简化的为了说明原理的说法，实际上我们还是会看到只包含一部分关键词的搜索结果。

另外用户输入的查询词还可能包含一些高级搜索指令，如加号、减号等，搜索引擎都需要做出识别和相应处理。有关高级搜索指令，后面还有详细说明。

（4）拼写错误矫正。用户如果输入了明显错误的字或英文单词拼错，搜索引擎会提示用户正确的用字或拼法，如图2-26所示

 。

图2-26 输入的错拼、错字矫正

（5）整合搜索触发。某些搜索词会触发整合搜索，比如明星姓名就经常触发图片和视频内容，当前的热门话题又容易触发资讯内容。哪些词触发哪些整合搜索，也需要在搜索词处理阶段计算。

2．文件匹配

搜索词经过处理后，搜索引擎得到的是以词为基础的关键词集合。文件匹配阶段就是找出含有所有关键词的文件。在索引部分提到的倒排索引使得文件匹配能够快速完成，如表2-3所示。

表2-3 倒排索引快速匹配文件

假设用户搜索“关键词2 关键词7”，排名程序只要在倒排索引中找到“关键词2”和“关键词7”这两个词，就能找到分别含有这两个词的所有页面。经过简单计算就能找出既包含“关键词2”，也包含“关键词7”的所有页面：文件1和文件6。

3．初始子集的选择

找到包含所有关键词的匹配文件后，还不能进行相关性计算，因为找到的文件经常会有几十万几百万，甚至上千万个。要对这么多文件实时进行相关性计算，需要的时间还是比较长的。

实际上用户并不需要知道所有匹配的几十万、几百万个页面，绝大部分用户只会查看前两页，也就是前20个结果。搜索引擎也并不需要计算这么多页面的相关性，而只要计算最重要的一部分页面就可以了。常用搜索引擎的人都会注意到，搜索结果页面通常最多显示100个。用户点击搜索结果页面底部的“下一页”链接，最多也只能看到第100页，也就是1000个搜索结果，如图2-27所示。

百度则通常返回76页结果，如图2-28所示。