当前位置：首页> (2010)电子商务搜索引擎技术综述

(2010)电子商务搜索引擎技术综述

时间：下载该word文档

2010年电子商务搜索引擎技术综述
By冲出宇宙
说到搜索，大家的印象大部分还集中在百度、google、soso等大搜索引擎124567
（即全网搜索引擎，或者第二代搜索引擎）。google算得上一个典型的大搜索，而百度只能算小半个大搜索（因为它只有中文和日文数据，故国内至少有20%的市场份额（英文等其他语言检索）永远属于google）。除了大搜索，垂直搜索现在是越来越流行（信息大爆炸，人们从海量大信息里面获得感兴趣的信息越来越困难）。垂直搜索专注于一个领域（方面），常见的如新闻搜索、图片搜索、视频搜索、医药搜索、比价搜索等等，它能够充分的考虑领域的固有特点，做到大搜索所不能的贴心体验。电子商务搜索引擎也属于垂直搜索的一种。
电子商务搜索引擎常常有好几种模式：1）仅搜索外网数据；2）仅搜索站内数据；3）外网和内网结合。比价搜索一般采用第一种模式，而大型电子商务网站采用第二种模式，第三种模式是目前发展的一个方向。
搜索发展到现在，就应用技术来说，几乎到达了顶点。现在搜索引擎用的技术，几乎都是10年8年前的咚咚。搜索引擎的发展方向，变得扑朔迷离。
【】【】【】【】【】【】
1电子商务搜索和大搜索的对比1.1规模
从定义上来说，电子商务搜索属于垂直搜索引擎的一种，它显然比处理整个互联网的大
搜索规模小很多。流行的观点认为，大搜索的网页存储规模在50亿-1000亿之间（国内大搜索引擎大部分在100亿以下，google据说超过1000亿），而较大型电子商务搜索目前的存储规模在1亿-10亿之间。除了数据规模外，每日pv也有较大差距，根据10月份的数据，google美国每天的有效搜索pv（全部搜索pv应该是这个的好几倍）在3.6亿左右，而国内最大的电子商务引擎淘宝每天的全部搜索pv在1亿上下。
1.2时效性
电子商务直接面向付款用户，必须快速的告诉用户最新最好的商品，时效性很重要，特别是短期的打折卖场。国内电子商务引擎一般在5-30分钟内能够把最新的数据展现给用户，而国外的ebay则能够在1分钟内展示给用户。对比起来，大搜索引擎从理论上就无法解决新数据展示的问题，因为对于上亿的网站来说，大搜索蜘蛛爬行到某个特定网站需要一定的时间。大搜索引擎最多可以快速展示最近爬到的数据，但这个数据可能是上周更新的。
1.3蜘蛛系统
目前的淘宝和拍拍都没有正式公开的爬行商品数据的蜘蛛。但在大搜索引擎中，蜘蛛具

有极其重要的地位，因为上10万亿的url（还有更多的深网络url），如何爬行如何更新是一个很难的工程（百度只索引了sina的一部分数据，因为sina自己有上亿的页面）。
淘宝和拍拍没有公开的爬行数据，一个主要的原因在于商品信息更新太快，30分钟内爬不到数据，数据就可能过期，这种情况在残酷的电子产品领域（3c类目）特别明显。
1.4搜索后台构架
搜索构架从20世纪90年代开始就几乎没有改变过。如果不考虑基础支撑结构（如物理结构，big-table等），仅从逻辑结构上面讲，无论是大搜索还是垂直搜索，大家采用的基本技术，基本构架都是完全一样的。
通用的搜索系统（本构架仅包含主要部分）：
查询短语及条件
合并服务器文档系统
检索服务器检索服务器
索引系统
传统模式的实时系统（delta模式）：
查询短语及条件
合并服务器
搜索系统A搜索系统B
同步
全量数据
最近几分钟数据

1.5功能性
大家经常为了解决一个问题，在google上面搜寻好几天，给N多的邮件组发求教邮件。但你在买东西的时候，不会去搜索好几天，如果找不到，你会换一家去找。毕竟无论是淘宝、拍拍还是京东、当当亦或是苏宁、国美、联想都是不错的选择。
大搜索提供的功能一般是短语搜索，外加一点简单的布尔搜索（如javaORc++ANDc#）。在大搜索的高级功能里面，还会提供简单的过滤功能，如按照时间、数据类型、域等等。因为大搜索提供的功能太少，故人们经常会找不到想要的东西，如何搜索信息是一门很深的学问（小白用户能有10%的几率找到自己想要的东西就不错了！），君不见铺天盖地的都是教你如何查询信息的文章么？
电子商务搜索需要提供更加精确、更加舒适的服务。这类搜索努力的让用户在1次搜索+几次鼠标点击后，就能找到最适合的商品，并且下单付款。专业点说，就是缩短用户付款路径。无论是热门类目（即根据用户行为来判断词语和类目的亲和度），还是价格区间推荐（根据用户行为来划分同类商品），都是为这个目标服务。
2电子商务搜索技术2.1排序
排序分为很多种，典型的包括：综合分排序、销量排序、价格排序、信用排序、时间排序、人气排序等。其中，综合分的计算是一个很复杂的公式（类似大搜索的分数），包括几十个变量，如信用、销量、好评率、时间等。其他排序都是一个单维度排序。
对于国内用户来说，他们比较喜欢在买东西前和店主聊聊，故排序的时候，默认还会把在线的卖家排前。
大部分用户（60%）还是喜欢搜索引擎默认的排序，另外一部分更加成熟的用户（20%）会使用价格排序和信用排序。

2.2过滤
过滤技术和大搜索的过滤技术一样，都是把不满足要求的数据从结果里面剔除掉，只是电子商务搜索的过滤逻辑更加复杂一些。
2.3类目聚类、属性聚类
每个商品归属于一个分类，分类是一棵树状结构。在搜索的时候，把同类商品聚合起来，方便用户选择过滤。属性和分类逻辑上一样。
大搜索并没有提供聚类功能。
2.4类目优先

举例来说，用户在搜索“篮球”时，他希望买篮球，而不是篮球鞋，篮球框。独立理解用户意图很难，作为一种变通，我们采取群体智慧的策略。类目优先是通过分析大量用户行为，来确定短语和各个类目（分类）之间的关联度，接着在返回结果的时候，把关联度高的类目商品往前排。
2.5价格区间推荐
我们一直在谈论理解用户意图，但我们都知道理解用户意图很难很难，所以我们做的一切都是想用简单的策略来猜测用户意图。
和现实中一样，网上的商品也会因为适合人群不同而价格不同。价格区间推荐的主要目的就是想将商品划分成低端、中端和高端这3种类型，方便不同的用户进行选择。价格区间推荐的另外一个目标是过滤配件。这是因为配件比主件便宜，它一般会被划分在低端的价格段内。用户可以方便选择是想买配件还是主件。
2.6推荐搜索
推荐搜索有2个目的：帮用户选择短语以及修正用户的错误输入。推荐搜索不会苛刻要求用户，容忍用户有少量错误。

2.7图片打散
时尚人士在挑选服装的时候，主要关注的是样式，她们可不希望看到满页都是同一个流行款式。图片打散应运而生，它把看起来差不多的款式进行打散，避免搜索结果里面出现同一个款式。
3电子商务搜索发展方向
随着零售业巨头和各大生产厂商进入电子商务市场，这个领域的未来变得难以预测。最
【2】
近的报告显示，沃尔玛在美国已经开始慢慢超越曾经的老大亚马逊。而亚马逊则是在几年前才超过了当时的老大ebay。就国内来说，亚马逊糟糕的域名和极低的知名度（就算收购了卓越也一样）导致它目前处在一个很尴尬的地位。沃尔玛也会和亚马逊一样在中国陷入泥潭，因为它的实体店没有特别广泛的分布在各个城市，并且域名又很不好拼写，不符合国人习惯。（域名的重要性路人皆知，比如凡客，奇怪的域名使得很多用户不得不去百度检索它的网址，部分有心人士还通过百度广告胁持它的网址）。
【】【】
在搜索方面，大搜索引擎当前的趋势仍然是内容理解311。今年Google收购了拥有领先图片分析技术的like.com。Google已经从页面中提取了文章发表时间以及页面的图片快照等信息展示在搜索结果中。Bing很早就整合了powerset的语义理解技术，号称基于理解的搜索。Yahoo则是选择和bing合作，放弃自己的搜索核心技术（搞笑的是yahoo日本却和
【】
google合作）。电子商务搜索领域早就进化到理解图片的地步，包括基于图片的商品搜索10【11】【24】
和基于图片特征的商品聚类/打散。
3.1容错性
随着电子商务深入大家的日常生活，