- 浏览: 274456 次
- 性别:
- 来自: 湖南岳阳
最新评论
-
ternus:
兄弟,我用boboBrowse 也遇到了排序的问题,上线了讨论 ...
lucene 分组 bobo-Browse 排序的问题 -
luli0822:
Awesome bookmarks of those guru ...
流行的jQuery信息提示插件(jQuery Tooltip Plugin) -
shenbai:
如果你要在前台运行,你应该run得是ElasticSearch ...
ElasticSearch 源码分析 环境入门 -
cl1154781231:
<s:peroperty value="#at ...
关于Struts2中标签的一些心得 -
RonQi:
转载的吗?http://blog.csdn.net/stray ...
利用bobo-browse 实现lucene的分组统计功能
bobo-browse 是一用java写的lucene扩展组件,通过它可以很方便在lucene上实现分组统计功能。
可以从 http://code.google.com/p/bobo-browse/ 上下载和查看相关文档。
下面介绍如何使用:
第一步:设置相关配置文件
bobo-browse 使用了spring,这里主要配置bobo.spring和field.xml两个文件。可以从他的源码例子中找到这两个文件,参考它做相应的修改。
bobo.spring
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd"> <bean id="color" class="com.browseengine.bobo.facets.impl.SimpleFacetHandler"> <constructor-arg value="color" /> </bean> <bean id="category" class="com.browseengine.bobo.facets.impl.SimpleFacetHandler"> <constructor-arg value="category" /> </bean> <bean id="city" class="com.browseengine.bobo.facets.impl.PathFacetHandler"> <constructor-arg value="city" /> <property name="separator" value="/" /> </bean> <bean id="makemodel" class="com.browseengine.bobo.facets.impl.PathFacetHandler"> <constructor-arg value="makemodel" /> <property name="separator" value="/" /> </bean> <bean id="year" class="com.browseengine.bobo.facets.impl.RangeFacetHandler"> <constructor-arg value="year" /> <constructor-arg value="true" /> </bean> <bean id="price" class="com.browseengine.bobo.facets.impl.RangeFacetHandler"> <constructor-arg value="price" /> <constructor-arg> <bean class="com.browseengine.bobo.facets.data.PredefinedTermListFactory"> <constructor-arg value="java.lang.Float" /> <constructor-arg value="00000000000000000000" /> </bean> </constructor-arg> <constructor-arg value="true" /> </bean> <bean id="mileage" class="com.browseengine.bobo.facets.impl.RangeFacetHandler"> <constructor-arg value="mileage" /> <constructor-arg> <bean class="com.browseengine.bobo.facets.data.PredefinedTermListFactory"> <constructor-arg value="java.lang.Integer"/> <constructor-arg value="00000000000000000000" /> </bean> </constructor-arg> <constructor-arg> <list> <value>[* TO 12500]</value> <value>[12501 TO 15000]</value> <value>[15001 TO 17500]</value> <value>[17501 TO *]</value> </list> </constructor-arg> </bean> <bean id="tags" class="com.browseengine.bobo.facets.impl.MultiValueFacetHandler"> <constructor-arg value="tags" /> </bean> <bean id="handlers" class="java.util.ArrayList"> <constructor-arg> <list> <ref bean="color" /> <ref bean="category" /> <ref bean="city" /> <ref bean="makemodel" /> <ref bean="year" /> <ref bean="price" /> <ref bean="mileage" /> <ref bean="tags" /> </list> </constructor-arg> </bean> </beans>
field.xml(前两天收到软件原作者John Wang的邮件 说field.xml不是必须的。 )
<?xml version="1.0" encoding="UTF-8"?> <field-info> <field> <name type="simple">category</name> <param name="preloadcache" value="true"/> </field> <field> <name type="path">city</name> <param name="preloadcache" value="true"/> </field> <field> <name type="simple">color</name> <param name="preloadcache" value="true"/> </field> <field> <name type="path">makemodel</name> <param name="preloadcache" value="true"/> </field> <field> <name type="range">price</name> <param name="preloadcache" value="false"/> <param name="value_type" value="float"/> <param name="format" value="00000000000000000000" /> <param name="display" value=".00"/> </field> <field> <name type="range">year</name> <param name="preloadcache" value="false"/> <param name="value_type" value="integer"/> <param name="format" value="00000000000000000000" /> </field> <field> <name type="range">mileage</name> <param name="preloadcache" value="false"/> <param name="value_type" value="integer"/> <param name="format" value="00000000000000000000" /> </field> <field> <name type="multi">tags</name> <param name="maxVal" value="15"/> <param name="preloadcache" value="true"/> </field> </field-info>
该组件提供了五种FacetHandler 来处理上面配置中的字段,字段中的一些属性设置可以参考他的api文档。
simple: (com.browseengine.bobo.facets.impl.SimpleFacetHandler ) Used when there is a discrete set of facet values, for example: color, with values: red,green,blue,white,black. Each document can have only 1 value in this field. When being indexed, this field should not be tokenized.
该字段的值只能对应一个分类或分组,并且该字段在索引是必须为非分词的。
multi: (com.browseengine.bobo.facets.impl.MultiValueFacetHandler ) Similar to simple type field, multi field allows a document to have multiple values. When being indexed, this field can be tokenized. Or alternatively, one can index multiple values in multiple document fields under the same field name.
该字段可以对应多个分类,并且字段需要分词的。
compact multi: (com.browseengine.bobo.facets.impl.CompactMultiValueFacetHandler ) Same as MultiValueFacetHandler, multiple values are allowed, the total possible values are limited to 32. However, this is more efficient than MultiValueFacetHandler and has a smaller memory footprint.
感觉应该和multi类似,我还没用过。
path: (com.browseengine.bobo.facets.impl.PathFacetHandler ) Used to denote facet values with hierarchical structure, for example: "A/B/C/D" Each document can have only 1 value in this field. When being indexed, this field should not be tokenized.
该字段我的理解是这样的,当前值属于:A(顶级分类)=>B(二级分类)=>C(三级分类)=>D(四级分类),字段必须为未分词的。
range: (com.browseengine.bobo.facets.impl.RangeFacetHandler ) Used to denote a range of facet, e.g. dates, prices etc. Each document can have only 1 value in this field. When being indexed, this field should not be tokenized. Furthermore, the values need to be formatted to ensure sorting by lexical order is the same as the value order.
范围,不用我介绍了,上面的bobo.spring里有这个例子。
参考它自带的例子 将你要进行分组的字段 设置好bobo.spring和field.xml这两个文件。
同时这两个文件要放在和索引文件的同一目录下。
第二步:搜索实现
字段配置写好之后,就可以在搜索的java文件中加上一些代码就可以得到统计结果了。
参考文档 http://code.google.com/p/bobo-browse/wiki/GettingStarted
比如我要获取color字段按多到少的10个值
// opening a lucene index Directory idx = FSDirectory.open(new File("myidx")); IndexReader reader = IndexReader.open(idx); // decorate it with a bobo index reader BoboIndexReader boboReader = BoboIndexReader.getInstance(reader); // creating a browse request BrowseRequest br=new BrowseRequest(); br.setCount(10); br.setOffset(0); // parse a query QueryParser qp = new QueryParser(fields,new StandardAnalyzer()); Query q=qp.parse(keyword); br.setQuery(q); // add the facet output specs FacetSpec colorSpec = new FacetSpec(); colorSpec.setMaxHitCount(10); colorSpec.setOrderBy(FacetSortSpec.OrderHitsDesc); br.setFacetSpec("color",colorSpec); // perform browse Browsable browser=new BoboBrowser(boboReader); BrowseResult result=browser.browse(br); int totalHits = result.getNumHits(); BrowseHit[] hits = result.getHits(); Map<String,FacetAccessible> facetMap = result.getFacetMap(); FacetAccessible colorFacets = facetMap.get("color"); List<BrowseFacet> facetVals = colorFacets.getFacets();
经本人测试,效率还不错 ,有问题欢迎与我站内联系。
效果 可以参考它上面介绍的网站 http://www.simplyhired.com/a/jobs/list/o-13201
评论
问题已解决,但是我还想了解的是如何去自定义统计方式?
Exception in thread "main" java.lang.NullPointerException
at net.paoding.analysis.analyzer.PaodingTokenizer.close(PaodingTokenizer.java:164)
at org.apache.lucene.queryParser.QueryParser.getFieldQuery(QueryParser.java:571)
at org.apache.lucene.queryParser.QueryParser.Term(QueryParser.java:1362)
at org.apache.lucene.queryParser.QueryParser.Clause(QueryParser.java:1250)
at org.apache.lucene.queryParser.QueryParser.Query(QueryParser.java:1178)
at org.apache.lucene.queryParser.QueryParser.TopLevelQuery(QueryParser.java:1167)
at org.apache.lucene.queryParser.QueryParser.parse(QueryParser.java:182)
at test.TestBoBo.main(TestBoBo.java:44)
发表评论
-
全文检索的基本原理
2010-02-25 10:22 834一、总论 根据http://lucene.apache.or ... -
lucene 分组 bobo-Browse 排序的问题
2010-02-01 16:18 2122今天碰到了一个问题,用bobo分组后对价格升序 居然100 ... -
开源搜索引擎
2010-02-01 14:31 1629开放源代码搜索引擎为 ... -
lucene中的filter器群组及其缓存大盘点
2010-01-20 23:18 1137lucene中的filter其实并不起眼,大家对其对性能的影响 ... -
lucene Field部分参数设置含义
2009-11-07 17:51 1200<script type="text/ja ... -
刚下载,开始学习lucene时看的文章
2009-09-04 18:43 1312Lucene 2.0.0下载安装及测试 【下载】 下载链接 ... -
Lucene-2.3.1 阅读学习(42)
2009-09-04 18:42 830关于Hits类。 这个Hits类 ... -
Lucene 2.3.1 阅读学习(41)
2009-09-04 18:42 1328当执行Hits htis = search(query);这一 ... -
Lucene-2.3.1 源代码阅读学习(40)
2009-09-04 18:41 881关于Lucene检索结果的排序问题。 已经知道,Lucene ... -
Lucene-2.3.1 源代码阅读学习(39)
2009-09-04 18:41 1115关于Lucene得分的计算。 在IndexSearcher类 ... -
Lucene-2.3.1 源代码阅读学习(39)
2009-09-04 18:38 516关于Lucene得分的计算。 在IndexSearcher类 ... -
Lucene-2.3.1 源代码阅读学习(38)
2009-09-04 18:38 842关于QueryParser。 QueryParser是用来解 ... -
Lucene-2.3.1 源代码阅读学习(37)
2009-09-04 18:37 580关于MultiTermQuery查询。 这里研究继承自Mul ... -
Lucene-2.3.1 源代码阅读学习(36)
2009-09-04 18:37 730关于MultiTermQuery查询。 ... -
Lucene-2.3.1 源代码阅读学习(35)
2009-09-04 18:36 767关于MultiPhraseQuery(多短语查询)。 Mul ... -
Lucene-2.3.1 源代码阅读学习(34)
2009-09-04 18:36 602关于PhraseQuery。 PhraseQuery查询是将 ... -
Lucene-2.3.1 源代码阅读学习(33)
2009-09-04 18:35 827关于范围查询RangeQuery。 ... -
Lucene-2.3.1 源代码阅读学习(32)
2009-09-04 18:35 1089关于SpanQuery(跨度搜索),它是Query的子类,但是 ... -
Lucene-2.3.1 源代码阅读学习(31)
2009-09-04 18:34 783关于前缀查询PrefixQuery(前缀查询)。 准备工作就 ... -
Lucene-2.3.1 源代码阅读学习(30)
2009-09-04 18:34 979关于Query的学习。 主要使用TermQuery和Bool ...
相关推荐
lucene的facet用bobo-browse实现的办法,可以实现淘宝分类样式
基于bobo-browse参照path统计方式实现类扩展自定义自己的实现类,可实现分类编码每4位为一个级别:如:1000000100301001 即可统计出1000、10000001、100000010030、1000000100301001,也可选择从第几级开始最多统计...
lucene-core-2.9.4,lucene-core-3.0.2,lucene-core-3.0.3,lucene-core-3.4.0
lucene-grouping-3.5.0.jar分组统计+分类统计插件 分组统计+分类统计
je-analysis-1.5.3;lucene-core-2.9.2两个jar包
一步一步跟我学习lucene是对近期做lucene索引的总结,
je-analysis-1.5.3、lucene-core-2.4.1分词组件
luke源码--查看lucene索引文件
paoding-webx3-solr-lucene
Laravel开发-laravel-lucene-search Laravel4.2软件包,用于基于Zendsearch-Lucene的雄辩模型的全文搜索。
基于java的开发源码-搜索引擎 Lucene.zip 基于java的开发源码-搜索引擎 Lucene.zip 基于java的开发源码-搜索引擎 Lucene.zip 基于java的开发源码-搜索引擎 Lucene.zip 基于java的开发源码-搜索引擎 Lucene.zip 基于...
智能提示框学习记录,很细致,适合初学者,附带工程源码,导入即可用---结合lucene全文检索,
开发自己的搜索引擎---Lucene+Heritrix(第2版)。超星导出来的,非常清晰。CSDN上传限制60MB,点击我的用户名查看part2。
开发自己的搜索引擎--Lucene+Heritrix
毕业设计论文--基于Lucene与Heritrix的搜索引擎构建,可以研究一下。
lucene-analyzers-3.3.0.jar lucene-benchmark-3.3.0.jar lucene-core-3.3.0.jar lucene-demo-3.3.0.jar lucene-grouping-3.3.0.jar lucene-highlighter-3.3.0.jar lucene-icu-3.3.0.jar lucene-instantiated-3.3.0....
lucene 通过FieldCache 实现分组统计 附完整代码
luke lucene索引数据查看器.Luke 是查询LUCENE索引文件的工具, 而且用 Luke 的Search可以做查询。
赠送jar包:lucene-analyzers-common-6.6.0.jar; 赠送原API文档:lucene-analyzers-common-6.6.0-javadoc.jar; 赠送源代码:lucene-analyzers-common-6.6.0-sources.jar; 赠送Maven依赖信息文件:lucene-...
lucene-3.0.0是lucene目前最新版本