解密搜索引擎技术实战

出版时间：2011-6  出版社：电子工业出版社  作者：罗刚  页数：548  
Tag标签：无  

内容概要

　　本书是猎兔搜索开发团队的软件研发和教学实践的经验汇总。
　　本书总结搜索引擎相关理论与实际解决方案，并给出了Java实现，其中利用了流行的开源项目Lucene和Solr，而且还包括原创的实现。
　　本书主要包括总体介绍部分、爬虫部分、自然语言处理部分、全文检索部分以及相关案例分析。爬虫部分介绍了网页遍历方法和如何实现增量抓取，并介绍了从网页等各种格式的文档中提取主要内容的方法。自然语言处理部分从统计机器学习的原理出发，包括了中文分词与词性标注的理论与实现以及在搜索引擎中的实用等细节，同时对文档排重、文本分类、自动聚类、句法分析树、拼写检查等自然语言处理领域的经典问题进行了深入浅出的介绍并总结了实现方法。在全文检索部分，结合Lucene
3.0介绍了搜索引擎的原理与进展。用简单的例子介绍了Lucene的最新应用方法。包括完整的搜索实现过程：从完成索引到搜索用户界面的实现。本书还进一步介绍了实现准实时搜索的方法，展示了Solr
1.4版本的用法以及实现分布式搜索服务集群的方法。最后介绍了在地理信息系统领域和户外活动搜索领域的应用。

书籍目录

第1章 搜索引擎总体结构
1.1 搜索引擎基本模块
1.2 开发环境
1.3 搜索引擎工作原理
1.3.1 网络爬虫
1.3.2 全文索引结构与Lucene实现
1.3.3 搜索用户界面
1.3.4 计算框架
1.3.5 文本挖掘
1.4 本章小结
第2章 网络爬虫的原理与应用
2.1 爬虫的基本原理
2.2 爬虫架构
2.2.1 基本架构
2.2.2 分布式爬虫架构
2.2.3 垂直爬虫架构
2.3 抓取网页
2.3.1 下载网页的基本方法
2.3.2 网页更新
2.3.3 抓取限制应对方法
2.3.4 URL地址提取
2.3.5 抓取JavaScript动态页面
2.3.6 抓取即时信息
2.3.7 抓取暗网
2.3.8 信息过滤
2.3.9 最好优先遍历
2.4 存储URL地址
2.4.1 BerkeleyDB
2.4.2 布隆过滤器
2.5 并行抓取
2.5.1 多线程爬虫
2.5.2 垂直搜索的多线程爬虫
2.5.3 异步I/O
2.6 RSS抓取
2.7 抓取FTP
2.8 下载图片
2.9 图像的OCR识别
2.9.1 图像二值化
2.9.2 切分图像
2.9.3 SVM分类
2.10 Web结构挖掘
2.10.1 存储Web图
2.10.2 PageRank算法
2.10.3 HITs算法
2.10.4 主题相关的PageRank
2.11 部署爬虫
2.12 本章小结
第3章 索引内容提取
3.1 从HTML文件中提取文本
3.1.1 字符集编码
3.1.2 识别网页的编码
3.1.3 网页编码转换为字符串编码
3.1.4 使用HTMLParser实现定向抓取
3.1.5 使用正则表达式提取数据
3.1.6 结构化信息提取
3.1.7 网页的DOM结构
3.1.8 使用NekoHTML提取信息
3.1.9 网页去噪
3.1.10 网页结构相似度计算
3.1.11 提取标题
3.1.12 提取日期
3.2 从非HTML文件中提取文本
3.2.1 提取标题的一般方法
3.2.2 PDF文件
3.2.3 Word文件
3.2.4 Rtf文件
3.2.5 Excel文件
3.2.6 PowerPoint文件
3.3 提取垂直行业信息
3.3.1 医疗行业
3.3.2 旅游行业
3.4 流媒体内容提取
3.4.1 音频流内容提取
3.4.2 视频流内容提取
3.5 存储提取内容
3.6 本章小结
第4章 中文分词原理与实现
4.1 Lucene中的中文分词
4.1.1 Lucene切分原理
4.1.2 Lucene中的Analyzer
4.1.3 自己写Analyzer
4.1.4 Lietu中文分词
4.2 查找词典算法
4.2.1 标准Trie树
4.2.2 三叉Trie树
4.3 中文分词的原理
4.4 中文分词流程与结构
4.5 形成切分词图
4.6 概率语言模型的分词方法
4.7 N元分词方法
4.8 新词发现
4.9 未登录词识别
4.10 词性标注
4.10.1 隐马尔可夫模型
4.10.2 基于转换的错误学习方法
4.11 平滑算法
4.12 机器学习的方法
4.12.1 最大熵
4.12.2 条件随机场
4.13 有限状态机
4.14 本章小结
第5章 让搜索引擎理解自然语言
5.1 停用词表
5.2 句法分析树
5.3 相似度计算
5.4 文档排重
5.4.1 语义指纹
5.4.2 SimHash
5.4.3 分布式文档排重
5.5 中文关键词提取
5.5.1 关键词提取的基本方法
5.5.2 HITS算法应用于关键词提取
5.5.3 从网页中提取关键词
5.6 相关搜索词
5.6.1 挖掘相关搜索词
5.6.2 使用多线程计算相关搜索词
5.7 信息提取
5.8 拼写检查与建议
5.8.1 模糊匹配问题
5.8.2 英文拼写检查
5.8.3 中文拼写检查
5.9 自动摘要
5.9.1 自动摘要技术
5.9.2 自动摘要的设计
5.9.3 基于篇章结构的自动摘要
5.9.4 Lucene中的动态摘要
5.10 文本分类
5.10.1 特征提取
5.10.2 中心向量法
5.10.3 朴素贝叶斯
5.10.4 支持向量机
5.10.5 多级分类
5.10.6 规则方法
5.10.7 网页分类
5.11 自动聚类
5.11.1 聚类的定义
5.11.2 K均值聚类方法
5.11.3 K均值实现
5.11.4 深入理解DBScan算法
5.11.5 使用DBScan算法聚类实例
5.12 拼音转换
5.13 概念搜索
5.14 多语言搜索
5.15 跨语言搜索
5.16 情感识别
5.16.1 确定词语的褒贬倾向
5.16.2 实现情感识别
5.16.3 用户协同过滤
5.17 本章小结
第6章 Lucene原理与应用
6.1 Lucene深入介绍
6.1.1 常用查询
6.1.2 查询语法与解析
6.1.3 查询原理
6.1.4 使用Filter筛选搜索结果
6.1.5 遍历索引库
6.1.6 索引数值列
6.2 Lucene中的压缩算法
6.2.1 变长压缩
6.2.2 PForDelta
6.2.3 前缀压缩
6.2.4 差分编码
6.2.5 设计索引库结构
6.3 创建和维护索引库
6.3.1 创建索引库
6.3.2 向索引库中添加索引文档
6.3.3 删除索引库中的索引文档
6.3.4 更新索引库中的索引文档
6.3.5 索引的合并
6.3.6 索引文件格式
6.3.7 分发索引
6.3.8 修复索引
6.4 查找索引库
6.5 读写并发控制
6.6 优化使用Lucene
6.6.1 索引优化
6.6.2 查询优化
6.6.3 实现时间加权排序
6.6.4 实现字词混合索引
6.6.5 重用Tokenizer
6.6.6 定制Tokenizer
6.7 检索模型
6.7.1 向量空间模型
6.7.2 BM25概率模型
6.7.3 统计语言模型
6.8 查询大容量索引
6.9 实时搜索
6.10 本章小结
第7章 搜索引擎用户界面
7.1 实现Lucene搜索
7.2 搜索页面设计
7.2.1 Struts2实现的搜索界面
7.2.2 翻页组件
7.3 实现搜索接口
7.3.1 编码识别
7.3.2 布尔搜索
7.3.3 指定范围搜索
7.3.4 搜索结果排序
7.3.5 搜索页面的索引缓存与更新
7.4 历史搜索词记录
7.5 实现关键词高亮显示
7.6 实现分类统计视图
7.7 实现相似文档搜索
7.8 实现AJAX搜索联想词
7.8.1 估计查询词的文档频率
7.8.2 搜索联想词总体结构
7.8.3 服务器端处理
7.8.4 浏览器端处理
7.8.5 服务器端改进
7.8.6 拼音提示
7.8.7 部署总结
7.9 集成其他功能
7.9.1 拼写检查
7.9.2 分类统计
7.9.3 相关搜索
7.9.4 再次查找
7.9.5 搜索日志
7.10 搜索日志分析
7.10.1 日志信息过滤
7.10.2 信息统计
7.10.3 挖掘日志信息
7.11 本章小结
第8章 使用Solr实现企业搜索
8.1 Solr简介
8.2 Solr基本用法
8.2.1 Solr服务器端的配置与中文支持

用户评论 (总计26条)

•   书的质量很好，拿在手里有一种厚重的感觉！买来中午翻了两章，感觉很不错。提到的技术很广很全。个人感觉有点偏理论，比如：书中提到了信息抽取的GATE等自然语言处理的知识……
•   自己毕设做的搜索引擎参考
•   送货够快，送货员服务质量高
•   这是第一次接触这个技术，感觉好新奇呢，不过再已有的基础上看起来还是很轻松的，内容写得也不错，支持哦！！！
•   内容俺没看，就不发表评论了，不过书是正版，嘿嘿
•   内容还算不错。
•   看起来好像不错的样子
•   买到现在一直爱看,很好很有用
•   同学没怎么表态，不是很差吧
•   算是以前lucene2.x的升级版本，还是不错的，对于专门研究这个的人来说有点浅，对于普通人而言，还是够了
•   罗刚的书写的很快，重点难点部分写的不是很深入，感觉像是直接粘贴的
•   书写的很好，也很实用，值得看。就是到的时候书有点脏
•   还不错，只看2章
•   挺满意的，是我想找的东西
•   昨天拿到书，正看到第四章，说一下到现在为止的感受：
  1.就像我标题写的，这本书试图面面俱到，但是每个点几乎都是浅尝辄止。而且往往是晦涩的数学化的原理加大段的代码，代码给出后也没有任何的分析解释。
  2.语言生硬甚至有时很奇怪。比如183页，在最后一个段落中，前一句话还在讲正向最大匹配对于散列的优势，后一句对“有意见分歧”这个短句的分词的例子讲的却是逆向对正向的优点，那这个“例如”究竟是例如的谁？是不是中间根本少了一句甚至一段话？
  3.这本书给人的感觉，不是一块敲门砖，而是一把门锁。我想除非一直在科研院校研究课题或者毕业之后长期从事算法研究的人，否则工作若干年之后绝大部分数学理论都已经荒废了。而看这本书的时候我恨不得把当年离散数学线性代数概率论什么的都翻出来，好看明白这个算法究竟是什么意思。其实所有的算法，都有自己的核心思想，工程人员可以不了解算法的推导过程，但应该明白算法的作用。但在这本书里我看到最多的却是对思想的数学化表达，明明一句话可以表达的意思，却一定要通过一组变量序列来表达。这样看貌似严谨，其实是把自己隔绝在了理论维度，失去了活力和应用性。
  当然不可否认，我会有这种感觉很可能跟我个人水平有限有关。诚然如果你是在写一本想面面俱到的书，就不可避免的要介绍算法，但是既然你介绍了算法就应该要介绍透彻，让人理解，否则只会适得其反。
•   最后那个旅游搜索项目，故意把大批jar文件移除，致使根本看不了。书本上许多地方重要的不注释，要么突然冒出个东西。不建议新手买，中等水平看看还行吧
•   很实用，但好象与作者的其它一本书《自己动手写搜索引擎》重复的内容多了一点，貎似不太厚道
•   这本书整体上不错 但是有些深 建议假如是初学者还是从简单的开始。
•   书要么深，要么浅，该浅的没浅，该深的又没深，这不深不浅的很纠结！
  
  毕竟作者是花了不少时间写书的，可能因为缺乏著书的经验，逻辑性还有很大提深空间！
  
  写书应该还是要细细雕琢出来的，感觉这书还是有点浮了！
•   还行吧，不过条理有些乱，不够深入
•   no follow
•   书还可以，但有些章节写得不够深入具体，看起来有些费劲。
•   全书分的章节不少，涉及的东西很多，但总感觉是泛泛而谈，不是十分满意
•   书不是想像中的那么好
•   内容很多，需要不少时间研究，还没空看
•   送贷速度很快的