提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
转帖|其它|编辑:郝浩|2011-03-14 11:14:28.000|阅读 1030 次
概述:记得在刚找工作时,隔壁的一位同学在面试时豪言壮语曾实现过网络爬虫,当时的景仰之情犹如滔滔江水连绵不绝。后来,在做图片搜索时,需要大量的测试图片,因此萌生了从Amazon中爬取图书封面图片的想法,从网上也吸取了一些前人的经验,实现了一个简单但足够用的爬虫系统。
# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>
记得在刚找工作时,隔壁的一位同学在面试时豪言壮语曾实现过网络爬虫,当时的景仰之情犹如滔滔江水连绵不绝。后来,在做图片搜索时,需要大量的测试 图片,因此萌生了从Amazon中爬取图书封面图片的想法,从网上也吸取了一些前人的经验,实现了一个简单但足够用的爬虫系统。
网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成,其基本架构如下图所示:
传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。对于垂直搜索来说,聚焦爬虫,即有针对性地爬取特定主题网页的爬虫,更为适合。
本文爬虫程序的核心代码如下:
Java代码
1. public void crawl() throws Throwable {
2. while (continueCrawling()) {
3. CrawlerUrl url = getNextUrl(); //获取待爬取队列中的下一个URL
4. if (url != null) {
5. printCrawlInfo();
6. String content = getContent(url); //获取URL的文本信息
7.
8. //聚焦爬虫只爬取与主题内容相关的网页,这里采用正则匹配简单处理
9. if (isContentRelevant(content, this.regexpSearchPattern)) {
10. saveContent(url, content); //保存网页至本地
11.
12. //获取网页内容中的链接,并放入待爬取队列中
13. Collection urlStrings = extractUrls(content, url);
14. addUrlsToUrlQueue(url, urlStrings);
15. } else {
16. System.out.println(url + " is not relevant ignoring ...");
17. }
18.
19. //延时防止被对方屏蔽
20. Thread.sleep(this.delayBetweenUrls);
21. }
22. }
23. closeOutputStream();
24. }
整个函数由getNextUrl、getContent、isContentRelevant、extractUrls、addUrlsToUrlQueue等几个核心方法组成,下面将一一介绍。先看getNextUrl:
Java代码
1. private CrawlerUrl getNextUrl() throws Throwable {
2. CrawlerUrl nextUrl = null;
3. while ((nextUrl == null) && (!urlQueue.isEmpty())) {
4. CrawlerUrl crawlerUrl = this.urlQueue.remove();
5.
6. //doWeHavePermissionToVisit:是否有权限访问该URL,友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取
7. //isUrlAlreadyVisited:URL是否访问过,大型的搜索引擎往往采用BloomFilter进行排重,这里简单使用HashMap
8. //isDepthAcceptable:是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱(自动生成一些无效链接使爬虫陷入死循环),采用深度限制加以避免
9. if (doWeHavePermissionToVisit(crawlerUrl)
10. && (!isUrlAlreadyVisited(crawlerUrl))
11. && isDepthAcceptable(crawlerUrl)) {
12. nextUrl = crawlerUrl;
13. // System.out.println("Next url to be visited is " + nextUrl);
14. }
15. }
16. return nextUrl;
17. }
getContent内部使用apache的httpclient 4.1获取网页内容,具体代码如下:
Java代码
1. private String getContent(CrawlerUrl url) throws Throwable {
2. //HttpClient4.1的调用与之前的方式不同
3. HttpClient client = new DefaultHttpClient();
4. HttpGet httpGet = new HttpGet(url.getUrlString());
5. StringBuffer strBuf = new StringBuffer();
6. HttpResponse response = client.execute(httpGet);
7. if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {
8. HttpEntity entity = response.getEntity();
9. if (entity != null) {
10. BufferedReader reader = new BufferedReader(
11. new InputStreamReader(entity.getContent(), "UTF-8"));
12. String line = null;
13. if (entity.getContentLength() > 0) {
14. strBuf = new StringBuffer((int) entity.getContentLength());
15. while ((line = reader.readLine()) != null) {
16. strBuf.append(line);
17. }
18. }
19. }
20. if (entity != null) {
21. entity.consumeContent();
22. }
23. }
24. //将url标记为已访问
25. markUrlAsVisited(url);
26. return strBuf.toString();
27. }
对于垂直型应用来说,数据的准确性往往更为重要。聚焦型爬虫的主要特点是,只收集和主题相关的数据,这就是isContentRelevant方法的作用。这里或许要使用分类预测技术,为简单起见,采用正则匹配来代替。其主要代码如下:
Java代码
1. public static boolean isContentRelevant(String content,
2. Pattern regexpPattern) {
3. boolean retValue = false;
4. if (content != null) {
5. //是否符合正则表达式的条件
6. Matcher m = regexpPattern.matcher(content.toLowerCase());
7. retValue = m.find();
8. }
9. return retValue;
10. }
extractUrls的主要作用,是从网页中获取更多的URL,包括内部链接和外部链接,代码如下:
Java代码
1. public List extractUrls(String text, CrawlerUrl crawlerUrl) {
2. Map urlMap = new HashMap();
3. extractHttpUrls(urlMap, text);
4. extractRelativeUrls(urlMap, text, crawlerUrl);
5. return new ArrayList(urlMap.keySet());
6. }
7.
8. //处理外部链接
9. private void extractHttpUrls(Map urlMap, String text) {
10. Matcher m = httpRegexp.matcher(text);
11. while (m.find()) {
12. String url = m.group();
13. String[] terms = url.split("a href=\"");
14. for (String term : terms) {
15. // System.out.println("Term = " + term);
16. if (term.startsWith("http")) {
17. int index = term.indexOf("\"");
18. if (index > 0) {
19. term = term.substring(0, index);
20. }
21. urlMap.put(term, term);
22. System.out.println("Hyperlink: " + term);
23. }
24. }
25. }
26. }
27.
28. //处理内部链接
29. private void extractRelativeUrls(Map urlMap, String text,
30. CrawlerUrl crawlerUrl) {
31. Matcher m = relativeRegexp.matcher(text);
32. URL textURL = crawlerUrl.getURL();
33. String host = textURL.getHost();
34. while (m.find()) {
35. String url = m.group();
36. String[] terms = url.split("a href=\"");
37. for (String term : terms) {
38. if (term.startsWith("/")) {
39. int index = term.indexOf("\"");
40. if (index > 0) {
41. term = term.substring(0, index);
42. }
43. String s = "//" + host + term;
44. urlMap.put(s, s);
45. System.out.println("Relative url: " + s);
46. }
47. }
48. }
49.
50. }
如此,便构建了一个简单的网络爬虫程序,可以使用以下程序来测试它:
Java代码
1. public static void main(String[] args) {
2. try {
3. String url = "//www.amazon.com";
4. Queue urlQueue = new LinkedList();
5. String regexp = "java";
6. urlQueue.add(new CrawlerUrl(url, 0));
7. NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L,
8. regexp);
9. // boolean allowCrawl = crawler.areWeAllowedToVisit(url);
10. // System.out.println("Allowed to crawl: " + url + " " +
11. // allowCrawl);
12. crawler.crawl();
13. } catch (Throwable t) {
14. System.out.println(t.toString());
15. t.printStackTrace();
16. }
17. }
当然,你可以为它赋予更为高级的功能,比如多线程、更智能的聚焦、结合Lucene建立索引等等。更为复杂的情况,可以考虑使用一些开源的蜘蛛程序,比如Nutch或是Heritrix等等,就不在本文的讨论范围了。
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn
文章转载自:网络转载面对“数字中国”建设和中国制造2025战略实施的机遇期,中车信息公司紧跟时代的步伐,以“集约化、专业化、标准化、精益化、一体化、平台化”为工作目标,大力推进信息服务、工业软件等核心产品及业务的发展。在慧都3D解决方案的实施下,清软英泰建成了多模型来源的综合轻量化显示平台、实现文件不失真的百倍压缩比、针对模型中的大模型文件,在展示平台上进行流畅展示,提升工作效率,优化了使用体验。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@pclwef.cn
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢