蓉杠学习网

c语言是爬虫,c语言是爬虫吗

大家好,今天小编关注到一个比较意思的话题,就是关于c语言爬虫问题,于是小编就整理了2个相关介绍c语言是爬虫的解答,让我们一起看看吧。

  1. 如何用C语言做出搜索引擎?
  2. python做爬虫合适吗?

如何用C语言做出搜索引擎

当前环境这个操作推荐,并不是说C语言无法写搜索引擎,而是C语言的优势不在这里。作为大多数流行的现代语言鼻祖xC语言在运行效率方面的确具有较大优势,但是,其标准支持功能主要一些基础的功能上。相比之下,pythonjava这些现代语言则拥有大量丰富的第三方库,在程序设计中有一条箴言叫做不要重复造轮子,既然已经有前人提供的库(也就是轮子),自己再从头再来的话效率与可靠性方面都会下降。因此,从效率角度来讲,***用Python等语言设计搜索引擎可能更快更容易实现。

回到问题上,有一个(应该是)日本作者写的《自制搜索引擎》,可以解决制作搜索引擎技术线路的问题

c语言是爬虫,c语言是爬虫吗div>
图片来源网络,侵删)

个人觉得完全用C语言去做一个搜索引擎,是能办到,但是成本会很高。首先我们来看一个通用的搜索引擎需要哪些模块

一. 网络爬虫

要用C语言去做一个爬虫系统,成本会非常高,很多东西都需要自己实现。而爬虫系统,个人觉得Python的Scrapy框架是一个很好的选择,从网页爬取到数据存入数据库有一条完整的链路。爬虫系统对性能要求不高,Python完全可以胜任。

c语言是爬虫,c语言是爬虫吗
(图片来源网络,侵删)

二. 倒排索引

倒排索引主要包括索引建立索引更新。索引的数据结构以及一些算法,用C语言完全可以的,在线索引实时更新通过C语言实现效率也能高一些。

三. 检索模型

c语言是爬虫,c语言是爬虫吗
(图片来源网络,侵删)

如果只需要做一个简单的检索系统,直接BM25算法就可以了。如果系统比较复杂,考虑到线上效果,那么需要结合机器学习模型或深度学习模型,考虑到检索相关性,有很多复杂的设计。不过在线部分完全可以通过C语言实现。

一般来说,做一个搜索引擎需要根据不同的模块情况而选择不同的语言实现,充分发挥各种语言的优势即可。

如果说做一个完整的搜索引擎的话那么需要几种语言的结合,比如说前端交互 后端的数据处理和爬虫,只用C的话很难实现,做后台数据处理比较合适,如果说怎么做的话不太好说,涉及到的东西比较多,比如说第一步爬数据 然后存储 处理(分类 提取关键字)等等,步骤很多的。

python做爬虫合适吗?

当然适合

Windows应用,只是增加一个GUI,以一个更漂亮的姿态出现。Python有很多GUI开发包,Python自带是tkinter,简单易学,当然一切要手工输入代码。还有PyQt,从C++移植过来的图形界面开发包。它的优势是有一个图形开发工具QtDesigner,同时与Eric相结合,进行项目管理,大大提高开发效率。

QtDesigner中有很多[_a***_],只需拖至窗体中即可呈现,这与C#、VB中的可视设计是一样,而且有与C#、vb中的事件与***过程相类似的信号、槽。

PyQt比tkinter好用,功能也更强,但其中类也更复杂些,需要花点时间消化。

还有wxPython,也可以进行界面设计。

此外还有一个Python的变体ipython,这是微软社区的一个项目,把python与微软的.Net框架紧密结合。如果用过C#、VB.Net进行过开发,那可是如鱼得水。

由于Python是跨平台,因此最后你写的应用不但可以在Windows下运行,同时也可以在Linux和McOS下运行。

到此,以上就是小编对于c语言是爬虫的问题就介绍到这了,希望介绍关于c语言是爬虫的2点解答对大家有用。

[免责声明]本文来源于网络,不代表本站立场,如转载内容涉及版权等问题,请联系邮箱:83115484@qq.com,我们会予以删除相关文章,保证您的权利。 转载请注明出处:http://www.rongung.com/post/20442.html

分享:
扫描分享到社交APP