c语言是爬虫,c语言是爬虫吗-成都蓉杠电子技术开发公司

大家好，今天小编关注到一个比较有意思的话题，就是关于c语言是爬虫的问题，于是小编就整理了2个相关介绍c语言是爬虫的解答，让我们一起看看吧。

如何用C语言做出搜索引擎？
python做爬虫合适吗？

如何用C语言做出搜索 引擎？

在当前环境下这个操作不推荐，并不是说C语言无法写搜索引擎，而是C语言的优势不在这里。作为大多数流行的现代语言鼻祖xC语言在运行效率方面的确具有较大优势，但是，其标准库支持的功能主要在一些基础的功能上。相比之下，python、java这些现代语言则拥有大量丰富的第三方库，在程序设计中有一条箴言叫做不要重复造轮子，既然已经有前人提供的库（也就是轮子），自己再从头再来的话效率与可靠性方面都会下降。因此，从效率角度来讲，***用Python等语言设计搜索引擎可能更快更容易实现。

回到问题上，有一个（应该是）日本作者写的《自制搜索引擎》，可以解决制作搜索引擎技术线路的问题

div>

（图片来源网络，侵删）

个人觉得完全用C语言去做一个搜索引擎，是能办到，但是成本会很高。首先我们来看一个通用的搜索引擎需要哪些模块。

一. 网络爬虫

要用C语言去做一个爬虫系统，成本会非常高，很多东西都需要自己实现。而爬虫系统，个人觉得Python的Scrapy框架是一个很好的选择，从网页爬取到数据存入数据库有一条完整的链路。爬虫系统对性能的要求不高，Python完全可以胜任。

（图片来源网络，侵删）

二. 倒排索引

倒排索引主要包括索引建立和索引更新。索引的数据结构以及一些算法，用C语言完全可以的，在线索引实时更新通过C语言实现效率也能高一些。

三. 检索模型

（图片来源网络，侵删）

如果只需要做一个简单的检索系统，直接BM25算法就可以了。如果系统比较复杂，考虑到线上效果，那么需要结合机器学习模型或深度学习模型，考虑到检索相关性，有很多复杂的设计。不过在线部分完全可以通过C语言实现。

一般来说，做一个搜索引擎需要根据不同的模块情况而选择不同的语言实现，充分发挥各种语言的优势即可。

如果说做一个完整的搜索引擎的话那么需要几种语言的结合，比如说前端的交互后端的数据处理和爬虫，只用C的话很难实现，做后台数据处理比较合适，如果说怎么做的话不太好说，涉及到的东西比较多，比如说第一步爬数据然后存储处理（分类提取关键字）等等，步骤很多的。

python做爬虫合适吗？

当然适合。

做Windows 应用，只是增加一个GUI，以一个更漂亮的姿态出现。Python有很多GUI开发包，Python自带是tkinter，简单易学，当然一切要手工输入代码。还有PyQt，从C++移植过来的图形界面开发包。它的优势是有一个图形开发工具QtDesigner，同时与Eric相结合，进行项目管理，大大提高开发效率。