本文将为您介绍为什么我们需要用爬虫获取数据，python的爬虫技术有哪些优势？
做数据分析的过程中，我们常常会觉得缺少必要的数据支持，比如数据量过少，这时候就需要从互联网上获取自己需要的数据，python的爬虫主要就是帮我们获取互联网上我们需要的数据。
python爬虫相比其他语言的优势
1）请求方法简洁
相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了非常完整的访问网页文档的API。
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests
2）网页抓取后的处理简单
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。作为一个数据分析师，掌握python爬虫技术，会让您的工作效率事半功倍哦，赶快学习吧，加油！
