python爬取bing搜索结果的网页url
目的:输入“剑网三”,浏览器搜索结果如图,我想要返回这个https://jx3.xoyo.com
初步完成代码:参照 python 必应搜索教程_获取bingurl地址中的参数-CSDN博客 和如何扩展关键词,以及使用python多线程爬取bing搜索结果_python爬取bing的搜索结果-CSDN博客
这两行报错我自己看着改了一下:
# data['title'] = i.find('div',class_ = 'b_title').find('h2').text
# data['url'] = i.find('div',class_ = 'b_title').find('h2').find('a')['href']
data['title'] = i.find('h2').text
data['url'] = i.find('h2').find('a')['href']
但是呢!我把代码里的cn.bing.com改成了www.bing.com,当时还没想到这一改将会耗去我一个上午的时间……
遇到问题:得到的网页url是这么个形式:https://www.bing.com/ck/a?!&&p=9596db0d4068e8c6JmltdHM9MTcyMDA1MTIwMCZpZ3VpZD0yMmE0NWRmYS1mNWU0LTY1OTgtMzkzNC00OTQ5ZjRmODY0MWImaW5zaWQ9NTQxMw&ptn=3&ver=2&hsh=3&fclid=22a45dfa-f5e4-6598-3934-4949f4f8641b&psq=%e5%89%91%e7%bd%91%e4%b8%89&u=a1aHR0cHM6Ly9qeDMueG95by5jb20vaW5kZXgv&ntb=1
查了很多资料,有的人贴出来爬完的url就是这样的,也确实没见到相近情形下、返回了我想要形式的url的截图,心里凉凉的。
最后排查了一圈下来发现是www.bing.com搞出来就会是这个样子,但是换成cn.bing.com就好了。
结果如图:完美解决~
作者:我看不懂呜呜