0°

Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况

内容预览:
  • 爬取动态内容 因为动态页面的内容是动态加载出来的,所以我们需要不断下...~
  • 并且存到了同级目录中 生成词云 生成词云需要用到的库: wordcloud, 生...~
  • #coding:utf-8"""使用结巴分词生成云图 说明这里 1.生成词云一定要设置...~

原文始发于微信公众号(Python绿色通道):Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况

今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说,并把这些内容存在txt中,然后读取出来生成云图,这样可以清晰的看出朋友的状况。


这是好友的QQ空间10年说说内容,基本有一个大致的印象了。

Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况



爬取动态内容


  1. 因为动态页面的内容是动态加载出来的,所以我们需要不断下滑,加载页面

  2. 切换到当前内容的frame中,也有可能不是frame,这里需要查看具体情况

  3. 获取页面源数据,然后放入xpath中,然后读取

  # 下拉滚动条,使浏览器加载出动态加载的内容,
       # 我这里是从1开始到6结束 分5 次加载完每页数据
       for i in range(1,6):
           height = 20000*i#每次滑动20000像素
           strWord = "window.scrollBy(0,"+str(height)+")"
           driver.execute_script(strWord)
           time.sleep(4)

       # 很多时候网页由多个<frame>或<iframe>组成,webdriver默认定位的是最外层的frame,
       # 所以这里需要选中一下说说所在的frame,否则找不到下面需要的网页元素
       driver.switch_to.frame("app_canvas_frame")
       selector = etree.HTML(driver.page_source)
       divs = selector.xpath('//*[@id="msgList"]/li/div[3]')

所有的注释都在代码中,所以也就不作详情说明,

昨天的模拟登录大家都应该掌握了,没有掌握的自己再去复习一下

.Python爬虫:学习Selenium并使用Selenium模拟登录知乎


爬取说说的完整代码


#coding:utf-8

import time
from selenium import webdriver
from lxml import etree

#这里一定要设置编码格式,防止后面写入文件时报错
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

friend = 'XXX' # 朋友的QQ号,朋友的空间要求允许你能访问
user = 'XXX'  # 你的QQ号
pw = 'XXXX'  # 你的QQ密码

#获取浏览器驱动
driver = webdriver.Firefox()

# 浏览器窗口最大化
driver.maximize_window()

# 浏览器地址定向为qq登陆页面
driver.get("http://i.qq.com")

# 所以这里需要选中一下frame,否则找不到下面需要的网页元素
driver.switch_to.frame("login_frame")

# 自动点击账号登陆方式
driver.find_element_by_id("switcher_plogin").click()

# 账号输入框输入已知qq账号
driver.find_element_by_id("u").send_keys(user)

# 密码框输入已知密码
driver.find_element_by_id("p").send_keys(pw)

# 自动点击登陆按钮
driver.find_element_by_id("login_button").click()

# 让webdriver操纵当前页
driver.switch_to.default_content()

# 跳到说说的url, friend你可以任意改成你想访问的空间
driver.get("http://user.qzone.qq.com/" + friend + "/311")

next_num = 0  # 初始“下一页”的id
while True:

       # 下拉滚动条,使浏览器加载出动态加载的内容,
       # 我这里是从1开始到6结束 分5 次加载完每页数据
       for i in range(1,6):
           height = 20000*i#每次滑动20000像素
           strWord = "window.scrollBy(0,"+str(height)+")"
           driver.execute_script(strWord)
           time.sleep(4)

       # 很多时候网页由多个<frame>或<iframe>组成,webdriver默认定位的是最外层的frame,
       # 所以这里需要选中一下说说所在的frame,否则找不到下面需要的网页元素
       driver.switch_to.frame("app_canvas_frame")
       selector = etree.HTML(driver.page_source)
       divs = selector.xpath('//*[@id="msgList"]/li/div[3]')

       #这里使用 a 表示内容可以连续不清空写入
       with open('qq_word.txt','a') as f:
           for div in divs:
               qq_name = div.xpath('./div[2]/a/text()')
               qq_content = div.xpath('./div[2]/pre/text()')
               qq_time = div.xpath('./div[4]/div[1]/span/a/text()')
               qq_name = qq_name[0] if len(qq_name)>0 else ''
               qq_content = qq_content[0] if len(qq_content)>0 else ''
               qq_time = qq_time[0] if len(qq_time)>0 else ''
               print qq_name,qq_time,qq_content
               f.write(qq_content+"n")

       # 当已经到了尾页,“下一页”这个按钮就没有id了,可以结束了
       if driver.page_source.find('pager_next_' + str(next_num)) == -1:
        break

       # 找到“下一页”的按钮,因为下一页的按钮是动态变化的,这里需要动态记录一下
       driver.find_element_by_id('pager_next_' + str(next_num)).click()

       # “下一页”的id
       next_num += 1

       # 因为在下一个循环里首先还要把页面下拉,所以要跳到外层的frame上
       driver.switch_to.parent_frame()

这样所有的说说内容就可以爬取到了。并且存到了同级目录中


生成词云


生成词云需要用到的库:

wordcloud, 生成词云
matplotlib, 生成词云图片
jieba ,这个库可用可不用,但我因为中文一直显示不出来,后来加上了这个库,就能显示中文了。

#coding:utf-8

"""
使用结巴分词生成云图
说明这里
1.生成词云一定要设置字体样式,否则汉字出现乱码或者不显示
2.我不知道为什么本机一直显示不了中文,后面我加了jieba分词词库就可以显示中文了

"""


from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jieba

#生成词云
def create_word_cloud(filename):
   text= open("{}.txt".format(filename)).read()
   # 结巴分词
   wordlist = jieba.cut(text, cut_all=True)
   wl = " ".join(wordlist)

   # 设置词云
   wc = WordCloud(
       # 设置背景颜色
       background_color="white",
        # 设置最大显示的词云数
      max_words=2000,
        # 这种字体都在电脑字体中,一般路径
      font_path='C:WindowsFontssimfang.ttf',
      height= 1200,
      width= 1600,
       # 设置字体最大值
      max_font_size=100,
    # 设置有多少种随机生成状态,即有多少种配色方案
      random_state=30,
   )

   myword = wc.generate(wl)  # 生成词云
   # 展示词云图
   plt.imshow(myword)
   plt.axis("off")
   plt.show()
   wc.to_file('py_book.png')  # 把词云保存下

if __name__ == '__main__':
   create_word_cloud('word_py')


另外:回复关键词:京东图书评价,获取京东图书评论内容,看看一本图书是否值得购买。



推荐阅读:

Python爬虫:把爬取到的数据插入到execl中

Python爬虫:现学现用xpath爬取豆瓣音乐

Python爬虫系列:用邮件来通知爬虫异常状况

Python爬虫学前普及


的Python之旅

Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况

长按,识别二维码,加关注



目前100000+人已关注加入我们

Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况

Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况



关注微信公众号(Python绿色通道)即可领取5T学习资料: 数据结构, 小程序, 前端, PHP, Java ,Android, Python, 大数据, 人工智能等!


公众号后台回复 红包,获取福利。


最后 :大家也可以加我个人微信:hg_liuzl,  注明:Python学习,拉你进群学习,一个纯粹的Python学习环境


和大佬一起学习网络安全知识

以上就是:Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况 的全部内容

本站部分内容来源于互联网和用户投稿,如有侵权请联系我们删除,谢谢^^
Email:[email protected]


0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论