爬虫 – sakura's blog

爬虫初探（六）——批量删除微博

2017年4月28日 by admin·0评论

0x01 初步接触动态数据抓取

在开始学爬虫的时候会接触到一些使用普通的抓取方式获取不到的信息

比如京东的任意商品的价格

例如我们想抓取到白夜行这本书的价格

代码如下：

#coding:utf-8
import requests
from lxml import etree
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

header={
'Host': 'item.jd.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Accept-Encoding': 'gzip, deflate, br',
}
html=requests.get("https://item.jd.com/11153952.html",headers=header)
selector=etree.HTML(html.text)

#获取价格数据的xpath写法
price=selector.xpath('//strong[@id="jd-price"]/text()')
print price

#coding:utf-8

import requests

from lxml import etree

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

header={

'Host': 'item.jd.com',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0',

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',

'Accept-Encoding': 'gzip, deflate, br',

}

html=requests.get("https://item.jd.com/11153952.html",headers=header)

selector=etree.HTML(html.text)

#获取价格数据的xpath写法

price=selector.xpath('//strong[@id="jd-price"]/text()')

print price

运行后会发现抓取到的数据为空

[][Finished in 0.5s]

1 2	[][Finished in 0.5s]

查看源代码的时候会发现源代码中并不存在

所以可以得知我们需要抓取的数据是动态数据

0x02 selenium和phantomjs配合的简单用法

抓取动态数据的方法有多种，使用selenium模拟浏览器进行动态抓取是其中的一种方法，具体的安装与使用请看这里

===> selenium的安装以及使用

接下来是安装phantomjs，phantomjs下载地址安装的教程也可以百度的到，就不贴出来了

因为使用selenuim进行模拟抓取的时候，会打开浏览器，显得很不方便，所以就使用phantomjs这个“无头浏览器”来模拟页面数据的抓取。

Phantomjs的相关介绍如下：

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速，原生支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。 PhantomJS 可以用于页面自动化，网络监测，网页截屏，以及无界面测试等。

掌握了selenuim的基本用法之后，就可以开始写代码了

#coding:utf-8
from selenium import webdriver
import time
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 "
)

driver = webdriver.PhantomJS(desired_capabilities=dcap)
driver.get("https://item.jd.com/11153952.html")
time.sleep(2)

#获取页面的价格数据
price=driver.find_element_by_xpath('//strong[@id="jd-price"]').text
print price
driver.close()

#coding:utf-8

from selenium import webdriver

import time

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

dcap = dict(DesiredCapabilities.PHANTOMJS)

dcap["phantomjs.page.settings.userAgent"] = (

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 "

)

driver = webdriver.PhantomJS(desired_capabilities=dcap)

driver.get("https://item.jd.com/11153952.html")

time.sleep(2)

#获取页面的价格数据

price=driver.find_element_by_xpath('//strong[@id="jd-price"]').text

print price

driver.close()

哟呵，大功告成啦~

0x03 批量删除微博

值得一提的是，一开始我是用Phantomjs模拟登陆微博的时候发现使用

find_element_by_xpath("xxxx").click()

1 2	find_element_by_xpath("xxxx").click()

使用xpath匹配的方法，有的时候会出现无法点击a标签或者是div标签的情况，为了避免这种情况发生可以通过css选择器选定id属性，然后执行点击动作。为了解决上面的问题，需要在python脚本里执行自己写入的js语句即可，给没有id的标签添加上id属性，通过css选择器选择即可点击。

代码如下

js = 'var box1=document.getElementsByClassName("cur W_fb")[0];box1.id="mybox";'
driver.execute_script(js) #运行上面的js脚本

js = 'var box1=document.getElementsByClassName("cur W_fb")[0];box1.id="mybox";'

driver.execute_script(js) #运行上面的js脚本

一切准备工作都做好了接下来可以开始写脚本运行啦

#coding:utf-8
from selenium import webdriver
import time
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 "
)

driver = webdriver.PhantomJS(desired_capabilities=dcap)
driver.get("http://weibo.com/")
print '程序正在运行，请稍后'.decode('utf-8').encode('gbk')
time.sleep(5)
driver.maximize_window()
time.sleep(3)

#模拟登陆
try:
    print '正在登陆……'.decode('utf-8').encode('gbk')
    js = 'var box1=document.getElementsByClassName("cur W_fb")[0];box1.id="mybox";'
    driver.execute_script(js)
    logsub=driver.find_element_by_id('mybox').click()
    username=driver.find_element_by_xpath('//div[@class="info_list username"]/div/input').send_keys('你的用户名')
    password=driver.find_element_by_xpath('//div[@class="info_list password"]/div/input').send_keys('你的密码')
    sub=driver.find_element_by_xpath('//div[@class="info_list login_btn"]/a/span').click()
    print '登录成功'.decode('utf-8').encode('gbk')
    time.sleep(2)
except:
    print '登录失败'.decode('utf-8').encode('gbk')
    driver.close()

#模拟批量删除
try:
    weinote=driver.find_element_by_xpath('/html/body/div[1]/div/div[2]/div[3]/div[2]/div[2]/div[2]/div/div/div[2]/ul/li[3]/a/strong').click()
    global page
    page = 100
    print '开始批量清除微博'.decode('utf-8').encode('gbk')
except:
    print '批量删除微博失败'.decode('utf-8').encode('gbk')
    driver.close()

def delweibo():
    time.sleep(3)
    weicon=driver.find_elements_by_xpath('//div[@id="Pl_Official_MyProfileFeed__21"]/div/div[@class="WB_cardwrap WB_feed_type S_bg2 "]')
    count=0
    manweibo=len(weicon)
    print '当前页面微博数量为：'.decode('utf-8').encode('gbk')+str(manweibo)
    if(manweibo==0):
        global page
        page=0
        return page;

    for subweicon in weicon:
        count=count+1
        sub1=subweicon.find_element_by_xpath('div/div/div/a').click()
        time.sleep(1)
        del1=subweicon.find_element_by_xpath('div/div/div/div[1]/ul/li[1]/a').click()
        yes1=subweicon.find_element_by_xpath('div/div/div/div[2]/div/p[2]/a[1]').click()
        print '已经删除一条微博'.decode('utf-8').encode('gbk')
        time.sleep(2)
        if(count==manweibo):
            print '下一页'.decode('utf-8').encode('gbk')
            return delweibo()

def main():
    delweibo()

if __name__=="__main__":
    main()
if(page==0):
    print '微博内容已经清空'.decode('utf-8').encode('gbk')
time.sleep(1)
driver.close()

#coding:utf-8

from selenium import webdriver

import time

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

dcap = dict(DesiredCapabilities.PHANTOMJS)

dcap["phantomjs.page.settings.userAgent"] = (

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 "

)

driver = webdriver.PhantomJS(desired_capabilities=dcap)

driver.get("http://weibo.com/")

print '程序正在运行，请稍后'.decode('utf-8').encode('gbk')

time.sleep(5)

driver.maximize_window()

time.sleep(3)

#模拟登陆

try:

print '正在登陆……'.decode('utf-8').encode('gbk')

js = 'var box1=document.getElementsByClassName("cur W_fb")[0];box1.id="mybox";'

driver.execute_script(js)

logsub=driver.find_element_by_id('mybox').click()

username=driver.find_element_by_xpath('//div[@class="info_list username"]/div/input').send_keys('你的用户名')

password=driver.find_element_by_xpath('//div[@class="info_list password"]/div/input').send_keys('你的密码')

sub=driver.find_element_by_xpath('//div[@class="info_list login_btn"]/a/span').click()

print '登录成功'.decode('utf-8').encode('gbk')

time.sleep(2)

except:

print '登录失败'.decode('utf-8').encode('gbk')

driver.close()

#模拟批量删除

try:

weinote=driver.find_element_by_xpath('/html/body/div[1]/div/div[2]/div[3]/div[2]/div[2]/div[2]/div/div/div[2]/ul/li[3]/a/strong').click()

global page

page = 100

print '开始批量清除微博'.decode('utf-8').encode('gbk')

except:

print '批量删除微博失败'.decode('utf-8').encode('gbk')

driver.close()

def delweibo():

time.sleep(3)

weicon=driver.find_elements_by_xpath('//div[@id="Pl_Official_MyProfileFeed__21"]/div/div[@class="WB_cardwrap WB_feed_type S_bg2 "]')

count=0

manweibo=len(weicon)

print '当前页面微博数量为：'.decode('utf-8').encode('gbk')+str(manweibo)

if(manweibo==0):

global page

page=0

return page;

for subweicon in weicon:

count=count+1

sub1=subweicon.find_element_by_xpath('div/div/div/a').click()

time.sleep(1)

del1=subweicon.find_element_by_xpath('div/div/div/div[1]/ul/li[1]/a').click()

yes1=subweicon.find_element_by_xpath('div/div/div/div[2]/div/p[2]/a[1]').click()

print '已经删除一条微博'.decode('utf-8').encode('gbk')

time.sleep(2)

if(count==manweibo):

print '下一页'.decode('utf-8').encode('gbk')

return delweibo()

def main():

delweibo()

if __name__=="__main__":

main()

if(page==0):

print '微博内容已经清空'.decode('utf-8').encode('gbk')

time.sleep(1)

driver.close()

运行~大功告成，慢慢删吧~

代码写的很粗糙，欢迎表哥们的指点 ↖(^ω^)↗

其实python对用户还是相对来说比较友善的，安装的时候一般只要人品不是差的没办法救了，都不会出现什么太大的问题 2333333333（像我这样人品这么差的都没出现啥问题）
然后就是安装pip啦，这里就不做赘述了，反正pip大法好，用过的人都知道
安装pip还有一个原因就是，如果未来装错了，或者是不需要某个模块的话，可以使用 pip uninstall 模块名称进行卸载
在这里推荐一个pip安装的非常好的教程 windows下面安装Python和pip终极教程
接下来就要做一件
很伤人的事情了
对，是就是开始安装scrapy的各种各样的折腾了

0x02

我一直觉得scrapy的安装简直是我人生的一大挫折，起码来来回回重复了10遍，而且前9次装上了都是不可以用的 T_T
实不相瞒，真是痛苦
摸索很久之后终于找到了一个一次就可以安装成功的绝佳方法

首先去官网下载一个VCForPython27.msi
这个是链接点我点我！

先安装wheel,直接在cmd里面运行
pip install wheel

再安装lxml
这绝对是一个比较好的模块，也是安装scrapy之前必须安装的模块，xpath学好之后会发现人生不需要使用正则表达式是一件多么幸福的事 (╭￣3￣)╭♡
在此我是绝对不推荐表哥们使用pip命令安装的，因为接下来你可以看到一系列让你崩溃的报错
不要问我是怎么知道的！(╯‵□′)╯︵┻━┻
去网站下载.whl文件
这里是链接，如果不翻墙的话，也许会很卡~ 点我点我！没错就是我！
记得要找对应版本的文件
我这里下载的是 lxml-3.7.3-cp27-cp27m-win_amd64.whl 因为我装的是64位的python，2.7版本的
下载好之后，将文件放在某一个盘里
我放在了G:/py/里面
在cmd中运行
pip install G:/py/lxml-3.7.3-cp27-cp27m-win_amd64.whl/
安装成功啦！！！！

接下来就是最最最最心酸的一步，其实话说回来，如果前面装的方式都是正确的话，这一步就显得极其简单了
直接运行cmd
pip install scrapy
安装成功！

你以为这就结束了？？
天真！
scrapy怎么会这样轻易的放过你？？

最后一步是安装win32api运行文件的时候会用得上
好啦，直接去官网下载一个对应版本的就阔以了~
点我点我233333
然后双击打开，安装，一气呵成~ ʅ（´◔౪◔）ʃ 不会报错就是神清气爽
接着修改一下环境变量
添加如下的一句话
E:\Sakura\python27\Lib\site-packages;

至此，斗智斗勇结束啦~

0x03

其实我原本是不打算写这一段的，但是还是要感叹一下
这就是人生啊

爬虫初探（一）——人生的第一只爬虫~

2017年3月5日 by admin·0评论

0x01

在经历scrapy怎么也装不上，后来装上也不能用，以及继续在比赛和挖洞中被各路师傅吊打之后
我真的决定要改行了！

才怪~

0x02

首先抓包，因为知乎是有防爬机制的，抓到请求包之后，直接copy到代码里

（我真的有很认真的码掉我的cookie~）
最开始写这个爬虫的时候，我是用的正则匹配，但是匹配出来的不是很对
最开始的正则表达式"Title">(.*?)</a></h2>

但是抓到的东西异常的奇怪，然后放弃了
尝试使用xpath
xpath真的是神器，用过都说好，总比想半天去写正则表达式好太多，接下来直接上代码，不废话了，我是直接写入到一个文本里的

#coding:utf-8
import requests
import re
from lxml import etree
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

header={
'Host': 'www.zhihu.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Accept-Encoding': 'gzip, deflate, br',
'Cookie': '我不会告诉你我的cookie~来打我啊~',
'Connection': 'close',
'Upgrade-Insecure-Requests': '1',
}

html=requests.get('https://www.zhihu.com/',headers=header)
selector=etree.HTML(html.text)

title=selector.xpath('//h2[@class="feed-title"]/a/text()')
f=open(r'G:\pycharm\class2\1.txt','a')

for i in title:
    f.write(i)
f.close()

#coding:utf-8

import requests

import re

from lxml import etree

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

header={

'Host': 'www.zhihu.com',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0',

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',

'Accept-Encoding': 'gzip, deflate, br',

'Cookie': '我不会告诉你我的cookie~来打我啊~',

'Connection': 'close',

'Upgrade-Insecure-Requests': '1',

}

html=requests.get('https://www.zhihu.com/',headers=header)

selector=etree.HTML(html.text)

title=selector.xpath('//h2[@class="feed-title"]/a/text()')

f=open(r'G:\pycharm\class2\1.txt','a')

for i in title:

f.write(i)

f.close()

运行之后可以直接查看文本

大概就是酱紫了

0x03

关于中间出现的问题，在使用requests.get获取页面的时候，配合使用xpath要记住转为文本格式（感谢al0ne表哥的提示）

还有关于ASCII码的问题，添加

import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

即可

虽然是个小的不行的程序，但是爬下了首页还是神清气爽

sakura's blog

to be a better person

分类：爬虫

爬虫初探（六）——批量删除微博

0x01 初步接触动态数据抓取

0x02 selenium和phantomjs配合的简单用法

0x03 批量删除微博

爬虫初探（二）——同scrapy斗智斗勇的过程

0x01

0x02

0x03

爬虫初探（一）——人生的第一只爬虫~

0x01

0x02

0x03