博客
关于我
python爬虫beautifulsoup4系列3
阅读量:470 次
发布时间:2019-03-06

本文共 1499 字,大约阅读时间需要 4 分钟。

前言

本篇手把手教大家如何爬取网站上的图片,并保存到本地电脑

 

一、目标网站

1.随便打开一个风景图的网站:http://699pic.com/sousuo-218808-13-1.html

2.用firebug定位,打开firepath里css定位目标图片

3.从下图可以看出,所有的图片都是img标签,class属性都是lazy

 

二、用find_all找出所有的标签

1.find_all(class_="lazy")获取所有的图片对象标签

2.从标签里面提出jpg的url地址和title

1 # coding:utf-8 2 from bs4 import BeautifulSoup 3 import requests 4 import os 5 r = requests.get("http://699pic.com/sousuo-218808-13-1.html") 6 fengjing = r.content 7 soup = BeautifulSoup(fengjing, "html.parser") 8 # 找出所有的标签 9 images = soup.find_all(class_="lazy")10 # print images # 返回list对象11 12 for i in images:13     jpg_rl = i["data-original"]  # 获取url地址14     title = i["title"]           # 返回title名称15     print title16     print jpg_rl17     print ""

 

三、保存图片

1.在当前脚本文件夹下创建一个jpg的子文件夹

2.导入os模块,os.getcwd()这个方法可以获取当前脚本的路径

3.用open打开写入本地电脑的文件路径,命名为:os.getcwd()+"\\jpg\\"+title+'.jpg'(命名重复的话,会被覆盖掉)

4.requests里get打开图片的url地址,content方法返回的是二进制流文件,可以直接写到本地

 

四、参考代码

from bs4 import BeautifulSoupimport requestsimport osr = requests.get("http://699pic.com/sousuo-218808-13-1.html")fengjing = r.contentsoup = BeautifulSoup(fengjing, "html.parser")# 找出所有的标签images = soup.find_all(class_="lazy")# print images # 返回list对象for i in images:    try:        jpg_rl = i["data-original"]        title = i["title"]        print(title)        print(jpg_rl)        print("")        with open(os.getcwd()+"\\jpg\\"+title+'.jpg', "wb") as f:            f.write(requests.get(jpg_rl).content)    except:        pass

 

 

对python接口自动化有兴趣的,可以加python接口自动化QQ群:226296743

也可以关注下我的个人公众号:

转载地址:http://hymbz.baihongyu.com/

你可能感兴趣的文章
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_02---大数据之Nifi工作笔记0034
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_说明操作步骤---大数据之Nifi工作笔记0028
查看>>
NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
查看>>
NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南002---大数据之Nifi工作笔记0069
查看>>
NIFI集群_内存溢出_CPU占用100%修复_GC overhead limit exceeded_NIFI: out of memory error ---大数据之Nifi工作笔记0017
查看>>
NIFI集群_队列Queue中数据无法清空_清除队列数据报错_无法删除queue_解决_集群中机器交替重启删除---大数据之Nifi工作笔记0061
查看>>
NIH发布包含10600张CT图像数据库 为AI算法测试铺路
查看>>
Nim教程【十二】
查看>>
Nim游戏
查看>>
NIO ByteBuffer实现原理
查看>>
Nio ByteBuffer组件读写指针切换原理与常用方法
查看>>
NIO Selector实现原理
查看>>
nio 中channel和buffer的基本使用
查看>>
NIO_通道之间传输数据
查看>>
NIO三大组件基础知识
查看>>
NIO与零拷贝和AIO
查看>>