吾知网

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 7847|回复: 0
打印 上一主题 下一主题

Python爬虫-正则

[复制链接]
跳转到指定楼层
楼主
发表于 2019-1-24 15:14:14 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
前言
想说正则的知识点并不多,需要思考地方却不少。python里提取数据的方式很多,但私以为掌握那些中的某一个的同时,一定要兼顾正则。主观推崇原因有二,一:re是python的基本库,不需要额外安装且解析速度快;二:正则能做到xpatn、BeautifulSoup、PyQuery可以做到的;正则还是能做到它们做不到的。

使用
import re
match,正则中最基本的函数,用法:
result = re.match(pattern, 需要区配的字符串)
result.group()取出被区配到的部分
演示语法的时候,基本会用match函数演示。match区配的过程是:从左到右区配,直到出现不满足规则的时候停止
语法
表示字符
字符        功能
.        区配任意一个字符(除\n)
[]        区配[]中列举的字符
\d        区配数字,0-9
\D        区配非数字
\s        区配空白,(包含空格和Tab键)(\t \n 空格)
\S        区配非空白
\w        区配单词字符,a-z,A-Z,0-9,_
\W        区配非单词字符
1. 点表示任意字符,所以返回h


中括号是列举的意思,表示只要满足其中任意一个就行


\d表示数字,等价于[0-9]

\s表示制表符,空格,换行;这里用"""包裹的字符串来演示,因为"""里,字符串可以保存样式,即可以包含换行的内容,所以最后返回换行符

\w的使用基本上可以举一反三了,包括其大写字符的实现效果。规则很好记忆:d是digit,s是space,w是word
表示个数
字符        功能
*        限定前一个字符出现0次或n次
+        限定前一个字符出现1次或者n次
?        限定前一个字符出现0次或1次
{m}        限定前一个字符出现m次
{m,}        限定前一个字符至少出现m次
{m,n}        限定前一个字符出现m到n次
1. 前面表示字符,这里是表示个数,在没有明确说明个数的情况下默认一个;其次,表示个数的符号总是修饰它左边的字符
2. *表示被修饰字符出现0次或n次,所以一直到逗号出现,不满足规则了停止,返回区配到的内容,即为hello


表示边界
字符        功能
^        表示字符串开头
$        表示字符串结尾
\b        表示单词的边界
\B        表示非单词边界
1. 需要说名的是^是放在被修饰符的左边,而$放在被修饰符的右边;且如果^在中括号中出现,表示取反的意思
2. 这个规则得分五个部分理解:^\d*表示以数字开头,并且之后可以有0或n个数字;@就表示区配@;中间的\w*表示允许0个或n个单词赐福;.表示任意字符,这里区配邮箱号中的点;\w*$表示存在多个单词字符,并且以单词字符结尾

3. $应该慎用,因为你极可能因此拿不到返回。它指定的是被区配的字符串的末尾,这样说很难理解,看看下面几个示例

我原意是区配邮箱前面的数字,然后区配@符,\w*表示任意个数的单词字符,并且以此结尾。所以根据这个逻辑,料想应该会返回578306307@qq,毕竟小圆点出现后就不再满足要求。然而事实是——没有返回值。这是因为使用$应该以被区配的字符串的结尾作为标准,在这个标准满足之前,中间不能出现任何区配失败,不然返回空
我吉岛吉岛啦,这样长串的句子拗口也难理解,所以上图吧。

【72】可以返回完整的邮箱,为什么【73】失败呢?因为在【73】中标志了要单词字符结尾,然而被区配的字符串在单词字符结尾之前(也就是m出现之前),还有两个字符co没有区配,所以返回空,如果我们删除co,就会有结果了
【74】没结果【75】有结果也是同样的道理,好好对比理解吧!
4. b是border边界的意思。
放在最右侧时,饰其左边的单词字符,表示什么字母结尾的单词

如果放在最左边,修饰右边的单词字符,表示什么字母开头的单词


区配分组
字符        功能
|        “或”,表示符合左右任意一个都可以
(ab)        将括号中字符作为一个分组
\num        引用分组num区配到的字符串
(?P<name>)        分组起别名
(?P=name)        引用别名为name分组区配到的字符串
1. |即“或”运算
2. 用括号表示分组,方便取出;这样一来,我们可以拿出我们想要的部分了

3. \num的使用如下,即从左到右,每个分组依次默认为123……,在后面需要引用的时候就用\num来代替

3. 如果分组太多,一个一个的数会很麻烦,所以正则引进了分组别名的方法,并可以通过指定的语法实现引用


也可以通过别名直接取出分组部分


re的高级用法
search:与match不同,match是从左到右,必须挨个符合;而search表示只要被区配的字符串中有符合的就返回,但是,只返回第一次满足要求的内容。如下示例,返回qq而不返回com


findall():返回被区配字符串中所有的符合要求的内容,返回列表型


sub():将区配到的内容,按照指定的方式替换(批量处理)


也可以通过自定义函数处理。默认需要传参,此时传进来的参数是个对象,需要group()取出区配到的内容,然后做需要的处理,并且return返回


贪婪与非贪婪
python中的正则,默认贪婪模式。表示在区配过程中,会尽可能多的去区配内容。如果需要关闭贪婪模式,加上一个?符号


注意项
这些特殊字符,需要反斜杠转义\ . ^ $ ? + * {} [] () |
在正则里面,存在两种转义,一种是字符串转义,一种姑且称之为“正则转义”吧(我也不知道术语怎么说)
还是上图(一言不合就上图)

如果我们需要打印\n就必须再加一个反斜杠转义,这是大家都知道的,那么使用正则区配的时候是不是只要两个反斜杠就可以了呢?

答案否,如上所说,正则中要进行两次转义。所以修改一下规则就可以成功区配

起初是前面两个反斜杠转义成一个反斜杠,后面两个反斜杠转义成一个反斜杠,此时会有两个反斜杠,再次转义成一个。所以有了上图的结果
建议字符串和正则规则都加上r,减少考虑字符串转义的麻烦
---------------------
作者:有关心情
来源:CSDN
原文:https://blog.csdn.net/qq_41359051/article/details/80711697
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|吾知网 ( 粤ICP备13013563号-1 )

GMT+8, 2024-12-26 22:10 , Processed in 1.062500 second(s), 8 queries , Memcache On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表