热门 Pytyut —— 用Python与太原理工相连 时间:2022-1-7 作者:赵苦瓜 分类: 其它 热度:594° 评论:1 时间:2022-1-7 分类: 其它 热度:594 现如今Python语言非常火热,简单的语法,丰富的库还有在各种领域的广泛应用,让他变得很"神奇"。 段哥之前说,你现在看什么奇怪的东西是拿Python写的,也不要觉得奇怪。 前两天,我本来想着只是单单做一个监控考试成绩的脚本来着(就是每一段时间自动帮我查一遍成绩,如果有新成绩就会拿qq给我发消息,让我第一时间知道成绩出来了),...阅读全文>> 阅读全文»
热门 【点滴记录】爬虫基础 - Ⅲ(数据存储、Ajax请求) 时间:2021-8-10 作者:赵苦瓜 分类: 点滴记录 热度:685° 评论:0 时间:2021-8-10 分类: 点滴记录 热度:685 数据存储 用之前学过的解析器解析出数据之后,就是数据的存储了。我们可以简单地保存为文本文件,如txt文本文档,json格式的数据,或者csv逗号表达式文件,也可以保存到MySQL、mongoDB等数据库中。 TXT文本存储 爬取完成数据之后,打开文件存储即可。 def txt_save(text): file = open('test1.txt', 'a', encoding='utf-8') file.write(text) fi...阅读全文>> 阅读全文»
热门 【点滴记录】Python爬虫实战测试 - 爬取教务处的课程表 时间:2021-6-17 作者:赵苦瓜 分类: 点滴记录 热度:1722° 评论:0 时间:2021-6-17 分类: 点滴记录 热度:1722 前言: 最近在学习Python的爬虫,于是就想趁这个机会自己实战一下=w= 想到小爱同学可以通过教务系统自动获取课程表,我们学校还有其它一些公众号也可以获取, 于是我也尝试用Python把课程表爬下来。 (学校教务处还有官网都没有robots.txt文件,就当它默认让我爬了吧=w= 记录: 为了方便数据的处理还有锻炼一下之前学的知识,我是采用分析接口的方...阅读全文>> 阅读全文»
热门 【点滴记录】爬虫基础 - Ⅱ(requests库、xpath解析) 时间:2021-5-31 作者:赵苦瓜 分类: 点滴记录 热度:585° 评论:0 时间:2021-5-31 分类: 点滴记录 热度:585 上一篇主要讲述了Python自带的urllib库以及正则表达式的使用方法,戳链接:https://blog.jixiaob.cn/?post=53 ———————————————————————————————————————— 从urllib到requests urllib库是Python自带的一个库,虽然是自带的,但是里面有很多地方不太方便。为了方便诸如登录还有网页验证、Cookies等操作,我们使用一个非常好用的库——requests库。 ...阅读全文>> 阅读全文»
热门 【点滴记录】爬虫基础(urllib库、正则表达式) 时间:2021-4-18 作者:赵苦瓜 分类: 点滴记录 热度:751° 评论:0 时间:2021-4-18 分类: 点滴记录 热度:751 最近要学爬虫(web crawler)啦~这篇文章来记录我学习的知识点。 另外,我做了一个测试请求的接口方便我自己的练习,支持显示GET请求和POST请求,返回Json数据。 API地址:https://oneteam.jixiaob.cn/urltest GET请求示例:https://oneteam.jixiaob.cn/urltest?sample=喵&num=1 返回示例: {"method": "G...阅读全文>> 阅读全文»