0%

初识Flask

创建隔离环境

首先先创建虚拟环境,目的是为了避免众多库导致生产环境难以管理,这里我推荐使用pipenv创建一个全新的生产隔离环境。

阅读全文 »

  • 这次分享的是关于某代理IP网站爬取所遇到的问题

  • 这网站是用国外服务器的网站,需要科学上网才能获取到数据,这里直接上分析:

阅读全文 »

python爬虫五

  • 基本了解爬虫的工作原理后,我觉得信息的获取是非常的不容易,当你只要轻轻一点浏览器的相关网址后,大量信息瞬间出现在屏幕上,这是一件非常神奇的事情,但是实际上后台已经在处理你的请求并返回response,顺便进行了一系列的身份验证,防伪造虚假请求后在进行数据传输的,这是一个非常严谨的过程.
阅读全文 »

Mac_Os系统体验一

  • 其实最近看到网上有些人在讨论苹果系统的好处什么的,毕竟mac-oswin系统比起来还是截然不同的两种环境,mac_os包容性虽然比win差很多,但是独具风格的UI设计以及上手的操作确实远超win系统,但是问题是苹果电脑比较贵,这就已经限制了苹果的受众范围比win系统狭小的多,虽然买不起苹果电脑,但是我觉得体验一下mac_os还是能够理解的.

    阅读全文 »

python 爬虫四之静动态网页

  • 爬虫最重要的就是如何请求自己想要的数据,但是数据并不是凭空产生的,而且在这个数据隐私利益上升的时代,爬虫与反爬虫的斗争逐渐升级到另外一个高度,这时突破反爬虫机制成了爬虫的难点.
阅读全文 »

python爬虫之re解析库(一)

  • 这次主要解释爬虫的解析器的部分用法,解析数据确实是爬虫中的重要一环,请求数据之后,便是要找到我们想要的数据,也可以这么认为这是过滤环节,去除无用的信息,并获取自己想要的数据,其实有点类似于字符串的处理,这里主要简单说明一下re库的基本操作
阅读全文 »

Python 爬虫入门二

爬虫的基本结构

  • 对于爬虫来说,基本结构可以分解为:请求,解析,储存,然后再这三大步骤中在进行细分:调度器,储存队列优先级等对请求对象,数据库储存对象等,下面仅仅是简单的介绍应用而已.

请求器初级

  • 大家都知道,我们的日常上网行为都是在浏览器上进行的,也许有人清楚地知道网络行为,实际上我们在浏览每一个网页时候,都会向服务器进行request后,服务器就会define request,然后发送response给客户端,客户端再进行确认后,渲染到浏览器上,其中用户交互时,会不断的get,post数据data到服务器,数据再实现相应的回应请求,这样基本就实现了请求功能.
阅读全文 »

常用命令之vim编辑器

vim编辑器

  • 说到编辑器,大家想到的大部分是win系统下的文本编辑器,和著名的Notepad编辑器,而在Linux系统中,vim编辑器却大受各个厂家和公司的欢迎,主要因为它使用便捷,而且编辑模式在上手后对提高工作效率非常有帮助,最重要的是,它编辑过程还有三个模式,模式的转换使工作更加简单.
阅读全文 »

常用命令之工作目录

  • 记录一下学习Linux的一些常用命令,以下的命令主要是对文件的目录以及读写的简单操作
阅读全文 »

翻译小助手

开发需求

首先五月份的时候,正在学习爬虫的中级阶段,这时候肯定要接触到js逆向工程,于是上网找了一个项目来练练手,这时碰巧有如何进行对百度翻译的API破解思路,仿造网上的思路,我摸索着完成了基本的js逆向请求,于是又了解到了Pyqt5图形界面开发库,想着能不能开发一款应用,于是就有了这个小项目.

阅读全文 »