LCQ博客

# Docker容器打包 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。因此可以使用Docker镜像产生一个“干净”的python环境，从而顺利打包我们的python代码！ # PyInstaller Docker 镜像 ```bash docker sear

- 阅读全文 -

# 前言 上篇我们了解了爬虫的基本知识，这次我们来学习下，如何用Python模拟浏览器访问网站和登录。 # 正文 Python如此方便，正是因为它提供了很多实现好各种功能的库，它内置了许多非常有用的模块，无需额外安装和配置，即可直接使用。 同时也有很多第三方模块，我们只需要用好各种工具库和模块，就能实现很多方便的操作，用程序来代替繁琐的功能。 这次我们来学习`urllib`和

- 阅读全文 -

上篇讲到以json形式发送post请求。 此次为 post请求返回对象对json 时的处理办法 ```python #请求 response = requests.post(url, data=json.dumps(pyload),headers=headers).text ``` 返回对象以python表示 ```python content=json.loads(res

- 阅读全文 -

# 一般比较小型的爬虫需求， 我是直接使用`requests库 + bs4`就解决了，再麻烦点就使用`selenium`解决js的异步 加载问题。相对比较大型的需求才使用框架，主要是便于管理以及扩展等。 # 工具编辑器： PyCharm ：一款很好用的python专用编辑器，可以编译和运行，支持windows # python采集用到的库： - requests：用来获取网

- 阅读全文 -

Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的 Python 应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 # Scrapy 模块安装依赖于 twisted 模块 `科普:` 在命令提示符窗口键入以下命令, 可查看已安装模块和版本信息: ```bash pip3 list `` 接下来我们看看这些工具如何安装 ? 已经安装成功的模块可

- 阅读全文 -