What Multiplex IO in Python 3

I was motivated to see the code of Shadowsocks when I heard the news that the Shadowsocks has be filtered by the GFW. When I saw the source code I found the select package in the server of the Shadowsocks. It seems to be designed to implement the multiuser server to hold many connection in a server side. So I decided to explore the no-blocking connection and the model of the select

Continue reading “What Multiplex IO in Python 3”

在U盘上安装优麒麟

Ubuntu是世界知名的linux发行版,它具有简单、方便、社区支持广泛等多种优点,受到大部分用户的喜爱,在linux发行版中拥有相当重要的地位。Ubuntu的衍生版本优麒麟是由中国本地开发者参与开发的为中国用户量身定制的本地化版本,它在继承了Ubuntu的优秀特性之后,更针对中国用户的使用习惯和环境量身定制,极大地提升了中文用户的Ubuntu的用户体验。作为想尝鲜Ubuntu却没有技术能力在电脑上安装双系统的人来说,在U盘上安装优麒麟似乎是一个非常好的选择,本文接下来就会介绍如何在Windows10上为U盘安装优麒麟系统

Continue reading “在U盘上安装优麒麟”

Firebot:一个分布式的网络爬虫系统

最近,我正在设计编写一个分布式网络爬虫系统Firebot,这是我作为学生的第一个实验项目,想要通过练习编写这个爬虫来锻炼自己的编程能力。

目前,Firebot的主要特性有:

  • 多节点协同抓取网页(采用HASH环)。
  • 能够自动(或者手动)调节网站的抓取频率,减轻对抓取网站的负担。
  • 自动辨别出网页中的链接并添加到数据处理队列中。
  • 与Python协同作用设置filter。
  • 自动分发配置(需要预先提供数据库配置)。