正在加载...

网页解析1 - 准备和思考

对于crawler, parse html 是一个必不可少的工作。现阶段有很多的开源库,python中也有自己的标准库。都是为了方便的解析html的。但是,由于我们的需求可能会变得很奇怪,比方说:对于script的东西也许也要解析。对于comment的东西可能也要分析。或者,还有其它的需求。为此,我重新造个轮子。记录一下下:1. html 由 标签,内容组成2. 标签由标签名,attr=value...

阅读全文 →


python validation

模仿了rails,写了这个东西。用来做一些常见的校验: #coding: utf-8 import re class NoOptionError(Exception): def __init__(self, options = []): self.msg = 'should be in [%s], but noting' % ', '....

阅读全文 →


Python Socket Programming

synchronization---__TCP__server: server = socket(AF_INET, SOCK_STREAM) server.bind((ip, port)) server.listen(5) new_sock, address = server.accept() new_sock.send(...) new_sock.recv(....

阅读全文 →


纠结

最近看了一下ror, 感受到了它的快速。但是不得不说,ruby很花哨,花哨得让我不知所措。可能是习惯了python的简洁吧但是python中没有一个和rails一样的东西,即使是:Django,也没有它好用纠结是不是要用python山寨一个。这个是不是相当于给自己挖了坑啊 -_-!

阅读全文 →


python 的 with statement

python2.6中有一个特殊的关键词,with...as...在2.5中的__feature__中也有先来说说他的用法,先看看一般我们如何打开并且读取一个文件的: f = None try: f = open('/etc/hosts', 'r') print f.readlines() except: raise finally:...

阅读全文 →




解决开发环境和生产环境配置文件匹配问题

做一个python的项目。需要连接数据库。数据库采用读写分离。 本地采用了一个配置来记录db信息。名字为:settings.py 到了线上,才发现原来线上的环境不一样。起码,它的db读写分离位于不同的机器。而我本地开发,只能靠不同的db在实现。于是,配置文件就得修改。这一改动就有好几处地方要改变。相当麻烦。 次日,添加一个功能,回到本地开发环境,配置文件又得修改。(配置文件都在svn上。之前的版本...

阅读全文 →