自动下载并保存博客 Python脚本
谢了一个自动下载指定人的博客的脚本
这个脚本是用来下载csdn博客的
同样的方法可以下载一般其他网站的博客，如sina
有时页面访问会被拒绝，重新运行即可
这种程序是在分析了指定网站，我在这儿是csdn，之后编写出的
会牵涉到网页的编码问题，有时程序运行会因此终止
我自己的博客已经下载忘了
只是下载网页
使用网页分析后可以整理出文章，那样更实用
#
#blogdownloader_csdn.py
# @Author:onezeros@yahoo.cn ||Zhijie Lee
# I didnot realize the image_download function
# but it's not very difficult,so that you can do it by yourself
#cmd usage:blogdownloader_csdn.py blogname "full directory path"
#further extension :classify the articles to
# "原创""转载" etc.according to csdn
import os
import sys
import unicodedata
import urllib.request
#globle var
username=sys.argv[1]
#username='onezeros'
#total number of pages
total_num=0
dst_urls=[]
#use data as the file name
dst_title=[]
###########################################
#function to find urls of articals
#it's neccessory to verify whether the url exits
def url_finder(url_directory,firstpage=False):
global username,total_num,dst_urls,dst_title
url_f=urllib.request.urlopen(url_directory)
print("open url "+url_directory+" successfully\n")
url_front='/'+username+'/archive/'
for line in url_f.readlines():
lin=line.decode('utf-8')
pos_front=lin.find(url_front)
if(pos_front!=-1 ):
pos_post=len('2009/12/13/4998191.aspx')+len(url_front)+pos_front
if(lin[pos_post]=='#'):
dst_urls.append('http://blog.csdn.net'+lin[pos_front:pos_post])
s=lin[pos_front+len(url_front):pos_post-len('.aspx')]
s=s.replace('/','-')
print(s)
dst_title.append(s)
if(firstpage==True):
pos=lin.find('第1页')
if(pos!=-1):
pt=lin.find('页',pos+5)
total_num=int(lin[pos+5:pt])
if(firstpage==True and total_num==0):
prin
相关文档：
Posted on 18:40:00 by 晓月 and filed under Notepad++, Python
Notepad++ 是一个开源的文本编辑器，功能强大而且使用方便。编辑和调试 Python 程序使用什么编辑器或者 IDE 不同人有不同见解。在不考虑使用调试工具的情况下，Vim 或者 Emacs 用户自然可以无视其他编辑器，不过在 Windows 环境下，使用 Notepad++ � ......
python 中的re 模块
正则表达式
就个人而言，主要用它来做一些复杂字符串分析，提取想要的信息
学习原则：够用就行，需要的时候在深入
现总结如下：
正则表达式中特殊的符号：
“.” 表任意字符
“^ ” 表string起始
“$” 表string 结束
“*” “+” & ......
前一段时间试着用这三种语言简单的写了关于文件拷贝的程序，发现c#和python的api惊人的相似，对于文件的操作这两种语言非常的方便。都没有加异常的处理
C#源代码：
public static void CopyFile(string source, string destination)
& ......
这是一个我们在处理中文时, 经常遇到的问题.
python里面基本上要考虑三种编码格式
1 源文件编码
在文件头部使用coding声明。告诉python解释器该代码文件所使用的字符集。
#/usr/bin/python
#coding: utf8
2 内部编码
代码文件中的字符串，经过decode以后，被转换为统一的unicode格式的内部数据，类似于u'*'。unic ......
