用Java写爬网页的小工具
其实也不是爬网页，只是从一个XML文件取URL，然后抓取网页内容。
主要有几点，备忘：
1. 全局代理，设置之后所有的URL都使用此代理，这样可以直接调用FileUtils.copyURLToFile：
private void initProxy(String host, int port,
final String username, final String password) {
Authenticator.setDefault(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication(username,
password.toCharArray());
}
});
System.setProperty("http.proxyType", "4");
System.setProperty("http.proxyPort",
Integer.toString(port));
System.setProperty("http.proxyHost", host);
System.setProperty("http.proxySet", "true");
}
2. 设置User-Agent，有些站点禁止Java作为访问客户端，必须通过URLConnection设置User-Agent来模拟浏览器，所以不能用FileUtils.copyURLToFile，复制其源码小修改一下即可：
URLConnection httpConnection = new URL(url).openConnection();
httpConnection.setRequestProperty("User-Agent",
"Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
File dest = new File(path);
InputStream input = httpConnection.getInputStream();
try {
FileOutputStream output = FileUtils.openOutputStream(dest);
try {
IOUtils.copy(input, output);
} finally {
IOUtils.closeQuietly(output);
}
} finally {
IOUtils.closeQuietly(input);
}
3.dom4j读取超大xml文件，使用event based模式防止堆溢出错误：
reader.addHandler("/RDF/ExternalPage", new ElementHandler() {
public void onStart(ElementPath path) {
}
public void onEnd(ElementPath path) {
Element node = path.getCurrent();
// 节点相关操作
// 关键操作，从内存的节点树中剔除节点，释放内存
node.detach();
}
});
4.多线程可以用jdk1.5新加入的线程池java.util.concurrent.ThreadPoolExecutor，方便实用。稍微要注意的就是在添加完所有任务后记得执行一下ThreadPoolExecutor.shutdown()。
相关文档：
设置 win xp/win 7 的黑莓Java的开发环境的步骤如下：
1. BlackBerry应用开发基于Java，首先需要JDK （6.0以上的版本）
下载最新JDK
下载完后双击安装即可。
2. 下载BlackBerry SDK，这里有两种选择： BlackBerry JDE, BlackBerry Java Plug-in with Eclipse
2.1 BlackBerry JDE是RIM自主开发的IDE
下载 BlackBerry J ......
一、Java部分（共40分）
1、 说说Overload和Override的区别。Overloaded的方法是否可以改变返回值的类型？（5分）
Overload是覆盖，子类的方法跟父类方法名字一样，子类的方法把父类的覆盖了。
Override是重载，不同的方法参数、返回值不一样，紧紧返回值不一样的两个函数不叫重载，编译不会通过的。
Over ......
RMI是Java的一组拥护开发分布式应用程序的API。RMI 使用Java语言接口定义了远程对象，它集合了Java序列化和Java远程方法协议(Java Remote Method Protocol)。简单地说，这样使原先的程序在同一操作系统的方法调用，变成了不同操作系统之间程序的方法调用，由于J2EE是分布式程序平台，它一 RMI机制实现程序组件在不同操作系� ......
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.util.zip.CRC32;
public static void main(String[] args){
& ......
