Java 多线程 爬虫程序（spider）设计与实现
当spider程序访问到一个网页，必须进行以下几项基本处理：抽取网页中包含的文本;抽取网页中包含的URL，并将其区分为网页中包含的文本；抽取网页中包含的URL，并将其区分为网站内URL或网站外URL。
2.2各主要功能 模块（类）设计
2.2.1 spider类
该类为主类，继承自线程类。它本事并不做获取网页的具体工作，而是协调其他各类共同完成任务。其主要类成员及方法如下：
2.2.2 spiderworker类
该类继承线程类，进行获取网页，抽取文本，URL等实际工作。
2.2.3 urlmanager类
该类管理所获得的各种URL，利用四种URL队列来管理。
等待队列:等待刚问的URL队列，队列中的URL一经访问完便进入完成队列或不可达URL队列。运行队列:正在访问的URL队列；完成队列：已访问过的URL队列；不可达队列：不可达的URL队列，即该URL对应的文件不可访问。
2.2.4 spiderwatcher类
该类用来监视各线程的运行情况数，能确定实时的活动线程数。
2.3 SPIDER 工作过程
a 给spider程序赋予一个初始URL，加入URL等待队列。
b根据需要确定线程池大小，启动n个线程。
c查询等待队列中是否有URL，若没有，且无其他活动线程序，线程结束；若有转 d。
d从URL等待队列中取出一个URL，并移入运行对流，根据该URL去访问，并进行网页下载，抽取文本，抽取链接等工作。若网页中包含URL，则把这些URL加入等待队列；吧访问过的URL加入完成队列，转c
3.1 java中线程的生命周期
java的线程从产生到消失，可分为四个状态：
a 新建状态：线程在已被创建但尚未执行这段时间内，处于新建状态。此时，线程对象已被分配内存空间 ，起私有数据已被初始化，但没有给其分配系统资源且线程未被调度。处于此状态的线程，可以通过调用start（）或stop（）函数来开始线程或终止线程。
b 运行状态：处于此状态的线程，说明它已取得处理器的控制权，正在执行中。
c 不能运行状态：当线程休眠，被挂起或等待某一资源时，它便进入不能运行状态。如果休眠时间过去，或已获得等待的资源，变重新进入运行状态。
d 死状态：当线程正常终止或强行终止时，进入死状态。此时，线程放弃所拥有的所有资源。
3.2 多线程同步
当同时运行的相互独立的线程需要共享数据并且需要考虑其他线程的状态时，就需要使用一套机制使得这些线程同步，避免在争用资源时发生冲突，甚至发
生死锁。java提供多种机制以实现线程同步�
相关文档：
Java NIO API详解
在JDK
1.4以前，Java的IO操作集中在java.io这个包中，是基于流的阻塞（blocking）API。对于大多数应用来说，这样的API使用很方
便，然而，一些对性能要求较高的应用，尤其是服务端应用，往往需要一个更为有效的方式来处理IO。从JDK 1.4起，NIO
API作为一个基于缓冲区，并能提供非阻塞(non-blo ......
java多线程通信 收藏
转载请注明:来自http://blog.csdn.net/M_ChangGong/ 作者:张燕广
java多线程通信，模拟生产者-消费者关系。
第1种实现（该实现存在问题），具体代码如下：
view plaincopy to clipboardprint?
package com.zhangyg.thread.mytest;
/**
* 模拟生产者- ......
本文节选自《Java Web服务：构建与运行》2.1.1节
从WSDL文档中生成客户端支持代码（Generating Client-Support Code from a WSDL）
通过Java提供的“wsimport”工具可以很容易完成基于SOAP协议的Web服务客户端生成工作。这个工具可以从对应的WSDL文档的服务描述中生成客户端支持代码或其他相关资源。输入并执 ......
JVM：加载、链接和初始化
JVM要解释Java字节码，就必须对所需的类和接口执行如下3步操作：
(1) 加载：JVM在加载类时，会查找该类或该接口的二进制表示，并根据找到的二进制表示(通常是由Java编译器创建的类文件)创建一个Class对象。该Class对象中封装了类或接口的运行时状态。
(2) 链接：链接这一过程是指取得已加载的 ......
0、 需要标识符
a) 不在函数内
1、 非法表达式开始
b) 可能:丢失括号 .
2. no data found
a) 可能:setInt(1,100)中,没有100这个值
3. 找不到符号
a) 可能:没导入包
4. 指定了无效URL
a) 可能:数据库名或IP错误,即连接出错
5. 类路径没有找到
a) 可能: ClassNotFoundException: oracle.jdbc.driver.Or ......
