阳光男孩

　Java的核心库java.io提供了全面的IO接口，包括：文件读写，标准设备输出等等。Java中IO是以流为基础进行输入输出的，所有数据被串行化写入输出流，或者从输入流读入。在具体使用中很多初学者对Java.io包的使用非常含糊，本文将详细解说关于Java.io的使用。
Input和Output
　　1. stream代表的是任何有能力产出数据的数据源，或是任何有能力接收数据的接收源。在Java的IO系统中，所有的stream（包括Input和Out stream）都包括两种类型：
　1.1 以字节为导向的stream
　　以字节为导向的stream，表示以字节为单位从stream中读取或往stream中写入信息。以字节为导向的stream包括下面几种类型：
　input
stream：
　　1) ByteArrayInputStream：把内存中的一个缓冲区作为InputStream使用
2) StringBufferInputStream：把一个String对象作为InputStream
3) FileInputStream：把一个文件作为InputStream，实现对文件的读取操作
4) PipedInputStream：实现了pipe的概念，主要在线程中使用
5) SequenceInputStream：把多个InputStream合并为一个InputStream
　Out
stream
　　1) ByteArrayOutputStream：把信息存入内存中的一个缓冲区中
2) FileOutputStream：把信息存入文件中
3) PipedOutputStream：实现了pipe的概念，主要在线程中使用
4) SequenceOutputStream：把多个OutStream合并为一个OutStream
1.2 以Unicode字符为导向的stream
　　以Unicode字符为导向的stream，表示以Unicode字符为单位从stream中读取或往stream中写入信息。以Unicode字符为导向的stream包括下面几种类型：
　Input
Stream
　　1) CharArrayReader：与ByteArrayInputStream对应
2) StringReader：与StringBufferInputStream对应
3) FileReader：与FileInputStream对应
4) PipedReader：与PipedInputStream对应
Out
Stream
　　1) CharArrayWrite：与ByteArrayOutputStream对应
2) StringWrite：无与之对应的以字节为导向的stream
3) FileWrite：与FileOutputStream对应
4) PipedWrite：与PipedOutputStream对应
以字符为导向的stream基本上对有与之相对应的以字节为导向的stream。两个对应类实现的功能相同，字是在操作时的导向不同。如 CharArrayReader：和ByteArrayInputStream的作用都是把内存中的一个缓冲区作为InputStream使用，所不同的 是前者每次从内存中读取一个字节的信息，而后者每次从内存中读取一个字符。
　1.3 两种不现导向的stream之间的转换
　　InputStreamReader和OutputStreamReader：把一个以字节为导向的stream转换成一个以字符为导向的stream。
2. stream添加属性
2.1 “为stream添加属性”的作用
　　运用上面介绍的Java中操作IO的API，我们就可完成我们想完成的任何操作了。但通过FilterInputStream和FilterOutStream的子类，我们可以为stream添加属性。下面以一个例子来说明这种功能的作用。
如果我们要往一个文件中写入数据，我们可以这样操作：
FileOutStream fs = new FileOutStream(“test.txt”);
然后就可以通过产生的fs对象调用write()函数来往test.txt文件中写入数据了。但是，如果我们想实现“先把要写入文件的数据先缓存到内存 中，再把缓存中的数据写入文件中”的功能时，上面的API就没有一个能满足我们的需求了。但是通过FilterInputStream和 FilterOutStream的子类，为FileOutStream添加我们所需要的功能。

　2.2 FilterInputStream的各种类型
2.2.1 用于封装以字节为导向的InputStream
　　1) DataInputStream：从stream中读取基本类型（int、char等）数据。
2) BufferedInputStream：使用缓冲区
3) LineNumberInputStream：会记录input stream内的行数，然后可以调用getLineNumber()和setLineNumber(int)
4) PushbackInputStream：很少用到，一般用于编译器开发
　2.2.2 用于封装以字符为导向的InputStream
　　1) 没有与DataInputStream对应的类。除非在要使用readLine()时改用BufferedReader，否则使用DataInputStream
2) BufferedReader：与BufferedInputStream对应
3) LineNumberReader：与LineNumberInputStream对应
4) PushBackReader：与PushbackInputStream对应
　2.3 FilterOutStream的各种类型
2.2.3 用于封装以字节为导向的OutputStream
　　1) DataIOutStream：往stream中输出基本类型（int、char等）数据。
2) BufferedOutStream：使用缓冲区
3) PrintStream：产生格式化输出
　2.2.4 用于封装以字符为导向的OutputStream
　　1) BufferedWrite：与对应
2) PrintWrite：与对应
3. RandomAccessFile
1) 可通过RandomAccessFile对象完成对文件的读写操作
2) 在产生一个对象时，可指明要打开的文件的性质：r，只读；w，只写；rw可读写
3) 可以直接跳到文件中指定的位置
4. I/O应用的一个例子
java 代码
 

 
 
关于代码的解释（以区为单位）：
1区中，当读取文件时，先把文件内容读到缓存中，当调用in.readLine()时，再从缓存中以字符的方式读取数据（以下简称“缓存字节读取方式”）。
1b区中，由于想以缓存字节读取方式从标准IO（键盘）中读取数据，所以要先把标准IO（System.in）转换成字符导向的stream，再进行BufferedReader封装。
2区中，要以字符的形式从一个String对象中读取数据，所以要产生一个StringReader类型的stream。
希望通过本文的介绍，能够给你带来帮助

I/O设备处理必然让主程序停下来干等I/O的完成,
对这个问题有

方法一：使用另一个线程进行I/O。这个方案可行，但是麻烦。                即 CreateThread(…………)；创建一个子线程做其他事情。      Readfile(^…………)；阻塞方式读数据。

方法二：使用overlapped I/O。
overlapped I/O是WIN32的一项技术， 你可以要求操作系统为你传送数据，并且在传送完毕时通知你。这项技术使你的程序在I/O进行过程中仍然能够继续处理事务。事实上，操作系统内部正是以线程来I/O完成overlapped I/O。你可以获得线程的所有利益，而不需付出什么痛苦的代价

怎样使用overlapped I/O：

进行I/O操作时，指定overlapped方式
使用CreateFile ()，将其第6个参数指定为FILE_FLAG_OVERLAPPED，
就是准备使用overlapped的方式构造或打开文件;
如果采用 overlapped，那么ReadFile()、WriteFile()的第5个参数必须提供一个指针，
指向一个OVERLAPPED结构。 OVERLAPPED用于记录了当前正在操作的文件一些相关信息。

//功能：从指定文件的1500位置读入300个字节
int main()
{
BOOL rc;
HANDLE hFile;
DWORD numread;
OVERLAPPED overlap;
char buf[512];
char szPath=”c:\\xxxx\xxxx”;
hFile = CreateFile( szPath,
GENERIC_READ,
FILE_SHARE_READ|FILE_SHARE_WRITE,
NULL,
OPEN_EXISTING,
FILE_FLAG_OVERLAPPED, // 以overlapped打开文件
NULL
);

// OVERLAPPED结构实始化为0
memset(&overlap, 0, sizeof(overlap));
//指定文件位置是1500;
overlap.Offset = 1500;

rc = ReadFile(hFile,buf,300,&numread,&overlap);
//因为是overlapped操作，ReadFile会将读文件请求放入读队列之后立即返回（false）,而不会等到文件读完才返回(true)
if (rc)
{

…………此处即得到数据了。
//文件真是被读完了，rc为true
// 或当数据被放入cache中，或操作系统认为它可以很快速地取得数据，rc为true
}
else
{
if (GetLastError() == ERROR_IO_PENDING)
{//当错误是ERROR_IO_PENDING,那意味着读文件的操作还在进行中
//等候，直到文件读完
WaitForSingleObject(hFile, INFINITE);
rc = GetOverlappedResult(hFile,&overlap,&numread,FALSE);
//上面二条语句完成的功能与下面一条语句的功能等价：

一只阻塞等到得到数据才继续下面。
// GetOverlappedResult(hFile,&overlap,&numread,TRUE);
}
else
{
//出错了
}
}
CloseHandle(hFile);
return EXIT_SUCCESS;
}

在实际工作中，若有几个操作同一个文件时,
怎么办？我们可以利用OVERLAPPED结构中提供的event来解决上面遇到的问题。
注意，你所使用的event对象必须是一个MANUAL型的；否则，可能产生竞争条件。
int main()
{
int i;
BOOL rc;
char szPath=”x:\\xxxx\xxxx”;
// 以overlapped的方式打开文件
ghFile = CreateFile( szPath,
GENERIC_READ,
FILE_SHARE_READ|FILE_SHARE_WRITE,
NULL,
OPEN_EXISTING,
FILE_FLAG_OVERLAPPED,
NULL
);
for (i=0; i<MAX_REQUESTS; i++)   requests 同时有N个同时读取文件
{
//将同一文件按几个部分按overlapped方式同时读
//注意看QueueRequest函数是如何运做的,每次读16384个块
QueueRequest(i, i*16384, READ_SIZE);
}
// 等候所有操作结束;
//隐含条件：当一个操作完成时，其对应的event对象会被激活
WaitForMultipleObjects(MAX_REQUESTS, ghEvents, TRUE, INFINITE);
// 收尾操作
for (i=0; i<MAX_REQUESTS; i++)
{
DWORD dwNumread;
rc = GetOverlappedResult(
ghFile,
&gOverlapped[i],
&dwNumread,
FALSE
);
CloseHandle(gOverlapped[i].hEvent);
}
CloseHandle(ghFile);
return EXIT_SUCCESS;
}

//当读操作完成以后，gOverlapped[nIndex].hEvent会系统被激发
int QueueRequest(int nIndex, DWORD dwLocation, DWORD dwAmount)
{
//构造一个MANUAL型的event对象
ghEvents[nIndex] = CreateEvent(NULL, TRUE, FALSE, NULL)；
//将此event对象置入OVERLAPPED结构
gOverlapped[nIndex].hEvent = ghEvents[nIndex];

每个重叠对象对应一个事件。
gOverlapped[nIndex].Offset = dwLocation;
for (i=0; i<MAX_TRY_COUNT; i++) //尝试几次。
{
//文件ghFile唯一
rc = ReadFile(ghFile, gBuffers[nIndex],&dwNumread,&gOverlapped[nIndex]);
if (rc) 如果立刻读到数据则返回真
return TRUE;
err = GetLastError();
if (err == ERROR_IO_PENDING)
{
//当错误是ERROR_IO_PENDING,那意味着读文件的操作还在进行中
return TRUE;
}
// 处理一些可恢复的错误
if ( err == ERROR_INVALID_USER_BUFFER ||
err == ERROR_NOT_ENOUGH_QUOTA ||
err == ERROR_NOT_ENOUGH_MEMORY )
{
sleep(50);
continue;//重试
}
// 如果GetLastError()返回的不是以上列出的错误，放弃
break;
}

return -1;

}

程序流程：

1： N个用户同时读取一个文件的各个部分，且每个用户对应一个重叠对象和事件。

2：调用WaitForMultipleObjects(MAX_REQUESTS, ghEvents, TRUE, INFINITE) 当任何一个用户的读操作完成时，函数停止阻塞。并且ghEvents中对应于的读取数据完毕的用户的事件被激活。

3： 调用GetOverlappedResult 取得读取数据完毕的用户编号。

从上篇文章的介绍我们知道linux内核根据TCP/IP网络模型，给我们隐藏了传输层以下的网络传输细节，我们的网络应用程序只需要针对socket编程即可。这篇我们立足网络数据包的I/O。谈谈linux的一些I/O知识,以及Java的NIO.
1.  基础知识
我们知道Linux的内核将所有外部设备都可以看做一个文件来操作。那么我们对与外部设备的操作都可以看做对文件进行操作。我们对一个文件的读写，都通过 调用内核提供的系统调用；内核给我们返回一个file descriptor（简称：fd,文件描述符）；我们通过 ls -l  /proc/${pid}/fd/ 可以看到进程${pid}占用的所有描述符，或者lsof -p ${pid}; 而对一个socket的读写也会有相应的描述符，称为socketfd(socket描述符）；描述符就是一个数字，指向内核中一个结构体（文件路径，数 据区，等一些属性） ； 那么我们的应用程序对文件的读写就通过对描述符的读写完成。

系统调用是如何完成一个I/O操作的呢？ linux将内存分为内核区，用户区； linux内核给我们管理所有的硬件资源，应用程序通过调用系统调用和内核交互，达到使用硬件资源的目的； 应用程序通过系统调用read发起一个读操作；这时候内核创建一个文件描述符，并通过驱动程序向硬件发送读指令，并将读的的数据放在这个描述符对应结构体 的缓存区。但这个结构体是在内核内存区的。需要将这个数据读到用户区。这样完成了一次读操作；

但是大家都知道I/O设备相比cpu的速度是极慢的。linux提供的read系统调用，也是一个阻塞函数。这样我们的应用进程在发起read系统调用时，就必须阻塞，就进程被挂起而等待文件描述符的读就绪；

这里，我们先了解一下，什么是文件描述符读就绪，什么是写就绪？

读就绪：就是这个文件描述符的接收缓冲区中的数据字节数大于等于套接字接收缓冲区低水位标记的当前大小；

写就绪：该描述符发送缓冲区的可用空间字节数大于等于描述符发送缓冲区低水位标记的当前大小。（如果是socket fd，说明上一个数据已经发送完成）。

接收低水位标记和发送低水位标记：由应用程序指定，比如应用程序指定接收低水位为64个字节。那么接收缓冲区有64个字节，才算fd读就绪；
2.各种I/O模型比较
有没有办法能让我们在I/O时，不让我们的应用程序阻塞；从上边的分析我们知道向内核发起一个I/O操作，要经过等待fd就绪+内核数据到用户数据区复制，完成一次I/O；

Linux POSIX是这样定义同步I/O 和 异步I/O的：

同步I/O操作(synchronous I/O operation)：导致请求进程阻塞，直到I/O操作完成。
异步I/O操作(asynchronous I/O operation): 不导致请求进程阻塞。

根据上述定义，我们的前四种模型——阻塞式I/O模型，非阻塞式I/O模型、I/O多路复用模型和信号驱动式I/O模型，因为其中真正的I/O操作将阻塞进程。只有异步I/O模型与POSIX定义的异步I/O相匹配；
图： Linux 提供的所有I/O模型
阻塞式：最普通的I/O模型;原生的read/write系统调用，默认是阻塞模式；导致进程阻塞；

非阻塞：这种方式通过指定系统调用read/write的参数为非阻塞，告知内核fd没就绪时，不阻塞进程，而是返回一个错误码，应用进程死循环轮询，直到fd就绪；

异步非阻塞（I/O复用）：linux提供select/poll，进程通过将一个或多个fd传递给 select或poll系统调用，阻塞在select;这样select/poll可以帮我们侦测许多fd是否就绪；但是select/poll是顺序扫 描fd是否就绪，而且支持的fd数量有限。linux还提供了一个epoll系统调用，epoll是基于事件驱动方式，而不是顺序扫描,当有fd就绪时， 立即回调函数rollback；

异步非阻塞（信号驱动式I/O）：内核在描述符就绪时发送SIGIO信号通知进程，进程通过信号处理函数接收数据；

异步I/O（AIO): 告知内核某个操作，并让内核在整个操作（包括将数据复制到我们的进程缓冲区）完成后通知我们。这种模型和信号驱动式I/O模型区别在于：信号驱动式I/O 由内核通知我们何时可以启动一个I/O操作，而异步I/O模型是内核通知我们I/O操作何时完成。（此模型linux 2.6 内核推出）

3. java的NIO（new i/o)

我们知道jdk 1.4版本里推出了java nio .此后java的很多网络应用都重写了底层I/O模块，大大提高并发性能；包括tomcat, jetty等；

java nio api 里通过将许多fd扔给一个Selector去检测fd是否就绪；

那么java 的nio使用的是那种I/O模型呢？

通过查看jvm代码：（下载地址：http://download.java.net/jdk6/source/）

可见jvm的NIO使用的是linux 系统调用epoll模型；

4. java何时支持真正的AIO模型呢？

JSR 203（http://jcp.org/en/jsr/detail?id=203） 在java SE 7.0中会完成JSR203.估计不久以后就可以普及了。asynchronous I/O对于java 绝对影响巨大，java写的网络服务器能够支持更大并发请求了。到时肯定大多网络服务器的I/O底层代码都会修改。就像当时Linux 2.6 支持AIO模型，很多数据库oracle,DB2都发布新版本。

转自：http://www.javaeye.com/topic/868702