断点续传 以及 多线程下载 的原理

(一)断点续传的原理
其实断点续传的原理很简单，就是在Http的请求上和一般的下载有所不同而已。
打个比方，浏览器请求服务器上的一个文时，所发出的请求如下：
假设服务器域名为wwww.sjtu.edu.cn，文件名为down.zip。
GET /down.zip HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-
excel, application/msword, application/vnd.ms-powerpoint, */*
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)
Connection: Keep-Alive


服务器收到请求后，按要求寻找请求的文件，提取文件的信息，然后返回给浏览器，返回信息如下：


200
Content-Length=106786028
Accept-Ranges=bytes
Date=Mon, 30 Apr 2001 12:56:11 GMT
ETag=W/"02ca57e173c11:95b"
Content-Type=application/octet-stream
Server=Microsoft-IIS/5.0
Last-Modified=Mon, 30 Apr 2001 12:56:11 GMT

　

所谓断点续传，也就是要从文件已经下载的地方开始继续下载。所以在客户端浏览器传给
Web服务器的时候要多加一条信息--从哪里开始。
下面是用自己编的一个"浏览器"来传递请求信息给Web服务器，要求从2000070字节开始。
GET /down.zip HTTP/1.0
User-Agent: NetFox
RANGE: bytes=2000070-
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2


仔细看一下就会发现多了一行RANGE: bytes=2000070-
这一行的意思就是告诉服务器down.zip这个文件从2000070字节开始传，前面的字节不用传了。
服务器收到这个请求以后，返回的信息如下：
206
Content-Length=106786028
Content-Range=bytes 2000070-106786027/106786028
Date=Mon, 30 Apr 2001 12:55:20 GMT
ETag=W/"02ca57e173c11:95b"
Content-Type=application/octet-stream
Server=Microsoft-IIS/5.0
Last-Modified=Mon, 30 Apr 2001 12:55:20 GMT


和前面服务器返回的信息比较一下，就会发现增加了一行：
Content-Range=bytes 2000070-106786027/106786028
返回的代码也改为206了，而不再是200了。


知道了以上原理，就可以进行断点续传的编程了。

 

 

 

多线程下载原理

转自[http://blog.csdn.net/xsc2001/archive/2006/04/24/675108.aspx]

最近自己写了一个类似网络蚂蚁和FlashGet一样的程序，主要是为了自己能学点东西，不过还好，已经有点样子了，已经实现了类似它们的界面风格和功能，只是里面的下载任务、错误任务、已完成任务、中止任务的调度问题还没有详细去做，通过IE右键菜单的传参数还没有解决，IE右键菜单已经现，已经能够取到鼠标位置的URL，只是不知如何将取得的一个URL传给下载程序，还有待解决。现在将多线程下载同一个文件的原理讲述一下：

1、首先得到要下载的文件的长度，这是通过Http的HEAD命令得到其长度。

2、根据长度和线程数，确定各线程所下载的数据范围。通过HTTP的Get命令，这里需要指定From和To.

3、创建一个文件，这个文件是一个空文件，不需要事先生成与下载文件同样大小的空文件。给每个线程只需要传递其打开的文件句柄即可。

4、创建各个下载线程，每个线程接受到数据后就保存到相应的位置上去。这里不需要对文件加锁，因为操作系统一级本身对文件的I/O有锁的，我们的应用不用管，而且各个线程所写的文件位置是不一样的，每一线程负责下载和写一段数据。每个线程都记录下来了当前已经下载到的位置，这样若有线程出错了，可以从断点处继续下载。

5、等各线程都下载完各自的数据块后，最后中关闭这个文件。

注意：这里的文件打开时一定要以二制打开，否则在调用fseek时将导致位置定位不正确。

FILE *f;

if(( f = fopen(szFileName, "wr") != NULL)

{

...............................;

fclose(f);

}