- 浏览: 2113865 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
sunzeshan:
找了很久,用了这个插件解决问题啦。谢谢
eclipse jetty debug source not found -
xiaosong0112:
您好,请问为什么要这样设置呢,原理是什么?在网上很多转帖都没有 ...
maven的jetty插件提示No Transaction manager found导致启动慢的解决方法 -
eimhee:
tjzx 写道畅搜谷歌:http://dian168.cc/打 ...
Google 镜像站搜集 -
tjzx:
畅搜谷歌:http://dian168.cc/打开的是“最火源 ...
Google 镜像站搜集 -
eimhee:
finallygo 写道你这属于"头痛医头脚痛医脚& ...
解决linux下too many file问题
多线程下载由来已久,如 FlashGet、NetAnts 等工具,它们都是依懒于 HTTP 协议的支持(Range 字段指定请求内容范围),首先能读取出请求内容 (即欲下载的文件) 的大小,划分出若干区块,把区块分段分发给每个线程去下载,线程从本段起始处下载数据及至段尾,多个线程下载的内容最终会写入到同一个文件中。
只研究有用的,工作中的需求:要把多个任务分派给Java的多个线程去执行,这其中就会有一个任务列表指派到线程的策略思考:已知:1. 一个待执行的任务列表,2. 指定要启动的线程数;问题是:每个线程实际要执行哪些任务。
使用Java多线程实现这种任务分发的策略是:任务列表连续按线程数分段,先保证每线程平均能分配到的任务数,余下的任务从前至后依次附加到线程中 --只是数量上,实际每个线程执行的任务都还是连续的。如果出现那种僧多(线程) 粥(任务) 少的情况,实际启动的线程数就等于任务数,一挑一。这里只实现了每个线程各扫自家门前雪,动作快的完成后眼见别的线程再累都是爱莫能助。
实现及演示代码如下:由三个类实现,写在了一个 Java 文件中:TaskDistributor 为任务分发器,Task 为待执行的任务,WorkThread 为自定的工作线程。代码中运用了命令模式,如若能配以监听器,用上观察者模式来控制 UI 显示就更绝妙不过了,就能实现像下载中的区块着色跳跃的动感了,在此定义下一步的着眼点了。
代码中有较为详细的注释,看这些注释和执行结果就很容易理解的。main() 是测试方法
package com.unmi.common; import java.util.ArrayList; import java.util.List; /** * 指派任务列表给线程的分发器 * @author Unmi * QQ: 1125535 Email: fantasia@sina.com * MSN: kypfos@msn.com 2008-03-25 */ public class TaskDistributor { /** * 测试方法 * @param args */ public static void main(String[] args) { //初始化要执行的任务列表 List taskList = new ArrayList(); for (int i = 0; i < 108; i++) { taskList.add(new Task(i)); } //设定要启动的工作线程数为 5 个 int threadCount = 5; List[] taskListPerThread = distributeTasks(taskList, threadCount); System.out.println("实际要启动的工作线程数:"+taskListPerThread.length); for (int i = 0; i < taskListPerThread.length; i++) { Thread workThread = new WorkThread(taskListPerThread[i],i); workThread.start(); } } /** * 把 List 中的任务分配给每个线程,先平均分配,剩于的依次附加给前面的线程 * 返回的数组有多少个元素 (List) 就表明将启动多少个工作线程 * @param taskList 待分派的任务列表 * @param threadCount 线程数 * @return 列表的数组,每个元素中存有该线程要执行的任务列表 */ public static List[] distributeTasks(List taskList, int threadCount) { // 每个线程至少要执行的任务数,假如不为零则表示每个线程都会分配到任务 int minTaskCount = taskList.size() / threadCount; // 平均分配后还剩下的任务数,不为零则还有任务依个附加到前面的线程中 int remainTaskCount = taskList.size() % threadCount; // 实际要启动的线程数,如果工作线程比任务还多 // 自然只需要启动与任务相同个数的工作线程,一对一的执行 // 毕竟不打算实现了线程池,所以用不着预先初始化好休眠的线程 int actualThreadCount = minTaskCount > 0 ? threadCount : remainTaskCount; // 要启动的线程数组,以及每个线程要执行的任务列表 List[] taskListPerThread = new List[actualThreadCount]; int taskIndex = 0; //平均分配后多余任务,每附加给一个线程后的剩余数,重新声明与 remainTaskCount //相同的变量,不然会在执行中改变 remainTaskCount 原有值,产生麻烦 int remainIndces = remainTaskCount; for (int i = 0; i < taskListPerThread.length; i++) { taskListPerThread[i] = new ArrayList(); // 如果大于零,线程要分配到基本的任务 if (minTaskCount > 0) { for (int j = taskIndex; j < minTaskCount + taskIndex; j++) { taskListPerThread[i].add(taskList.get(j)); } taskIndex += minTaskCount; } // 假如还有剩下的,则补一个到这个线程中 if (remainIndces > 0) { taskListPerThread[i].add(taskList.get(taskIndex++)); remainIndces--; } } // 打印任务的分配情况 for (int i = 0; i < taskListPerThread.length; i++) { System.out.println("线程 " + i + " 的任务数:" + taskListPerThread[i].size() + " 区间[" + taskListPerThread[i].get(0).getTaskId() + "," + taskListPerThread[i].get(taskListPerThread[i].size() - 1).getTaskId() + "]"); } return taskListPerThread; } } /** * 要执行的任务,可在执行时改变它的某个状态或调用它的某个操作 * 例如任务有三个状态,就绪,运行,完成,默认为就绪态 * 要进一步完善,可为 Task 加上状态变迁的监听器,因之决定UI的显示 */ class Task { public static final int READY = 0; public static final int RUNNING = 1; public static final int FINISHED = 2; private int status; //声明一个任务的自有业务含义的变量,用于标识任务 private int taskId; //任务的初始化方法 public Task(int taskId){ this.status = READY; this.taskId = taskId; } /** * 执行任务 */ public void execute() { // 设置状态为运行中 setStatus(Task.RUNNING); System.out.println("当前线程 ID 是:" + Thread.currentThread().getName() +" | 任务 ID 是:"+this.taskId); // 附加一个延时 try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } // 执行完成,改状态为完成 setStatus(FINISHED); } public void setStatus(int status) { this.status = status; } public int getTaskId() { return taskId; } } /** * 自定义的工作线程,持有分派给它执行的任务列表 */ class WorkThread extends Thread { //本线程待执行的任务列表,你也可以指为任务索引的起始值 private List taskList = null; private int threadId; /** * 构造工作线程,为其指派任务列表,及命名线程 ID * @param taskList 欲执行的任务列表 * @param threadId 线程 ID */ public WorkThread(List taskList,int threadId) { this.taskList = taskList; this.threadId = threadId; } /** * 执行被指派的所有任务 */ public void run() { for (Task task : taskList) { task.execute(); } } }
执行结果如下,注意观察每个Java多线程分配到的任务数量及区间。直到所有的线程完成了所分配到的任务后程序结束
线程 0 的任务数:22 区间[0,21] 线程 1 的任务数:22 区间[22,43] 线程 2 的任务数:22 区间[44,65] 线程 3 的任务数:21 区间[66,86] 线程 4 的任务数:21 区间[87,107] 实际要启动的工作线程数:5 当前线程 ID 是:Thread-0 | 任务 ID 是:0 当前线程 ID 是:Thread-1 | 任务 ID 是:22 当前线程 ID 是:Thread-2 | 任务 ID 是:44 当前线程 ID 是:Thread-3 | 任务 ID 是:66 当前线程 ID 是:Thread-4 | 任务 ID 是:87 当前线程 ID 是:Thread-0 | 任务 ID 是:1 当前线程 ID 是:Thread-1 | 任务 ID 是:23 当前线程 ID 是:Thread-2 | 任务 ID 是:45
上面坦白来只算是基本功夫,贴出来还真见笑了。还有更为复杂的功能. 像Java多线程的下载工具的确更充分利用了网络资源,而且像 FlashGet、NetAnts 都实现了:假如某个线程下载完了欲先所分配段的内容之后,会帮其他线程下载未完成数据,直到任务完成;或某一下载线程的未完成段区间已经很小了,用不着别人来帮忙时,这就涉及到任务的进一步分配。再如,以上两个工具都能动态增加、减小或中止线程,越说越复杂了,它们原本比这复杂多了,这些实现可能定义各种队列来实现,如未完成任务队列、下载中任务队列和已完成队列等。
发表评论
-
MySQLNonTransientConnectionException: No operations allowed
2015-05-19 16:47 2266最近在调试会发现“ No operations allow ... -
mysql 执行计划优化
2013-04-07 17:46 1483一条简单的SQL 语句竟花了15.87 sec, ... -
ThreadLocal 引起的内存泄露
2012-10-18 17:48 2370最近在用LOADRUNNER做性能测试, 运行几个小时后, ... -
lucene 反向索引原理
2012-07-20 12:47 1946lucene是一个高性能的全文搜索工具, 使用反向索引结构。 ... -
tomcat7在UBUNTU上自动启动
2012-06-11 12:55 2712为了让tomcat自动启动当电脑重起时, 你必须添加一个脚本, ... -
hadoop中的Writable分析
2012-06-07 11:27 3335hadoop 要使一个类能序例化, 要实现Writabl ... -
在UBUNTU安装NUTCH(十个简单的步骤)
2012-06-06 17:32 3955下面十个步骤能安装Nutch, 并且能爬行你的网站, 创建你自 ... -
深入Lucene的索引文件
2012-02-01 16:50 6751Lucene的索引里面存了些什么,如何存放的,也即Luc ... -
EasyMock and IllegalStateException
2012-01-31 15:09 1301When writing a portlet and tryi ... -
Java Enum的原理
2011-05-03 09:19 1776Java Enum 类型的语法结构尽管和 java 类的语法不 ... -
用JAXB从对象生成XML
2011-04-26 08:54 2923import java.io.FileOutputStream ... -
jdk6 WebService入门
2011-03-10 23:04 3291一、 Web Services简介 ... -
dom4j处理超大XML
2010-12-26 23:35 4770英文原文 : http://dom4j.sourceforge ... -
httpclient3 自动登陆淘宝, 开心网
2010-11-09 22:09 9922前提:需要用到的java包 commons-httpclien ... -
Lucene实时索引构建
2010-11-06 23:11 7374Lucene可以增量的添加一 ... -
分享Java并发最佳书籍Java Concurrency in Practice Java并发最佳书籍 下载
2010-10-21 08:31 13353好久没有上来更新过了,最近在学习线程池实现,参考了 Tomc ... -
Spring Hibernate3 配置 C3P0
2010-10-15 00:31 7497由于Hibernate3不推荐使用DBCP, 所以把连接池换成 ... -
将依赖包加入到本地maven库
2010-07-22 16:47 2836要将依赖包加入到本地maven库 mvn instal ... -
Maven Dependency设置,详解!
2010-07-21 17:08 2457用了Maven,所需的JAR包 ... -
Inner Join with hibernate and HQL
2010-07-18 12:24 2109String queryStri ...
相关推荐
winform实现多线程下载 winform实现多线程下载 winform实现多线程下载
C#实现多线程下载文件,结合多线程技术的各方面知识,是比较好的学习例子。
该demo实现了android平台的多线程下载的功能,代码注释比较详细,可以看看
java实现多线程下载,一个小例子,实现了分段多线程下载
1. 把每个下载文件切成若干个块...2. HTTP Header里增加Range,如果服务器返回Cotent-Range 说明服务器支持文件定位,可以实现多线程下载 详细看这里 http://blog.csdn.net/maoxiang/archive/2010/04/02/5446293.aspx
java实现多线程下载文件功能,通过线程池管理,实现下载文件速度快,安全。
基于SpringBoot和POI实现单线程和多线程导出Excel.zip基于SpringBoot和POI实现单线程和多线程导出Excel.zip基于SpringBoot和POI实现单线程和多线程导出Excel.zip基于SpringBoot和POI实现单线程和多线程导出Excel.zip...
12.如何实现多线程多任务?(Visual C++编程 源代码)12.如何实现多线程多任务?(Visual C++编程 源代码)12.如何实现多线程多任务?(Visual C++编程 源代码)12.如何实现多线程多任务?(Visual C++编程 源代码)...
C++_p2p实现多线程文件传输.docC++_p2p实现多线程文件传输.docC++_p2p实现多线程文件传输.docC++_p2p实现多线程文件传输.docC++_p2p实现多线程文件传输.docC++_p2p实现多线程文件传输.docC++_p2p实现多线程文件传输....
通过WEB服务器来实现PHP多线程功能,当然,对多线程有深入理解的人都知道通过WEB服务器实现的多...利用curl实现多线程下载图片类,其实是php利用curl实现的一个多线程类,有了这个类,我们也可利用该类执行多线程任务了。
多线程下载:1、创建URL对象; 2、获取指定URL对象所指向资源的大小; 3、在本地磁盘上创建一个与网络资源相同大小的空文件; 4、计算每条线程应该下载网络资源的哪个部分; 5、依次创建、启动多线程来下载网络资源...
java实现多线程下载,控制台实时输出下载进度,对于学习多线程与网络有一定的帮助
通过WEB服务器来实现PHP多线程功能,当然,对多线程有深入理解的人都知道通过WEB服务器实现的多...利用curl实现多线程下载图片类,其实是php利用curl实现的一个多线程类,有了这个类,我们也可利用该类执行多线程任务了。
数据库GreenDao+Retrofit实现断点下载多线程,可暂停,继续
用VB6实现的稳定多线程源码,利用系统的API实现多线程
详细介绍基于HTTP协议的多线程下载工具的原理、实现和应用
c#实现unity下可用的http多线程下载。主要是WWW接口的bundle函数不好用,而且性能也不高。支持多线程。支持单个文件和多个文件下载
基于HTTP协议的多线程下载he断点续传的实现.基于HTTP协议的多线程下载he断点续传的实现.基于HTTP协议的多线程下载he断点续传的实现.基于HTTP协议的多线程下载he断点续传的实现.基于HTTP协议的多线程下载he断点续传的...
使用qt线程池实现多线程http请求,支持限速下载,可以设置全部下载的网络上限,和单个线程的网络上限。可以实时显示当前下载速度。