今天被老大交给了一个任务,对数据库中原有的数据进行一定的操作,然后放入到另外一张表中。
那么我拿到这个任务,分析了下业务逻辑就开始编码了,经过一上午的代码开发,运行测试,功能完好,但是速度实在太慢了,1000万的数据量执行了5个小时,速度必须要提上来,这时候我想到了使用多线程。
但是问题来了,我之前没有使用过多线程,怎么办呢,百度。经过百度后,我尝试着使用java提供的线程池管理线程,进行重构这个功能,其中利用线程池管理多线程进行开发的主要代码如下:
public class ThreadWork { public void workWithThreads() { // 用线程池,开启20个线程 ExecutorService threadPool = Executors.newFixedThreadPool(20); CompletionService<String> pool = new ExecutorCompletionService<String>(threadPool); String result = null; boolean flag = true; // 从数据库获取数据(10000条) List<String> ids = new ArrayList<>();// from database while (true) { if (ids != null && ids.size() > 0) { // 如果从数据库中取出数据为10000条,分20个线程执行,如果不够10000条,单线程执行 if (ids.size() == 10000) { for (int p = 1; p < 21; p++) { pool.submit((Callable<String>) new ThreadTask(ids.subList(500 * (p - 1), 500 * p))); } } else { pool.submit((Callable<String>)new ThreadTask(ids)); // 因为从数据库中每次fetch first 1W条,所以当条数不等于1W条时,说明是最后一次从数据库中取数据 flag = false; } // 以下循环为保证所有线程执行结束 for (int p = 1; p < 21; p++) { try { result = pool.take().get(); } catch (Exception e) { // 打印错误日志 TODO } } } } } }
每个线程需要做的业务逻辑在ThreadTask类中,代码如下:
public class ThreadTask implements Callable<String> { private List<String> ids; public ThreadTask(List<String> ids) { this.ids = ids; } @Override public String call() throws Exception { // 获取参数,执行响应的操作 for(String id:ids){ // 此处为对数据的操作 System.out.println(id); } // 返回改线程的id return Thread.currentThread() + ""; } }
经过上面多线程的处理,整个功能的速度的确提升了很高。
说到底,多线程速度快是因为最大限度的使用了cpu,执行的还是顺序的,只是利用了单线程中cpu等待、挂起等等的一些时间,cpu的利用度高了,速度也就快了。
另外,在使用以上线程池控制多线程时,线程的个数要设计好,系统创建和销毁线程也是需要一定时间的,设计优良,才能是多线程效果最大化。
第一次使用多线程,以前只是在学习的时候听老师讲个这个概念,现在记录下,希望大婶们多多提出宝贵的意见,共同学习,不胜感激!!!
相关推荐
Java多线程实现数据切割批量执行,实现限流操作。 java线程池Executors实现数据批量操作。 批量异步Executors处理数据,实现限流操作,QPS限流。 线程池调用第三方接口限流实现逻辑。 案例适合: 1.批量处理大数据。...
C#线程池 所有线程运行完毕,只是测试代码,用来弄清楚,打印信息很明确,适合初学者
JAVA使用线程池查询大批量数据
java多线程,对多线程,线程池进行封装,方便使用
1. SpringBoot 自定义线程池以及多线程间的异步调用(@Async、@EnableAsync) 2.Java多线程之定时任务 以及 SpringBoot多线程实现定时任务 3.@EnableScheduling 与 @Scheduled
使用线程池管理多线程上传,包含了文件拆分,文件分片多线程上传,单文件上传。多线程执行任务等待管理。拒绝直接new Thread创建新线程导致的诸多问题
java简单分布式架构,多个数据源,线程池创建多线程访问数据库表,提高效率
简单的线程池程序+中文文档 包结构: com.tangkai.threadpool --SimpleThread.java 工作线程 --TestThreadPool.java 程序入口 --ThreadPoolManager.java 线程池管理类
java多线程并发查询数据库,使用线程池控制分页,并发查询。
2.然后根据提示运行java命令执行示例程序,观看线程池的运行结果 目标:Java中多线程技术是一个难点,但是也是一个核心技术。因为Java本身就是一个多线程语言。本人目前在给46班讲授Swing的网络编程--使用Swing来...
线程池的多线程并发控制技术研究.caj 线程池的多线程并发控制技术研究.caj 线程池的多线程并发控制技术研究.caj
java通过线程控制程序执行超时,多线程,反射
Java并发编程常见知识点源码集锦,涉及到对象锁,Executors多任务线程框架,线程池等示例,列出一些源码包中包括的内容: volatile关键字的非原子性、volatile关键字的使用、AtomicInteger原子性操作、线程安全小...
用于数据量大的情况下预先查询出数据,加快对后面页面数据的查询速度
鱼刺线程池 多线程拨号代码。@L1yp。Tags:鱼刺线程池多线程拨号代码。
主要给大家介绍了关于java线程池使用后到底要不要关闭的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
Java线程池及观察者模式解决多线程意外死亡重启问题,附件含两个要运行代码!
主要介绍了Java判断线程池线程是否执行完毕,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
介绍一个通用多线程服务模块。是利用jdk线程池,多线程并行处理多任务,以提高执行效率。
C++线程池 多线程 SOCEKT服务器框架 多线程,线程池技术,事件选择模型,满足基本的游戏服务器需求