博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Java读取并下载网络文件
阅读量:5025 次
发布时间:2019-06-12

本文共 2789 字,大约阅读时间需要 9 分钟。

 

CreateTime--2017年8月21日10:11:07

Author:Marydon

import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.HttpURLConnection;import java.net.URL;/** * Java读取并下载网络文件 * @author Marydon * @createTime 2017年8月18日下午5:24:09 * @updateTime * @Email:marydon2017@163.com * @version:1.0.0 * @referenceLink *   java 从网络Url中下载文件 */public class DownloadFromNetwork {    /**      * 从网络Url中下载文件      * @param urlStr      * @param fileName      * @param savePath      * @throws IOException      */      public static void  downLoadFromUrl(String urlStr,String fileName,String savePath) throws IOException{          URL url = new URL(urlStr);            HttpURLConnection conn = (HttpURLConnection)url.openConnection();                    //设置超时间为3秒          conn.setConnectTimeout(3*1000);          //防止屏蔽程序抓取而返回403错误          conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");            //得到输入流          InputStream inputStream = conn.getInputStream();            //获取自己数组          byte[] getData = readInputStream(inputStream);                //文件保存位置          File saveDir = new File(savePath);          if(!saveDir.exists()){              saveDir.mkdirs();          }          File file = new File(saveDir+File.separator+fileName);              FileOutputStream fos = new FileOutputStream(file);               fos.write(getData);           if(fos!=null){              fos.close();            }          if(inputStream!=null){              inputStream.close();          }            System.out.println("info:"+url+" download success");         }        /**      * 从输入流中获取字节数组      * @param inputStream      * @return      * @throws IOException      */      public static  byte[] readInputStream(InputStream inputStream) throws IOException {            byte[] buffer = new byte[1024];            int len = 0;            ByteArrayOutputStream bos = new ByteArrayOutputStream();            while((len = inputStream.read(buffer)) != -1) {                bos.write(buffer, 0, len);            }            bos.close();            return bos.toByteArray();        }     }
测试:
public static void main(String[] args) {      try{          for (int i = 201; i <=520; i++) {            downLoadFromUrl("https://ss1.bdstatic.com/kvoZeXSm1A5BphGlnYG/skin/" + i + ".jpg",i + ".jpg","E:/Downloads/wallpaper/baiduSkin");          }    }catch (Exception e) {          e.printStackTrace();    }  }
说明:
  上面的方法适用于URL就是要文件下载地址(如图片),批量下载的话,也必须是有规律可询的才行,该网页有且只有一个文件
  比如:要想下载某个网页上所有的网络图片,使用这种方法会变得比较繁琐,因为你必须精确的知道该网页上每个图片的有效网址,
  当批量下载单个网页上的图片时,我总结了两套方案:
  方案一:javascript+java(基于这种方式的实现),详情请移步至:
  方案二:纯java实现,详情请移步至:

 

 相关推荐:

 

 

转载于:https://www.cnblogs.com/Marydon20170307/p/7402871.html

你可能感兴趣的文章
Selenium-测试对象操作之:获取浏览器滚动条滚动距离
查看>>
Linux下MySQL数据库安装与配置
查看>>
Extjs String转Json
查看>>
oracle入门(4)——少而常用的命令
查看>>
tcp文件上传优化
查看>>
单片机——间隔点亮LED
查看>>
【Python】实战一 外星人入侵
查看>>
Repeater 动态增加删除一行
查看>>
java学习笔记25(Collections类)
查看>>
KMP
查看>>
Java多线程基础
查看>>
4 自动化构建工具gulp
查看>>
Xss过滤,只json型数据过滤,图片文件不过滤,采用jsoup
查看>>
5号团队-团队任务4:每日立会(2018-12-6)
查看>>
Windows8应用开发学习(四)AppBar
查看>>
Android 使用 WebView
查看>>
微软企业库验证 Validations
查看>>
【转载】C++中的线程函数如何访问类中的成员变量
查看>>
[Windows报错]要求的函数不受支持、这可能是由于 CredSSP 加密 Oracle 修正
查看>>
C - 高速の廃墟と巨人 HDU - 2874 终版LCARMQ模板
查看>>