1

13693261870

2023-04-10 b1bb34fc6ef2a969a75050d8d7635810a2231415

 src/main/java/com/lf/server/service/data/DownloadService.java

@@ -1,14 +1,18 @@
package com.lf.server.service.data;

import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.lf.server.entity.all.StaticData;
import com.lf.server.entity.ctrl.DownloadReqEntity;
import com.lf.server.entity.data.DownloadEntity;
import com.lf.server.entity.data.MetaEntity;
import com.lf.server.entity.show.PipelineEntity;
import com.lf.server.entity.sys.AttachEntity;
import com.lf.server.entity.sys.MetaDownEntity;
import com.lf.server.entity.sys.UserEntity;
import com.lf.server.helper.*;
import com.lf.server.mapper.all.BasicMapper;
import com.lf.server.mapper.data.DownloadMapper;
import com.lf.server.service.all.BaseQueryService;
import com.lf.server.service.sys.MetaDownService;
import net.lingala.zip4j.ZipFile;
import net.lingala.zip4j.model.FileHeader;
@@ -19,9 +23,8 @@
import org.springframework.stereotype.Service;

import java.io.File;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.io.FileInputStream;
import java.util.*;

/**
 * 下载记录
@@ -42,28 +45,28 @@

    @Override
    public Integer selectCount(String name) {
        name = StringHelper.getLikeStr(name);
        name = StringHelper.getLikeUpperStr(name);

        return downloadMapper.selectCount(name);
    }

    @Override
    public List<DownloadEntity> selectByPage(String name, Integer limit, Integer offset) {
        name = StringHelper.getLikeStr(name);
        name = StringHelper.getLikeUpperStr(name);

        return downloadMapper.selectByPage(name, limit, offset);
    }

    @Override
    public Integer selectCountForUser(Integer createUser, Integer type, String name) {
        name = StringHelper.getLikeStr(name);
        name = StringHelper.getLikeUpperStr(name);

        return downloadMapper.selectCountForUser(createUser, type, name);
    }

    @Override
    public List<DownloadEntity> selectByPageForUser(Integer createUser, Integer type, String name, Integer limit, Integer offset) {
        name = StringHelper.getLikeStr(name);
        name = StringHelper.getLikeUpperStr(name);

        return downloadMapper.selectByPageForUser(createUser, type, name, limit, offset);
    }
@@ -186,24 +189,41 @@
     * 打包文件
     *
     * @param ue   用户实体
     * @param list 源数据文件集合
     * @param list 元数据文件集合
     * @param pwd  密码
     * @return 下载文件GUID
     */
    public String zipFiles(UserEntity ue, List<MetaEntity> list, String pwd) throws Exception {
        rmRepeatMetaFiles(list);
        Map<String, List<String>> tabs = getTabs(list);
        rmRepeatMetas(list);

        String downloadPath = pathHelper.getDownloadFullPath();
        String zipName = StringHelper.YMDHMS2_FORMAT.format(new Date()) + ".zip";
        String zipFile = downloadPath + File.separator + zipName;
        Map<String, List<?>> dataMap = new HashMap<>(2);
        Map<String, List<AttachEntity>> annexMap = new HashMap<>(2);
        queryData(tabs, dataMap, annexMap);

        String tempName = StringHelper.YMDHMS2_FORMAT.format(new Date());
        String tempPath = pathHelper.getTempPath(tempName);
        String gdbPath = tempPath + File.separator + "tabs.gdb";

        File gdbFile = new File(gdbPath);
        if (gdbFile.exists() && gdbFile.isDirectory()) {
            FileHelper.deleteDir(gdbPath);
        }
        if (dataMap.size() > 0) {
            GdbHelper.createGdb(gdbPath, dataMap);
        }

        String zipFile = pathHelper.getDownloadFullPath() + File.separator + tempName + ".zip";
        ZipFile zip = Zip4jHelper.createZipFile(zipFile, pwd);
        ZipParameters params = Zip4jHelper.getZipParams();
        ZipParameters params = Zip4jHelper.getZipParams(true);
        addMetaFiles(zip, params, list);
        if (dataMap.size() > 0) {
            zip.addFolder(new File(gdbPath), params);
            addAnnex(zip, params, annexMap);
        }

        String dbPwd = Md5Helper.reverse(Md5Helper.generate(pwd));
        DownloadEntity de = getDownloadEntity(ue, zipFile, dbPwd);

        int rows = downloadMapper.insert(de);
        if (de.getId() > 0) {
            insertMetaDown(ue, list, de);
@@ -213,9 +233,32 @@
    }

    /**
     * 移除重复的源数据文件
     * 获取数据表
     */
    private void rmRepeatMetaFiles(List<MetaEntity> list) {
    private Map<String, List<String>> getTabs(List<MetaEntity> list) {
        Map<String, List<String>> tabs = new HashMap<>(2);
        for (MetaEntity meta : list) {
            if (StringHelper.isEmpty(meta.getTab()) || meta.getRows() == 0 || StringHelper.isEmpty(meta.getEventid())) {
                continue;
            }

            if (!tabs.containsKey(meta.getTab())) {
                tabs.put(meta.getTab(), new ArrayList<>());
            }

            List<String> ids = tabs.get(meta.getTab());
            if (!ids.contains(meta.getEventid())) {
                ids.add(meta.getEventid());
            }
        }

        return tabs;
    }

    /**
     * 移除重复的元数据文件
     */
    private void rmRepeatMetas(List<MetaEntity> list) {
        List<String> guidList = new ArrayList<>();

        int i = 0;
@@ -232,37 +275,138 @@
    }

    /**
     * 添加源数据文件至Zip包
     * 查询数据
     */
    private void queryData(Map<String, List<String>> tabs, Map<String, List<?>> dataMap, Map<String, List<AttachEntity>> annexMap) {
        for (String tab : tabs.keySet()) {
            try {
                String entity = tab.toLowerCase().replace("_", "").split("\\.")[1];
                BasicMapper baseMapper = ClassHelper.getBasicMapper(entity);
                if (null == baseMapper) {
                    continue;
                }

                QueryWrapper wrapper = createQueryWrapper(baseMapper, tabs.get(tab));
                addData(entity, baseMapper, wrapper, dataMap, annexMap);
            } catch (Exception ex) {
                log.error(ex.getMessage(), ex);
            }
        }
    }

    /**
     * 添加数据
     */
    public void addData(String entity, BasicMapper baseMapper, QueryWrapper wrapper, Map<String, List<?>> dataMap, Map<String, List<AttachEntity>> annexMap) {
        List list = baseMapper.selectList(wrapper);
        if (null == list || list.size() == 0) {
            return;
        }

        if (!dataMap.containsKey(entity)) {
            dataMap.put(entity, list);
        } else {
            dataMap.get(entity).addAll(list);
        }
        if (wrapper.isEmptyOfWhere()) {
            wrapper.apply("1 = 1");
        }
        if (StaticData.BBOREHOLE.equals(entity)) {
            wrapper.last("limit 100");
        }

        String tab = BaseQueryService.getTabName(baseMapper);
        List<AttachEntity> annex = baseMapper.selectAnnex(tab, wrapper);
        if (null == annex || annex.isEmpty()) {
            return;
        }

        if (!annexMap.containsKey(entity)) {
            annexMap.put(tab.replace(StaticData.POINT, "_"), annex);
        } else {
            annexMap.get(tab.replace(StaticData.POINT, "_")).addAll(annex);
        }
    }

    /**
     * 创建查询包装器
     */
    private <T> QueryWrapper<T> createQueryWrapper(BasicMapper baseMapper, List<String> ids) {
        for (int i = 0, c = ids.size(); i < c; i++) {
            ids.set(i, "'" + ids.get(i) + "'");
        }
        String filter = String.format("parentid in (%s)", StringHelper.join(ids, ","));

        QueryWrapper<T> wrapper = new QueryWrapper<T>();
        wrapper.apply(filter);

        return wrapper;
    }

    /**
     * 添加附件
     */
    public void addAnnex(ZipFile zip, ZipParameters params, Map<String, List<AttachEntity>> annexMap) {
        List<String> files = new ArrayList<>();
        String uploadPath = pathHelper.getConfig().getUploadPath();
        for (String key : annexMap.keySet()) {
            for (AttachEntity ae : annexMap.get(key)) {
                try {
                    File srcFile = new File(uploadPath + File.separator + ae.getPath());
                    if (!srcFile.exists() || srcFile.isDirectory()) {
                        continue;
                    }
                    if (files.contains(srcFile.getPath())) {
                        continue;
                    }

                    files.add(srcFile.getPath());
                    params.setFileNameInZip("annex" + File.separator + key + File.separator + ae.getName());
                    zip.addStream(new FileInputStream(srcFile), params);
                } catch (Exception ex) {
                    log.error(ex.getMessage(), ex);
                }
            }
        }
    }

    /**
     * 添加元数据文件至Zip包
     */
    private void addMetaFiles(ZipFile zip, ZipParameters params, List<MetaEntity> list) {
        int i = 1;
        List<String> names = new ArrayList<>();
        String uploadPath = pathHelper.getConfig().getUploadPath();
        for (MetaEntity mf : list) {
            if (names.contains(mf.getName())) {
                mf.setName(mf.getId() + "_" + mf.getName());
            } else {
                names.add(mf.getName());
            }

            try {
                switch ("." + mf.getType()) {
                    case StaticData.MPT:
                        addMultiFile(i++, uploadPath, mf, zip, params, StaticData.MPT_EXT);
                        addMultiFile(uploadPath, mf, zip, params, StaticData.MPT_EXT);
                        break;
                    case StaticData.IMG:
                        addMultiFile(i++, uploadPath, mf, zip, params, StaticData.IMG_EXT);
                        addMultiFile(uploadPath, mf, zip, params, StaticData.IMG_EXT);
                        break;
                    case StaticData.TIF:
                        addMultiFile(i++, uploadPath, mf, zip, params, StaticData.TIF_EXT);
                        addMultiFile(uploadPath, mf, zip, params, StaticData.TIF_EXT);
                        break;
                    case StaticData.TIFF:
                        addMultiFile(i++, uploadPath, mf, zip, params, StaticData.TIFF_EXT);
                        addMultiFile(uploadPath, mf, zip, params, StaticData.TIFF_EXT);
                        break;
                    case StaticData.SHP:
                        addMultiFile(i++, uploadPath, mf, zip, params, StaticData.SHP_EXT);
                        addMultiFile(uploadPath, mf, zip, params, StaticData.SHP_EXT);
                        break;
                    case StaticData.GDB:
                        addFolderFile(i++, uploadPath, mf, zip, params);
                        addFolderFile(uploadPath, mf, zip, params);
                        break;
                    default:
                        addSingleFile(i++, uploadPath, mf, zip, params);
                        addSingleFile(uploadPath, mf, zip, params);
                        break;
                }

            } catch (Exception ex) {
                log.error(ex.getMessage(), ex);
            }
@@ -272,7 +416,7 @@
    /**
     * 添加目录文件
     */
    private void addFolderFile(int i, String uploadPath, MetaEntity mf, ZipFile zip, ZipParameters params) throws Exception {
    private void addFolderFile(String uploadPath, MetaEntity mf, ZipFile zip, ZipParameters params) throws Exception {
        File file = new File(uploadPath + File.separator + mf.getPath());
        if (!file.exists() || !file.isDirectory()) {
            return;
@@ -282,15 +426,15 @@
        String fileName = FileHelper.getFileName(file.getPath());
        FileHeader header = zip.getFileHeader(fileName);
        if (null != header) {
            zip.renameFile(header, i + "_" + mf.getName());
            zip.renameFile(header, mf.getName());
        }
    }

    /**
     * 添加多文件
     */
    private void addMultiFile(int i, String uploadPath, MetaEntity mf, ZipFile zip, ZipParameters params, List<String> extList) throws Exception {
        addSingleFile(i, uploadPath, mf, zip, params);
    private void addMultiFile(String uploadPath, MetaEntity mf, ZipFile zip, ZipParameters params, List<String> extList) throws Exception {
        addSingleFile(uploadPath, mf, zip, params);

        for (String ext : extList) {
            File file = new File(uploadPath + File.separator + mf.getPath().replace("." + mf.getType(), ext));
@@ -302,7 +446,7 @@
            String fileName = FileHelper.getFileName(file.getPath());
            FileHeader header = zip.getFileHeader(fileName);
            if (null != header) {
                zip.renameFile(header, i + "_" + mf.getName().replace("." + mf.getType(), ext));
                zip.renameFile(header, mf.getName().replace("." + mf.getType(), ext));
            }
        }
    }
@@ -310,14 +454,17 @@
    /**
     * 添加单文件
     */
    private void addSingleFile(int i, String uploadPath, MetaEntity mf, ZipFile zip, ZipParameters params) throws Exception {
    private void addSingleFile(String uploadPath, MetaEntity mf, ZipFile zip, ZipParameters params) throws Exception {
        File file = new File(uploadPath + File.separator + mf.getPath());
        if (!file.exists() || file.isDirectory()) {
            return;
        }
        zip.addFile(file, params);

        String fileName = FileHelper.getFileName(file.getPath());
        FileHeader header = zip.getFileHeader(fileName);
        if (null != header) {
            zip.renameFile(header, i + "_" + mf.getName());
            zip.renameFile(header, mf.getName());
        }
    }

@@ -327,14 +474,14 @@
    private DownloadEntity getDownloadEntity(UserEntity ue, String file, String pwd) {
        DownloadEntity de = new DownloadEntity();
        de.setName(FileHelper.getFileName(file));
        // 1-Shp文件，2-专题图，3-源数据，4-业务数据，5-管道分析，6-统计报告
        // 1-Shp文件，2-专题图，3-元数据，4-业务数据，5-管道分析，6-统计报告
        de.setType(3);
        de.setSizes(FileHelper.sizeToMb(new File(file).length()));
        de.setDepid(ue.getDepid());
        de.setDcount(0);
        de.setPwd(pwd);
        de.setUrl(FileHelper.getRelativePath(file));
        de.setDescr("源数据文件");
        de.setDescr("元数据文件");
        de.setGuid(FileHelper.getFileMd5(file));
        de.setCreateUser(ue.getId());
        // de.setGeom(null)
@@ -343,7 +490,7 @@
    }

    /**
     * 插入源数据-下载表
     * 插入元数据-下载表
     */
    private void insertMetaDown(UserEntity ue, List<MetaEntity> metas, DownloadEntity de) {
        List<MetaDownEntity> list = new ArrayList<>();
@@ -358,4 +505,13 @@

        metaDownService.inserts(list);
    }

    /**
     * 查询元数据中溢出的单位ID
     */
    public List<String> selectMetaOverflowDep(UserEntity ue, DownloadReqEntity dr) {
        List<String> rs = new ArrayList<>();

        return rs;
    }
}