1

13693261870

2023-04-11 4bc6c32f168cd4b4fda77b3a628c0fcd99268ec5

 src/main/java/com/lf/server/service/show/DataLibService.java

@@ -1,14 +1,16 @@
package com.lf.server.service.show;

import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.lf.server.entity.ctrl.DownloadReqEntity;
import com.lf.server.entity.data.DownloadEntity;
import com.lf.server.entity.sys.AttachEntity;
import com.lf.server.entity.sys.UserEntity;
import com.lf.server.helper.*;
import com.lf.server.mapper.all.BasicMapper;
import com.lf.server.mapper.all.GeomBaseMapper;
import com.lf.server.mapper.data.DownloadMapper;
import com.lf.server.service.all.BaseQueryService;
import com.lf.server.service.data.DownloadService;
import com.lf.server.service.data.MetaService;
import net.lingala.zip4j.ZipFile;
import net.lingala.zip4j.model.ZipParameters;
import org.apache.commons.logging.Log;
@@ -29,10 +31,10 @@
    PathHelper pathHelper;

    @Autowired
    DownloadMapper downloadMapper;
    MetaService metaService;

    @Autowired
    DownloadService downloadService;
    DownloadMapper downloadMapper;

    @Autowired
    BaseQueryService baseQueryService;
@@ -42,35 +44,77 @@
    /**
     * 查询DB中溢出的单位编码
     */
    public List<String> selectDbOverflowDep(UserEntity ue, List<String> entities, String wkt) {
    public List<String> selectDbOverflowDep(UserEntity ue, DownloadReqEntity dr) {
        if (!StringHelper.isEmpty(dr.getWkt())) {
            return selectDbOverflowDep4Wkt(ue, dr);
        }

        return selectDbOverflowDep4Prop(ue, dr);
    }

    /**
     * 查询DB中溢出的单位编码-空间查询
     */
    public List<String> selectDbOverflowDep4Wkt(UserEntity ue, DownloadReqEntity dr) {
        List<String> rs = new ArrayList<>();
        for (String enity : entities) {
            try {
                GeomBaseMapper<?> baseMapper = ClassHelper.getGeoBaseMapper(enity);
                if (null == baseMapper) {
                    continue;
                }

                QueryWrapper wrapper = new QueryWrapper();
                wrapper.select("depid");
                // wrapper.gt("depid", 0); wrapper.apply(String.format("depid != ALL(fn_rec_array(%d, 'dep'))", ue.getDepid()))
                wrapper.apply("depid is not null and depid not like '" + ue.getDepcode() + "%'");
                wrapper.groupBy("depid");

                Integer srid = baseQueryService.getSrid(baseMapper);
                if (null != srid) {
                    wrapper.apply(String.format("ST_Intersects(ST_PolygonFromText('%s', %d), geom)", wkt, srid));
                }

                List<String> ids = baseMapper.selectObjs(wrapper);

                addDepCodes(rs, ids);
            } catch (Exception ex) {
                log.error(ex.getMessage(), ex);
        for (String entity : dr.getEntities()) {
            GeomBaseMapper<?> baseMapper = ClassHelper.getGeoBaseMapper(entity);
            if (null == baseMapper) {
                continue;
            }

            QueryWrapper wrapper = getWrapper4DbOverflow(ue, dr);
            Integer srid = baseQueryService.getSrid(baseMapper);
            wrapper.apply(String.format("ST_Intersects(ST_PolygonFromText('%s', %d), geom)", dr.getWkt(), srid));

            List<String> ids = baseMapper.selectObjs(wrapper);
            addDepCodes(rs, ids);
        }

        return rs;
    }

    /**
     * 查询DB中溢出的单位编码-属性查询
     */
    public List<String> selectDbOverflowDep4Prop(UserEntity ue, DownloadReqEntity dr) {
        List<String> rs = new ArrayList<>();
        BasicMapper<?> baseMapper = ClassHelper.getBasicMapper(dr.getEntities().get(0));
        if (null == baseMapper) {
            return rs;
        }

        QueryWrapper wrapper = getWrapper4DbOverflow(ue, dr);
        List<String> ids = baseMapper.selectObjs(wrapper);
        addDepCodes(rs, ids);

        return rs;
    }

    /**
     * 查询DB中溢出单位编码的查询包装器
     */
    private <T> QueryWrapper<T> getWrapper4DbOverflow(UserEntity ue, DownloadReqEntity dr) {
        QueryWrapper<T> wrapper = new QueryWrapper<T>();
        wrapper.select("depid");
        wrapper.groupBy("depid");
        wrapper.apply("depid is not null and depid not like '" + ue.getDepcode() + "%'");

        if (null != dr.getIds() && dr.getIds().size() > 0) {
            wrapper.apply(String.format("gid in (%s)", StringHelper.join(dr.getIds(), ",")));
        } else {
            baseQueryService.addFilterWrapper(wrapper, dr.getFilter());
        }

        String dirs = copeCodes(dr.getDirs(), "dirid");
        if (!StringHelper.isEmpty(dirs)) {
            wrapper.apply(dirs);
        }
        if (!StringHelper.isEmpty(dr.getDepcode())) {
            wrapper.likeRight("depid", dr.getDepcode());
        }

        return wrapper;
    }

    /**
@@ -82,6 +126,9 @@
        }

        for (String id : ids) {
            if (StringHelper.isEmpty(id)) {
                continue;
            }
            if (!rs.contains(id)) {
                rs.add(id);
            }
@@ -89,106 +136,121 @@
    }

    /**
     * 创建Zip包
     * 请求DB数据下载
     */
    public String createZipFile(UserEntity ue, List<String> entities, String depcode, String dirs, String wkt, String pwd) throws Exception {
        Map<String, List<?>> map = queryData(entities, depcode, dirs, wkt);
        if (map.size() == 0) {
    public String downloadDbReq(UserEntity ue, DownloadReqEntity dr) throws Exception {
        Map<String, List<?>> dataMap = new HashMap<>(2);
        Map<String, List<AttachEntity>> annexMap = new HashMap<>(2);
        queryData(dr, dataMap, annexMap);
        if (dataMap.size() == 0) {
            return null;
        }

        String tempName = StringHelper.YMDHMS2_FORMAT.format(new Date());
        String tempPath = pathHelper.getTempPath(tempName);
        // String filePath = "D:\\LF\\temp\\20221219202706\\2022.gdb"
        String filePath = tempPath + File.separator + tempName + ".gdb";
        String gdbPath = tempPath + File.separator + "tabs.gdb";

        File file = new File(filePath);
        if (file.exists() && file.isDirectory()) {
            FileHelper.deleteDir(filePath);
        File gdbFile = new File(gdbPath);
        if (gdbFile.exists() && gdbFile.isDirectory()) {
            FileHelper.deleteDir(gdbPath);
        }
        GdbHelper.createGdb(filePath, map);
        GdbHelper.createGdb(gdbPath, dataMap);

        String zipName = tempName + ".gdb.zip";
        String zipFile = pathHelper.getDownloadFullPath() + File.separator + zipName;

        ZipFile zip = Zip4jHelper.createZipFile(zipFile, pwd);
        String zipFile = pathHelper.getDownloadFullPath() + File.separator + tempName + ".gdb.zip";
        ZipFile zip = Zip4jHelper.createZipFile(zipFile, dr.getPwd());
        ZipParameters params = Zip4jHelper.getZipParams(true);
        addZipFiles(zip, params, file.listFiles());
        zip.addFolder(new File(gdbPath), params);
        // zip.addFolder(new File(annexPath), params)
        metaService.addAnnex(zip, params, annexMap);

        String dbPwd = Md5Helper.reverse(Md5Helper.generate(pwd));
        DownloadEntity downloadEntity = getDownloadEntity(ue, zipFile, dbPwd);
        int rows = downloadMapper.insert(downloadEntity);
        String dbPwd = Md5Helper.reverse(Md5Helper.generate(dr.getPwd()));
        DownloadEntity de = getDownloadEntity(ue, zipFile, dbPwd);
        int rows = downloadMapper.insert(de);

        return rows > 0 ? downloadEntity.getGuid() : null;
        return rows > 0 ? de.getGuid() : null;
    }

    /**
     * 查询数据
     * 查询数据+附件
     */
    private Map<String, List<?>> queryData(List<String> entities, String depcode, String dirs, String wkt) {
        Map<String, List<?>> map = new HashMap<>(5);
        for (String enity : entities) {
    private void queryData(DownloadReqEntity dr, Map<String, List<?>> dataMap, Map<String, List<AttachEntity>> annexMap) {
        for (String entity : dr.getEntities()) {
            try {
                GeomBaseMapper<?> baseMapper = ClassHelper.getGeoBaseMapper(enity);
                BasicMapper baseMapper = ClassHelper.getBasicMapper(entity);
                if (null == baseMapper) {
                    continue;
                }

                QueryWrapper wrapper = createWrapper(baseMapper, depcode, dirs, wkt);
                List<?> list = baseMapper.selectList(wrapper);
                if (null == list || list.size() == 0) {
                    continue;
                }

                if (!map.containsKey(enity)) {
                    map.put(enity, list);
                }
                QueryWrapper wrapper = createQueryWrapper(baseMapper, dr);
                metaService.addData(entity, baseMapper, wrapper, dataMap, annexMap);
            } catch (Exception ex) {
                log.error(ex.getMessage(), ex);
            }
        }

        return map;
    }

    /**
     * 创建QueryWrapper
     * 创建查询包装器
     */
    private QueryWrapper createWrapper(BasicMapper baseMapper, String depcode, String dirs, String wkt) {
        QueryWrapper wrapper = new QueryWrapper();
        if (baseMapper instanceof GeomBaseMapper) {
            wrapper.select("ST_AsText(geom) as geom, *");
    private <T> QueryWrapper<T> createQueryWrapper(BasicMapper baseMapper, DownloadReqEntity dr) {
        QueryWrapper<T> wrapper = new QueryWrapper<T>();

            Integer srid = baseQueryService.getSrid((GeomBaseMapper) baseMapper);
            if (null != srid) {
                wrapper.apply(String.format("ST_Intersects(ST_PolygonFromText('%s', %d), geom)", wkt, srid));
            }
        }
        if (!StringHelper.isEmpty(depcode)) {
            wrapper.likeRight("depid", depcode);
        }

        dirs = DataLibService.copeCodes(dirs, "dirid");
        String dirs = copeCodes(dr.getDirs(), "dirid");
        if (!StringHelper.isEmpty(dirs)) {
            wrapper.apply(dirs);
        }
        if (!StringHelper.isEmpty(dr.getDepcode())) {
            // wrapper.apply(String.format("depid like '%s'", StringHelper.getRightLike(dr.getDepcode())))
            wrapper.likeRight("depid", dr.getDepcode());
        }
        if (baseMapper instanceof GeomBaseMapper) {
            wrapper.select("ST_AsText(geom) as geom, *");
            if (!StringHelper.isEmpty(dr.getWkt())) {
                Integer srid = baseQueryService.getSrid((GeomBaseMapper) baseMapper);
                wrapper.apply(String.format("ST_Intersects(ST_PolygonFromText('%s', %d), geom)", dr.getWkt(), srid));
            }
        }
        if (null != dr.getIds() && dr.getIds().size() > 0) {
            wrapper.apply(String.format("gid in (%s)", StringHelper.join(dr.getIds(), ",")));
        } else {
            baseQueryService.addFilterWrapper(wrapper, dr.getFilter());
        }

        return wrapper;
    }

    /**
     * 添加Zip文件
     * 创建附件 *
     */
    private void addZipFiles(ZipFile zip, ZipParameters params, File[] files) {
        if (null == files || files.length == 0) {
    private void createAnnex(String annexPath, Map<String, List<AttachEntity>> annexMap) {
        if (annexMap.size() == 0) {
            return;
        }

        for (File f : files) {
            try {
                zip.addFile(f, params);
            } catch (Exception ex) {
                log.error(ex.getMessage(), ex);
        String uploadPath = pathHelper.getConfig().getUploadPath();
        for (String key : annexMap.keySet()) {
            String targetPath = annexPath + File.separator + key;
            File targetFile = new File(targetPath);
            if (!targetFile.exists() || !targetFile.isDirectory()) {
                targetFile.mkdirs();
            }

            for (AttachEntity ae : annexMap.get(key)) {
                try {
                    File srcFile = new File(uploadPath + File.separator + ae.getPath());
                    if (!srcFile.exists() || srcFile.isDirectory()) {
                        continue;
                    }

                    File destFile = new File(targetPath + File.separator + ae.getName());
                    if (destFile.exists() && !destFile.isDirectory()) {
                        continue;
                    }

                    FileHelper.copyFile(srcFile, destFile);
                } catch (Exception ex) {
                    log.error(ex.getMessage(), ex);
                }
            }
        }
    }
@@ -215,68 +277,6 @@
    }

    /**
     * 打包DB数据
     */
    public String zipDbData(UserEntity ue, String name, String depcode, String dirs, String filter, String pwd) throws Exception {
        BasicMapper baseMapper = ClassHelper.getBasicMapper(name);
        if (baseMapper == null) {
            return null;
        }

        QueryWrapper wrapper = new QueryWrapper();
        baseQueryService.addFilterWrapper(wrapper, filter);
        if (baseMapper instanceof GeomBaseMapper) {
            wrapper.select("ST_AsText(geom) as geom, *");
        }
        if (!StringHelper.isEmpty(depcode)) {
            wrapper.likeRight("depid", depcode);
        }

        dirs = DataLibService.copeCodes(dirs, "dirid");
        if (!StringHelper.isEmpty(dirs)) {
            wrapper.apply(dirs);
        }

        List<?> list = baseMapper.selectList(wrapper);
        if (null == list || 0 == list.size()) {
            return null;
        }

        Map<String, List<?>> map = new HashMap<>(1);
        map.put(name, list);

        return zipData(ue, map, pwd);
    }

    /**
     * 打包数据
     */
    private String zipData(UserEntity ue, Map<String, List<?>> map, String pwd) throws Exception {
        String tempName = StringHelper.YMDHMS2_FORMAT.format(new Date());
        String tempPath = pathHelper.getTempPath(tempName);
        String filePath = tempPath + File.separator + tempName + ".gdb";

        File file = new File(filePath);
        if (file.exists() && file.isDirectory()) {
            FileHelper.deleteDir(filePath);
        }
        GdbHelper.createGdb(filePath, map);

        String zipName = tempName + ".gdb.zip";
        String zipFile = pathHelper.getDownloadFullPath() + File.separator + zipName;

        ZipFile zip = Zip4jHelper.createZipFile(zipFile, pwd);
        ZipParameters params = Zip4jHelper.getZipParams(true);
        addZipFiles(zip, params, file.listFiles());

        String dbPwd = Md5Helper.reverse(Md5Helper.generate(pwd));
        DownloadEntity downloadEntity = getDownloadEntity(ue, zipFile, dbPwd);
        int rows = downloadMapper.insert(downloadEntity);

        return rows > 0 ? downloadEntity.getGuid() : null;
    }

    /**
     * 处理编码
     */
    public static String copeCodes(String codes, String field) {
@@ -288,7 +288,7 @@
        removeDuplicate(list);
        setRightLike(list, field);

        return StringHelper.join(list, " or ");
        return "(" + StringHelper.join(list, " or ") + ")";
    }

    /**