1

13693261870

2023-09-18 a338dc252ced3f019f74a710153c28cb0a9329a1

 src/main/java/com/lf/server/service/data/UploadService.java

@@ -1,5 +1,6 @@
package com.lf.server.service.data;

import com.google.common.collect.Lists;
import com.lf.server.entity.all.BaseEntity;
import com.lf.server.entity.all.StaticData;
import com.lf.server.entity.data.*;
@@ -9,18 +10,24 @@
import com.lf.server.mapper.data.UploadMapper;
import com.lf.server.service.all.BaseQueryService;
import com.lf.server.service.all.BaseUploadService;
import com.lf.server.service.sys.DepService;
import org.apache.commons.io.FileUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import javax.servlet.http.HttpServletRequest;
import java.io.File;
import java.lang.reflect.Field;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.sql.Timestamp;
import java.util.ArrayList;
import java.util.List;

/**
 * 数据上传服务类
 *
 * @author WWW
 */
@Service
@@ -33,6 +40,12 @@

    @Autowired
    MetaService metaService;

    @Autowired
    DepService depService;

    @Autowired
    DirService dirService;

    @Override
    public List<CoordEntity> selectCoords(String zoning) {
@@ -57,11 +70,15 @@
    /**
     * 插入文件
     */
    public List<MetaEntity> insertFiles(UserEntity ue, List<MetaFileEntity> list, HttpServletRequest req) {
    public void insertFiles(UserEntity ue, List<MetaFileEntity> list, HttpServletRequest req) {
        checkMetaFiles(ue, list);
        excelLoader(list, req);

        return dataLoader(list);
        List<MetaFileEntity> xlsList = getExcelFiles(list);
        loadData(list);
        copyFiles(list);
        insertMetas(list);
        if (xlsList.size() > 0) {
            String guid = excelLoader(xlsList, req);
        }
    }

    /**
@@ -74,25 +91,104 @@
        for (MetaFileEntity mf : list) {
            mf.setCreateUser(ue.getId());
            mf.setCreateTime(createTime);
            mf.setDepid(ue.getDepid());
            mf.setDepcode(ue.getDepcode());
            mf.setPath(tempPath + File.separator + mf.getPath());
            mf.setMsg(null);

            File f = new File(mf.getPath());
            if (!f.exists()) {
                mf.setMsg("文件丢失");
                mf.setRows(-1);
            }
            if (f.exists() && StringHelper.isNull(mf.getGuid())) {
                mf.setGuid(FileHelper.getFileMd5(f.getPath()));
            }

            MetaEntity old = metaService.selectByGuid(mf.getGuid(), getDirCode(mf), null);
            if (null != old) {
                mf.setMsg("已存在");
            }
        }
    }

    /**
     * 加载数据
     * 获取目录编码
     */
    private List<MetaEntity> dataLoader(List<MetaFileEntity> list) {
        loadData(list);
        copyFiles(list);
    private String getDirCode(MetaFileEntity mf) {
        if (StringHelper.isEmpty(mf.getDircode())) {
            return null;
        }

        return insertMetas(list);
        return StringHelper.getRightLike(mf.getDircode().substring(0, 2));
    }

    /**
     * 获取Excel元数据文件
     */
    private List<MetaFileEntity> getExcelFiles(List<MetaFileEntity> list) {
        List<MetaFileEntity> xlsList = new ArrayList<>();
        for (MetaFileEntity mf : list) {
            if (null == mf.getMsg() && isExcel(mf)) {
                xlsList.add(mf);
            }
        }
        if (xlsList.isEmpty()) {
            return xlsList;
        }

        String xlsBasePath = getXlsPath(xlsList.get(0).getPath());
        for (int i = 0, c = xlsList.size(); i < c; i++) {
            MetaFileEntity mf = xlsList.get(i);
            String xlsPath = copyXlsFile(xlsBasePath, i, mf);
            mf.setXlsPath(xlsPath);
        }

        return xlsList;
    }

    /**
     * 是/否为Excel
     */
    private boolean isExcel(MetaFileEntity mf) {
        return StaticData.XLS.equals(mf.getExtName()) || StaticData.XLSX.equals(mf.getExtName());
    }

    /**
     * 获取Xls目录
     */
    private String getXlsPath(String filePath) {
        String tempPath = pathHelper.getConfig().getTempPath() + File.separator;
        String subPath = filePath.substring(tempPath.length());
        subPath = tempPath + subPath.substring(0, subPath.indexOf(File.separator)).replace("_zip", "") + "_xls";

        File f = new File(subPath);
        if (!f.exists() || !f.isDirectory()) {
            f.mkdirs();
        }

        return subPath;
    }

    /**
     * 复制Xls文件
     */
    private String copyXlsFile(String xlsBasePath, int i, MetaFileEntity mf) {
        try {
            String xlsPath = xlsBasePath + File.separator + i;

            File file = new File(xlsPath);
            if (!file.exists() || !file.isDirectory()) {
                file.mkdirs();
            }
            file = new File(mf.getPath());

            File newFile = new File(xlsPath + File.separator + FileHelper.getFileName(file.getPath()));
            FileUtils.copyFile(file, newFile);

            return newFile.getPath();
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
            return null;
        }
    }

    /**
@@ -100,7 +196,7 @@
     */
    private void loadData(List<MetaFileEntity> list) {
        for (MetaFileEntity mf : list) {
            if (StringHelper.isEmpty(mf.getEntity())) {
            if (null != mf.getMsg() || StringHelper.isEmpty(mf.getEntity())) {
                continue;
            }
            if (StaticData.SHP.equals(mf.getExtName()) || StaticData.GDB.equals(mf.getExtName())) {
@@ -112,7 +208,7 @@
    /**
     * 加载空间数据
     */
    private void loadSpatialData(MetaFileEntity mf) {
    public void loadSpatialData(MetaFileEntity mf) {
        BasicMapper basicMapper = ClassHelper.getBasicMapper(mf.getEntity());
        if (null == basicMapper) {
            return;
@@ -125,23 +221,54 @@
            return;
        }

        List<?> list = null;
        File file = new File(mf.getPath());
        if (!file.exists()) {
            mf.setMsg("文件丢失");
            return;
        }

        MetaEntity old = metaService.selectByGuid(mf.getGuid(), getDirCode(mf), tabName);
        if (null != old) {
            mf.setMsg("已存在");
            return;
        }

        List<?> list;
        if (StaticData.SHP.equals(mf.getExtName())) {
            list = ShpHelper.readData(clazz, mf.getPath());
            list = ShpHelper.readData(clazz, mf.getPath(), true);
        } else {
            list = GdbHelper.readData(clazz, mf.getPath(), mf.getTab());
            list = GdbHelper.readData(clazz, mf.getPath(), mf.getTab(), true);
        }
        if (null == list || list.isEmpty()) {
            return;
        }
        mf.setRecords(list.size());
        setCreateInfo(list, mf);

        int rows = basicMapper.insertBatch(list);
        int rows = batchInserts(basicMapper, list);
        if (rows > 0) {
            mf.setEntity(mf.getTab());
            mf.setTab(tabName);
            mf.setRows(rows);
        }
    }

    /**
     * 批量插入
     */
    private <T> int batchInserts(BasicMapper basicMapper, List<T> list) {
        int rows = 0;
        //int count = (int) Math.ceil(list.size() / StaticData.D100)
        List<List<T>> subLists = Lists.partition(list, StaticData.I50);
        for (List<T> sub : subLists) {
            try {
                rows += basicMapper.insertBatch(sub);
            } catch (Exception ex) {
                log.error(ex);
            }
        }

        return rows;
    }

    /**
@@ -157,8 +284,8 @@
                BaseEntity be = (BaseEntity) t;
                be.setEventid(StringHelper.getGuid());
                be.setParentid(mf.getEventid());
                be.setDirid(mf.getDirid());
                be.setDepid(mf.getDepid());
                be.setDirid(mf.getDircode());
                be.setDepid(mf.getDepcode());
                be.setVerid(mf.getVerid());
                be.setCreateuser(mf.getCreateUser());
                be.setCreatetime(mf.getCreateTime());
@@ -174,9 +301,16 @@
    private void copyFiles(List<MetaFileEntity> list) {
        List<String> gdbList = new ArrayList<>();
        for (MetaFileEntity mf : list) {
            if (null != mf.getMsg()) {
                continue;
            }

            switch (mf.getExtName()) {
                case StaticData.MPT:
                    copyMultiFile(mf, StaticData.MPT_EXT);
                    break;
                case StaticData.JPG:
                    copyMultiFile(mf, StaticData.JPG_EXT);
                    break;
                case StaticData.IMG:
                    copyMultiFile(mf, StaticData.IMG_EXT);
@@ -190,13 +324,16 @@
                case StaticData.SHP:
                    copyMultiFile(mf, StaticData.SHP_EXT);
                    break;
                case StaticData.OSGB:
                    copyFolderFile(mf);
                    break;
                case StaticData.GDB:
                    if (gdbList.contains(mf.getPath())) {
                        String path = findPathByGuid(list, mf);
                        if (null != path) {
                            mf.setPath(path);
                            continue;
                        }
                        continue;
                    }

                    gdbList.add(mf.getPath());
@@ -219,12 +356,10 @@
            return -1;
        }

        MetaEntity old = metaService.selectByGuid(mf.getGuid());
        MetaEntity old = metaService.selectByGuid(mf.getGuid(), null, null);
        if (null != old) {
            mf.setPath(old.getPath());
            mf.setTab(old.getTab());
            mf.setEntity(old.getLayer());
            mf.setRows(old.getRows());
            // mf.setMsg("已存在")
            setOldMeta(mf, old);
            file.delete();
            return 0;
        }
@@ -247,11 +382,20 @@
    }

    /**
     * 设置旧元数据信息
     */
    private void setOldMeta(MetaFileEntity mf, MetaEntity old) {
        mf.setPath(old.getPath());
        mf.setTab(old.getTab());
        mf.setRows(old.getRows());
        mf.setEntity(old.getEventid());
    }

    /**
     * 复制多个文件
     */
    private void copyMultiFile(MetaFileEntity mf, List<String> extList) {
        String path = mf.getPath();

        int status = copySingleFile(mf);
        if (status < 1) {
            for (int i = 0, c = extList.size(); i < c; i++) {
@@ -292,12 +436,10 @@
            return;
        }

        MetaEntity old = metaService.selectByGuid(mf.getGuid());
        MetaEntity old = metaService.selectByGuid(mf.getGuid(), null, null);
        if (null != old) {
            mf.setPath(old.getPath());
            mf.setTab(old.getTab());
            mf.setEntity(old.getLayer());
            mf.setRows(old.getRows());
            // mf.setMsg("已存在")
            setOldMeta(mf, old);
            FileHelper.deleteFiles(file);
            return;
        }
@@ -313,15 +455,11 @@
            return;
        }

        newFile.mkdirs();
        File[] files = file.listFiles();
        if (null == files || files.length == 0) {
            return;
        }

        for (File f : files) {
            String subFile = targetPath + File.separator + FileHelper.getFileName(f.getPath());
            f.renameTo(new File(subFile));
        try {
            // newFile.mkdirs()
            FileUtils.moveDirectory(file, newFile);
        } catch (Exception ex) {
            log.error(ex);
        }
        mf.setPath(subPath);
    }
@@ -340,32 +478,49 @@
    }

    /**
     * 创建文件链接
     */
    private void createFileLink(String source, String target) {
        String cmd = String.format("cmd /c mklink \"%s\" \"%s\"", target, source);
        WebHelper.exec(cmd);
    }

    /**
     * 插入元数据
     */
    private List<MetaEntity> insertMetas(List<MetaFileEntity> list) {
        List<MetaEntity> metas = new ArrayList<>();
    private void insertMetas(List<MetaFileEntity> list) {
        int metaId = insertParentMeta(list);

        List<String> guids = new ArrayList<>();
        for (MetaFileEntity mf : list) {
            if (StringHelper.isEmpty(mf.getMsg())) {
                metas.add(createMeta(mf));
            if (null != mf.getMsg()) {
                continue;
            }
        }
        if (metas.isEmpty()) {
            return null;
        }

        int rows = metaService.inserts(metas);
            MetaEntity me = createMeta(mf, metaId);
            if (StaticData.NGDB.equals(me.getType())) {
                if (guids.contains(me.getGuid())) {
                    me.setIsmeta((short) -1);
                } else {
                    guids.add(me.getGuid());
                }
            }

        return rows > 0 ? metas : null;
            metaService.insert(me);
            String err = mf.getRows() < mf.getRecords() ? "(" + (mf.getRecords() - mf.getRows()) + " 条失败)" : "";
            mf.setMsg(me.getId() > 0 ? String.format("成功%s", err) : "失败");
        }
    }

    /**
     * 创建元数据
     */
    private MetaEntity createMeta(MetaFileEntity mf) {
    private MetaEntity createMeta(MetaFileEntity mf, int metaId) {
        MetaEntity me = new MetaEntity();
        me.setMetaid(metaId);
        me.setEventid(mf.getEventid());
        me.setDirid(mf.getDirid());
        me.setDepid(mf.getDepid());
        me.setDircode(mf.getDircode());
        me.setDepcode(mf.getDepcode());
        me.setVerid(mf.getVerid());
        me.setName(mf.getName());
        me.setType(mf.getType());
@@ -386,112 +541,201 @@
    }

    /**
     * Excel入库
     * 插入父元数据
     */
    private String excelLoader(List<MetaFileEntity> list, HttpServletRequest req) {
        List<MetaFileEntity> xlsList = getExcelFiles(list);
        if (xlsList.isEmpty()) {
            return "";
    private int insertParentMeta(List<MetaFileEntity> list) {
        for (MetaFileEntity mf : list) {
            if (null != mf.getMsg() || !mf.getIsMeta()) {
                continue;
            }

            MetaEntity me = createMeta(mf, 0);
            me.setIsmeta((short) 1);
            metaService.insert(me);
            mf.setMsg(me.getId() > 0 ? "成功" : "失败");

            return me.getId();
        }

        String guid = null;
        return 0;
    }

    /**
     * Excel入库
     */
    private String excelLoader(List<MetaFileEntity> xlsList, HttpServletRequest req) {
        try {
            MetaFileEntity meta = getExcelMeta(xlsList);
            guid = fmeService.excelLoader(meta, req);
            MetaFileEntity xlsMeta = getExcelMeta(xlsList);
            if (null != xlsMeta) {
                return fmeService.excelLoader(xlsMeta, req);
            }
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
        }

        return guid;
    }

    /**
     * 获取Excel元数据文件
     */
    private List<MetaFileEntity> getExcelFiles(List<MetaFileEntity> list) {
        List<MetaFileEntity> xlsList = new ArrayList<>();
        for (MetaFileEntity mf : list) {
            boolean isXls = StaticData.XLS.equals(mf.getExtName()) || StaticData.XLSX.equals(mf.getExtName());
            if (mf.getRows() > -1 && isXls) {
                MetaEntity old = metaService.selectByGuid(mf.getGuid());
                if (null == old) {
                    xlsList.add(mf);
                } else {
                    mf.setTab(old.getTab());
                    mf.setEntity(old.getLayer());
                    mf.setRows(old.getRows());
                }
            }
        }

        return xlsList;
        return null;
    }

    /**
     * 获取Excel的元数据
     */
    private MetaFileEntity getExcelMeta(List<MetaFileEntity> xlsList) {
        if (null == xlsList || xlsList.isEmpty()) {
            return null;
        }

        List<String> pathList = new ArrayList<>();
        List<String> dirList = new ArrayList<>();
        List<String> pidList = new ArrayList<>();

        String xlsBasePath = getXlsPath(xlsList.get(0).getPath());
        for (int i = 0, c = xlsList.size(); i < c; i++) {
            MetaFileEntity mf = xlsList.get(i);

            String path = copyXlsFile(xlsBasePath, i, mf);
            if (null != path) {
                pathList.add(path);
                dirList.add(mf.getDirid() + "");
            if ("成功".equals(mf.getMsg()) && null != mf.getXlsPath()) {
                pathList.add(mf.getXlsPath());
                dirList.add(mf.getDircode());
                pidList.add(mf.getEventid());
            }
        }

        MetaFileEntity first = xlsList.get(0);
        MetaFileEntity meta = new MetaFileEntity();
        meta.setPath(StringHelper.join(pathList, ","));
        meta.setEpsgCode(xlsList.get(0).getEpsgCode());
        meta.setEpsgCode(first.getEpsgCode());
        meta.setName(StringHelper.join(dirList, ";"));
        meta.setDepid(xlsList.get(0).getDepid());
        meta.setVerid(xlsList.get(0).getVerid());
        meta.setCreateUser(xlsList.get(0).getCreateUser());
        meta.setDepcode(first.getDepcode());
        meta.setVerid(first.getVerid());
        meta.setCreateUser(first.getCreateUser());
        meta.setEventid(StringHelper.join(pidList, ";"));

        return meta;
    }

    /**
     * 获取Xls目录
     * 插入KML文件
     */
    private String getXlsPath(String filePath) {
        String tempPath = pathHelper.getConfig().getTempPath() + File.separator;
        String subPath = filePath.substring(tempPath.length());
        subPath = tempPath + subPath.substring(0, subPath.indexOf(File.separator)).replace("_zip", "") + "_xls";

        File f = new File(subPath);
        if (!f.exists() || !f.isDirectory()) {
            f.mkdirs();
        }

        return subPath;
    public void insertKml(UserEntity ue, List<MetaFileEntity> list) {
        checkMetaFiles(ue, list);
        loadKml(list);
        copyFiles(list);
        insertMetas(list);
    }

    /**
     * 复制Xls文件
     * 加载Kml
     */
    private String copyXlsFile(String xlsBasePath, int i, MetaFileEntity mf) {
        try {
            String xlsPath = xlsBasePath + File.separator + i;

            File file = new File(xlsPath);
            if (!file.exists() || !file.isDirectory()) {
                file.mkdirs();
    private void loadKml(List<MetaFileEntity> list) {
        for (MetaFileEntity mf : list) {
            if (null != mf.getMsg() || StringHelper.isEmpty(mf.getEntity()) || !StaticData.KML.equals(mf.getExtName())) {
                continue;
            }
            file = new File(mf.getPath());

            File newFile = new File(xlsPath + File.separator + FileHelper.getFileName(file.getPath()));
            FileUtils.copyFile(file, newFile);
            String wkt = readKml(mf.getPath());
            if (StringHelper.isEmpty(wkt)) {
                continue;
            }

            return newFile.getPath();
            loadKmlData(mf, wkt);
        }
    }

    /**
     * 读取KML
     */
    private String readKml(String path) {
        try {
            List<String> list = Files.readAllLines(Paths.get(path), StandardCharsets.UTF_8);
            for (String str : list) {
                if (!str.contains("<coordinates>")) {
                    continue;
                }

                return getWktFromCoordinates(str);
            }

            return null;
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
            return null;
        }
    }

    /**
     * 获取KWT
     */
    private String getWktFromCoordinates(String coords) {
        String[] strs = coords.replace("\t", "").replace("<coordinates>", "").replace("</coordinates>", "").split(" ");
        if (strs.length == 0) {
            return null;
        }

        // MULTILINESTRING((108.99843373100003 34.736292580000054,108.99818970700005 34.73764945000005,108.99831780400007 34.738880547000065,108.99812184300004 34.739564029000064))
        StringBuilder sb = new StringBuilder();
        sb.append("MULTILINESTRING((");
        for (String str : strs) {
            if (StringHelper.isEmpty(str)) {
                continue;
            }

            String[] vals = str.split(StaticData.COMMA);
            sb.append(vals[0]).append(" ").append(vals[1]).append(StaticData.COMMA);
        }
        sb.deleteCharAt(sb.length() - 1);
        sb.append("))");

        return sb.toString();
    }

    /**
     * 加载Kml数据
     */
    private void loadKmlData(MetaFileEntity mf, String wkt) {
        BasicMapper basicMapper = ClassHelper.getBasicMapper(mf.getEntity());
        if (null == basicMapper) {
            return;
        }

        String tabName = BaseQueryService.getTabName(basicMapper);
        String className = ClassHelper.getClassName(basicMapper);
        Class clazz = ClassHelper.getEntityClass(className);
        if (null == clazz || null == tabName) {
            return;
        }

        String name = FileHelper.getName(mf.getPath());
        List<?> list = createKmlEntity(clazz, wkt, name);
        if (null == list || list.isEmpty()) {
            return;
        }
        mf.setRecords(list.size());
        setCreateInfo(list, mf);

        int rows = batchInserts(basicMapper, list);
        if (rows > 0) {
            mf.setEntity(mf.getTab());
            mf.setTab(tabName);
            mf.setRows(rows);
        }
    }

    /**
     * 创建KML实体类
     */
    private <T> List<T> createKmlEntity(Class clazz, String wkt, String name) {
        try {
            T t = (T) clazz.newInstance();

            Field gField = clazz.getSuperclass().getDeclaredField("geom");
            gField.setAccessible(true);
            gField.set(t, null == wkt ? "null" : String.format("ST_GeomFromText('%s')", wkt));

            Field pField = clazz.getDeclaredField("pipename");
            pField.setAccessible(true);
            pField.set(t, name);

            List<T> list = new ArrayList<>();
            list.add(t);

            return list;
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
            return null;