1

13693261870

2022-12-20 f31782b273aeb8752b25d5467502e8ea38e083c7

 src/main/java/com/lf/server/service/data/DataLoaderService.java

@@ -9,6 +9,7 @@
import com.lf.server.mapper.all.GeomBaseMapper;
import com.lf.server.service.all.BaseQueryService;
import com.lf.server.service.all.BaseUploadService;
import org.apache.commons.text.StringEscapeUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

@@ -69,17 +70,21 @@
     * 获取映射
     */
    private List<TabMapperEntity> getMappers(String zipPath, File[] files) {
        String temp = pathHelper.getConfig().getTempPath();

        List<TabMapperEntity> list = new ArrayList<>();
        for (File f : files) {
            String fileName = FileHelper.getFileName(f.getPath());
            if (fileName.contains(XLS)) {
                list.add(new TabMapperEntity(fileName, "xls", fileName));
                String path = f.getPath().replace(temp + File.separator, "");
                list.add(new TabMapperEntity(fileName, "xls", null, path));
                continue;
            }
            if (fileName.contains(MDB)) {
                String path = f.getPath().replace(temp + File.separator, "");
                List<String> tabs = MdbHelper.getTabNames(f.getPath());
                for (String tab : tabs) {
                    list.add(new TabMapperEntity(fileName, "mdb", tab, fileName));
                    list.add(new TabMapperEntity(fileName, "mdb", tab, path));
                }
                continue;
            }
@@ -95,8 +100,8 @@
                getGdbFiles(f.getName(), subPath, list);
                continue;
            }
            if (!fileName.contains(ZIP)) {
                //
            if (fileName.contains(ZIP)) {
                // 暂时不实现
            }
        }

@@ -110,7 +115,7 @@
        List<String> files = new ArrayList<>();
        getShpFiles(subPath, files);

        String root = subPath.substring(0, subPath.lastIndexOf(File.separator) + 1);
        String root = pathHelper.getConfig().getTempPath() + File.separator;
        for (String file : files) {
            String name = FileHelper.getFileName(file);
            String path = file.replace(root, "");
@@ -148,7 +153,7 @@
        List<String> files = new ArrayList<>();
        getGdbFiles(subPath, files);

        String root = subPath.substring(0, subPath.lastIndexOf(File.separator) + 1);
        String root = pathHelper.getConfig().getTempPath() + File.separator;
        for (String file : files) {
            String path = file.replace(root, "");
            List<String> tabs = GdbHelper.getTabNames(file);
@@ -203,46 +208,68 @@
    /**
     * 插入文件
     */
    public void insertFiles(MetaEntity entity, List<MetaFileEntity> list, List<TabMapperEntity> tabs) {
    public void insertFiles(MetaEntity entity, List<MetaFileEntity> list, List<TabMapperEntity> tabList) {
        try {
            String temp = pathHelper.getConfig().getTempPath();
            String full = pathHelper.getUploadFullPath();
            String root = pathHelper.getConfig().getUploadPath();
            String upload = pathHelper.getUploadFullPath();

            for (MetaFileEntity mf : list) {
                String filePath = getFilePath(temp, full, mf);
                if (null == filePath) {
                File file = new File(temp + File.separator + mf.getPath());
                File newFile = new File(upload + File.separator + mf.getGuid());

                String type = getType(mf.getName().toLowerCase());
                if (null == type) {
                    file.delete();
                    continue;
                }

                // 元数据
                MetaEntity me = createMetaEntity(entity, mf);
                if (metaService.insert(me) < 1) {
                // 获取表映射
                List<TabMapperEntity> tabs = getTabs(mf, tabList);
                if (tabs.isEmpty()) {
                    file.delete();
                    continue;
                }

                // 元数据文件
                MetaFileEntity mfe = createMetaFileEntity(me, mf, filePath);
                if (metaFileService.insert(mfe) < 1) {
                    continue;
                MetaFileEntity old = metaFileService.selectByGuid(mf.getGuid());
                String filePath = null == old ? newFile.getPath() : old.getPath();

                int count = 0;
                for (TabMapperEntity tab : tabs) {
                    if (null == tab || StringHelper.isEmpty(tab.getEntity())) {
                        return;
                    }
                    switch (type) {
                        case "shp":
                        case "gdb":
                        case "mdb":
                            insertDb(type, temp, entity, tab);
                            break;
                        // case "xls":
                        default:
                            insertXls(temp, entity, mf, tab);
                            break;
                    }
                    if (0 == tab.getRows()) {
                        continue;
                    }

                    MetaEntity me = createMetaEntity(entity, mf, tab.getTab(), tab.getRows());
                    if (metaService.insert(me) == 0) {
                        continue;
                    }

                    MetaFileEntity mfe = createMetaFileEntity(me, mf, filePath);
                    if (metaFileService.insert(mfe) == 0) {
                        metaService.delete(me.getId());
                        continue;
                    }
                    count += tab.getRows();
                }

                // 入库
                switch (me.getType()) {
                    case "xls":
                        insertXls(root, mfe, tabs);
                        break;
                    case "shp":
                        insertShp(temp + "_zip", mfe, tabs);
                        break;
                    case "gdb":
                        insertGdb(temp + "_zip", mfe, tabs);
                        break;
                    case "mdb":
                        insertMdb(temp + "_zip", mfe, tabs);
                        break;
                    default:
                        break;
                if (count == 0 || null != old) {
                    file.delete();
                } else {
                    file.renameTo(newFile);
                }
            }
        } catch (Exception ex) {
@@ -251,68 +278,19 @@
    }

    /**
     * 获取文件路径
     * 获取 Tabs
     */
    private String getFilePath(String temp, String root, MetaFileEntity mf) {
        // 移动文件
        File file = new File(temp + File.separator + mf.getPath());
        File newFile = new File(root + File.separator + mf.getGuid());
    private List<TabMapperEntity> getTabs(MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        List<TabMapperEntity> list = new ArrayList<>();
        for (TabMapperEntity tab : tabs) {
            if (!tab.getFileName().equals(mfe.getName()) || StringHelper.isEmpty(tab.getEntity())) {
                continue;
            }

        // 文件类型
        String metaType = getType(mf.getName().toLowerCase());
        if (null == metaType) {
            file.delete();
            return null;
            list.add(tab);
        }

        MetaFileEntity old = metaFileService.selectByGuid(mf.getGuid());

        String filePath = null;
        if (null == old) {
            filePath = newFile.getPath();
            file.renameTo(newFile);
        } else {
            filePath = old.getPath();
            file.delete();
        }

        return filePath;
    }

    /**
     * 创建元数据实体
     */
    private MetaEntity createMetaEntity(MetaEntity entity, MetaFileEntity mf) {
        MetaEntity me = new MetaEntity();
        me.setDepid(entity.getDepid());
        me.setDirid(entity.getDirid());
        me.setVerid(entity.getVerid());
        me.setType(getType(mf.getName().toLowerCase()));
        me.setGather(entity.getGather());
        me.setBatch(entity.getBatch());
        me.setDescr(entity.getDescr());
        me.setName(mf.getName());
        me.setSizes(mf.getSizes());
        me.setCreateTime(entity.getCreateTime());
        me.setCreateUser(entity.getCreateUser());

        return me;
    }

    /**
     * 创建元数据文件实体
     */
    private MetaFileEntity createMetaFileEntity(MetaEntity me, MetaFileEntity entity, String filePath) {
        MetaFileEntity mfe = new MetaFileEntity();
        mfe.setName(entity.getName());
        mfe.setMetaid(me.getId());
        mfe.setGuid(entity.getGuid());
        mfe.setSizes(entity.getSizes());
        mfe.setPath(FileHelper.getRelativePath(filePath));
        mfe.setCreateUser(me.getCreateUser());
        mfe.setCreateTime(me.getCreateTime());

        return mfe;
        return list;
    }

    /**
@@ -336,69 +314,93 @@
    }

    /**
     * 创建元数据实体
     */
    private MetaEntity createMetaEntity(MetaEntity entity, MetaFileEntity mf, String tab, int rows) {
        MetaEntity me = new MetaEntity();
        me.setDepid(entity.getDepid());
        me.setDirid(entity.getDirid());
        me.setVerid(entity.getVerid());
        me.setType(getType(mf.getName().toLowerCase()));
        me.setGather(entity.getGather());
        me.setBatch(entity.getBatch());
        me.setDescr(entity.getDescr());
        me.setName(mf.getName());
        me.setSizes(mf.getSizes());
        me.setTab(tab);
        me.setRows(rows);
        me.setCreateTime(entity.getCreateTime());
        me.setCreateUser(entity.getCreateUser());

        return me;
    }

    /**
     * 创建元数据文件实体
     */
    private MetaFileEntity createMetaFileEntity(MetaEntity me, MetaFileEntity entity, String filePath) {
        MetaFileEntity mfe = new MetaFileEntity();
        mfe.setName(entity.getName());
        mfe.setMetaid(me.getId());
        mfe.setGuid(entity.getGuid());
        mfe.setSizes(entity.getSizes());
        mfe.setPath(FileHelper.getRelativePath(filePath));
        mfe.setCreateUser(me.getCreateUser());
        mfe.setCreateTime(me.getCreateTime());

        return mfe;
    }

    /**
     * 插入Excel
     */
    private void insertXls(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        TabMapperEntity tab = getTabEntity(mfe, tabs);
        if (null == tab|| StringHelper.isEmpty(tab.getEntity())) {
            return;
        }

    private void insertXls(String root, MetaEntity me, MetaFileEntity mf, TabMapperEntity tab) {
        BasicMapper basicMapper = ClassHelper.getBasicMapper(tab.getEntity());
        if (null == basicMapper) {
            return;
        }

        String tabName = BaseQueryService.getTabName(basicMapper);
        String className = ClassHelper.getClassName(basicMapper);
        Class clazz = ClassHelper.getEntityClass(className);
        if (null == clazz) {
        if (null == clazz || null == tabName) {
            return;
        }

        List<?> list = ExcelHelper.readExcel(clazz, root + File.separator + mfe.getPath());
        if (null == list || list.isEmpty()) {
        List<?> list = ExcelHelper.readExcel(clazz, root + File.separator + mf.getPath());
        if (list.isEmpty()) {
            return;
        }
        setCreateInfo(list, mfe);
        setCreateInfo(list, me);

        int rows = 0;
        for (int i = 0, c = list.size(); i < c; i++) {
            rows += basicMapper.insert(list.get(i));
        }
        if (basicMapper instanceof GeomBaseMapper) {
            GeomBaseMapper geomBaseMapper = (GeomBaseMapper) basicMapper;
            updateXlsGeom(geomBaseMapper, list);
            updateXlsGeom((GeomBaseMapper) basicMapper, list);
        }

        tab.setTab(tabName);
        tab.setRows(rows);
    }

    /**
     * 获取表映射实体类
     */
    private TabMapperEntity getTabEntity(MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        for (TabMapperEntity tab : tabs) {
            if (tab.getFileName().equals(mfe.getName())) {
                return tab;
            }
        }

        return null;
    }

    /**
     * 设置创建信息
     */
    private <T> void setCreateInfo(List<T> list, MetaFileEntity mfe) {
    private <T> void setCreateInfo(List<T> list, MetaEntity me) {
        try {
            for (T t : list) {
                Field cuField = t.getClass().getDeclaredField("createuser");
                cuField.setAccessible(true);
                cuField.set(t, mfe.getCreateUser());
            if (!(list.get(0) instanceof BaseEntity)) {
                return;
            }

                Field ctField = t.getClass().getDeclaredField("createtime");
                ctField.setAccessible(true);
                ctField.set(t, mfe.getCreateTime());
            for (T t : list) {
                BaseEntity be = (BaseEntity) t;
                be.setCreateuser(me.getCreateUser());
                be.setCreatetime(me.getCreateTime());
                be.setDirid(me.getDirid());
                be.setDepid(me.getDepid());
                be.setVerid(me.getVerid());
            }
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
@@ -421,7 +423,7 @@
                double y = (double) yField.get(t);

                BaseEntity baseEntity = (BaseEntity) t;
                Integer gid = baseEntity.getGid();
                Long gid = baseEntity.getGid();

                String wkt = String.format("POINT(%f %f)", x, y);
                geomBaseMapper.updateGeom(tabName, gid, wkt);
@@ -432,39 +434,44 @@
    }

    /**
     * 插入SHP
     * 插入DB
     */
    private void insertShp(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        for (TabMapperEntity tab : tabs) {
            if (!tab.getFileName().equals(mfe.getName()) || StringHelper.isEmpty(tab.getEntity())) {
                continue;
            }

            BasicMapper basicMapper = ClassHelper.getBasicMapper(tab.getEntity());
            if (null == basicMapper) {
                continue;
            }

            String className = ClassHelper.getClassName(basicMapper);
            Class clazz = ClassHelper.getEntityClass(className);
            if (null == clazz) {
                continue;
            }

            List<?> list = ShpHelper.readData(clazz, root + File.separator + tab.getSubPath());
            if (null == list || list.isEmpty()) {
                continue;
            }
            setCreateInfo(list, mfe);

            Integer rows = basicMapper.insertBatch(list);
            if (basicMapper instanceof GeomBaseMapper) {
                GeomBaseMapper geomBaseMapper = (GeomBaseMapper) basicMapper;
                updateXlsGeom(geomBaseMapper, list);
            }

            tab.setRows(rows);
    private void insertDb(String type, String root, MetaEntity me, TabMapperEntity tab) {
        BasicMapper basicMapper = ClassHelper.getBasicMapper(tab.getEntity());
        if (null == basicMapper) {
            return;
        }

        String tabName = BaseQueryService.getTabName(basicMapper);
        String className = ClassHelper.getClassName(basicMapper);
        Class clazz = ClassHelper.getEntityClass(className);
        if (null == clazz || null == tabName) {
            return;
        }

        String filePath = StringEscapeUtils.escapeJava(root + File.separator + tab.getSubPath());
        List<?> list = null;
        switch (type) {
            case "shp":
                list = ShpHelper.readData(clazz, filePath);
                break;
            case "gdb":
                list = GdbHelper.readData(clazz, filePath, tab.getTab());
                break;
            case "mdb":
                list = MdbHelper.readData(clazz, filePath, tab.getTab());
                break;
            default:
                break;
        }
        if (null == list || list.isEmpty()) {
            return;
        }
        setCreateInfo(list, me);

        int rows = basicMapper.insertBatch(list);
        tab.setTab(tabName);
        tab.setRows(rows);
    }

    /**
@@ -475,7 +482,7 @@
            String tabName = BaseQueryService.getTabName(geomBaseMapper);
            for (T t : list) {
                BaseEntity baseEntity = (BaseEntity) t;
                Integer gid = baseEntity.getGid();
                Long gid = baseEntity.getGid();

                Field gField = t.getClass().getDeclaredField("geom");
                gField.setAccessible(true);
@@ -488,21 +495,5 @@
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
        }
    }

    /**
     * 插入GDB
     */
    private Integer insertGdb(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {

        return 0;
    }

    /**
     * 插入MDB
     */
    private Integer insertMdb(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {

        return 0;
    }
}