1

13693261870

2022-11-21 24a09196ed7c1ae7502dc64264469a2de03389aa

 src/main/java/com/lf/server/service/data/DataLoaderService.java

@@ -1,14 +1,11 @@
package com.lf.server.service.data;

import com.baomidou.mybatisplus.annotation.TableName;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.lf.server.entity.all.BaseEntity;
import com.lf.server.entity.ctrl.TabMapperEntity;
import com.lf.server.entity.data.MetaEntity;
import com.lf.server.entity.data.MetaFileEntity;
import com.lf.server.helper.ClassHelper;
import com.lf.server.helper.ExcelHelper;
import com.lf.server.helper.FileHelper;
import com.lf.server.helper.*;
import com.lf.server.mapper.all.BasicMapper;
import com.lf.server.mapper.all.GeomBaseMapper;
import com.lf.server.service.all.BaseQueryService;
import com.lf.server.service.all.BaseUploadService;
@@ -17,7 +14,7 @@

import java.io.File;
import java.lang.reflect.Field;
import java.sql.Timestamp;
import java.util.ArrayList;
import java.util.List;

/**
@@ -36,21 +33,184 @@

    private final static String MDB = ".mdb";

    private final static String SHP = ".shp";

    private final static String GDB = ".gdb";

    private final static String SHP_ZIP = ".shp.zip";

    private final static String GDB_ZIP = ".gdb.zip";

    private final static String ZIP = ".zip";

    /**
     * 查询映射
     */
    public List<TabMapperEntity> selectMappers(String subPath) {
        String root = pathHelper.getConfig().getTempPath() + File.separator + subPath;

        File file = new File(root);
        if (!file.exists() && !file.isDirectory()) {
            return null;
        }

        File[] files = file.listFiles();
        if (null == files || files.length == 0) {
            return null;
        }

        File zipFile = new File(root + "_zip");
        if (!zipFile.exists() || !zipFile.isDirectory()) {
            zipFile.mkdirs();
        }

        return getMappers(zipFile.getPath(), files);
    }

    /**
     * 获取映射
     */
    private List<TabMapperEntity> getMappers(String zipPath, File[] files) {
        List<TabMapperEntity> list = new ArrayList<>();
        for (File f : files) {
            String fileName = FileHelper.getFileName(f.getPath());
            if (fileName.contains(XLS)) {
                list.add(new TabMapperEntity(fileName, "xls", fileName));
                continue;
            }
            if (fileName.contains(MDB)) {
                List<String> tabs = MdbHelper.getTabNames(f.getPath());
                for (String tab : tabs) {
                    list.add(new TabMapperEntity(fileName, "mdb", tab, fileName));
                }
                continue;
            }
            if (fileName.contains(SHP_ZIP)) {
                String subPath = zipPath + File.separator + f.getName().toLowerCase().replace(".zip", "");
                ZipHelper.unzip(f.getPath(), subPath);
                getShpFiles(f.getName(), subPath, list);
                continue;
            }
            if (fileName.contains(GDB_ZIP)) {
                String subPath = zipPath + File.separator + f.getName().toLowerCase().replace(".zip", "");
                ZipHelper.unzip(f.getPath(), subPath);
                getGdbFiles(f.getName(), subPath, list);
                continue;
            }
            if (!fileName.contains(ZIP)) {
                //
            }
        }

        return list;
    }

    /**
     * 获取Shp文件
     */
    private void getShpFiles(String sourceName, String subPath, List<TabMapperEntity> list) {
        List<String> files = new ArrayList<>();
        getShpFiles(subPath, files);

        String root = subPath.substring(0, subPath.lastIndexOf(File.separator) + 1);
        for (String file : files) {
            String name = FileHelper.getFileName(file);
            String path = file.replace(root, "");
            list.add(new TabMapperEntity(sourceName, "shp", name, path));
        }
    }

    /**
     * 获取Shp文件
     */
    private void getShpFiles(String shpPath, List<String> list) {
        File file = new File(shpPath);

        File[] files = file.listFiles();
        if (null == files || files.length == 0) {
            return;
        }

        for (File f : files) {
            if (f.isDirectory()) {
                getShpFiles(f.getPath(), list);
                continue;
            }

            if (f.getName().toLowerCase().endsWith(".shp")) {
                list.add(f.getPath());
            }
        }
    }

    /**
     * 获取Gdb文件
     */
    private void getGdbFiles(String sourceName, String subPath, List<TabMapperEntity> list) {
        List<String> files = new ArrayList<>();
        getGdbFiles(subPath, files);

        String root = subPath.substring(0, subPath.lastIndexOf(File.separator) + 1);
        for (String file : files) {
            String path = file.replace(root, "");
            List<String> tabs = GdbHelper.getTabNames(file);
            for (String tab : tabs) {
                list.add(new TabMapperEntity(sourceName, "gdb", tab, path));
            }
        }
    }

    /**
     * 获取Gdb文件
     */
    private void getGdbFiles(String shpPath, List<String> list) {
        File file = new File(shpPath);

        File[] files = file.listFiles();
        if (null == files || files.length == 0) {
            return;
        }

        for (File f : files) {
            if (!f.isDirectory()) {
                continue;
            }

            if (isGdbFile(f)) {
                list.add(f.getPath());
                continue;
            }

            getGdbFiles(f.getPath(), list);
        }
    }

    private boolean isGdbFile(File f) {
        if (f.getName().toLowerCase().endsWith(GDB)) {
            File[] files = f.listFiles();
            if (null == files || files.length == 0) {
                return false;
            }

            for (File file : files) {
                if ("gdb".equals(file.getName())) {
                    return true;
                }
            }
        }

        return false;
    }

    /**
     * 插入文件
     */
    public int insertFiles(MetaEntity entity, List<MetaFileEntity> list, List<TabMapperEntity> tabs) {
        int count = 0;
    public void insertFiles(MetaEntity entity, List<MetaFileEntity> list, List<TabMapperEntity> tabs) {
        try {
            String temp = pathHelper.getConfig().getTempPath();
            String root = pathHelper.getUploadFullPath();
            String full = pathHelper.getUploadFullPath();
            String root = pathHelper.getConfig().getUploadPath();

            for (MetaFileEntity mf : list) {
                String filePath = getFilePath(temp, root, mf);
                String filePath = getFilePath(temp, full, mf);
                if (null == filePath) {
                    continue;
                }
@@ -68,15 +228,26 @@
                }

                // 入库
                if (null != me.getType() && insertDb(me, mfe, tabs) > 0) {
                    count++;
                switch (me.getType()) {
                    case "xls":
                        insertXls(root, mfe, tabs);
                        break;
                    case "shp":
                        insertShp(temp + "_zip", mfe, tabs);
                        break;
                    case "gdb":
                        insertGdb(temp + "_zip", mfe, tabs);
                        break;
                    case "mdb":
                        insertMdb(temp + "_zip", mfe, tabs);
                        break;
                    default:
                        break;
                }
            }
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
        }

        return count;
    }

    /**
@@ -154,10 +325,10 @@
        if (name.contains(MDB)) {
            return "mdb";
        }
        if (name.contains(SHP)) {
        if (name.contains(SHP_ZIP)) {
            return "shp";
        }
        if (name.contains(GDB)) {
        if (name.contains(GDB_ZIP)) {
            return "gdb";
        }

@@ -165,84 +336,68 @@
    }

    /**
     * 插入数据库
     */
    private Integer insertDb(MetaEntity me, MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        String root = pathHelper.getConfig().getUploadPath();
        switch (me.getType()) {
            case "xls":
                return insertXls(root, mfe, tabs);
            case "mdb":
                return insertMdb(root, mfe, tabs);
            case "shp":
                return insertShp(root, mfe, tabs);
            case "gdb":
                return insertGdb(root, mfe, tabs);
            default:
                return 0;
        }
    }

    /**
     * 插入Excel
     */
    private Integer insertXls(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {
    private void insertXls(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        TabMapperEntity tab = getTabEntity(mfe, tabs);
        if (null == tab) {
            return 0;
        if (null == tab || StringHelper.isEmpty(tab.getEntity())) {
            return;
        }

        BaseMapper baseMapper = ClassHelper.getBasicMapper(tab.getEntity());
        if (null == baseMapper) {
            return 0;
        BasicMapper basicMapper = ClassHelper.getBasicMapper(tab.getEntity());
        if (null == basicMapper) {
            return;
        }

        String className = ClassHelper.getClassName(baseMapper);
        String className = ClassHelper.getClassName(basicMapper);
        Class clazz = ClassHelper.getEntityClass(className);
        if (null == clazz) {
            return 0;
            return;
        }

        List<?> list = ExcelHelper.readExcel(clazz, root + File.separator + mfe.getPath());
        if (null == list || list.isEmpty()) {
            return 0;
        if (list.isEmpty()) {
            return;
        }

        setCreateInfo(list, mfe);

        int rows = 0;
        for (int i = 0, c = list.size(); i < c; i++) {
            rows += baseMapper.insert(list.get(i));
            rows += basicMapper.insert(list.get(i));
        }
        if (basicMapper instanceof GeomBaseMapper) {
            updateXlsGeom((GeomBaseMapper) basicMapper, list);
        }

        if (baseMapper instanceof GeomBaseMapper) {
            GeomBaseMapper geomBaseMapper = (GeomBaseMapper) baseMapper;
            updateGeom(geomBaseMapper, list);
        tab.setRows(rows);
    }

    /**
     * 获取表映射实体类
     */
    private TabMapperEntity getTabEntity(MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        for (TabMapperEntity tab : tabs) {
            if (tab.getFileName().equals(mfe.getName())) {
                return tab;
            }
        }

        return rows;
        return null;
    }

    /**
     * 设置创建信息
     */
    @SuppressWarnings("AlibabaRemoveCommentedCode")
    private <T> void setCreateInfo(List<T> list, MetaFileEntity mfe) {
        try {
            for (T t : list) {
                /*Field cuField = t.getClass().getDeclaredField("createUser");
                Field cuField = t.getClass().getDeclaredField("createuser");
                cuField.setAccessible(true);
                cuField.set(t, mfe.getCreateUser());

                Field ctField = t.getClass().getDeclaredField("createTime");
                Field ctField = t.getClass().getDeclaredField("createtime");
                ctField.setAccessible(true);
                ctField.set(t, mfe.getCreateTime());*/

                if (t instanceof BaseEntity) {
                    BaseEntity be = (BaseEntity) t;
                    be.setCreateUser(mfe.getCreateUser());
                    be.setCreateTime(mfe.getCreateTime());
                }
                ctField.set(t, mfe.getCreateTime());
            }
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
@@ -252,7 +407,7 @@
    /**
     * 设置空间信息
     */
    private <T> void updateGeom(GeomBaseMapper geomBaseMapper, List<T> list) {
    private <T> void updateXlsGeom(GeomBaseMapper geomBaseMapper, List<T> list) {
        try {
            String tabName = BaseQueryService.getTabName(geomBaseMapper);
            for (T t : list) {
@@ -276,19 +431,61 @@
    }

    /**
     * 插入MDB
     * 插入SHP
     */
    private Integer insertMdb(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {
    private void insertShp(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        for (TabMapperEntity tab : tabs) {
            if (!tab.getFileName().equals(mfe.getName()) || StringHelper.isEmpty(tab.getEntity())) {
                continue;
            }

        return 0;
            BasicMapper basicMapper = ClassHelper.getBasicMapper(tab.getEntity());
            if (null == basicMapper) {
                continue;
            }

            String className = ClassHelper.getClassName(basicMapper);
            Class clazz = ClassHelper.getEntityClass(className);
            if (null == clazz) {
                continue;
            }

            List<?> list = ShpHelper.readData(clazz, root + File.separator + tab.getSubPath());
            if (list.isEmpty()) {
                continue;
            }
            setCreateInfo(list, mfe);

            Integer rows = basicMapper.insertBatch(list);
            if (basicMapper instanceof GeomBaseMapper) {
                updateDbGeom((GeomBaseMapper) basicMapper, list);
            }

            tab.setRows(rows);
        }
    }

    /**
     * 插入SHP
     * 设置空间信息
     */
    private Integer insertShp(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {
    private <T> void updateDbGeom(GeomBaseMapper geomBaseMapper, List<T> list) {
        try {
            String tabName = BaseQueryService.getTabName(geomBaseMapper);
            for (T t : list) {
                BaseEntity baseEntity = (BaseEntity) t;
                Integer gid = baseEntity.getGid();

        return 0;
                Field gField = t.getClass().getDeclaredField("geom");
                gField.setAccessible(true);
                Object obj = gField.get(t);

                if (null != obj) {
                    geomBaseMapper.updateGeom(tabName, gid, (String) obj);
                }
            }
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
        }
    }

    /**
@@ -300,15 +497,10 @@
    }

    /**
     * 获取表映射实体类
     * 插入MDB
     */
    private TabMapperEntity getTabEntity(MetaFileEntity mfe, List<TabMapperEntity> tabs) {
        for (TabMapperEntity tab : tabs) {
            if (tab.getFileName().equals(mfe.getName())) {
                return tab;
            }
        }
    private Integer insertMdb(String root, MetaFileEntity mfe, List<TabMapperEntity> tabs) {

        return null;
        return 0;
    }
}