修改数据处理逻辑（大）

13693261870

2024-11-07 8bbb8a2caf8720d74fb2aca31abdc6ef3ab9d13c

 src/main/java/com/se/simu/service/ResultService.java

@@ -8,7 +8,9 @@
import com.se.simu.domain.dto.LayerDto;
import com.se.simu.domain.dto.ResultDto;
import com.se.simu.domain.po.DataPo;
import com.se.simu.domain.vo.BuildingDepthVo;
import com.se.simu.helper.GdalHelper;
import com.se.simu.helper.ShpHelper;
import lombok.extern.slf4j.Slf4j;
import org.gdal.gdal.Band;
import org.gdal.gdal.Dataset;
@@ -17,6 +19,7 @@
import org.gdal.gdalconst.gdalconst;
import org.gdal.ogr.*;
import org.springframework.stereotype.Service;
import org.springframework.util.CollectionUtils;

import javax.annotation.Resource;
import javax.imageio.ImageIO;
@@ -29,6 +32,7 @@
import java.text.SimpleDateFormat;
import java.util.*;
import java.util.List;
import java.util.concurrent.CopyOnWriteArrayList;

/**
 * 处理结果服务类
@@ -45,6 +49,8 @@

    public final static double MAX_X_OFFSET = 0;

    private final static SimpleDateFormat SDF = new SimpleDateFormat("yyyy-MM-dd HH:mm");

    public void process(DataPo data) throws Exception {
        String basePath = config.getInPath() + File.separator + data.getInPath() + File.separator;
        ResultDto dto = new ResultDto(
@@ -53,7 +59,8 @@
                basePath + config.getBuildingFile(),
                basePath + config.getWaterPath(),
                basePath + config.getFlowPath(),
                config.getOutPath());
                config.getOutPath(),
                data.getEpsg());
        LayerDto layer = new LayerDto(config.getVer(), data.getEpsg(), config.getSizes());
        process(dto, layer);
    }
@@ -62,10 +69,11 @@
        try {
            copeTerrain(dto, layer);
            copeBuilding(dto, layer);
            copeWater(dto, layer);
            List<BuildingDepthVo> buildings = copeWater(dto, layer);
            copeFlow(dto, layer);
            copeLayerJson(dto, layer);
            copeRainFallJson(dto, layer);
            copeBuildingDepthJson(dto, buildings);
        } finally {
            File dir = new File(dto.getTemp());
            if (dir.exists()) {
@@ -98,12 +106,13 @@
        double miny = getMinVal(minPoint.GetY(0), 10000000);
        double maxx = getMaxVal(maxPoint.GetX(0) + MAX_X_OFFSET, 10000000);
        double maxy = getMaxVal(maxPoint.GetY(0), 10000000);
        layer.setExtension(new ExtensionDto(minx, miny, maxx, maxy, Double.MAX_VALUE, Double.MIN_VALUE));
        //layer.setExtension(new ExtensionDto(minx, miny, maxx, maxy, Double.MAX_VALUE, Double.MIN_VALUE));

        Band band = ds.GetRasterBand(1);
        double[] mm = new double[2];
        band.ComputeRasterMinMax(mm, 0);
        layer.getTerrain().setHeight(getMinVal(mm[0], 1000), getMaxVal(mm[1], 1000));
        //layer.getTerrain().setHeight(getMinVal(mm[0], 1000), getMaxVal(mm[1], 1000));
        layer.setExtension(new ExtensionDto(minx, miny, maxx, maxy, getMinVal(mm[0] - 1, 1000), getMaxVal(mm[1] + 1, 1000)));
    }

    private static double getMinVal(double val, double radix) {
@@ -130,7 +139,7 @@
    }

    /**
     * 重采样
     * 重采样: https://blog.51cto.com/u_16099346/6691820
     */
    private static void Resample(Dataset ds, String dest, int width, int height, LayerDto layer) {
        Vector<String> vector = new Vector<>();
@@ -259,11 +268,13 @@
        setWaterHeight(layer, files);
    }

    private void copeWater(ResultDto dto, LayerDto layer) {
    private List<BuildingDepthVo> copeWater(ResultDto dto, LayerDto layer) {
        List<String> files = layer.getWaters().getFiles();
        if (files.size() == 0 || files.size() != layer.getWaters().getData().size()) return;
        if (files.size() == 0 || files.size() != layer.getWaters().getData().size()) return null;

        processWaters(dto, files, layer);

        return processBuilding(dto, files, layer);
    }

    private static List<String> getFiles(String path, String suffix) {
@@ -331,13 +342,16 @@

                double[] mm = new double[2];
                ds.GetRasterBand(1).ComputeRasterMinMax(mm, 0);
                layer.getExtension().setHeight(mm[0], mm[1]);
                //layer.getExtension().setHeight(mm[0], mm[1]);
                layer.getWaters().setHeight(mm[0], mm[1]);
            } finally {
                if (null != ds) ds.delete();
            }
        });
        layer.getExtension().setMinHeight(getMinVal(layer.getExtension().getMinHeight() - 1, 1000));
        layer.getExtension().setMaxHeight(getMaxVal(layer.getExtension().getMaxHeight() + 1, 1000));
        //layer.getExtension().setMinHeight(getMinVal(layer.getExtension().getMinHeight() - 1, 1000));
        //layer.getExtension().setMaxHeight(getMaxVal(layer.getExtension().getMaxHeight() + 1, 1000));
        layer.getWaters().setMinHeight(getMinVal(layer.getWaters().getMinHeight() - 1, 1000));
        layer.getWaters().setMaxHeight(getMaxVal(layer.getWaters().getMaxHeight() + 1, 1000));
    }

    private static void processWaters(ResultDto dto, List<String> files, LayerDto layer) {
@@ -346,9 +360,11 @@
            try {
                ds = gdal.Open(files.get(i), gdalconst.GA_ReadOnly);
                if (null == ds || 0 == ds.getRasterCount()) return;
                if (null == ds.GetSpatialRef()) ds.SetSpatialRef(dto.getSpatialReference());

                createWaterPng(dto, ds, layer, layer.getWaters().getData().get(i));
                copyWaterTif(dto, ds, layer.getWaters().getData().get(i));
                createVectorShp(dto, ds, layer, layer.getWaters().getData().get(i));
            } finally {
                if (null != ds) ds.delete();
            }
@@ -369,12 +385,6 @@
            String png = waterPath + File.separator + sizes[0] + "_" + sizes[1] + ".png";
            water2Png(dto, layer, tif, png, sizes[0], sizes[1]);
        }
    }

    private static void copyWaterTif(ResultDto dto, Dataset ds, long ticks) {
        String source = ds.GetDescription();
        String target = dto.getOutPath() + File.separator + "waters" + File.separator + ticks + File.separator + "water.tif";
        FileUtil.copyFile(source, target);
    }

    private static String getNameWithExt(String file) {
@@ -399,8 +409,8 @@
                    int offset = x + y * width;
                    if (Float.isNaN(buffer[offset]) || buffer[offset] < -999 || buffer[offset] < minHeight) continue;

                    double X = transform[0] + x * transform[1] + y * transform[2];
                    double Y = transform[3] + x * transform[4] + y * transform[5];
                    //double X = transform[0] + x * transform[1] + y * transform[2];
                    //double Y = transform[3] + x * transform[4] + y * transform[5];
                    //BuildingDto building = intersects(dto, X, Y);
                    //if (null != building) continue;

@@ -435,6 +445,74 @@
        return dto.getBuildingList().parallelStream().filter(b -> b.getGeom().Intersects(p)).findFirst().orElse(null);
    }

    private List<BuildingDepthVo> processBuilding(ResultDto dto, List<String> files, LayerDto layer) {
        List<BuildingDepthVo> list = new CopyOnWriteArrayList<>();
        for (int i = 0, c = files.size(); i < c; i++) {
            Dataset ds = null;
            try {
                ds = gdal.Open(files.get(i), gdalconst.GA_ReadOnly);
                if (null == ds || 0 == ds.getRasterCount()) continue;
                if (null == ds.GetSpatialRef()) ds.SetSpatialRef(dto.getSpatialReference());

                copeBuildingDepth(dto, ds, layer.getWaters().getData().get(i), list);
            } finally {
                if (null != ds) ds.delete();
            }
        }

        return list;
    }

    private void copeBuildingDepth(ResultDto dto, Dataset ds, long ticks, List<BuildingDepthVo> list) {
        double[] transform = ds.GetGeoTransform();
        int xSize = ds.getRasterXSize(), ySize = ds.getRasterYSize();
        double minX = transform[0], pixelWidth = transform[1], maxY = transform[3], pixelHeight = Math.abs(transform[5]);

        for (BuildingDto building : dto.getBuildingList()) {
            Double val = getValue(ds, building, xSize, ySize, minX, maxY, pixelWidth, pixelHeight);
            list.add(new BuildingDepthVo(building.getId(), ticks, val));
        }
    }

    private Double getValue(Dataset ds, BuildingDto building, int xSize, int ySize, double minX, double maxY, double pixelWidth, double pixelHeight) {
        double[] env = new double[4];
        building.getGeom().GetEnvelope(env);

        int startX = (int) Math.floor((env[0] - minX) / pixelWidth);
        int endX = (int) Math.floor((env[1] - minX) / pixelWidth);
        int startY = (int) Math.floor((maxY - env[3]) / Math.abs(pixelHeight));
        int endY = (int) Math.floor((maxY - env[2]) / Math.abs(pixelHeight));
        if (startX < 0) startX = 0;
        if (startY < 0) startY = 0;
        if (endX > ds.getRasterXSize()) endX = ds.getRasterXSize();
        if (endY > ds.getRasterYSize()) endY = ds.getRasterYSize();
        if (endX - startX < 1 || endY - startY < 1) return null;

        int width = endX - startX;
        int height = endY - startY;
        double[] pixelValues = new double[width * height];
        ds.GetRasterBand(1).ReadRaster(startX, startY, width, height, pixelValues);

        Double val = Arrays.stream(pixelValues).max().getAsDouble();

        return isValid(val) ? val : null;
    }

    public static boolean isValid(Double val) {
        return !Double.isNaN(val) && val > Integer.MIN_VALUE;
    }

    private static void copyWaterTif(ResultDto dto, Dataset ds, long ticks) {
        String source = ds.GetDescription();
        String target = dto.getOutPath() + File.separator + "waters" + File.separator + ticks + File.separator + "water.tif";
        FileUtil.copyFile(source, target);
    }

    private static void createVectorShp(ResultDto dto, Dataset ds, LayerDto layer, Long ticks) {
        String filePath = dto.getOutPath() + File.separator + "waters" + File.separator + ticks + File.separator + "water.geojson";
        ShpHelper.polygonize2Geojson(ds, filePath);
    }

    private void copeFlow(ResultDto dto, LayerDto layer) {
        List<String> files = getFiles(dto.getFlowPath(), ".tif");
        if (null == files || files.size() != layer.getWaters().getData().size()) return;
@@ -444,6 +522,7 @@
            try {
                ds = gdal.Open(files.get(i), gdalconst.GA_ReadOnly);
                if (null == ds || 0 == ds.getRasterCount()) return;
                if (null == ds.GetSpatialRef()) ds.SetSpatialRef(dto.getSpatialReference());

                createFlowPng(dto, ds, layer, layer.getWaters().getData().get(i));
            } finally {
@@ -528,14 +607,10 @@
        layer.getTerrain().setEpsg(null);

        String json = JSON.toJSONString(layer);
        //String json = JSONUtil.toJsonPrettyStr(layer);
        // String json = JSONUtil.toJsonPrettyStr(layer);
        String filePath = dto.getOutPath() + File.separator + "layer.json";

        FileWriter fw = new FileWriter(filePath);
        BufferedWriter bw = new BufferedWriter(fw);
        bw.write(json);
        bw.close();
        fw.close();
        writeJson(filePath, json);
    }

    /**
@@ -545,28 +620,39 @@
        String rainGageFilePath = config.getInPath() + File.separator + dto.getServiceName() + File.separator + "RainGage.dat";
        String filePath = dto.getOutPath() + File.separator + "rainfall.json";

        String line;
        Map<String, Double> rainFallJsons = new LinkedHashMap<>();
        SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm");
        Map<String, Double> map = new LinkedHashMap<>();
        FileReader fr = new FileReader(rainGageFilePath);
        BufferedReader br = new BufferedReader(fr);

        BufferedReader br = new BufferedReader(new FileReader(rainGageFilePath));
        // 处理第一行数据
        if ((line = br.readLine()) != null) {
            while ((line = br.readLine()) != null) {
                // 处理每一行数据
                String[] rainFall = line.split(" ");
        String line = br.readLine();
        while ((line = br.readLine()) != null) {
            String[] rainFall = line.split(" ");
            if (rainFall.length < 7) continue;

                if (rainFall.length < 7) continue;

                String sdt = rainFall[1] + "-" + rainFall[2] + "-" + rainFall[3] + " " + rainFall[4] + ":" + rainFall[5];
                BigDecimal num = new BigDecimal(rainFall[6]);
                rainFallJsons.put("" + sdf.parse(sdt).getTime(), num.setScale(2, RoundingMode.HALF_UP).doubleValue());
            }
            String sdt = rainFall[1] + "-" + rainFall[2] + "-" + rainFall[3] + " " + rainFall[4] + ":" + rainFall[5];
            BigDecimal num = new BigDecimal(rainFall[6]);
            map.put("" + SDF.parse(sdt).getTime(), num.setScale(2, RoundingMode.HALF_UP).doubleValue());
        }
        br.close();
        fr.close();

        String json = JSON.toJSONString(map);
        writeJson(filePath, json);
    }

    private void copeBuildingDepthJson(ResultDto dto, List<BuildingDepthVo> list) throws IOException {
        if (CollectionUtils.isEmpty(list)) return;

        String json = JSON.toJSONString(list);
        String filePath = dto.getOutPath() + File.separator + "building.json";

        writeJson(filePath, json);
    }

    private void writeJson(String filePath, String json) throws IOException {
        FileWriter fw = new FileWriter(filePath);
        BufferedWriter bw = new BufferedWriter(fw);
        bw.write(JSON.toJSONString(rainFallJsons));
        bw.write(json);
        bw.close();
        fw.close();
    }