实时模拟功能实现

dcb

2025-06-06 a2ee6e0dcdcfd9d1b8011a3cecb4e0fc4f6eeea3

 src/main/java/com/se/nsl/service/TestService.java

@@ -4,36 +4,31 @@
import com.alibaba.fastjson.JSON;
import com.se.nsl.config.PropertiesConfig;
import com.se.nsl.domain.dto.*;
import com.se.nsl.domain.po.DataPo;
import com.se.nsl.domain.po.PondingPo;
import com.se.nsl.domain.po.SimuData;
import com.se.nsl.domain.vo.BuildingDepthVo;
import com.se.nsl.helper.ComHelper;
import com.se.nsl.helper.GdalHelper;
import com.se.nsl.helper.ShpHelper;
import com.se.nsl.utils.TimeFormatUtil;
import lombok.extern.slf4j.Slf4j;
import org.gdal.gdal.Band;
import org.gdal.gdal.Dataset;
import org.gdal.gdal.gdal;
//import org.gdal.gdalconstConstants.gdalconst;
import org.gdal.gdalconst.gdalconstConstants;
import org.gdal.ogr.*;
import org.springframework.stereotype.Service;
import org.springframework.util.CollectionUtils;

import javax.annotation.Resource;
import java.awt.*;
import java.awt.image.BufferedImage;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.math.BigDecimal;
import java.math.RoundingMode;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.time.Instant;
import java.time.LocalDateTime;
import java.time.ZoneId;
import java.time.format.DateTimeFormatter;
import java.util.*;
import java.util.List;
import java.util.concurrent.CopyOnWriteArrayList;

@Slf4j
@Service
@@ -42,14 +37,13 @@
    @Resource
    PropertiesConfig config;

    @Resource
    ResultService resultService;
    public final static double MIN_VAL = 0.00001;

    public final static double MAX_X_OFFSET = 0;

    public final static SimpleDateFormat SDF = new SimpleDateFormat("yyyy-MM-dd HH:mm");

    public void test(DataPo data) throws Exception {
    public void test(SimuData data) throws IOException {
        String basePath = config.getInPath() + File.separator + data.getInPath() + File.separator;
        ResultDto dto = new ResultDto(
                data.getInPath(),
@@ -64,15 +58,26 @@
        process(dto, layer);
    }

    private void process(ResultDto dto, LayerDto layer) throws Exception {
    private void process(ResultDto dto, LayerDto layer) throws IOException {
        try {
            copeTerrain(dto, layer);
            //copeBuilding(dto, layer);
            List<BuildingDepthVo> buildings = copeWater(dto, layer);
            //copeFlow(dto, layer);
            copeWater(dto, layer);
            copeFlow(dto, layer);
            copeLayerJson(dto, layer);
            //copeRainFallJson(dto, layer);
            //copeBuildingDepthJson(dto, buildings);
        } finally {
            File dir = new File(dto.getTemp());
            if (dir.exists()) {
                FileUtil.del(dir);
            }
        }
    }

    public void processRealTime(ResultDto dto, LayerDto layer) throws IOException {
        try {
            copeTerrainRealTime(dto, layer);
            copeWater(dto, layer);
            copeFlow(dto, layer);
            copeLayerJson(dto, layer);
        } finally {
            File dir = new File(dto.getTemp());
            if (dir.exists()) {
@@ -84,25 +89,58 @@
    public void copeTerrain(ResultDto dto, LayerDto layer) {
        Dataset ds = null;
        try {
            // gdalconst，gdalconstConstants
            ds = gdal.Open(dto.getTerrainFile(), gdalconstConstants.GA_ReadOnly);
            ds = gdal.Open(dto.getTerrainFile(), gdalconstConstants.GA_ReadOnly); // gdalconst
            if (null == ds || 0 == ds.getRasterCount()) return;

            setSizes(ds, layer);
            setTerrainInfo(ds, layer);
            createTerrainPng(dto, ds, layer);
            setWaterInfo(dto, layer);
            createTerrainPng(dto, ds, layer);
        } finally {
            if (null != ds) ds.delete();
        }
    }

    private void copeTerrainRealTime(ResultDto dto, LayerDto layer) {
        Dataset ds = null;
        try {
            ds = gdal.Open(dto.getTerrainFile(), gdalconstConstants.GA_ReadOnly); // gdalconst
            if (null == ds || 0 == ds.getRasterCount()) return;

            setSizes(ds, layer);
            setTerrainInfo(ds, layer);
            setWaterInfo(dto, layer);
            createTerrainPng(dto, ds, layer);
        } finally {
            if (null != ds) ds.delete();
        }
    }

    private void setSizes(Dataset ds, LayerDto layer) {
        int xSize = ds.getRasterXSize(), ySize = ds.getRasterYSize();
        double rate = xSize < ySize ? xSize * 1.0 / ySize : ySize * 1.0 / xSize;

        List<int[]> list = layer.getTerrain().getSize();
        for (int i = 0, c = list.size(); i < c; i++) {
            if (xSize < ySize) {
                list.get(i)[0] = (int) Math.floor(list.get(i)[0] * rate);
            } else {
                list.get(i)[1] = (int) Math.floor(list.get(i)[1] * rate);
            }
        }
    }

    public void setTerrainInfo(Dataset ds, LayerDto layer) {
        Geometry minPoint = GdalHelper.getMinPoint(ds);
        Geometry maxPoint = GdalHelper.getMaxPoint(ds);
        double minx = ComHelper.getMinVal(minPoint.GetX(0), 10000000);
        double miny = ComHelper.getMinVal(minPoint.GetY(0), 10000000);
        double maxx = ComHelper.getMaxVal(maxPoint.GetX(0) + MAX_X_OFFSET, 10000000);
        double maxy = ComHelper.getMaxVal(maxPoint.GetY(0), 10000000);
//        double minx = ComHelper.getMinVal(minPoint.GetX(0), 10000000);
//        double miny = ComHelper.getMinVal(minPoint.GetY(0), 10000000);
//        double maxx = ComHelper.getMaxVal(maxPoint.GetX(0) + MAX_X_OFFSET, 10000000);
//        double maxy = ComHelper.getMaxVal(maxPoint.GetY(0), 10000000);
        double minx = Double.MAX_VALUE;
        double miny = Double.MAX_VALUE;
        double maxx = Double.MIN_VALUE;
        double maxy = Double.MIN_VALUE;
        //layer.setExtension(new ExtensionDto(minx, miny, maxx, maxy, Double.MAX_VALUE, Double.MIN_VALUE));

        Band band = ds.GetRasterBand(1);
@@ -181,10 +219,6 @@

        processWaters(dto, files, layer);

        if (new File(dto.getBuildingFile()).exists()) {
            return processBuilding(dto, files, layer);
        }

        return null;
    }

@@ -197,6 +231,16 @@
    }

    public void setWaterData(LayerDto layer, List<String> files) {
        for (String file : files) {
            String fileName = ComHelper.getNameWithExt(file);
            long timestamp = TimeFormatUtil.toMillis(fileName, "yyyyMMddHHmmss");
            layer.getWaters().getData().add(timestamp);
        }
        layer.getDuration().setStart(layer.getWaters().getData().get(0));
        layer.getDuration().setEnd(layer.getWaters().getData().get(layer.getWaters().getData().size() - 1));
    }

    /*public void setWaterData(LayerDto layer, List<String> files) {
        Calendar calendar = Calendar.getInstance();
        calendar.setTime(new Date());
        calendar.set(Calendar.MILLISECOND, 0);
@@ -221,13 +265,15 @@
        }
        layer.getDuration().setStart(layer.getWaters().getData().get(0));
        layer.getDuration().setEnd(layer.getWaters().getData().get(layer.getWaters().getData().size() - 1));
    }
    }*/

    public void setWaterHeight(LayerDto layer, List<String> files) {
        files.parallelStream().forEach(file -> {
        int c = files.size(), step = files.size() / 10;
        if (step < 1) step = 1;
        for (int i = 0; i < c; i += step) {
            Dataset ds = null;
            try {
                ds = gdal.Open(file, gdalconstConstants.GA_ReadOnly);
                ds = gdal.Open(files.get(i), gdalconstConstants.GA_ReadOnly);
                if (null == ds || 0 == ds.getRasterCount()) return;

                double[] mm = new double[2];
@@ -236,8 +282,9 @@
            } finally {
                if (null != ds) ds.delete();
            }
        });
        layer.getExtension().setMaxHeight(layer.getExtension().getMaxHeight() + layer.getWaters().getMaxHeight());
        }

        layer.getExtension().setMaxHeight(layer.getExtension().getMaxHeight() + layer.getWaters().getMaxHeight() + 1);
        layer.getExtension().setMaxHeight(ComHelper.getMaxVal(layer.getExtension().getMaxHeight(), 1000000));
        layer.getExtension().setMinHeight(ComHelper.getMaxVal(layer.getExtension().getMinHeight(), 1000000));
        layer.getExtension().setDiffer();
@@ -253,7 +300,7 @@

                createWaterPng(dto, ds, layer, layer.getWaters().getData().get(i));
                //if (config.getCopyTif()) copyWaterTif(dto, ds, layer.getWaters().getData().get(i));
                createVectors(dto, ds, layer, layer.getWaters().getData().get(i));
                ///createVectors(dto, ds, layer, layer.getWaters().getData().get(i));
            } finally {
                if (null != ds) ds.delete();
            }
@@ -268,7 +315,7 @@
        for (int[] sizes : layer.getTerrain().getSize()) {
            String fileName = ComHelper.getNameWithExt(ds.GetDescription()) + "_" + sizes[0] + "_" + sizes[1];
            String tif = dto.getTemp() + File.separator + fileName + ".tif";
            ComHelper.Resample(ds, tif, sizes[0], sizes[1], layer);
            ComHelper.Resample2(ds, tif, sizes[0], sizes[1], layer);
            if (!new File(tif).exists()) continue;

            String png = waterPath + File.separator + sizes[0] + "_" + sizes[1] + ".png";
@@ -286,6 +333,7 @@
            float[] buffer = new float[width * height];
            band.ReadRaster(0, 0, width, height, buffer);
            double[] transform = ds.GetGeoTransform();
            buffer = interpolateGrid(buffer, width, height);

            BufferedImage image = new BufferedImage(width, height, BufferedImage.TYPE_INT_ARGB);
            //double differ = layer.getWaters().getMaxHeight() - layer.getWaters().getMinHeight(), minHeight = layer.getWaters().getMinHeight();
@@ -295,7 +343,7 @@
                for (int y = 0; y < height; y++) {
                    int offset = x + y * width;
                    //if (Float.isNaN(buffer[offset]) || buffer[offset] < -999 || buffer[offset] < minHeight) continue;
                    if (Float.isNaN(buffer[offset]) || buffer[offset] <= 0.001 || Float.isNaN(ts[offset])) continue;
                    if (Float.isNaN(buffer[offset]) || buffer[offset] < MIN_VAL || Float.isNaN(ts[offset])) continue;

                    //double X = transform[0] + x * transform[1] + y * transform[2];
                    //double Y = transform[3] + x * transform[4] + y * transform[5];
@@ -307,10 +355,12 @@
                        g = b = 255;
                    } else {
                        int val = (int) ((buffer[offset] + ts[offset] - minHeight) / differ * 65535);
                        //int val = (int) (buffer[offset] / differ * 65535);
                        g = val / 256;
                        b = val % 256;
                    }

                    g = ComHelper.getSafeValue(g);
                    b = ComHelper.getSafeValue(b);
                    Color color = new Color(r, g, b, 127);
                    image.setRGB(x, y, color.getRGB());
                }
@@ -321,155 +371,68 @@
        }
    }

    public List<BuildingDepthVo> processBuilding(ResultDto dto, List<String> files, LayerDto layer) {
        List<BuildingDepthVo> list = new CopyOnWriteArrayList<>();
        for (int i = 0, c = files.size(); i < c; i++) {
            Dataset ds = null;
            try {
                ds = gdal.Open(files.get(i), gdalconstConstants.GA_ReadOnly);
                if (null == ds || 0 == ds.getRasterCount()) continue;
                if (null == ds.GetSpatialRef()) ds.SetSpatialRef(dto.getSpatialReference());

                copeBuildingDepth(dto, ds, layer.getWaters().getData().get(i), list);
            } finally {
                if (null != ds) ds.delete();
    /**
     * 插值处理-四邻域
     */
    public float[] interpolateGrid(float[] buffer,  int width, int height) {
        float[] tempBuffer = new float[width * height];
        for (int x = 0; x < width; x++) {
            for (int y = 0; y < height; y++) {
                int index = x + y * width;
                float current = buffer[index];
                if (current <= MIN_VAL) {
                    float sum = 0;
                    int count = 0;
                    // 检查上邻
                    if (y > 0) {
                        float neighbor = buffer[x + (y - 1) * width];
                        if (neighbor > MIN_VAL) {
                            sum += neighbor;
                            count++;
                        }
                    }
                    // 检查下邻
                    if (y < height - 1) {
                        float neighbor = buffer[x + (y + 1) * width];
                        if (neighbor > MIN_VAL) {
                            sum += neighbor;
                            count++;
                        }
                    }
                    // 检查左邻
                    if (x > 0) {
                        float neighbor = buffer[x - 1 + y * width];
                        if (neighbor > MIN_VAL) {
                            sum += neighbor;
                            count++;
                        }
                    }
                    // 检查右邻
                    if (x < width - 1) {
                        float neighbor = buffer[x + 1 + y * width];
                        if (neighbor > MIN_VAL) {
                            sum += neighbor;
                            count++;
                        }
                    }
                    // 计算新值
                    if (count > 0) {
                        tempBuffer[index] = (sum / count) * 0.5f;
                    } else {
                        tempBuffer[index] = 0;
                    }
                } else {
                    tempBuffer[index] = current;
                }
            }
        }

        return list;
    }

    public void copeBuildingDepth(ResultDto dto, Dataset ds, long ticks, List<BuildingDepthVo> list) {
        double[] transform = ds.GetGeoTransform();
        int xSize = ds.getRasterXSize(), ySize = ds.getRasterYSize();
        double minX = transform[0], pixelWidth = transform[1], maxY = transform[3], pixelHeight = Math.abs(transform[5]);

        for (BuildingDto building : dto.getBuildingList()) {
            Double val = getValue(ds, building, xSize, ySize, minX, maxY, pixelWidth, pixelHeight);
            list.add(new BuildingDepthVo(building.getId(), ticks, val));
        }
    }

    public Double getValue(Dataset ds, BuildingDto building, int xSize, int ySize, double minX, double maxY, double pixelWidth, double pixelHeight) {
        double[] env = new double[4];
        building.getGeom().GetEnvelope(env);

        int startX = (int) Math.floor((env[0] - minX) / pixelWidth);
        int endX = (int) Math.floor((env[1] - minX) / pixelWidth);
        int startY = (int) Math.floor((maxY - env[3]) / Math.abs(pixelHeight));
        int endY = (int) Math.floor((maxY - env[2]) / Math.abs(pixelHeight));
        if (startX < 0) startX = 0;
        if (startY < 0) startY = 0;
        if (endX > ds.getRasterXSize()) endX = ds.getRasterXSize();
        if (endY > ds.getRasterYSize()) endY = ds.getRasterYSize();
        if (endX - startX < 1 || endY - startY < 1) return null;

        int width = endX - startX;
        int height = endY - startY;
        double[] pixelValues = new double[width * height];
        ds.GetRasterBand(1).ReadRaster(startX, startY, width, height, pixelValues);

        Double val = Arrays.stream(pixelValues).max().getAsDouble();

        return ComHelper.isValid(val) ? val : null;
    }

    public void createVectors(ResultDto dto, Dataset ds, LayerDto layer, Long ticks) {
        String filePath = dto.getOutPath() + File.separator + "waters" + File.separator + ticks + File.separator + "polygonize.geojson";
        ShpHelper.polygonize2Geojson(ds, filePath);

        /*List<Geometry> geometries = getGeometries(filePath);
        if (CollectionUtils.isEmpty(geometries)) return;

        List<PondingPo> list = copePonding(dto, ds, layer, geometries);
        if (CollectionUtils.isEmpty(list)) return;

        try {
            filePath = dto.getOutPath() + File.separator + "waters" + File.separator + ticks + File.separator + "water.json";
            ComHelper.writeJson(filePath, JSON.toJSONString(list));
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
        }*/
    }

    public List<Geometry> getGeometries(String filePath) {
        if (!FileUtil.exist(filePath)) return null;

        Driver driver = null;
        DataSource dataSource = null;
        org.gdal.ogr.Layer layer = null;
        try {
            driver = ogr.GetDriverByName("GeoJSON");
            if (null == driver) return null;

            DataSource ds = driver.Open(filePath);
            if (null == ds) return null;

            layer = ds.GetLayer(0);
            List<Geometry> list = new ArrayList<>();
            for (long i = 0, d = layer.GetFeatureCount(); i < d; i++) {
                Feature f = layer.GetFeature(i);
                if (f.GetFieldAsDouble("val") < -999) continue;

                list.add(f.GetGeometryRef());
            }

            return list;
        } catch (Exception ex) {
            log.error(ex.getMessage(), ex);
            return null;
        } finally {
            GdalHelper.delete(layer, dataSource, driver);
        }
    }

    public List<PondingPo> copePonding(ResultDto dto, Dataset ds, LayerDto layer, List<Geometry> geometries) {
        double[] transform = ds.GetGeoTransform();
        int xSize = ds.getRasterXSize(), ySize = ds.getRasterYSize();

        List<PondingPo> list = new ArrayList<>();
        for (Geometry geometry : geometries) {
            //List<PointDto> points = getValues(ds, geometry, transform, xSize, ySize);
            //if (CollectionUtils.isEmpty(points)) continue;

            //PointDto point = Collections.max(points);
            PointDto point = getValues(ds, geometry, transform, xSize, ySize);
            if (null == point) continue;

            list.add(new PondingPo(geometry, point));
        }

        return list;
    }

    public PointDto getValues(Dataset ds, Geometry g, double[] transform, int xSize, int ySize) {
        double[] env = new double[4];
        g.GetEnvelope(env);

        int startX = (int) Math.floor((env[0] - transform[0]) / transform[1]);
        int endX = (int) Math.floor((env[1] - transform[0]) / transform[1]);
        int startY = (int) Math.floor((transform[3] - env[3]) / Math.abs(transform[5]));
        int endY = (int) Math.floor((transform[3] - env[2]) / Math.abs(transform[5]));
        if (startX < 0) startX = 0;
        if (startY < 0) startY = 0;
        if (endX > ds.getRasterXSize()) endX = ds.getRasterXSize();
        if (endY > ds.getRasterYSize()) endY = ds.getRasterYSize();
        if (endX - startX < 1 || endY - startY < 1) return null;

        int width = endX - startX;
        int height = endY - startY;
        double[] pixelValues = new double[width * height];
        ds.GetRasterBand(1).ReadRaster(startX, startY, width, height, pixelValues);

        Double val = Arrays.stream(pixelValues).max().getAsDouble();

        return new PointDto(g.Centroid().GetX(), g.Centroid().GetY(), ComHelper.isValid(val) ? val : 0.0);
        //System.arraycopy(tempBuffer, 0, buffer, 0, tempBuffer.length); // 复制回原数组
        return tempBuffer;
    }

    public void copeFlow(ResultDto dto, LayerDto layer) {
        List<String> files = getFiles(dto.getFlowPath(), ".tif");
        if (null == files || files.size() != layer.getWaters().getData().size()) return;

        List<String> files = layer.getWaters().getFiles();
        if (null == files || files.isEmpty()) return;
        for (int i = 0, c = files.size(); i < c; i++) {
            Dataset ds = null;
            try {
@@ -492,7 +455,7 @@
        for (int[] sizes : layer.getTerrain().getSize()) {
            String name = ComHelper.getNameWithExt(ds.GetDescription()) + "_" + sizes[0] + "_" + sizes[1];
            String tif = dto.getTemp() + File.separator + name + ".tif";
            ComHelper.Resample(ds, tif, sizes[0], sizes[1], layer);
//            ComHelper.Resample(ds, tif, sizes[0], sizes[1], layer);
            if (!new File(tif).exists()) continue;

            String png = flowPath + File.separator + sizes[0] + "_" + sizes[1] + ".png";
@@ -506,24 +469,58 @@
            ds = gdal.Open(tif, gdalconstConstants.GA_ReadOnly);
            if (null == ds || 0 == ds.getRasterCount()) return;

            float[] vxBuffer = new float[width * height], vyBuffer = new float[width * height];
            ds.GetRasterBand(1).ReadRaster(0, 0, width, height, vxBuffer);
            ds.GetRasterBand(2).ReadRaster(0, 0, width, height, vyBuffer);
            float[] depthBuffer = new float[width * height];
            float[] vxBuffer = new float[width * height];
            float[] vyBuffer = new float[width * height];

            createFlowPng(vxBuffer, vyBuffer, png, width, height);
            ds.GetRasterBand(1).ReadRaster(0, 0, width, height, depthBuffer);
            ds.GetRasterBand(2).ReadRaster(0, 0, width, height, vxBuffer);
            ds.GetRasterBand(3).ReadRaster(0, 0, width, height, vyBuffer);

            createFlowPng(depthBuffer, vxBuffer, vyBuffer, png, width, height);
        } finally {
            if (null != ds) ds.delete();
        }
    }

    public void createFlowPng(float[] vxBuffer, float[] vyBuffer, String png, int width, int height) {
    public void createFlowPng(float[] depthBuffer, float[] vxBuffer, float[] vyBuffer, String png, int width, int height) {
        BufferedImage image = new BufferedImage(width, height, BufferedImage.TYPE_INT_ARGB);
        for (int x = 0; x < width; x++) {
            for (int y = 0; y < height; y++) {
                int offset = x + y * width;
                float depth = ComHelper.getFloatValue(depthBuffer[offset]);
                float fx = ComHelper.getFloatValue(vxBuffer[offset]);
                float fy = ComHelper.getFloatValue(vyBuffer[offset]);
                if (Float.isNaN(fx) && Float.isNaN(fy) || (fx < MIN_VAL && fy < MIN_VAL)) continue;

                if (depth == 0) {
                    fx = 0f;
                    fy = 0f;
                } else {
                    fx = Float.isNaN(fx) ? 0 : fx / depth;
                    fy = Float.isNaN(fy) ? 0 : fy / depth;
                }
                double dr = Math.sqrt(Math.pow(fx, 2) + Math.pow(fy, 2));

                int r = (int) (dr / 4 * 255);
                int g = (int) ((fx / dr * 0.5 + 0.5) * 255);
                int b = (int) ((fy / dr * 0.5 + 0.5) * 255);

                Color color = new Color(ComHelper.getSafeValue(r), ComHelper.getSafeValue(g), ComHelper.getSafeValue(b), 127);
                image.setRGB(x, y, color.getRGB());
            }
        }
        ComHelper.savePng(image, png);
    }

    /*public void createFlowPng(float[] vxBuffer, float[] vyBuffer, String png, int width, int height) {
        BufferedImage image = new BufferedImage(width, height, BufferedImage.TYPE_INT_ARGB);
        for (int x = 0; x < width; x++) {
            for (int y = 0; y < height; y++) {
                int offset = x + y * width;
                float fx = ComHelper.getFloatValue(vxBuffer[offset]);
                float fy = ComHelper.getFloatValue(vyBuffer[offset]);
                if (Float.isNaN(fx) && Float.isNaN(fy) || (fx == 0 && fy == 0)) continue;
                if (Float.isNaN(fx) && Float.isNaN(fy) || (fx < MIN_VAL && fy < MIN_VAL)) continue;

                fx = Float.isNaN(fx) ? 0 : fx;
                fy = Float.isNaN(fy) ? 0 : fy;
@@ -538,16 +535,20 @@
            }
        }
        ComHelper.savePng(image, png);
    }
    }*/

    public void copeLayerJson(ResultDto dto, LayerDto layer) throws IOException {
        layer.getWaters().setFiles(null);
        layer.getTerrain().setEpsg(null);
        layer.getExtension().setDiffer(null);

        String path = dto.getOutPath().replace(config.getOutPath() + File.separator, "");
        layer.setWaterUrl("/hls/w" + path + ".m3u8");
        layer.setFlowUrl("/hls/f" + path + ".m3u8");

        String json = JSON.toJSONString(layer);
        // String json = JSONUtil.toJsonPrettyStr(layer);
        String filePath = dto.getOutPath() + File.separator + "layer.json";
//        String filePath = dto.getOutPath() + File.separator + "layer.json";
        String filePath = dto.getOutPath() + File.separator + layer.getName();

        ComHelper.writeJson(filePath, json);
    }