修改CSV数据入库

13693261870

2023-11-05 6e797b6bf65719823a20066f14344e180aff2e33

修改CSV数据入库

 src/main/java/com/yssh/service/SuYuanService.java

@@ -47,8 +47,15 @@
    @Resource
    private LocationService locService;

    @Resource
    private AlertConfigMapper alertConfigMapper;

    private static HashMap<String, String> sites = new HashMap<>();

    public double getJcyj() {
        return alertConfigMapper.getAll().get(0).getJcyj();
    }

    //@Transactional
    @Async("threadPoolTaskExecutor")
    public void insertSuYuanDatasAsync(List<SuYuan> lists, String time) throws Exception {

 src/main/java/com/yssh/utils/CsvParser.java

@@ -3,18 +3,22 @@
import java.util.ArrayList;
import java.util.List;

import com.yssh.entity.AlertConfig;
import com.yssh.entity.SuYuan;
import com.yssh.mapper.AlertConfigMapper;
import com.yssh.service.SuYuanService;

import com.github.biyanwen.impl.AbstractCsvFileParser;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import javax.annotation.Resource;

public class CsvParser extends AbstractCsvFileParser<SuYuan> {
    protected final Logger logger = LoggerFactory.getLogger(this.getClass());

    /**
     * æ¯éš”3000条存储数据库，然后清理list ï¼Œæ–¹ä¾¿å†…存回收
     * æ¯éš”100000条存储数据库，然后清理list ï¼Œæ–¹ä¾¿å†…存回收
     */
    public static final int BATCH_COUNT = 100000;

@@ -27,9 +31,12 @@

    private String time;

    private double jcyj;

    public CsvParser(SuYuanService suYuanService, String time) {
        this.suYuanService = suYuanService;
        this.time = time;
        this.jcyj = suYuanService.getJcyj();
    }

    /**
@@ -46,11 +53,13 @@

    protected void invoke(SuYuan t) {
        t.setId(t.getX() + "_" + t.getY() + "_" + t.getZ());
        if ("0_0_0".equals(t.getId())) {
        /*if ("0_0_0".equals(t.getId())) {
            return; // è§£å†³ä¸»é”®é‡å¤
        }*/
        if (t.getZ() > 0 && t.getC() < jcyj) {
            return; // åªå…¥ç¬¬0层数据+Voc值大于1
        }

        //System.err.println(t.getId());
        cachedData.add(t);
        // è¾¾åˆ°BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
        if (cachedData.size() >= BATCH_COUNT) {

 src/main/resources/application-file.yml

@@ -4,7 +4,7 @@
  filePath3d: E:\yssh_data\dat\correct_jk_47.dat
#csv配置路径
csv:
  filePath: F:\0911\LBM-NEW
  filePath: E:\yssh_data\LBM-NEW
  vocPath: E:\yssh_data\VOC_ALL
#日/周/月报路径
report:

 ˵Ã÷.txt

@@ -1,4 +1,4 @@
-------------------------------------------------------------------------------
------------------------------------------------------------------------------- 0-4层
http://192.168.20.228:8082/yssh/warning/runWarning?start=2023-08-08+00:00:00&end=2023-08-09+00:00:00

http://192.168.20.228:8082/yssh/suYuan/get100?name=AI-10&date=2023-08-08+23:00:00
@@ -29,7 +29,7 @@
2.外网云登录方式：
>1.登录外网云，用户名是maxy628 123.114.233.55，输入验证码，passd123!@#..
>2.进入云桌面 ï¼Œæµè§ˆå™¨è®¿é—®10.101.3.183 è¿›å…¥å ¡åž’机系统
     ç”¨æˆ·è´¦å·ï¼šmaxy628.yssh  å¯†ç ï¼šyssh1234@#..，yssh1234@#628
     ç”¨æˆ·è´¦å·ï¼šmaxy628.yssh  å¯†ç ï¼šyssh1234@#..，yssh1234@#628.
>3. å…¨å±€æœç´¢  98、101、102、103，yssh123!@#..

3.客户端地址：