1

13693261870

2024-11-01 2b75d84cabc3416d903f425239c713b65a98503f

 src/main/java/com/yssh/utils/CsvParser.java

@@ -3,18 +3,22 @@
import java.util.ArrayList;
import java.util.List;

import com.yssh.entity.AlertConfig;
import com.yssh.entity.SuYuan;
import com.yssh.mapper.AlertConfigMapper;
import com.yssh.service.SuYuanService;

import com.github.biyanwen.impl.AbstractCsvFileParser;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import javax.annotation.Resource;

public class CsvParser extends AbstractCsvFileParser<SuYuan> {
   protected final Logger logger = LoggerFactory.getLogger(this.getClass());

   /**
    * 每隔3000条存储数据库，然后清理list ，方便内存回收
    * 每隔100000条存储数据库，然后清理list ，方便内存回收
    */
   public static final int BATCH_COUNT = 100000;

@@ -27,9 +31,12 @@

   private String time;

   private double jcyj;

   public CsvParser(SuYuanService suYuanService, String time) {
      this.suYuanService = suYuanService;
      this.time = time;
      this.jcyj = suYuanService.getJcyj();
   }

   /**
@@ -46,11 +53,18 @@

   protected void invoke(SuYuan t) {
      t.setId(t.getX() + "_" + t.getY() + "_" + t.getZ());
      if ("0_0_0".equals(t.getId())) {
      /*if ("0_0_0".equals(t.getId())) {
         return; // 解决主键重复
      }*/
      /*if (t.getZ() > 0 && t.getC() < jcyj) {
         return; // 只入第0层数据+Voc值大于1
      }*/

      // 只入值 > =0.05
      if (t.getC() < 0.1) {
         return;
      }

      //System.err.println(t.getId());
      cachedData.add(t);
      // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
      if (cachedData.size() >= BATCH_COUNT) {