可见光、红外、SAR多模态数据集

产品概述

本数据集采用统一的虚拟场景和拍摄参数,通过SensorFX和RadarFX仿真软件生成,涵盖可见光、红外(IR)和合成孔径雷达(SAR)三种模态的图像。在场景设计方面,数据集提供多种类型的拍摄目标、地理环境及气象条件,支持昼夜变化、四季更替以及晴天、雨天、雪天等复杂天气模拟。根据用户需求,可灵活设置拍摄参数,生成从几百张到数十万张的多模态影像数据,以满足不同研究和应用需求。

该数据集适用于多模态目标检测、识别及场景理解等任务,助力计算机视觉、遥感监测、智能安防、自动驾驶等领域的研究与应用。

核心特点

多模态感知

• 可见光和红外

SensorFX可以在0.2–25.0μm波段内对任意传感器进行高保真仿真,采用物理精确且依赖环境的目标特征及传感器建模方法,包括:

  • 前视红外(FLIR)/热成像仪:支持3-5μm和8-12μ 波段,真实还原热成像特征。
  • 图像增强器/夜视仪(NVG):兼容 第二代 和 第三代 夜视技术,适用于低光照环境。
  • 电光(EO)相机:支持彩色CCD、低照度电视(LLTV)、黑白相机(BW)以及短波红外(SWIR),满足多种光学成像需求。

SensorFX采用基于GPU的实时图像处理器,可模拟工程级的传感器效应。其建模能力覆盖:

  • 光学系统、探测器焦平面阵列(FPA)。
  • 白噪声(NET)、1/f噪声。
  • 像增强器(I²)噪声等效辐照度(NEI)。
  • 信号处理、显示特性、自适应增益控制(AGC)。
  • 增益/亮度调节、光点晕染效应。
• SAR

RadarFX SAR结合JRM Technologies经过验证的基于物理的信号仿真与VR-Vantage的先进渲染架构,能够真实模拟地形雷达回波,并结合车辆、弹药、自然及人造目标的雷达截面(RCS),生成高精度SAR影像。

RadarFX SAR支持以下模式:

  • 条带式 SAR(Strip SAR):追踪方向为直线。
  • 点式 SAR(Spot SAR):追踪方向围绕地面固定点旋转。
  • 逆合成孔径雷达(ISAR)。
可见光
红外
SAR

丰富场景

• 多样化目标

数据集涵盖全球多国装备类目标,包括:

地面装备:装甲车辆、坦克、步兵战车等。

水面舰艇:军舰、巡逻艇、商船等。

人员目标:行人、士兵等。

此外,还包含各类典型建筑目标,如:

关键基础设施:机场、港口、水坝、加油站、雷达站、大型建筑群等。

• 真实地理环境

数据集可模拟丰富的地理环境,地表细节高度精细化,包括:

  • 城市:高楼大厦、道路、桥梁、工业区等。
  • 森林:茂密植被、河流、湖泊等。
  • 沙漠:干旱荒漠、戈壁、高温环境等。
  • 海洋:深海、沿岸、岛屿等水体场景。
  • 山地:高原、丘陵、雪山等复杂地形。
• 多变气象条件

支持模拟多种气象环境,可灵活调整:

  • 昼夜变化:日间、夜间、黄昏、黎明等。
  • 季节变化:春、夏、秋、冬四季场景。
  • 降水类型:小雨、大雨、暴雨、雪、雾等。
  • 云层与能见度:低云、高云、浓雾、霾等。
  • 温度设定:支持不同环境温度变化对红外成像的影响。

高精度配准

可见光与红外:提供像素级配准,确保跨模态一致性。

SAR影像:提供基本配准,便于多模态数据融合研究。

标准化标注

  • 外接矩形标注(YOLO格式):适用于目标检测任务。
  • 轮廓线标注(COCO格式):适用于目标分割任务。

基于仿真系统测试验证

本数据集可与仿真系统无缝集成,支持实时推送视频流,用于测试验证算法,构建完整的闭环测试环境。通过可见光、红外和SAR多模态数据流驱动算法测试,能够评估感知、识别、跟踪等智能算法的性能。

灵活的视角

多角度成像:支持不同高度、不同方位拍摄,适用于卫星、无人机、固定监控等载荷平台。

可调节拍摄参数:支持分辨率、视场角(FOV)等,满足不同研究需求。

应用领域

  • 计算机视觉:目标检测、图像分割、目标识别。
  • 遥感与监视:SAR图像分析、红外目标检测。
  • 自动驾驶:多模态感知、恶劣天气环境感知。
  • 智能安防:昼夜监控、多源数据融合分析。