无人车能为人们提供安全高效的出行服务，也对社会经济发展具有越来越重要的引导作用。行人检测是无人车安全行驶的关键步骤，也是计算机视觉领域的研究热点和难点，而全天候行人检测是当前无人驾驶面临的重要挑战。本项目面向全天候车载行人检测任务的应用需求，利用远红外与可见光图像的互补信息，对以下四个方面展开研究：⑴建立基于多模态图像的特征融合、协同学习模型，研究基于多模态差分特征的高效检测算法；⑵建立基于多模态图像的多粒度特征融合、自适应区域特征提取协同学习模型，研究尺度信息引导的鲁棒行人检测算法；⑶在此基础上，建立基于弱监督人体分割信息的行人检测、分割协同学习模型，研究行人检测与分割任务之间的信息交互机制；⑷在以上基础上，建立目标关联关系模型，研究语义场景对行人检测任务的证据支撑机制。本项目的研究成果不仅可以丰富多模态图像融合的理论体系，而且将显著推动行人检测技术研究，提升无人车安全性能。