润饰图像质量评价

 

        随着数字技术的日趋成熟和广泛应用，社交媒体和数字摄影成为日常生活记录和分享的重要工具。在这些平台上，人脸图像作为表达情感和信息的重要媒介，常常成为处理和修饰的焦点。由于拍摄环境、技术限制及个人偏好等多种因素，人脸图像的修饰处理在满足视觉审美需求方面扮演着关键角色。目前，广泛应用的图像处理软件如Photoshop、美图秀秀等，提供多样化的工具和算法以调整图像的外观、肤色、轮廓和纹理。然而，这些技术的过度应用可能导致图像失真，影响其真实性和可信度，对远程医疗的问诊造成困扰。为应对该难题，团队近期对人脸润饰图像质量评价展开系统研究，在业内顶级期刊 IEEE Transactions on Multimedia （TOP期刊, 中科院一区，IF=7.3）上发表了题为 “Perceptual Quality Assessment of Retouched Face Images” 的研究论文。团队青年教师岳广辉副教授担任第一作者，研究生武泓吕为第二作者。

 

        原文链接：https://ieeexplore.ieee.org/document/10337739

 

图1 SZU-RFD数据集示例

 

        本论文首先构建了一个基准数据库（SZU-RFD），包含200张高质量亚洲面孔图像及1,600张经过不同设置的流行照片编辑工具修饰后的图像。数据集示例如图1所示。针对润饰操作可能篡改图像纹理的问题，本研究提出了一种创新的无参考质量评估方法——TANet。

 

        该方法的网络框架图如图2所示，从纹理分析角度增强特征表征能力，在骨干网络的浅层特征嵌入纹理增强模块，有效关注并增强富含纹理细节的特征。此外，本研究还应用了多任务学习策略，通过纹理识别辅助任务提高主任务质量分数预测的性能。在SZU-RFD数据集上的大量实验表明，TANet与主观感知判断高度相关，并在评估修饰的面部图像方面优于19种主流NR图像质量评估方法，充分验证了该网络框架的有效性。

 

图2 图像质量评价网络框架图

 

 

 

大肠息肉分割

 

 

        息肉属于肠道黏膜表面上的赘生物，多出现在大肠褶皱处，呈现“伪装”特性，为其准确检测带来巨大挑战。团队受生物学中目标检测步骤（先搜索、后识别）启发，提出一种通用的伪装模板检测算法，该研究成果发表在业内顶级期刊IEEE Transactions on Circuits and Systems for Video Technology（TOP期刊, 中科院一区，IF=8.4）上，题为“Dual-Constraint Coarse-to-Fine Network for Camouflaged Object Detection”。论文第一作者是团队副教授岳广辉，第二作者是硕士研究生肖厚禄。

 

        原文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10262011

 

        本研究提出了基于双约束的目标分割网络（DCNet）。具体而言，考虑到目标检测中低级特征和高级特征都很重要，引入了区域边界解码器（ABD），通过聚合骨干的多级特征来挖掘目标的初始区域线索和边界线索。然后，使用区域搜索模块（ASM）自适应搜索每一层目标的粗糙区域，利用区域细化模块（ARM）在ABD的边界线索引导下融合邻接层特征来识别目标的精细区域。最后，DCNet通过模仿每一层的搜索-识别机制，并通过深监督策略从上到下聚合多层次特征，以从粗到精的方式精确定位目标区域。实验结果表面，本研究提出的DCNet不仅在息肉分割任务上表现良好，还在伪装目标检测和工业缺陷检测方面也取得了较好的效果。

 

图 2  DCNet框架图

 

 

 

脑肿瘤分割

 

  

        团队在脑肿瘤分割领域也取得新的研究成果，并在健康信息处理领域顶级期刊IEEE Journal of Biomedical and Health Informatics（TOP期刊, 中科院一区，IF=7.7）上发表题为“Adaptive Cross-Feature Fusion Network With Inconsistency Guidance for Multi-Modal Brain Tumor Segmentation”的论文。论文第一作者是团队副教授岳广辉，第二作者是硕士研究生卓桂彬。

 

        论文链接：https://ieeexplore.ieee.org/document/10374553

 

        在当代人工智能的背景下，学术界陆续提出多种基于深度学习与多模态数据分析的脑肿瘤分割方法。然而，现有方法通常在多个阶段直接融合不同模态的信息，而不考虑模态之间的差距，仍有很大的性能提升空间。在本研究中，团队介绍了一种新的名为ACFNet脑肿瘤分割网络。ACFNet具有三个编码器-解码器的并行分支结构。上层和下层分支从单个模态生成粗略预测图，而中间结构集成不同模态的互补知识，并弥合它们之间的差距，从而生成精细预测。为了有效地整合互补信息，本研究在编码器处提出了一种自适应跨特征融合模块，该模块探索并融合上下层分支特征之间的相关性信息。为了获取更精准的预测结果，本研究在解码器处提出了一个预测偏差引导模块，该模块在结合编码器的特征时，通过引导策略帮助网络更多地关注易出错区域。在BraTS 2020数据集上的实验表明，ACFNet取得了良好的脑肿瘤分割效果，并且优于六种主流方法。

 

图4  ACFNet框架图

 

 

        以上研究依托于广东省生物医学信息检测与超声成像重点实验室和医学超声关键技术国家地方联合工程实验室开展，并得到了国家自然科学基金、广东省自然科学基金、深圳市自然科学基金、腾讯“犀牛鸟”——大红鹰499555青年教师科研基金等项目的资助。