Data augmentation using learned transforms for one-shot medical image segmentation

相关背景:

1.生物学图像分割在很多医学应用中是很重要的任务。
2.基于CNN的方法达到了比较好的效果,但是CNN是依赖大量标记的数据集,但是标记数据集需要大量的专业知识和时间。
3.为了解决这个问题,一些科研人员采用了人工设计预处理的步骤和结构,也有人手工调整数据来增加训练样本的数目。比如随机旋转和非线性变换,在某些情况下比较容易而且有不错的效果。这些方法模拟实际例子的能力比较有限,而且对参数的选择非常敏感。

相关的工作

1.医学图像分割

我们主要关注脑部MRI( magnetic resonance imaging )分割,由于以下原因导致分割充满挑战
1)人类的脑部展现出了大量的解刨学变化。
2)由于不同项目的噪音,扫描器的协议和质量,图片的参数,导致一个组织类可以在不同图片上以不 同的强度出现,即使是在同一个MRI模式,如果仅仅依赖外观进行分割,是非常困难的。
现在很多分割方法依赖对扫描进行预处理,来降低强度相关的挑战,预处理的运行成本很高,所以开发出现实的数据集在研究领域中是一个活跃的领域。我们从另一个角度解决强度相关的挑战:它不是去除强度变化,而是使分割方法对自然变化的MRI扫描具有鲁棒性。
有很多经典的分割方法使用atlas-based 或者atlas-guided的方法,在这些方法中使用变形模型将已标记的卷或者atlas与目标卷进行对齐。已标记的标签也会通过变形模型进行传播。当有多个atlase可以使用时,他们都和目标卷对齐,然后将扭曲的标签融合在一起。在atlas-based方法中,使用一个变形模型捕捉不同项目中的解刨学变化,通过预处理或者intensity-robust矩阵降低由强度不同带来的挑战。然而由于外观的模糊不清(模糊的组织边界以及图像噪声)仍然会导致不正确的登记和分割。我通过在不同的实际样本上训练训练一个分割模型,让分割器对这样的模糊具有鲁棒性,来解决这个问题。我们使用一个单独的altas来展示我们的方法优于atlas-base分割的方法。
对于生物学分割,监督学习的方法在最近几年变得流行,为了降低对大量标记训练数据的需求,常常使用手工设计预处理的步骤和结构对数据进行扩充。比如:多分辨率图像patch和卷积权重共享。
半监督学习和非监督学习也可以用来解决小训练数据集的挑战。这些方法不需要成对的图像和分割后的数据。相反,他们使用分割的数据集建立了解刨学先验,来建立一个对抗网络,或者训练一个新的语义约束。在实际中,图像集合比分割数据更容易获得。我们使用一组未标记的图像,而不是使用分割数据。

2.空间和外观转换模型

在很多图像分析的过程中使用形状和外观模型。在医疗图像注册中,使用空间变形模型建立图像间的语义对应关系。这个成熟的领域包含了基于优化的方法和最近基于学习的方法。我们使用了VoxelMorph,这是一个基于无监督学习的方法学习空间的变换。
很多登记方法关注于强度归一化的图像或者强度无关的目标函数,并且没有解释说明图像中强度的变化。对于没有归一化的图像,空间和外观转换模型可以一起用来登录纹理或外观不同的对象。很多工作建立在Morphable模型或者AAMs(Active Appearance Models)框架之上。在医学领域,AAMs可以被用来定位解刨学标记和进行分割。我们以此为基础通过CNN学习无约束空间和强度变换模型。

3.自然图像的few-shot 分割

现存的方法大部分关注于自然图像,few-shot语义分割的方法合并要分割类的原型样本中的信息。few-shot 视频分割常常把每帧中的对象和标记的参考帧对齐来实现。其他的方法利用补充的大量数据集对象外观等信息。Guided network被用来合并其他信息,在不同的设置中进行few-shot分割。医疗图像于自然图像具有一些不同的挑战。比如:与自然图像相比,组织类别之间的区别非常细微。

4.数据增强

在基于图像的监督学习任务中,数据扩充通常使用简单的参数化变换,例如旋转和缩放。在医疗图像领域,经常使用随机平滑流场(random smoooth flow field)模拟解刨学变化。这些参数化的变换可以减少过拟合和提高性能。然而,然而,这些变换所带来的性能提升随着变换函数和参数设置的选择而变化。最近的研究中提出了从数据中学习数据扩充转换的方法,Hauberg 关注对MINIST数字分类的数据增强。他们学习了特定的数字转换,然后采样了训练图像和变化来提高分类性能。我们学习了一个外观和空间模型,我们关注在MRI分割问题,Ratner 提出的半监督方法学习空间和颜色转变对数据进行增强。他们依赖用户输入来创建简单参数化变换函数的组合。他们学习使用一个生成对抗网络生成转换函数的新组合。相反,我们的方法是完全自动化的

解决方案:

{y(i)} 表示一组生物医学图像卷
(x,lx)表示已标记的参考卷或者atlas
为了进行数据增强,我们对已标记的atlas进行转换T(k)
我们首先学习单独的空间和外观转换模型,来捕获已标记的atlas和未标记卷解刨学和外观差异的分布。使用两个学习到的模型,通过对atlas卷进行空间外观转换,和用空间转换扭曲atlas label maps ,生成已标签的卷。
overview
独立地学习空间和外观变换模型,来捕捉图像数据集的变化,然后使用这个模型生成标记后的样本。然后这些样本可以用来训练监督的分割网络。
合成新的样本

实验

分割基线

使用公开的数据集,然后进行重新采样。
我们与以下的基线进行对比:
1)Single-atlas 分割(SAS):我们训练在【8】描述的最先进的登录算法,然后预测测试卷。
2)使用single-atlas分割进行数据增强(SAS-aug):我们使用后SAS的结果作为监督分割的训练样本,虽然SAS的结果不完美,但是对多个粗标签进行训练可以提高分割性能。
3)人工调整随机数据增强(rand-aug)
4)监督:对训练中的101个样本训练一个完全监督的网络,除了atlas 标记,这些标记不会被其他方法得到。这个方法作为一个上线。

我们方法的变种

1)独立采样(ours-indep):独立地对空间和外观目标图像进行采样
2)耦合采样(ours-coupled):我们从相同的目标图像上的每一个空间和外观转换进行采样
3)ours-indep+rand-aug:在训练分割器的时候,我们轮流使用ours-indep和rand-aug合成的样本。
在100个大脑扫描图测试集上的就Dice得分的分割性能。

结果

result
上表展示了我们的方法在Dice得分方面优于基线。
figure8

讨论:

为什么我们的方法优于single-atlas 分割?
我们的方法以相同的方法扭曲图像和标签,确保扭曲的标签和变换的图像匹配。在另一方面,SAS-aug方法把扭曲的标签应用于原始图像,会在登记结果中产生各种错误和噪音都会产生。

扩展:

我们的框架可适用于未来的一些扩展,在3.1章节,我们讨论了在atlas的参考系中学习外观转换的近似逆变形函数的使用。在未来我们会在微分同坯的登记中利用现有的工作,而不是学习独立的逆空间转换模型。
我们从空间和外观转换的离散集合中进行采样转换。这个可以扩展到更丰富地跨越变换空间。例如:转换之间进行插值,或者转换进行组合。
我们在MRI上展示了自己的方法,但是也可以扩展到其他的解刨学或者图像模型中,例如CT

个人总结与思考:

本文的作者提出了一种基于空间和外观的变换模型,用来合成新的训练图像,解决了在医疗领域训练样本较少的难题,在实验中取到了不错的效果。在以后的工作中,如果遇到样本较少的实验,可以使用或者对方法进行改动,用来进行数据增强。感觉本方法是对某一个具体部位进行的学习转换达到了,在细胞核细胞核分割领域,一个切片上有很多细胞,如果用本方法的话,感觉效果预计不会很好。