[Medical AI] Medical SAM 2: Segment Medical Images as Video via Segment Anything Model 2

📌 Paper Information

* Author(저자): Jiayuan Zhu et al.
* Journal/Publisher(출처): arXiv:2408.00874
* Publication Date(발간일): 2024년 12월 4일 (v2 기준)
* Paper Link: https://arxiv.org/pdf/2408.00874?
* Official Code Link: https://github.com/bowang-lab/MedSAM2

 

[한 줄 요약]

Meta의 SAM 2(Segment Anything Model 2) 비디오 추적 메커니즘을 확장하여, 2D/3D 의료 영상(CT, MRI 등)을 비디오 프레임처럼 다루고 Self-Sorting Memory Bank를 도입해 단 하나의 프롬프트만으로 전체 데이터셋 및 3D Volume을 정밀 분할(SOTA)하는 파운데이션 모델.

 

1. Problem (연구 배경 및 문제 정의)

• 기존 SAM / MedSAM의 한계
  1세대 SAM과 의료용 변형 모델(MedSAM)은 주로 단일 2D 이미지 처리에 맞춰져 있었습니다. 3D CT나 MRI 같은 입체 영상을 분할하려면 2D 슬라이드마다 일일이 수동 프롬프트(Point/Box)를 지정해야 했으며, 슬라이드 간 연속성(Context)을 학습하지 못했습니다.
• 순서가 없는(Unsorted) 의료 데이터와 비디오의 차이
  Meta가 공개한 SAM 2는 비디오 추적 모델이라 자연스러운 시간 흐름(Temporal continuity)이 전제되어 있습니다. 하지만 의료 영상(여러 환자의 2D 슬라이드 모음 등)은 슬라이드 간 순서가 일정하지 않거나(Unsorted), 프레임 간 격차가 커서 기존 SAM 2의 최근(Recent) 프레임 기반 메모리 뱅크 방식을 그대로 적용하기 어려웠습니다.
• 연구 목적
  의료 데이터의 특성에 맞게 SAM 2의 비디오 추적 메모리 구조를 개조하여, 최소한의 프롬프트(단 1개)만으로 2D/3D 의료 영상을 효율적으로 세그멘테이션하는 일반화된 AI 시스템을 구축하고자 하였습니다.

 

2. Key Idea (핵심 아이디어 및 메커니즘)

1. 의료 영상을 '비디오(Video)'로 재해석
   • 3D Volume(CT/MRI)이나 여러 장의 2D 의료 영상을 하나의 연속된 비디오 프레임 시퀀스로 다루어, 비전 파운데이션 모델의 풍부한 컨텍스트 전달 능력을 그대로 활용합니다.
     

     

2. Self-Sorting Memory Bank Mechanism (자체 정렬 메모리 뱅크)
   • 순서가 없거나 연속성이 떨어지는 의료 데이터의 한계를 극복하기 위해 제안된 핵심 혁신 모듈입니다.
3. One-Prompt Segmentation 기능
   • Self-Sorting Memory Bank 메커니즘 덕분에 구현되는 기능입니다. 단 하나의 슬라이드(또는 프레임)에만 프롬프트를 찍어주면, 메모리 뱅크가 시간적/순서적 관계에 구애받지 않고 유용한 피처(Feature)를 추출·유지하여 다른 모든 유사 구조 영상까지 자동으로 분할합니다.
   • (시작과 최종 단계의 메모리 샘플 간 상호 정보량(Mutual Information)이 2.54에서 1.43으로 감소하며 중복 정보가 효과적으로 제거됨을 확인)

 

 

3. Method: Self-Sorting Memory Bank & Weighted Resampling

framework

💡 Weighted Resampling(가중 재표현)의 기준치

Self-Sorting Memory Bank가 현재 입력 이미지($F_{t+1}$)에 대해 메모리 뱅크에서 가장 유용한 $k$개의 메모리를 뽑아낼 때 쓰는 가중치 기준(Probabilistic Criteria)은 크게 두 가지입니다.

1. 신뢰도 (Confidence Score / IoU Score):
   • Mask Decoder가 예측한 마스크의 IoU(Intersection over Union) 신뢰도 점수가 사전 정의된 임계값(Threshold)을 넘는지 확인합니다. 신뢰도가 높은 임베딩일수록 선택 확률 가중치가 높아집니다.
2. 유사도 및 비동질성 (Cosine Similarity / Dissimilarity):
   • 현재 새로 들어온 프레임의 임베딩($F_{t+1}$)과 기존 메모리 뱅크 속 임베딩들 간의 코사인 유사도(Cosine Similarity)를 계산합니다.
   • 기준: 현재 이미지와 가장 유사한(Highest Similarity) 피처를 가진 메모리에 높은 선택 확률($p_i$)을 부여함으로써, 순서가 섞인 2D/3D 데이터셋 속에서도 현재 이미지와 구조적으로 가장 비슷한 과거 정보를 찾아 메모리 어텐션(Memory Attention)을 수행합니다.

 

4. Datasets (데이터셋)

📊 데이터셋 구성 (총 데이터셋 수 조사)

본 논문은 모델의 강력한 Generalization(일반화) 성능을 증명하기 위해 총 15개의 대표적인 공개 의료 데이터셋 (학습/평가 및 2D 5종, 3D 9종 과제 포함)을 활용했습니다.

주요 핵심 데이터셋 예시:

1. BTCV: 복부 다중 장기 3D CT 스캔 (간, 신장, 비장 등 13개 장기 분할)
2. REFUGE: 안구(망막 안저) 2D 컬러 안저 사진 (시신경 유두/함몰 분할)
3. CadVidSet: 관상동맥 질환(CAD) 환자의 혈관 조영술 비디오 영상
4. 기타 12개 데이터셋: 백혈구, 망막 혈관, 하치조신경, 하악골, 관상동맥, 신장 종양, 간 종양, 유방암, 비인두암, 전정 신경초종, 종격동 림프절 결절, 뇌동맥 등 다양한 모달리티(X-ray, CT, MRI, Ultrasound, Endoscopy) 데이터셋 포함.

 

5. Results (실험 결과 및 SOTA 달성)

2D 영상 Segmentation의 Dice Score

3D 영상(BTCV 데이터) Segmentation에서의 Dice Score

• 2D / 3D 통합 SOTA 달성
  기존의 Specialist 모델(UNet, Swin UNETR 등) 및 일반 파운데이션 모델(1세대 MedSAM, SAM) 대비 모든 벤치마크에서 Dice Score 우수성 입증.
• One-Prompt 성능 검증:
• 단 1개의 프롬프트만 제공된 상황(Few-shot / One-shot)에서 기존 Few-shot 모델들 대비 현격한 성능 차이로 최신 SOTA 갱신.
• 인터랙티브 기능 수렴:
• 사용자가 결과가 미흡한 슬라이드에 수동 프롬프트를 추가 입력하면, Self-Sorting Memory Bank가 이를 즉각 반영하여 전체 시퀀스의 분할 품질이 정교하게 향상됨.

 

[Conclusion]

* 2D & 3D 의료 영상 통합 지원
단일 2D 이미지부터 3D CT/MRI Volume 데이터까지 모달리티 구분 없이 강력한 분할(Segmentation) 성능을 제공합니다.

* Self-Sorting Memory Bank 도입
의료 영상을 '비디오 프레임'으로 재해석함과 동시에, 순서가 없거나(Unsorted) 연속성이 부족한 의료 데이터의 특성을 극복하여 모델의 일반화(Generalization) 능력을 극대화했습니다.

* One-Prompt Segmentation 구현
단 1개의 프롬프트(Point/Box)만 지정하면, 시간적/순서적 관계에 구애받지 않고 유사한 구조를 가진 여러 영상 및 3D 슬라이드를 자동으로 분할합니다.

* 전 분야 SOTA(State-of-the-Art) 갱신
15개 이상의 다양한 의료 데이터셋 및 2D/3D 벤치마크 평가에서 기존 Specialist 모델과 파운데이션 모델들을 모두 상회하는 최첨단 성능을 입증했습니다.