SAM 미세조정을 이용한 대장 내시경 용종이미지 분할 성능분석 및 성능향상 연구 (Performance Analysis and Performance Improvement Study on Colonoscopy Polyp Image Segmentation Using SAM Fine-tuning)

서지정보

· 발행기관 : 한국콘텐츠학회
· 수록지 정보 : 한국콘텐츠학회 논문지 / 24권 / 5호 / 57 ~ 64페이지
· 저자명 : 송무건, 신영학

초록

Segment Anything Model (SAM)은 광범위한 대용량 일반이미지 데이터셋으로 학습된 이미지 분할 모델이다. 본 연구에서는 대규모 이미지 분할 모델이 소규모 데이터를 이용하는 특정 의료 영상 분야인 대장 내시경 용종분할에서 충분한 성능을 보이는지 확인하고, 미세조정을 통한 성능향상 방법에 대해 연구하였다. 세 가지 학습 방법을 제안하였는데, 첫째는 Generative Adversarial Networks (GAN)기반의 실제와 유사한 용종이미지 생성을 통해 생성된 이미지 데이터를 추가하여 학습데이터를 확장하는 것, 둘째는 copy-pasting 방법을 이용하여 기존 이미지 데이터를 합성하여 새로운 이미지 데이터를 만들고, 이를 학습데이터에 추가하는 것, 셋째는 앞서 사용한 생성된 이미지 데이터와 copy-pasting로 만든 이미지 데이터를 이용하여 SAM을 사전학습하고, 모델을 기존의 학습데이터로 미세조정 하는 것이다. 이 세 가지 방법을 통해 SAM의 성능을 향상하려는 시도가 이루어졌으며, 기존 모델에 비해 Dice Similarity Coefficient (DSC)와 Mean Intersection over Union (mIoU) 성능향상을 확인하였다.

영어초록

Segment Anything Model (SAM) is an image segmentation model trained on a large-scale, general image dataset. In this study, we investigated whether such a large-scale image segmentation model can perform adequately in the specific medical imaging field of colonoscopy polyp segmentation using small-scale data, and we explored methods to enhance performance through fine-tuning. Three training methods were proposed. First, expanding the training dataset by incorporating generated images through Generative Adversarial Networks (GAN), aiming for realistic polyp image synthesis. Second, synthesizing new image data by merging existing images through copy-pasting, and adding them to the training data. Third, pre-training SAM with the generated and copy-pasted images, followed by fine-tuning the model with the original training data. These three methods were an attempt to improve the performance of SAM, and we observed enhancements in the Dice Similarity Coefficient (DSC) and Mean Intersection over Union (mIoU) compared to the original model.

참고자료

· 없음