KR101320828B1

KR101320828B1 - 전립선 병리 영상의 자동 스티칭 시스템 및 그 방법

Info

Publication number: KR101320828B1
Application number: KR1020120098338A
Authority: KR
Inventors: 홍헬렌; 김한나; 이지언; 이학종; 황성일
Original assignee: 서울여자대학교 산학협력단
Priority date: 2012-09-05
Filing date: 2012-09-05
Publication date: 2013-10-23

Abstract

본 발명은 2조각 또는 4조각의 전립선 병리 조직 영상을 기하보정 및 강체 정합하여, 자동으로 스티칭하는 시스템 및 방법에 관한 것으로 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템은 조각 영상 간의 좌표 위치와 기울기를 보정하는 기하보정부, 기하 보정된 상기 조각 영상 간의 스티칭 작업을 제어하는 스티칭 제어부 및 상기 조각 영상의 절단면에 위치한 외곽선의 유사성을 분석하는 유사성분석부를 포함하는 것을 기술적 특징으로 하며, 본 발명을 통해 2조각 EH는 4조각의 전립선 병리조직 영상을 하나로 스티칭함으로써, 해당 조직의 전체 구조 파악 및 조직 내에서의 암 위치 파악에 사용될 수 있으며, 전립선암의 확진에도 사용될 수 있는 효과를 기대할 수 있다.

Description

전립선 병리 영상의 자동 스티칭 시스템 및 그 방법{Automatic stitching system and the method of prostate in pathology image}

본 발명은 전립선 병리 영상의 자동 스티칭 기술에 관한 것으로, 더 상세하게는 2조각 또는 4조각의 전립선 병리 조직 영상을 기하보정 및 강체 정합하여, 자동으로 스티칭하는 시스템 및 방법에 관한 것이다.

일반적으로, 전립선암 환자의 전립선절제술로 적출한 병리조직은 현미경을 통한 조직 검사를 위해 파라핀 절편으로 만들어 2조각 또는 4조각으로 나뉜 뒤 고해상도 조각 영상으로 획득하게 된다. 그러나 영상이 2조각 또는 4조각으로 나뉘어져 있기 때문에 전체 병리 조직 구조 파악 및 전체 조직에서의 암의 위치 파악이 어렵다. 따라서 전체 병리 조직에서의 정확한 암 위치 파악과 확진을 돕기 위해 여러 조각의 영상을 하나로 스티칭 하는 기술이 필요하다.

조각 영상의 스티칭 대한 종래 기술은 다음과 같다. Appleton등은 여러 조각의 현미경 슬라이스 영상을 동적 프로그래밍을 기반으로 하여 한 번에 한 행을 스티칭하는 기술(편의상 종래기술1 이라함)을 제안하였는데, 스티칭 하고자 하는 조각 영상 간 중첩 영역에서 정규화된 상호상관계수를 구해 이를 최적화시키는 이동 매개변수를 찾아 조각 영상을 이동시킴으로써 스티칭하였다.

Rankov등은 2D와 3D 현미경 영상과 체내 혈관 영상의 스티칭(편의상 종래기술2 이라함)을 제안하였는데, 상기 종래기술1과 유사하게 조각 영상 간 상호상관계수를 최적화 시켜 조각 영상을 스티칭하였고, 추가적으로 스티칭 면의 경계 부분을 블렌딩 시켜 스티칭 면의 경계가 눈에 띄지 않도록 하였다.

Bradley 등도 종래기술1과 종래기술2와 유사하게 상호상관계수를 사용하여 여러 조각의 현미경 영상을 스티칭(편의상 종래기술3 이라함) 하였다. Sun 등은 조각 영상 간 중복 영역에서 매칭되는 특징 점의 밝기 값 차이와 특징 점의 이동 벡터를 이용하여, 조각 영상 간 방사량을 보정하고 기하 보정함으로써 스티칭하는 방법(편의상 종래기술4 라함)을 제안하였다. Duffin 등은 풍경 영상에서 개선된 투영 변환을 이용해 조각 영상들을 변환 시킨 후, 중복 영역의 특징 점들 간 거리를 최소화시킴으로써 스티칭(편의상 종래기술5 라함)하였다.

그러나 이러한 종래 기술들은 조각 영상 간 초기의 위치나 기울기 차이가 클 경우 이를 보정해 스티칭하기 어렵고, 밝기값 정보를 기반으로 하기 때문에 [도 17]과 같은 전체적으로 유사한 밝기값을 가지는 병리 조직 영상의 경우 정확한 스티칭이 어려운 한계가 있다.

또한, 종래 기술에서 사용한 영상들과 달리 병리 영상은 병리 조직 자체가 물리적으로 나뉘어 조각 영상 간의 중복 영역이 존재하지 않기 때문에, 중복 영역을 이용해 유사성을 측정하는 등의 방법도 적합하지 않은 문제점이 있다.

Ben Appleton, Andrew P. Bradley, Michael Wildermoth: Towards Optimal Image Stitching for Virtual Microscopy, Proceedings of IEEE, Vol. 1, pp. 299-306, 2005. Vladan Rankov, Rosalind J. Locke, Richard J. Edens, Paul R. Barber, Borivoj Vojnovic: An algorithm for image stitching and blending, Proceedings of SPIE, Vol. 5701, 2005. Ben Appleton, Andrew P. Bradley, Michael Wildermoth: Towards Optimal Image Stitching for Virtual Microscopy, Proceedings of IEEE, Vol. 1, pp. 299-306. Changming Sun, Richard Beare, Volker Hilsenstein, Paul Jackway: Mosaicing of microscope images with global geometric and radiometric corrections, Journal of Microscopy, Vol. 224 , pp. 158-165, 2006. Kirk L. Duffin, William A. Barrett : Globally Optimal Image Mosaics, Proceedings of Graphics Interface, pp. 217-222, 1998.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템의 목적은 전립선 병리조직에 관한 조각 영상을 기하보정하고, 각 조각 영상의 절단면에 위치한 외곽선의 유사성을 분석하여, 하나의 조직 영상으로 스티칭하는데 있다.

다른 목적은, 기하보정부를 포함하여, 조각 영상의 절단면에 위치한 코너 및 외곽선의 위치 및 기울기를 보정하는데 있다.

또 다른 목적은, 영상요소검출부를 더 포함하여, 조각 영상의 코너 부근과 절단면의 에지 및 코너점을 검출하는데 있다.

또 다른 목적은, 강체변환부를 이용하여, 기하보정된 조각 영상의 위치 및 기울기를 변환하는데 있다.

또 다른 목적은, 외곽선의 거리 차 제곱 합(SSDD : Sum of Squared Distance Difference)을 산출하여, 정합의 최적화를 판단하는데 있다.

또 다른 목적은, 실제 조직이 존재하는 영역에 관해서 외곽선의 유사성을 판단하여, 스티칭 작업의 정확성을 확보하는데 있다.

본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법의 목적은 전립선 병리 조직 영상의 코너와 절단면에 위치한 에지와 코너점으로 기하보정을 수행하여, 강체 정합 시, 지역적 최적해로의 수렴을 방지하도록 하는데 있다.

다른 목적은, 상측 및 하측 또는 좌측 및 우측으로 배치된 조직 영상의 기하보정 방법을 구분하여, 조직 영상 간의 코너 위치 및 기울기 차이를 감소시키는데 있다.

또 다른 목적은, 조각 영상의 절단면에 위치한 외곽선의 유사성을 측정하여, 최적의 강체 정합이 가능하도록 하는데 있다.

또 다른 목적은, 거리 차 제곱의 합으로 외곽선의 유사성을 측정하고, 유사성의 반복 측정으로 조각 영상간의 거리를 최소화하는데 있다.

본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템은 조각 영상 간의 좌표 위치와 기울기를 보정하는 기하보정부, 기하 보정된 상기 조각 영상 간의 스티칭 작업을 제어하는 스티칭 제어부 및 상기 조각 영상의 절단면에 위치한 외곽선의 유사성을 분석하는 유사성분석부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템에 있어서, 기하보정부는, 상기 조각 영상 간의 절단면에 위치한 코너의 좌표값 차이를 보정하는 위치보정부 및 상기 조각 영상 간의 절단면에 위치한 외곽선 기울기 차이를 보정하는 회전보정부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템은 스티칭 제어부와 연결되어, 상기 조각 영상의 영상 요소를 검출하는 영상요소검출부를 더 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템에 있어서, 영상요소검출부는 상기 조각 영상의 코너 부근과 절단면에 위치한 에지를 검출하는 에지검출부 및 상기 조각 영상에서 검출된 상기 에지에서 외곽에 위치한 코너 점을 검출하는 코너점검출부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템에 있어서, 외곽선의 유사성은 거리 차의 제곱 합(SSDD : Sum of Squared Distance Difference)이 설정된 값에 도달하는지 여부에 따라 판단되며, 상기 거리 차의 제곱 합은 [수학식 1]을 통해 산출되는 것을 특징으로 한다.

[수학식 1]

여기서, R(i) : 기준 조각 영상에서의 i번째 외곽선

F(i) : 변환된 부동 영상에서 대응되는 외곽선

N : 관심 영역 내에서 외곽선을 나타내는 픽셀의 수

본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법은 (a) 입력된 전립선 병리 조각 영상을 기하보정하는 단계 및 (b) 강체변환부를 이용하여, 기하보정된 상기 조각 영상을 강체 변환하는 단계를 포함하며, 상기 (a) 단계는 (a-1) 영상요소검출부를 이용하여, 상기 조각 영상의 코너와 절단면에 위치한 에지와 코너점을 검출하는 단계 및 (a-2) 기하보정부를 이용하여, 코너의 좌표값 방향 및 절단면에 위치한 외곽선의 기울기를 보정하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법은 (b) 단계 이후에, (c) 유사성분석부를 이용하여, 상기 조각 영상의 절단면에 위치한 외곽선의 유사성을 측정하는 단계 및 (d) 측정된 외곽선의 유사성이 최적화되었는지 판단하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법은 (d) 단계에서 측정된 유사성이 최적화되지 않은 것으로 판단되면, 상기 (b) 단계로 돌아가 재수행하는 것을 특징으로 하는 것을 특징으로 한다.

또한, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법은 (d) 단계 이후에, (e) 유사성분석부를 이용하여, 상기 조각 영상에 관한 스티징 작업이 모두 완료되었는지를 확인하는 단계를 더 포함하며, 상기 (e) 단계에서 상기 조각 영상이 모두 스티칭되지 않은 경우, 상기 (a) 단계로 돌아가 재수행하는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템은 전립선 병리조직에 관한 조각 영상을 기하보정하고, 각 조각 영상의 절단면에 위치한 외곽선의 유사성을 분석함으로써, 하나의 조직 영상으로 정확하게 스티칭할 수 있으며, 나아가 조직 전체 구조를 파악하기 용이하고, 관련 질병의 확진에 이용할 수 있는 효과가 있다.

또한, 조각 영상의 절단면에 위치한 코너 및 외곽선의 위치 및 기울기를 기하 보정함으로써, 강체 정합 시, 최적해로의 빠른 수렴을 유도할 수 있는 효과가 있다.

또한, 조각 영상의 코너 부근과 절단면의 에지 및 코너점을 검출함으로써, 기하보정의 기준 데이터를 생성할 수 있는 효과가 있다.

또한, 외곽선의 거리 차 제곱 합(SSDD)을 산출하여, 정합의 최적화를 판단함으로써, 밝기값을 기반으로 하는 강체 정합 방법의 단점을 보완하고, 조직 영상간의 거리를 최소화할 수 있는 효과가 있다.

또한, 실제 조직이 존재하는 영역에 관해서 외곽선의 유사성을 판단하여, 스티칭 작업의 정확성을 확보할 수 있는 효과가 있다.

본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법은 전립선 병리 조직 영상의 코너와 절단면에 위치한 에지와 코너점으로 기하보정을 수행함으로써, 강체 정합 시, 지역적 최적해로의 수렴을 방지하고, 신속하고 정확한 스티칭 작업이 가능한 효과가 있다.

또한, 상측 및 하측 또는 좌측 및 우측으로 배치된 조직 영상의 기하보정 방법을 구분하여, 조직 영상 간의 코너 위치 및 기울기 차이를 감소시키기 용이한 효과가 있다.

또한, 조각 영상의 절단면에 위치한 외곽선의 유사성을 측정함으로써, 조각 영상 간의 거리를 최소화하여, 강체 정합할 수 있는 효과가 있다.

도 1은 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템의 전체 구성을 나타내는 구성도.
도 2는 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템에 있어서, 영상요소검출부의 상세 구성을 나타내는 구성도.
도 3은 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템에 있어서, 영상요소검출부의 에지와 코너 검출 결과를 나타내는 실시예 영상들.
도 4는 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템에 있어서, 기하보정부의 상세 구성을 나타내는 구성도.
도 5는 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템에 있어서, 기하보정부의 기하보정 결과를 나타내는 실시예 영상들.
도 6은 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템에 있어서 거리 차의 제곱합 측정 영역을 나타내는 개념도.
도 7은 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템의 스티칭 수행 결과를 나타내는 실시예 영상들.
도 8은 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법의 전체 흐름을 나타내는 흐름도.
도 9는 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법에 있어서, S20 단계의 상세 흐름을 나타내는 흐름도.
도 10 내지 도 16은 종래 기술과 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법의 비교 실험 결과를 나타내는 도면.
도 17은 일반적인 전립선 병리조직의 4조각 영상.

이하, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템 및 그 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.

[도 1]은 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템(100)의 전체 구성을 나타내는 구성도로, 병리영상입력부(10), 스티칭제어부(20), 영상요소검출부(30), 기하보정부(40), 강체변환부(50) 및 유사성분석부(60)를 포함한다.

상기 병리영상입력부(10)는 전립선 병리조직 영상을 입력하는 역할을 하며, 본 발명에 따른 상기 전립선 병리조직 영상은 2조각 또는 4조각으로 입력되며, 입력된 영상 정보는 상기 스티칭제어부(20)에 전달된다.

상기 스티칭제어부(20)는 상기 병리영상입력부(10)로부터 입력된 조각 영상 간의 스티칭 작업을 제어하는 역할을 하며, 스티칭 작업을 위해 상기 영상요소검출부(30)에 제어 신호를 전달한다.

상기 영상요소검출부(30)는 상기 스티칭제어부(20)와 연결되어, 상기 조각영상의 영상 요소를 검출하는 역할을 하며, 본 발명에 따른 상기 영상요소검출부(30)는 [도 2]에 도시된 바와 같이, 에지검출부(31) 및 코너점검출부(32)를 포함한다.

상기 에지검출부(31)는 상기 조각 영상의 코너 부근과 절단면에 위치한 에지를 검출하는 역할을 하며, 본 발명에 따른 상기 에지검출부(31)는 소벨 연산자를 사용하며, [도 3]의 (a)와 같은 원영상에 소벨 연산자를 적용할 경우, (b) 영상과 같이 에지를 검출할 수 있다.

상기 코너점검출부(32)는 상기 에지검출부(31)에서 검출된 에지 정보에서 외곽에 위치한 코너 점을 검출하는 역할을 하며, 본 발명에 따른 상기 코너점검출부(32)는 해리스 코너 검출자를 사용하며, [도 3]의 (c) 영상과 같이, 다수의 코너 점을 검출할 수 있다.

상기 기하보정부(30)는 상기 스티칭제어부(20)와 연결되어, 상기 영상요소검출부(20)에서 검출한 코너점의 위치 및 외곽선의 기울기를 보정하여, 각 조각 영상간의 위치 및 기울기 차이를 줄이는 역할을 하며, 본 발명에 따른 기하보정부(30)는 [도 4]에 도시된 바와 같이, 위치보정부(41) 및 회전보정부(42)를 포함한다.

상기 위치보정부(41)는 상기 조각 영상 간의 절단면에 위치한 코너의 위치를 보정하는 역할을 하며, 상기 회전보정부(42)는 조각 영상 간의 절단면에 위치한 외곽선 기울기 차이를 보정하는 역할을 한다.

이러한 본 발명에 따른 기하보정부(40)의 기하보정은 조각 영상의 위치에 따라 다르게 적용되는데, 상측 및 하측의 조각 영상을 강체 정합 할 때에는 [도 5]의 (a)와 같이 x-축 방향의 위치를 보정하고, 좌, 우 영상을 강체 정합 할 때에는 (b)와 같이 회전 보정 후 y-축 방향의 위치를 보정한다.

즉, 본 발명에 따른 위치보정은 강체 정합하려는 조각 영상 간의 절단면에 위치한 코너의 x, y 좌표 값의 차이를 감소시킴으로써 x-축, y-축 방향 위치를 보정하는데, 차이 값만큼 영상을 이동시킴으로써 수행된다.

또한, 본 발명에 따른 회전 보정은 좌, 우 조각 영상 간 절단면에 위치한 외곽선이 이루는 기울기 차이를 감소시킴으로써 수행 되는데, 기울기 차이가 임계값 이상일 경우 그 차이 값만큼 영상을 회전시키고 이하일 경우 회전 보정을 수행하지 않는다.

이러한 본 발명에 따른 기하보정부(40)를 통해 조각 영상 간 큰 위치 및 기울기 차이를 보정함으로써, 강체 정합 시 지역적 최적해로의 수렴을 방지하고, 최적해로의 빠른 수렴을 유도할 수 있는 것이다.

상기 강체변환부(50)는 상기 스티칭제어부(20)와 연결되어, 상기 기하보정부(40)를 통해 기하보정된 상기 조각 영상을 강체 변환하는 역할을 한다.

즉, 기하 보정으로 조각 영상 간 위치 및 기울기의 차이를 감소시켰으나 여전히 차이가 존재하므로, 이를 최소화 시키는 최적의 변환을 찾기 위하여 강체 정합해야 한다.

상기 유사성분석부(60)는 상기 스티칭제어부(20)와 연결되어, 상기 조각 영상의 절단면에 위치한 외곽선의 유사성을 분석하는 역할을 한다.

즉, 병리 영상은 전체적으로 밝기값이 유사한 특징이 있어 밝기값을 기반으로 하는 강체 정합 방법은 적합하지 않다. 따라서 본 발명에서는 정합하려는 조각 영상 간 절단면에 위치한 외곽선의 유사성을 최대화시킴으로써 최적의 변환을 찾기 위하여 강체 정합하는 것이다.

본 발명에 따른 외곽선의 유사성은 상측 및 하측의 조각 영상을 스티칭할 경우, [도 6]의 (a)와 같이, 절단면에서 조직의 바깥쪽의 10%와 안쪽 30%를 제외한 영역에 대한 거리 차의 제곱 합을 측정하고, 좌측 및 우측의 조각 영상을 스티칭할 경우, [도 6]의 (b)와 같이, 절단면에서 상측 30%와 하측 30%의 영역에 대한 거리 차의 제곱 합을 측정한다.

이는 전립선의 구조 상 전립선 중앙으로 요도가 지나고, 전립선 병리 조직 절편을 2조각 또는 4조각으로 나누는 과정에서 절단면의 조직이 유실되어 병리조직의 중앙부가 비어 있는 경우가 많음에 따라 거리 차의 제곱 합의 측정은 절단면에 위치한 모든 외곽선에 대해 측정 하는 것이 아니라, 조직이 확실히 존재하는 영역에 대해서 측정해 최적화하기 위함이다.

본 발명에 따른 상기 외곽선의 유사성은 거리 차의 제곱 합(SSDD : Sum of Squared Distance Difference)이 설정된 값에 도달하는지 여부에 따라 판단되며, 상기 거리 차의 제곱 합은 다음 [수학식 1]을 통해 산출된다.

여기서, R(i) : 기준 조각 영상에서의 i번째 외곽선

F(i) : 변환된 부동 영상에서 대응되는 외곽선

N : 관심 영역 내에서 외곽선을 나타내는 픽셀의 수

본 발명에 있어서, 4조각 영상을 하나로 스티칭하기 위하여 [도 7]의 (a)와 같이 좌, 우 영상의 상, 하측 영상 간의 정합을 각각 수행한 후 [도 7]의 (b)와 같이 좌, 우 영상을 정합함으로써 총 3번의 스티칭을 수행하고, 2조각 영상은 [도 7]의 (b)와 같이 좌, 우 영상을 정합함으로써 총 1번의 스티칭을 수행한다.

이러한 본 발명에 따른 유사성분석부(60)를 포함함으로써, 외곽선 정보를 이용한 강체 정합을 함으로써, 밝기 값이 유사한 조각 영상들도 견고하게 스티칭할 수 있는 장점이 있는 것이다.

이상에서 설명한 바와 같이, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템을 적용 시, 전립선 병리조직에 관한 조각 영상을 기하보정하고, 각 조각 영상의 절단면에 위치한 외곽선의 유사성을 분석함으로써, 하나의 조직 영상으로 정확하게 스티칭할 수 있으며, 나아가 조직 전체 구조를 파악하기 용이하고, 관련 질병의 확진에 이용할 수 있는 효과를 누릴 수 있는 것이다.

이러한 본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템을 이용한 자동 스티칭 방법을 설명하면 다음과 같다.

[도 8]은 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법의 전체 흐름을 나타내는 흐름도로, 먼저, 상기 병리영상입력부(10)를 이용하여, 전립선 병리조직 영상을 입력하는 단계(S10)를 수행하며, 상기 S10단계에서, 상기 전립선 병리조직 영상은 2조각 또는 4조각으로 입력된다.

다음으로 입력된 조각 영상을 기하보정하는 단계(S20)를 수행한다. [도 9]는 본 발명에 따른 상기 S20 단계의 상세 흐름도로, 상기 영상요소검출부(30)를 이용하여, 상기 조각 영상의 코너와 절단면에 위치한 에지를 검출하는 단계(S21)를 수행한다.

본 발명의 실시예에서 상기 S21 단계는 상기 에지검출부(31)에서 소벨 연산자를 이용하여, 상기 조각 영상의 코너와 절단면에 위치한 에지를 검출하였다.

다음으로, 상기 S21단계에서 검출된 에지에서 코너 점을 검출하는 단계(S23)를 수행하며, 본 발명의 실시예에서 상기 S23 단계는 상기 코너점검출부(32)를 이용하여, 해리스 코너 검출자를 이용하여, 코너 점을 검출하였다.

다음으로, 상기 기하보정부(40)를 이용하여, 입력된 전립선 병리 조각 영상을 위치 및 기울기를 보정하는 단계(S25)를 수행한다.

본 발명에 따른 상기 S25 단계는 상측 및 하측의 조각 영상에 대해서는 x-축 방향의 위치를 보정하고, 좌측 및 우측의 조각 영상에 대해서는 회전 보정 후, y-축 방향의 위치를 보정하는 것이 바람직하다.

이러한 본 발명에 따른 S20 단계를 통해 조각 영상 간 큰 위치 및 기울기 차이를 보정할 수 있으며, 강체 정합 시 지역적 최적해로의 수렴을 방지하고, 최적해로의 빠른 수렴을 유도할 수 있는 것이다.

다음으로, 상기 강체변환부(50)를 이용하여, 상기 S20 단계에서 기하보정된 상기 조각 영상을 강체 변환하는 단계(S30)를 수행한다.

다음으로, 상기 유사성분석부(60)를 이용하여, 상기 조각 영상의 절단면에 위치한 외곽선의 유사성을 측정하는 단계(S40)를 수행한다.

본 발명에 따른 상기 S40 단계는 상기 조각 영상의 절단면에 위치한 외곽선의 거리 차 제곱의 합을 측정하는 단계를 말하며, 상기 거리 차의 제곱 합은 상기 [수학식 1]을 통해 산출된다.

이때, 상측 및 하측의 조직 영상에 관해서는 절단면에서 조직의 바깥쪽의 10%와 안쪽 30%를 제외한 영역에 대한 거리 차의 제곱 합을 측정하고, 좌측 및 우측의 조각 영상에 관해서는 절단면에서 상측 30%와 하측 30%의 영역에 대한 거리 차의 제곱 합을 측정하는 것이 바람직하다.

다음으로, 상기 S40단계에서 측정된 외곽선의 유사성이 최적화되었는지 판단하는 단계(S50)를 수행하고, 상기 S50단계에서 측정된 외곽선의 유사성의 값이 설정된 최소값을 만족하지 않을 경우, 상기 S30 단계로 돌아가 재수행한다.

본 발명에 따른 거리 차의 제곱 합의 최적화는 y-축 방향, x-축 방향 이동변환, 회전 변환 순으로 최적화하는 것이 바람직하다.

다음으로, 상기 유사성분석부(60)를 이용하여, 입력된 모든 조각 영상의 스티칭이 완료되었는지 여부를 확인하는 단계(S60)를 수행하고, 상기 S60단계에서 스티칭이 완료되면, 결과 영상을 제공하는 단계(S70)를 수행하고, 스티칭이 완료되지 않은 경우, 상기 S20 단계로 돌아가 재수행하는 것이 바람직하다.

본 발명에 따른 전립선 병리 영상의 자동 스티칭 시스템 및 그 방법의 성능을 실험한 결과를 설명하면, 다음과 같다.

먼저, 실험에 사용된 영상은 8명의 전립선암 환자로부터 전립선절제술로 적출한 2조각 병리영상 10쌍, 4조각 병리영상 10쌍이며, 조각 영상 한 장당 해상도는 380×5598, 3804×5782, 3946×5782 이다. 실험은 영상의 해상도를 1/10로 줄여 수행하였다.

또한, 육안 평가는 기하 보정 수행 여부에 따른 스티칭 결과를 비교하였으며, [도 10]은 2조각 영상에서, [도 11]은 4조각 영상에서 본 발명에 따른 스티칭 결과와 기하 보정을 수행하지 않은 스티칭한 결과를 비교한 것이다.

[도 10]의 (a)와 [도 11]의 (a)는 조각 영상을 차례대로 불러들인 후 위치 초기화 된 상태를 보여주며, [도 10]의 (b)와 [도 11]의 (b)는 기하 보정 및 강체 정합한 스티칭 결과를 보여준다. [도 10]의 (c)와 [도 11]의 (c)는 제안 방법에서 기하 보정을 수행하지 않고 강체 정합한 결과이다.

실험 결과, [도 10]의 (c)와 [도 11]의 (c)에서 빨간색 화살표로 표시된 부분과 같이 조각 영상들이 어긋나게 스티칭 된 것을 확인할 수 있었으며, [도 10] (c)의 데이터 1-4와 [도 11](c)의 데이터 4는 초기의 잘못된 위치나 기울기가 보정되지 못해 거리 차의 제곱 합이 지역적 최적해에 수렴하여 잘못된 스티칭 결과가 나타난 것을 확인할 수 있으며, [도 11](c)의 데이터 1-3은 조직 내부의 빈 공간이 무시된 채 빈 틈 없이 강체 정합 되어, 정확하게 스티칭 되지 못한 것을 확인 할 수 있었다.

반면 본 발명에 따른 기하 보정을 수행 한 후 강체 정합한 결과인 [도 10]의 (b)와 [도 11]의 (b)에서는 조각 영상의 초기의 잘못된 위치와 기울기가 보정되고, 조직 중앙의 빈 공간을 유지하며 하나로 스티칭 된 것을 확인 할 수 있었다.

또한, 정확성 평가는 본 발명에 따른 자동 스티칭 결과로부터 얻은 조각 영상의 이동 및 회전 변환 매개 변수와, 자동 스티칭 결과로부터 임상의가 위치와 기울기를 수정하여 얻은 이동 및 회전 변환 매개 변수와의 차이를 비교함으로써 수행하였다. 2조각 영상에서 왼쪽 조각 영상은 고정 영상, 오른쪽 영상은 부동 영상으로 사용자 수정 시 오른쪽 영상을 이동 및 회전 시켜 수정하였고, 4조각 영상에서는 왼쪽 하측 영상을 고정 영상으로 하였고, 왼쪽 상측 영상, 오른쪽 상측 영상, 오른쪽 상-하측 영상을 부동 영상으로 하여 사용자가 부동 영상의 위치 및 기울기를 수정하도록 하였다.

[도 12]의 (a)는 2조각 영상에서 제안 방법과 임상의 수정 결과와의 x-방향과 y-방향 위치 변환 매개 변수 값의 차이를 나타내는 그래프로, 3개의 데이터에서 위치 수정이 필요하지 않았으며, 위치 수정이 이뤄진 나머지 7개 데이터에서의 평균 수정 픽셀 수는 x-방향의 경우 3픽셀, y-방향의 경우 2.8픽셀로 나타났다. [도 12]의 (b)는 2조각 영상의 회전 변환 매개 변수 값의 차이를 나타내는 그래프로, 5개 데이터에서 회전 수정이 필요하지 않았으며 나머지 5개 데이터에서 평균 1.6도의 회전 수정이 필요했다.

[도 13]은 4조각 영상에서 제안 방법과 임상의 수정 결과와의 차이를 나타내는 그래프로, (a)와 (b) 그래프 상의 범례에서 R은 오른쪽 상-하측 영상, LA는 왼쪽 상측 영상, RA는 오른쪽 상측 영상을 나타낸다. [도 13]의 (a)는 x-방향과 y-방향 위치 변환 매개 변수 값의 차이를 나타내는 그래프로, 오른쪽 상-하측 영상의 x-방향 위치는 7개의 데이터에서 수정이 필요하지 않았고, 3개의 데이터에서 평균 2픽셀이 수정되었다. y-방향 위치는 5개의 데이터에서만 평균 2.6픽셀이 수정되었다. 왼쪽 상측 조각 영상은 x-방향과 y-방향 모두 모든 데이터에 대하여 위치 수정이 필요하지 않았다. 오른쪽 상측 조각 영상에서 x-방향 위치 수정은 4개 데이터에 대하여 평균 2.5픽셀의 수정이 이뤄졌고, y-방향 위치 수정은 모든 데이터에서 필요하지 않았다. 4조각 영상에서의 임상의의 회전 수정 결과는 [도 13]의 (b)로 나타내었는데, 오른쪽 상-하측 조각 영상에서 3개의 데이터에 대하여 평균 2도의 수정이 있었고, 왼쪽 상측 조각 영상과 오른쪽 상측 조각 영상에서는 회전 수정이 필요하지 않았다. 이 결과 2조각 영상과 4조각 영상 모두 제안 방법의 자동 스티칭 결과와 사용자 수정 간의 차이가 미세함을 확인 할 수 있었다.

또한, 육안 평가와 정확성 평가 외에 기하 보정을 수행한 경우와 수행하지 않은 경우에 대하여, 반복 횟수에 따른 거리 차의 제곱 합(SSDD : Sum of Squared Distance Diffefence)의 변화를 측정 및 비교함으로써 기하 보정이 거리 차의 제곱 합에 미치는 영향을 알아보았다. [도 14]는 2조각 병리영상에서, [도 15]는 4조각 병리영상에서의 반복 횟수에 따른 거리 차의 제곱 합의 변화를 그래프로 표현하였다. [도 14]의 (a)와 [도 15]의 (a)는 기하 보정을 수행한 후 스티칭 했을 때의 거리 차의 제곱 합의 변화를, [도 14]의 (b)와 [도 15]의 (b)는 기하 보정을 수행하지 않고 스티칭 했을 때의 거리 차의 제곱 합의 변화를 나타낸다.

이러한 실험 결과 본 발명과 같이, 기하 보정을 수행한 후 스티칭 한 결과에서 기하 보정을 수행하지 않은 결과에 비해 초기 거리 차의 제곱 합이 감소된 것을 확인 할 수 있었다. [도 14]의 (a)에서 초기 거리 차의 제곱 합은 평균 578.2인 반면 [도 14]의 (b)에서 초기 거리 차의 제곱 합은 평균 822.0으로 42% 상승하였고, [도 15]의 (a)에서는 초기 거리 차의 제곱 합이 평균 1267.9인 반면 [도 15]의 (b)의 초기 거리 차의 제곱 합은 평균 1585.2로 25% 상승해, 기하 보정이 초기 거리 차의 제곱 합을 낮춰 최적해에 빠르게 도달 할 수 있도록 도움을 확인 할 수 있었다. 또한, 초기에 입력 받은 조각영상 자체가 기하 보정이 필요 없는 잘 정렬된 데이터인 [도 14]의 데이터 2와 [도 15]의 데이터 4는 기하 보정 전 후의 거리 차의 제곱 합 그래프를 비교하였을 때, 큰 차이가 없음을 확인 할 수 있었다.

본 발명에 따른 스티칭 방법은 Intel(R) Core i7-2600 3.40GHz CPU와 4.00GB RAM을 장착한 PC에서 실험하였으며, [도 16]은 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법의 전체 수행 시간을 나타낸 그래프로, 2조각 영상의 경우 평균 0.65초로 측정 되었고 4조각 영상의 경우 평균 1.75초로 측정되었다. 전체 수행 시간에서 기하 보정 수행에 걸린 시간은 2조각 영상의 경우 0.04초, 4조각 영상의 경우 평균 0.09초로 측정되었다. 이는 전체 수행 시간과 비교했을 때 4조각 영상의 경우 5.98%, 2조각 영상의 경우 5.16%를 차지하는 결과로 기하 보정에 매우 적은 시간이 소요됨을 확인 할 수 있었다.

이상에서 설명한 바와 같이, 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법은 강체 정합 전에 조각 영상의 코너를 이용하여 기하보정함으로써, 강체 정합 시 지역적 최적해로의 수렴을 방지하고, 강체 정합의 정확성을 높일 수 있으며 영상의 밝기값이 아닌 외곽선 정보를 이용하여 스티칭 할 절단면에 위치한 외곽선 간의 거리의 제곱 합을 최소화시키는 최적의 변환을 찾아 자동 스티칭할 수 있는 것이다.

또한, 실험 결과 기하 보정을 통하여 조각 영상 간 거리 차이와 기울기 차이를 보정하여 강체 정합시 조각 영상이 지역적 최적해에 수렴되지 않고, 빠르게 최적해에 도달 할 수 있도록 도움을 보였고, 외곽선 정보를 이용한 강체 정합을 통하여 조각 영상 간 밝기 값이 유사함에도 견고하게 스티칭 됨을 보였다. 총 수행 시간은 2조각 영상의 경우 평균 0.65±0.13초, 4조각 영상의 경우 평균 1.75±0.29초로 측정되었고, 기하 보정에는 전체 수행시간 대비 약 5%의 적은 시간이 소요되었다.

이와 같이 본 발명에 따른 본 발명에 따른 전립선 병리 영상의 자동 스티칭 방법을 적용 시, 2조각 또는 4조각으로 나뉜 전립선 병리영상을 하나의 영상으로 스티칭함으로써 병리조직의 전체 구조 및 조직에서의 암의 위치를 파악하고 전립선암을 확진하는 용도로서 활용할 수 있는 것이다.

이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 전립선 병리 영상의 자동 스티칭 시스템 및 그 방법으로 구현할 수 있다.

10 : 병리영상입력부
20 : 스티칭제어부
30 : 영상요소검출부
31 : 에지검출부
32 : 코너점검출부
40 : 기하보정부
41 : 위치보정부
42 : 회전보정부
50 : 강체변환부
60 : 유사성분석부

Claims

조각 영상 간의 좌표 위치와 기울기를 보정하는 기하보정부;
기하 보정된 상기 조각 영상 간의 스티칭 작업을 제어하는 스티칭 제어부 및
상기 조각 영상의 절단면에 위치한 외곽선의 유사성을 분석하는 유사성분석부를 포함하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 시스템.
제1항에 있어서,
상기 기하보정부는,
상기 조각 영상 간의 절단면에 위치한 코너의 좌표값 차이를 보정하는 위치보정부 및
상기 조각 영상 간의 절단면에 위치한 외곽선 기울기 차이를 보정하는 회전보정부를 포함하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 시스템.
제2항에 있어서,
상기 기하보정부는,
상측 및 하측의 조각 영상을 강체 정합 시에 x-축 방향의 위치를 보정하고, 좌측 및 우측의 조각 영상을 강체 정합 시에 회전 보정 후, y-축 방향의 위치를 보정하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 시스템.
제1항에 있어서,
상기 스티칭 제어부와 연결되어, 상기 조각 영상의 영상 요소를 검출하는 영상요소검출부를 더 포함하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 시스템.
제4항에 있어서,
상기 영상요소검출부는,
상기 조각 영상의 코너 부근과 절단면에 위치한 에지를 검출하는 에지검출부 및
상기 조각 영상에서 검출된 상기 에지에서 외곽에 위치한 코너 점을 검출하는 코너점검출부를 포함하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 시스템.
제1항에 있어서,
상기 스티칭제어부와 연결되어, 기하보정된 상기 조각 영상을 강체 변환하는 강체 변환부를 더 포함하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 시스템.
제1항에 있어서,
상기 외곽선의 유사성은 거리 차의 제곱 합(SSDD : Sum of Squared Distance Difference)이 설정된 값에 도달하는지 여부에 따라 판단되며,
상기 거리 차의 제곱 합은 [수학식 1]을 통해 산출되는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 시스템.
[수학식 1]

여기서, R(i) : 기준 조각 영상에서의 i번째 외곽선
F(i) : 변환된 부동 영상에서 대응되는 외곽선
N : 관심 영역 내에서 외곽선을 나타내는 픽셀의 수
제7항에 있어서,
상기 외곽선의 유사성은
상측 및 하측의 조각 영상을 스티칭할 경우, 절단면에서 조직의 바깥쪽의 8~12%와 안쪽 25~35%를 제외한 영역에 대한 거리 차의 제곱 합을 측정하고,
좌측 및 우측의 조각 영상을 스티칭할 경우, 절단면에서 상측 25~35%와 하측 25~35%의 영역에 대한 거리 차의 제곱 합을 측정하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 시스템.
(a) 입력된 전립선 병리 조각 영상을 기하보정하는 단계 및
(b) 강체변환부를 이용하여, 기하보정된 상기 조각 영상을 강체 변환하는 단계를 포함하며,
상기 (a) 단계는,
(a-1) 영상요소검출부를 이용하여, 상기 조각 영상의 코너와 절단면에 위치한 에지와 코너점을 검출하는 단계 및
(a-2) 기하보정부를 이용하여, 코너의 좌표값 방향 및 절단면에 위치한 외곽선의 기울기를 보정하는 단계를 포함하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 방법.
제9항에 있어서,
상기 (a-1) 단계는,
소벨 연산자를 이용하여, 코너와 절단면에 위치한 에지를 검출하고, 해리스 코너 검출자를 이용하여, 검출된 상기 에지에서 코너 점을 검출하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 방법.
제9항에 있어서,
상기 (a-2) 단계는,
상측 및 하측의 조각 영상에 대해서는 x-축 방향의 위치를 보정하는 단계를 수행하고,
좌측 및 우측의 조각 영상에 대해서는 회전 보정 후, y-축 방향의 위치를 보정하는 단계를 수행하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 방법.
제9항에 있어서,
상기 (b) 단계 이후에,
(c) 유사성분석부를 이용하여, 상기 조각 영상의 절단면에 위치한 외곽선의 유사성을 측정하는 단계 및
(d) 측정된 외곽선의 유사성이 최적화되었는지 판단하는 단계를 더 포함하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 방법.
제12항에 있어서,
상기 (c) 단계는.
(c-1) 상기 조각 영상의 절단면에 위치한 외곽선의 거리 차 제곱의 합을 측정하는 단계를 포함하며, 상기 거리 차의 제곱 합은 [수학식 1]을 통해 산출되는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 방법.
[수학식 1]

여기서, R(i) : 기준 조각 영상에서의 i번째 외곽선
F(i) : 변환된 부동 영상에서 대응되는 외곽선
N : 관심 영역 내에서 외곽선을 나타내는 픽셀의 수
제13항에 있어서,
상기 (c-1) 단계는
절단면에 위치한 외곽선의 y-축 방향의 이동변환, x-축 방향의 이동변환, 회전 변환 순으로 진행되는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 방법.
제12항에 있어서,
상기 (d) 단계에서,
측정된 유사성이 최적화되지 않은 것으로 판단되면, 상기 (b) 단계로 돌아가 재수행하는 것을 특징으로 하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 방법.
제12항에 있어서,
상기 (d) 단계 이후에,
(e) 유사성분석부를 이용하여, 상기 조각 영상에 관한 스티징 작업이 모두 완료되었는지를 확인하는 단계를 더 포함하며,
상기 (e) 단계에서 상기 조각 영상이 모두 스티칭되지 않은 경우, 상기 (a) 단계로 돌아가 재수행하는 것을 특징으로 하는 전립선 병리 영상의 자동 스티칭 방법.