KR20140082385A - 영상 군집화 기반의 의료 영상 검색 방법 - Google Patents

Abstract

본 발명은 영상 군집화 기반의 의료 영상 검색 방법에 관한 것으로, (a) 입력된 다수의 의료 영상 각각을 서브영역으로 분할하고 패치 단위로 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징 값을 추출하는 단계; (b) 상기 특징 값을 코드 북(code book)으로 군집화하고, 상기 패치 단위로 분할된 각 영상들을 상기 코드 북(code book)을 통해 BoF(Bag-of-Feature) 특징으로 변환하는 단계; (c) 상기 BoF 특징을 특징 벡터로 생성하고, 상기 특징 벡터를 랜덤 포레스트(Random forest) 학습 분류기를 통해 학습 및 분류하는 단계; (d) 질의 영상이 입력되면, 상기 (a) 내지 (c) 단계를 반복하고, 분류된 클래스 중 소수의 특정 클래스를 통해 상기 의료 영상과 유사도를 측정하는 단계; 및 (e) 상기 측정된 유사도에 따라 검색 출력 영상을 출력하는 단계를 포함한다.
이와 같은 본 발명은 의료 영상을 효과적으로 검색하기 위해 의료 영상에 적합한 새로운 OCS-LBP 특징을 제안하고, 특징 차원을 효과적으로 줄이기 위해 BoF를 적용할 뿐만 아니라, 검색 속도와 성능을 향상시키기 위해 질의 영상에 대해 전체 영상을 매칭 하는 대신 랜덤 포레스트 분류기를 통해 유사도 거리 측정에 의해 높은 성능의 검색결과를 보여주는 의료 영상 검색 방법을 제공한다.

Description

영상 군집화 기반의 의료 영상 검색 방법{medical image retrieval method based on image clustering}

본 발명은 의료 영상 검색 방법에 관한 것으로, 보다 상세하게는, 높은 성능의 검색결과를 보여주는 영상 군집화 기반의 의료 영상 검색 방법에 관한 것이다.

최근 의료산업이 발전함에 따라 의료관련 장비에서 획득된 다양한 의료영상에 대한 관리의 필요성이 증대되고 있다. 또한 IT산업과 의료산업의 융복합 연구에 대한 필요성에 따라 통합 의료 정보 시스템(Integrated Medical Information System)에 대한 연구 및 개발이 활발하게 이루어지고 있다. 이러한 연구 수요를 반영하여 의학 분야에서는 영상처리, 통신, 데이터베이스 등 다양한 IT기술을 바탕으로 의료 지원 시스템인 PACS (Picture Archiving Communication System)와, 의료 영상용 표준 네트워크 프로토콜인 DICOM (Digital Imaging and Communications in Medicine)등이 제정되었다.

하지만 현재 사용되고 있는 PACS시스템은 의료영상에 대해 관리자가 사전에 입력한 키워드에 의존하고 있음으로 영상에 포함된 다양한 의료정보를 검색할 수 없는 한계점이 있다. 또한 키워드 기반의 의료영상 검색은 부여된 키워드에 대해서는 정확성이 뛰어남에도 불구하고 키워드 입력 및 관리를 위한 비용적 측면이나 시간적 측면에서 매우 비효율적인 방법이다. 이러한 한계를 극복하기 위해 의료영상에 포함되어 있는 특징값들을 추출하여 검색에 사용하는 내용기반 영상 검색 방법과 의료영상을 종류에 따라 분류하는 영상 분류 방법이 지난 10여 년간 꾸준히 연구되어 오고 있다.

기존의 연구에서 입력된 의료영상에서 초기 중요도 영역을 설정하고 영역들을 사전 정의된 기준에 따라 가중치를 부여하였다. 이후, 각 중요 영역에서 추출된 특징과 질의영역에서 설정된 중요 영역들의 특징 유사도 비교를 통해 의료영상을 검색하는 방법을 제안하였다.

또 다른 연구에서 MPEG-7에 정의되어 있는 색 구조 기술자와 질감 기술자를 이용하여 영상의 시각적 특징을 추출하고, 다중 클래스 SVM (Multi-class Support Vector Machine, MSVM)을 사용하여 영상들을 분류하였다. 각 특징 기술자에 대해 서로 다른 다중 클래스 SVM을 학습시키고 각각의 분류기에서 나온 멤버십 스코어를 결합한 앙상블 벡터를 이용한 의료 영상 검색 방법을 제안하였다.

또한, 유사하게 영상에서 색상 및 질감 특징을 추출하고 SVM 분류기를 통해 자동적으로 영상들을 분류할 수 있는 GIFT (GNU Image Finding Tool) 시스템을 제안한 연구도 있다.

또 다른 연구 등에서 X-ray영상을 지역 패치로 분할하고 각 패치로부터 특징을 추출하여 BoF (Bag-of-Feature)를 생성하였다. 또한, 생성된 BoF 특징과 커널 기반의 SVM을 학습시켜 영상을 카테고리별로 분할하고 검색하는 알고리즘을 제안하였다. 하지만 BoF의 차원이 커질수록 SVM을 이용한 분류 성능은 향상되지만, 분류 시간이 성능과 반비례하게 증가되는 단점이 있다.

또한 의료영상을 패치 단위로 나누고 각 패치들로부터 추출된 SIFT (Scale Invariant Feature Transform)특징을 이용하여 BoF를 생성하였다. 이후에 부스팅(boosting) 알고리즘을 이용하여 BoF의 각 빈(bin)에 해당하는 visual word에 서로 다른 가중치를 부여하는 방법을 통해 영상을 검색하는 방법을 제안하였다.

그리고 영상 분류를 통해 의료영상을 사전에 정의된 카테고리로 분류하고, 각 영상의 신체 관계 그래프에 의해 영상 별로 주석을 부여하는 알고리즘을 제안하였다. 또한 부여된 주석에 의해 키워드를 기반으로 하는 새로운 개념의 영상 검색 방법을 제안하기도 하였다.

이와 같이 종래의 연구에서 의료영상 중에서 X-ray와 CT영상 등은 일반적으로 그레이 영상으로 구성되고, 배경과 전경이 뚜렷이 구분되는 특징을 가진다. 따라서 일반 자연영상에 비해 적용될 수 있는 특징값이 제한적이며 자연영상과는 다른 분류 및 검색방법이 요구되고 있다.

상술한 문제를 해결하고자 하는 본 발명의 과제는 의료 영상을 효과적으로 검색하기 위해 의료 영상에 적합한 새로운 특징을 제안하고, 특징 차원을 효과적으로 줄이기 위한 방법을 적용할 뿐만 아니라, 검색 속도와 성능을 향상시키기 위해 질의 영상에 대해 전체 영상을 매칭 하는 분류기를 통해 높은 성능의 검색결과를 보여주는 새로운 의료 영상 검색 방법을 제공하고자 함이다.

상술한 과제를 해결하고자 하는 본 발명의 특징은 (a) 입력된 다수의 의료 영상 각각을 서브영역으로 분할하고 패치 단위로 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징 값을 추출하는 단계; (b) 상기 특징 값을 코드 북(code book)으로 군집화하고, 상기 패치 단위로 분할된 각 영상들을 상기 코드 북(code book)을 통해 BoF(Bag-of-Feature) 특징으로 변환하는 단계; (c) 상기 BoF 특징을 특징 벡터로 생성하고, 상기 특징 벡터를 랜덤 포레스트(Random forest) 학습 분류기를 통해 학습 및 분류하는 단계; (d) 질의 영상이 입력되면, 상기 (a) 내지 (c) 단계를 반복하고, 분류된 클래스 중 소수의 특정 클래스를 통해 상기 의료 영상과 유사도를 측정하는 단계; 및 (e) 상기 측정된 유사도에 따라 검색 출력 영상을 출력하는 단계를 포함한다.

여기서, 상기 (a) 단계는, 상기 각 의료 영상을 2×2 서브 영역으로 분할하고, 각 서브 영역마다 4×4 패치로 분할하는 단계; 상기 분할된 각 패치마다 상기 OCS-LBP 패턴을 추출하는 단계; 상기 각 서브 영역마다 히스토그램을 생성하여 특징 값을 추출하는 단계인 것이 바람직하다.

또한, 바람직하게는 상기 (b) 단계는, 상기 각 입력 영상의 특징 값을 K 평균 클러스터링을 적용하여 코드 북(code book)을 생성하는 단계; 및 상기 코드 북을 통해 BoF(Bag-of Feature) 히스토그램을 생성하는 단계인 것일 수 있다.

더하여, 상기 (c) 단계는, (d-1) 랜덤 포레스트를 구성할 결정 트리의 개수 T 설정하는 단계; (d-2) 상기 특징 벡터 집합으로부터 m개의 랜덤 변수를 선택하고, 각 노드의 결정함수와 상기 랜덤변수를 이용하여 학습 데이터를 분할하는 단계; (d-3) 상기 결정 트리를 최고의 깊이까지 성장시키는 단계; 및 (d-4) 어느 한개의 트리가 완성되면, 완성된 트리의 개수가 상기 T 보다 작을 경우, 상기 (d-2) 단계 이하를 반복하는 단계를 포함하는 것이 바람직하다.

또한, 상기 (d) 단계는, 상기 랜덤 포레스트 분류기에 의해 상기 질의 영상의 클래스 중에서 K-인접 이웃(K-NN) 클래스를 선택하는 단계; 상기 입력 영상 중 상기 K개의 클래스로 레이블된 영상에 대해서만 유사도 거리를 측정하는 단계를 포함하는 것이 바람직하고, 상기 K가 2인 것이 바람직하며, 상기 유사도 거리는 바타차리야(BHattacharyya) 거리를 사용하는 것이 바람직하다.

이와 같은 본 발명은 의료 영상을 효과적으로 검색하기 위해 의료 영상에 적합한 새로운 OCS-LBP 특징을 제안하고, 특징 차원을 효과적으로 줄이기 위해 BoF를 적용할 뿐만 아니라, 검색 속도와 성능을 향상시키기 위해 질의 영상에 대해 전체 영상을 매칭 하는 대신 랜덤 포레스트 분류기를 통해 유사도 거리 측정에 의해 높은 성능의 검색결과를 보여주는 의료 영상 검색 방법을 제공한다.

또한, 본 발명은 실험을 통해 여러 가지 유사성 거리 측정 알고리즘 중에서 바타차리야 거리 측정 방법이 가장 우수함을 실험을 통해 증명하였고, 마찬가지로 제안하는 랜덤 포레스트 분류기와 바타차리야 거리 측정 방법이 결합 되었을 때 성능이 약 28%까지 증가됨을 알 수 있었다.

이처럼, 실험 결과에서 나타나듯이 본 발명에서 제안하는 특징은 기존의 특징에 비해 향상된 검색 결과를 보여 주었으며, 제안하는 시스템은 검색 성능뿐만 아니라 검색 시간도 효과적으로 향상시킬 수 있음을 확인하였다.

도 1은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법의 흐름을 나타낸 도면이고,
도 2는 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법의 알고리즘 순서의 모식도이고,
도 3은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법에서 서브영역 분할 방법의 모식도이고,
도 4는 본 발명의 실시예에서는 영상 군집화 기반의 의료 영상 검색 방법에서 OCS-LBP 히스토그램 생성 방법의 모식도이고,
도 5는 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법에서 코드 북을 이용하여 생성된 입력 영상의 BoF 히스토그램을 나타내고,
도 6은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법에서 데이터베이스 영상의 분류과정을 나타낸 모식도이고,
도 7은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 각 거리별 영상 검색 성능을 비교한 그래프이고,
도 8은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 각 특징별 영상 검색 성능을 비교한 그래프이고,
도 9는 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 랜덤 포레스트 학습 분류기(RF)와 각 특징을 결합한 영상 검색 성능을 비교한 그래프이고,
도 10은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 K-근접 이웃 클래스에서 K값의 변화에 따른 영상 검색 성능과 검색 시간을 나타낸 그래프이고,
도 11은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 방법과 MSVM을 이용한 검색 성능을 비교한 그래프이다.

본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.

도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.

본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.

이하 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법의 흐름을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법의 알고리즘 순서의 모식도이다. 도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 의료 영상 검색 방법은 (a) 입력된 다수의 의료 영상 각각을 서브영역으로 분할하고 패치 단위로 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징 값을 추출하는 단계(S100); (b) 상기 특징 값을 코드 북(code book)으로 군집화하고, 상기 패치 단위로 분할된 각 영상들을 상기 코드 북(code book)을 통해 BoF(Bag-of-Feature) 특징으로 변환하는 단계(S200); (c) 상기 BoF 특징을 특징 벡터로 생성하고, 상기 특징 벡터를 랜덤 포레스트(Random forest) 학습 분류기를 통해 학습 및 분류하는 단계(S300); (d) 질의 영상이 입력되면, 상기 (a) 내지 (c) 단계를 반복하고(S410), 분류된 클래스 중 소수의 특정 클래스를 통해 상기 의료 영상과 유사도를 측정하는 단계(S430); 및 (e) 상기 측정된 유사도에 따라 검색 출력 영상을 출력하는 단계(S500)를 포함하여 구성된다.

이와 같이, 본 발명에서는 X-ray 및 CT영상 등의 의료 영상의 특성을 반영하여 특징 추출 단계에서 색상 값을 사용하지 않고 영상의 질감 그래디언트의 방향 값을 특징으로 하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징을 제안한다.(S100)

그리고, 학습영상에서 추출된 특징 값은 도 2에 나타낸 바와 같이, BoF(Bag-of-Feature) 생성 단계에서 코드 북 (code book)으로 군집화되고, 각 영상들은 코드 북을 통해 의미 있는 새로운 차원인 BoF (Bag-of-Feature) 특징으로 변환되고(S200), 이렇게 추출된 BoF 특징은 도 2의 랜덤 포레스트 분류기 단계에 적용되고 학습된 분류기에 의해 유사한 특성을 갖는 N개의 클래스별로 분류되며(S300), 질의 영상이 입력되면 동일한 OCS-LBP특징이 추출되고 코드 북을 통해 BoF특징이 추출되는 과정을 거친다.(S410)

그리고 나서, 일반적으로 유사도 측정은 질의 영상이 데이터베이스의 모든 영상을 검색하는 방법을 사용하지만 본 발명에서는 질의 영상에서 추출된 BoF특징이 학습된 랜덤 포레스트에 적용되어 가장 유사한 K-인접 이웃 (K-nearest neighbor, KNN) 클래스들을 선택하고 선택된 클래스들에 포함된 영상들에 대해서만 질의 영상과의 BoF 유사도 측정(S430)을 통해 최종 유사한 영상을 검색하게 된다.(S500)

이하 보다 구체적으로 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법의 흐름을 살펴 보기로 한다.

먼저 (a) 단계(S100)로서, OCS-LBP를 이용한 특징 값을 추출하는 단계는 일반적인 영상검색, 물체인식 등에서 가장 많이 사용되는 SIFT 특징은 영상의 중요한 특징 점을 추출하고 이를 중심으로 그래디언트의 방향정보와 크기를 특징 정보로 사용한다. 하지만 자연영상과 달리 의료영상에는 의학적으로 중요한 영역에 중요 특징 점이 존재하지 않는 경우가 많음으로 SIFT특징만으로는 유사한 영상을 검색하기에는 한계가 있기 때문에, 본 발명에서는 영상으로부터 특징점을 추출하지 않고, 기존의 의료영상 검색 방법과 마찬가지로 영상을 서브 영역으로 분할하고 패치 단위로 특징을 추출하는 방법을 사용한다.

그리고 본 발명의 실시예에서는 기존 방법들과 마찬가지로 패치단위로 특징을 추출하지만, 서브 영역을 두어 각 패치단위에서 추출된 특징을 하나의 서브영역단위로 결합하는 과정을 거치도록 하여 특징의 차원을 줄이도록 한다.

도 3은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법에서 서브영역 분할 방법의 모식도이다. 도 3에 나타낸 바와 같이, 영상을 2 × 2 서브 영상으로 분할하고 각 서브 영상을 다시 4 × 4로 분할하여 각 패치를 구성하고 각 패치에서 추출된 특징은 하나의 서브영역 특징으로 결합되어 사용된다.

영상 검색에서 영상의 질감 성분을 분석하고 표현하기 위해 SIFT 특징 이외에도 지역적 이진패턴 기법인 LBP (Local Binary Patterns)가 주로 사용된다. LBP는 중심 픽셀에 대해 이웃하는 픽셀들의 관계를 나타내는 일종의 연산자로서 중심 픽셀을 반경이 R인 원을 P개의 균등한 좌표로 나눈 밝기 값 (P, R)로 표현한다.

하지만 이 방법의 경우 특징벡터가 (256) 차원으로 각 패치마다 추출된 특징을 결합하면 하나의 서브 영역의 차원이 4096 (4×4×256)차원이 됨으로 실시간 검색을 위해서는 적합하지 않다. 이러한 문제점을 해결하기 위해 종래의 연구에서는 LBP와 비슷한 성능을 가지면서 더 적은 특징 차원을 갖는 질감 특징인 CS-LBP (Center-symmetric LBP)를 사용하였다.

CS-LBP는 중심 픽셀의 이웃하는 픽셀들의 관계를 나타내는 일종의 연산자이다. 중심 픽셀과 거리가 1인 이웃하는 4개의 픽셀들의 차를 계산하고, 그 결과를 반시계 방향으로 정렬하여 중심 픽셀에 대한 CS-LBP값을 얻는다. LBP의 경우 총 256차원이 필요하지만, CS-LBP는 동일한 성능을 보이면서 총 (16)차원으로 서브영역으로 합칠 경우 256(4×4×16)차원으로 줄어들기 때문에 실시간 처리에 적합하다.

이에 특징 차원을 줄이고 효과적으로 영상의 그래디언트 방향 정보를 추출할 수 있도록 CS-LBP를 개선한 Oriented CS-LBP를 제안한다.

도 4는 본 발명의 실시예에서는 영상 군집화 기반의 의료 영상 검색 방법에서 OCS-LBP 히스토그램 생성 방법의 모식도이다. 도 4에 나타낸 바와 같이, OCS-LBP는 각 대칭이 되는 영역들의 픽셀 값을 비교하고 [수학식 1]에 의해 값의 차이가 임계값 T 이상일 경우 큰 값을 갖는 방향을 찾고 [수학식 2]를 이용하여 차이 값을 누적시키도록 하였다.

[수학식 2]에서 n_i와 n_{i +(N/2)}는 R영역 안에 포함된 전체 픽셀 N에서 서로 대칭되는 픽셀의 값을 의미한다.

즉, 본 발명의 실시예에서는 영상의 국부적인 변형에 강인한 검색 알고리즘을 개발하기 위해 영상을 2×2 영역으로 분할하고 각 서브 영역마다 4×4의 패치로 분할되어 각 패치마다 8개의 OCS-LBP 패턴을 추출한다. 이렇게 추출된 각 서브 영역의 패치들은 결합 과정을 거쳐 서브 영역마다 128(4×4×8) 차원의 히스토그램이 생성되고, 따라서 한 영상에서 추출되는 총 특징 차원은 2×2×128=512차원의 특징이 생성된다. 하지만 특징벡터의 차원이 너무 클 경우 실시간 영상검색이 불가능함으로 추가적으로 BoF 히스토그램 알고리즘을 적용하여 특징 차원을 의미 있는 축소된 차원으로 변형하는 작업을 추가한다.

즉, (b) 단계(S200)로서, BoF(Bag-of-Feature) 특징으로 변환하는 단계는, 우선 각 학습 영상으로부터 추출된 512차원의 특징들을 K-mean 클러스터링을 적용하여 K개의 클러스터를 생성하고 각 클러스터의 중심 벡터들을 모아 코드 북(code book)을 생성한다. 코드 북에서 각 클러스터의 중심 벡터는 코드 워드(code word)로 불린다. 이후 입력 영상에서 동일한 OCS-LBP특징을 추출하고 코드 북에 적용시켜 거리가 가장 유사한 코드워드에 누적(voting)시키는 방법으로 도 5와 같이 BoF 히스토그램을 생성한다. 본 발명의 실시예에서는 코드 북의 크기가 200일 때 가장 좋은 성능을 보였다. 도 5는 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법에서 코드 북을 이용하여 생성된 입력 영상의 BoF 히스토그램을 나타낸다.

(c) 단계(S300)는 랜덤 포레스트(Random forest) 학습 분류기에 의한 학습 및 분류 단계로서, 랜덤 포레스트 분류기는 결정 트리 앙상블을 이용한 분류기로, 이진 결정 트리들의 결합을 기본으로 하고 있기 때문에 정확하고 빠른 훈련 속도를 가지며 많은 양의 데이터를 실행시키는데 탁월한 분류기로 알려져 있다.

본 발명의 실시예에서는 학습데이터에 대해 BoF 히스토그램을 추출하고 [표 1]의 알고리즘을 이용하여 랜덤 포레스트 분류기를 학습시킨다. 본 발명의 실시예에서 사용한 CT영상은 신체 부위별로 단층 촬영된 영상으로 부위에 따라 14개의 클래스로 분류하도록 구성된다. 따라서, 랜덤 포레스트 분류기도 14개를 클래스를 분류하도록 학습되었으며, 학습을 위해 각 부위별로 샘플링된 총 499장의 영상 데이터를 사용하였다. 랜덤 포레스트를 학습하는 과정은 [표 1]과 같다.

1. 랜덤 포레스트를 구성할 결정 트리의 개수 T 설정 2. 입력된 BoF 히스토그램 특징벡터 집합으로부터 m개의 랜덤 변수를 선택. 각 노드의 결정함수 f(vi)는 선택된 m개의 랜덤 변수에서 서로 다른 i번째 변수를 사용하여, 반복적으로 왼쪽과 오른쪽의 서브 셋으로 학습 데이터를 분할하여 보냄. 3. 각 RF의 트리는 다음 단계에 따라 성장: a. 학습 집합 Sn로부터 n개의 새로운 부트스트랩 샘플을 선택하고, n개의 부트스트랩 샘플을 사용하여 트리를 자동적으로 성장. b. 각 내부 노드에서, 각 노드는 p개의 변수를 랜덤하게 선택하고, 오직 이 변수들만 사용하여 최선의 결정 함수를 결정. c. 트리의 최고 깊이까지 트리를 성장. 4. 한 개의 트리가 완성되면 결정 트리 T의 수보다 작을 경우 다시 2번 단계로 이동

이처럼 본 발명의 실시예에서는 분류를 위한 랜덤 포레스트를 학습하기 위해서 각 서브 트리마다 1.0%의 학습 데이터 집합을 사용하였고, 총 40개의 결정 트리를 생성하여 랜덤 포리스트 분류기를 구성한다.

여기서, 랜덤 포레스트 분류기가 학습된 이후에, 모든 데이터베이스 영상을 랜덤 포레스트에 적용시켜 각 영상들에 대해 클래스 인덱스를 부여하는 작업은 off-line으로 실시한 것이다.

도 6은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법에서 데이터베이스 영상의 분류과정을 나타낸 모식도이다. 도 6에 나타낸 바와 같이, 입력된 영상은 랜덤 포레스트 분류기에 의해 각 트리 t 마다 클래스 c_i에 대한 확률 값

을 갖게 되고, 총 T개의 트리 확률 값을 산술평균하여 최종적으로 각 클래스 에 대한 확률 값을 [수학식 3]을 통해 얻을 수 있다.

[수학식 3]에서

은 전체 트리 집합을 의미한다.

데이터베이스 영상에 대한 분류 작업이 끝나면 각 i번째 영상들은 과 같이 200차원의 BoF 히스토그램(Pⁱ )과 클래스 레이블의 집합으로 구성된다.

(d) 단계(S410)에서는 입력된 질의 영상을 상기 (a) 단계 내지 (c) 단계를 반복하는 단계와, 질의 영상과 입력 영상의 유사도를 측정하는 단계(S430)로서, 학습이 이루어진 랜덤 포레스트에 대해 새로운 질의 영상이 입력될 경우 동일한 방법으로 512차원의 OCS-LBP특징이 추출되고, 코드 북에 적용하여 200차원의 BoF히스토그램을 생성한다.

이 후 질의 영상의 BoF히스토그램은 랜덤 포레스트 분류기에 입력되고 분류기에 의해 14개의 클래스 중에서 가장 유사한 K-인접 이웃 (K-NN) 클래스를 선택한다. 본 발명의 실시예에서 가장 유사한 한 개의 클래스를 사용하지 않고 K개의 클래스를 선택하는 이유는 학습과정에서 유사한 형태를 갖는 데이터베이스 영상이 서로 다른 클래스에 분류될 수 있음으로 오 분류에 의한 검색성능의 저하를 막기 위해서이다. 본 발명에서는 K가 2일때 가장 좋은 성능을 보였다.

질의 영상이 입력되면 모든 데이터베이스 영상에 대해 검색을 실시하는 것이 아니라, 도 6에 나타난 방법과 동일한 방법으로 랜덤포레스트에 적용하고, 가장 근접한 2개의 클래스를 선택한다. 이후에, 가장 근접한 2개의 클래스로 레이블된 영상에 대해서만 유사도 거리 측정을 실시하게 된다.

그리고, 본 발명의 실시예에서는 유사성 측정을 위해 전통적으로 사용되는 유클리디언(Eucldiean)거리 측정 방법 보다 우수한 것으로 알려진 바타차리야 (Bhattacharyya)거리[13]를 사용한다. 바타차리야 거리 측정 방법은 본 연구의 특성에 맞게 [수학식 4]와 같이 수정하여 적용한다.

만약

을 m차원의 질의 BoF 히스토그램이라고 하고, BoF(t)를 k번째 클래스에 속하는 데이터베이스 영상의 BoF 히스토그램이라고 한다면, 두 특징간의 거리는 각 히스토그램의 관계와 k번째 클래스에 대한 분류 확률

에 의해 결정되며 결과 값이 작을수록 유사성이 높은 영상으로 검색된다.

실험 및 성능평가

본 발명에서 성능평가를 위해 사용된 의료 데이터베이스는 CT 영상으로 신체 부위별로 14개의 클래스로 구성되며 총 1080장의 영상을 포함하고 있다.

첫 번째 실험에서는 영상검색에서 일반적으로 사용되는 전통적인 3가지 유사성 거리측정 방법인 유클리디언(Eucldiean) 거리, 캔버라(Canberra) 거리, 맨하탄(Manhattan) 거리와 본 발명에서 사용한 바타차리야(Bhattacharyya) 거리들의 검색 성능을 비교하고 바타차리야 거리가 우수함을 증명하였다.

성능 측정은 랜덤 포레스트를 사용하지 않고 질의 영상과 모든 데이터베이스 영상에 대해 OCS-LBP특징을 추출하고, 각 특징에 대해 BoF히스토그램을 생성하여 유사성을 측정하였다. 성능 측정을 위해 검색 결과를 상위 K개 별로 정렬하여 각 상위 K별 precision을 비교하였다.

도 7은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 각 거리별 영상 검색 성능을 비교한 그래프이다. 도 7에 나타낸 바와 같이, 바타차리야 거리 측정법의 precision이 평균50%로 가장 좋은 성능을 보여주었고, 맨하탄 거리와 유클리디언 거리가 47%, 46%로 유사한 결과를 보여주었다. 캔버라 거리는 43%로 가장 낮은 성능을 보여주었다.

두 번째 실험에서는, 본 발명에서 제안한 OCS-LBP특징의 성능을 비교하기 위해, 바타차리야 거리를 기본 거리 측정 방법으로 사용하고, 본 발명서 제안한 OCS-LBP, 기존의 영상검색에서 자주 사용되는 CS-LBP 및 SIFT특징을 이용한 검색결과를 분석하였다. 도 8은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 각 특징별 영상 검색 성능을 비교한 그래프이다.

도 8에 나타낸 바와 같이, 본 발명에서 제안하는 OCS-LBP 특징은 기존의 특징에 비해 최소 9%에서 최대 32%의 성능을 향상 시키고 있음을 알 수 있다. 이것은 OCS-LBP특징이 영상의 그래디언트 방향과 크기를 정량화하여 의료영상의 특성을 잘 반영하고 있음을 보여준다.

세 번째 실험에서는 각 특징 별로 랜덤 포레스트를 적용하여 영상 검색의 성능을 측정하였다. 랜덤 포레스트는 각 특징 별로 사전에 학습되어 있으며, 질의 영상이 입력되면 앞에서 설명된 것처럼 질의 영상을 특정 클래스에 분류하고 상위 2개의 클래스에 대해 수식 (4)을 적용하여 가장 값이 작은 영상을 상위 K개만큼 순서대로 보여주도록 하였다. 그림8에의 실험결과에서는 그림 7의 결과와 마찬가지로 OCS-LBP특징이 가장 좋은 성능을 보여주고 있다. 도 9는 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 랜덤 포레스트 학습 분류기(RF)와 각 특징을 결합한 영상 검색 성능을 비교한 그래프이다.

도 9에 나타낸 바와 같이, 제안한 알고리즘(RF+OCS-LBP)은 평균 81%의 precision을 보여주고 있는데 이 결과는 랜덤 포레스트를 적용하기 전의 precision 보다 28% 정도 향상된 수치이다.

네 번째 실험에서는 질의 영상에 대해 14개의 클래스 중에서 가장 유사한 K-인접 이웃 클래스 (K-nearest neighbor class)를 선택하는 알고리즘에서 K의 수를 결정하기 위한 실험을 진행하였다. 도 10은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 K-근접 이웃 클래스에서 K값의 변화에 따른 영상 검색 성능과 검색 시간을 나타낸 그래프이다. 도 10의 (a)는 검색 precision 이고, 도 10의 (b)는 검색 속도(초)이다.

도 10에 나타낸 바와 같이, K=2일 때 검색 성능과 속도면에서 가장 효율성이 높은 것을 알 수 있다. K값은 검색 시간에 영향을 미치는데, K가 적을수록 검색 속도는 우수하지만 성능이 떨어지고 K가 커질수록 성능은 비례하여 조금 증가하지만 K=2부터는 같은 값으로 수렴한다. 따라서 본 발명에서는 K=2로 설정하였다.

다섯 번째 실험으로 기존의 영상검색에 가장 많이 사용되고 있는 MSVM과 성능을 비교하여 보았다. 실험은 제안하는 방법과 마찬가지로 미리 학습시킨 MSVM에 의해 데이터베이스 영상을 클래스별로 분류하고 질의 영상에 대해 같은 과정을 거처 K-인접 이웃 클래스에 대해서만 바타차리야 거리를 구하는 방식으로 진행되었다. 도 11은 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 방법과 MSVM을 이용한 검색 성능을 비교한 그래프이다.

도 11에 나타낸 바와 같이, MSVM의 경우 Top K의 수가 증가할수록 검색율이 떨어지는 것을 알 수 있다. MSVM의 경우에도 전체적으로 72%정도의 좋은 성능을 보여주지만 제안하는 방법에 비해서는 약 9%의 성능이 뒤처지는 것을 알 수 있다.

그리고, 의료 영상 검색에서 랜덤 포레스트 분류기를 적용한 것은 검색 성능의 향상뿐만 아니라 검색 시간의 단축을 위한 방편임으로, 여섯 번째로, 랜덤 포레스트를 적용하기 전과 적용한 후의 평균 검색 시간을 측정해 보았다.

[표 2]에서 나타낸 바와 같이, 랜덤 포레스트 분류기를 사용했을 경우가 사용하지 않은 경우보다 검색시간이 약 0.26초 향상 되는 것을 알 수 있었다. 따라서 사전에 데이터베이스 영상을 클래스별로 분류하고 질의영상에 대해 검색을 수행할 경우 검색성능 뿐만 아니라 검색속도에서도 효율성을 증가시킴을 알 수 있다.

도 12는 본 발명의 실시예에 따른 영상 군집화 기반의 의료 영상 검색 방법을 적용하는 시스템의 인터페이스와 검색 결과 화면을 나타낸다.

이처럼, 본 발명에서는 의료 영상을 효과적으로 검색하기 위해 의료 영상에 적합한 새로운 OCS-LBP 특징을 제안하고, 특징 차원을 효과적으로 줄이기 위해 BoF를 적용한다. 또한, 검색 속도와 성능을 향상시키기 위해 질의 영상에 대해 전체 영상을 매칭 하는 대신 랜덤 포레스트 분류기를 통해 분리된 K-근접 이웃 클래스에 대해서만 바타차리야 거리 측정에 의해 상위 K개의 검색결과를 보여주는 검색 방법을 제시한다.

실험을 통해 여러 가지 유사성 거리 측정 알고리즘 중에서 바타차리야 거리 측정 방법이 가장 우수함을 실험을 통해 증명하였고, 마찬가지로 제안하는 랜덤 포레스트 분류기와 바타차리야 거리 측정 방법이 결합되었을 때 성능이 약 28%까지 증가됨을 증명하였다. 또한, 실험 결과에서 보듯이 제안하는 특징은 기존의 특징에 비해 향상된 검색 결과를 보여 주었으며, 제안하는 시스템은 검색 성능뿐만 아니라 검색 시간도 효과적으로 향상시킬 수 있었다.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

Claims (7)

1. (a) 입력된 다수의 의료 영상 각각을 서브영역으로 분할하고 패치 단위로 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징 값을 추출하는 단계;
   (b) 상기 특징 값을 코드 북(code book)으로 군집화하고, 상기 패치 단위로 분할된 각 영상들을 상기 코드 북(code book)을 통해 BoF(Bag-of-Feature) 특징으로 변환하는 단계;
   (c) 상기 BoF 특징을 특징 벡터로 생성하고, 상기 특징 벡터를 랜덤 포레스트(Random forest) 학습 분류기를 통해 학습 및 분류하는 단계;
   (d) 질의 영상이 입력되면, 상기 (a) 내지 (c) 단계를 반복하고, 분류된 클래스 중 소수의 특정 클래스를 통해 상기 의료 영상과 유사도를 측정하는 단계; 및
   (e) 상기 측정된 유사도에 따라 검색 출력 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 영상 군집화 기반의 의료 영상 검색 방법.
   
2. 제1항에 있어서,
   상기 (a) 단계는,
   상기 각 의료 영상을 2×2 서브 영역으로 분할하고, 각 서브 영역마다 4×4 패치로 분할하는 단계;
   상기 분할된 각 패치마다 상기 OCS-LBP 패턴을 추출하는 단계;
   상기 각 서브 영역마다 히스토그램을 생성하여 특징 값을 추출하는 단계인 것을 특징으로 영상 군집화 기반의 의료 영상 검색 방법.
   
3. 제1항에 있어서,
   상기 (b) 단계는,
   상기 각 입력 영상의 특징 값을 K 평균 클러스터링을 적용하여 코드 북(code book)을 생성하는 단계; 및
   상기 코드 북을 통해 BoF(Bag-of Feature) 히스토그램을 생성하는 단계인 것을 특징으로 하는 영상 군집화 기반의 의료 영상 검색 방법.
   
4. 제1항에 있어서,
   상기 (c) 단계는,
   (d-1) 랜덤 포레스트를 구성할 결정 트리의 개수 T 설정하는 단계;
   (d-2) 상기 특징 벡터 집합으로부터 m개의 랜덤 변수를 선택하고, 각 노드의 결정함수와 상기 랜덤변수를 이용하여 학습 데이터를 분할하는 단계;
   (d-3) 상기 결정 트리를 최고의 깊이까지 성장시키는 단계; 및
   (d-4) 어느 한개의 트리가 완성되면, 완성된 트리의 개수가 상기 T 보다 작을 경우, 상기 (d-2) 단계 이하를 반복하는 단계를 포함하는 것을 특징으로 하는 영상 군집화 기반의 의료 영상 검색 방법.
   
5. 제1항에 있어서,
   상기 (d) 단계는,
   상기 랜덤 포레스트 분류기에 의해 상기 질의 영상의 클래스 중에서 K-인접 이웃(K-NN) 클래스를 선택하는 단계;
   상기 입력 영상 중 상기 K개의 클래스로 레이블된 영상에 대해서만 유사도 거리를 측정하는 단계를 포함하는 것을 특징으로 하는 영상 군집화 기반의 의료 영상 검색 방법.
   
6. 제5항에 있어서,
   상기 K가 2인 것을 특징으로 하는 영상 군집화 기반의 의료 영상 검색 방법.
   
7. 제5항에 있어서,
   상기 유사도 거리는 바타차리야(BHattacharyya) 거리를 사용하는 것을 특징으로 하는 영상 군집화 기반의 의료 영상 검색 방법.

Images