KR101556601B1

KR101556601B1 - 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법

Info

Publication number: KR101556601B1
Application number: KR1020140093033A
Authority: KR
Inventors: 박해정
Original assignee: 연세대학교 산학협력단
Priority date: 2014-07-23
Filing date: 2014-07-23
Publication date: 2015-10-01
Also published as: WO2016013881A1

Abstract

3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법을 공개한다. 본 발명은 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 영상 획득부, 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 영상 표시부, 화면 상에 표시된 적어도 하나의 단면 영상에 대한 사용자의 시선을 추적하고, 기설정된 주기로 시선의 위치 좌표값을 측정하여 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 시선 추적부, 시선 화면 좌표점 세트에 대응하는 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하고, 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 획득되는 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별함으로써, 3차원 볼륨 영상의 관심영역을 추출하는 관심 영역 추출부 및 추출된 관심영역을 수신하여 저장하는 빅 데이터 저장부를 포함한다.

Description

3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법{APPARATUS AND METHOD FOR BUILDING BIG DATA DATABASE OF 3D VOLUME IMAGES}

본 발명은 빅 데이터 데이터베이스 구축 장치 및 방법에 관한 것으로, 특히 3차원 볼륨 영상의 관심 영역 추출을 통한 빅 데이터 데이터베이스 구축 장치 및 방법에 관한 것이다.

정보 통신 기술의 발전에 따라 시간과 장소에 상관없이 데이터가 생성 및 배포될 수 있게 되었고, 이로 인해 다양한 분야에서 활용되는 데이터의 양이 급증하게 되었다. 데이터 양의 급증은 기존의 데이터 처리 기법으로는 데이터를 수집, 저장, 검색 및 분석하기 어려운 대용량 데이터인 빅 데이터(big data)가 도래하도록 하였다.

빅 데이터는 단순히 대용량의 데이터를 의미하는 것뿐만 아니라, 대용량의 데이터로부터 의미를 추출하고, 결과를 분석하는 기술을 총칭한다. 빅 데이터의 개념이 대용량의 데이터로부터 의미를 추출하고 분석하는 기술이므로, 빅 데이터에는 분석하고자 하는 분야에서 의미 있는 정보와 무의미한 정보가 혼재되는 경우가 대부분이다. 비록 특정 분야에서 무의미한 정보일지라도, 다른 분야에서는 의미를 가질 수도 있으므로, 기존의 빅 데이터는 정보의 유효성에 대해 엄격하게 판별하지 않았다.

그러나 빅 데이터의 응용 분야가 점차로 확대되어가고 있으며, 데이터 양의 증가 속도가 더욱 빨라짐에 따라 너무나 방대해지는 데이터를 효율적으로 사용하기 위해, 빅 데이터에서도 의미 있는 정보를 압축하여 저장할 필요성이 높아지고 있다. 특히 의료영상과 같이 개별 데이터 각각의 데이터 크기가 크고, 활용 용도가 명확한 분야에서 사용되는 빅 데이터의 경우에는 의미 있는 정보만이 포함되도록 구성되는 것이 바람직하다.

그럼에도 불구하고, 의료영상과 같이 전문가의 판단이 필수적인 전문영상에 대한 빅 데이터에 의미 있는 정보만을 포함되도록 구성하는 것은 한계가 있다. 일예로 의료영상과 같은 전문영상의 경우, 영상 데이터의 크기가 매우 큰데 비해, 실제로 의미 있는 정보는 영상 내에서 작은 영역에 국한되는 경우가 대부분이다. 다른 나머지 부분들은 정보로서 큰 가치가 없거나 오히려 의미 있는 정보를 판단하는데 방해가 되어 시간적 손실을 야기한다. 따라서 의료영상에 대한 효율적인 빅 데이터를 구축하기 위해서는 의료영상의 배경 정보(임상 질환 진단 내력 등)와 함께 의료영상 중에서 특히 중요한 영역(즉 의미 있는 정보를 포함하고 있는 영역)을 따로 구분하고, 배경 정보와 구분된 영역을 이후에 수행할 정밀 분석을 위해 의미 있는 정보로 선택하여 데이터베이스에 저장하는 과정이 필수적이다.

특히 최근에는 기존의 2D 영상을 대체하여 데이터 크기가 더욱 큰 3D 볼륨 영상(3D Volume Image)으로 생성되는 전문영상이 많아짐에 따라 의미 있는 정보를 압축하여 포함하는 빅데이터의 중요성이 더욱 높아지고 있다.

전문영상에서 정보로서 가치가 있는 특정한 관심 영역은 의사와 같은 전문가들이 직접 추출하여 빅 데이터로 구축해야 하지만 전문가들이 별도의 시간을 내어 많은 자료를 축적하는 것이 현실적으로 어렵기 때문에 빅 데이터를 구축에 가장 큰 장애 요인으로 작용하고 있다.

한국 등록 특허 제10-0836740호 "영상 데이터 처리방법 및 그에 따른 시스템"(2008.03.07 공개)에는 의료영상 데이터에서 관심 영역을 추출하고, 관심 영역에 대해 특징 벡터를 생성하는 영상 데이터 처리방법이 개시되어 있으나, 이는 2차원 단일 의료영상에 대한 기술이며, 전문가의 판단에 따라 획득되는 관심 영역이 아니므로, 가치 있는 정보의 판별이 불명확하다는 한계가 있다.

본 발명의 목적은 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축장치를 제공하는데 있다.

본 발명의 다른 목적은 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치는 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 영상 획득부; 상기 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 영상 표시부; 상기 화면 상에 표시된 상기 적어도 하나의 단면 영상에 대한 사용자의 시선을 추적하고, 기설정된 주기로 상기 시선의 위치 좌표값을 측정하여 상기 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 시선 추적부; 상기 시선 화면 좌표점 세트에 대응하는 상기 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하고, 상기 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 획득되는 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별함으로써, 상기 3차원 볼륨 영상의 관심영역을 추출하는 관심 영역 추출부; 및 상기 추출된 관심영역을 수신하여 저장하는 빅 데이터 저장부; 를 포함한다.

상기 관심영역 추출부는 상기 화면에 대응하는 2차원 좌표값을 갖는 상기 시선 화면 좌표점 세트를 상기 3차원 볼륨 영상의 좌표값을 갖는 위치점 세트로 변환하는 좌표 변환부; 상기 위치점 세트에서 상기 3차원 볼륨 영상의 상기 복수개의 복셀 각각이 나타난 빈도수에 따라 빈도 히스토그램을 생성하고, 생성된 빈도 히스토그램에 기설정된 방식으로 가중치를 부가하고 평활화하며, 평활화된 상기 빈도 히스토그램의 상기 복수개의 복셀 중 기설정된 기준 빈도값 이상의 빈도를 갖는 복셀들로 구성되는 상기 복셀 리스트를 추출하는 중요도 판별부; 상기 복셀 리스트에 포함된 상기 복셀들 중 서로 인접하여 배치된 복셀들을 클러스터링하여, 복수개의 복셀 클러스터 세트를 획득하고, 상기 복수개의 복셀 클러스터 세트 중 서로 인접한 복셀 클러스터 세트들을 병합한 후, 상기 복셀 클러스터 세트의 크기를 분석하여 최종 클러스터 세트를 선별하는 클러스터 획득부; 및 상기 최종 클러스터 세트에 포함된 복셀들의 좌표값 중 각 좌표축 방향별 최대값 및 최소값을 계산하고, 계산된 각 좌표축 방향별 최대값 및 최소값에 대응하는 영역을 상기 관심 영역으로 설정하는 관심영역 설정부; 를 포함하는 것을 특징으로 한다.

상기 중요도 판별부는 상기 화면 상에 상기 적어도 하나의 단면 영상이 표시된 후, 상기 화면 상에 다른 적어도 하나의 단면 영상이 표시될 때까지의 시간 구간 내에서 시간의 흐름에 비례하여 상기 가중치를 증가시키고, 상기 빈도 히스토그램에 대응하는 상기 복셀들 각각에 상기 가중치를 부가하는 것을 특징으로 한다.

상기 클러스터 획득부는 상기 복셀 리스트에 포함된 상기 복셀들에 대해 상호 인접 연결성 분석을 수행하여 서로 인접하여 배치된 상기 복셀들을 판별하는 것을 특징으로 한다.

상기 클러스터 획득부는 상기 복수개의 복셀 클러스터 세트 중 서로 기설정된 기준 거리 이내에 배치된 복셀 클러스터 세트들을 병합하고, 상기 복셀 클러스터 세트 중 기설정된 기준 크기 이상인 상기 복셀 클러스터 세트를 상기 최종 클러스터 세트로 선택하는 것을 특징으로 한다.

상기 좌표 변환부는 상기 영상 표시부가 상기 3차원 볼륨 영상의 상기 적어도 하나의 단면 영상을 화면 상에 표시하기 위해 이용한 좌표 변환 함수의 역함수를 이용하여 상기 시선 화면 좌표점 세트를 상기 위치점 세트로 변환하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법은 영상 획득부, 영상 표시부, 시선 추적부, 관심영역 추출부 및 빅 데이터 저장부를 포함하는 빅 데이터 데이터베이스 구축 장치의 빅 데이터 데이터베이스 구축 방법에 있어서, 상기 영상 획득부가 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 단계; 상기 영상 표시부가 상기 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 단계; 상기 시선 추적부가 상기 화면 상에 표시된 상기 적어도 하나의 단면 영상에 대한 사용자의 시선을 기설정된 추적하여 상기 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 단계; 상기 관심영역 추출부가 상기 시선 화면 좌표점 세트에 대응하는 상기 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하는 단계; 상기 관심영역 추출부가 상기 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 복셀 클러스터 세트들을 획득하는 단계; 상기 관심영역 추출부가 상기 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별하여 최종 클러스터 세트를 획득하는 단계; 상기 관심영역 추출부가 상기 최종 클러스터 세트를 분석하여 상기 3차원 볼륨 영상의 상기 관심영역을 설정하는 단계; 및 상기 빅 데이터 저장부가 상기 관심영역을 저장하는 단계; 를 포함한다.

따라서, 본 발명의 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법은 전문가의 시선을 추적하여 관심 영역을 추출하고 추출된 관심영역을 빅 데이터로서 저장함으로써, 전문가의 분석이 필요한 전문영상에서 짧은 시간 내에 용이하게 중요한 정보를 포함하는 관심영역을 분리하고, 빅 데이터를 효율적으로 구축할 수 있다.

도1 은 본 발명의 일실시예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치를 나타낸다.
도2 는 영상 표시부에 표시된 단면 영상의 일예를 나타낸다.
도3 은 시선 추적부가 사용자의 시선을 추적한 시선 위치의 일예를 나타낸다.
도4 는 중요도 판별부에 의해 별도로 추출되는 복셀들을 클러스터링하여 추출되는 관심 영역의 일에를 나타낸다.
도5 는 본 발명의 일 실시예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법을 나타낸다.
도6 은 도5 의 복셀 리스트 획득 단계를 상세하게 나타낸 도면이다.
도7 은 도5 의 클러스터 세트 획득 단계를 상세하게 나타낸 도면이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도1 은 본 발명의 일실시예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치를 나타낸다.

도1 을 참조하면, 본 발명의 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치(100)는 영상 획득부(110), 영상 표시부(120), 시선 추적부(130), 좌표 변환부(140), 중요도 판별부(150), 클러스터 획득부(160), 관심 영역 할당부(170) 및 빅 데이터 저장부(180)를 구비한다.

먼저 영상 획득부(110)는 전문가의 판독을 필요로 하는 전문영상을 획득한다. 여기서 전문영상은 복수개의 단면 영상으로 구성된 3차원 볼륨 영상일 수 있다. 3차원 볼륨 영상은 2차원의 단면 영상이 순차적으로 누적되어 3차원 영상으로 구성되는 형태의 영상으로 여러 분야에서 활용되고 있으나, 특히 의료 분야에 많이 이용되고 있는 영상이다.

영상 획득부(110)는 컴퓨터 단층촬영(Computed tomography : CT) 장치, 자기공명영상(Magnetic Resonance Imaging : MRI) 촬영 장치, 초음파 검사(Ultrasonography) 장치와 같은 영상 획득 수단으로부터 3차원 볼륨 영상을 획득할 수도 있으며, 데이터 저장 수단에 기저장된 3차원 볼륨 영상을 유선 또는 무선 통신으로 수신하여 획득할 수 있다. 또한 데이터베이스부(170)에 저장된 3차원 볼륨 영상을 인가받아 획득할 수도 있다.

영상 표시부(120)는 영상 획득부(110)에서 획득한 3차원 볼륨 영상을 수신하고, 수신된 3차원 볼륨 영상의 복수개의 단면 영상 중 적어도 하나의 단면 영상을 사용자에게 표시한다. 이 때 영상 표시부(120)는 사용자에게 영상을 표시하는 화면의 크기와 화면에 표시할 단면 영상의 개수와 크기 및 위치에 따라 적어도 하나의 단면 영상을 좌표 변환하여 화면상에 표시한다.

그리고 사용자는 전문영상을 판독할 수 있는 전문가를 의미한다.

도2 는 영상 표시부에 표시된 단면 영상의 일예를 나타낸다.

도2 에서는 4개의 단면 영상이 2 X 2 행렬 형태로 영상 표시부(120)의 화면에 동시에 표시되는 경우를 도시하였으나, 상기한 바와 같이 영상 표시부(120)의 화면에 한번에 동시에 표시될 수 있는 단면 영상의 개수는 다양하게 조절될 수 있다. 뿐만 아니라 표시되는 단면 영상의 위치 또한 다양하게 조절될 수 있다. 영상 표시부(120)는 설정된 화면의 크기와 화면에 표시할 단면 영상의 개수와 크기 및 위치로 단면 영상을 화면에 표시하기 위해 적어도 하나의 영상 표시 좌표 변환 함수를 구비할 수 있다. 영상 표시부(120)는 적어도 하나의 영상 표시 좌표 변환 함수 중 하나를 선택하고, 화면에 표시될 적어도 하나의 단면 영상의 복수개의 복셀을 선택된 영상 표시 좌표 변환 함수로 좌표 변환하여 영상 표시부(120)의 화면에 표시한다.

다시 도1 을 참조하면, 시선 추적부(130)는 빅 데이터 데이터베이스 구축 장치(100)가 빅데이터 데이터베이스 구축 동작을 수행하기 이전에 미리 시선 보정 작업을 수행하여 시선 측정값과 화면과의 관계를 보정하기 위한 보정 변환 행렬을 획득할 수 있다. 보정 변환 행렬은 영상 표시부(120)의 화면상의 기지정된 특정 위치에 사용자가 주시해야 할 기준 점을 표시하고, 표시된 기준점의 좌표와 추적되는 사용자의 시선 위치를 매칭시키는 행렬을 계산함으로써, 획득될 수 있다.

그리고 시선 추적부(130)는 빅 데이터 데이터베이스 구축 장치(100)가 빅데이터 데이터베이스 구축 동작 수행 시에 사용자의 시선을 추적하고 기설정된 주기(예를 들면 0.1초)로 사용자의 시선 위치를 좌표값을 측정하여 N개(여기서 N은 자연수)의 시선 화면 좌표점 세트({sx_i, xy_i}_{i=1, …, N})를 획득한다.

이때 시선 화면 좌표점 세트({sx_i, xy_i}_{i=1, …, N})는 시선 보정 작업에 의해 획득된 보정 변환 행렬이 반영된 좌표값의 세트로서 영상 표시부(120)의 좌표값에 대응하는 좌표값을 갖는다.

좌표 변환부(140)는 시선 추적부(130)에서 획득한 시선 화면 좌표점 세트({sx_i, xy_i}_{i=1, …, N})를 3차원 볼륨 영상 내의 좌표로 변환하여 위치점 세트({vx_i, vy_i, vz_i}_{i=1, …, N})를 획득한다. 좌표 변환부(140)는 좌표 변환 함수(T(sx_i, xy_i) : (sx_i, xy_i) → (vx_i, vy_i, vz_i))를 이용하여 시선 화면 좌표점 세트({sx_i, xy_i}_{i=1, …, N})를 3차원 볼륨 영상 내의 좌표로 변환할 수 있다. 여기서 좌표 변환 함수(T(sx_i, xy_i) : (sx_i, xy_i) → (vx_i, vy_i, vz_i))는 영상 표시부(120)에서 3차원 볼륨 영상을 화면상에 표시하기 위해 사용되는 영상 표시 좌표 변환 함수의 역함수로 구현될 수 있다.

이때, 2차원의 좌표값이 3차원의 좌표값으로 변환될 수 있는 것은 3차원 볼륨 영상을 구성하는 복수개의 단면 영상 각각에 z좌표에 대한 좌표값이 이미 결정되어 있기 때문이다. 즉 특정 단면 영상의 2차원 좌표값은 3차원 볼륨 영상에서의 3차원 좌표값으로 용이하게 변환 될 수 있다.

도3 은 시선 추적부가 사용자의 시선을 추적한 시선 위치의 일예를 나타낸다.

도3 에서는 도2 와 달리 영상 표시부(120)에서 4개의 단면 영상이 가로 방향으로 나란하게 표시되는 경우를 나타내었으며, 왼쪽부터 사용자의 시선이 이동하는 경로를 추적하여 획득한 시선 화면 좌표점 세트({sx_i, xy_i}_{i=1, …, N})를 선으로 연결하여 표시하였다. 도3 으로부터 사용자의 시선이 왼쪽 1번째 단면 영상으로부터 탐색을 시작하여 오른쪽 단면 영상으로 순차적으로 이동한 후 다시 왼쪽에서 3번째 영상의 특정 영역을 탐색하였음을 판별할 수 있다. 이는 왼쪽에서 3번째 영상의 해당 영역이 사용자의 관심 영역임을 나타내는 것이다.

중요도 판별부(150)는 N개의 위치점 세트({vx_i, vy_i, vz_i}_{i=1, …, N})로부터 볼륨 영상 내 각 복셀(voxel)의 빈도 히스토그램(H(x, y, z))를 생성한다. 생성된 빈도 히스토그램은 영상 표시부(120)에서 3차원 볼륨 영상이 표시된 이후의 시선의 시간 정보를 가중치(w_i)로 부가한다. 화면이 제시된 시점을 T₁이라 하고 다음 화면으로 바뀌기 직전 시점을 T₂, 그리고 위치점(i)에 대한 시점을 t_i라 할 때, 가중치(w_i)는 f(t_i - T₁, T₂ - T₁)으로 표현되는 함수이며, 일 예로 수학식 1과 같이 설정될 수 있다.

(여기서, c는 미리 설정된 상수이다.)

즉 수학식1 은 화면에 적어도 하나의 단면 영상이 표시되는 시점(T₁)부터 다음 적어도 하나의 단면 영상이 화면이 표시되는 시점(T₂)까지의 시간 구간 중에 특정 위치점(i)에 사용자의 시선이 고정되는 시점(t_i)이 시점(T₂)에 가까울수록 큰 가중치가 설정된다. 이는 사용자가 비록 전문가일 지라도 화면에 표시된 적어도 하나의 단면 영상이 전환된 직후에는 곧바로 의미 있는 관심 영역을 판별하기 어렵기 때문이다. 즉 사용자가 시간이 지남에 따라 점차로 화면에 표시된 적어도 하나의 단면영상에서 관심 영역을 식별하게 되는 가능성이 높기 때문에 높은 가중치를 부가한다.

그리고 가중치가 부가된 빈도 히스토그램(H_w(x, y, z))를 평활화(smoothing) 하기 위해 삼차원 필터를 사용하여 볼륨 공간내의 시선과 시선간의 간극을 보간한다. 여기서 삼차원 필터로는 일 예로 가우시안 필터(Gaussian Filter)가 사용될 수 있다.

3차원 필터에 의해 평활화된 빈도 히스토그램(H_s(x, y, z))을 기설정된 기준 빈도값(f_th)과 비교하여, 기준 빈도값(f_th) 이상의 빈도를 갖는 복셀 리스트({x_i, y_i, z_i}_{i=1, …, M})(여기서 M은 N 이하의 자연수)을 추출한다. 즉 빈도 히스토그램(H_s(x, y, z))에서 높은 빈도를 갖는 복셀들을 별도로 추출한다.

클러스터 획득부(160)는 중요도 판별부(150)가 복셀 리스트({x_i, y_i, z_i}_{i=1, …, M})를 추출하면, 추출된 복셀 리스트({x_i, y_i, z_i}_{i=1, …, M})에 대해 복셀 상호간 인접 연결성 분석을 수행한다. 여기서 복셀간 인접 연결성 분석은 일예로 18점 인접 연결성 분석을 수행한다. 18점 인접 연결성 분석은 단면 영상의 특정 복셀에 대해 2차원 평면상의 인접한 복셀 뿐만 아니라, 인접한 단면 영상의 인접한 복셀, 즉 3차원 공간에서 인접한 복셀을 탐색한다. 즉 추출된 복셀 리스트({x_i, y_i, z_i}_{i=1, …, M})에 포함된 복셀들 중 서로 인접한 복셀들을 탐색한다. 그 결과로서, 서로 인접하게 배치된 것으로 탐색된 복셀들을 그룹화하여 복셀 클러스터 세트({S_k}_{k=1, …, K})(여기서 K는 자연수)를 획득한다. 여기서 복셀 클러스터 세트({S_k}_{k=1, …, K})는 복수개로 획득될 수 있다. 인접 연결성 분석을 수행하는 방법은 공지된 기술이므로 여기서는 상세하게 설명하지 않는다.

그리고 획득된 복수개의 복셀 클러스터 세트({S_k}_{k=1, …, K})들 간의 거리를 계산한다. 만일 복수개의 복셀 클러스터 세트({S_k}_{k=1, …, K})들 간의 거리가 기설정된 기준 거리(d_th) 이하 것으로 판단되면, 기준 거리(d_th) 이내의 거리에 존재하는 복셀 클러스터 세트({S_k}_{k=1, …, K})을 하나의 복셀 클러스터 세트({S_k}_{k=1, …, K})로 통합하여 관심 클러스터 세트(C_k)를 구성한다. 예를 들어, 2개의 복셀 클러스터 세트(S_k, S_k') 간의 거리가 기준 거리(d_th) 이내인 것으로 판별되면, 2개의 복셀 클러스터 세트(S_k, S_k')의 합집합을 관심 클러스터 세트(C_k= S_k ∪ S_k')로 구성한다. 그러나 복셀 클러스터 세트({S_k}_{k=1, …, K})로부터 기준 거리(d_th) 이내의 인접한 다른 복셀 클러스터 세트가 존재하지 않는 것으로 판단되면, 복셀 클러스터 세트({S_k}_{k=1, …, K})를 그대로 관심 클러스터 세트({C_k}_{k=1, …, K})로 구성한다.

이후 관심 영역 설정부(170)는 관심 클러스터 세트({C_k}_{k=1, …, K}) 각각의 크기를 기설정된 기준 크기(S_th)와 비교하여, 만일 관심 클러스터 세트({C_k}_{k=1, …, K}) 의 크기가 기준 크기(S_th) 이상이면, 최종 클러스터 세트({C_k}_{k=1, …, K})로 설정하는 반면, 만일 관심 클러스터 세트({C_k}_{k=1, …, K}) 의 크기가 기준 크기(S_th) 미만이면, 최종 클러스터 세트({C_k}_{k=1, …, K})에서 제외한다. 이는 클러스터 세트의 크기가 너무 작으면 사용자가 의도하지 않았거나, 노이즈 등에 의해 시선이 일시적으로 집중된 영역으로 판별할 수 있기 때문이다.

관심 영역 설정부(170)는 최종 클러스터 세트({C_k}_{k=1, …, K})에 포함된 복셀들의 좌표값 중 x축, y축 및 z축 방향 각각으로 최대 및 최소 좌표값을 계산하여 관심 영역(B_k)으로 설정한다.

관심영역은 수학식 2와 같이 설정될 수 있다.

그리고 관심 영역 설정부(170)는 설정된 관심 영역(B_k)을 빅 데이터 저장부(180)에 저장한다.

도4 는 중요도 판별부에 의해 별도로 추출되는 복셀들을 클러스터링하여 추출되는 관심 영역의 일에를 나타낸다.

도4 에 도시된 바와 같이, 높은 빈도로 나타나는 복셀들을 클러스터링하하고 인접한 클러스터 세트들을 통합하면, 최종 클러스터 세트({C_k}_{k=1, …, K})에 의해 설정되는 관심 영역은 사각형으로 별도로 표시된 영역임을 확인할 수 있다.

도4 에서는 편의를 위해 2차원의 단면 영상에서의 관심 영역을 표시하였으나, 상기한 바와 같이 관심 영역은 인접한 다른 단면 영상에도 함께 설정되어 3차원 공간 영역으로 지정될 수 있다.

빅 데이터 저장부(180)는 관심 영역 설정부(170)에서 설정된 관심 영역(B_k)을 저장하는 데이터베이스이다. 빅 데이터 저장부(180)는 전문영상에서 추출된 관심 영상만을 저장 할 수도 있으나, 의료영상과 같은 전문영상에는 다양한 배경 정보(임상 질환 진단 내력 등)가 함께 제공 되는 경우가 많다. 이렇게 배경 정보가 함께 제공되는 경우, 빅 데이터 저장부(180)는 관심 영역과 배경 정보를 함께 저장할 수 있다. 또한 빅 데이터 저장부(180)는 관심 영역이 추출된 전문 영상 자체도 함께 저장할 수 있다. 본 발명에서 관심 영역을 추출하여 빅 데이터 저장부(180)에 저장하는 것은 상기한 바와 같이 의미 있는 정보를 판단하는데 방해가 되어 시간적 손실을 야기할 수 있기 때문이다. 그러나 빅 데이터 저장부(180)가 전문 영상 전체와 추출된 관심 영역을 별도로 구분하여 저장하고 관리한다면, 상기한 문제를 해소할 수 있다. 비록 전문 영상을 별도로 저장함에 따라 방대한 데이터 저장공간을 필요로 하게 되는 문제가 있기는 하나, 전문 영상으로부터 다른 관점에서 의미 있는 관심 영역을 추출하는 경우도 고려할 수 있으므로, 빅 데이터 저장부(180)는 전문 영상 또한 저장할 수도 있다.

도1 에서는 좌표 변환부(140), 중요도 판별부(150), 클러스터 획득부(160) 및 관심 영역 할당부(170)를 개별적인 구성으로 도시하였으나, 이는 설명의 편의를 위한 것으로, 중요도 판별부(150), 클러스터 획득부(160) 및 관심 영역 할당부(170)는 관심 영역 추출부로 통합될 수 있다.

도5 는 본 발명의 일 실시예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법을 나타낸다.

도1 내지 도4 를 참조하여 도5 의 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법을 설명하면, 먼저, 빅 데이터 데이터베이스 구축 장치(100)의 영상 획득부(110)가 전문영상을 획득한다(S10). 여기서 전문영상은 복수개의 단면 영상으로 구성된 3차원 볼륨 영상인 것으로 가정한다. 그리고 영상 표시부(120)는 획득된 전문 영상을 사용자가 확인할 수 있도록 화면에 표시한다(S20). 이때, 영상 표시부(120)는 화면의 크기와 화면에 표시할 단면 영상의 개수와 크기 및 위치에 따라 적어도 하나의 단면 영상을 좌표 변환하여 화면상에 표시한다.

한편, 시선 추적부(130)는 기설정된 주기로 사용자의 시선 위치를 추적하고, 추적된 시선 위치의 좌표값을 측정하여 복수개의 시선 화면 좌표점 세트({sx_i, xy_i}_{i=1, …, N})를 획득한다(S30). 획득된 복수개의 시선 화면 좌표점 세트({sx_i, xy_i}_{i=1, …, N})는 좌표 변환부(140)에 의해 3차원 볼륨 영상 내의 좌표인 위치점 세트({vx_i, vy_i, vz_i}_{i=1, …, N})로 변환된다(S40).

중요도 판별부(150)는 위치점 세트({vx_i, vy_i, vz_i}_{i=1, …, N})에서 복수개의 복셀 각각이 포함된 빈도를 분석하여 빈도수가 기설정된 기준 빈도값(f_th) 이상인 복셀들에 대한 복셀 리스트({x_i, y_i, z_i}_{i=1, …, M})를 획득한다(S50). 클러스터 획득부(160)는 복셀 리스트({x_i, y_i, z_i}_{i=1, …, M})에서 공간적으로 인접하여 배치되는 복셀들을 판별하여 클러스터링 함으로써, 클러스터 세트를 획득한다(S60).

그리고 관심 영역 설정부(170)는 획득된 클러스터 세트에 포함된 복셀들의 좌표값을 분석하여 관심 영역(B_k)을 설정한다(S70). 또한 설정된 관심 영역(B_k)을 빅 데이터 저장부(180)에 저장한다(S80).

관심 영역(B_k)이 저장되면, 빅 데이터 데이터베이스 구축 장치(100)는 추가적으로 검토할 다른 전문영상이 존재하는지 판별한다(S90). 만일 다른 전문영상이 없으면 종료하고, 다른 전문 영상이 있으면, 영상 획득부(110)는 검토되어야 하는 다른 전문영상을 획득한다(S10).

도6 은 도5 의 복셀 리스트 획득 단계를 상세하게 나타낸 도면이다.

도6 의 복셀 리스트 획득 단계(60)는 위치점 세트({vx_i, vy_i, vz_i}_{i=1, …, N})에서 각 위치점에 대응하는 복셀들 각각이 나타난 빈도에 따라 빈도 히스토그램(H(x, y, z))을 생성한다(S51). 그리고 빈도 히스토그램(H(x, y, z))에 대응하는 복셀들각각에 대해 사용자의 시선이 응시된 시간 정보에 기초하여 가중치(w_i)를 부가한다(S52). 상기한 바와 같이 가중치(w_i)는 영상 표시부(120)의 화면 상에 적어도 하나의 단면 영상이 표시된 후, 다음 화면으로 전환되기 전까지의 시간 구간 내에서 시간의 흐름에 따라 증가하도록 설정된다.

그리고 가중치가 부가된 그리고 가중치가 부가된 빈도 히스토그램(H_w(x, y, z))을 3차원 필터를 이용하여 평활화하여 시선과 시선간의 간극을 보간한다 (S53). 이후 중요도 판별부(150)는 평활화된 빈도 히스토그램(H_s(x, y, z))의 복셀 각각의 빈도값을 기설정된 기준 빈도값(f_th)과 비교하여, 빈도 히스토그램(H_s(x, y, z))의 복셀의 빈도값이 기준 빈도값(f_th) 이상인지 판별한다(S54).

만일 복셀의 빈도값이 기준 빈도값(f_th) 이상이면, 해당 복셀을 복셀 리스트에 추가한다(S55). 그러나 복셀의 빈도값이 기준 빈도값(f_th) 미만이면, 해당 복셀을 복셀 리스트에 추가하지 않는다.

중요도 판별부(150)는 빈도 히스토그램(H_s(x, y, z))의 모든 복셀에 대해 기준 빈도값(f_th)과 비교가 수행되었는지 판별한다(S56). 만일 모든 복셀에 대해 기준 빈도값(f_th)과 비교가 수행되었다면, 클러스터 세트 획득 단계를 수행한다(S60). 그러나 모든 복셀에 대해 기준 빈도값(f_th)과 비교가 수행되지 않았다면, 다른 복셀을 다시 기준 빈도값(f_th)과 비교한다(S54).

도7 은 도5 의 클러스터 세트 획득 단계를 상세하게 나타낸 도면이다.

복셀 리스트 획득 단계(60)에서 복셀 리스트가 획득되면, 클러스터 획득부(160)는 복셀 리스트에 포함된 복수개의 복셀들간의 인접 연결성을 분석한다(S61). 그리고 인접 연결성 분석에 의해 서로 인접한 것으로 판별되는 복셀들을 클러스터링하여 적어도 하나의 복셀 클러스터 세트를 획득한다(S62). 적어도 하나의 복셀 클러스터 세트가 획득되면, 클러스터 획득부(160)는 복셀 클러스터 세트들 사이의 거리를 분석한다(S63).

분석 결과로서 복셀 클러스터 세트들 사이의 거리가 기설정된 기준 거리(d_th)이내인 서로 인접한 복셀 클러스터 세트들은 통합하여 관심 클러스터 세트로 설정하고, 기준 거리(d_th)이내에 인접한 복셀 클러스터 세트가 존재하지 않는 단독 복셀 클러스터 세트는 그대로 관심 클러스터 세트로 설정한다(S64).

관심 클러스터 세트가 설정되면, 클러스터 획득부(160)는 설정된 관심 클러스터 세트 각각의 크기가 기준 크기(S_th) 이상인지 판별한다(S65). 판별 결과, 관심 클러스터 세트가 기준 크기(S_th) 이상이면, 관심 클러스터 세트를 최종 클러스터 세트로 설정한다(S66). 그러나 관심 클러스터 세트가 기준 크기(S_th) 미만이면, 최종 클러스터 세트로 설정되지 않는다.

클러스터 획득부(160)는 모든 관심 클러스터 세트에 대해 기준 크기(S_th)와 비교를 수행하였는지 판별하고, 모든 관심 클러스터 세트에 대해 비교를 수행한 것으로 판단되면, 관심 영역을 계산한다(S70). 그러나 기준 크기(S_th)와 비교되지 않은 관심 클러스터 세트가 존재하면, 기준 크기(S_th)와 비교를 수행한다(S65).

상기에서는 3차원 볼륨 영상에 대해 관심 영역을 추출하여 빅 데이터 데이터베이스를 구축하는 장치 및 방법으로 설명하였으나, 다수의 연속성을 갖는 2차원 영상의 집합으로 구성되는 다른 전문 영상에서도 상기한 빅 데이터 데이터베이스를 구축 장치 및 방법이 활용될 수 있다. 일예로, 시간적으로 연속하는 복수개의 프레임으로 구성되는 2차원 영상은 3차원 볼륨 영상의 z 좌표값 대신 시간값(t)이 적용된 3차원 영상인 것으로 판별할 수도 있다. 따라서 3차원 볼륨 영상의 z 좌표를 시간(t)의 좌표로 대체함으로써, 복수개의 프레임으로 구성되는 2차원 영상에서의 관심 영역을 용이하게 추출하여 빅데이터 데이터베이스를 구축할 수 있다.

결과적으로 본 발명은 전문가의 시선을 추적하여 편리하게 관심 영역을 추출하고 추출된 관심영역을 빅 데이터로서 저장함으로써, 전문가의 분석이 필요한 전문영상에서 짧은 시간 내에 용이하게 중요한 정보를 포함하는 관심영역을 분리하고, 빅 데이터를 효율적으로 구축할 수 있다.

본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 영상 획득부;
상기 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 영상 표시부;
상기 화면 상에 표시된 상기 적어도 하나의 단면 영상에 대한 사용자의 시선을 추적하고, 기설정된 주기로 상기 시선의 위치 좌표값을 측정하여 상기 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 시선 추적부;
상기 시선 화면 좌표점 세트에 대응하는 상기 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하고, 상기 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 획득되는 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별함으로써, 상기 3차원 볼륨 영상의 관심영역을 추출하는 관심 영역 추출부; 및
상기 추출된 관심영역을 수신하여 저장하는 빅 데이터 저장부; 를 포함하는 빅 데이터 데이터베이스 구축 장치.
제1 항에 있어서, 상기 관심영역 추출부는
상기 화면에 대응하는 2차원 좌표값을 갖는 상기 시선 화면 좌표점 세트를 상기 3차원 볼륨 영상의 좌표값을 갖는 위치점 세트로 변환하는 좌표 변환부;
상기 위치점 세트에서 상기 3차원 볼륨 영상의 상기 복수개의 복셀 각각이 나타난 빈도수에 따라 빈도 히스토그램을 생성하고, 생성된 빈도 히스토그램에 기설정된 방식으로 가중치를 부가하고 평활화하며, 평활화된 상기 빈도 히스토그램의 상기 복수개의 복셀 중 기설정된 기준 빈도값 이상의 빈도를 갖는 복셀들로 구성되는 상기 복셀 리스트를 추출하는 중요도 판별부;
상기 복셀 리스트에 포함된 상기 복셀들 중 서로 인접하여 배치된 복셀들을 클러스터링하여, 복수개의 복셀 클러스터 세트를 획득하고, 상기 복수개의 복셀 클러스터 세트 중 서로 인접한 복셀 클러스터 세트들을 병합한 후, 상기 복셀 클러스터 세트의 크기를 분석하여 최종 클러스터 세트를 선별하는 클러스터 획득부; 및
상기 최종 클러스터 세트에 포함된 복셀들의 좌표값 중 각 좌표축 방향별 최대값 및 최소값을 계산하고, 계산된 각 좌표축 방향별 최대값 및 최소값에 대응하는 영역을 상기 관심 영역으로 설정하는 관심영역 설정부; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
제2 항에 있어서, 상기 중요도 판별부는
상기 화면 상에 상기 적어도 하나의 단면 영상이 표시된 후, 상기 화면 상에 다른 적어도 하나의 단면 영상이 표시될 때까지의 시간 구간 내에서 시간의 흐름에 비례하여 상기 가중치를 증가시키고, 상기 빈도 히스토그램에 대응하는 상기 복셀들 각각에 상기 가중치를 부가하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
제2 항에 있어서, 상기 클러스터 획득부는
상기 복셀 리스트에 포함된 상기 복셀들에 대해 상호 인접 연결성 분석을 수행하여 서로 인접하여 배치된 상기 복셀들을 판별하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
제2 항에 있어서, 상기 클러스터 획득부는
상기 복수개의 복셀 클러스터 세트 중 서로 기설정된 기준 거리 이내에 배치된 복셀 클러스터 세트들을 병합하고, 상기 복셀 클러스터 세트 중 기설정된 기준 크기 이상인 상기 복셀 클러스터 세트를 상기 최종 클러스터 세트로 선택하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
제2 항에 있어서, 상기 좌표 변환부는
상기 영상 표시부가 상기 3차원 볼륨 영상의 상기 적어도 하나의 단면 영상을 화면 상에 표시하기 위해 이용한 좌표 변환 함수의 역함수를 이용하여 상기 시선 화면 좌표점 세트를 상기 위치점 세트로 변환하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
영상 획득부, 영상 표시부, 시선 추적부, 관심영역 추출부 및 빅 데이터 저장부를 포함하는 빅 데이터 데이터베이스 구축 장치의 빅 데이터 데이터베이스 구축 방법에 있어서,
상기 영상 획득부가 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 단계;
상기 영상 표시부가 상기 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 단계;
상기 시선 추적부가 상기 화면 상에 표시된 상기 적어도 하나의 단면 영상에 대한 사용자의 시선을 기설정된 추적하여 상기 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 단계;
상기 관심영역 추출부가 상기 시선 화면 좌표점 세트에 대응하는 상기 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하는 단계;
상기 관심영역 추출부가 상기 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 복셀 클러스터 세트들을 획득하는 단계;
상기 관심영역 추출부가 상기 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별하여 최종 클러스터 세트를 획득하는 단계;
상기 관심영역 추출부가 상기 최종 클러스터 세트를 분석하여 상기 3차원 볼륨 영상의 상기 관심영역을 설정하는 단계; 및
상기 빅 데이터 저장부가 상기 관심영역을 저장하는 단계; 를 포함하는 빅 데이터 데이터베이스 구축 방법.
제7 항에 있어서, 상기 시선 화면 좌표점 세트를 획득하는 단계는
상기 화면 상에 표시하는 단계에서 상기 3차원 볼륨 영상의 상기 적어도 하나의 단면 영상을 화면 상에 표시하기 위해 이용한 좌표 변환 함수의 역함수를 이용하여 상기 화면에 대응하는 2차원 좌표값을 갖는 상기 시선 화면 좌표점 세트를 상기 3차원 볼륨 영상의 좌표값을 갖는 위치점 세트로 변환하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
제8 항에 있어서, 상기 복셀 리스트를 획득하는 단계는
상기 위치점 세트에서 상기 3차원 볼륨 영상의 상기 복수개의 복셀 각각이 나타난 빈도수에 따라 빈도 히스토그램을 생성하는 단계;
상기 빈도 히스토그램에 기설정된 방식으로 가중치를 부가하는 단계;
상기 가중치가 부가된 상기 빈도 히스토그램을 평활화하는 단계; 및
평활화된 상기 빈도 히스토그램의 상기 복수개의 복셀 중 기설정된 기준 빈도값 이상의 빈도를 갖는 복셀들로 구성되는 상기 복셀 리스트를 추출하는 단계; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
제9 항에 있어서, 상기 가중치를 부가하는 단계는
상기 화면 상에 상기 적어도 하나의 단면 영상이 표시된 후, 상기 화면 상에 다른 적어도 하나의 단면 영상이 표시될 때까지의 시간 구간 내에서 시간의 흐름에 비례하여 상기 가중치를 증가시키는 단계;
상기 빈도 히스토그램에 대응하는 상기 복셀들 각각에 상기 가중치를 부가하는 단계; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
제7 항에 있어서, 상기 복셀 클러스터 세트들을 획득하는 단계는
상기 복셀 리스트에 포함된 상기 복셀들에 대해 상호 인접 연결성 분석을 수행하여 서로 인접하여 배치된 복셀들을 판별하는 단계;
서로 인접한 것으로 판별된 상기 복셀들을 클러스터링하여 상기 복수개의 복셀 클러스터 세트를 획득하는 단계;
상기 복수개의 복셀 클러스터 세트 중 기설정된 기준 거리 이내로 서로 인접한 복셀 클러스터 세트들을 병합하는 단계; 및
상기 복수개의 복셀 클러스터 세트 중 크기가 기설정된 기준 크기 이상인 복셀 클러스터 세트를 상기 최종 클러스터 세트로 선별하는 단계; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
제7 항에 있어서, 상기 관심영역을 설정하는 단계는
상기 최종 클러스터 세트에 포함된 복셀들의 좌표값 중 각 좌표축 방향별 최대값 및 최소값을 계산하는 단계; 및
계산된 상기 각 좌표축 방향별 최대값 및 최소값에 대응하는 영역을 상기 관심 영역으로 설정하는 단계; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.