KR101277040B1

KR101277040B1 - 화상 처리 장치, 그 제어 방법, 화상 처리 시스템 및 컴퓨터 판독가능 저장 매체

Info

Publication number: KR101277040B1
Application number: KR1020117016012A
Authority: KR
Inventors: 야스후미 다까마
Original assignee: 캐논 가부시끼가이샤
Priority date: 2008-12-19
Filing date: 2009-12-08
Publication date: 2013-06-24
Also published as: KR20110104019A; EP2378950A1; CN102245082A; US20110243408A1; EP2378950A4; CN102245082B; WO2010071091A1; JP2010142498A; US8687863B2; JP4850892B2

Abstract

본 발명의 실시예의 일 양태는, 망막의 단층상을 나타내는 안저 화상에서 망막층의 경계 위치 중 하나를 특정하고, 불투명도의 피크 위치가 망막 내의 미리 결정된 위치로 설정되도록, 특정된 경계 위치로부터의 거리를 불투명도를 나타내는 파라미터로 변환하기 위한 거리 전달 함수를 설정하고, 안저 화상의 휘도값을 불투명도를 나타내는 파라미터로 변환하기 위한 휘도 전달 함수를 설정하고, 거리 전달 함수와 휘도 전달 함수를 사용하여, 단층상의 각 위치의 불투명도를 산출하는 것과, 볼륨 렌더링에 의해 반투명 표시 화상을 생성하는, 안저 화상 표시 장치에 관한 것이다.

Description

화상 처리 장치, 그 제어 방법, 화상 처리 시스템 및 컴퓨터 판독가능 저장 매체 {IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, IMAGE PROCESSING SYSTEM AND COMPUTER-READABLE STORAGE MEDIUM}

본 발명은 일반적으로 화상 처리 장치, 그 제어 방법, 화상 처리 시스템 및 컴퓨터 판독가능 저장 매체에 관한 것이다.

안과 의료 분야에 있어서, 안저(fundus) 사진을 촬영하기 위한 안저 카메라가 일반적으로 사용되어 왔다. 최근에는, 광 간섭 단층계(optical coherence tomography)(이하, OCT로 생략하여 칭함)가 출현함에 따라, 망막(retina)의 단층상(tomosynthesis)을 촬영하는 것이 가능하게 되었다. 이 결과, 망막이 층 구조를 형성하고 있고, 그 층 구조가 질병이 진행함에 따라 파괴된다고 하는 새로운 안과의 지식이 발견되었다. 현재에는, 일본 특허 공개 공보 제2008-073099호의 명세서에 개시된 바와 같이, 촬영된 망막의 복수의 단층상으로부터 재구성된 망막 볼륨 데이터로부터 층 구조가 추출되고, 그 정보가 눈의 질병을 진단하는 데 이용된다. 이하, 안저 사진과 망막 볼륨 데이터를 안저 화상(fundus image)이라 칭할 것이다.

종래 기술에서는, 검안의(optometrist)는 단층상이나 볼륨 데이터를 사용해서 망막의 층 구조의 화상을 판독하거나, 안저 사진을 사용해서 안저 혈관이나 백반(achromoderma)의 상태의 화상을 판독하였다. 특히, 안저 혈관은 체외로부터 관찰할 수 있는 유일한 혈관이며, 안저 혈관으로부터 여러가지 질병의 징후나 현상이 확인될 수 있다. 그 중에서도, 동맥 경화(arterial sclerosis)에 의해 막힌 혈관이 팽창하고 부근의 혈관에 접촉하는 교차(cross-section)는 혈관이 파열하고, 어쩌면 최악의 경우에 실명으로 연결되는 현상으로 알려져 있다. 따라서, 검안의에게는 이상현상을 진단하기 위해서 안저 혈관의 혈류를 이해하는 것이 의미가 있다. 또한, 환자에게는 질병을 조기에 발견하고 조기에 회복되거나 실명을 방지하도록 연결될 수 있다. 이러한 이유로, 일본 특허 공개 공보 제2007-325831호의 명세서에는, 안저 사진이나 휘도값을 깊이 방향으로 적산해서 생성된 적산 화상으로부터 2차원의 혈관 영역을 추출하는 방법이 개시되어 있다. 또한, 안저 사진으로부터 혈관 영역이나 백반 영역을 추출하는 방법은, Elisa Ricci와 Renzo Perfetti의 "Retinal Blood Vessel Segmentation Using Line Operators and Support Vector Classification," IEEE Transactions on Medical Imaging, Vol.26 No.10, PP1357-1365, 2007이나, Thomas Walter, Jean-Claude Klein, Pascale Messin 및 Ali Erginary의 "A Contribution of Image Processing to the Diagnosis of Diabetic Retinopathy-Detection of Exudates in Color Fundus Image of the Human Retina," IEEE Transactions on Medical Imaging, Vol.21,No.10, PP1236-PP1243, Oct. 2002에 각각 개시되어 있다.

그러나, 안저 사진에서는, 안저 혈관의 혈류가 2차원으로만 관찰될 수 있다. 따라서, 교차해서 보이는 3차원의 안저 혈관의 겹침이 관찰될 수 없다. OCT가 출현하여 고해상도로 단층상으로부터 망막 볼륨 데이터가 재구성될 수 있는 현재에는, 안저 혈관의 3차원 혈류가 관찰될 수 있고, 교차가 직접 관찰될 수 있다.

망막 볼륨 데이터를 관찰하기 위해서, 복셀(voxel)이 갖는 값을 전달 함수에 의해 불투명도와 컬러로 변환함으로써 볼륨 데이터가 반투명이 되게 표시되는 볼륨 렌더링이라고 하는 방법이 유효하다. 투명도를 좌우하는 전달 함수는, 예를 들어, 도 1에 나타낸 바와 같이 횡축에 휘도값을 정의하고 종축에 불투명도를 정의하는 함수로서 표현된다. 일반적으로, 사용자는 전달 함수의 형태, 피크의 위치 또는 피크의 폭을 사용자 인터페이스를 사용하여 수동으로 설정할 수 있다. 또한, 일본 특허 공개 공보 제2008-006274호의 명세서에 나타낸 바와 같이, CT 상에 표시되는 내부 기관이나 혈관의 CT값 히스토그램이 각 기관마다 피크를 갖는다는 사실을 이용하여, 가우시안 함수(Gaussian function)에 의해 피팅된(fitted) CT값 히스토그램의 평균값과 분산으로부터 산출된 CT값의 범위가 불투명하게 표시되도록 자동 설계가 가능하다.

망막 볼륨 데이터를 사용해서 안저 혈관의 3차원 혈류를 가시화하는 데에 다음과 같은 문제점이 존재한다.

일본 특허 공개 공보 제2007-325831호 공보의 명세서나 Elisa Ricci 등에 의한 간행물에 개시된 방법은, 안저 혈관의 2차원 안저 사진이나 적산 화상을 추출하는 것이며, 안저 혈관의 3차원 위치는 특정될 수 없다.

일본 특허 공개 공보 제2008-006274호의 명세서에 따른 방법에서는, OCT의 휘도값 히스토그램에 있어서의 혈관 영역이 피크를 나타내지 않으므로, 안저 혈관의 3차원 혈류를 가시화하는 것은 곤란하다. 또한, 도 2에 나타낸 망막 단층상(201)에 있어서, 안저 혈관(202)이 진행하는 신경 섬유층 하단부 부근의 영역은 고휘도 영역이다. 또한, 안저 혈관(202)은 광을 강하게 반사하므로 휘도값이 높아진다. 즉, 안저 혈관(202)이 진행하는 영역은 낮은 콘트라스트를 갖고, 휘도값을 기초로 하여 수동으로 전달 함수가 설정되어도, 안저 혈관만을 가시화하는 것은 곤란하다.

따라서, 본 발명은 상술한 종래 기술에서 직면하는 문제점들을 개선할 수 있게 하며, 망막 볼륨 데이터로부터 혈관의 3차원 혈류 또는 백반의 3차원 분포를 가시화하는 기술을 제공한다.

본 발명의 추가적인 특징들은 첨부 도면을 참조하여 후술하는 실시예들의 설명으로부터 명백해질 것이다.

도 1은 볼륨 렌더링(volume rendering)을 위한 전달 함수의 예를 나타내는 챠트도이다.
도 2는 망막 단층상을 설명하기 위한 챠트도이다.
도 3은 본 발명의 실시예에 따른 안저 화상 표시 시스템의 구성의 일례를 나타내는 챠트도이다.
도 4는 본 발명의 실시예에 따른 안저 사진, 망막 볼륨 데이터 및 적산 화상의 관계를 설명하기 위한 챠트도이다.
도 5는 본 발명의 실시예에 따른 안저 화상 표시 장치(1)의 기능 구성을 나타내는 챠트도이다.
도 6은 본 발명의 실시예에 따른 혈관 영역 추출 유닛(503)의 기능 구성의 일례를 나타내는 챠트도이다.
도 7은 본 발명의 실시예에 따른 거리 전달 함수 설정 유닛(505)의 기능 구성의 일례를 나타내는 챠트도이다.
도 8은 본 발명의 제1 실시예에 따른 안저 화상 표시 장치(1)에 있어서 안저 혈관의 3차원 혈류를 볼륨 렌더링에 의해 가시화하는 프로세스 흐름을 나타내는 흐름도이다.
도 9는 본 발명의 제1 실시예에 따른 혈관 영역 추출 유닛(503)에 의한 혈관 영역의 추출의 상세한 동작을 나타내는 흐름도이다.
도 10은 본 발명의 제2 실시예에 따른 안저 화상 표시 장치(1000)의 기능 구성의 일례를 나타내는 챠트도이다.
도 11은 안저 화상 표시 장치(1000)에서의 망막 볼륨 데이터의 백반을 가시화하는 프로세스 흐름을 나타내는 흐름도이다.
도 12는 발명의 실시예에 따른 안저 화상 표시 장치의 하드웨어 구성을 나타내는 챠트도이다.

이하, 첨부 도면을 참조하여 본 발명에 따른 안저 화상 표시 장치의 실시예에 대해 상세하게 설명한다. 하지만, 본 발명의 범위는 첨부 도면의 실시예로 한정되지 않는다.

(제1 실시예: 혈관의 가시화)

도 3은, 본 실시예에 따른 안저 화상 표시 장치의 구성의 일례를 나타내는 챠트도이다. 본 실시예에 있어서, 안저 화상 표시 장치(1)는, LAN(3)을 통해서 데이터베이스(2)로부터 안저 화상을 판독한다. 또는, 안저 화상 표시 장치(1)에 FDD, CD-RW 드라이브, MO 드라이브 또는 ZIP 드라이브 등과 같은 메모리 디바이스가 접속될 수 있고, 이러한 드라이브로부터 안저 화상이 판독될 수 있다. 또한, LAN(3)을 경유해서 안저 화상 촬영 장치(4)로부터 직접 의료 화상 등이 취득될 수 있다. 안저 화상 외에, 데이터베이스(2)는, 환자 이름이나 환자 데이터, 도 4에 나타낸 망막(403), 신경 섬유층(405), 외부 망상층(outer plexiform layer)(406) 및 망막 색소 상피(retinal pigment epithelium)(407)의 두께 정보를 저장한다. 도 4는, 안저 사진, 망막 볼륨 데이터 및 적산 화상 사이의 관계를 설명하기 위한 챠트도이다.

안저 화상 촬영 장치(4)로서는, 안저의 단층상을 촬영할 수 있는 OCT나 안저를 촬영할 수 있는 안저 카메라가 제공될 수 있다. OCT의 종류로서는, 시간 영역 시스템의 TD-OCT나 푸리에 영역 시스템의 FD-OCT가 제공될 수 있다. 고속 촬영이 가능한 FD-OCT에서, 1회의 촬영 동작으로 복수의 단층상이 취득될 수 있으므로, 망막 볼륨 데이터는 이러한 단층상을 순차적으로 배열함으로써 재구성될 수 있다. 안저 화상 촬영 장치(4)는 사용자(기사 또는 의사)의 조작에 응답하여 피검자(환자)의 안저 화상을 촬영하고, 취득된 안저 화상을 안저 화상 표시 장치(1)에 출력한다. 또한, 안저 화상 표시 장치(1)는 안저 화상 촬영 장치(4)에 의해 취득된 안저 화상을 저장하기 위한 데이터베이스(2)에 접속될 수 있고, 필요한 안저 화상이 데이터베이스로부터 취득될 수 있다. 이러한 장치들과의 접속은 USB나 IEEE1394 등과 같은 인터페이스에 의해 수행될 수 있거나, 인터넷과 같은 외부 네트워크를 통해 수행될 수도 있다.

다음으로, 도 5를 참조하여, 본 실시예에 따른 안저 화상 표시 장치(1)의 기능 구성에 대해 설명한다. 도 5는, 본 실시예에 따른 안저 화상 표시 장치(1)의 기능 구성의 예를 나타내는 챠트도이다. 도 5에 있어서, 안저 화상 표시 장치(1)는 안저 화상 입력 유닛(501), 층 추출 유닛(502), 혈관 영역 추출 유닛(503), 거리 산출 유닛(504), 거리 전달 함수 설정 유닛(505), 휘도 전달 함수 설정 유닛(506) 및 가시화 유닛(507)을 포함한다. 다음으로 각 유닛의 동작에 대해 설명한다.

안저 화상 입력 유닛(501)은, 안저 화상 촬영 장치(4)로부터 출력된 안저 화상이나 데이터베이스(2)에 저장된 안저 화상을 선택 및 입력한다. 도 4는 안저 화상으로서 입력된 망막 볼륨 데이터(401)와 안저 사진(421)의 패턴도를 나타낸다. 망막의 내부가 층 구조로서 형성된다는 사실은 의료 분야에서 잘 알려져 있다. 망막 볼륨 데이터(401)의 좌표계는 망막 단층상(402)(패턴도)의 가로 방향이 X축, 세로 방향이 Z축, 망막 단층상(402)이 배열되는 방향이 Y축이 되도록 정의된다. 또한, 안저 사진(421)의 좌표계는 가로 방향이 X축, 세로 방향이 Y축이 되도록 정의된다.

층 추출 유닛(502)은, 망막 볼륨 데이터(401)로부터, 신경 섬유층(405), 외부 망상층(406) 및 망막 색소 상피(407)를 추출한다. 층 추출 유닛(502)은 내부 경계막(404), 신경 섬유층(405)의 하단부, 외부 망상층(406)의 상단부, 망막 색소 상피(407)의 상단부, 및 내부 경계막(404)으로부터 망막 색소 상피(407)의 하단부까지 정의되는 망막(403)을 추출한다. 모든 층 또는 1개 또는 복수의 층이 추출을 위해 선택될 수 있다. 추출된 층의 경계 위치를 나타내는 경계 정보는 거리 산출 유닛(504)에 출력된다.

혈관 영역 추출 유닛(503)은 입력된 안저 화상으로부터 혈관 영역을 추출한다. 도 6에 나타낸 바와 같이, 혈관 영역 추출 유닛(503)은 적산 화상 혈관 영역 추출 유닛(601), 안저 사진 혈관 영역 추출 유닛(602) 및 혈관 정렬 유닛(603)으로 구성된다. 적산 화상 혈관 영역 추출 유닛(601)은, 망막 볼륨 데이터(401)의 복셀의 휘도값을 Z축 방향으로 적산한 적산 화상(411)으로부터 안저 혈관 영역(412)을 추출한다. 또한, 안저 사진이 안저 화상 입력 유닛(501)에 입력된 경우, 안저 사진 혈관 영역 추출 유닛(602)은 안저 사진(421)으로부터 혈관 영역(422)을 추출한다. 혈관 정렬 유닛(603)은, 안저 사진이 안저 화상 입력 유닛(501)에 입력되는 경우, 혈관 영역(412, 422)을 사용해서 안저 사진의 좌표계 (x, y)와 적산 화상의 좌표 (x, y)를 정렬한다.

이러한 처리 결과, 혈관 영역 추출 유닛(503)은, 복셀의 집합으로서 좌표 (x, y)에 의해 표현된 혈관 영역을 거리 산출 유닛(504), 거리 전달 함수 설정 유닛(505) 및 휘도 전달 함수 설정 유닛(506)에 출력한다.

우선, 거리 산출 유닛(504)은 층 경계 정보로부터 1개의 층 경계를 특정하고, 그 경계의 위치가 거리=0이라고 상정한다. 예를 들어, 내부 경계막이 선택에 의해 특정되었을 경우, 도 4에 나타낸 내부 경계막(404)으로서 추출된 층 경계 상의 모든 복셀의 거리는 0이 된다. 다음으로, 거리 산출 유닛(504)은 혈관 영역 추출 유닛(503)으로 취득된 좌표 (x, y)에 의해 표현된 복셀의 집합인 혈관 영역(412)을 사용하여, 망막 볼륨 데이터의 좌표 (x, y)를 갖는 복셀의 집합인 혈관 투영 영역(408)을 정의한다. 또한, 거리 산출 유닛(504)은 혈관 투영 영역(408)의 각 복셀과 혈관 투영 영역(408)과 층 경계의 교점에 존재하는 기준점(409) 사이의 거리를 산출하고, 산출한 거리를 각 복셀에 부여한다. 이 경우에, 기준점(409)보다 큰 Z축의 값을 갖는 복셀의 거리의 부호값을 "-"라 상정하고, 기준점(409)보다 작은 Z축의 값을 갖는 복셀의 거리의 부호값을 "+"라 상정한다.

거리 전달 함수 설정 유닛(505)은 거리 산출 유닛(504)에 의해 산출된 각 복셀의 거리를 불투명도로 변환하기 위한 거리 전달 함수를 설정한다. 거리 전달 함수는 도 1에 나타낸 바와 같이, 횡축에 거리를 정의하고 종축에 불투명도를 정의하는 함수이며, 혈관이나 백반과 같은 표시 대상에 따라 자동으로 설정된다. 거리 전달 함수 설정 유닛(505)은 혈관 영역 추출 유닛(503)으로 추출된 혈관 투영 영역(408)에 있어서, 기준점(409)으로부터 안저 혈관이 진행할 것으로 고려되는 안저 혈관(202)까지의 거리를 거리 전달 함수의 피크 위치로서 설정한다.

여기에서, 안저 혈관(202)이 진행하리라 고려되는 위치에서는 광을 강하게 반사하고, 도 2의 혈관의 그림자 영역(203)의 휘도값이 주변 영역에 비해 낮다. 따라서, 혈관의 위치는 혈관 투영 영역(408) 내에서, 최대 휘도값을 갖는 복셀 또는 임의의 크기의 직사각형이 상정되었을 때 그 직사각형 내에서 큰 분산값을 갖는 복셀의 z값이 되게 결정된다. 거리 전달 함수의 분산값은 혈관 영역으로부터 산출될 수 있는 혈관의 직경으로부터 설정될 수도 있다. 이와 같이 자동으로 설정된 거리 전달 함수는 가시화 유닛(507)에 출력된다.

휘도 전달 함수 설정 유닛(506)은 망막 볼륨 데이터의 휘도값을 불투명도로 변환하기 위한 휘도 전달 함수를 설정한다. 휘도 전달 함수는, 예를 들어, 도 1에서 횡축에 휘도값을 정의하고 종축에 불투명도를 정의하는 함수이다. 이 함수의 설정은 사용자 인터페이스를 사용하여 사용자에 의해 수동으로 실행될 수 있거나, 일본 특허 공개 공보 제2008-006274호에서 나타낸 휘도값의 히스토그램으로부터 자동으로 실행될 수도 있다. 설정된 휘도 전달 함수는 가시화 유닛(507)으로 출력된다.

가시화 유닛(507)은, 휘도 전달 함수에 의해 산출된 불투명도와 거리 전달 함수에 의해 산출된 불투명도를 하기의 식 (1)에 의해 합성하고, 합성된 값은 볼륨 렌더링 동작에서 복셀의 불투명도를 설정하는 데 사용된다. 여기에서, x-좌표에 있어서의 복셀의 휘도값은 v(x)이고, 거리는 d(x)이고, 휘도 전달 함수는 f_v(v(x))이고, 거리 전달 함수는 f_d(d(x))이다. 합성된 불투명도 α(v(x),d(x))는 식 (1)에 나타낸 바와 같이, 휘도 전달 함수와 거리 전달 함수의 합성비 β를 사용하여 휘도 전달 함수와 거리 전달 함수의 선형합에 의해 취득된다.

식 (1)

α(v(x),d(x))=β*f_v(v(x))+(1-β)*f_d(d(x))

β는 각 표시 대상에 대해 미리 설정될 수 있다. 혈관이 가시화되는 경우, 혈관 부근의 콘트라스트가 낮으므로, β는 낮게 설정될 수 있고, 거리 전달 함수의 가중치는 클 수 있다. 마지막으로, 가시화 유닛(507)은 볼륨 렌더링 동작의 결과적인 화상으로서 반투명 화상을 생성한다.

다음으로, 도 8에 나타낸 흐름도를 참조하여, 본 실시예에 따른 안저 화상 표시 장치(1)에 있어서의 안저 혈관의 3차원 진행을 가시화하는 프로세스 흐름에 대해 설명한다. 여기에서, 도 8의 흐름도에 나타낸 처리는 도 12에 나타낸 바와 같이, CPU(5)에 의해 주 메모리(6)에 저장된 프로그램을 실행함으로써 실현된다.

스텝 S801에서, 안저 화상 입력 유닛(501)은 망막 볼륨 데이터나 안저 사진과 같은 안저 화상을 안저 화상 표시 장치(1)에 입력한다. 입력된 안저 화상은 층 추출 유닛(502), 혈관 영역 추출 유닛(503), 거리 전달 함수 설정 유닛(505), 휘도 전달 함수 설정 유닛(506) 및 가시화 유닛(507)에 출력된다.

스텝 S802에서, 혈관 영역 추출 유닛(503)은 망막 볼륨 데이터 및 안저 화상으로부터 혈관 영역(412, 422)을 추출한다. 본 스텝에 있어서의 처리는 도 9를 참조하여 더욱 상세하게 후술한다.

스텝 S803에서, 층 추출 유닛(502)은 스텝 S801에서 수취한 망막 볼륨 데이터로부터 신경 섬유층(405), 외부 망상층(406) 및 망막 색소 상피(407)를 추출한다. 층 추출 유닛(502)은 이러한 층의 정보로부터 내부 경계막(404), 신경 섬유층(405)의 하단부, 외부 망상층(406)의 상단부 및 망막(403)을 탐색한다. 도시하지 않은 지시 유닛에 의해, 사용자는 기준으로서의 층 경계를 선택하고, 층 경계의 정보는 스텝 S804로 출력된다.

스텝 S804에서, 거리 산출 유닛(504)은 기준으로서의 층 경계로부터 스텝 S802에서 추출한 혈관 영역 내에서 z축 방향에 존재하는 복셀까지의 거리를 산출한다. 산출된 거리 정보는 가시화 유닛(507)에 출력된다. 혈관 영역 외부의 복셀까지의 거리가 산출되지 않는 경우, 즉, 거리가 0일 경우, 혈관 영역 외부의 복셀의 불투명도는 0이 되고, 볼륨 렌더링은 고속으로 수행될 수 있다. 또한, 혈관 영역 외부의 복셀까지의 거리도 산출되는 경우, 층으로부터의 거리에 따른 불투명도를 계산하면서, 볼륨 렌더링을 행함으로써 반투명 화상이 생성될 수 있다.

스텝 S805에서, 휘도 전달 함수 설정 유닛(506)과 거리 전달 함수 설정 유닛(505)은 휘도 전달 함수와 거리 전달 함수를 각각 설정한다. 거리 전달 함수 설정 유닛(505)은, 혈관의 그림자 영역을 추출하고, 내부 경계막으로부터, 혈관이 진행하리라 고려되는 소정의 위치의 좌표까지의 거리를 피크 위치로서 고려한다. 설정된 휘도 전달 함수와 거리 전달 함수는 가시화 유닛(507)에 출력된다.

스텝 S806에서, 가시화 유닛(507)은, 휘도 전달 함수와 거리 전달 함수로부터 취득되는 불투명도를 식 (1)에 따라 곱하면서 볼륨 렌더링을 실행한다.

도 9는 스텝 S802의 처리를 설명하는 흐름도이다. 우선, 스텝 S901에서, 적산 화상 혈관 영역 추출 유닛(601)은 입력된 망막 볼륨 데이터(401)의 적산 화상(411)을 생성한다. 또한, 적산 화상 혈관 영역 추출 유닛(601)은 스텝 S902에서 적산 화상(411)으로부터 혈관 영역(412)을 추출하고, 이를 혈관 정렬 유닛(603)에 출력한다.

여기에서, 스텝 S902의 혈관 영역(412)을 추출하는 방법으로서, 임의의 알려진 방법이 사용될 수 있다. 예를 들어, 적산 화상의 화소값을 해석하고, 인접하는 화소의 값들 사이의 차를 산출하고, 이 차가 소정의 값보다 큰 인접하는 화소를 탐색함으로써, 혈관 영역과 다른 영역 사이의 경계 영역이 검출된다. 이러한 동작에 의해, 적산 화상으로부터 혈관 영역(412)이 추출될 수 있다. 추출 프로세스에서, 적산 화상에 있어서의 혈관 영역과 다른 영역의 (휘도값과 같은) 화소의 값의 차가 이용된다.

스텝 S903에서, 안저 화상 입력 유닛(501)은, 안저 사진(421)이 스텝 S801에서 입력되었는지 여부를 판정한다. 안저 사진(421)이 입력되었으면(스텝 S903의 "예"), 프로세스는 스텝 S904로 진행한다. 안저 사진(421)이 입력되지 않았으면(스텝 S903의 "아니오"), 프로세스는 스텝 S906으로 진행한다.

스텝 S904에서, 안저 사진 혈관 영역 추출 유닛(602)은 안저 사진(421)으로부터 혈관 영역(422)을 추출하고, 혈관 정렬 유닛(603)에 이를 출력한다. 스텝 S903에서 혈관 영역(422)을 추출하는 방법은 스텝 S902에서의 방법과 동일하다. 즉, 안저 사진(421)의 화소값을 해석하고, 인접하는 화소의 값들 사이의 차를 산출하고, 이 차가 소정의 값보다 큰 인접하는 화소를 탐색함으로써, 혈관 영역과 다른 영역 사이의 경계 영역이 검출된다. 이러한 동작에 의해, 적산 화상으로부터 혈관 영역(412)이 추출될 수 있다. 스텝 S905에서, 혈관 정렬 유닛(603)은 그 위치가 서로 일치하도록 혈관 영역(412, 422)을 정렬한다.

후속하는 스텝 S906에서, 혈관 정렬 유닛(603)은 안저 사진(421)의 혈관 영역(412)과 적산 화상(411)의 혈관 영역(422)을 통합하고, 통합된 혈관 영역이 스텝 S803에 제공된다. 혈관 영역(412)과 혈관 영역(422)의 통합은 이들의 논리곱 또는 논리합으로써 수행될 수 있다. 안저 사진(421)이 이용가능하지 않으면, 적산 화상(411)으로부터 추출된 혈관 영역(412)이 스텝 S803에 제공된다. 여기에서 스텝 S802가 종료된다.

상술한 바와 같이, 본 실시예에서는, 안저 혈관이 신경 섬유층의 하단부 부근을 통해 진행한다는 지식이 거리 전달 함수에 의해 표현되고, 망막 단층상에서 안저 혈관의 휘도값이 높은 특징이 휘도 전달 함수에 의해 표현되고, 볼륨 렌더링 동작이 실행된다. 이 결과, 망막 볼륨 데이터의 안저 혈관의 3차원 진행이 가시화될 수 있다.

(제2 실시예: 백반의 가시화)

상술한 제1 실시예에서는, 안저 화상으로부터 혈관 영역과 층 경계를 추출하고, 층 경계로부터의 거리와 망막 볼륨 데이터의 휘도값으로부터 산출된 불투명도를 사용해서 혈관을 볼륨 렌더링함으로써, 안저 혈관의 3차원 진행이 가시화된다. 한편, 제2 실시예에서는, 혈관이 아니라 백반이 눈의 안저의 특징적인 장애로서 가시화된다.

안저 화상 표시 장치 및 이에 접속되는 장치의 구성은, 도 2에 나타낸 제1 실시예의 구성과 마찬가지이다. 그러나, 본 실시예에 따른 안저 화상 표시 장치의 기능 블록은 도 10에 나타낸 제1 실시예에 따른 기능 블록에 백반 영역 추출 유닛(1001)을 추가함으로써 구성된다.

이하의 설명에서, 백반 영역 추출 유닛(1001)과, 거리 전달 함수 설정 유닛(505)의 기능 블록 중 하나인 백반 중심 탐색 유닛(704)에 대해 주로 설명하고, 다른 기능 블록에 대한 설명은 제1 실시예와 마찬가지의 처리를 가지므로 생략한다.

백반 영역 추출 유닛(1001)은, 입력된 안저 화상으로부터 백반 영역을 추출한다. 입력된 안저 화상이 망막 볼륨 데이터(401)인 경우, 망막층의 정보와 휘도값을 기초로 백반 영역이 추출된다. 여기에서, 백반이 출현하는 위치는 외부 망상층(406)의 부근이라는 의료 지식으로부터 백반 영역이 예측될 수 있다. 이러한 의료 지식을 이용하기 위해서, 우선 신경 섬유층(405)과 망막 색소 상피(407)가 추출된다. 또한, 망막 단층상(402)에서의 백반은 주변 영역에 비해 높은 휘도값을 가지므로, 신경 섬유층(405)과 망막 색소 상피(407) 사이의 고휘도값을 갖는 영역이 바이너리 처리와 같은 화상 처리에 의해 추출되고, 망막 볼륨 데이터(401)의 백반 영역으로 결정된다.

망막 볼륨 데이터(401) 외에 안저 사진(421)이 입력되는 경우, 안저 사진(421)이 백반을 더욱 잘 파악할 수 있는 경우가 있으므로, 안저 사진(421)에서 2차원의 백반 영역이 먼저 추출된다. 여기에서의 추출 방법은, 백반은 주변 영역에 비해 높은 휘도값을 갖는다는 사실을 이용하여 바이너리 처리와 같은 화상 처리에 의해 실현될 수 있다.

다음으로, 혈관 영역 추출 유닛(503)에서 산출할 수 있는 정렬 정보에 기초하여, 안저 사진(421)에서 백반 영역을 망막 볼륨 데이터(401)에 역투영함으로써 혈관 투영 영역과 유사하게 백반 투영 영역이 탐색된다. 또한, 상술한 바와 같이, 백반 영역이 백반 투영 영역 내의 복셀로부터 추출된다. 이 방법에 의해, 망막 볼륨 데이터(401)에는 나타나지 않지만 안저 사진(421)에는 나타나는 백반을 포함할 수 있다.

거리 전달 함수 설정 유닛(505)의 백반 중심 탐색 유닛(704)은 백반 영역 추출 유닛(1001)에 의해 추출된 백반 영역에서 복셀을 z축 방향으로 탐색한다. 이 경우에, 층 경계 정보로부터 1개의 층 경계가 선택되고, 선택된 층 경계(예를 들어, 내부 경계막(404))로부터 백반 영역의 중점에 존재하는 복셀까지의 거리가 산출되고, 이를 거리 전달 함수의 피크 위치로서 결정한다.

다음으로, 도 11에 나타낸 흐름도를 참조하여, 망막 볼륨 데이터의 백반을 가시화하는 프로세스 흐름에 대해 설명한다. 여기에서, 도 11의 흐름도에 의해 나타내어지는 처리는 CPU(5)에 의해 주 메모리(6)에 저장된 프로그램을 실행함으로써 실현된다. 스텝 S1101, S1102, S1103, S1105, 및 S1107은 각각 도 8의 스텝 S801, S802, S803, S804 및 S806과 같으므로, 여기에서 그 설명은 생략한다.

스텝 S1104에서, 입력된 안저 화상이 망막 볼륨 데이터(401)만인 경우, 망막 볼륨 데이터(401)로부터 3차원의 백반 영역이 추출된다. 망막 볼륨 데이터(401) 외에 안저 사진(421)도 입력되는 경우, 우선, 안저 사진(421)으로부터 백반 영역이 추출된다. 다음으로, 혈관 정렬 유닛(603)에서 산출된 혈관 정렬 정보에 기초하여, 안저 사진(421)의 백반 영역이 망막 볼륨 데이터(401)에 역투영된다. 또한, 스텝 S1103에서 추출된 층의 정보를 사용하여, 백반의 3차원 영역이 추출된다. 추출한 백반의 정보는 거리 산출 유닛(504)에 출력된다.

스텝 S1106에서, 휘도 전달 함수 설정 유닛(506)과 거리 전달 함수 설정 유닛(505)은 휘도 전달 함수와 거리 전달 함수를 각각 설정한다. 거리 전달 함수 설정 유닛(505)은 추출된 백반 영역의 중심에 대응하는 소정의 위치를 탐색한다. 내부 경계막(404)으로부터 백반 영역의 z축 상의 소정의 위치가 거리 전달 함수의 피크 위치로서 결정된다. 설정된 휘도 전달 함수와 거리 전달 함수는 가시화 유닛(507)에 출력된다.

상술한 바와 같이 제2 실시예에서는, 백반이 외부 망상층 부근에 출현한다는 지식이 거리 전달 함수에 의해 표현되고, 망막 단층상에서 백반의 휘도값이 높다는 특징이 휘도 전달 함수에 의해 표현되고, 볼륨 렌더링이 실행된다. 이러한 동작에 의해, 망막 볼륨 데이터의 백반의 3차원 분포가 가시화될 수 있다.

(제3 실시예)

안저 화상 표시 장치 및 이에 접속되는 장치는 도 2에 나타낸 제1 실시예와 마찬가지이다. 각 유닛의 기능을 실현하기 위한 컴퓨터의 기본 구성도 도 12에 나타낸 제1 실시예와 마찬가지이다.

제1 및 제2 실시예의 거리 전달 함수 설정 유닛(505)은 도 7에 나타낸 바와 같이, 평균 망막 두께 취득 유닛(701), 함수 파라미터 입력 유닛(702), 그림자 영역 추출 유닛(703), 백반 중심 탐색 유닛(704) 및 층 경계 취득 유닛(705)을 포함한다. 제1 실시예에서는 그림자 영역 추출 유닛(703)을 사용하고, 제2 실시예에서는 백반 중심 탐색 유닛(704)을 사용하여, 거리 전달 함수가 설정된다. 본 실시예에서는, 평균 망막 두께 취득 유닛(701), 함수 파라미터 입력 유닛(702) 및 층 경계 취득 유닛(705) 중 하나를 사용하여 거리 전달 함수를 설정하는 방법에 대해 설명한다.

평균 망막 두께 취득 유닛(701)은 데이터베이스(2)로부터 각 층의 평균 두께를 취득하고, 취득된 두께에 기초하여 거리 전달 함수의 피크 위치에 대응하는 소정의 위치가 결정된다. 안저 혈관이 가시화되는 경우, 안저 혈관이 신경 섬유층의 하단부 부근에서 출현하므로, 신경 섬유층의 평균 두께가 취득된다. 백반이 가시화되는 경우, 외부 망상층(406) 부근에 백반이 출현하므로, 내부 경계막(404)으로부터 외부 망상층(406)의 상단부까지의 평균 두께가 취득된다. 취득된 두께를 갖는 소정의 위치가 불투명도의 피크 위치로서 결정되고, 불투명도가 1.0이 되도록 거리 전달 함수가 설정된다.

함수 파라미터 입력 유닛(702)은 사용자 인터페이스를 사용해서 수동으로 피크 위치를 설정한다. 층 경계 취득 유닛(705)은, 층 추출 유닛(502)으로부터 각 층의 경계 정보를 취득하고, 거리 전달 함수의 피크 위치와 동일하게 설정한다. 안저 혈관을 가시화하는 경우, 신경 섬유층의 경계 정보가 취득되고, 신경 섬유층의 두께가 1.0과 동등한 불투명도를 갖도록 피크 위치가 설정된다. 백반이 가시화되는 경우, 외부 망상층의 경계 정보가 취득되고, 내부 경계막으로부터 외부 망상층까지의 두께가 1.0과 동등한 불투명도를 갖도록 피크 위치가 설정된다.

상술한 바와 같이, 거리 전달 함수 설정 유닛(505)을 형성하는, 평균 망막 두께 취득 유닛(701), 함수 파라미터 입력 유닛(702), 그림자 영역 추출 유닛(703), 백반 중심 탐색 유닛(704) 및 층 경계 취득 유닛(705) 중 하나를 사용해서 거리 전달 함수가 설정된다. 이러한 동작에 의해, 안저 혈관의 3차원 진행이나 백반의 3차원 분포가 가시화될 수 있다.

(제4 실시예)

다음으로, 제1, 제2 및 제3 실시예에 따른 안저 화상 표시 장치의 각 블록의 기능을 컴퓨터 프로그램에 의해 실현하기 위한 컴퓨터의 기본 구성에 대해 도 12를 참조하여 설명한다.

CPU(5)은 주 메모리(6)에 저장된 데이터나 프로그램을 사용해서 컴퓨터 전체를 제어한다. 또한, CPU(5)는 안저 화상 표시 장치(1)의 각 유닛에 대응하는 소프트웨어의 실행을 제어하여 각 유닛의 기능을 실현한다.

주 메모리(6)는, CPU(5)에 의해 실행되는 제어 프로그램을 저장하거나, 프로그램이 실행될 때 작업 영역을 제공한다.

자기 디스크(7)는 운영 체제(OS), 주변 기기의 디바이스 드라이브 및 안저 화상을 표시하기 위한 프로그램을 포함하는 각종 어플리케이션 소프트웨어를 저장한다. 표시 메모리(8)는 모니터(9)용의 표시 데이터를 일시적으로 저장한다.

모니터(9)는, 예를 들어, CRT 모니터나 LCD 모니터이며, 표시 메모리(8)로부터의 데이터에 기초하여 화상을 표시한다. 마우스(10) 및 키보드(11)는 사용자에 의한 포인팅 입력 및 문자 입력을 각각 실행한다. 사용자는 이들을 사용하여 각종 지시를 안저 화상 표시 장치(1)에 부여할 수 있다. 상술한 각 구성 요소는 공통 버스(12)에 의해 통신할 수 있도록 서로 접속된다.

(기타 실시예)

또한, 본 발명의 양태들은 상술한 실시예들의 기능들을 수행하는 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 컴퓨터 시스템 또는 장치(또는 CPU 또는 MPU와 같은 디바이스)와, 예컨대, 상술한 실시예의 기능들을 수행하는 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 컴퓨터 시스템 또는 장치에 의해 수행되는 단계로 이루어진 방법에 의해 구현될 수 있다. 이러한 목적으로, 예를 들어 네트워크를 통해, 또는 메모리 디바이스로서의 역할을 하는 여러 유형의 기록매체(예를 들어, 컴퓨터 판독가능 매체)로부터 프로그램이 컴퓨터에 제공된다.

본 발명은 실시예들을 참조하여 설명되었지만, 본 발명은 개시된 실시예들에 한정되지 않는다는 것이 이해되어야 한다. 하기의 청구항들의 범위는 이러한 모든 변형들과 동등한 구성 및 기능을 포함하도록 최광의의 해석에 따라야 한다.

본 출원은 본 명세서에 참조로서 그 전체가 통합되는, 2008년 12월 19일자로 출원된 일본 특허 출원 제2008-324709호를 우선권 주장한다.

Claims

망막의 단층상의 반투명 화상을 생성하기 위한 화상 처리 장치로서,
상기 망막의 단층상 내의 미리 결정된 영역의 위치를 취득하도록 구성된 제1 취득 유닛; 및
상기 미리 결정된 영역의 위치로부터의 거리와 상기 망막의 단층상의 휘도값 양쪽에 응답하여 상기 단층상의 각 위치의 불투명도를 산출하는 것과, 볼륨 렌더링에 의해 반투명 화상을 생성하도록 구성된 가시화 유닛
을 포함하는, 화상 처리 장치.
제1항에 있어서,
안저 혈관이 피검자의 망막 내에 존재하는 영역을 추출하도록 구성된 혈관 영역 추출 유닛을 더 포함하고,
상기 미리 결정된 영역은, 상기 안저 혈관이 상기 망막 내에 존재하는 영역인, 화상 처리 장치.
제2항에 있어서,
상기 혈관 영역 추출 유닛은 피검자의 눈의 안저 사진에서 상기 안저 혈관의 위치를 특정하고, 상기 안저 혈관의 특정된 위치를 이용하여 상기 안저 혈관이 상기 망막 내에 존재하는 영역을 추출하는, 화상 처리 장치.
제1항에 있어서,
백반이 피검자의 망막 내에 존재하는 영역을 추출하도록 구성된 백반 영역 추출 유닛을 더 포함하고,
상기 미리 결정된 영역은, 상기 백반이 상기 망막 내에 존재하는 영역인, 화상 처리 장치.
제4항에 있어서,
안저 화상은 망막의 단층상을 나타내고, 안저 사진이 상기 안저 화상에 포함되고,
상기 백반 영역 추출 유닛은 상기 안저 사진에서 백반 영역의 위치를 특정하고, 특정된 백반의 위치를 이용하여 상기 안저 화상에서 상기 백반이 상기 망막 내에 존재하는 영역을 추출하는, 화상 처리 장치.
제1항에 있어서,
상기 미리 결정된 영역의 위치로부터의 거리를 불투명도를 나타내는 파라미터로 변환하기 위한 거리 전달 함수를 설정하도록 구성된 거리 전달 함수 설정 유닛; 및
망막의 단층상을 나타내는 안저 화상의 휘도값을 불투명도를 나타내는 파라미터로 변환하기 위한 휘도 전달 함수를 설정하도록 구성된 휘도 전달 함수 설정 유닛을 더 포함하고,
상기 가시화 유닛은, 상기 거리 전달 함수와 상기 휘도 전달 함수를 사용하여, 상기 단층상의 각 위치의 불투명도를 산출하는 것과, 볼륨 렌더링에 의해 상기 반투명 화상을 생성하는, 화상 처리 장치.
제6항에 있어서,
상기 거리 전달 함수 설정 유닛은, 상기 망막 내의 상기 미리 결정된 영역이 불투명도의 피크를 갖도록 상기 망막 내에서 특정된 경계 위치로부터의 거리에 기초하여, 상기 거리를 불투명도를 나타내는 파라미터로 변환하는, 화상 처리 장치.
제7항에 있어서,
망막층을 형성하는 각 층의 두께를 저장하기 위한 데이터베이스를 더 포함하고,
상기 거리 전달 함수 설정 유닛은, 상기 각 층의 두께에 기초하여 상기 망막 내의 미리 결정된 영역을 특정하고, 상기 미리 결정된 영역이 불투명도의 피크를 갖도록 상기 특정된 경계 위치로부터의 거리에 기초하여 상기 거리를 불투명도를 나타내는 파라미터로 변환하는, 화상 처리 장치.
제1항에 있어서,
상기 망막의 단층상 내의 망막층의 미리 결정된 경계 위치를 취득하도록 구성된 제2 취득 유닛을 더 포함하고,
상기 가시화 유닛은 상기 경계 위치와 상기 미리 결정된 영역의 위치 사이의 거리에 응답하고, 상기 불투명도에 추가적으로 기초하여 상기 반투명 화상을 생성하는, 화상 처리 장치.
제1항에 있어서,
생성된 반투명 화상을 디스플레이 유닛 상에 표시하기 위한 디스플레이 컨트롤러를 더 포함하는, 화상 처리 장치.
망막의 단층상의 반투명 화상을 생성하기 위한 화상 처리 장치의 제어 방법으로서,
상기 망막의 단층상 내의 미리 결정된 영역의 위치를 취득하는 단계; 및
상기 미리 결정된 영역의 위치로부터의 거리와 상기 망막의 단층상의 휘도값 양쪽에 응답하여 상기 단층상의 각 위치의 불투명도를 산출하는 것과, 볼륨 렌더링에 의해 반투명 화상을 생성 및 가시화하는 단계
를 포함하는, 화상 처리 장치의 제어 방법.
컴퓨터로 하여금 화상 처리 장치의 제어 방법을 수행하게 하는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 저장 매체로서, 상기 제어 방법은,
망막의 단층상 내의 미리 결정된 영역의 위치를 취득하는 단계; 및
상기 미리 결정된 영역의 위치로부터의 거리와 상기 망막의 단층상의 휘도값 양쪽에 응답하여 상기 단층상의 각 위치의 불투명도를 산출하는 것과, 볼륨 렌더링에 의해 반투명 화상을 생성 및 가시화하는 단계
를 포함하는, 컴퓨터 판독가능 저장 매체.
화상 처리 시스템으로서,
피검자의 눈의 단층상을 촬영하기 위한 광 간섭 단층 촬영 장치; 및
화상 처리 장치를 포함하고,
상기 화상 처리 장치는,
망막의 단층상 내의 미리 결정된 영역의 위치를 취득하도록 구성된 제1 취득 유닛; 및
상기 미리 결정된 영역의 위치로부터의 거리와 상기 망막의 단층상의 휘도값 양쪽에 응답하여 상기 단층상의 각 위치의 불투명도를 산출하는 것과, 볼륨 렌더링에 의해 반투명 화상을 생성하도록 구성된 가시화 유닛
을 포함하는, 화상 처리 시스템.