KR101478598B1 - 화상처리장치, 그 제어방법 및 컴퓨터 프로그램 - Google Patents

화상처리장치, 그 제어방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR101478598B1
KR101478598B1 KR1020137022409A KR20137022409A KR101478598B1 KR 101478598 B1 KR101478598 B1 KR 101478598B1 KR 1020137022409 A KR1020137022409 A KR 1020137022409A KR 20137022409 A KR20137022409 A KR 20137022409A KR 101478598 B1 KR101478598 B1 KR 101478598B1
Authority
KR
South Korea
Prior art keywords
layer
image
region
boundary
eye
Prior art date
Application number
KR1020137022409A
Other languages
English (en)
Other versions
KR20130100384A (ko
Inventor
요시히코 이와세
히로시 이마무라
다이스케 후루카와
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20130100384A publication Critical patent/KR20130100384A/ko
Application granted granted Critical
Publication of KR101478598B1 publication Critical patent/KR101478598B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

피검안의 망막층을 해석하는 화상처리장치는, 피검안의 안저화상으로부터, 주변에 비해 높은 신호를 가지는 영역인 백반영역과, 주변에 비해 낮은 신호를 가지는 영역이며, 또한, 선형구조를 가지는 혈관영역 이외의 영역인 출혈영역 중, 적어도 하나의 영역을 병변부로서 추출하는 추출수단과; 상기 피검안의 단층상으로부터 상기 병변부에 대응하는 영역을 특정하는 특정수단; 및 상기 변병부에 대응하는 영역에서, 상기 단층상에 있어서 복수의 층 중, 상기 병변부에 대응하는 소정의 위치보다도 깊은 위치의 층을 보간하는 보간수단을 구비한다.

Description

화상처리장치, 그 제어방법 및 컴퓨터 프로그램{IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND COMPUTER PROGRAM}
본 발명은, 화상처리장치, 그 제어 방법, 및 컴퓨터 프로그램에 관한 것이다.
생활 습관병 및 실명의 원인의 상위를 차지하는 각종 질병의 조기진단을 목적으로서, 눈의 검사가 널리 행해지고 있다. 의료 검진 등에 있어서는 눈부(eye portion) 전체에 있어서의 질병을 찾는 것이 요구되기 때문에, 안부의 넓은 범위에 걸친 화상(이하, 안저 화상이라고 부른다)을 이용한 검사가 필수가 된다. 안저 화상은 안저 카메라나 SLO(Scanning Laser Ophthalmoscope)를 이용해서 촬상된다. 한편, OCT(Optical Coherence Tomography) 등의 안부의 단층상 촬상장치(tomography apparatus)는, 망막층 내부의 상태를 3차원적으로 관찰하는 것이 가능하기 때문에, 질병의 진단을 보다 정확하게 행하는데 유용하다고 기대되고 있다.
도 5a는, OCT로 촬영한 망막의 황반부 단층상(macula tomogram)의 모식도를 나타낸다. OCT에 의한 안부의 단층상(斷層像)은 3차원적으로 취득될 수 있다. 도 5a에 있어서, 참조 심볼 T1∼Tn은 황반부의 이차원 단면상(B-스캔 화상)이다. 그리고, 참조번호 1은 내경계막, 참조번호 2는 신경 섬유층과 그 하부의 층과의 경계(이하, 신경 섬유층 경계(2)이라고 부른다), 참조번호 2'은 신경 섬유층을 나타낸다. 참조번호 3은 내망상층과 그 하부의 층과의 경계(이하, 내망상층 경계(3)이라고 부른다), 참조번호 4는 외망상층과 그 하부의 층과의 경계(이하, 외망상층 경계(4)이라고 부른다)를 나타낸다. 참조번호 5는 시세포 내절 외절 접합부, 참조번호 6은 망막 색소 상피층 경계를 나타낸다. 예를 들면, 이러한 단층상이 입력되었을 경우에, 신경 섬유층 2'의 두께(도 5a의 T1)를 계측할 수 있으면, 녹내장 등의 질병의 진행도나 치료 후의 회복 상태를 정량적으로 진단하는 것이 가능해진다. 이들 층의 두께를 정량적으로 계측하기 위해서, 컴퓨터를 사용해서 단층상으로부터 망막의 각 층의 경계를 검출하고, 각 층의 두께를 계측하는 기술이 개시되어 있다(일본국 공개특허공보 특개2008-073099호 참조).
한편, OCT 단층상에서는, 측정광이 물체에 의해 강하게 반사되거나 흡수되거나 하면, 물체의 후방에 있어서, 신호의 쇠퇴 혹은 결손에 의한 위상(僞像)이 종종 발생할 것이다. 여기에서 물체란, 혈관(혈액)과 백반 등을 포함한다. 이에 대하여, 안저의 표면상으로부터 혈관영역을 추출하고, 그 혈관영역을 OCT 단층상 위에 역투영하며, 역투영 영역 근방의 층 경계를 보간함으로써, 혈관에 의한 위상 영역 내의 층 경계를 추정하는 기술이 제안되어 있다(일본국 공개특허공보 특개2007-325831호 참조).
한편, OCT를 이용한 검사에 있어서는, 녹내장이나 가령 황반 변성 등 복수종의 안(眼)질환을 검출할 수 있는 것이 요구된다. 그리고, 질병의 유무와 질병의 종류에 따라, 단층상에 있어서 주목해야 할 층이 다르기 때문에, 망막의 상태에 따른 층을 검출하는 것이 기대된다.
[해결하고자 하는 과제]
일본국 공개특허공보 특개2008-073099호 및 일본국 공개특허공보 특개2007-325831호에 기재된 방법은, 복수종의 질병 검출에 대응하기 위해서, 조작자가 미리 질병을 추정하고, 그 질병에 적합한 해석 모드에서 계측해야 한다. 적절한 처리 결과를 취득할 수 없는 경우에는, 조작자가 해석 모드를 또 다른 질병에 적합한 해석 모드로 변경하거나, 화상처리의 파라미터를 변경해서 다시 계측해야 하므로, 처리가 번잡하다. 그 때문에, 대량의 데이터를 해석할 경우에는, 이용자에게 엄청난 부담이 가해진다. 또한, 상기의 일본국 공개특허공보 특개2008-073099호에 기재된 방법은, 위상(僞像)이 발생하는 영역의 층 경계를 산출하는 방법에 관해서는 개시되어 있지 않다.
상기의 일본국 공개특허공보 특개2007-325831호에 기재된 방법은, OCT 단층상에 역투영된 모든 영역을 위상 영역(혈관 바로 아래 영역)으로서 취급하고, 그 영역에서는 단층상을 검출하지 않고, 층경계를 보간해서 추정한다. 그 때문에, 단층상 위의 각 역투영 영역에서 신호의 감쇠가 발생하지 않는 경우에, 층경계의 결과가 부정확해져 버린다. 또한, 혈관에 의한 신호의 감쇠에만 대응하고, 백반 및 출혈 등의 병변부에 의한 신호의 감쇠에는 대응하지 않는다.
따라서, 본 발명은, 피검안의 망막의 상태에 따라 검출해야 할 층의 종류를 선택하고, 망막층의 해부학적 특징에 의거하여 층을 검출함으로써, 감쇠 영역뿐만 아니라 층 경계도 고정밀하게 검출할 수 있다.
[과제의 해결 수단]
본 발명의 실시예의 일 측면은, 피검안의 망막층을 해석하는 화상처리장치에 관한 것으로, 이 화상처리장치는 피검안의 안저화상으로부터, 주변에 비해 높은 신호를 가지는 영역인 백반영역과, 주변에 비해 낮은 신호를 가지는 영역이며, 또한, 선형구조를 가지는 혈관영역 이외의 영역인 출혈영역 중, 적어도 하나의 영역을 병변부로서 추출하는 추출수단과; 상기 피검안의 단층상으로부터 상기 병변부에 대응하는 영역을 특정하는 특정수단; 및 상기 변병부에 대응하는 영역에서, 상기 단층상에 있어서 복수의 층 중, 상기 병변부에 대응하는 소정의 위치보다도 깊은 위치의 층을 보간하는 보간수단을 구비한다.
본 발명의 실시예의 또 다른 측면은, 피검안의 망막층을 해석하는 화상처리장치에 관한 것으로, 이 화상처리장치는 피검안의 안저화상으로부터, 주변에 비해 높은 신호를 가지는 영역인 백반영역과, 주변에 비해 낮은 신호를 가지는 영역이며, 또한, 선형구조를 가지는 혈관영역 이외의 영역인 출혈영역 중, 적어도 하나의 영역을 병변부로서 추출하는 추출수단과; 상기 피검안의 단층상으로부터 상기 병변부에 대응하는 영역을 특정하는 특정수단; 및 상기 변병부에 대응하는 영역에서, 상기 단층상에 있어서 복수의 층 중, 상기 병변부에 대응하는 소정의 위치보다도 깊은 위치의 층을 보간하는 보간수단을 구비한다.
본 발명의 그 외의 특징을 첨부도면을 참조하면서 이하의 예시적인 실시예의 설명으로부터 밝혀질 것이다.
도 1은 실시예에 따른 화상처리 시스템의 기능 구성의 일례를 도시한 블럭도.
도 2는 실시예에 따른 화상 처리부(200)의 기능 구성을 도시한 블럭도.
도 3은 실시예에 따른 망막의 층구조 해석 처리 순서를 나타내는 플로차트.
도 4a 및 4b는 층구조 해석 처리 순서에 있어서의 정상 상태 및 이상 상태의 처리를 나타내는 플로차트.
도 5a 및 5b는 실시예에 따른 단층상과 투영상의 일례를 나타내는 개략도.
도 6은 실시예에 따른 층구조 강조 화상을 생성하기 위한 고유값과 고유벡터의 관계를 도시한 도면.
도 7a 내지 7d는 실시예에 따른 다중 해상도의 층구조 강조 화상의 생성을 설명하기 위한 도면.
도 8a 및 8b는 실시예에 따른 단층상의 특징과 층구조 강조 화상의 특징을 설명하기 위한 도면.
도 9는 실시예에 따른 단층상에 있어서의 마스크 영역을 설명하기 위한 도면.
도 10a 및 10b는 실시예에 따른 단층상의 특징과 마스크 영역을 설명하기 위한 도면.
도 11은 제2 실시예에 따른 화상처리장치(11)의 기능 구성을 도시한 블럭도.
도 12는 제2 실시예에 따른 망막의 층구조 해석 처리 순서를 나타내는 플로차트.
도 13은 실시예에 따른 화상처리장치의 기본구성을 나타내는 블럭도.
이하, 본 발명을 실시하기 위한 최선의 형태에 대해서, 도면을 사용해서 상세하게 설명한다. 다만, 발명의 범위는 도면에 나타내는 예에 한정되는 것은 아니다.
본 발명의 실시예의 하나의 측면에 있어서, 화상처리장치(10)는, 피검안의 단층상과 안저 화상을 취득하고, 단층상과 안저 화상과의 위치맞춤을 행하기 위해서, 단층상으로부터 투영상(projection image)을 생성한다. 그리고, 화상처리장치(10)는 안저 화상과 투영상으로부터 질병의 유무나 종류를 판정하기 위한 해부학적 정보를 검출하고, 그 검출 결과에 근거해서 계측 대상으로 하는 층을 판정하고, 소정의 층의 해석 처리를 실행한다. 또한, 본 실시예에서는, 황반부가 나타나는 단층상에 관하여 설명한다. 다만, 촬영 부위는 황반부에 한정되는 것이 아니고, 시신경 유두에 같은 처리를 적용해도 된다. 또한, 황반부와 시신경 유두가 동시에 나타나는 화상에 대해서도 처리를 적용할 수 있다. 또한, 취득하는 3차원(3D)의 단층상 전체에 대하여 해석 처리를 적용하는 경우에 관하여 설명한다. 그러나, 또 다른 구성에 있어서는, 3차원의 단층상으로부터 주목해야 할 이차원의 단층상(이하, 이차원 단층상을 단면상이라고 부른다)을 선택하고, 선택한 단면상에 대하여 처리를 적용해도 된다. 예를 들면, 미리 정한 안저의 특정 부위(예를 들면, 중심와(central fovea))를 포함하는 단면상에 대하여 처리를 적용해도 된다. 이 경우, 검출되는 층의 경계와 정상구조, 정상 상태의 데이터 등은, 해당 단면상에 있어서의 이차원의 데이터가 된다.
도 1에 나타내는 화상처리장치(10)는, 단층상 촬상장치(20), 안저 화상 촬상장치(30) 및 데이터 서버(50)에, 이더넷(등록상표) 등의 로컬 에어리어 네트워크(local area network;LAN)(40)를 통해서 접속되어, 화상처리 시스템을 구축하고 있다. 또한, 이들 기기에 화상처리장치(10)가, 광파이버, USB나 IEEE1394 등의 인터페이스를 통해서 접속되어도 된다. 또한, 이들 기기에 화상처리장치(10)가, 인터넷 등의 외부 네트워크를 통해서 접속되어도 된다.
단층상 촬상장치(20)는, 안부의 단층상을 취득하고, 예를 들면 타임 도메인 방식의 OCT나 푸리에 도메인 방식의 OCT로 이루어진다. 안저 화상 촬상장치(30)는, 안부의 안저 화상을 촬상하고, 예를 들면, 안저 카메라나 SLO로 구성된다. 데이터 서버(50)는, 피검안의 단층상, 화상 특징량 등을 보존한다. 데이터 서버(50)는, 단층상 촬상장치(20)로부터 출력되는 피검안의 단층상과, 화상처리장치(10)로부터 출력되는 해석 결과를 보존한다. 또한, 데이터 서버(50)는 화상처리장치(10)로부터의 요구에 따라, 피검안에 관한 과거의 데이터를 화상처리장치(10)에 송신한다.
다음에, 화상처리장치(10)를 구성하는 각 기능 블록에 관하여 설명한다. 화상 처리부(200)는, 안저 화상으로부터 병변부와 혈관의 특징량을 검출해서 안저의 질병을 판정하고, 그 판정 결과에 따라, 소정의 층을 해석하는 처리를 단층상에 대하여 실행한다. FTBE(피검안) 정보 취득부(210)는, 피검안을 식별하는 정보를 외부에서 취득한다. 화상 취득부(220)는, 단층상 취득부(221)와, 안저 화상 취득부(222)로 구성된다. 화상 취득부(220)는, 단층상 촬상장치(20)로부터 송신되는 단층상과, 안저 화상 촬상장치(30)로부터 송신되는 안저 화상을 취득한다. 지시 취득부(230)는, 조작자가 입력하는 처리 지시를 취득한다. 기억부(240)는, ETBE 정보 취득부(210)가 취득한 피검안에 관한 정보와, 화상 취득부(220)가 취득한 해당 피검안의 단층상과 안저 화상을 일시적으로 보유한다. 표시부(270)는, 화상 취득부(220)가 취득한 단층상과, 화상 처리부(200)에 의한 단층상의 처리한 결과를 모니터에 표시한다. 결과 출력부(280)는, 검사 일시와, 피검안을 식별하는 정보와, 피검안의 단층상과, 화상 처리부(200)에 의해 취득한 해석 결과를 서로 관련지어서, 보존해야 할 정보로서 데이터 서버(50)에 송신한다.
다음에, 도 2를 참조하여, 화상 처리부(200)를 구성하는 각 기능 블록에 관하여 설명한다. 투영상 생성부(251)는, 안저 화상과 단층상과의 위치맞춤을 행하기 위해서, 단층상을 심도방향으로 적산해서 투영상을 생성한다. 영역 특정부(252)는, 특징 추출부(257)의 추출 결과에 의거하여 단층상에 있어서의 병변부와 혈관의 영역을 특정한다. 층구조 강조부(253)는, 망막이 층구조를 포함한다는 것을 나타내는 해부학적 특징에 의거하여 단층상으로부터 망막의 층구조를 강조한다. 층구조 검출부(254)는, 망막층의 두께, 체적 등을 정량화하기 위해서, 단층상으로부터 소정의 층을 검출한다. 층구조 변경부(255)는, 단층상의 영역 내에 있어서, 신호 강도의 감쇠 등이 발생하는 위치에서, 층구조 검출부(254)가 검출한 층의 검출 결과를 변경한다. 정량화부(256)는, 층구조 검출부(254)의 결과에 근거해, 층 두께, 면적 및 체적을 산출한다. 특징 추출부(257)는, 투영상 생성부(251)가 생성한 투영상과 안저 화상 촬상장치(30)가 촬영한 안저 화상으로부터, 혈관 및 병변부를 검출한다. 병변부는, 백반, 드루즈(druse), 출혈 등을 포함한다. 위치맞춤부(258)는, 특징 추출부(257)가 추출한 혈관특징 및 특징부위에 근거해, 투영상과 안저 화상과의 위치맞춤을 행한다. 제1의 판정부(259)는, 특징 추출부(257)가 추출한 특징에 의거하여 층구조 검출부(254)가 검출하는 층의 종류를 판정한다. 또한, 각 기능 블록이 실행하는 구체적인 처리의 내용은, 후에 자세하게 설명한다.
다음에, 도 3의 플로차트를 참조하여, 화상처리장치(10)의 처리 순서를 설명한다. 처리 순서는, 피검안의 단층상과 안저 화상을 취득하고, 단층상과 안저 화상과의 위치맞춤을 행하기 위해서, 단층상으로부터 투영상을 생성한다. 그리고, 처리 순서는 안저 화상과 투영상으로부터 질병의 유무와 종류를 판정하기 위해 필요한 해부학적 정보를 검출하고, 그 판정결과에 의거하여 계측 대상으로 하는 층을 판정하고, 소정의 층의 해석 처리를 실행한다.
스텝 S301에 있어서, ETBE 정보 취득부(210)는, 피검안을 식별하는 정보로서 피험자 식별 번호를 외부에서 취득한다. 그리고, ETBE 정보 취득부(210)는 피험자 식별 번호에 의거하여 데이터 서버(50)가 보유하고 있는 해당 피검안에 관한 정보를 취득한다. 해당 피검안에 관한 정보는, 예를 들면, 환자의 성명, 연령, 성별, 검사 대상이 우안인지 좌안인지 등을 포함한다. 한층 더, 다른 검사 정보로서, 시력, 축 길이, 안압 등의 측정 데이터가 이용가능한 경우에는, ETBE 정보 취득부(210)가 그 측정 데이터를 취득해도 된다. 그리고, ETBE 정보 취득부(210)는, 취득한 정보를 기억부(240)에 송신한다.
스텝 S302에 있어서, 단층상 취득부(221)는, 단층상 촬상장치(20)로부터 송신되는 단층상을 취득하고, 안저 화상 취득부(222)는, 안저 화상 촬상장치(30)로부터 송신되는 안저 화상을 취득한다. 그리고, 이들 취득부 221 및 222는 취득한 정보를 기억부(240)에 송신한다. 또한, 이하의 설명에서는, 화상 취득부(220)가 취득한 단층상과 안저 화상이, ETBE 정보 취득부(210)에 의해 식별되는 피검안의 것인 것을 전제로 한다. 또한, 단층상이 단층상에 관한 각종 파라미터를 정보로서 포함하고, 안저 화상이 안저 화상의 촬상에 관한 각종 파라미터를 정보로서 포함하고 있는 것으로 한다.
스텝 S303에 있어서, 투영상 생성부(251)는, 안저 화상과 단층상과의 위치맞춤을 행하기 위해서, 각 단면상(예를 들면, B-스캔 화상)을 심도방향으로 적산해서 투영상을 생성한다. 이하, 투영상 생성부(251)의 처리에 대해서 도 5a 및 5b을 참조해서 설명한다. 도 5a 및 5b는, 단면상과 투영상의 일례를 도시한 도면이다. 도 5a은, 단면상 T1∼Tn이며, 도 5b은 단면상 T1∼Tn에 근거해 생성한 투영상 P이다. 심도방향은, 도 5a의 z방향이며, 심도방향으로 화상을 적산한다는 것은, 도 5a의 z방향의 각 심도위치에 있어서의 광강도(휘도값)를 합계하는 처리다. 투영상 P은, 각 심도위치에 있어서의 휘도값을 단순 가산한 값으로 정의되어도 되고, 또는 그 합을 가산의 수로 나눈 평균값으로 정의되어도 된다. 투영상 P을 취득하기 위해서, 심도방향으로 전체 화소의 휘도값을 가산할 필요가 없지만, 임의의 범위 내에서만의 화소의 휘도값을 가산해도 된다. 예를 들면, 사전에 망막층 전체를 검출해도 되고, 망막층만의 휘도값을 가산해도 된다. 또한, 망막층 내의 임의의 층만의 휘도값을 가산해도 된다. 투영상 생성부(251)는, 단층상 촬상장치(20)에 의해 촬영된 n개의 단면상 T1∼Tn을 심도방향으로 적산하는 처리를 행하여, 투영상 P을 생성한다. 도 5b의 투영상 P은, 적산값이 클수록 휘도값이 높고, 적산값이 작을수록 휘도값이 낮은 것을 나타낸다. 도 5b의 투영상 P 내의 곡선 V는 혈관을 나타내고, 화상중심의 원 M은 황반부를 나타낸다. 단층상 촬상장치(20)는, 저코히렌스 광원이 조사한 광의 반사광을, 수광소자를 이용해서 수광함으로써 안부의 단면상 T1∼Tn를 촬상한다. 혈관이 존재하는 위치에서는, 혈관보다 깊은 위치에 있어서의 광의 반사광 강도가 약해지기 쉽고, Z방향으로 적산한 값이 혈관이 없는 위치보다 작다. 그 때문에, 투영상 P을 생성함으로써, 혈관과 그 이외의 부분 간의 콘트라스트를 갖는 화상을 얻을 수 있다.
스텝 S304에 있어서, 특징 추출부(257)는, 투영상 생성부(251)가 생성한 투영상과 안저 화상 촬상장치(30)가 촬영한 안저 화상으로부터, 혈관 및 병변부를 나타내는 특징량을 추출한다. 병변부는, 백반, 드루즈, 출혈 등을 포함한다. OCT 단층상에 있어서, 이들 혈관과 병변부 등의 흡수 물질의 후방에서는 신호의 쇠퇴 혹은 결손에 의한 위상(僞像)이 종종 발생한다. 그 때문에, 안저 화상과 투영상으로부터 이들을 잘 나타내는 특징량을 추출하고, 층구조를 결정할 때에, 이 영역을 마스크 영역으로서 사용한다. 또한, 이들의 특징량은, 다음 스텝 S305에 있어서, 안저 화상과 투영상과의 위치맞춤을 행할 때의 특징으로서 사용할 수도 있다. 혈관은 얇은 선형 구조를 가지고 있기 때문에, 선형 구조를 강조하는 필터를 사용해서 혈관을 추출한다. 선형구조를 강조하는 필터로서는, 선분을 구조요소라고 했을 때에 구조요소 내에서의 화상 농도값의 평균값과, 구조요소를 둘러싸는 국소 영역 내에서의 평균값의 차를 계산하는 필터를 이용한다. 다만, 본 발명은 이에 한정하지 않고, 소벨(Sobel) 필터와 같은 차분 필터를 사용해도 된다. 또한, 농도값 화상의 화소마다 헤센 행렬의 고유값을 계산하고, 결과적으로 취득한 2개의 고유값의 조합에 근거해서 선형의 영역을 추출해도 된다. 또, 단순하게 선분을 구조요소로 하는 탑햇 연산을 행해도 된다.
화상 특징으로서, 병변부인 백반 영역은, 안저 화상 내에 국소적으로 존재하고, 또 주변 영역보다 높은 휘도값을 갖는다. 따라서, 이러한 화상특징에 주목해서 백반추출을 행하는 것이 가능하다. 추출 방법으로서는 다양한 것이 생각된다. 예를 들면, 안저 화상의 R,G,B 성분 중의 한 개에 대하여 탑햇 연산을 적용하는 방법이 이용가능하다. 탑햇 연산은, 농담 화상에 대하여 모폴로지컬(morphological) 연산을 적용하여 얻은 출력 화상과 원화상과의 사이에서 화소마다 농도값 차분을 계산한다. 탑햇 연산 적용 후의 화상에 있어서, 백반에 포함되는 화소는 그 밖의 화소에 비해서 높은 신호를 갖기 때문에, 이 화상에 대하여 스레숄드 처리를 적용함으로써 백반 영역을 추출할 수 있다.
이상의 처리에 의해, 백반 영역을 잘 표현하는 특징량을 추출할 수 있다. 드루즈, 출혈 등도 마찬가지로, 해부학적 특징량으로서 추출할 수 있다. 안저 화상으로부터 취득한 해부학적 특징으로서, 드루즈는 흰 괴상의 화상 특징을 갖는다. 출혈 영역의 화상 특징으로서, 출혈 영역은 출혈하지 않는 영역보다도 R,G,B 각 성분에 있어서 보다 낮은 농도값을 갖고, 대량 출혈 영역은, 혈관 부분의 농도값보다도 상당히 낮은 농도값을 갖는다. 이렇게, 백반, 드루즈, 출혈 등의 병변부는, 투영상의 화소값에 주목해서 추출할 수 있다.
이들 혈관 및 병변부를 나타내는 특징량의 추출 방법은, 상기의 방법에 한정되는 것이 아니다. 또한, 이 방법은 하나의 방법에만 한정할 필요가 없고, 복수의 방법을 조합해도 된다. 병변부에 관해서는, 투영상 혹은 안저 화상의 어느 쪽 인가로부터 추출할 수 있으면 되고, 양쪽의 추출 결과를 조합함으로써 단층상에서의 병변 위치를 특정할 수 있다.
또한, 특징 추출부(257)는, 혈관 및 병변부뿐 아니라, 황반부, 시신경 유두 등을 추출해도 된다. 이들 황반부 및 시신경 유두 위치 등을, 위치맞춤부(258)가, 투영상과 안저 화상 간의 위치맞춤시에 특징량으로서 사용해도 되고, 혹은 병변부의 오류 검출을 저감하기 위한 특징량으로서 사용해도 된다. 또한, 안저 화상으로부터 층구조 검출시에 이용하기 위한 유효한 특징량(혈관 및 병변부)을 추출할 수 없을 경우에는, 다음 스텝 S305의 처리를 실행하지 않고, 스텝 S306의 처리를 실행한다.
스텝 S305에 있어서, 위치맞춤부(258)는, 투영상과 안저 화상과의 위치맞춤을 행한다. 안저 화상을 기준화상으로서 정의하면, 투영상의 스케일(Sx, Sy), 위치 좌표(x, y), 회전(rot) 파라미터를 산출하는 것에 의해, 투영상과 안저 화상 간의 위치맞춤을 취득할 수 있다. 화상끼리의 위치를 맞추기 위해서, 해부학적 특징을 갖는 영역을 추출한다. 대표적인 해부학적 특징의 하나로서, 본 발명은 혈관에 주목한다. 투영상과 안저 화상으로부터 각각 추출한 혈관을 사용하여, 화상 간의 위치맞춤을 행한다. 위치맞춤을 행하는 때는, 2개의 화상 간의 유사도를 나타내는 평가값을 사전에 정의하고, 가장 좋은 평가값을 취득하도록 화상의 변형을 행한다. 평가값으로서는, 상기 처리에 의해 취득한 투영상 혈관영역과 안저 화상 혈관영역의 중첩의 정도를 나타내는 값과, 혈관의 분기부 등 특징적인 기하형상을 갖는 영역에 주목했을 때의 대응 랜드마크 간의 거리 등을 이용할 수 있다. 본 실시예에 있어서는, 해부학적 특징을 갖는 영역으로서 혈관을 이용했다. 또한, 시신경 유두영역과 같은 그 밖의 해부학적 특징이나, 질환에 의해 생긴 백반이나 출혈 영역을 이용해도 된다. 한층 더, 혈관 등의 해부학적 특징에만 주목하는 것이 아니고, 화상 전체로부터 계산되는 평가값, 예를 들면 휘도값의 평균 2승 오차, 상관계수, 상호 정보량 등도 이용가능하다.
스텝 S306에 있어서, 영역 특정부(252)는, 특징 추출부(257)에 의해 추출된 혈관 및 병변부를 OCT 단층상 위에 역투영한다. 이에 따라, 안저 화상과 투영상으로부터 얻은 혈관 및 병변부를 단층상에 마스크 영역으로서 설정할 수 있다. 스텝 S307에 있어서, 제1의 판정부(259)는, 특징 추출부(257)에 의해 추출된 특징량을 사용하여, 병변부가 검출되는지 아닌지와 검출된 병변부의 종류를 판정하고, 층구조 검출부(254)가 검출하는 층의 종류를 선택한다. 병변부의 유무와 종류를 판정하기 위해서, 서포트 벡터 머신(Support Vector Machine) 등의 식별기나, AdaBoost 등에 의해 구축되는 식별기의 앙상블을 사용한다. 예를 들면, 백반 영역을 추출할 경우, 안저 화상의 R,G,B 각 성분의 농도값이나, R,G,B의 각 성분에서 휘도값의 콘트라스트가 높은 영역을 강조가능한 다양한 화상 필터의 출력 결과를 특징량으로서 사용한다. 그리고, 식별기나 그 앙상블을 사용해서 각 화소가 백반에 속하는지의 여부의 판정을 행한다. 한층 더, 백반에 속한다고 판정된 전체 화소를 클러스터링(clustering)하여, 각 클러스터가 백반영역에 속하는지를 다시 식별한다. 이때, 특징량으로서는, 각 클러스터 내의 휘도값의 평균이나 분산, 혹은 각 클러스터 내부 및 외부의 영역 간의 휘도값 콘트라스트 등을 사용한다.
제1 판정부(259)의 판정 결과적으로서, 병변부가 검출되지 않으면, 층구조 검출부(254)는, 내경계막(1), 신경 섬유층 경계(2), 내망상층 경계(3), 외망상층 경계(4), 시세포 내절 외절 접합부(5), 및 망막 색소 상피층 경계(6)를 검출한다. 병변부가 검출된 경우에는, 층구조 검출부(254)는 내경계막(1) 및 망막 색소 상피층 경계(6)를 검출한다. 한층 더, 병변부로서 드루즈가 검출된 경우에는, 망막은 가령(加齡) 황반 변성증이기 때문에, 망막 색소 상피층 경계(6)는 요철 형상이 된다. 그 때문에, 망막 색소 상피층 경계(6)의 정상 구조를, 망막 색소 상피층 경계(6)의 검출과 동시에 추정한다. 제1의 판정부(259)가, 안저의 상태가 정상이라고 판정한 경우에는, 스텝 S308로 처리를 진행시키고, 안저의 상태가 이상하다고 판정한 경우에는, 스텝 S309로 처리를 진행시킨다.
스텝 S308에 있어서, 망막의 상태가 정상일 때의 해석 처리를 실행한다. 본 스텝의 처리에 대해서는, 도 4a에 나타내는 플로차트를 사용해서 후에 자세하게 설명한다. 스텝 S309에 있어서, 망막의 상태가 이상할 때의 해석 처리를 실행한다. 본 스텝의 처리에 대해서는, 도 4b에 나타내는 플로차트를 사용해서 후에 자세하게 설명한다. 스텝 S310에 있어서, 지시 취득부(230)는, 피검안에 관한 이번의 처리의 결과를, 데이터 서버(50)에 보존할 것인지 아닌지의 지시를 외부에서 취득한다. 이 지시는, (도면에 나타내지 않은) 유저 인터페이스를 사용하여, 조작자에 의해 입력된다. 조작자가 결과의 보존을 지시한 경우에는 스텝 S311로 처리를 진행시키고, 보존을 지시하지 않은 경우에는, 스텝 312로 처리를 진행시킨다.
스텝 S311에 있어서, 결과 출력부(280)는, 검사 일시와, 피검안을 식별하는 정보와, 피검안의 단층상과 안저 화상과, 화상 처리부(200)에 의해 취득한 해석 결과를 서로 관련지어서, 보존해야 할 정보로서 데이터 서버(50)에 송신한다. 스텝 S312에 있어서, 지시 취득부(230)는, 화상처리장치(10)에 의한 단층상의 해석 처리를 종료할 것인지 아닌지의 지시를 외부에서 취득한다. 이 지시는, (도면에 나타내지 않은) 유저 인터페이스를 사용하여, 조작자에 의해 입력된다. 지시 취득부(230)가, 처리를 종료하는 지시를 취득했을 경우에는, 화상처리장치(10)는 그 처리를 종료한다. 한편, 지시 취득부(230)가 처리를 계속하는 지시를 취득했을 경우에는, 스텝 S301로 처리가 되돌아가서, 다음 피검안에 대한 처리(혹은, 현재의 피검안에 대한 재처리)를 실행한다. 상술한 것처럼, 화상처리장치(10)의 처리가 행해진다.
다음에, 도 4a을 참조하여, 스텝 S308의 처리 내용의 상세를 설명한다. 스텝 S410에 있어서, 층구조 강조부(253)는, 단층상으로부터 망막의 층구조를 강조한다. 망막의 층구조를 강조하기 위해서, 헤센 행렬의 고유값에 근거하는 층구조 강조 필터를 사용한다. 이것은, 헤센 행렬의 3개의 고유값(λ1, λ2, λ3)의 관계에 의거하여 3차원 농담 분포의 2차 국소 구조를 강조할 수 있다. 헤센 행렬은 식(1)로 주어진다.
Figure 112013076925737-pat00001
헤센 행렬은, 다변수 함수의 2차 편도함수(second partial derivatives) 전체가 만든 정방 행렬이다. I는 화상의 농담값이다. 도 6은, 헤센 행렬의 고유값과 고유벡터(e1, e2, e3) 간의 관계를 나타낸다. 식(2)에 의해 헤센 행렬의 고유값의 관계를 나타낸다.
Figure 112013076925737-pat00002
식(3)에 의해 층구조를 강조하기 위한 고유값의 조건식을 나타낸다.
Figure 112013076925737-pat00003
이들 식으로 산출한 3개의 고유값으로부터, 이하의 식(4)을 산출함으로써 망막의 층구조를 강조할 수 있다.
Figure 112013076925737-pat00004
여기에서, 식(5)에 있어서의 ω(λs;λt)은 웨이팅(weighting) 함수이다.
Figure 112013076925737-pat00005
식(5)에 있어서의
Figure 112013076925737-pat00006
와 α은 웨이트(weight)다.
또한, 다양한 두께의 망막층에 대응하기 위해서, 다중해상도에 의한 층구조 강조 필터를 사용하는 것이 가능하다. 그 때문에, 복수의 해상도 σf의 가우스 함수G(x;σf)에 의한 평활화 화상에 대한 헤센 행렬의 고유값을 해석하면 된다. 여기에서, x은 (x, y, z)라는 점에 유념한다. 도 7a 및 7b는 해상도 σf가 다른 가우스 함수를 나타내고, 도 7c 및 7d는, 이들 함수에 의해 강조되는 층의 두께의 화상을 나타낸다. 도 7c는 도 7a에 나타낸 가우스 함수에 의해 강조되는 층의 두께를 나타내고, 도 7d은 도 7b에 나타낸 가우스 함수에 의해 강조되는 층의 두께를 나타낸다. 도 7a의 해상도는 σa이고, 도 7b의 해상도는 σb이며, 두 개의 해상도의 관계는 식(6)으로 나타낸 것과 같다.
Figure 112013076925737-pat00007
다음에 가우스 함수에 의한 평활화 화상의 식을 식(7)으로 나타낸다.
Figure 112013076925737-pat00008
식(7)은, 헤센 행렬에 있어서의 1개의 성분이며, 다른 성분도 식(7)과 같이 산출할 수 있다. 식(7)에 있어서, 복수의 해상도 σf를 설정하고, 각각의 해상도에서 식(1) 및 식(4)을 푸는 것에 의해, 각각의 해상도에 대응한 두께의 망막층을 강조할 수 있다. 복수의 해상도 σf의 결과를 식(8)에 의해 통합화한다.
Figure 112013076925737-pat00009
다음에, 1개의 출력은, 다양한 두께의 망막층에 대응할 수 있다. 식(8)에 있어서,
Figure 112013076925737-pat00010
을 곱하는 이유는 정규화 처리를 하기 위해서다. i는 1∼n이며, 설정한 해상도의 수 n에 대응한다.
본 실시예는 식(8)을 사용해서 복수의 해상도 σf를 통합화하는 처리에 대해서 설명했다. 그렇지만, 반드시 해상도를 통합화할 필요는 없다. 예를 들면, 각 층의 두께에 알맞은 해상도로 처리한 결과를 각각 유지해 두고, 층마다 그들의 결과를 선택적으로 이용해도 된다. 예를 들면, 단층상의 화상 사이즈를 256＊240＊256이라고 했을 경우, 내경계막(1) 등을 산출할 때 필요한 해상도는 3이상이며, 내망상층 경계(3) 등을 산출할 때 필요한 해상도는 1∼2이다. 내경계막(1)에 관해서는, 낮은 해상도를 이용해서 강조한 화상을 이용해도 된다. 그렇지만, 높은 해상도를 이용해서 망막층 전체를 강조한 화상을 사용함으로써, 망막으로부터 박리한 초자체(vitreum) 피질을 오검출할 확률을 저감할 수 있다.
상기의 설명에 있어서는, 식(4) 및 식(5)을 사용하여, 헤센 행렬의 고유값에 근거해서 망막의 층구조를 강조한다. 그렇지만, 본 발명은 고유값의 관계를 사용하여, 층구조를 강조하는 것이라면, 식(4) 및 식(5)에 한정되는 것은 아니다. 도 8a은, 단층상의 특징을 설명하기 위한 도면이다. 도 8a에 있어서, 참조번호 1은 내경계막, 참조번호 2는 신경 섬유층 경계, 참조번호 3은 내망상층 경계, 참조번호 4는 외망상층 경계, 참조번호 5는 시세포 내절 외절 접합부, 참조번호 6은 망막 색소 상피층 경계, 참조번호 7은 혈관영역, 참조번호 7'은 혈관 아래의 영역을 나타내고 있다. 도 8a의 좌측 도면은, 단면상 Ti을 나타내고, 우측 도면은 좌측 도면에서 혈관이 존재하는 위치에 있어서의 A-스캔에 따른 화상의 프로파일을 나타내고 있다. 즉, 우측 도면은 "A-스캔"으로 나타낸 라인 위의 좌표와 휘도값의 관계를 나타내고 있다. 도 8b는 도 8a에 있어서의 단층상에 대하여 층구조 강조 필터를 적용한 일례를 나타내고 있다. 도 8b의 좌측 도면은, 단면상 Ti의 층 구조 강조 화상을 나타내고, 우측 도면은 좌측 도면의 혈관이 있는 위치에 있어서의 A-스캔에 따른 필터 출력의 프로파일을 나타내고 있다. 층구조 강조 필터를 사용함으로써, 혈관에 의해 신호가 감쇠되어도, 신호 성분이 손실되지 않으면, 층구조를 강조할 수 있다. 한층 더, 층구조 이외의 노이즈 성분을 저감할 수 있다.
스텝 S420에 있어서, 우선, 층구조 검출부(254)는, 내경계막(1), 신경 섬유층 경계(2), 시세포 내절 외절 접합부(5), 및 망막 색소 상피층 경계(6)를 검출한다. 층구조 검출부(254)는, 층구조 강조부(253)가 생성한 층구조를 강조한 화상의 특징과, 단층상에 대하여 평활화 처리와 구배 검출 처리를 적용해서 얻은 화상의 구배 특징을 이용하여 각 층을 검출한다. 내경계막(1)에 관해서는, 초자체측으로부터 안저의 심도방향으로 층구조 강조 필터의 피크를 탐색하고, 스레숄드 이상의 최초의 피크 위치를 내경계막(1)과 신경 섬유층 경계(2)의 초기값으로서 검출한다. 그 초기값으로부터, 초자체측을 향해서 구배 특징을 탐색하고, 구배의 피크 위치를 내경계막(1)으로서 검출한다. 신경 섬유층 경계(2)에 관해서도, 마찬가지로, 그 초기값으로부터 안저의 심도방향으로 구배 특징을 탐색하고, 구배의 피크 위치를 신경 섬유층 경계(2)로서 검출한다. 망막 색소 상피층 경계(6)에 관해서는, 한층 더, 안저의 심도방향으로 층구조 강조 필터의 피크를 탐색하고, 스레숄드 이상의 최후의 피크 위치를 망막 색소 상피층 경계(6)의 초기값으로서 검출한다. 그 초기값으로부터, 안저의 심도방향으로 구배 특징을 탐색하고, 구배의 피크 위치를 망막 색소 상피층 경계(6)로서 검출한다. 시세포 내절 외절 접합부(5)에 관해서도, 마찬가지로, 그 초기값으로부터 초자체측을 향해서 구배 특징을 탐색하고, 구배의 피크 위치를 시세포 내절 외절 접합부(5)로서 검출한다.
다음에, 외망상층 경계(4)를 검출한다. 외망상층 경계(4)에 관해서는, 신경 섬유층 경계(2)와 시세포 내절 외절 접합부(5)의 사이에서, 식(9)을 충족시키는 층구조 강조 필터의 출력값이 후보점으로서 검출된다.
Figure 112013076925737-pat00011
이들 후보점 중에서, 안저의 심도방향으로의 위치에 가장 인접한 점을 외망상층 경계(4)로서 검출한다. 식(9)에 있어서, Th는 스레숄드이며, 0∼1의 범위이다. 본 실시예에 있어서, Th = 0.7이다. Ssheet(x)은, 화소(x, y, z)에 있어서의 층구조 강조 필터의 출력값이다. maxSsheet _ NFL _ ISOS _A은, 각 A-스캔에 있어서의, 신경 섬유층 경계(2)와 시세포 내절 외절 접합부(5)의 사이에서의, 층구조 강조 필터의 최대 출력값이다. 외망상층 경계(4)의 층구조 강조 필터의 출력값은, 내망상층 경계(3)의 것보다 커지는 경향이 있지만, 이들 출력값은 매우 작은 차이를 갖는다. 그 때문에, 공간적인 위치 정보로서, 외망상층 경계(4)가 내망상층 경계(3)의 심도방향측으로 위치된다는 것을 나타내는 해부학적 특징을 사용함으로써 오검출을 저감할 수 있다. 내망상층 경계(3)에 관해서는, 신경 섬유층 경계(2)와 외망상층 경계(4)의 사이에 위치하는 층구조 강조 필터의 피크를 탐색하고, 그 위치를 초기값으로서 검출한다. 그리고, 그 초기값으로부터 안저의 심도방향으로 구배 특징을 탐색하고, 구배의 피크 위치를 내망상층 경계(3)로서 검출한다.
각 층에 있어서 검출된 점 군은, 다항식 함수와 M추정 등에 의해 이상치(異常値) 제거 처리를 행한다. 또는, 인접하는 검출 점 사이의 각도를 계산하고, 스레숄드 이상의 각도가 되는 점을 제거하는 등의 이상치 제거 처리를 행한다. 제거한 점에 대해서는 보간 처리를 행함으로써, 매끄러운층을 검출한다. 층구조 강조 필터의 출력 결과를 이용한 예를 설명했다. 그러나, 반드시 층구조 강조 필터의 결과를 사용할 필요는 없고, 내경계막(1), 신경 섬유층 경계(2) 등을, 스레숄드 처리, 구배 검출, 영역 확장법 등에 의해 검출해도 된다. 정상인 눈일 경우, 내경계막(1), 신경 섬유층 경계(2), 내망상층 경계(3), 외망상층 경계(4), 시세포 내절 외절 접합부(5), 및 망막 색소 상피층 경계(6)를 검출하는 처리에 대해서 설명했다. 그러나, 상술한 층뿐 아니라, 신경절 세포층과 내망상층의 경계, 외경계막 등을 검출해도 된다. 또는, 내경계막(1), 신경 섬유층 경계(2), 망막 색소 상피층 경계(6) 등, 층의 두께와 면적을 해석하는데 필요한 층만을 검출해도 된다.
스텝 S430에 있어서, 층구조 변경부(255)는, 특징 추출부(257)에 의한 혈관의 검출 결과를 사용하여, 층구조 검출부(254)에 의한 층의 검출 결과를 변경한다. 도 9는 도 8a에 있어서의 혈관 위치에 마스크를 한 화상을 나타낸다. 도 9에 있어서, 참조번호 9는 마스크 영역, 참조번호 9'는 파선으로 나타낸 마스크 영역 내에 있어서의 탐색 범위를 나타낸다. 이 마스크 영역(9)은, 특징 추출부(257)가 투영상과 안저 화상의 어느 한쪽, 혹은 양쪽으로부터 검출한 위치 혹은 혈관 위치를, 단층상 위에 역투영함으로써 취득된다. 층구조 변경부(255)는, 이 마스크 영역(9) 내에 있어서, 신경 섬유층 경계(2)의 검출 결과를 변경한다. 신경 섬유층 경계(2)는 혈관이 존재하면, 신경 섬유층과 혈관이 서로 겹쳐서 검출된다. 그 때문에, 이 영역 내에 있어서는, 층구조 강조 필터의 피크를 초기값으로서 갖도록 안저의 심도방향으로 구배 특징을 탐색하는 것으로, 신경 섬유층 경계(2)를 재검출할 경우에, 혈관을 오검출하지 않도록 탐색 범위를 한정한다. 탐색 범위는, 마스크 영역(9)에 인접하는 신경 섬유층 경계(2)의 위치부터 보간 처리를 행하는 것으로 한정된다. 보간 처리는, 선형 보간, 스플라인(spline) 보간, 혹은 n차 곡선에 의한 비선형 보간 등을 사용하면 된다. 이 경우에, 보간에 의해 산출된 위치로부터 몇 개의 화소 정도, 심도방향으로 마진을 갖는 영역에 의해 탐색 범위를 한정하는 것이 바람직하다. 탐색 범위 내에서 경계 검출을 행함으로써, 혈관을 오검출하지 않고, 신경 섬유층 경계(2)를 검출할 수 있다. 이 영역 내에 있어서는, 탐색 범위를 한정할 뿐만 아니라, 구배 검출의 스레숄드와 구배 검출 자체의 알고리즘을 변경해도 된다. 또는, 층구조 변경부(255)는, 이 마스크 영역 내에 있어서, 내경계막(1) 이외의 검출 결과를 변경해도 된다. 예를 들면, 마스크 영역 내의 점을 제거하고, 선형 보간이나 비선형 보간에 의하여 각 층을 보간하는 처리를 행해도 된다.
스텝 S440에 있어서, 정량화부(256)는, 층구조 검출부(254)가 검출한 층의 경계에 의거하여 층의 두께, 층의 면적, 층의 체적을 산출한다. 여기에서, 층의 두께 T1(신경 섬유층 2')은, x-z 평면 위의 각 좌표점에서, 내경계막(1)과 신경 섬유층 경계(2)의 z좌표 간의 차를 산출하는 것으로 계산할 수 있다. 또한, 각 단면상에 있어서의 신경 섬유층 2'의 면적은, 각각의 y좌표마다 x축 방향의 각 좌표점에서의 층 두께를 가산함으로써 계산할 수 있다. 또한, 신경 섬유층 2'의 체적은, 산출한 면적을 y축 방향으로 가산함으로써 계산할 수 있다. 이 경우에, 신경 섬유층 2'을 예시했고, 다른 층과 망막층 전체의 두께, 면적, 체적은 같은 방법으로 계산할 수 있다.
또한, 과거에 정량화한 층 두께, 면적, 체적 등이 이용 가능한 경우에는, 과거의 정량화 데이터와의 비교를 행하는 것도 가능하다. 이 경우의 과거의 정량화 데이터와의 비교 방법을 이하에 예시한다. 우선, 과거와 현재의 단층상의 위치맞춤을 행한다. 단층상의 위치맞춤에는, 강체 어파인(rigid affine) 변형이나, 비선형변형의 FFD(Free form deformation) 등의 공지의 방법을 사용할 수 있다. 과거에 촬영된 단층상과의 위치의 대응이 이미 결정되어 있으면, 임의의 영역의 층 두께, 면적 등과, 임의의 영역의 체적 등을 비교할 수 있다. 상기의 설명에 있어서는, 과거 화상과 위치맞춤을 하고나서 데이터를 비교한다. 그렇지만, 단층상 촬상장치(20)는 추미 기능을 포함하고, 단층 촬영시에 전회의 위치와 같은 위치에서 화상을 촬영할 수 있으면, 위치맞춤을 행할 필요가 없다. 또한, 단순하게 B-스캔 화상의 슬라이스 번호 간의 비교나 3D 화상의 비교를 행해도 된다. 정량화부(256)는, 상기의 수치 데이터의 적어도 하나를 산출하면 되고, 정량화하는 데이터를 임의로 설정할 수 있다. 만약, 데이터를 하나도 산출할 수 없으면, 다음 스텝 S450에 있어서, 정량화할 수 없는 메시지를 표시부(270)로 표시해도 된다.
스텝 S450에 있어서, 표시부(270)는, 단층상 및 안저 화상과, 단층상의 층과 층의 경계의 검출 결과와, 단층상의 층에 관해서 정량화한 결과를 표시한다. 여기에서, 과거의 데이터가 이용가능한 경우에, 표시부(270)는 과거 데이터와 비교해서 현재의 데이터를 표시해도 된다. 스텝 S420 내지 스텝 S440에서 산출한 층과 정량화한 결과의 모두를 표시할 필요는 없고, 결과는 내부에서 유지되어도 된다. 다음에, 도 4b을 참조하여, 스텝 S309에서 망막의 상태가 비정상인 경우의 처리로 실행되는 처리의 순서를 설명한다. 스텝 S415은, 스텝 S410과 같기 때문에, 그 설명을 생략한다. 병변부로서 백반이 검출되었을 경우를 도 10a에 나타낸다. 도 10a은, 백반이 존재할 경우의 단층상의 특징을 설명하기 위한 도면이다. 도 10a에 있어서, 참조번호 1은 내경계막, 참조번호 2는 신경 섬유층 경계, 참조번호 6은 망막 색소 상피층 경계, 참조번호 8은 백반영역, 참조번호 8'는 백반 아래의 영역을 나타내고 있다. 도 10a의 좌측 도면은, 단면상 Tj를 나타내고, 우측 도면은 좌측 도면에서 백반이 있는 위치에 있어서의 A-스캔에 따른 화상의 프로파일을 나타내고 있다. 즉, 우측 도면은 "A-스캔"으로 나타낸 선 위의 좌표와 휘도값의 관계를 나타내고 있다.
스텝 S425에 있어서, 층구조 검출부(254)는, 내경계막(1) 및 망막 색소 상피층 경계(6)를 산출한다. 층의 검출 방법에 대해서는, 스텝 S420와 같기 때문에, 그 설명을 생략한다. 또한, 안저 질환이 존재할 경우에 있어서, 검출하는 층은, 내경계막(1) 및 망막 색소 상피층 경계(6)에 한정되는 것이 아니고, 유저의 지시에 의해, 임의의 층을 검출해도 된다.
스텝 S435에 있어서, 층구조 변경부(255)는, 특징 추출부(257)가 검출한 혈관과 백반(병변부)의 결과를 이용해서, 층구조 검출부(254)가 검출한 층의 결과를 변경한다. 도 10b는, 도 10a에 있어서의 백반과 혈관 위치에 마스크를 한 화상을 나타낸다. 도 10b에 있어서, 참조번호 9는 마스크 영역을 나타낸다. 이 마스크는, 특징 추출부(257)가 단층상과 안저 화상의 어느 한쪽, 혹은 양쪽으로부터 검출한 백반과 혈관의 위치를 단층상 위에 역투영하는 것으로 취득된다. 층구조 변경부(255)는, 이 마스크 영역 내에 있어서, 망막 색소 상피층 경계(6)의 검출 결과를 변경한다. 예를 들면, 층구조 변경부(255)는, 병변 영역 내의 마스크 영역 내의 점을 제거한 후, 나머지의 점 군 또는 곡선을 이용해서 망막 색소 상피층 경계(6)를 보간한다. 그것에 의하여, 백반 등의 질병에 의해, 망막 색소 상피층 경계(6)의 신호가 결핍한 경우에도, 백반을 오검출하는 일없이, 망막 색소 상피층 경계(6)를 검출할 수 있다.
상기의 설명에서는, 백반과 혈관에 대하여 단일의 마스크 영역을 사용한다. 그러나, 백반, 드루즈, 출혈, 혈관 등에 있어서 마스크에 라벨을 부여하여, 마스크 영역을 식별하는 것이 바람직하다. 예를 들면, 투영상과 같은 화상 사이즈와 1화소당 8비트를 갖도록 마스크용의 라벨 영역을 확보한다. 각각의 비트에는, 병변부와, 안저 화상 및 단층상으로부터 검출된 혈관을 사전에 할당해 둔다. 그것에 의하여, 같은 좌표위치에서 병변부와 혈관이 겹쳐서 검출된 경우에도, 복수의 라벨을 같은 좌표위치에 부여할 수 있다. 비트 사이즈는, 식별하고 싶은 종류에 따라 설정될 수 있다.
스텝 S445에 있어서, 정량화부(256)는, 특징 추출부(257)가 추출한 병변특징을 정량화한다. 예를 들면, 도 10a에 나타나 있는 바와 같이, 망막 내에 백반이 존재할 경우, 정량화부(256)는, 검출한 백반의 면적, 백반의 체적, 백반의 존재 위치, 백반의 수 등을 산출한다. 정량화부(256)는, 백반의 면적을 안저 화상 혹은 투영상으로부터 산출하고, 백반의 체적을 단층상으로부터 산출한다. 또한, 과거에 정량화한 백반의 면적, 백반의 체적, 백반의 존재 위치, 백반의 수 등이 이용가능한 경우에는, 과거의 정량화 데이터와의 비교를 행해도 된다. 정량화부(256)는, 상기의 각 층의 수치 데이터와 층의 두께, 면적, 체적 등의 적어도 하나를 산출하면 되고, 정량화할 데이터를 임의로 설정할 수 있다. 만약, 하나의 데이터도 산출할 수 없으면, 다음 스텝 S455에 있어서, 정량화할 수 없는 메시지를 표시부(270)로 표시해도 된다.
스텝 S455에 있어서, 표시부(270)는, 단층상 및 안저 화상과, 단층상의 층과 층의 경계의 검출 결과와, 병변부의 검출 결과와, 단층상의 층에 관해서 정량화한 결과와, 병변부를 정량화한 결과를 표시한다. 과거의 데이터가 이용가능한 경우에는, 표시부(270)는, 과거 데이터와 비교해서 현재의 데이터를 표시해도 된다.
상술한 구성에 의하면, 안저상으로부터 검출된 병변부와 특징에 근거해서 추출해야 할 망막층을 특정하는 경우에, 입력된 화상에 알맞은 층의 분할을 자동으로 행할 수 있어, 망막층을 분할할 때의 이용자의 부하가 경감되는 효과가 있다. 또한, 망막층의 두께를 고려해서 층을 강조하고, 안저상 혹은 투영상으로부터 검출된 혈관과 병변을 고려해서 망막층을 세그먼트(segment)하기 때문에, 질환에 의존하지 않고 정확하게 층 경계의 추출이 가능해진다.
이하, 화상 처리부(200)에, 제1의 판정부(259) 대신에 제2의 판정부(260)를 추가했을 경우를 설명한다. 일반적으로, 가령 황반 변성과 부종 등의 질환을 안저상 및 투영상으로부터 판단하는 것이 어렵다. 따라서, 제2의 판정부(260)를 추가하여, 안저 화상과 투영상으로부터 취득한 화상특징에 더해서, 망막 단층상의 형상 특징도 이용한다. 이에 따라, 유저에 제시하는 층의 종류를 로버스트(robust)하게 선택하는 것이 가능해진다.
도 11은, 화상처리장치(11)의 기능 구성을 도시한 블럭도이다. 도 11에 나타낸 기능 구성은 화상 처리부(201)를 제외하고, 도 1에 나타낸 것과 같기 때문에, 설명을 생략한다. 화상 처리부(201)에는, 도 2에 나타낸 제1의 판정부(259) 대신에 제2의 판정부(260)가 포함된다. 제2의 판정부(260)는 특징 추출부(257)가 추출한 특징량과, 층구조 검출부(254)에 의해 검출된 층구조의 검출 결과에 의거하여 판정을 행하고, 판정 결과를 층구조 변경부(255)에 출력한다.
다음에, 도 12의 플로차트를 참조하여, 화상처리장치(11)의 처리 순서를 설명한다. 또한, 스텝 S1201 내지 스텝 S1206의 처리와 스텝 S1214 내지 스텝 S1216의 처리는, 각각 도 3에 있어서의 스텝 S301 내지 스텝 S306의 처리와 스텝 S310 내지 스텝 S312의 처리와 같다. 또한, 스텝 S1207, 스텝 S1212, 스텝 S1213은, 도 4a에 있어서의 스텝 S410, 스텝 S440, 스텝 S450와 같다. 따라서, 이들 스텝의 설명은 생략한다.
스텝 S1208에 있어서, 층구조 검출부(254)는, 내경계막(1), 신경 섬유층 경계(2), 및 망막 색소 상피층 경계(6)를 산출한다. 층의 검출 방법에 대해서는, 스텝 S420와 같으므로, 그것의 설명은 생략한다. 또한, 스텝 S1204에 있어서, 안저 화상으로부터 병변부가 검출되는 경우, 단층상의 병변부의 마스크 영역에 있어서, 마스크 영역 근방에서 층을 검출한 위치부터 보간에 의하여 층을 산출해도 된다. 다음에, 층구조 검출부(254)는, 내망상층 경계(3), 외망상층 경계(4), 및 시세포 내절 외절 접합부(5)를 산출한다. 다만, 이들 층은, 질병의 영향에 의해 검출되지 않기 때문에, 단층상에 있어서의 병변부의 마스크 영역에 있어서는, 이들 층을 검출하지 않거나, 보간 처리에 의해 이들 층을 산출하는 것이 바람직하다.
스텝 S1209에 있어서, 특징 추출부(257)는, 단층상으로부터 화상특징과 망막층의 형상특징을 추출한다. 우선, 단층상의 화상 특징에 관하여 설명한다. 이 경우에, 특징 추출부(257)는, 스텝 S1208에 있어서 검출된 내경계막(1)과 망막 색소 상피층 경계(6)의 위치 정보를 이용한다. 즉, 특징 추출부(257)는, 화상 특징을 추출하기 위한 범위를 내경계막(1)과 망막 색소 상피층 경계(6) 사이로 제한한다. 망막층의 단층상은, 층마다 다른 휘도값을 갖는다. 정상적인 눈의 경우에는, 신경 섬유층 2'과, 시세포 내절 외절 접합부(5)와 망막 색소 상피층 경계(6)와의 사이의 시세포층이 높은 휘도값을 갖는다. 백반이 망막층 내부에 존재하는 경우에는, 백반의 영역이 높은 휘도값을 갖고, 시세포 내절 외절 접합부(5)와 망막 색소 상피층 경계(6)와의 사이의 시세포층은 낮은 휘도값을 갖는다. 망막층 내부에 출혈이 퍼지는 경우에는, 시세포 내절 외절 접합부(5)와 망막 색소 상피층 경계(6)와의 사이의 시세포층이 그것의 특징으로서 낮은 휘도값을 갖는다. 화상특징은, 히스토그램(histogram) 등의 1차 통계량, 농도 동시 발생 행렬 등의 2차 통계량, 푸리에 특징 등을 추출한다. 또한, 내경계막(1)과 망막 색소 상피층 경계(6)와의 사이에서, A-스캔에 따른 휘도값의 프로파일 특징을 추출한다. 휘도값의 프로파일은, 도 8a와 도 10a의 우측 도면에 나타나 있다. 이들 화상특징에 더하여, 화상의 구배 특징과 헤센 행렬에 의한 층구조 강조 화상의 특징량을 사용해도 된다.
다음에, 망막층의 형상 특징에 관하여 설명한다. 내경계막(1)은, 망막층의 내부가 출혈하고 있으면, 망막 내에 피가 축적되기 때문에 위쪽으로 볼록 형상을 갖는 특징이 있다. 망막 색소 상피층(6)은 가령 황반 변성이 되면, 그 하부로부터 형성된 신생 혈관에 의해서 망막 색소 상피층(6)의 층 형상이 요철 형상을 갖도록 변형되는 특징이 있다. 그 때문에, 층의 형상 특징도 병변부를 식별하는 특징의 하나로서 이용할 수 있다. 형상 특징은, 단일의 층에 있어서 인접하는 검출 점의 곡률을 계산함으로써 추출할 수 있다. 단층상으로부터의 화상특징과 형상특징은, 안저 화상과 투영상으로부터 추출한 마스크 영역의 내부에 한정해서 추출해도 되고, 마스크 영역 내에 한정하지 않고 추출해도 된다. 단층상의 화상특징만 사용하는 경우에는, 층의 위치를 이용하지 않고 화상 전체로부터 화상 특징을 계산해도 된다. 또한, 망막층은, 황반부와 시신경 유두에 있어서 서로 다른 형상을 갖는다. 예를 들면, 황반부의 중심 부근의 위치보다는 오히려 시신경 유두 중심 부근의 위치에서, 내경계막(1)이 아래쪽으로 볼록 형상을 갖는 특징이 있다. 또한, 망막에 병이 생기면, 시신경 유두 함요(陷凹; fovea)가 확대되기 때문에, 내경계막(1)의 형상이 확대되는 또 다른 특징이 있다. 그 때문에, 다음 스텝 S1210에서는, 부위의 차이에 의한 특징의 차이를 고려해서 학습을 해 둔다.
스텝 S1210에서는, 제2의 판정부(260)가, 안저 화상으로부터 산출한 화상 특징과 단층상으로부터 산출한 화상특징과 각층의 형상특징을 이용해서, 병변부의 유무와 병변부의 종류를 판단하고, 유저에 출력하는 층의 종류를 결정한다. 예를 들면, 단층상으로부터 산출한 화상특징과 층의 형상특징을, 정상시와 병변시에, 서포트 벡터 머신(Support vector Machine)이나, AdaBoost 등의 식별기를 이용해서 학습해 둠으로써 병변부를 판정할 수 있다.
스텝 S1211에서는, 층구조 변경부(255)는, 제2의 판정부(260)가, 안저 화상과 단층상으로부터 추출한 화상 특징량에 근거해서, 병변부가 존재하지 않는다고 판정했을 경우, 모든 층의 층구조의 결과를 변경한다. 반면, 제2의 판정부(260)가, 병변부가 존재한다고 판정했을 경우, 일부의 층구조, 즉 망막 색소 상피층 경계(6)의 결과를 변경한다. 이 경우에, 층구조 변경부(255)는, 층구조 검출부(254)가 보간에 의해 산출한 층의 위치를 초기값으로서 갖도록, 일정한 범위 내에서 상하 방향으로 구배 특징을 탐색하여, 각각의 층을 검출한다.
상술한 구성에 의하면, 안저 화상과 투영상으로부터 취득한 화상특징에 더하여, 망막층의 단층상으로부터 취득한 화상특징, 혹은 층의 형상특징을 이용하여, 유저에 제시하는 층의 종류를 선택한다. 안부의 표면 화상의 특징량에 더하여, 망막층 내부의 특징량도 이용하기 때문에, 유저에 제시하는 층의 종류를 로버스트하게 선택할 수 있다.
다음에, 특징 추출부(257)와 제1의 판정부(259)의 처리 내용을 변경했을 경우를 설명한다. 본 실시예는, 특징 추출부(257)가 추출한 특징량에 웨이트를 설정하는 점, 또 제1의 판정부(259)가 단층상에 마스크 영역으로서 역투영하는 특징량을, 안저 화상과 투영상으로부터 추출한 특징량으로부터 선택하는 점이 다르다.
본 실시예에서는, 안저 화상과 투영상으로부터 추출한 특징량의 모두를 단층상 검출시의 마스크 영역으로서 사용하는 대신에, 단층상과 안저 화상으로부터 얻은 특징량으로부터 확신도가 높은 특징량을 선택해서 단층상의 마스크 영역으로서 설정한다. 즉, 단층상 위에서 신호의 감쇠가 발생할 가능성이 높은 영역에만 마스크 영역을 설정한다. 그 때문에, 단층상 위에서 신호의 감쇠가 발생할 가능성이 낮은 영역에 관해서는, 보간에 의하여 층을 근사하는 대신에, 직접 층을 검출하기 때문에, 보다 정밀하게 층 구조를 검출할 수 있다.
본 실시예는, 도 3의 스텝 S304과 스텝 S307가 서로 다른 처리 내용을 갖고, 스텝 S306의 영역 특정 처리가 스텝 S307의 판정 결과에 따라 각각 실행되는 점이, 상기의 실시예와는 다르다. 그 이외의 처리는 상기 실시예와 같기 때문에, 그것의 설명은 생략한다. 이하, 특징 추출부(257)가 혈관을 검출하는 경우에 관하여 설명한다. 또한, 혈관 이외의 병변부(백반, 드루즈, 출혈 등)도 이하의 처리와 마찬가지로 산출할 수 있다.
스텝 S304에 있어서, 특징 추출부(257)는, 투영상과 안저 화상으로부터 혈관을 검출하는 경우에, 혈관 검출 필터의 출력 결과를 스레숄드 처리를 통해서 2치화하는 것이 아니고, 스레숄드 이상의 출력값을 그대로 유지한다. 또한, 특징 추출부(257)는, 필터 출력값을 스레숄드로부터 최대값까지의 범위 내의 어떤 값으로 분할해서 필터 출력값을 다치(multi-values)로 변환해도 된다. 또는, 특징 추출부(257)는, 스레숄드 이하의 필터 출력값에 대해서는 0, 최대값에 대해서는 1이라고 간주하는 웨이팅 함수를 필터 출력값에 곱해도 된다. 이렇게 하여, 특징량을, 해부학적 특징이 존재하는 확신도를 반영하는 값으로서 추출하기 때문에, 특징 추출부(257)가 혈관으로서 검출한 영역에 있어서, 혈관인 것 같은 영역의 출력값은 커지고, 스레숄드 부근의 영역의 출력값은 작아진다. 또한, 투영상과 안저 화상의 화소당의 비트수가 다른 경우에는, 이들 화상에 정규화 처리를 적용하는 것이 바람직하다.
스텝 S307에 있어서, 제1의 판정부(259)는, 투영상과 안저 화상으로부터 필터 출력값이 큰 영역을 각각 선택함으로써 혈관으로서 확신도가 높은 영역을 선택한다. 특징량이 소정값 이상인 것을 선택함으로써 투영상과 안저 화상으로부터의 영역의 선택 방법을 달성할 수 있다. 또한, 공지의 식별기를 사용하거나, 또는 스레숄드 이상의 영역의 상위 몇 %을 판정해도 된다.
상술한 구성에 의하면, 단층상 위에서 신호의 감쇠가 발생할 가능성이 낮은 영역에 관해서는, 보간에 의해서 층을 근사하는 것이 아니고, 층을 직접 검출하기 때문에, 보다 정밀하게 층구조를 검출할 수 있다.
다음에, 도 1의 화상 처리부(200)에, 층구조 갱신부를 추가했을 경우에 관하여 설명한다. 층구조 갱신부는, A-스캔마다 각각 독립적으로 검출한 층의 위치를, 3차원적으로 매끄러운층 형상이 되도록, 갱신하는 역할을 한다. 그 때문에, 화상처리장치는, 도 1의 화상 처리부(200)에 있어서, 층구조 변경부(255)와 정량화부(256)와의 사이에 층구조 갱신부를 더 갖는다. 그 이외의 구성은 도 1의 구성과 같다.
또한, 본 실시예의 화상 처리부에 있어서의 정상 처리시와 이상 처리시의 처리는, 기본적으로는 도 4a 및 4b와 같지만, 스텝 S430 및 스텝 S435의 층구조 검출 결과 변경 처리 후에, 층구조 검출 결과 갱신 처리가 실행되는 점이 다르다. 이하, 본 실시예의 화상 처리부에 있어서의 층 구조 검출 결과 갱신 처리에 관하여 설명한다.
층구조 갱신부는, 층구조 검출부(254)가 검출하고, 층구조 변경부(255)가 변경한 망막층의 결과를 갱신한다. 스네이크(Snakes)나 레벨 세트법과 같은 동적 윤곽법을 적용할 경우, 층구조 갱신부는 층구조 검출부(254)의 검출 결과를 초기값으로 해서 에너지값을 최소화하도록 반복 계산을 행한다. 스네이크의 경우, 층구조 갱신부는 화상 에너지 및 형상 에너지를 정의하고, 그 에너지의 합을 최소화하도록 계산을 반복한다. 식(10)으로 스네이크(Snakes)의 에너지식을 나타낸다.
Figure 112013076925737-pat00012
여기서, E는 전체의 에너지값, Eshape _ local은 형상 에너지값, Eimage는 화상 에너지값을 나타낸다. 그것에 의하여, 에너지값은 매끄러운층 구조를 유지하면서 화상의 엣지에 수속한다. 층구조 갱신부는 이렇게 하여 취득한 에너지에 의거하여 망막층의 변경 결과를 갱신한다.
예를 들면, 화상 에너지를, 식(11)으로 나타낸 있는 바와 같이, 각 검출 점에 있어서의 휘도 구배와, 상하층 내의 휘도값의 분산 합으로 정의한다.
Figure 112013076925737-pat00013
Eedge은, 각 제어 점에 있어서의 휘도 구배, Evariance _ of _ upper _ layer은, 상위층의 휘도값의 분산, Evariance _ of _ lower _ layer은, 하위층의 휘도값의 분산이다. We 및 Wv는 웨이트이다. 이렇게, 상하층의 휘도값의 분산을 화상특징으로서 정의함으로써, 혈관이나 병변부에 의하여 층 경계가 감쇠하고, 화상 구배를 취득할 수 없는 층 경계에 있어서도, 화상 에너지는 층경계에 수속하도록 동작한다. 예를 들면, 신경 섬유층 경계(2)의 경우, Evariance _ of _ upper _ layer은, 그 자체와 내경계막(1)과의 사이의 층(신경 섬유층 2')의 휘도값의 분산을 최소화한다. Evariance _ of _ lower _ layer은, 신경 섬유층 경계(2)와 내망상층 경계(3)와의 사이의 층((도면에 나타내지 않은) 신경절 세포층 + 내망상층)의 휘도값의 분산을 최소화한다. 본 실시예에서는 하층을 신경 섬유층 경계(2)와 내망상층 경계(3)와의 사이의 층으로서 정의한다. 또한, (도면에 나타내지 않은) 신경절 세포층을 하층으로서 정의해도 된다. 또한, 식(11)으로 정의한 화상 에너지는, 층마다 정의를 다르게 해도 된다. 예를 들면, 내경계막(1)은, 혈관이나 병변부의 영향을 받지 않기 때문에, Eedge만을 정의해도 된다.
형상 에너지는, 1차 미분, 2차 미분 등의 형상특징을 정의함으로써 각 검출 점 사이가 원활해지도록 동작한다. 또한, 형상 에너지와 화상 에너지에 각각 주는 웨이트는, 마스크 영역과 마스크 영역 밖의 영역과의 사이에서 변경되어도 된다. 예를 들면, 마스크 영역 내의 신호의 감쇠가 일어날 가능성이 높은 경우, 신뢰도가 낮은 화상 에너지의 웨이트는 작게 설정되고, 형상 에너지의 웨이트는 크게 설정된다. 형상 에너지의 웨이트를 증가시킴으로써, 매끄러운층을 검출할 수 있다.
상술한 구성에 의하면, 망막의 상태에 따라 층경계를 검출할 수 있다. 그리고, 혈관이나 백반 등의 병변부에 의해 신호가 감쇠한 층을 검출하고, 층의 형상구조를 유지하면서 층의 경계를 검출하도록 검출 결과를 갱신한다. 그 때문에, 3차원적으로 매끄럽게 망막의 층구조를 검출할 수 있다.
다음에, 안저상이 이용가능하지 않고, 단층상만 이용가능한 경우에 대응하기 위해서, 도 11의 구성으로부터 안저 화상 취득부(222)를 삭제한 구성에 관하여 설명한다. 그 이외의 구성은 도 11과 같기 때문에, 여기에서는 그 설명을 생략한다. 화상처리장치의 처리 순서도, 도 12과 거의 같지만, 스텝 S1205과 스텝 S1206의 처리가 제외된 점이 다르다. 또한, 상기 실시예와의 또 다른 차이점은 입력 화상이, 단층상과, 단층상으로부터 생성된 투영상만 포함한다는 점이다.
따라서, 스텝 S1202에 있어서, 단층상 취득부(221)는, 단층상 촬상장치(20)로부터 송신되는 단층상을 취득한다. 그리고, 단층상 취득부(221)는, 취득한 정보를 기억부(240)에 송신한다. 스텝 S1204에 있어서, 특징 추출부(257)는, 투영상 생성부(251)가 생성한 투영상으로부터, 혈관과 병변부를 추출한다. 이들 혈관과 병변부의 추출 방법은, 스텝 S304의 방법과 같다. 다만, 추출 대상은 투영상이다. 또한, 특징 추출부(257)는, 혈관과 병변부에 한하지 않고, 황반부, 시신경 유두 등을 추출해도 된다. 이들 특징량은, 혈관과 병변부의 추출에 있어서 오검출을 저감하기 위해 사용되어도 된다. 또, 스텝 S1209에 있어서, 특징 추출부(257)는, 단층상으로부터 병변부의 특징을 추출한다. 이 경우에, 특징 추출부(257)는, 망막층 내의 마스크 영역 내에서만 처리를 행하는 것이 아니고, 망막층 전체에서 특징 추출 처리를 행하는 것이 바람직하다.
상술한 구성에 의하면, 단층상만 이용가능한 경우에 있어서도, 유저의 부담을 증가시키지 않고, 복수종의 질병을 진단하는데 필요한 진단 정보 데이터를, 안부의 단층상으로부터 취득하는 것이 가능해진다.
이상 설명한 발명의 실시예에 있어서는, 화상으로부터 취득한 특징량만을 이용하여, 측정하는 층의 종류를 선택한다. 그러나, 과거의 검사 결과가 이용가능한 경우, 세그먼트(segment)하고 싶은 층은 이전에 결정되어 있는 경우가 많다. 따라서, 이 정보를 이용함으로써, 처리를 간소화 또는 고속화할 수 있다.
이 점을 고려하여, 상기 실시예에 따른 제1의 판정부(259) 또는 제2의 판정부(260)는, 검출하는 층의 종류를, ETBE 정보 취득부(210)가 취득한 정보를 이용해서 판정한다. ETBE 정보 취득부(210)는, 해당 피검안에 관한 검사 결과를 취득하고, 검사 결과 중에 단층상 촬상장치(20)에 관한 과거의 검사 결과가 있는 경우, 전회의 촬영시에 계측한 망막층의 정보를 취득한다. 그것에 의하여, 경과 관찰의 경우, 제1의 판정부(259) 또는 제2의 판정부(260)는, 전회의 촬영시에 정량화에 사용한 망막층과 동일한 층을 선택한다. 또는, ETBE 정보 취득부(210)는, 해당 피검안에 관한 검사 결과를 취득하고, 검사 결과에 증례명이 기재되어 있을 경우, 그 정보를 취득한다. 그것에 의하여, 제1의 판정부(259) 또는 제2의 판정부(260)는, 단층상 촬상장치(20) 이외의 검사장치의 검사 결과로부터 계측 대상으로 하는 층의 종류를 선택할 수 있다.
이상 설명한 구성에 의하면, ETBE 정보를 이용함으로써, 처리를 고속화하는 동시에, 추출해야 할 층을 더 정확하게 특정할 수 있다.
이상 설명한 실시예에 있어서는, 층구조 강조 처리를 화상 전체에 대하여 적용한다. 그러나, 망막층 이외의 화상영역에 층구조 강조 처리를 적용해도 효과는 없고, 처리 시간도 길어진다. 이하에서는, 층 구조 검출 처리 시퀀스 전체에 필요한 시간을 단축하기 위해서, 층구조 강조 처리를 행하기 전에, 망막층을 검출해서 주목 영역으로서 설정하고, 층구조 강조 처리를 이 주목 영역 내부에만 적용하는 경우를 설명한다. 여기에서는, 고속화 처리를 위해서, 각 실시예에 있어서 아래와 같이 처리를 변경한다. 이 경우, 1개의 실시예를 예로 들어서 설명을 한다. 그렇지만, 같은 처리를 다른 실시예에 적용하면, 이들 실시예의 처리도 고속화할 수 있다.
본 실시예에 대응하는 고속화 처리는, 기본적으로는 도 4a 및 도 4b와 같지만, 스텝 S410과 스텝 S415의 층구조 강조 처리 전에 주목 영역 검출 처리가 실행되는 점이 다르다. 그 밖의 처리는 도 4a 및 4b와 같다. 이하, 화상 처리부에 있어서의 주목 영역 검출 처리에 관하여 설명한다.
우선, 층구조 검출부(254)는, 층구조를 검출하기 쉬운 층을 사전에 검출해 두고, 그 층을 기준으로 망막층의 전체 영역을 주목 영역으로서 검출한다. 예를 들면, 층구조 검출부(254)는 내경계막(1)을 검출하고, 검출한 점 군을 다차원의 곡면으로 근사한다. 그리고, 그곳으로부터 심도방향으로 일정한 거리까지의 영역을 주목 영역으로서 설정한다. 또한, 층구조 검출부(254)는, 망막 색소 상피층 경계(6)도 검출하고, 검출한 점 군을 다차원의 곡면으로 근사한다. 그리고, 층구조 검출부(254)는, 근사로 검출한 내경계막(1)과 망막 색소 상피층 경계(6) 사이의 영역을 주목 영역으로서 설정한다. 또한, 층구조 검출부(254)는, 단순하게 스레숄드 처리에 의해 망막층 영역을 검출하고, 검출한 영역에 라벨링(labeling) 처리를 한다. 그리고, 층구조 검출부(254)는, 라벨링 영역을 연결 화소 수의 상위 2개로 둘러싸도록 주목 영역을 설정한다. 이들 처리에 의해, 층구조 검출부(254)는, 망막층을 주목 영역으로서 검출할 수 있다.
그리고, 스텝 S410이나 스텝 S415의 층구조 강조 처리는, 상기 처리로 설정한 주목 영역의 내부에만 적용한다. 스텝 S420이나 스텝 S425에서 층구조를 검출할 때도, 탐색 영역은 주목 영역에 한정된다. 또한, 주목 영역 검출 처리로 내경계막(1)과 망막 색소 상피층 경계(6)를 사전에 검출해도, 스텝 S420이나 스텝 S425의 처리로, 층구조를 강조한 화상 특징을 이용해서 다시 검출해도 된다.
이상 설명한 구성에 의하면, 층구조 강조부(253)는, 주목 영역의 내부에만 층구조 강조 처리를 적용하고, 층구조 검출부(254)는, 주목 영역의 내부만을 탐색 영역으로서 설정한다. 따라서, 주목 영역 내에서만 처리를 행함으로써, 층구조 검출 처리 시퀀스 전체에 걸리는 시간을 단축할 수 있다.
(기타의 실시예)
상기의 각 실시예는, 본 발명을 화상처리장치로서 실현한다. 그렇지만, 본 발명의 실시예는 화상처리장치에만 한정되는 것은 아니다. 본 실시예에서는 본 발명을 컴퓨터상에서 동작하는 소프트웨어로서 실현한다. 도 13은, 화상처리장치(10)의 각 부의 기능을 소프트웨어로서 실현하기 위한 컴퓨터의 기본구성을 도시한 블럭도이다. CPU(1901)는, RAM(1902) 및 ROM(1903)에 기억되어 있는 프로그램과 데이터를 이용해서 컴퓨터 전체를 제어한다. 또한, CPU(1901)는, 화상처리장치(10)의 각 부에 대응하는 소프트웨어 프로그램의 실행을 제어하여, 각 부의 기능을 실현한다. RAM(1902)은, 외부기억장치(1904)로부터 로드된 컴퓨터 프로그램과 데이터를 일시적으로 기억하는 에어리어를 구비하는 동시에, CPU(1901)가 각종의 처리를 행하기 위해서 필요로 하는 에어리어를 구비한다. 기억부(240)의 기능은 RAM(1902) 등에 의해 실현된다.
ROM(1903)은, 일반적으로 컴퓨터의 BIOS, 설정 데이터 등을 기억한다. 외부기억장치(1904)는, 하드디스크 드라이브 등의 대용량 정보기억장치로서 기능하고, 오퍼레이팅 시스템과 CPU(1901)가 실행하는 컴퓨터 프로그램을 보존한다. 또, 외부기억장치(1904)는, 본 실시예의 설명에 있어서 주어지는 정보를 기억하고, 그러한 정보가 필요에 따라 RAM(1902)에 로드된다. 모니터(1905)는, 액정 디스플레이에 의해 구성되어 있다. 예를 들면, 모니터(1905)는 표시부(270)로부터 출력되는 내용을 표시할 수 있다. 키보드(1906) 및 마우스(1907)는 입력 디바이스이다. 조작자는 이들 입력 디바이스를 이용해서, 각종의 지시를 화상처리장치(10)에 입력할 수 있다. ETBE 정보 취득부(210)와 지시 취득부(230)의 기능은, 이들 입력 디바이스를 통해서 실현된다.
인터페이스(1908)는, 화상처리장치(10)와 외부의 기기와의 사이에서 각종 데이터를 주고받는 데에 이용되고, IEEE1394, USB, 또는 이더넷(Ethernet)(등록상표) 포트 등으로 구성된다. 인터페이스(1908)를 통해서 취득한 데이터는, RAM(1902)에 페치(fetch)된다. 화상 취득부(220)와 결과 출력부(280)의 기능은, 인터페이스(1908)를 통해서 실현된다. 전술한 각 구성요소는, 버스(1909)에 의해 서로 접속된다.
본 발명의 국면들은, 상술한 실시예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.
본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.
본 출원은 전체 내용이 본 명세서에 참고로 포함되어 있는 2009년 6월 2일에 제출된 일본국 공개특허공보 2009-133454호로부터 우선권을 주장한다.
10 : 화상처리장치
20 : 단층상 촬상장치
30 : 안저 화상 촬상장치
40 : 로컬 에어리어 네트워크(local area network;LAN)
50 : 데이터 서버(50)

Claims (13)

  1. 피검안의 안저화상으로부터, 주변에 비해 높은 신호를 가지는 영역인 백반영역과, 주변에 비해 낮은 신호를 가지는 영역이며, 또한, 선형구조를 가지는 혈관영역 이외의 영역인 출혈영역 중, 적어도 하나의 영역을 병변부로서 추출하는 추출수단과;
    상기 피검안의 단층상으로부터 상기 병변부에 대응하는 영역을 특정하는 특정수단; 및
    상기 변병부에 대응하는 영역에서, 상기 단층상에 있어서 복수의 층 중, 상기 병변부에 대응하는 소정의 위치보다도 깊은 위치의 층을 보간하는 보간수단을 구비하는 것을 특징으로 하는 화상처리장치.
  2. 제 1 항에 있어서,
    상기 변병부에 대응하는 영역은, 상기 병변부의 위상 영역인 것을 특징으로 하는 화상처리장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 병변부의 유무를 판정하는 판정수단을 더 구비하고,
    상기 판정수단에 의해 병변부가 존재한다고 판정했을 경우, 상기 보간수단이 망막색소상피층을 보간하는 것을 특징으로 하는 화상처리장치.
  4. 제 3 항에 있어서,
    상기 판정수단에 의해 병변부가 존재하지 않는다고 판정했을 경우, 상기 보간수단이 상기 복수의 층 중 제일 위의 층 이외를 보간하는 것을 특징으로 하는 화상처리장치.
  5. 제 3 항에 있어서,
    상기 단층상에 있어서의 상기 복수의 층을 검출하는 검출수단을 더 구비하고,
    상기 검출수단은, 상기 병변부의 유무에 따라 검출하는 층의 수를 변경하는 것을 특징으로 하는 화상처리장치.
  6. 제 5 항에 있어서,
    상기 판정수단은, 상기 병변부의 종류를 더 판정하고,
    상기 판정수단이 판정한 상기 병변부의 종류에 따라, 상기 검출수단이 검출할 층을 선택하는 것을 특징으로 하는 화상처리장치.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 병변부는 드루젠(drusen)인 것을 특징으로 하는 화상처리장치.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 보간수단은, 상기 변병부에 대응하는 영역에 인접하는 상기 소정의 층의 경계에 근거하여, 상기 소정의 층의 경계를 보간하는 것을 특징으로 하는 화상처리장치.
  9. 제 8 항에 있어서,
    상기 소정의 층의 경계는, 망막색소상피층 경계이고,
    상기 보간수단은, 상기 변병부에 대응하는 영역에 포함되는 상기 망막색소상피층 경계를 삭제한 후, 상기 변병부에 대응하는 영역에 인접하는 상기 망막색소상피층 경계에 근거하여, 상기 변병부에 대응하는 영역을 포함하는 상기 막망색소상피층 경계를 보간하는 것을 특징으로 하는 화상처리장치.
  10. 피검안의 안저화상으로부터, 주변에 비해 높은 신호를 가지는 영역인 백반영역과, 주변에 비해 낮은 신호를 가지는 영역이며, 또한, 선형구조를 가지는 혈관영역 이외의 영역인 출혈영역 중, 적어도 하나의 영역을 병변부로서 추출하는 추출공정과;
    상기 피검안의 단층상으로부터 상기 병변부에 대응하는 영역을 특정하는 특정공정; 및
    상기 변병부에 대응하는 영역에서, 상기 단층상에 있어서 복수의 층 중, 상기 병변부에 대응하는 소정의 위치보다도 깊은 위치의 층을 보간하는 보간공정을 구비하는 것을 특징으로 하는 화상처리방법.
  11. 피검안의 안저화상으로부터, 주변에 비해 높은 신호를 가지는 영역인 백반영역과, 주변에 비해 낮은 신호를 가지는 영역이며, 또한, 선형구조를 가지는 혈관영역 이외의 영역인 출혈영역 중, 적어도 하나의 영역을 병변부로서 추출하는 추출수단과;
    상기 피검안의 단층상으로부터 상기 병변부에 대응하는 영역을 특정하는 특정수단; 및
    상기 변병부에 대응하는 영역에서, 상기 단층상에 있어서 복수의 층 중, 상기 병변부에 대응하는 소정의 위치보다도 깊은 위치의 층을 보간하는 보간수단을 구비하는 것을 특징으로 하는 안과장치.
  12. 청구항 1 또는 2 에 기재된 화상처리장치와,
    상기 단층상을 촬상하는 단층상촬상장치와,
    상기 안저화상을 촬상하는 안저화상촬상장치를 구비한 것을 특징으로 하는 안과시스템.
  13. 청구항 10에 기재된 화상처리방법을 실행하는 프로그램을 격납한 컴퓨터 판독가능한 기억매체.
KR1020137022409A 2009-06-02 2010-05-13 화상처리장치, 그 제어방법 및 컴퓨터 프로그램 KR101478598B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009133454A JP4909377B2 (ja) 2009-06-02 2009-06-02 画像処理装置及びその制御方法、コンピュータプログラム
JPJP-P-2009-133454 2009-06-02
PCT/JP2010/058490 WO2010140476A1 (en) 2009-06-02 2010-05-13 Image processing apparatus, control method thereof, and computer program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117030982A Division KR20120024847A (ko) 2009-06-02 2010-05-13 화상처리장치, 그 제어방법 및 기억매체

Publications (2)

Publication Number Publication Date
KR20130100384A KR20130100384A (ko) 2013-09-10
KR101478598B1 true KR101478598B1 (ko) 2015-01-02

Family

ID=43297613

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137022409A KR101478598B1 (ko) 2009-06-02 2010-05-13 화상처리장치, 그 제어방법 및 컴퓨터 프로그램
KR1020117030982A KR20120024847A (ko) 2009-06-02 2010-05-13 화상처리장치, 그 제어방법 및 기억매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020117030982A KR20120024847A (ko) 2009-06-02 2010-05-13 화상처리장치, 그 제어방법 및 기억매체

Country Status (6)

Country Link
US (1) US9430825B2 (ko)
EP (1) EP2437649A4 (ko)
JP (1) JP4909377B2 (ko)
KR (2) KR101478598B1 (ko)
CN (1) CN102458225B (ko)
WO (1) WO2010140476A1 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8938104B2 (en) * 2008-08-29 2015-01-20 Varian Medical Systems International Ag Systems and methods for adaptive filtering
JP4850927B2 (ja) * 2009-06-02 2012-01-11 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP4909378B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP5627248B2 (ja) 2010-02-17 2014-11-19 キヤノン株式会社 眼科装置および眼科装置の制御方法、そのプログラム
JP5893248B2 (ja) * 2011-01-20 2016-03-23 キヤノン株式会社 光断層画像撮像方法および光断層画像撮像装置
JP5782262B2 (ja) * 2011-01-20 2015-09-24 キヤノン株式会社 断層画像補正方法および断層画像補正装置
JP5639523B2 (ja) * 2011-03-31 2014-12-10 キヤノン株式会社 光干渉断層撮影装置、光干渉断層撮影装置の制御方法、プログラムおよび眼科システム
JP5912358B2 (ja) * 2011-09-14 2016-04-27 株式会社トプコン 眼底観察装置
JP6226510B2 (ja) 2012-01-27 2017-11-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP2013153880A (ja) * 2012-01-27 2013-08-15 Canon Inc 画像処理システム、処理方法及びプログラム
JP6105852B2 (ja) 2012-04-04 2017-03-29 キヤノン株式会社 画像処理装置及びその方法、プログラム
US9357916B2 (en) * 2012-05-10 2016-06-07 Carl Zeiss Meditec, Inc. Analysis and visualization of OCT angiography data
EP2692284A1 (en) * 2012-07-30 2014-02-05 Canon Kabushiki Kaisha Method and apparatus for geometric correction of OCT data representing a scan obtained by means of optical coherence tomography imaging of a sample
EP2693399B1 (en) 2012-07-30 2019-02-27 Canon Kabushiki Kaisha Method and apparatus for tomography imaging
US10136875B2 (en) * 2012-10-19 2018-11-27 Konica Minolta, Inc. Ultrasonic diagnostic apparatus and ultrasonic diagnostic method
US10497124B2 (en) 2013-03-15 2019-12-03 Kabushiki Kaisha Topcon Optic disc image segmentation method and apparatus
RU2530220C1 (ru) * 2013-03-18 2014-10-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
EP3061063A4 (en) * 2013-10-22 2017-10-11 Eyenuk, Inc. Systems and methods for automated analysis of retinal images
EP3085298A4 (en) * 2013-12-19 2017-08-16 Olympus Corporation Image-processing apparatus, image-processing method, and image-processing program
JP5852691B2 (ja) * 2014-04-09 2016-02-03 キヤノン株式会社 画像処理装置及び方法
JP6576035B2 (ja) * 2014-12-16 2019-09-18 キヤノン株式会社 眼科装置、視細胞検出方法およびプログラム
WO2016117117A1 (ja) * 2015-01-23 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CA2981021C (en) 2015-03-26 2020-11-17 Eyekor, Llc Image analysis
JP6572615B2 (ja) * 2015-04-30 2019-09-11 株式会社ニデック 眼底画像処理装置、および眼底画像処理プログラム
US10529061B2 (en) 2015-08-13 2020-01-07 University Of Washington Systems and methods of forming enhanced medical images
JP2018157841A (ja) * 2015-08-19 2018-10-11 興和株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6647305B2 (ja) * 2015-08-19 2020-02-14 興和株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2018530414A (ja) * 2015-10-19 2018-10-18 ザ チャールズ スターク ドレイパー ラボラトリー インク 光干渉断層撮影スライスの選択のためのシステムおよび方法
JP2017086183A (ja) * 2015-11-02 2017-05-25 株式会社ニデック Ｏｃｔデータ処理装置、およびｏｃｔデータ処理プログラム
JP6748434B2 (ja) * 2016-01-18 2020-09-02 キヤノン株式会社 画像処理装置、推定方法、システム及びプログラム
JP2018023602A (ja) * 2016-08-10 2018-02-15 大日本印刷株式会社 眼底画像処理装置
US9943225B1 (en) * 2016-09-23 2018-04-17 International Business Machines Corporation Early prediction of age related macular degeneration by image reconstruction
CN109843146B (zh) * 2016-10-14 2022-06-14 爱尔康公司 光学相干断层成像术交叉视图成像
WO2018116321A2 (en) * 2016-12-21 2018-06-28 Braviithi Technologies Private Limited Retinal fundus image processing method
KR101977645B1 (ko) 2017-08-25 2019-06-12 주식회사 메디웨일 안구영상 분석방법
EP3730040A4 (en) 2017-12-20 2021-10-06 Medi Whale Inc. METHOD AND APPARATUS FOR AID IN THE DIAGNOSIS OF CARDIOVASCULAR DISEASE
KR20200005404A (ko) * 2018-07-06 2020-01-15 연세대학교 산학협력단 진단 보조 시스템
JP7517147B2 (ja) 2018-03-05 2024-07-17 株式会社ニデック 眼底画像処理装置、および眼底画像処理プログラム
JP7185255B2 (ja) * 2018-05-16 2022-12-07 株式会社トーメーコーポレーション 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
JP7159025B2 (ja) * 2018-11-30 2022-10-24 富士フイルムヘルスケア株式会社 診断装置及び診断方法
JP2020103433A (ja) * 2018-12-26 2020-07-09 株式会社トプコン 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム
JP6888643B2 (ja) * 2019-03-22 2021-06-16 株式会社ニデック Ｏｃｔ解析処理装置、及びｏｃｔデータ処理プログラム
JP2019115827A (ja) * 2019-04-26 2019-07-18 キヤノン株式会社 画像処理システム、処理方法及びプログラム
KR102400623B1 (ko) * 2020-07-10 2022-05-20 한양대학교 산학협력단 안구질환 구조적 손상 판단 방법 및 그 장치
CN112188288B (zh) * 2020-09-04 2023-03-14 青岛海尔科技有限公司 用于控制电视的方法及系统、装置、设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009066015A (ja) 2007-09-10 2009-04-02 Univ Of Tokyo 眼底観察装置、眼科画像処理装置及びプログラム
JP2009089792A (ja) 2007-10-04 2009-04-30 Topcon Corp 眼底観察装置及び眼底画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668342B2 (en) * 2005-09-09 2010-02-23 Carl Zeiss Meditec, Inc. Method of bioimage data processing for revealing more meaningful anatomic features of diseased tissues
JP4855150B2 (ja) 2006-06-09 2012-01-18 株式会社トプコン 眼底観察装置、眼科画像処理装置及び眼科画像処理プログラム
JP5095167B2 (ja) 2006-09-19 2012-12-12 株式会社トプコン 眼底観察装置、眼底画像表示装置及び眼底観察プログラム
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
JP5007114B2 (ja) * 2006-12-22 2012-08-22 株式会社トプコン 眼底観察装置、眼底画像表示装置及びプログラム
JP4940069B2 (ja) * 2007-09-10 2012-05-30 国立大学法人 東京大学 眼底観察装置、眼底画像処理装置及びプログラム
US7992999B2 (en) * 2008-04-23 2011-08-09 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Automated assessment of optic nerve head with spectral domain optical coherence tomography
US9700210B2 (en) * 2009-03-02 2017-07-11 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009066015A (ja) 2007-09-10 2009-04-02 Univ Of Tokyo 眼底観察装置、眼科画像処理装置及びプログラム
JP2009089792A (ja) 2007-10-04 2009-04-30 Topcon Corp 眼底観察装置及び眼底画像処理装置

Also Published As

Publication number Publication date
EP2437649A4 (en) 2013-09-11
KR20130100384A (ko) 2013-09-10
CN102458225A (zh) 2012-05-16
JP2010279439A (ja) 2010-12-16
US9430825B2 (en) 2016-08-30
US20120070049A1 (en) 2012-03-22
KR20120024847A (ko) 2012-03-14
CN102458225B (zh) 2015-01-21
JP4909377B2 (ja) 2012-04-04
EP2437649A1 (en) 2012-04-11
WO2010140476A1 (en) 2010-12-09

Similar Documents

Publication Publication Date Title
KR101478598B1 (ko) 화상처리장치, 그 제어방법 및 컴퓨터 프로그램
RU2481056C2 (ru) Устройство обработки изображений, способ обработки изображений, устройство захвата томограммы, программа и носитель для записи программы
JP5631339B2 (ja) 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム
JP4909378B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
US9872614B2 (en) Image processing apparatus, method for image processing, image pickup system, and computer-readable storage medium
JP5582772B2 (ja) 画像処理装置及び画像処理方法
US9436994B2 (en) Image processing apparatus for processing a tomogram of an eye to be examined, image processing method, and computer-readable storage medium
US9098742B2 (en) Image processing apparatus and image processing method
CN103717122B (zh) 眼科诊断支持设备和眼科诊断支持方法
JP5174232B2 (ja) 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム
US10916012B2 (en) Image processing apparatus and image processing method
Niemeijer et al. Automated localization of the optic disc and the fovea
JP2018057828A (ja) 画像処理装置及び画像処理方法
JP5624532B2 (ja) 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム
Muramatsu et al. Detection of Eye Diseases

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20130823

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130926

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20140425

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141027

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20141226

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20141229

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20171124

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20181126

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20201006