KR101889840B1 - 화상처리장치 및 화상처리장치의 제어 방법 - Google Patents

화상처리장치 및 화상처리장치의 제어 방법 Download PDF

Info

Publication number
KR101889840B1
KR101889840B1 KR1020150124011A KR20150124011A KR101889840B1 KR 101889840 B1 KR101889840 B1 KR 101889840B1 KR 1020150124011 A KR1020150124011 A KR 1020150124011A KR 20150124011 A KR20150124011 A KR 20150124011A KR 101889840 B1 KR101889840 B1 KR 101889840B1
Authority
KR
South Korea
Prior art keywords
image
images
region
moving image
processing apparatus
Prior art date
Application number
KR1020150124011A
Other languages
English (en)
Other versions
KR20160029682A (ko
Inventor
히로시 이마무라
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20160029682A publication Critical patent/KR20160029682A/ko
Application granted granted Critical
Publication of KR101889840B1 publication Critical patent/KR101889840B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A61B3/1233—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1015—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for wavefront analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Hematology (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

화상처리장치는, 다른 시간에 있어서 안부의 제1 영역을 촬영해서 얻어진 제1 동화상의 적어도 1매의 화상 및 상기 안부의 상기 제1 영역과는 다른 제2 영역을 촬영해서 얻어진 제2 동화상의 적어도 1매의 화상을 사용해서 1매의 화상을 생성한다. 이 장치는, 상기 제1 동화상의 상기 적어도 1매의 화상에서 촬영되지 않은 적어도 하나의 영역을 포함하는 적어도 1매의 화상을, 상기 제2 동화상으로부터, 결정하는 결정부; 및 상기 제1 동화상의 상기 적어도 1매의 화상 및 상기 결정된 적어도 1매의 화상을 사용해서 1매의 화상을 생성하는 화상생성부를 구비한다.

Description

화상처리장치 및 화상처리장치의 제어 방법{IMAGE PROCESSING APPARATUS AND CONTROL METHOD OF IMAGE PROCESSING APPARATUS}
본 발명은 안과진료에 사용된 화상처리장치 및 화상처리장치의 제어 방법에 관한 것이다.
생활 습관병이나 실명의 주 원인인 질병의 조기진료를 목적으로서, 안부의 검사가 널리 행해지고 있다. 공초점 레이저 주사 현미경의 원리를 이용한 안과장치인 주사형 레이저 검안경(SLO;Sｃａｎｎｉｎｇ Ｌａsｅｒ Ｏｐｈｔｈａｌｍｏsｃｏｐｅ)은, 측정 광인 레이저를 안저에 대하여 래스터(raster) 주사하고, 그 귀환광의 강도로부터 고분해능 평면화상을 고속으로 취득하는 안과장치다. 이하, 이러한 평면화상을 촬상하는 장치를 SLO장치, 상기 평면화상을 SLO화상이라고 한다.
최근, SLO장치에 있어서 측정 광의 빔 지름을 크게 함에 의해, 횡분해능을 향상시킨 망막의 SLO화상을 취득하는 것이 가능하게 되어 왔다. 그러나, 측정 광의 빔 지름이 커짐에 따라, 망막의 SLO화상의 취득시에, 피검안의 수차로 인한 SLO화상의 S/Ｎ비 및 분해능의 저하가 문제가 되어 왔다. 이 문제를 해결하기 위해서, 보상 광학 SLO장치가 개발되어 왔다. 그 보상 광학SLO장치는, 피검안의 수차를 파면 센서를 사용하여 실시간으로 측정하고, 피검안에서 발생하는 측정 광이나 그 귀환광의 수차를 파면 보정 디바이스를 사용하여 보정하는, 보상 광학계를 갖는다. 이에 따라, 고횡분해능인 SLO화상(고배율 화상)의 취득을 가능하게 하고 있다.
이러한 고배율 화상은, 동화상으로서 취득될 수 있고, 혈류동태를 비침습 관찰에 이용된다. 각 프레임으로부터 망막혈관이 추출되고, 모세혈관을 통해 혈구의 이동 속도등이 계측된다. 고배율 화상을 사용해서 시기능과의 관계를 평가하기 위해서, 시세포 P를 검출한 뒤에 시세포P의 밀도분포와 배열의 계측이 행해지고 있다. 도 6b는 고배율 화상의 일례를 나타낸다. 시세포P, 모세혈관의 위치에 대응한 저휘도 영역Q, 백혈구의 위치에 대응한 고휘도 영역W를 관찰할 수 있다.
고배율 화상을 사용해서 시세포 P를 관찰할 경우나 시세포P의 분포를 계측할 경우에는, 포커스 위치를 망막외층(도 6a의 Ｂ5) 부근에 설정하여, 도 6b와 같은 고배율 화상을 촬영한다. 한편, 망막내층(도 6a의 Ｂ2 내지 B4)에는 망막혈관과 분기된 모세혈관이 주행하고 있다. 피검안을 촬영할 경우에는, 그 촬상대상 영역이 고배율 화상의 화각보다도 클 수도 있다. 광범위한 시세포 결손영역을 촬상하는 경우나, 초기의 모세혈관 병변에 호발부위인 부중심와(parafovea) 영역을 촬상하는 경우 등이 이러한 경우들의 영향을 받는다. 따라서, 다른 촬영 위치에서 촬영해서 얻은 복수의 고배율 화상을 합성해서 표시하는 기술이, 일본국 공개특허공보 특개 2012-213513호에 개시되어 있다.
또한, 특정 촬영 위치의 고배율의 동화상에 있어서의 고시미동의 영향이 큰 예외 프레임을 판정하고, 고배율의 동화상에서 판정된 예외 프레임이외의 프레임을 표시하는 기술이, 일본국 공개특허공보 특개 2013-169309호에 개시되어 있다.
화상처리장치는, 다른 시간에 있어서 안부의 제1 영역을 촬영해서 얻어진 제1 동화상의 적어도 1매의 화상 및 상기 안부의 상기 제1 영역과는 다른 제2 영역을 촬영해서 얻어진 제2 동화상의 적어도 1매의 화상을 사용해서 1매의 화상을 생성한다. 이 장치는, 상기 제1 동화상의 상기 적어도 1매의 화상에서 촬영되지 않은 적어도 하나의 영역을 포함하는 적어도 1매의 화상을, 상기 제2 동화상으로부터, 결정하는 결정부; 및 상기 제1 동화상의 상기 적어도 1매의 화상 및 상기 결정된 적어도 1매의 화상을 사용해서 1매의 화상을 생성하는 화상생성부를 구비한다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.
도 1은 본 발명의 제1 실시예에 따른 화상처리장치의 기능 구성 예를 나타내는 블록도다.
도 2a 내지 2c는 본 발명의 실시예에 따른 화상처리장치를 구비하는 시스템의 구성 예들을 나타내는 블록도다.
도 3은 본 발명의 실시예에 따른 SLO상 촬상장치의 전체의 구성을 설명하는 도다.
도 4는 기억부 및 화상처리부에 해당하는 하드웨어를 가지고, 또한 기타의 각 부를 소프트웨어로서 보유하여, 실행하는 컴퓨터의 하드웨어 구성 예를 나타내는 블록도다.
도 5는 본 발명의 실시예에 따른 화상처리장치가 실행하는 처리의 흐름도다.
도 6a 내지 6j는 본 발명의 제1 실시예에 따른 화상처리에서 행한 내용을 설명하는 도다.
도 7a 및 7b는 본 발명의 제1 실시예에 따른 S530 및 S540에서 실행된 처리의 상세를 나타내는 흐름도다.
도 8은 본 발명의 제2 실시예에 따른 화상처리장치의 기능 구성 예를 나타내는 블록도다.
도 9a 내지 9e는 본 발명의 제2 실시예에 따른 화상처리에서 행한 내용을 설명하는 도다.
도 10a 및 10b는 본 발명의 제2 실시예에 따른 S530 및 S540에서 실행된 처리의 상세를 나타내는 흐름도다.
도 11은 본 발명의 제3 실시예에 따른 단층상 촬상장치의 전체의 구성을 설명하는 도다.
도 12a 내지 12d는 본 발명의 제3 실시예에 따른 화상처리에서 행한 내용을 설명하는 도다.
도 13은 본 발명의 제4 실시예에 따른 화상처리장치의 기능 구성 예를 나타내는 블록도다.
도 14a 내지 14c는 본 발명의 다른 실시예에 따른 화상처리에서 행한 내용을 설명하는 도다.
이제, 다른 촬영 위치에서 촬영해서 얻은 복수의 고배율의 동화상 각각의 동화상으로부터, 특정 프레임을 선택해서, 그 선택된 프레임을 합성하는(몽타주로 만드는) 경우를 생각한다. 일반적으로, 복수의 고배율의 동화상 각각의 동화상의 프레임들로부터 몇 개의 프레임을 선택하고, 그 선택된 프레임을 이용해서 대표 화상을 취득한다. 취득된 대표 화상끼리를 합성시킴으로써, 광범위한 화상을 생성한다. 이 경우, 인접한 대표 화상끼리를 비교했을 경우, 촬영 위치, 휘도특성, 화상특성 등에 관해서, 인접한 대표 화상끼리의 연속성이 좋지 않은 경우들이 있었다. 이러한 광범위한 화상을 사용해서, 광범위한 영역에 분포된 세포군이나 조직, 및 그것들의 병변(시세포 결손, 미세동맥류)의 분포를 계측하면, 해석 불능한 영역이 발생한 경우나 해석을 위한 영역을 추출할 수 없는 경우 등이 있었다.
다른 촬영 위치에서 촬영해서 얻은 복수의 고배율의 동화상 각각의 동화상으로부터 대표 화상을 취득할 때에, 상기 대표 화상들의 연속성이 향상되도록, 화상을 선택하는 요구가 발견되었다.
본 실시예에 따른 화상처리장치는, 안부의 다른 위치에서 촬영된 복수의 동화상 각각의 동화상으로부터 화상들을 선택해서 얻은 화상(대표 화상)으로 이루어진 복수의 화상(화상군)의 특성의 연속성에 의거하여, 상기 복수의 동화상 각각의 동화상으로부터 화상들을 선택하는 선택 부(예를 들면, 도 1의 선택부(134))를 갖는다. 이에 따라, 다른 촬영 위치에서 촬영된 복수의 고배율의 동화상 각각의 동화상으로부터 대표 화상을 취득할 때에, 상기 대표 화상끼리의 연속성이 보다 좋아지도록 화상을 선택할 수 있다.
이제, 복수의 화상(화상군)의 특성은, 예를 들면, 복수의 화상의 상대 위치, 휘도특성 및 화상특징 중 적어도 하나다. 복수의 화상(화상군)의 각각의 화상(동화상으로부터 선택되어서 얻은 화상)은, 동화상으로부터 취득된 대표 화상이며, 동화상으로부터 선택된 1매의 화상이어도 좋고, 노이즈나 아티팩트 등이 비교적 적은 복수의 화상이 선택되어, 포개진 화상이어도 좋다. 포개진 화상을 사용할 경우에는, 복수의 화상의 특성간의 연속성이 높도록, 포개진 화상의 매수가 적은 것이 바람직하다. 또한, 연속성을 나타내는 값을 판정하는 판정부를 더욱 구비하는 것이 바람직하고, 이에 따라 상기 판정된 값이 소정의 조건을 충족시키도록 동화상으로부터 화상을 선택할 수 있다. 여기에서, 판정된 값이 소정의 조건을 충족시키는 경우는, 예를 들면, 그 판정된 값이 역치를 초과하는 경우나 최대가 되는 경우다. 연속성을 나타내는 값은, 복수의 화상이 합성된 합성 화상을 사용해서 판정되는 것이 바람직하다. 예를 들면, 합성 화상의 면적과 무혈관 영역경계의 길이 중 적어도 하나에 의거하여 판정되고, 이것들에 관해서는 실시예들에서 상세히 설명하겠다. 이하, 본 발명에 따른 화상처리장치와 그의 동작 방법의 바람직한 실시예들을 첨부도면을 참조하여 상세히 설명한다. 그렇지만, 이때, 본 발명은 이들에 한정되는 것이 아니다.
또한, 복수의 촬영 위치를 연속해서 촬영할 때에, 어떤 화상에서도 화상 왜곡이 보이지 않는 화상을 취득하는 것은 어렵다. 따라서, 일반적으로는, 안부의 특정 촬영 위치에 고배율의 동화상 촬영이 행해진다. 이제, 일본국 공개특허공보 특개 2012-213513호에는, 동일 위치에서 의 촬영이 여러 번 행해져도 좋고, 파노라마 화상의 구축에 이용된 화상을, 인접한 화상과 상관관계가 가장 높은 화상이 선택되도록 선택되어도 좋은 것이 개시되어 있다. 이제, 복수의 화상으로부터 파노라마 화상의 구축에 최적인 화상을 선택하는 것뿐이면, 파노라마 화상에 있어서 불완전한 화상의 문제들이 있었다. 따라서, 다른 실시예에 따른 화상처리장치는, 파노라마 화상에 있어서 불완전한 화상이 최소화되도록, 동화상으로부터 복수의 프레임을 선택한다. 이에 따라 파노라마 화상의 불완전한 화상을 저감할 수 있다.
이하, 첨부도면을 참조하여 본 발명에 따른 화상처리장치 및 그 작동 방법의 바람직한 실시예들에 대해서 상세히 설명한다. 그렇지만, 이때, 본 발명은 이들에 한정되는 것이 아니다.
제1 실시예: 다른 위치의 복수의 화상의 상대 위치나 휘도특성의 연속성
제1 실시예에 따른 화상처리장치는, 다른 위치의 복수의 화상(화상군)의 상대 위치와 휘도특성 중 적어도 하나의 연속성에 의거하여 화상군의 적합도를 판정한다. 이러한 구성은, 가장 적합도가 높은 프레임 혹은 화상을 선택하고, 합성해서 표시함으로써, 촬영 영역을 대략 동일조건으로 관찰할 수 있도록 이루어졌다.
구체적으로는, 도 6g에 나타나 있는 바와 같은 9매의 고배율 화상으로 화상군이 구성되고, 각 촬영 위치 단위로 선택부에 의해 선택된 프레임을 사용해서 포개진 화상을 생성하고, 상기 포개진 화상을 합성해서, 화상군으로서의 적합도를 판정하는 경우에 관하여 설명한다.
전체 구성
도 2a는, 본 실시예에 따른 화상처리장치(10)를 구비하는 시스템의 구성도다. 도 2에 나타나 있는 바와 같이, 화상처리장치(10)는, SLO상 촬상장치(20) 및 데이터 서버(40)와, 광파이버, 범용 직렬버스(ＵSＢ), ＩＥＥＥ1394 등으로 구성되는 근거리 통신망(ＬＡＮ)(30)을 통해서 접속되어 있다. 이것들의 기기와의 접속은, 인터넷 등의 외부 네트워크를 거쳐서 접속되는 구성이어도 좋고, 혹은 화상처리장치(10)가 SLO상 촬상장치(20)에 직접 접속되어 있는 구성이어도 된다.
우선, SLO상 촬상장치(20)는, 안부의 광각 화상Ｄｌ과 고배율 화상Ｄｈ를 촬영하는 장치다. SLO상 촬상장치(20)는, 상기 광각 화상Ｄｌ, 상기 고배율 화상Ｄｈ, 및 그 촬영시에 사용된 고시표 위치Ｆｌ, Ｆｈ의 정보를 화상처리장치(10) 및 데이터 서버(40)에 송신한다. 각 배율의 화상을 다른 촬영 위치에서 취득할 경우에, 이것은 Ｄｌｉ, Ｄｈｊ와 같이 나타낸다. 즉 i, j는 각각 촬영 위치 번호를 나타내는 변수이며, i=1,2,...,ｉｍａｘ, j=1,2,...,ｊｍａｘ이다. 고배율 화상을 다른 배율로 취득할 경우에는, 가장 배율이 높은 화상으로부터 순차적으로 D1j, D2k,...과 같이 표기하고, D1j를 고배율 화상, D2k,...을 중간배율 화상으로 표기한다.
데이터 서버(40)는, 피검안의 광각 화상Ｄｌ과 고배율 화상Ｄｈ, 및 그 촬영시에 사용한 고시표 위치Ｆｌ, Ｆｈ와 같은 촬영조건 데이터, 안부의 화상특징, 안부의 화상특징의 분포에 관한 정상치 등을 보유한다. 안부의 화상특징으로서, 본 발명에서는 시세포P, 모세혈관Q, 혈구W, 망막혈관이나 망막층 경계에 관한 화상특징을 취급한다. SLO상 촬상장치(20)가 출력하는 상기 광각 화상Ｄｌ, 상기 고배율 화상Ｄｈ, 촬영시에 사용한 고시표 위치Ｆｌ, Ｆｈ, 화상처리장치(10)가 출력하는 안부의 화상특징을 상기 서버에 보존한다. 또, 화상처리장치(10)로부터의 요구에 따라, 광각 화상Ｄｌ, 고배율 화상Ｄｈ, 안부의 화상특징 및 상기 안부의 상기 화상특징의 정상치 데이터를 화상처리장치(10)에 송신한다.
다음에, 도 1을 참조하여 본 실시예에 따른 화상처리장치(10)의 기능 구성을 설명한다. 도 1은, 화상처리장치(10)의 기능 구성을 나타내는 블록도다. 화상처리장치(10)는 데이터 취득부(110), 기억부(120), 화상처리부(130) 및 지시 취득부(140)를 구비한다. 데이터 취득부(110)는, 화상취득부(111)를 구비한다. 화상처리부(130)는 위치맞춤부(131), 개별 화상 판정부(132), 화상군 판정부(133), 선택부(134) 및 표시 제어부(135)를 구비한다. 한층 더, 화상군 판정부(133)는 위치 판정부(1331) 및 휘도 판정부(1332)를 구비한다.
보상 광학계를 갖는 SLO상 촬상장치
다음에, 도 3을 참조하여 보상 광학계를 갖는 SLO상 촬상장치(20)의 구성을 설명한다. 우선, 201은 광원이며, 초발광 다이오드(SＬＤ)광원을 사용했다. 본 실시예에서는 안저촬상과 파면측정을 위한 광원을 공용하고 있지만, 이들을 별도의 광원으로 해서 도중에 합파하는 구성으로 하여도 좋다. 광원(201)으로부터 조사된 광은, 단일모드 광 파이버(202)를 통과하여, 콜리메이터(203)로부터 평행 측정 광(205)으로서 조사된다. 조사된 측정 광(205)은 빔 스플리터로 이루어진 광분할부(204)를 투과하여, 보상 광학의 광학계에 도광된다.
보상 광학계는, 광분할부(206), 파면 센서(215), 파면보정 디바이스(208) 및 그것들에 도광하기 위한 반사 미러(207-1∼4)로 구성된다. 여기에서, 반사 미러(207-1∼4)는, 적어도 눈의 눈동자, 파면 센서(215) 및 파면보정 디바이스(208)가 광학적으로 공역관계로 되도록 설치되어 있다. 광분할부(206)로서, 본 실시예에서는 빔 스플리터를 사용한다. 또한, 본 실시예에서는, 파면보정 디바이스(208)로서 액정소자를 사용한 공간 위상 변조기를 이용한다. 또한, 파면보정 디바이스로서 가변형상 미러를 사용해도 된다. 보상 광학계를 통과한 광은, 주사 광학계(209)에 의해, 1차원 혹은 2차원으로 주사된다. 주사 광학계(209)로서, 본 실시예에서는 주 주사용(안저수평방향)과 부 주사용(안저수직방향)으로 2개의 갈바노(Galvano) 스캐너를 사용했다. 보다 고속 촬영을 하기 위해, 주사 광학계(209)의 주 주사측에 공진 스캐너를 사용해도 된다. 주사 광학계(209)로 주사된 측정 광(205)은, 접안 렌즈 210-1 및 210-2를 통해서 눈(211)에 주사된다. 눈(211)에 조사된 측정 광(205)은 안저에서 반사 혹은 산란된다. 접안 렌즈 210-1 및 210-2의 위치를 조정함으로써, 눈(211)의 시도에 맞춰서 최적의 조사를 행할 수 있다. 여기에서는, 접 안 렌즈들을 사용했지만, 구면 미러 등이 상기 구성에 사용되어도 좋다.
눈(211)의 망막으로부터 반사 혹은 그 망막에서 산란된 반사/산란광(귀환광)은, 입사했을 때와 들어온 것과 같은 경로를 따라가지만 반대방향으로 진행하고, 광분할부(206)에 의해 일부는 파면 센서(215)에 반사되어, 광선 파면을 측정하는데 사용될 수 있다. 파면 센서(215)는, 보상 광학 제어부(216)에도 접속되어, 수광한 파면을 보상 광학 제어부(216)에 전해준다. 파면보정 디바이스(208)도 보상 광학 제어부(216)에 접속되어 있고, 보상 광학 제어부(216)에서 지시된 변조를 행한다. 보상 광학 제어부(216)는 파면 센서(215)의 측정 결과로부터 취득된 파면을 기초로 수차가 없는 파면으로 보정하기 위한 변조량(보정량)을 계산하고, 파면보정 디바이스(208)에 그렇게 변조하도록 지시한다. 또한, 파면의 측정과 파면보정 디바이스(208)에의 지시는 반복적으로 행해져, 항상 최적의 파면이 되도록 피드백 제어가 행해진다.
광분할부(206)를 투과한 반사/산란광은 광분할부(204)에 의해 일부가 반사되어, 콜리메이터(212) 및 광파이버(213)를 통과해서, 광강도 센서(214)에 도광된다. 광강도 센서(214)에서 광은 전기신호로 변환되어, 제어부(217)에 의해 눈 화상으로서 화상으로 형성되어서, 디스플레이(218)에 표시된다. 도 3의 구성에서 주사 광학계의 발진 각도를 크게 하고, 보상 광학 제어부(216)가 수차보정을 행하지 않도록 지시함으로써, SLO상 촬상장치(20)는 통상의 SLO장치로서도 동작하고, 광각 SLO화상(광각 화상Ｄｌ)을 촬상할 수 있다.
화상처리장치(10)의 하드웨어 구성 및 실행 순서
다음에, 도 4를 참조하여 화상처리장치(10)의 하드웨어 구성에 관하여 설명한다. 도 4에 있어서, 301은 중앙연산처리장치(ＣＰＵ), 302는 메모리(랜덤 액세스 메모리(ＲＡＭ)), 303은 제어 메모리(판독전용 메모리(ＲＯＭ)), 304는 외부 기억장치, 305는 모니터, 306은 키보드, 307은 마우스, 308은 인터페이스다. 본 실시예에 따른 화상처리기능을 실현하기 위한 제어프로그램과, 해당 제어프로그램이 실행될 때에 사용된 데이터는, 외부 기억장치(304)에 기억되어 있다. 상기 제어프로그램과 그 데이터는, ＣＰＵ(301)의 제어하에, 버스(309)를 통해서 적당하게 ＲＡＭ(302)에 로딩되어, ＣＰＵ(301)에 의해 실행되고, 이하에 설명하는 각 부로서 기능한다. 화상처리장치(10)를 구성하는 각 블록의 기능은, 도 5의 흐름도에 나타낸 화상처리장치(10)의 구체적인 실행 순서와 상관된다.
스텝510: 화상취득
화상취득부(111)는, SLO상 촬상장치(20)에 대하여, 광각 화상Ｄｌ, 고배율 화상Ｄｈｊ 및 대응하는 고시표 위치Ｆｌ, Ｆｈ의 취득을 요구한다. 본 실시예에서는, 황반부의 중심와에 고시표 위치Ｆｌ 및 Ｆｈ를 설정해서 광각 화상Ｄｌ 및 고배율 화상Ｄｈｊ를 취득한다. 또한, 촬영 위치의 설정 방법은 이것에 한정되지 않고, 임의의 위치에 설정되어도 좋다.
SLO상 촬상장치(20)는, 상기 취득 요구에 따라, 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ, 대응하는 고시표 위치Ｆｌ, Ｆｈ를 취득해 송신한다. 화상취득부(111)는 SLO상 촬상장치(20)로부터 ＬＡＮ(30)을 거쳐 해당 광각 화상Ｄｌ, 고배율 화상Ｄｈｊ 및 고시표 위치Ｆｌ, Ｆｈ를 수신하여, 기억부(120)에 기억한다. 또한, 본 실시예에서는 상기 광각 화상Ｄｌ 및 고배율 화상Ｄｈｊ는 프레임간 위치맞춤이 이미 행해진 동화상이다.
스텝520: 위치맞춤
위치맞춤부(131)는, 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ와의 위치맞춤을 행하고, 광각 화상Ｄｌ상의 고배율 화상Ｄｈｊ의 상대 위치를 취득한다. 고배율 화상Ｄｈｊ간에 중첩하는 영역이 있을 경우에는, 이 중첩하는 영역에 관해서도 화상간 유사도를 산출하기도 하고, 가장 화상간 유사도가 최대가 되는 위치에서 고배율 화상Ｄｈｊ끼리의 위치를 맞춘다.
다음에, S510에 있어서 다른 배율의 화상이 취득되어 있는 경우에는, 보다 저배율 화상으로부터 순차적으로 위치맞춤을 행한다. 예를 들면, 고배율 화상D1j와 중간배율 화상D2k가 취득되어 있을 경우에는, 우선, 광각 화상Ｄｌ과 중간배율 화상D2k와의 사이에서 위치맞춤을 행하고, 이어서 중간배율 화상D2k와 고배율 화상D1j와의 사이에서 위치맞춤을 행한다. 고배율 화상만이 있을 경우에는, 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ와의 사이에서 위치맞춤만을 행하는 것은 말할 필요도 없다.
또한, 위치맞춤부(131)는, 기억부(120)로부터 고배율 화상Ｄｈｊ의 촬영시에 사용한 고시표 위치Ｆｈ를 취득하고, 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ간의 위치맞춤에 있어서의 위치맞춤 파라미터의 탐색 초기 점의 설정에 사용한다. 화상간 유사도나 좌표변환 수법들에는 임의의 공지의 수법을 사용할 수 있다. 본 실시예에서는, 화상간 유사도에 상관계수를 사용하고, 좌표변환수법으로서 Ａｆｆｉｎｅ변환을 사용해서 위치맞춤을 행한다.
스텝530: 동화상마다 적합도를 판정하는 처리
개별 화상 판정부(132)는, 프레임의 휘도값과 프레임간의 이동량에 의거하여, 적합도의 판정 처리를 행한다. 한층 더, 선택부(134)는 적합도의 판정 결과에 의거하여 선택 처리를 행하고, 개별화상을 형성한다. 여기에서, 개별화상은, 동화상의 모든 프레임이 포개진 화상이어도 좋거나, 선택된 1매의 프레임이어도 좋다. 노이즈 등이 비교적 적은 복수의 화상이 선택되어, 선택된 화상이 포개진 화상이, 사용되어도 좋다. 본 스텝의 처리에 대해서는, 도 7a의 흐름도를 참조하여 나중에 상세하게 설명한다.
스텝540: 화상군으로서 적합도를 판정하는 처리
S530에서 형성된 개별화상에 의거하여 화상군 판정부(133)가 화상군(다른 위치의 인접하는 복수의 화상)의 사이의 상대 위치 및 상대 휘도에 의거하여 적합도를 판정하고, 선택부(134)가 가장 적합도가 높은 조합의 화상을 선택해서, 이들을 합성해 화상을 형성한다. 본 실시예에서는, 선택부(134)는, 각 취득 위치에서 화상군 판정부(133)가 가장 적합도가 높다고 판정한 조합의 프레임 구간을 선택해서 포개진 화상을 생성하고, 합성 화상을 형성한다. 본 스텝의 처리에 대해서는, 도 7b의 흐름도를 참조하여 나중에 상세하게 설명한다.
스텝550: 표시
표시 제어부(135)는, S520에 있어서 얻어진 위치맞춤 파라미터의 값 및 S540에 있어서 선택된 영역, 프레임 혹은 화상에 근거하여, 광각 화상Ｄｌ 위에 고배율 화상군Ｄｈｊ를 표시한다. 표시 제어부(135)는, 복수의 고배율 화상Ｄｈｊ가 취득되어 있는 경우에 고배율 화상간의 농도차이를 보정해서 표시해도 좋다. 임의의 공지의 휘도 보정법을 사용하여도 된다. 본 실시예에서는, 고배율 화상Ｄｈｊ마다 히스토그램Ｈｊ를 생성하고, 그 히스토그램Ｈｊ의 평균과 분산이 고배율 화상Ｄｈｊ간에 공통된 값이 되도록 고배율 화상Ｄｈｊ의 휘도값을 선형 변환함에 의해, 농도차이를 보정한다. 또한, 고배율 화상간의 휘도 보정법은 이에 한정되지 않고, 임의의 공지의 휘도 보정법을 사용해도 좋다. 한층 더, 표시 배율에 대해서는, 지시 취득부(140)를 통해서 조작자가 지정한 고배율 화상을 확대해서 모니터(305)에 표시한다.
스텝560: 결과를 보존할 것인가 아닌가의 지시
지시 취득부(140)는, 광각 화상Ｄｌ, 선택부(134)에 의해 선택된 고배율 화상Ｄｈｊ, 고시표 위치Ｆｌ, Ｆｈ, S520에 있어서 취득된 위치맞춤 파라미터 값을, 데이터 서버(40)에 보존할 것인가 아닌가의 지시를 외부적으로 취득한다. 이 지시는, 예를 들면, 키보드(306)나 마우스(307)를 통해 조작자에 의해 입력된다. 보존이 지시된 경우에는, S570에 흐름이 진행되고, 보존이 지시되지 않은 경우에는, S580에 흐름이 진행된다.
스텝570: 결과의 보존
화상처리부(130)는, 검사 일시, 피검안을 식별하는 정보, 광각 화상Ｄｌ, 선택부(134)에 의해 선택된 고배율 화상Ｄｈｊ와 고시표 위치Ｆｌ, Ｆｈ, 위치맞춤 파라미터 값을 상관시켜, 데이터 서버(40)에 송신한다.
스텝580: 처리를 종료할 것인가 아닌가의 지시
지시 취득부(140)는, 화상처리장치(10)에 의한 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ에 관한 처리를 종료할 것인가 아닌가의 지시를 외부적으로 취득한다. 이 지시는, 키보드(306)나 마우스(307)를 통해 조작자에 의해 입력된다. 처리 종료의 지시를 취득한 경우에는, 처리를 종료한다. 한편, 처리 계속의 지시를 취득했을 경우에는 S510에 흐름을 되돌리고, 다음 피검안에 대한 처리(또는 동일 피검안에 대한 재처리)를 행한다.
동화상마다 적합도 판정에 관한 처리
다음에, 도 7a의 흐름도를 참조하여, S530에서 실행된 처리를 상세히 설명한다.
스텝710: 적합도 판정기준의 취득
개별 화상 판정부(132)는, 지시 취득부(140)를 통해서 적합도 판정기준을 취득한다. 여기에서, 적합도 판정기준으로서는, 이하의 항목 a)∼d)를 열거할 수 있다:
a) 화상의 휘도값이 적정 범위인 것,
b) 화질(S/Ｎ비 등)의 적정 값의 범위,
c) 참조 프레임에 대한 이동량이 적정 범위인 것,
d) 포커스 위치가 적정 범위에 있는 것,
여기에서, 본 실시예에서는, a)를 적합도로서 취득한다. 이것은, 고시위치의 블링킹이나 마킹된 편차의 결과로서, 측정 광이 안저에 닿지 않는 것으로 인해 발생하는 저휘도 프레임을 제외하기 위해서다.
스텝720: 적합도 판정
개별 화상 판정부(132)는, 고배율SLO화상Ｄｈｊ의 각 프레임에 대하여 S710에서 취득한 기준을 따라서 적합도를 판정한다. 본 실시예에서는, a)가 각각 적정 범위이면 1의 값, 적정 범위외이면 -1의 값이 할당된다.
스텝730: 화상선택
선택부(134)는, S720에서 판정된 적합도에 의거하여, 촬영 위치 단위로 표시하기 위해 사용하는 화상(동화상의 경우에는 프레임들)을 선택하고, 화상을 형성한다. 본 실시예에서는, 고배율 화상은 도 6c에 나타나 있는 바와 같이 시세포를 촬영한 동화상이고, 상기 동화상으로부터 포개진 화상이 형성된다. 여기에서, 개별화상의 형성 방침으로서는, 이하의 항목(i)과 (ｉｉ)를 열거할 수 있다:
(i) 포개진 매수를 최대화하고(화질우선),
(ｉｉ) 포개진 화상의 면적을 최대화한다(불완전한 화상의 방지 우선).
(i)의 경우, S720에서 선택된 모든 프레임을 사용해서 포갠다. 예를 들면, 개별 고배율 동화상의 각 프레임의 위치가 도 6c와 같이 상관되는(Ｎｆ:프레임 번호) 경우, 포개진 결과는 도 6d에 도시된 것과 같다. 본 예에서는 선두 프레임이 참조 프레임이다. 이 도 6d에서는 포개는데 사용되지 않는 영역(불완전한 화상)을 흑색으로 나타냈다. 고화질이지만, 프레임간 위치맞춤 때문에 화소값이 없는 프레임이 있는 영역은 포개는데 사용되지 않아서, 불완전한 화상이 생기기 쉽다. (ｉｉ)의 경우, 조금이라도 위치 편차가 있는 S720에서 선택된 프레임들을 제외한다. 예를 들면, 도 6c의 경우에는, 프레임 번호 2∼4가 제외된다. 불완전한 화상은 생기지 않지만, 포개진 화상의 매수가 보다 적어서, 화질은 (i)의 경우보다 저하하기 쉽다. 이제, 본 실시예의 경우에는, S720에서 산출된 적합도가 1이 프레임을 선택하고, (i)의 방침, 즉 상기 선택된 모든 프레임에 있어서 화소값이 양의 값인 영역만을 사용해서 포개진 화상을 형성한다.
화상군으로서 적합도를 판정하는 처리
다음에, 도 7b의 흐름도를 참조하여, S540에서 실행된 처리를 상세하게 설명한다.
스텝740: 적합도 판정
화상군 판정부(133)는, S520에서 사용된 위치맞춤 파라미터에 후속하는 S730에서 형성된 화상군을 합성하고, 상기 화상군의 상대 위치 및 휘도특성에 의거하여 화상군의 적합도를 판정한다. 본 실시예에서는 화상군은 도 6g에 나타나 있는 바와 같은 9개의 포개진 화상으로 구성되고, 좌측위에서 래스터 주사(지그재그 주사)의 순으로 그 화상번호 j가 증가하는 것으로 가정한다. 합성 화상(화상군)의 적합도에 관한 판정 방침을 우선도 순으로 열거된 것과 같다,
말하자면,
1. 합성 화상내에 불완전한 화상 영역이 발생되지 않고,
2. 화질이 촬영 위치에 따라 변동하지 않고,
3. 가능한 한 많은 화상이 포개진다.
이들 중, 1, 2는 합성 화상내를 동일조건으로 관찰 가능하게 하기 위해서 설정된 조건이며, 위치 판정부(1331)가 조건 1을, 휘도 판정부(1332)가 조건 2를 판정한다. 화상군의 상대 위치와 휘도특성의 양쪽을 조건으로서 설정할 필요는 없고, 어느 한쪽을 조건으로서 설정하면 좋다.
이제, 화상군으로서의 적합도를 판정하지 않을 경우, 즉, 촬영 위치마다 S730의 (ｉｉ)의 방침을 따라 합성 화상을 생성했을 경우, 상기 조건 2를 충족시키지 않는 경우들이 있다. 상기 조건 2을 충족시키도록 상기 (ｉｉ)의 방침을 따라 합성 화상을 생성하는 경우에, 포개진 화상의 매수가 가장 포개진 화상이 적은 화상의 매수와 일치해야하기 때문에, 화상군의 적합도를 판정해서 화상을 선택할 경우보다도 화질이 저하해버린다. 따라서, 인접하는 화상의 단부(edges)나 중첩 부분에 있어서의 데이터의 연속성과 보완성을 고려한 적합도 판정을 행함으로써, 조건 1과 2를 충족시키면서, 보다 고화질의 합성 화상을 얻는(많은 매수의 화상으로 포개지는) 것이 가능하게 된다.
본 실시예에서는, 도 6f의 회색영역에 나타나 있는 바와 같은 인접하는 2화상간에서의 중복 영역과, 도 6f의 흑색영역에 나타나 있는 바와 같은 인접하는 4화상간에서의 중복 영역이 존재한다. 구체적으로는, 이하의 순서로 화상군의 적합도를 판정한다.
(1) S730에서 생성한 개별화상(화질우선)을, S520에서 구한 위치맞춤 파라미터에 따라 합성된다.
(2) (1)에서 생성한 합성 화상내의 불완전한 화상의 유무를 조사하고, (합성 화상의 면적-불완전한 화상의 면적)/(합성 화상의 면적)을 산출한다.
스텝750: 화상선택
선택부(134)는, S740에서 판정된 적합도에 근거하여, 상기 적합도가 가장 높게 되도록 각 고배율 화상에 있어서의 화상선택을 행하고, 그 선택된 화상에 의거하여 화상군의 형성 처리를 행한다. 구체적으로는, 이하의 순서에 따라 화상선택(프레임 혹은 영역의 선택)을 행하고, 화상군의 형성 처리를 행한다.
(3) 불완전한 화상이 없으면, 그대로 합성 화상을 형성해서 그 처리를 종료한다.
(4) 불완전한 화상이 있으면, 불완전한 화상 영역의 위치를 구한다.
(5) 불완전한 화상 영역이 포함되거나, 혹은 불완전한 화상 영역에 인접하는 변을 가지는, 화상의 중복 영역에 있어서의 보완(대체) 데이터의 유무를 조사한다. 예를 들면, 도 6g에서는, 화상 6과 화상 9에 불완전한 화상이 있으므로, 화상 6과 화상 5의 좌단(left edge), 화상 9에 있어서 보완 데이터의 유무를 조사한다.
(6) 보완(대체)데이터가 있는 경우에는, 보완 데이터 중 가장 화질이 좋은(포개진 화상의 매수가 가장 많은) 보완 데이터로 불완전한 화상 영역을 대체하고, (8)을 실행한다(선택부(134)에 의한 화상내의 영역 선택 처리에 해당한다).
(7) 보완(대체)데이터가 없는 경우에는, 불완전한 화상 영역이 해소되도록 불완전한 화상 영역이 포함되는 화상 혹은 상기 영역에 인접하는 변을 갖는 화상의 선택 프레임을 변경한다. 만약 불완전한 화상 영역을 해소하는 복수의 프레임의 선택법이 있는 경우에는, 가장 포개진 화상 매수가 많은 프레임 선택법을 선택한다.
(8) (7)에서 얻어진 상기 포개진 화상군 중, 가장 포개진 화상의 매수가 적은 포개진 화상의 매수ＡＮｍｉｎ을, 합성 화상의 포개진 화상의 매수로서 설정하고, 각 촬영 위치에서의 포개진 화상의 매수를 ＡＮｍｉｎ로 변경해서, 다시 그 포개진 화상을 생성한다.
(9) (8)에서 생성한 포개진 화상을 사용해서 합성 화상을 생성한다. 도 6h와 같이, 더 이상 불완전한 화상이 없고, 포개진 화상의 매수가 동일하고 최대인 합성 화상이 생성된다.
또한, 동일검사의 동일 촬영 위치에서 동화상이 Ｎｔ회(Ｎｔ≥2) 취득되어 있을 경우에는, S730에 있어서 (1∼Ｎｔ회째의) 가장 적합도가 높은 동화상을 선택해두고, S750에 있어서의 화상선택(5)에 있어서 불완전한 화상 영역에 대한 다른 촬영 회에서의 대체 데이터의 유무를 조사하고, 모든 대체 데이터 중 가장 화질이 좋은 대체 데이터로 대체된다. 그래도 불완전한 화상 영역이 있을 경우에, 인접화상의 중복 영역에서의 대체 데이터의 유무를 조사하여도 좋다.
또한, 본 실시예에서는 화상군으로서의 적합도의 판정에 의거하여 형성된 합성 화상은 정지화상(포개진 화상)이라고 했지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 인접하는 동화상의 단부나 중첩 부분에 있어서의 데이터의 보완성을 고려한 적합도 판정을 행하고, 도 6j에 나타나 있는 바와 같이, 동화상을 합성해 표시해도 좋다.
동화상의 합성된 표시의 경우에 기본적인 처리의 흐름은 정지화상의 합성된 표시의 경우와 같지만, 이하의 점이 다음과 같이 다르다.
(i) 화상처리장치(10)에 대하여 도 2b에 나타나 있는 바와 같은 시간 위상 데이터 취득 장치(50)를 접속하고, 동화상과 동시에 시간 위상 데이터를 취득해둔다. 시간 위상 데이터는, 예를 들면, 맥파계에 의해 취득된 생체신호 데이터다. 시간 위상 데이터를 참조함으로써 각 동화상의 심장주기, 즉 재생해야 할 주기를 얻는다. 동화상의 프레임 보간처리에 의해 상기 재생 주기를 동화상간에 동일하게 정렬된다.
(ｉｉ) S730의 촬영 위치 단위에서의 화상형성 처리에 있어서, 휘도이상의 프레임을 제외한 최장의 연속한 프레임 구간을 선택한다.
(ｉｉｉ) S740의 화상군으로서 적합도 판정 처리에 있어서, 이하의 방침에 따라 적합도 판정을 행한다; 말하자면,
합성 화상내에 불완전한 화상 영역을 생성하지 않는다.
재생 프레임수가 일 촬영 위치에서 다른 촬영 위치로 변동하지 않는다.
가능한 한 많은 프레임 수(주기)의 동화상을 합성해 표시한다.
(ｉv) S750의 화상군으로서 화상형성 처리의 (6), (7), (8)에서 선택된 프레임은, 연속한 프레임 구간으로서 설정된다.
이에 따라, 동화상의 상기 합성된 표시로부터 불완전한 화상이 없어지고, 재생 프레임수가 동일한 최장의 연속한 프레임을 갖는 합성된 동화상이 형성된다. 시간 위상 데이터가 취득되지 않은 경우에는, 재생 시각을 조정하지 않고 동화상으로서 합성된 표시를 해도 좋다.
이상 서술한 구성에 의하면, 화상처리장치(10)는 다른 촬영 위치의 보상 광학SLO화상의 합성 화상을 표시할 때, 촬영 대상영역과 비교했을 경우의 화상군의 적합도, 즉 관찰 불능영역의 적음에 근거하는 적합도를 판정한다. 상기 적합도가 가장 높게 되도록, 인접하는 화상의 단부나 중첩 영역에 있어서의 데이터의 연속성과 보완성에 의거한 화상으로부터 영역 혹은 프레임 혹은 화상을 선택하여, 합성해 표시한다. 이에 따라, 관찰 대상의 세포와 조직, 및 그것들의 병변이 복수의 고배율 화상에 걸쳐 있는 경우에, 대략 동일한 조건으로 관찰 가능한 합성 화상을 생성할 수 있다.
제2 실시예: 다른 위치의 복수의 화상의 화상특징의 연속성
제2 실시예에 따른 화상처리장치는, 제1 실시예와 같이 인접하는 고배율 화상의 상대 위치와 휘도특성의 연속성에 근거해 화상군의 적합도를 판정하는 것이 아니고, 인접하는 고배율 화상으로부터 추출된 화상특징의 연속성에 근거해 화상군의 적합도를 판정하도록 구성된다. 구체적으로는, 고배율SLO화상으로부터 추출된 부중심와의 모세혈관 영역의 연속성에 의거하여 화상군의 적합도를 판정한다.
본 실시예에 따른 화상처리장치(10)와 접속된 기기의 구성은 제1 실시예의 경우와 같다. 데이터 서버(40)는, 피검안의 광각 화상Ｄｌ, 고배율 화상Ｄｈ, 및 그 취득에 사용된 고시표 위치Ｆｌ, Ｆｈ와 같은 취득 조건이외에, 안부의 화상특징과 안부의 화상특징의 분포에 관한 정상치도 보유한다. 안부의 임의의 화상특징을 보유할 수 있지만, 본 실시예에서는 망막혈관, 모세혈관Q 및 혈구W에 관한 화상특징을 사용한다. 화상처리장치(10)가 출력하는 안부의 화상특징은 상기 데이터 서버(40)에 보존된다. 또, 화상처리장치(10)로부터의 요구시에 안부의 화상특징과 안부의 화상특징의 분포에 관한 정상치 데이터가 화상처리장치(10)에 송신된다. 도 8은 본 실시예에 따른 화상처리장치(10)의 기능 블록을 나타낸다. 이것은, 화상처리부(130)에 화상특징 취득부(136)를 구비하는 점에 대해 상기 제1 실시예의 경우와 다르다. 본 실시예에 따른 화상처리 흐름은, 도 5와 같고, 이때 S510, S520, S560, S570, S580은 제1 실시예의 경우와 같다. 따라서, 본 실시예에서는 S530, S540, S550의 처리만 설명한다.
스텝530: 동화상마다 적합도를 판정하는 처리
개별 화상 판정부(132)는 프레임의 휘도값과 프레임간의 이동량에 의거하여 적합도의 판정 처리를 행한다. 한층 더, 선택부(134)는 적합도의 판정 결과에 의거하여 선택 처리를 행하고, 개별화상을 형성한다. 본 스텝의 처리에 대해서는, 도 10a의 흐름도를 참조하여 나중에 자세하게 설명한다.
스텝540: 화상군으로서 적합도를 판정하는 처리
S530에서 형성된 개별화상에 의거하여, 화상군 판정부(133)는 화상특징의 화상간의 연속성에 의거하여 적합도를 판정하고, 화상선택부(134)는 가장 적합도가 높은 조합의 화상을 선택하고, 이들을 합성하여 화상을 형성한다. 본 스텝의 처리에 대해서는, 도 10b의 흐름도를 참조하여 나중에 상세하게 설명한다.
스텝550: 표시
표시 제어부(135)는, S520에 있어서 얻어진 위치맞춤 파라미터 값을 사용하여 S540에서 형성한 합성 화상을 표시한다. 본 실시예에서는 도 9b와 같은 모세혈관을 추출한 합성 화상의 표시를 행한다.
동화상마다 적합도를 판정하는 처리
다음에, 도 10a에 나타내는 흐름도를 참조하여, S530에서 실행된 처리에 대해 상세하게 설명한다. 또한, S1010 및 S1020은, 제1 실시예에 있어서의 S710 및 S720과 같으므로, 그 설명은 생략한다.
스텝1030: 화상선택
선택부(134)는, S1020에서 판정된 적합도에 의거하여 촬영 위치 단위로 표시하기 위해 사용하는 화상(동화상의 경우에는 프레임)을 선택하고, 화상을 형성한다. 본 실시예에서는, 고배율 화상은 모세혈관 영역을 촬영한 동화상이고, 상기 동화상으로부터 모세혈관들을 추출한 화상 (이하, "모세혈관 화상"이라고 표기)이 형성된다.
개별화상의 형성 방침으로서는, 이하의 항목(i)과 (ｉｉ)을 열거할 수 있다, 말하자면,
(i) 모세혈관 화상의 형성에 사용하는 프레임 수를 최대화하고(화질우선),
(ｉｉ) 모세혈관 영역의 면적을 최대화한다(불완전한 화상 방지 우선).
(i)의 경우, S1020에서 선택된 모든 프레임을 사용해서 모세혈관을 추출한다. (ｉｉ)의 경우, 조금이라도 위치 편차가 있는 S1020에서 선택된 프레임이 제외된다. 예를 들면, 도 6c의 경우에는, 프레임 번호 2∼4가 제외된다. 불완전한 화상은 생기지 않지만, 모세혈관의 추출에 사용된 프레임 수가 보다 적어지기 때문에, 화질은 (i)의 경우보다 저하하기 쉽다. 이제, 본 실시예의 경우에는, S1020에서 산출된 적합도가 1의 프레임을 선택함과 아울러, (i)의 방침, 즉 상기 선택된 모든 프레임에 있어서 화소값이 양인 영역만을 사용해서 모세혈관 영역을 추출한다.
스텝1040: 화상특징의 추출
화상특징 취득부(136)는, 고배율 화상Ｄｈｊ로부터 모세혈관을 검출하고, 검출된 모세혈관 영역으로부터 무혈관 영역의 경계를 검출한다. 본 실시예에서는, 우선 모세혈관을 고배율 화상Ｄｈｊ로부터 이하의 순서에 따라 혈구성분의 이동 범위로서 특정한다, 말하자면,
(a) 프레임간 위치 맞춤된 고배율 화상Ｄｈｊ의 인접 프레임간에 차분 처리를 행한다(차분 동화상을 생성한다).
(b) (a)에서 생성한 차분 동화상의 각 x-y위치에 있어서 프레임 방향의 휘도통계량(분산)을 산출한다.
(c) 상기 차분 동화상의 각 x-y위치에 있어서 휘도분산이 역치Ｔｖ이상의 영역을 혈구가 이동한 영역, 즉 모세혈관 영역으로서 특정한다.
또한, 모세혈관의 검출 방법은, 이 방법에 한정되는 것이 아니고, 임의의 공지의 방법을 사용해도 좋다. 예를 들면, 고배율 화상Ｄｈｊ의 특정한 프레임에 대하여 선형구조를 강조하는 필터를 적용해서 혈관을 검출해도 좋다.
다음에, 화상특징 취득부(136)는 상기 얻어진 모세혈관 영역으로부터 무혈관 영역의 경계를 검출한다. 망막의 중심와 부근에는 망막혈관이 존재하지 않는 영역(무혈관 영역)이 존재한다(예를 들면, 도 6i의 Ｄｈ5). 망막혈관의 초기 병변은 무혈관영역 경계 주위에 생기기 쉽고, 또 당뇨병 망막증 등의 병변이 진행함에 따라 무혈관 영역이 확대해간다. 따라서, 무혈관 영역 경계는 관찰 및 해석의 중요한 대상이다.
본 실시예에서는, 고배율 화상군의 중심에 위치하는 고배율 화상Ｄｈ5에 원형의 가변형상 모델을 배치하고, 이 가변형상 모델을 무혈관 영역 경계에 일치하도록 변형시킴으로써, 무혈관 영역 경계를 특정한다. 변형이 완료된 상기 가변형상 모델의 위치를, 무혈관 영역 경계의 후보위치로 한다. 또한, 무혈관 영역 경계의 특정 방법은 이에 한정하지 않고 임의의 공지의 수법을 사용해도 좋다.
화상군으로서 적합도를 판정하는 처리
다음에, 도 10b의 흐름도를 참조하여, S540에서 실행된 처리를 상세히 설명한다.
스텝1050: 적합도 판정
화상군 판정부(133)는, 고배율 화상Ｄｈｊ로부터 취득된 화상특징(모세혈관 영역)에 관해서 이하의 지표를 산출하고, 상기 지표에 의거하여 화상군의 적합도를 판정한다.
(실제로 취득된 무혈관 영역 경계의 길이의 총 합계)/(S1040에서 설정한 무혈관 영역 경계 후보점열의 길이의 총 합계)
스텝1060: 화상선택과 화상특징의 갱신
선택부(134)는, S1050에서 판정된 적합도에 근거하여, 상기 적합도가 가장 커지도록 각 고배율 화상에 있어서의 화상을 선택하고, 선택된 화상에 의거하여 화상군의 형성 처리를 행한다. 구체적으로는, 이하의 순서에 따라 화상선택을 행하고, 화상군의 형성 처리를 행한다.
(3') 불완전한 화상특징이 없으면, 그대로 합성 화상을 형성하고 그 처리를 종료한다.
(4') 불완전한 화상특징이 있으면, 불완전한 화상특징 영역의 위치를 구한다.
(5') 불완전한 화상특징 영역이 포함되거나, 혹은 불완전한 화상특징 영역에 인접하는 변을 갖는 화상의 중복 영역에 있어서의 보완(대체)데이터의 유무를 조사한다. 예를 들면, 도 9a에서는 화상 6에 불완전한 화상특징이 있으므로, 화상 6과, 화상 5의 좌단에 있어서 보완 데이터의 유무를 조사한다.
(6') 보완(대체)데이터가 있는 경우에는, 보완 데이터 중 가장 화질이 좋은(모세혈관 추출에 사용하는 프레임수가 많은) 보완 데이터로 상기 불완전한 화상특징 영역을 대체하고, (8')을 실행한다
(7') 보완(대체)데이터가 없는 경우에는, 불완전한 화상특징 영역이 해소되도록 불완전한 화상특징 영역이 포함되는 화상 혹은 상기 영역에 인접하는 변을 갖는 화상의 선택 프레임을 변경한다. 만약 불완전한 화상특징 영역을 해소하는 프레임의 선택법이 복수 있는 경우에는, 가장 선택되는 프레임수가 많아지는 프레임 선택법을 선택한다.
(8') (7')에서 얻어진 모세혈관 화상군 중, 모세혈관 화상을 생성하는데 사용된 프레임수가 가장 적은 모세혈관 화상의 생성에 사용된 프레임수ＡＮｍｉｎ'을, 각 모세혈관 화상에서 사용된 프레임수로서 설정한다. 각 촬영 위치에서의 모세혈관 추출에 사용된 프레임수를, ＡＮｍｉｎ'로 변경해서, 다시 모세혈관 화상을 생성한다.
(9') (8')에서 생성한 모세혈관 화상을 사용해서 합성 화상을 생성한다. 도 6h와 같이, 보다 불완전한 화상특징이 없고, 모세혈관 추출에 사용된 프레임수가 동일하고 최대인 합성 화상이 생성된다.
또한, 화상군에 대한 적합도를 산출하기 위해서 사용된 화상특징은 무혈관 영역 경계에 한정되지 않고, 임의의 화상특징을 이용해도 좋다. 예를 들면, 도 9c에 나타나 있는 바와 같이 시신경 유두부를 촬영한 4매의 고배율 화상의 화상군의 적합도를 판정하는 경우에는, 역치처리에 의해 함요부(cupped portion)를 검출해서, 상기 함요부의 경계위치의 연속성에 의거하여 화상군의 적합도를 판정할 수 있다. 구체적으로는, 함요부 경계의 엣지의 총 합계를 화상군의 적합도로서 사용한다. 물론, 화상군의 적합도는 이에 한정하지 않고, 예를 들면 역치처리에 의해 검출된 함요영역의 면적이어도 좋다.
화상군의 적합도가 최대가 되는 화상선택법은, 기본적으로 제1 실시예의 S750과 같다. 이것은, 다만, 프레임 선택 후에 생성된 포개진 화상에 대하여 특징추출(함요부 경계 검출)을 행하고, 상기 화상특징의 연속성을 사용해서 화상군의 적합도를 판정하는 것과, 상기 특징추출된 화상을 합성하는 점이 상기 제1 실시예의 경우와 다르다. 이러한 종류의 화상군의 적합도 판정 및 화상군 형성 처리로 인해, 도 9d의 우하의 고배율 화상Ｄｈ3과 같이 화상특징의 불연속부가 존재한 합성 화상은 도 9e와 같이 상기 불연속부가 해소되어, 해석 대상의 조직이 대략 동일한 조건으로 해석될 수 있다.
이상 서술한 구성에 의하면, 화상처리장치(10)는, 인접하는 고배율 화상으로부터 추출된 화상특징의 연속성에 의거하여 화상군의 적합도를 판정한다. 이에 따라, 해석 대상의 세포와 조직, 및 그것들의 병변이 복수의 고배율 화상에 걸쳐 존재하는 경우에, 대략 동일한 조건으로 해석 가능한 합성 화상을 생성할 수 있다. 또한, 화상군의 적합도를 판정하기 위한 조건으로서, 화상특징 이외에, 예를 들면 제1 실시예의 조건인 화상군의 상대 위치와 휘도특성 중 적어도 하나의 조건에서 첨가해도 된다.
제3 실시예: 보상 광학계를 구비한 단층상 촬상장치
제3 실시예에 따른 화상처리장치는, 다른 촬영 위치에서 촬상한 고배율의 보상 광학ＯＣＴ단층화상을 합성해 표시할 때에, 촬영(해석)대상영역과 비교했을 경우의 관찰(해석)불능영역의 적음에 의거하여 화상군의 적합도를 판정한다. 구체적으로는, 중심와 부근에서 복수(3×3×3=27)의 고배율 화상을 취득하고, 위치맞춤 처리에 의해 합성하고, 촬상(해석)대상영역과 비교했을 경우의 관찰(해석)불능영역의 적음에 의거하여 화상군의 적합도를 판정하는 경우에 관하여 설명한다.
본 실시예에 따른 화상처리장치(10)와 접속되는 기기의 구성을 도 2c에 나타낸다. 본 실시예에서는 보상 광학계를 구비한 단층상 촬상장치(60)와 접속되는 점이 제1 실시예와 다르다. 단층상 촬상장치(60)는 안부의 단층상을 촬상하는 장치이며, 스펙트럴 도메인 방식의 광간섭 단층촬영(SＤ-ＯＣＴ)으로서 구성된다. 안부 단층상 촬상장치(60)는 도면에서 생략된 조작자에 의한 조작에 따라, 피검안의 단층상을 3차원적으로 촬상한다. 촬상한 단층상은 화상처리장치(10)에 송신된다.
다음에, 본 실시예에 따른 화상처리장치(10)의 기능 블록은 제1 실시예의 경우와 같으므로, 그 설명을 생략한다. 데이터 서버(40)는 안부의 화상특징이나 안부의 화상특징의 분포에 관한 정상치 데이터를 보유하고 있고, 본 실시예에서는 망막층 경계와 그 형상 및 두께에 관한 정상치 데이터를 보유하고 있다.
다음에, 도 11을 참조하여 보상 광학계를 갖는 단층상 촬상장치(60)의 구성을 설명한다. 도 11에 있어서, 201은 광원이며, 본 실시예에서는 파장 840ｎｍ의 SＬＤ광원을 사용한다. 광원(201)은 저간섭성의 배치이면 좋고, 파장 간격 30ｎｍ이상의 SＬＤ광원이 적합하게 사용된다. 또한, 티타늄:사파이어 레이저등의 초단 펄스레이저를 광원으로서 사용할 수도 있다. 광원(201)으로부터 조사된 광은, 단일모드 광파이버(202)를 통과해, 파이버 커플러(520)까지 도광된다. 파이버 커플러(520)에 의해, 이 광은 측정 광경로(521)와 참조 광경로(522)에 분기되어진다. 파이버 커플러는 10:90의 분기비의 것을 사용하고, 투입 광량의 10%가 측정 광경로(521)에 가도록 구성한다. 측정 광경로(521)를 통과한 광은, 콜리메이터(203)로부터 평행한 측정 광으로서 조사된다. 콜리메이터(203) 이후의 구성은 제1 실시예와 같아서, 보상 광학계와 주사 광학계를 거쳐 눈(211)에 조사하고, 눈(211)으로부터의 반사 및 산란광은 광파이버(521)에 도광되도록 같은 경로를 되돌아가 파이버 커플러(520)에 도달한다. 한편, 참조 광경로(522)를 통과한 참조 광은 콜리메이터(523)에서 출사되어, 광로 길이 가변부(524)로 반사해서 다시 파이버 커플러(520)에 돌아간다. 파이버 커플러(520)에 도달한 측정 광과 참조 광은 합파되어, 광 파이버(525)를 통해서 분광부(526)에 도광된다. 분광부(526)에 의해 분광된 간섭 광 정보를 바탕으로, 제어부(217)에 의해 안부의 단층상이 구성된다. 제어부(217)는 광로 길이 가변부(524)를 제어하여, 원하는 깊이 위치의 화상을 취득할 수 있다. 또한, 도 11의 구성에서 주사 광학계의 발진각을 크게 하고, 보상 광학 제어부(216)에 수차보정을 행하지 않도록 지시함으로써, 단층상 촬상장치(60)는 통상의 단층상 촬상장치로서도 동작하고, 광각 단층상(광각 화상Ｄｌ)을 촬상할 수 있다.
또한, 본 실시예에서는 보상 광학계를 갖는 단층상 촬상장치(60)는 SＤ-ＯＣＴ로서 설명되어 있지만, SＤ-ＯＣＴ가 필수적인 것은 아니다. 예를 들면, 이것은, 타임 도메인 ＯＣＴ 혹은 SS-ＯＣＴ(Sｗｅｐｔ Sｏｕｒｃｅ Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ)로서 구성해도 좋다. SS-ＯＣＴ의 경우에는, 다른 파장의 광을 다른 시간에서 발생시키는 광원을 사용하고, 스펙트럼 정보를 취득하기 위한 분광 소자는 불필요해진다. 또한, SS-ＯＣＴ에서는, 망막뿐만 아니라 맥락막도 화상에 포함되는 매우 깊은 화상을 취득할 수 있다.
도 5는 본 실시예에 따른 화상처리장치(10)의 화상처리 흐름을 나타낸다. 이것은 S510, S520, S530, S540, S550이외는 제1 실시예의 경우와 같으므로, 본 실시예에서는 S510, S520, S530, S540, S550의 처리의 설명만 행한다.
스텝510: 화상취득
화상취득부(111)는 단층상 촬상장치(60)에 대하여, 광각 화상Ｄｌ, 고배율 화상Ｄｈｊ 및 대응하는 고시표 위치Ｆｌ, Ｆｈ의 취득을 요구한다. 본 실시예에서는, 황반부의 중심와에 고시표 위치Ｆｌ 및 Ｆｈ를 설정해서, 광각 화상Ｄｌ 및 고배율 화상Ｄｈｊ를 취득한다. 또한, 본 실시예에서는 고배율 화상을 Ｄｈｊ를 같은 촬영 위치에서 Ｎｐ회(본 실시예에서는, Ｎｐ=3이라고 한다) 반복 촬영해서, 예를 들면 동일 촬영 위치에서 n회째에 촬영된 고배율 화상을 Ｄｈｊ_n으로서 표기한다. 또한, 촬영 위치의 설정 방법은 이것에 한정되지 않고, 임의의 위치에 설정해도 좋다.
단층상 촬상장치(60)는 상기 취득 요구에 따라, 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ_n, 대응하는 고시표 위치Ｆｌ, Ｆｈ를 취득해 송신한다. 화상취득부(111)는 단층상 촬상장치(60)로부터 ＬＡＮ(30)을 거쳐 해당 광각 화상Ｄｌ, 고배율 화상Ｄｈｊ_n 및 대응하는 고시표 위치Ｆｌ과 Ｆｈ를 수신하여, 기억부(120)에 기억한다. 또한, 본 실시예에서는 상기 광각 화상Ｄｌ 및 고배율 화상Ｄｈｊ_n은 슬라이스간 위치맞춤이 이미 행해진 3차원 화상이다.
스텝520: 위치맞춤
위치맞춤부(131)는, 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ_n의 위치맞춤을 행하고, 광각 화상Ｄｌ상의 고배율 화상Ｄｈｊ_n의 위치를 결정한다. 우선, 화상군 판정부(133)는 기억부(120)로부터 고배율 화상Ｄｈｊ_n의 촬영시에 사용한 고시표 위치Ｆｈ를 취득하고, 상기 고시표 위치부터의 상대 위치에 의거하여 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ_n의 위치맞춤에 있어서의 위치맞춤 파라미터의 탐색 초기 점을 설정한다. 고배율 화상Ｄｈｊ_ｎ간에 중첩 영역이 있을 경우에는, 이 중첩 영역에 관해서도 화상간 유사도를 산출하고, 화상간 유사도가 최대가 되는 위치에 고배율 화상Ｄｈｊ_ｎ끼리의 위치를 맞춘다.
다음에, S530에 있어서 다른 배율의 화상이 취득되어 있을 경우에는, 보다 저배율의 화상으로부터 위치맞춤을 행한다. 본 실시예에서는, 고배율 화상만이므로, 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ_n과의 위치맞춤만 행한다. 화상간 유사도나 좌표변환수법에는 임의의 공지의 수법을 사용할 수 있고, 본 실시예에서는 화상간 유사도에 (3차원의) 상관계수를 사용하고, 좌표변환수법으로서 3차원의 Ａｆｆｉｎｅ변환을 사용해서 위치맞춤을 행한다.
스텝530: 동화상마다 적합도를 판정하는 처리
개별 화상 판정부(132)는 프레임의 휘도값과 프레임간의 이동량에 의거하여, 적합도의 판정 처리를 행한다. 한층 더, 선택부(134)는 적합도의 판정 결과에 의거하여 선택 처리를 행하고, 개별화상을 형성한다. 여기에서, 판정기준의 취득과 적합도 판정법은 제1 실시예의 S710 및 S720과 같기 때문에, 그 설명을 생략한다. 다음에, 판정된 적합도에 의거하여 선택부(134)가 촬영 위치 단위로 표시하기 위해 사용하는 화상을 선택하고, 화상을 형성한다. 본 실시예에서의 고배율 화상은, 도 12a에 나타나 있는 바와 같은 3차원의 단층화상이다. 여기에서는 촬영 위치를 이해하기 쉽게 하기 위해서 고배율 화상간의 중첩은 생략해서 도시하고 있다.
개별화상의 형성 방침으로서는,
(i) S/Ｎ비를 최대화하고(화질우선),
(ｉｉ) 3차원 단층화상내의 총 화소수를 최대화하고(불완전한 화상 방지 우선),
여기서, S510에서 동일 촬영 위치에서 취득된 단층화상 중 (i)에 관해서는, 가장 S/Ｎ비가 높은 화상을 선택하고, 화소값이 없는 슬라이스가 포함되는 영역(화상 단부)은 화소값을 0으로 설정한다. 고화질이지만, 불완전한 화상이 생기기 쉽다. (ｉｉ)에 관해서는, S510에서 취득된 3차원 단층화상(총 3개) 중, 화상 끝이 0들로 메워진 처리가 가장 적은 3차원 단층화상을 선택한다. 불완전한 화상은 생기지 않지만, 반드시 S/Ｎ비가 높지 않기 때문에, 화질은 (i)의 경우보다 저하하기 쉽다. 본 실시예에서는, 적합도 1이 선택된 슬라이스와, 적합도가 -1인 슬라이스에 있어서의 휘도값은, 전후의 슬라이스의 화소값을 보간 처리하여 얻어진 값이다. 여기에서는, (i)의 방침, 즉 S/Ｎ비가 최대인 3차원 단층화상을 사용해서 고화질의 개별화상을 형성한다.
스텝540: 화상군으로서 적합도를 판정하는 처리
S530에서 형성된 개별화상에 의거하여, 화상군 판정부(133)는 화상군의 적합도를 판정하고, 화상선택부(134)는 가장 적합도가 높은 조합의 화상을 선택하고 이들을 합성해서 화상을 형성한다. 본 실시예에서는, 좌측위로부터 래스터 주사(지그재그 주사)의 순으로 화상번호j가 증가한다. 합성 화상(화상군)에 관한 판정 방침을 우선도 순서로 아래에 열거된 바와 같다, 말하면,
1. 합성 화상내에 불완전한 화상 영역이 생성되지 않고,
2. 그 합성 화상이 가능한 한 고화질이다.
이들 중, 1은 합성 화상내를 동일조건으로 관찰 가능하게 하기 위해서 설정된 조건이다. 이제, 화상군으로서 적합도를 판정하지 않을 경우에는, 예를 들면 촬영 위치마다 불완전한 화상 영역이 없도록 프레임을 선택할 필요가 있고, 화상군의 적합도 판정에 근거해서 합성 화상을 생성하는 경우와 비교해서, 상기 조건 2에 관해서 화질이 낮은 합성 화상을 형성한다. 이에 따라, 인접하는 3차원 단층화상의 단부와 중첩 영역에 있어서의 데이터의 연속성과 보완성을 고려한 적합도 판정을 행함으로써, 조건 1을 충족시키면서 보다 고화질의 합성 화상을 얻는 것이 가능하게 된다.
본 실시예에서는, 도 12b의 회색영역에 나타나 있는 바와 같은 인접하는 2화상간에 중복 영역과, 도 12b의 흑색영역에 나타나 있는 바와 같은 인접하는 4화상간에 중복 영역, 도 12c의 백색 격자점으로 나타낸 바와 같은 인접하는 8화상간에 중복 영역이 있다. 구체적으로는, 이하의 순서에 의해 화상군의 적합도를 판정한다.
(1) S530에서 생성한 개별화상(화질 우선)을, S520에서 구한 위치맞춤 파라미터에 따라 합성한다.
(2) (1)에서 생성한 합성 화상내의 불완전한 화상의 유무를 조사하고, 화상군의 적합도로서 (합성된 3차원 화상의 체적(화소수)-불완전한 화상의 체적(화소수))/(합성된 3차원 화상의 체적(화소수))를 산출한다.
또한, 화상군의 적합도는 이에 한정하지 않고, 개별화상의 투영 상을 광각 화상의 투영 상 위에 S520에서 구한 위치맞춤 파라미터에 근거해서 합성하여도 되고,
(합성된 2차원 화상의 면적-불완전한 화상의 면적)/(합성된 2차원 화상의 면적)을 판정해도 좋다.
선택부(134)는, 상기 판정된 화상군의 적합도에 근거하여, 상기 적합도가 가장 높게 되도록 각 촬영 위치에 있어서의 화상선택을 행하고, 선택된 화상에 의거하여 화상군을 형성한다. 구체적으로는, 이하의 순서에 따라 화상선택을 행하고, 화상군의 형성 처리를 행한다.
(3) 불완전한 화상이 없는 경우에, 그대로 합성 화상을 형성해서 처리를 종료한다.
(4) 불완전한 화상이 있는 경우에, 불완전한 화상 영역의 위치를 구한다.
(5) 불완전한 화상 영역이 포함되거나, 혹은 불완전한 화상 영역에 인접하는 변을 가지는 화상의 중복 영역에 있어서의 대체 데이터의 유무를 조사한다. 예를 들면, 도 12d에서는 고배율 화상Ｄｈ3, Ｄｈ7에 불완전한 화상이 있으므로, Ｄｈ3과, Ｄｈ4의 원단, Ｄｈ7과, Ｄｈ12의 상단에 있어서 보완(대체)데이터의 유무를 조사한다.
(6) 보완(대체)데이터가 있는 경우에는, 보완 데이터 중 가장 화질이 좋은(S/Ｎ비가 높은) 보완 데이터로 불완전한 화상 영역을 대체하여서, 화상 합성 처리를 행한다.
(7) 보완(대체)데이터가 없는 경우에는, 불완전한 화상 영역이 최소가 되도록 화상 끝의 (0들로 메워지는) 트리밍 처리를 해제하고, 나머지의 불완전한 화상 영역에 관해서는 근방화소로부터의 보간처리에 의해 화소값을 결정한 뒤에, 화상 합성 처리를 행한다. 이와 같이, 불완전한 화상이 없고 가장 고화질인 합성 화상이, 형성된다. 또한, 화상군의 적합도의 판정 방침은 상기에 한정 되는 것이 아니고, 임의의 적합도를 설정해도 좋다. 예를 들면, 면적등의 이외에, 화상특징의 일례인 무혈관 영역 경계의 길이를 적합도의 조건에 첨가해도 된다.
스텝550: 표시
표시 제어부(135)는, S540에서 형성된 합성 화상을 모니터(305)에 표시한다. 본 실시예에 있어서 광각 화상Ｄｌ 및 고배율 화상Ｄｈｊ_n은 함께 3차원 단층상이기 때문에, 이하의 2종류의 표시를 행한다.
i) z축 방향에 관해 광각 화상Ｄｌ과 고배율 화상Ｄｈｊ_n의 투영 화상을 생성하고, 광각 화상Ｄｌ의 투영 화상 위에 고배율 화상Ｄｈｊ_n의 투영 화상을 합성해 표시한다.
ｉｉ) 광각 3차원 단층상Ｄｌ만 취득된 위치에서는 광각 화상 3차원 단층상Ｄｌ의 화소값에 따라, 또한 광각 3차원 단층상Ｄｌ과 고배율 3차원 단층상Ｄｈｊ_n 함께 취득된 위치에서는 상기 고배율 3차원 단층상Ｄｈｊ_n의 화소값에 따라, 표시한 광각 3차원 단층상Ｄｌ"을 생성한다. 한층 더, 광각 3차원 단층상Ｄｌ"상의 특정한 주사 위치를 i)의 중첩 화상 위에 화살표로 표시하고, 상기 화살표의 위치로 정의된 광각 3차원 단층상Ｄｌ"의 2차원 단층상을, i)과 같은 중첩 화상과 함께 표시한다. 본 표시에서는, 광각 3차원 단층상Ｄｌ의 2차원 단층상뿐만 아니라, 고배율 3차원 단층상Ｄｈｊ_n의 2차원 단층상도 중첩 표시된다.
한층 더, ｉｉ)의 표시에서는, 조작자가 지시 취득부(140)를 사용해서 광각 단층상Ｄｌ"의 표시 위치를 나타내는 화살표를 (상하 또는 좌우로) 움직이게 하므로, 상기 조작에 연동해서 정의된(표시된) 광각 화상Ｄｌ 및 고배율 화상Ｄｈｊ_n의 표시된 슬라이스도 변화된다.
또한, 상기 투영 화상을 생성하는 방법은 평균 강도 투영에 한하지 않고, 임의의 투영법이 사용되어도 좋다. 또한, 고배율 화상Ｄｈｊ_n은 정지 화상에 한정되는 것이 아니고, 동화상이어도 좋다. 본 실시예에서는 촬영 대상영역에 대한 관찰 불능영역의 적음에 의거하여 단층화상군의 적합도를 판정했지만, 본 발명은 이것에 한정되지 않는다. 제2실시예의 경우와 같이, 화상처리장치(10)에 화상특징 취득부(136)를 갖고, 각 고배율 화상으로부터 추출된 화상특징의 인접화상간의 연속성에 근거해 단층화상군의 적합도를 구성해도 좋다. 예를 들면, 이하의 순서에서 화상 특징 취득부(136)가 화상특징으로서 층 경계를 추출한다. 즉, 화상특징 취득부(136)는, 기억부(120)에 기억된 광각 화상Ｄｌ, 즉 안부의 3차원 단층상으로부터, 화상특징으로서, 안경계막B1, 신경섬유층 경계B2, 안망상층 경계B4, 시세포 내절/외절 경계B5, 망막색소 상피 경계B6의 각 경계위치를 추출한다. 그리고, 추출된 화상특징들은 기억부(120)에 기억된다.
이제, 광각 화상Ｄｌ으로부터 특징 추출순서를 상세히 설명한다. 먼저, 층의 경계를 추출하기 위한 추출 순서에 관하여 설명한다. 여기에서는 처리 대상인 3차원 단층상을 2차원 단층상(B스캔 상)의 집합이라고 생각하고, 각 2차원 단층상에 대하여 이하의 처리를 행한다. 우선, 주목 2차원 단층상에 평활화 처리를 행하고, 노이즈 성분을 제거한다. 다음에, 2차원 단층상으로부터 엣지 성분을 검출하고, 그 연결성에 의거하여 몇 개의 선분을 층 경계의 후보로서 추출한다. 그리고, 상기 추출한 후보 중, 최상의 선분을 안경계막B1, 위에서 2번째의 선분을 신경 섬유층 경계B2, 및 3번째의 선분을 안망상층 경계B4로서 추출한다. 안경계막B1으로부터 외층측(도 6a에 있어서, z좌표가 큰 사이즈)에 있는 콘트라스트 최대의 선분을 시세포 내절/외절 경계B5로서 추출한다. 한층 더, 상기 층 경계 후보군 중 최하의 선분을 망막색소 상피 경계B6로서 추출한다. 상기 선분들의 초기값으로서 Sｎａｋｅs나 레벨 세트법 등의 가변형 모델을 적용하여, 보다 정밀하게 추출해도 좋다. 그래프 커트법에 의하여 층의 경계를 추출하도록 사용되어도 좋다. 가변형 모델과 그래프 커트를 사용한 경계추출은, 3차원 단층상에 대하여 3차원적으로 실행해도 좋고, 2차원 단층상에 대하여 2차원적으로 실행해도 좋다. 층의 경계를 추출하는 방법은, 안부의 단층상으로부터 층의 경계를 추출가능하면, 어느 쪽의 방법을 사용해도 된다.
또, 각 고배율 화상Ｄｈｊ_n으로부터의 층 경계 추출은, 광각 화상Ｄｌ과 각 고배율 화상Ｄｈｊ_n의 상대 위치와, 광각 화상Ｄｌ로부터 검출된 층 경계 위치에 의거하여 실행될 수 있다. 즉, 각 고배율 화상Ｄｈｊ_n과 상관된 광각 화상Ｄｌ로부터 검출된 각 층이 검출되고, 층 경계 위치 부근에서 각 고배율 화상Ｄｈｊ_ｎ에서 대응한 층의 경계가 검출될 수 있다.
이상 서술한 구성에 의하면, 화상처리장치(10)는, 다른 촬영 위치의 고배율 보상 광학ＯＣＴ단층화상을 합성해 표시할 때에 촬영(해석)대상영역과 비교했을 경우가 합성 화상내의 관찰(해석)불능영역의 적음에 의거하여 화상군의 적합도를 판정한다. 이에 따라, 해석 대상의 세포와 조직, 및 그것들의 병변이 복수의 고배율 화상에 걸쳐 있는 경우에, 대략 동일한 조건으로 해석 가능한 합성 화상을 생성할 수 있다.
제4 실시예: 합성 화상과 다른 검사로 촬영(해석)된 영역의 비교
제4 실시예에 따른 화상처리장치는, 다른 촬영 위치의 고배율 보상 광학SLO화상을 합성해 표시할 때에 다른 검사로 촬영(해석)된 영역과 비교했을 경우의 관찰(해석)불능영역의 적음에 의거하여 화상군의 적합도를 판정한다. 구체적으로는, 과거의 검사 일시에 촬영된 화상군Ｄｈｊｆ(f=1,2,...,n-1)과 비교했을 경우의, 합성 화상에 있어서의 관찰(해석)불능영역의 적음에 의거하여 화상군의 적합도를 판정할 경우에 관하여 설명한다.
본 실시예에 따른 화상처리장치(10)와 접속된 기기의 구성은 상기 제1 실시예와 같다. 다음에, 본 실시예에 따른 화상처리장치(10)의 기능 블록을 도 13에 나타낸다. 이것은, 화상군 판정부(133)에 경시 비교부(1333)를 구비하는 점이 상기 제1 실시예의 경우와 다르다. 본 실시예에 따른 화상처리 흐름은 도 5와 같아서, S530, S560, S570, S580은 제1 실시예와 같다. 따라서, 본 실시예에서는, S510, S520, S540, S550의 처리만을 설명한다. 또한, Ｄsｊｆ, Ｆsｆ는, 각각 SLO화상과 고시표를 다른 배율, 다른 촬영 위치 또는 다른 검사 일시로 취득하는 경우를 나타내고, 여기서 s는 배율, j는 촬영 위치 번호, f는 검사 일시를 나타내는 변수이며, s=1,2,...,Sｍａｘ, j=1,2,...,ｊｍａｘ, f=1,2,...,ｆｍａｘ로서 표기한다. s가 작을수록, 촬영 배율은 커진다(화각이 좁아진다). f가 작을수록, 검사 일시가 보다 오래된다. 본 실시예에서는 가장 저배율 화상(광각 화상)의 촬영 위치가 1개이고, 간략함을 기하기 위해 촬영 위치 번호는 생략될 것이다.
스텝510: 화상취득
화상취득부(111)는, 데이터 서버(40)에 대하여 과거의 SLO화상Ｄsｊｆ(f=1,2,...,n-1), 고시표 위치Ｆsｆ, 및 SLO화상Ｄsｊｆ에 대응하는 위치맞춤 파라미터 값의 전송을 요구한다. 데이터 서버(40)는, 이 요구에 대응하는 데이터를 화상처리장치(10)에 전송하고, 기억부(120)에 보존한다. 본 실시예에서는, n=4이다.
다음에, 화상취득부(111)는, SLO상 촬상장치(20)에 대하여 최신의 검사 화상 및 고시표 위치, 즉 SLO화상Ｄsｊｎ 및 고시표 위치Ｆsｎ의 취득을 요구한다. 본 실시예에서는 황반부의 중심와에 고시표 위치F2n 및 F1n을 설정해서 SLO상 촬상장치(20)로부터 저배율 SLO화상D2n 및 고배율 SLO화상D1ｊｎ을 취득한다.
스텝520: 위치맞춤
위치맞춤부(131)는, 광각 화상D2f(f=1,2,...,n)와 각 고배율 화상D1ｊｆ와의 위치맞춤을 행하고, 광각 화상D2ｆ상의 고배율 화상D1ｊｆ의 상대 위치를 구해서, 고배율 화상D1ｊｆ의 합성 화상을 생성한다.
동일 검사일의 고배율 화상D1ｊｆ간에 중첩 영역이 있을 경우에는, 이 중첩 영역에 관해서 화상간 유사도를 산출하고, 가장 화상간 유사도가 최대가 되는 위치에 고배율 화상D1ｊｆ끼리의 위치를 맞춘다. 3종류이상의 다른 배율의 화상이 취득되어 있을 경우에는, 보다 저배율 화상으로부터 위치맞춤을 행한다. 예를 들면, 화상D3f와 화상D2ｋｆ, 화상D1ｊｆ가 취득되어 있는 경우에, 먼저, 화상D3f와 화상D2ｋｆ와의 사이에서 위치맞춤을 행하고, 이어서 화상D2ｋｆ와 화상D1ｊｆ와의 사이에서 위치맞춤을 행한다. 한층 더, 위치맞춤부(131)는 기억부(120)로부터 화상D1ｊｆ의 촬영에 사용한 고시표 위치F1f를 취득하고, 이것을 사용해서 화상D2f와 화상D1ｊｆ와의 위치맞춤에 있어서의 위치맞춤 파라미터의 탐색 초기 점을 설정한다. 화상간 유사도나 좌표변환수법에는 임의의 공지된 수법을 사용할 수 있다. 본 실시예에서는 화상간 유사도에 상관계수를 사용하고, 좌표변환 수법으로서 Ａｆｆｉｎｅ변환을 사용해서, 위치맞춤을 행한다.
다음에, 최신의 검사로부터의 광각 화상D2n과 과거의 검사로부터의 광각 화상D2f (f=1,2,...,n-1)과의 위치맞춤을 행한다. 한층 더, 고배율 화상D1ｊｎ에 대한 광각 화상D2n의 상대 위치, D2n에 대한 광각 화상D2f의 상대 위치와, D2f에 대한 고배율 화상D1ｊｆ의 상대 위치를 사용하여, 최신검사의 고배율 화상D1ｊｎ에 대한 과거 검사의 고배율 화상D1ｊｆ의 상대 위치를 구한다. 또한, 최신검사의 고배율 화상군D1ｊｎ과 과거 검사의 고배율 화상군D1ｊｆ와의 위치맞춤을 직접 행해도 된다. 위치맞춤부(131)는 기억부(120)로부터 각 화상의 고시표 위치를 취득한다. 위치맞춤부(131)는, 이것들의 고시표 위치를 사용해서, 최신검사의 고배율 화상D1ｊｎ과 최신검사의 광각 화상D2n, D2n과 과거 검사의 광각 화상D2f, D2f와 과거 검사의 고배율 화상D1ｊｆ와의 위치맞춤에 있어서의 탐색 초기 점을 설정한다.
위치맞춤 수법에는 임의의 공지의 수법을 사용할 수 있다. 본 실시예에서는, 우선, 개략의 위치맞춤을 행하기 위해, Ａｆｆｉｎｅ변환을 사용해서 위치맞춤을 행한다. 다음에, 상세한 위치맞춤은, 비강체 위치맞춤 수법의 하나인 자유형태 변형(ＦＦＤ)법을 사용해서 행해진다. 어느 쪽의 위치맞춤에 있어서, 화상간 유사도에는 상관계수를 사용한다. 물론, 어떠한 공지의 화상간 유사도가 사용되어도 되고, 이에 한정하지 않는다. 이와 같이 하여, 최신의 검사 화상(광각 화상D2n 혹은 고배율 화상D1ｊｎ)의 화소와, 과거의 검사 화상(광각 화상D2f 혹은 고배율 화상D1ｊｆ)의 화소를 상관시킬 수 있다.
본 발명은 화소값의 유사도에 근거하는 위치맞춤에 한정되는 것은 아니다. 예를 들면, 제2 실시예의 경우와 같이 화상처리장치(10)에 화상특징 취득부(136)를 구비하고, 화상특징 취득부(136)가 모세혈관 영역을 특정한 뒤에, 상기 특정된 혈관영역을 사용해서 특징들에 근거하여 위치맞춤을 행해도 좋다.
스텝540: 화상군으로서 적합도를 판정하는 처리
화상군 판정부(133)는, 다른 검사로 촬영(해석)된 영역과 비교했을 경우의 관찰(해석)불능영역의 적음에 의거하여 화상군의 적합도를 판정하고, 상기 선택부(134)는 가장 적합도가 높은 조합의 화상을 선택하고, 합성 화상을 형성한다. 본 실시예에서는, 화상군이 도 6g에 나타나 있는 바와 같은 9개의 포개진 화상으로 구성되고, 좌측위로부터 래스터 주사(지그재그 주사)의 순서로 화상번호j가 증가하는 것으로 한다.
합성 화상(화상군)의 적합도에 관한 판정 방침은, 아래의 우선도 순서로 열거된 것과 같다.
1. 합성 화상내에 불완전한 화상 영역이 생성되지 않고,
2. 화질이 촬영 위치에 따라 변동하지 않고,
3. 다른 검사로 촬영(해석)된 영역과 비교했을 경우에 관찰(해석)불능영역이 쉽게 생기지 않는다.
이들 중, 1, 2는 합성 화상내를 동일 조건으로 관찰 가능하게 하기 위해서 설정된 조건이다. 여기에서, 화상군의 적합도를 판정하지 않을 경우, 예를 들면,
(i) 촬영 위치마다 S730의 (ｉｉ)의 방침에서 합성 화상을 생성했을 경우, 상기 조건 2를 충족시킬 수 없는 경우가 있다. 또한,
(ｉｉ) (i)을 충족시키고, 조건 2를 충족시키는 경우, 가장 포개진 화상의 매수가 적은 화상의 포개진 화상의 매수에 일치시키므로, 화상군의 적합도를 판정해서 화상을 선택할 경우보다도 화질이 저하해버린다. 따라서, 인접하는 화상의 단부나 중첩 영역에 있어서의 데이터의 연속성과 보완성을 고려한 적합도 판정을 행함으로써 조건 1∼3을 충족시키면서, 보다 고화질의 합성 화상을 얻는(보다 많은 수의 화상으로 포개짐이 행해지는) 것이 가능하게 된다.
본 실시예에서는, 도 6f의 회색영역에 나타나 있는 바와 같은 인접하는 2화상간에서의 중복 영역과, 도 6f의 흑색영역에 나타나 있는 바와 같은 인접하는 4화상간에서의 중복 영역이 존재한다. 구체적으로는, 이하의 순서로 화상군의 적합도를 판정한다.
(1) S530에서 생성한 개별화상(화질우선)을, S520에서 구한 위치맞춤 파라미터에 따라 합성한다.
(2) 경시 비교부(1333)는, (1)에서 생성한 합성 화상을 과거의 검사에서 생성한 합성 화상과 비교했을 경우의 불완전한 화상 영역의 유무를 조사한다.
구체적으로는, 각 검사의 화상군D1ｊｆ의 합성, 즉 D1ｊｆ의 논리합 영역(∪ｊＤ1ｊｆ)에 대한 논리합(∩f(∪ｊＤ1ｊｆ))은, 비교 대상 영역이다. 본 실시예에서는 비교 대상(다른 검사)의 화상군이 3개 있어서, 각 검사의 화상군D1ｊｆ의 합성, 즉 ∪ｊＤ1ｊｆ에 대한 논리합((∪ｊＤ1j1）∩(∪ｊＤ1j2）∩(∪ｊＤ1j3))을 비교 대상 영역이라고 했을 경우의 불완전한 화상 영역의 유무를 조사한다.
따라서, 화상군의 적합도로서,
((1)에서 생성한 합성 화상의 면적-불완전한 화상의 면적)/((1)에서 생성한 합성 화상의 면적)을 산출한다. 또한, 비교 대상 영역의 설정법은 이것에 한정되지 않고, 임의의 비교 영역을 설정해도 좋다. 또한, 수동으로 비교 대상영역을 설정해도 좋다. 선택부(134)는, 화상군의 적합도에 근거하여, 상기 적합도가 가장 높게 되도록 각 고배율 화상에 있어서의 화상선택을 행하고, 선택된 화상에 의거하여 화상군의 형성 처리를 행한다. 구체적으로는, 이하의 순서에 따라 화상선택을 행하고, 화상군의 형성 처리를 행한다.
(3) 불완전한 화상이 없는 경우에, 그대로 합성 화상을 형성하고, 그 처리를 종료한다.
(4) 불완전한 화상이 있는 경우에는 불완전한 화상 영역의 위치를 구한다.
(5) 불완전한 화상 영역이 포함되거나 혹은 불완전한 화상 영역에 인접하는 변을 갖는 화상의 중복 영역에 있어서의 보완(대체)데이터의 유무를 조사한다. 예를 들면, 도 6g에서는 화상 6과 화상 9에 불완전한 화상이 있으므로, 화상 6과 화상 5의 좌단, 화상 9에 있어서 보완 데이터의 유무를 조사한다.
(6) 보완(대체)데이터가 있는 경우에는, 보완 데이터 중 가장 화질이 좋은(포개진 화상의 매수가 가장 많은) 보완 데이터로 불완전한 화상 영역을 대체하고, (8)을 실행한다.
(7) 보완(대체)데이터가 없는 경우에는, 불완전한 화상 영역이 해소되도록 불완전한 화상 영역이 포함되는 화상 혹은 상기 영역에 인접하는 변을 갖는 화상의 선택 프레임을 변경한다. 만약 불완전한 화상 영역을 해소하는 프레임의 선택법이 복수 있는 경우에는, 가장 포개진 화상의 매수가 많아지는 프레임 선택법을 선택한다.
(8) (7)에서 구한 상기 포개진 화상군 중, 가장 포개진 화상의 매수가 적은 포개진 화상의 포개진 화상의 매수ＡＮｍｉｎ을 합성 화상의 포개진 화상의 매수로 해서 각 촬영 위치에서의 포개진 화상의 매수를 ＡＮｍｉｎ으로 변경해서, 다시 포개진 화상을 생성한다.
(9) (8)에서 생성한 포개진 화상을 사용해서 합성 화상을 생성한다. 도 6h와 같이 더 이상 불완전한 화상이 없고, 포개진 화상의 매수가 동일하고 최대인 합성 화상이, 생성된다. 또한, 본 실시예에서는 화상군의 적합도의 판정에 의거하여 형성된다.
본 실시예에서는 화상의 적합도 판정에 의거하여 형성된 합성 화상이 정지화상(포개진 화상)인 것으로서 기술되었지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 인접하는 동화상의 단부와 중첩 영역에 있어서의 데이터의 보완성을 고려한 적합도 판정을 행한 뒤에, 도 6j에 나타나 있는 바와 같이 동화상을 합성해 표시해도 좋다. 동화상의 합성된 표시일 경우에 기본적인 처리의 흐름은 정지화상의 합성된 표시일 경우와 같지만, 이하의 점이 다르다.
(i) 화상처리장치(10)에 도 2b에 나타나 있는 바와 같은 시간 위상 데이터 취득 장치(50)을 접속하고, 동화상과 동시에 시간 위상 데이터를 취득한다. 시간 위상 데이터는, 예를 들면 맥파계에 의해 취득된 생체신호 데이터다. 시간 위상 데이터를 참조함으로써 각 동화상의 재생 주기를 낸다. 동화상의 프레임 보간처리에 의해 상기 재생 주기는, 동화상간(촬영 위치간 혹은 검사간, 혹은 그 양쪽)에 정렬되어 있다.
(ｉｉ) 촬영 위치 단위로의 화상형성 처리에 있어서, 비정상 휘도의 프레임을 제외한 최장의 연속한 프레임 구간을 선택한다.
(ｉｉｉ) 화상군의 적합도 판정 처리에 있어서, 합성 화상내에 불완전한 화상 영역이 일어나지 않는 재생 프레임수(박동 주기)가 촬영 위치마다 대략 동일한 재생 프레임수(박동 주기)가 검사간에서 대략 동일한 가능한 한 많은 프레임수(박동 주기)의 동화상을 합성해 표시하는 방침에 따라 적합도 판정을 행한다.
(ｉｖ) 화상군으로서의 화상형성 처리의 (6), (7), (8)에 있어서 선택된 프레임은, 연속한 프레임 구간으로서 설정된다.
이에 따라, 동화상의 합성된 표시로부터 불완전한 화상이 없어지고, 재생 프레임수가 동일한 최장의 연속한 프레임을 갖는 합성된 동화상이 형성된다. 시간 위상 데이터가 취득되지 않은 경우에는, 재생시각을 조정하지 않고 동화상으로서 합성된 표시를 해도 좋다. 본 실시예에서는 화상군(정지화상군 및 동화상군)의 적합도로서 상기의 조건 1∼3을 사용했지만, 본 발명은 이것에 한정되지 않고, 임의의 적합도를 설정해도 좋다.
스텝550: 표시
표시 제어부(135)는, S520에서 얻어진 위치맞춤 파라미터 및 S540에서 형성된 화상군을 사용하여, 광각 화상D2n 위에 고배율 화상D1ｊｎ을 합성해 표시한다. 이상 서술한 구성에 의하면, 화상처리장치(10)는, 다른 촬영 위치에서 촬상된 고배율 보상 광학 SLO화상을 합성해 표시할 때에 다른 검사로 촬영(해석)된 영역과 비교했을 경우의 관찰(해석)불능영역의 적음에 의거하여 화상군의 적합도를 판정한다. 이에 따라, 관찰 혹은 해석 대상의 세포와 조직, 및 그것들의 병변이 복수의 고배율 화상에 걸쳐 있는 경우에, 대략 동일한 조건으로 관찰 혹은 해석 가능한 합성 화상을 생성할 수 있다.
그 밖의 실시예
상기의 실시예에서는 화상군을 1개 촬영해서 적합도를 판정할 경우에 대해서 서술했지만, 본 발명의 실시예는 이것에 한정되지 않는다. 즉, 도 14a 및 14b에 나타나 있는 바와 같이 1회의 검사로 복수의 화상군을 촬영할 경우에는, 화상군들에서 상기의 실시예와 같은 방법으로 화상을 가선택한 후, 화상군간의 적합도를 판정해서 상기 화상군간의 적합도에 의거하여 화상을 선택한다.
예를 들면, 도 14a와 같이 각 촬영 위치에서 다른 배율의 보상 광학 SLO화상을 취득해서 합성 화상을 생성할 경우에는, 배율마다 화상군의 적합도를 판정해서 화상을 가선택한다. 그 후, 배율간에서의 적합도(저배율 화상D2k군의 촬상영역 외에 연장되지 않는 고배율 화상D1j군의 논리합의 면적/고배율 화상D1j군의 논리합의 면적)를 판정하고, 상기 화상군간의 적합도에 의거하여 화상을 선택해도 좋다.
또한, 도 14b에 나타나 있는 바와 같이 복수의 화상군ＭｎＤｈｊ를 가질 경우(다배치형)에는, 상기의 실시예와 같이 각 화상군내에서 적합도를 판정해서 화상을 가선택한다. 그 후, 화상군간(예를 들면, 인접하는 화상군간)의 휘도특성에 관한 적합도(예를 들면, 화상군내의 평균 휘도 또는 S/Ｎ비의 유사도)에 근거해 화상군간의 적합도를 판정하고, 상기 화상군간의 적합도에 의거하여 화상을 선택해도 좋다. 다배치형에서는, 각 화상군은 서로 떨어져 있어도 좋고, 인접하여도 좋고, 또는 중첩이어도 된다. 화상군의 크기(예를 들면, 화상군을 구성하는 화상의 취득 위치수)가 화상군간에 다른 경우도, 본 발명에 포함된다.
또한, 도 14c에 나타나 있는 바와 같이 다배치형의 화상군이 복수배율로 취득되었을 경우에는, 다른 배율의 화상군간의 적합도와 다른 취득 위치의 화상군간의 적합도를 먼저 취득하는 어느 한쪽의 경우가, 본 발명에 포함된다.
또한, 상기의 실시예에서는 위치맞춤 대상 화상을 SLO화상이나 안부 단층상으로서 실현했지만, 본 발명의 실시예는 이것에 한정되지 않는다. 예를 들면, 광각 화상Ｄｌ을 안저 카메라 화상으로서 실현해도 좋고, 고배율 화상Ｄｈ를 보상 광학 안저 카메라 화상으로서 실현해도 좋다. 또한, 광각 화상Ｄｌ을 광각 SLO화상, 고배율 화상Ｄｈ를 보상 광학 단층상의 투영 상, 혹은 광각 화상Ｄｌ을 보상 광학 단층상, 고배율 화상을 보상 광학 SLO화상과 같이 모달리티가 다른 화상으로서 실현해도 좋다. 또한, 이것은, 보상 광학 SLO상 촬상장치(20)와 단층상 촬상장치(60)의 복합기가 화상처리장치(10)와 직접 접속된 구성으로서 실현되어도 좋다.
한층 더, 상기의 실시예에서는 본 발명을 화상처리장치로서 실현했지만, 본 발명의 실시예는 화상처리장치에만 한정되지 않는다. 예를 들면, 본 발명은, 컴퓨터의 ＣＰＵ에 의해 실행되는 소프트웨어로서 실현되어도 좋다. 본 소프트웨어를 기억한 기억매체도 본 발명을 구성하는 것은 말할 필요도 없다.
동화상으로부터 화상을 선택할 때, 복수의 화상의 단부와 중첩 영역 중 적어도 하나를 이용하는 것이 바람직하다. 합성 화상과 복수의 동화상 각각의 동화상보다도 넓은 화각인 광각 화상과를 비교하는 비교부(예를 들면, 도 1의 화상군 판정부(133))를 더욱 구비하는 것이 바람직하다. 이에 따라, 판정부는, 비교부에 의한 비교 결과에 의거하여, 연속성을 나타내는 값을 판정할 수 있다. 선택된 화상을 합성한 합성 화상을 표시부에 표시시키는 표시 제어부(예를 들면, 도 1의 표시 제어부(135))를 더욱 구비하는 것이 바람직하다. 또한, 합성 화상으로부터 혈관을 자동적으로(혹은 유저의 수동에 의한 지시나 반자동으로) 추출하고, 이때 그 추출된 혈관에 있어서의 혈구의 이동 속도 등이 계측되는 것이 바람직하다. 또한, 복수의 화상에 대해서는 합성하게 하지 않고, 복수의 화상 각각의 화상을 상기 표시부에 표시시켜도 좋거나, 1매씩 바꾸어서 표시부에 표시시켜도 좋다.
또한, 본 발명은, 이하의 처리를 실행하여서 실현된다. 다시 말해, 상술한 실시예의 기능을 실현하는 소프트웨어(프로그램)를, 네트워크 또는 각종 기억매체를 거쳐서 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터(또는 ＣＰＵ나 마이크로프로세서 유닛(ＭＰＵ)등)가 프로그램을 판독해서 실행하는 처리다.
또한, 본 발명의 실시예들은, 기억매체(예를 들면, 비일시적 컴퓨터 판독 가능한 기억매체)에 레코딩된 컴퓨터 실행가능한 명령어를 판독하고 실행하여 본 발명의 상술한 실시예(들)의 하나 이상의 기능을 수행하는 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하여서 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해진 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 중앙처리장치(CPU), 마이크로처리장치(MPU) 또는 기타 회로소자 중 하나 이상을 구비하여도 되고, 별개의 컴퓨터나 별개의 컴퓨터 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (23)

  1. 다른 시간에 있어서 안부의 제1 영역을 촬영해서 얻어진 제1 동화상의 적어도 1매의 화상 및 상기 안부의 상기 제1 영역과는 다른 제2 영역을 촬영해서 얻어진 제2 동화상의 적어도 1매의 화상을 사용해서 1매의 화상을 생성하는 화상처리장치로서,
    상기 제1 동화상의 상기 적어도 1매의 화상에서 촬영되지 않은 적어도 하나의 영역을 포함하는 적어도 1매의 화상을, 상기 제2 동화상으로부터, 결정하는 결정부; 및
    상기 제1 동화상의 상기 적어도 1매의 화상 및 상기 결정된 적어도 1매의 화상을 사용해서 1매의 화상을 생성하는 화상생성부를 구비한, 화상처리장치.
  2. 삭제
  3. 제 1 항에 있어서,
    안과장치와 통신 가능하게 접속되어, 상기 안과장치에 의해 상기 안부의 상기 제1 영역 및 상기 제2 영역을 촬영해서 얻어진 상기 제1 동화상 및 상기 제2 동화상을 취득하는 화상 취득부를 더 구비한, 화상처리장치.
  4. 제 3 항에 있어서,
    상기 안과장치는,
    상기 안부에 측정 광을 주사하는 주사 광학계를 더 구비하고,
    상기 화상 취득부는, 상기 안부의 상기 제1 영역 및 상기 제2 영역에 반복적으로 상기 측정 광이 주사되도록 상기 주사 광학계를 제어함으로써, 상기 제1 동화상 및 상기 제2 동화상을 취득하는, 화상처리장치.
  5. 제 3 항에 있어서,
    상기 안과장치는,
    상기 안부에 측정 광을 주사하는 주사 광학계를 더 구비하고,
    상기 화상 취득부는, 상기 안부의 상기 제1 영역 및 상기 제2 영역 각각에 반복적으로 상기 측정 광이 주사되도록 상기 안부를 고시하기 위한 고시표의 위치를 제어함으로써, 상기 제1 동화상 및 상기 제2 동화상을 취득하는, 화상처리장치.
  6. 제 3 항에 있어서,
    상기 안과장치는,
    측정 광과 상기 안부로부터의 귀환광 중 적어도 하나의 광의 파면을 보정하는 파면 보정 디바이스를 더 구비하고,
    상기 화상 취득부는, 상기 파면이 보정된 광을 사용해서 상기 안부의 상기 제1 영역 및 상기 제2 영역을 촬영해서 얻어진 상기 제1 동화상 및 상기 제2 동화상을 취득하는, 화상처리장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 다른 시간에 있어서 안부의 제1 영역을 촬영해서 얻어진 제1 동화상의 적어도 1매의 화상 및 상기 안부의 상기 제1 영역과는 다른 제2 영역을 촬영해서 얻어진 제2 동화상의 적어도 1매의 화상을 사용해서 1매의 화상을 생성하는 화상처리장치의 제어 방법으로서,
    상기 제1 동화상의 상기 적어도 1매의 화상에서 촬영되지 않은 적어도 하나의 영역을 포함하는 적어도 1매의 화상을, 상기 제2 동화상으로부터, 결정하는 공정; 및
    상기 제1 동화상의 상기 적어도 1매의 화상 및 상기 결정된 적어도 1매의 화상을 사용해서 1매의 화상을 생성하는 공정을 포함한, 화상처리장치의 제어 방법.
  19. 삭제
  20. 삭제
  21. 청구항 18에 따른 화상처리장치의 제어 방법의 공정들을 컴퓨터에 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  22. 삭제
  23. 삭제
KR1020150124011A 2014-09-05 2015-09-02 화상처리장치 및 화상처리장치의 제어 방법 KR101889840B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014181342A JP6463048B2 (ja) 2014-09-05 2014-09-05 画像処理装置及び画像処理装置の作動方法
JPJP-P-2014-181342 2014-09-05

Publications (2)

Publication Number Publication Date
KR20160029682A KR20160029682A (ko) 2016-03-15
KR101889840B1 true KR101889840B1 (ko) 2018-08-20

Family

ID=54062630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150124011A KR101889840B1 (ko) 2014-09-05 2015-09-02 화상처리장치 및 화상처리장치의 제어 방법

Country Status (6)

Country Link
US (2) US9642519B2 (ko)
EP (1) EP2992812A1 (ko)
JP (1) JP6463048B2 (ko)
KR (1) KR101889840B1 (ko)
CN (1) CN105395164B (ko)
RU (1) RU2637851C2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6463048B2 (ja) * 2014-09-05 2019-01-30 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法
CN104778396B (zh) * 2015-04-29 2019-01-29 惠州Tcl移动通信有限公司 一种基于环境筛选帧的眼纹识别解锁方法及系统
JP6881934B2 (ja) * 2016-10-05 2021-06-02 キヤノン株式会社 画像生成装置および画像生成方法
JP7091018B2 (ja) * 2016-10-28 2022-06-27 キヤノン株式会社 断層画像取得装置及び方法
EP3305175A3 (en) * 2016-10-05 2018-07-25 Canon Kabushiki Kaisha Tomographic image acquisition apparatus and tomographic image acquisition method
KR101760639B1 (ko) * 2017-03-31 2017-07-24 한국과학기술원 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법
JP7030455B2 (ja) * 2017-09-06 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6976778B2 (ja) * 2017-09-07 2021-12-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125546A1 (en) * 2012-02-20 2013-08-29 Canon Kabushiki Kaisha Image display apparatus, image display method and imaging system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4315051B2 (ja) * 2004-05-12 2009-08-19 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP4466968B2 (ja) 2008-11-10 2010-05-26 キヤノン株式会社 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体
JP5558949B2 (ja) * 2010-07-16 2014-07-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5735790B2 (ja) * 2010-12-02 2015-06-17 株式会社ニデック 眼科撮影装置
US9161690B2 (en) 2011-03-10 2015-10-20 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method of the same
JP5845608B2 (ja) * 2011-03-31 2016-01-20 株式会社ニデック 眼科撮影装置
JP5947561B2 (ja) 2012-02-20 2016-07-06 キヤノン株式会社 画像形成装置及び画像形成方法
JP6335504B2 (ja) * 2013-12-20 2018-05-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6463048B2 (ja) * 2014-09-05 2019-01-30 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125546A1 (en) * 2012-02-20 2013-08-29 Canon Kabushiki Kaisha Image display apparatus, image display method and imaging system

Also Published As

Publication number Publication date
US20170202449A1 (en) 2017-07-20
US9918625B2 (en) 2018-03-20
CN105395164B (zh) 2018-08-31
CN105395164A (zh) 2016-03-16
JP6463048B2 (ja) 2019-01-30
RU2637851C2 (ru) 2017-12-07
RU2015137797A (ru) 2017-03-10
KR20160029682A (ko) 2016-03-15
US9642519B2 (en) 2017-05-09
EP2992812A1 (en) 2016-03-09
US20160066779A1 (en) 2016-03-10
JP2016054787A (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
KR101889840B1 (ko) 화상처리장치 및 화상처리장치의 제어 방법
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6108827B2 (ja) 眼科装置および位置合わせ方法
US9517004B2 (en) Information processing apparatus, information processing method and computer readable storage medium
KR101894808B1 (ko) 안과장치 및 안과장치의 제어 방법
WO2021029231A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021037239A (ja) 領域分類方法
JP6866167B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020032072A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6882242B2 (ja) 眼科装置およびその制御方法
JP6594499B2 (ja) 画像処理装置及び画像処理装置の作動方法
JP6732093B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
JP6419238B2 (ja) 眼科装置および位置合わせ方法
JP6636188B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
JP7446730B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6465930B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム
JP2019054990A (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant