JP7368568B2 - 眼科装置 - Google Patents

眼科装置 Download PDF

Info

Publication number
JP7368568B2
JP7368568B2 JP2022135078A JP2022135078A JP7368568B2 JP 7368568 B2 JP7368568 B2 JP 7368568B2 JP 2022135078 A JP2022135078 A JP 2022135078A JP 2022135078 A JP2022135078 A JP 2022135078A JP 7368568 B2 JP7368568 B2 JP 7368568B2
Authority
JP
Japan
Prior art keywords
image
region
interest
search processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022135078A
Other languages
English (en)
Other versions
JP2022162141A (ja
Inventor
佑介 小野
弘幸 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2022135078A priority Critical patent/JP7368568B2/ja
Publication of JP2022162141A publication Critical patent/JP2022162141A/ja
Priority to JP2023120379A priority patent/JP2023129563A/ja
Application granted granted Critical
Publication of JP7368568B2 publication Critical patent/JP7368568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)

Description

この発明は、眼科装置に関する。
眼科診療において、眼の注目部位やその周辺を対象として検査を行う場合がある。その際、注目部位の位置や範囲を正確に特定してデータを取得する必要がある。典型的な注目部位として視神経乳頭がある。特許文献1には、近赤外撮影で得られた比較的低画質の眼底の画像からでも注目部位を好適に検出可能な技術が開示されている。
特許第4971872号公報
この発明の目的は、眼底の注目部位の検出の確実性向上を図ることにある。
例示的な実施形態の第1の態様は、被検眼の眼底の正面画像を取得する正面画像取得部と、前記正面画像における輝度の変化に基づいて前記眼底の注目部位に相当する注目領域を探索する第1探索処理部と、前記第1探索処理部により前記注目領域が検出されなかった場合に、前記正面画像及びテンプレート画像に基づくテンプレートマッチングにより前記注目領域を探索する第2探索処理部とを含む、眼科装置である。
例示的な実施形態の第2の態様は、第1の態様の眼科装置であって、前記第2探索処理部により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、前記血管領域の分布に基づいて前記注目領域を探索する第3探索処理部を更に含む。
例示的な実施形態の第3の態様は、被検眼の眼底の正面画像を取得する正面画像取得部と、前記正面画像及びテンプレート画像に基づくテンプレートマッチングにより前記注目領域を探索する第2探索処理部と、前記第2探索処理部により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、前記血管領域の分布に基づいて前記注目領域を探索する第3探索処理部とを含む、眼科装置である。
例示的な実施形態の第4の態様は、被検眼の眼底の正面画像を取得する正面画像取得部と、前記正面画像における輝度の変化に基づいて前記眼底の注目部位に相当する注目領域を探索する第1探索処理部と、前記第1探索処理部により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、前記血管領域の分布に基づいて前記注目領域を探索する第3探索処理部とを含む、眼科装置である。
例示的な実施形態の第5の態様は、第1~第3の態様のいずれかの眼科装置であって、前記テンプレート画像のサイズは、前記正面画像のサイズよりも小さく、前記第2探索処理部は、前記正面画像をリサイズすることにより前記テンプレート画像のサイズに対応するサイズの縮小画像を作成し、前記テンプレート画像に基づくテンプレートマッチングを前記縮小画像に適用することにより前記注目領域を探索する。
例示的な実施形態の第6の態様は、第1~3及び5の態様のいずれかの眼科装置であって、前記第2探索処理部は、2以上の属性にそれぞれ対応する2以上のテンプレート画像を予め記憶し、前記2以上のテンプレート画像のそれぞれと前記正面画像とに基づくテンプレートマッチングにより前記注目領域を探索する。
例示的な実施形態の第7の態様は、第1~3、5及び6の態様のいずれかの眼科装置であって、前記注目領域は、視神経乳頭に相当する乳頭領域を含み、前記テンプレート画像は、視神経乳頭及びその近傍の画像である。
例示的な実施形態の第8の態様は、第1、2及び4の態様のいずれかの眼科装置であって、前記注目領域は、視神経乳頭に相当する乳頭領域を含み、前記第1探索処理部は、前記正面画像において輝度の変化が不連続な位置を特定する処理により前記乳頭領域の境界を探索する。
例示的な実施形態の第9の態様は、第2~4の態様のいずれかの眼科装置であって、前記注目領域は、視神経乳頭に相当する乳頭領域を含み、前記第3探索処理部は、前記血管領域の幅、密度及び向きのうちの1以上のパラメータに基づいて前記乳頭領域を探索する。
例示的な実施形態の第10の態様は、第2~4及び9の態様のいずれかの眼科装置であって、前記正面画像取得部は、前記正面画像とは異なるモダリティで取得された前記眼底の他の正面画像を更に取得し、前記第3探索処理部は、前記他の正面画像を解析することにより前記眼底の血管に相当する第1血管領域を検出し、前記正面画像と前記他の正面画像との間のレジストレーションを行い、前記レジストレーションの結果に基づいて前記第1血管領域に対応する前記正面画像の第2血管領域を特定し、前記第2血管領域の分布に基づいて前記注目領域を探索する。
例示的な実施形態の第11の態様は、第2~4及び9の態様のいずれかの眼科装置であって、前記正面画像取得部は、前記正面画像とは異なるモダリティで取得された前記眼底の他の正面画像を更に取得し、前記第3探索処理部は、前記他の正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、前記他の正面画像から検出された前記血管領域の分布に基づいて第1注目領域を探索し、前記正面画像と前記他の正面画像との間のレジストレーションを行い、前記レジストレーションの結果に基づいて前記第1注目領域に対応する前記正面画像の第2注目領域を前記注目領域として特定する。
例示的な実施形態の第12の態様は、第1~11の態様のいずれかの眼科装置であって、前記正面画像は、近赤外光で照明されている前記眼底をデジタル撮影して得られた画像である。
例示的な実施形態の第13の態様は、第12の態様の眼科装置であって、前記正面画像は、近赤外光で照明されている前記眼底を繰り返しデジタル撮影して得られた動画像のフレームである。
例示的な実施形態の第14の態様は、第13の態様の眼科装置であって、前記正面画像取得部は、前記近赤外光で前記眼底を照明する照明系と、イメージセンサを含み、前記近赤外光で照明されている前記眼底を繰り返しデジタル撮影する撮影系とを含み、前記照明系及び前記撮影系を移動するための移動機構と、前記撮影系により得られた動画像に基づき前記移動機構を制御する移動処理部とを更に含む。
例示的な実施形態の第15の態様は、被検眼の眼底の正面画像を処理するプロセッサを含む眼科装置を制御する方法であって、前記正面画像における輝度の変化に基づいて前記眼底の注目部位に相当する注目領域を探索する処理を前記プロセッサに実行させる第1探索制御ステップと、前記第1探索制御ステップにおいて実行された処理により前記注目領域が検出されなかった場合に、前記正面画像及びテンプレート画像に基づくテンプレートマッチングにより前記注目領域を探索する処理を前記プロセッサに実行させる第2探索制御ステップとを含む。
例示的な実施形態の第16の態様は、第15の態様の制御方法であって、前記第2探索制御ステップにおいて実行された処理により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出する処理と、前記血管領域の分布に基づいて前記注目領域を探索する処理とを前記プロセッサに実行させる第3探索制御ステップを更に含む。
例示的な実施形態の第17の態様は、被検眼の眼底の正面画像を処理するプロセッサを含む眼科装置を制御する方法であって、前記正面画像及びテンプレート画像に基づくテンプレートマッチングにより前記注目領域を探索する処理を前記プロセッサに実行させる第2探索制御ステップと、前記第2探索制御ステップにおいて実行された処理により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出する処理と、前記血管領域の分布に基づいて前記注目領域を探索する処理とを前記プロセッサに実行させる第3探索制御ステップとを含む。
例示的な実施形態の第18の態様は、被検眼の眼底の正面画像を処理するプロセッサを含む眼科装置を制御する方法であって、前記正面画像における輝度の変化に基づいて前記眼底の注目部位に相当する注目領域を探索する処理を前記プロセッサに実行させる第1探索制御ステップと、前記第1探索制御ステップにおいて実行された処理により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出する処理と、前記血管領域の分布に基づいて前記注目領域を探索する処理とを前記プロセッサに実行させる第3探索制御ステップとを含む。
例示的な実施形態の第19の態様は、第15~18の態様のいずれかの制御方法を、コンピュータを含む眼科装置に実行させるプログラムである。
例示的な実施形態の第20の態様は、第19の態様のプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
例示的な実施形態によれば、眼底の注目部位の検出の確実性向上を図ることが可能である。
例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の構成の一例を表す概略図である。 例示的な実施形態に係る眼科装置の動作の一例を表すフローチャートである。 例示的な実施形態に係る眼科装置の動作の一例を表すフローチャートである。 例示的な実施形態に係る眼科装置の動作の一例を説明するための概略図である。 例示的な実施形態に係る眼科装置の動作の一例を説明するための概略図である。 例示的な実施形態に係る眼科装置の動作の一例を説明するための概略図である。 例示的な実施形態に係る眼科装置の動作の一例を説明するための概略図である。 例示的な実施形態に係る眼科装置の動作の一例を表すフローチャートである。 例示的な実施形態に係る眼科装置の動作の一例を表すフローチャートである。 例示的な実施形態に係る眼科装置の動作の一例を表すフローチャートである。
例示的な実施形態に係る眼科装置、その制御方法、プログラム、及び記録媒体について図面を参照しながら詳細に説明する。本明細書にて引用された文献の開示内容や、その他の任意の公知技術を、実施形態に援用することが可能である。また、特に言及しない限り、「画像データ」とそれに基づく「画像」とを区別しない。同様に、特に言及しない限り、被検眼の「部位」とその「画像」とを区別しない。
例示的な実施形態に係る眼科装置は、被検眼の眼底の正面画像を取得可能な任意の装置であってよく、被検眼を検査する機能(撮影機能、測定機能など)を有していてもよいし、有していなくてもよい。前者の場合、眼科装置は、検査機能に加え、眼底の正面画像を処理する機能を少なくとも備える。後者の場合、眼科装置は、眼底の正面画像を処理する機能を少なくとも備える。
また、例示的な実施形態に係る眼科装置による眼底の正面画像の取得は、眼底を撮影して正面画像を取得すること、及び、当該眼科装置又は他の眼科装置により過去に取得された眼底の正面画像を外部(例えば、眼科装置、コンピューター、記憶装置、又は記録媒体)から受け付けることのいずれかであってよい。
被検眼の眼底の正面画像には、眼底の注目部位が描出されている。後述する例示的な実施形態では、注目部位は視神経乳頭である。しかし、注目部位は視神経乳頭には限定されず、例えば、黄斑、血管、病変部、治療痕など、任意の部位であってよい。
注目部位の描出態様は、被検者や被検眼の属性に応じて変化する傾向がある。例えば、有色人種の視神経乳頭は比較的明るく描出される傾向があるが、白色人種の視神経乳頭は比較的暗く描出される傾向がある。したがって、正面画像から注目部位を効果的に検出するための画像処理手法が属性に応じて異なることが考えられる。後述する例示的な実施形態では、2以上の画像処理手法を段階的に適用することにより、正面画像から注目部位を検出する処理の確実性向上を図る。
〈第1実施形態〉
本実施形態は、被検眼を検査する機能を有する眼科装置の例示的な態様を提供する。本実施形態の眼科装置は、生体眼の眼底を撮影して正面画像を取得する機能に加え、フーリエドメインOCT(例えば、スウェプトソースOCT)を利用して生体眼の眼底を計測する機能を備える。実施形態に適用可能なOCTのタイプは、スウェプトソースOCTに限定されず、例えばスペクトラルドメインOCT又はタイムドメインOCTであってもよい。また、OCTの適用対象は眼底には限定されず、前眼部や硝子体など眼の任意の部位であってよい。
本実施形態では、被検眼の眼底の正面画像を取得するためのモダリティとして眼底カメラが採用されているが、正面画像を取得するためのモダリティは眼底カメラに限定されない。例えば、SLO、スリットランプ顕微鏡、眼科手術用顕微鏡など、眼底を撮影可能な任意のモダリティを採用することが可能である。
〈構成〉
図1に示す例示的な実施形態の眼科装置1は、眼底カメラユニット2、OCTユニット100及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼の正面画像を取得するための光学系や機構が設けられている。OCTユニット100には、OCTを実行するための光学系や機構の一部が設けられている。OCTを実行するための光学系や機構の他の一部は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の演算や制御を実行する1以上のプロセッサを含む。これらに加え、被検者の顔を支持するための部材(顎受け、額当て等)や、OCTの対象部位を切り替えるためのレンズユニット(例えば、前眼部OCT用アタッチメント)等の任意の要素やユニットが眼科装置1に設けられてもよい。
本明細書において「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を意味する。プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。
〈眼底カメラユニット2〉
眼底カメラユニット2には、被検眼Eの眼底Efを撮影するための光学系が設けられている。取得される眼底Efの画像(眼底像、眼底写真等と呼ばれる)は、観察画像、撮影画像等の正面画像である。観察画像は、例えば近赤外光を用いた動画撮影により得られ、アライメント、フォーカシング、トラッキングなどに利用される。撮影画像は、例えば可視領域又は近赤外領域のフラッシュ光を用いた静止画像である。
眼底カメラユニット2は、照明光学系10と撮影光学系30とを含む。照明光学系10は被検眼Eに照明光を照射する。撮影光学系30は、被検眼Eからの照明光の戻り光を検出する。OCTユニット100からの測定光は、眼底カメラユニット2内の光路を通じて被検眼Eに導かれ、その戻り光は、同じ光路を通じてOCTユニット100に導かれる。
照明光学系10の観察光源11から出力された光(観察照明光)は、凹面鏡12により反射され、集光レンズ13を経由し、可視カットフィルタ14を透過して近赤外光となる。更に、観察照明光は、撮影光源15の近傍にて一旦集束し、ミラー16により反射され、リレーレンズ系17、リレーレンズ18、絞り19、及びリレーレンズ系20を経由する。そして、観察照明光は、孔開きミラー21の周辺部(孔部の周囲の領域)にて反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて被検眼E(眼底Ef)を照明する。観察照明光の被検眼Eからの戻り光は、対物レンズ22により屈折され、ダイクロイックミラー46を透過し、孔開きミラー21の中心領域に形成された孔部を通過し、ダイクロイックミラー55を透過し、撮影合焦レンズ31を経由し、ミラー32により反射される。更に、この戻り光は、ハーフミラー33Aを透過し、ダイクロイックミラー33により反射され、結像レンズ34によりイメージセンサ35の受光面に結像される。イメージセンサ35は、所定のフレームレートで戻り光を検出する。なお、撮影光学系30のフォーカス(焦点位置)は、眼底Ef又は前眼部に合致するように調整される。
撮影光源15から出力された光(撮影照明光)は、観察照明光と同様の経路を通って眼底Efに照射される。被検眼Eからの撮影照明光の戻り光は、観察照明光の戻り光と同じ経路を通ってダイクロイックミラー33まで導かれ、ダイクロイックミラー33を透過し、ミラー36により反射され、結像レンズ37によりイメージセンサ38の受光面に結像される。
液晶ディスプレイ(LCD)39は固視標(固視標画像)を表示する。LCD39から出力された光束は、その一部がハーフミラー33Aに反射され、ミラー32に反射され、撮影合焦レンズ31及びダイクロイックミラー55を経由し、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光束は、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。
LCD39の画面上における固視標画像の表示位置を変更することにより、固視標による被検眼Eの固視位置を変更できる。固視位置の例として、黄斑を中心とする画像を取得するための固視位置や、視神経乳頭を中心とする画像を取得するための固視位置や、黄斑と視神経乳頭との間の位置を中心とする画像を取得するための固視位置や、黄斑から大きく離れた部位(眼底周辺部)の画像を取得するための固視位置などがある。このような典型的な固視位置の少なくとも1つを指定するためのグラフィカルユーザーインターフェース(GUI)等を設けることができる。また、固視位置(固視標の表示位置)をマニュアルで移動するためのGUI等を設けることができる。
固視位置を変更可能な固視標を被検眼Eに提示するための構成はLCD等の表示デバイスには限定されない。例えば、複数の発光部(発光ダイオード等)がマトリクス状(アレイ状)に配列された固視マトリクスを表示デバイスの代わりに採用することができる。この場合、複数の発光部を選択的に点灯させることにより、固視標による被検眼Eの固視位置を変更することができる。他の例として、移動可能な1以上の発光部によって、固視位置を変更可能な固視標を生成することができる。
アライメント光学系50は、被検眼Eに対する光学系のアライメントに用いられるアライメント指標を生成する。発光ダイオード(LED)51から出力されたアライメント光は、絞り52、絞り53、及びリレーレンズ54を経由し、ダイクロイックミラー55により反射され、孔開きミラー21の孔部を通過し、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。アライメント光の被検眼Eからの戻り光(角膜反射光等)は、観察照明光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(アライメント指標像)に基づいてマニュアルアライメントやオートアライメントを実行できる。
従来と同様に、本例のアライメント指標像は、アライメント状態により位置が変化する2つの輝点像からなる。被検眼Eと光学系との相対位置がxy方向に変化すると、2つの輝点像が一体的にxy方向に変位する。被検眼Eと光学系との相対位置がz方向に変化すると、2つの輝点像の間の相対位置(距離)が変化する。z方向における被検眼Eと光学系との間の距離が既定のワーキングディスタンスに一致すると、2つの輝点像が重なり合う。xy方向において被検眼Eの位置と光学系の位置とが一致すると、所定のアライメントターゲット内又はその近傍に2つの輝点像が提示される。z方向における被検眼Eと光学系との間の距離がワーキングディスタンスに一致し、且つ、xy方向において被検眼Eの位置と光学系の位置とが一致すると、2つの輝点像が重なり合ってアライメントターゲット内に提示される。
オートアライメントでは、データ処理部230が、2つの輝点像の位置を検出し、主制御部211が、2つの輝点像とアライメントターゲットとの位置関係に基づいて後述の移動機構150を制御する。マニュアルアライメントでは、主制御部211が、被検眼Eの観察画像とともに2つの輝点像を表示部241に表示させ、ユーザーが、表示された2つの輝点像を参照しながら操作部242を用いて移動機構150を動作させる。
フォーカス光学系60は、被検眼Eに対するフォーカス調整に用いられるスプリット指標を生成する。撮影光学系30の光路(撮影光路)に沿った撮影合焦レンズ31の移動に連動して、フォーカス光学系60は照明光学系10の光路(照明光路)に沿って移動される。反射棒67は、照明光路に対して挿脱される。フォーカス調整を行う際には、反射棒67の反射面が照明光路に傾斜配置される。LED61から出力されたフォーカス光は、リレーレンズ62を通過し、スプリット指標板63により2つの光束に分離され、二孔絞り64を通過し、ミラー65により反射され、集光レンズ66により反射棒67の反射面に一旦結像されて反射される。更に、フォーカス光は、リレーレンズ20を経由し、孔開きミラー21に反射され、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。フォーカス光の被検眼Eからの戻り光(眼底反射光等)は、アライメント光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(スプリット指標像)に基づいてマニュアルフォーカシングやオートフォーカシングを実行できる。
孔開きミラー21とダイクロイックミラー55との間の撮影光路に、視度補正レンズ70及び71を選択的に挿入することができる。視度補正レンズ70は、強度遠視を補正するためのプラスレンズ(凸レンズ)である。視度補正レンズ71は、強度近視を補正するためのマイナスレンズ(凹レンズ)である。
ダイクロイックミラー46は、眼底撮影用光路とOCT用光路(測定アーム)とを合成する。ダイクロイックミラー46は、OCTに用いられる波長帯の光を反射し、眼底撮影用の光を透過させる。測定アームには、OCTユニット100側から順に、コリメータレンズユニット40、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44、及びリレーレンズ45が設けられている。
リトロリフレクタ41は、図1に示す矢印の方向に移動可能とされ、それにより測定アームの長さが変更される。測定アーム長の変更は、例えば、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。
分散補償部材42は、参照アームに配置された分散補償部材113(後述)とともに、測定光LSの分散特性と参照光LRの分散特性とを合わせるよう作用する。
OCT合焦レンズ43は、測定アームのフォーカス調整を行うために測定アームに沿って移動される。撮影合焦レンズ31の移動、フォーカス光学系60の移動、及びOCT合焦レンズ43の移動を連係的に制御することができる。
光スキャナ44は、実質的に、被検眼Eの瞳孔と光学的に共役な位置に配置される。光スキャナ44は、測定アームにより導かれる測定光LSを偏向する。光スキャナ44は、例えば、x方向のスキャンを行うためのガルバノミラーと、y方向のスキャンを行うためのガルバノミラーとを含む、2次元スキャンが可能なガルバノスキャナである。
〈OCTユニット100〉
図2に例示するように、OCTユニット100には、スウェプトソースOCTを適用するための光学系が設けられている。この光学系は干渉光学系を含む。この干渉光学系は、波長可変光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼Eからの測定光の戻り光と参照光路を経由した参照光とを重ね合わせて干渉光を生成し、この干渉光を検出する。干渉光学系により得られた検出結果(検出信号)は、干渉光のスペクトルを表す信号であり、演算制御ユニット200に送られる。
光源ユニット101は、例えば、出射光の波長を高速で変化させる近赤外波長可変レーザーを含む。光源ユニット101から出力された光L0は、光ファイバ102により偏波コントローラ103に導かれてその偏光状態が調整される。更に、光L0は、光ファイバ104によりファイバカプラ105に導かれて測定光LSと参照光LRとに分割される。測定光LSの光路は測定アームなどと呼ばれ、参照光LRの光路は参照アームなどと呼ばれる。
参照光LRは、光ファイバ110によりコリメータ111に導かれて平行光束に変換され、光路長補正部材112及び分散補償部材113を経由し、リトロリフレクタ114に導かれる。光路長補正部材112は、参照光LRの光路長と測定光LSの光路長とを合わせるよう作用する。分散補償部材113は、測定アームに配置された分散補償部材42とともに、参照光LRと測定光LSとの間の分散特性を合わせるよう作用する。リトロリフレクタ114は、これに入射する参照光LRの光路に沿って移動可能であり、それにより参照アームの長さが変更される。参照アーム長の変更は、例えば、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。
リトロリフレクタ114を経由した参照光LRは、分散補償部材113及び光路長補正部材112を経由し、コリメータ116によって平行光束から集束光束に変換され、光ファイバ117に入射する。光ファイバ117に入射した参照光LRは、偏波コントローラ118に導かれてその偏光状態が調整され、光ファイバ119を通じてアッテネータ120に導かれてその光量が調整され、光ファイバ121を通じてファイバカプラ122に導かれる。
一方、ファイバカプラ105により生成された測定光LSは、光ファイバ127により導かれてコリメータレンズユニット40により平行光束に変換され、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44及びリレーレンズ45を経由し、ダイクロイックミラー46により反射され、対物レンズ22により屈折されて被検眼Eに投射される。測定光LSは、被検眼Eの様々な深さ位置において散乱・反射される。測定光LSの被検眼Eからの戻り光は、往路と同じ経路を逆向きに進行してファイバカプラ105に導かれ、光ファイバ128を経由してファイバカプラ122に到達する。
ファイバカプラ122は、光ファイバ128を介して入射された測定光LSと、光ファイバ121を介して入射された参照光LRとを重ね合わせて干渉光を生成する。ファイバカプラ122は、生成された干渉光を所定の分岐比(例えば1:1)で分岐することで一対の干渉光LCを生成する。一対の干渉光LCは、それぞれ光ファイバ123及び124を通じて検出器125に導かれる。
検出器125は、例えばバランスドフォトダイオードを含む。バランスドフォトダイオードは、一対の干渉光LCをそれぞれ検出する一対のフォトディテクタを有し、これらにより得られた一対の検出結果の差分を出力する。検出器125は、この出力(検出信号)をデータ収集システム(DAQ)130に送る。
データ収集システム130には、光源ユニット101からクロックKCが供給される。クロックKCは、光源ユニット101において、波長可変光源により所定の波長範囲内で掃引される各波長の出力タイミングに同期して生成される。光源ユニット101は、例えば、各出力波長の光L0を分岐して2つの分岐光を生成し、これら分岐光の一方を光学的に遅延させ、これら分岐光を合成し、得られた合成光を検出し、その検出結果に基づいてクロックKCを生成する。データ収集システム130は、検出器125から入力される検出信号のサンプリングをクロックKCに基づいて実行する。データ収集システム130は、このサンプリングの結果を演算制御ユニット200に送る。
本例では、測定アーム長を変更するための要素(例えば、リトロリフレクタ41)と、参照アーム長を変更するための要素(例えば、リトロリフレクタ114、又は参照ミラー)との双方が設けられているが、一方の要素のみが設けられていてもよい。また、測定アーム長と参照アーム長との間の差(光路長差)を変更するための要素はこれらに限定されず、任意の要素(光学部材、機構など)であってよい。
〈制御系・処理系〉
眼科装置1の制御系及び処理系の構成例を図3~図4Fに示す。制御部210、画像構築部220及びデータ処理部230は、例えば演算制御ユニット200に設けられる。眼科装置1は、外部装置との間でデータ通信をおこなうための通信デバイスを含んでいてもよい。眼科装置1は、記録媒体からデータを読み出す処理や、記録媒体にデータを書き込む処理を行うためのドライブ装置(リーダ/ライタ)を含んでいてもよい。
〈制御部210〉
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。また、図4Aに示すように、本実施形態のデータ処理部230は、探索処理部231を含む。図4B~図4Eのそれぞれは、探索処理部231の構成例を示す。図4Fは、制御部210及びデータ処理部230の組み合わせの構成例を示す。これら構成例は選択的に採用可能である。なお、実施形態に採用可能な構成はこれらに限定されるものではない。
〈主制御部211〉
主制御部211は、プロセッサを含み、眼科装置1の各要素(図1~図4Fに示された要素を含む)を制御する。主制御部211は、プロセッサを含むハードウェアと、制御ソフトウェアとの協働によって実現される。
撮影合焦駆動部31Aは、主制御部211の制御の下に、撮影光路に配置された撮影合焦レンズ31と照明光路に配置されたフォーカス光学系60とを移動する。リトロリフレクタ(RR)駆動部41Aは、主制御部211の制御の下に、測定アームに設けられたリトロリフレクタ41を移動する。OCT合焦駆動部43Aは、主制御部211の制御の下に、測定アームに配置されたOCT合焦レンズ43を移動する。測定アームに設けられた光スキャナ44は、主制御部211の制御の下に動作する。リトロリフレクタ(RR)駆動部114Aは、主制御部211の制御の下に、参照アームに配置されたリトロリフレクタ114を移動する。上記した駆動部のそれぞれは、主制御部211の制御の下に動作するパルスモータ等のアクチュエータを含む。
移動機構150は、例えば、少なくとも眼底カメラユニット2を3次元的に移動する。典型的な例において、移動機構150は、±x方向(左右方向)に移動可能なxステージと、xステージを移動するx移動機構と、±y方向(上下方向)に移動可能なyステージと、yステージを移動するy移動機構と、±z方向(奥行き方向)に移動可能なzステージと、zステージを移動するz移動機構とを含む。これら移動機構のそれぞれは、主制御部211の制御の下に動作するパルスモータ等のアクチュエータを含む。
〈記憶部212〉
記憶部212は各種のデータを記憶する。記憶部212に記憶されるデータとしては、OCT画像、眼底像、被検眼情報などがある。被検眼情報は、患者IDや氏名や属性などの被検者情報や、左眼/右眼の識別情報や、電子カルテ情報などを含む。
〈画像構築部220〉
画像構築部220は、プロセッサを含み、データ収集システム130から入力された信号(サンプリングデータ)に基づいて、眼底EfのOCT画像データを構築する。OCT画像データは、例えばBスキャン画像データ(2次元断層像データ)である。Bスキャン画像データは、直線に沿って配列された複数のスキャン点(スキャン点列)についてそれぞれ取得された複数のAスキャンデータを、これらスキャン点の位置関係にしたがい配列して得られた画像データである。
OCT画像データを構築する処理は、従来のフーリエドメインOCTと同様に、ノイズ除去(ノイズ低減)、フィルタ処理、高速フーリエ変換(FFT)などを含む。他のタイプのOCT装置の場合、画像構築部220は、そのタイプに応じた公知の処理を実行する。
画像構築部220は、データ収集システム130から入力された信号に基づいて、眼底Efの3次元データを構築する。この3次元データは、眼底Efの3次元領域(ボリューム)を表現した3次元画像データである。この3次元画像データは、3次元座標系により画素の位置が定義された画像データを意味する。3次元画像データの例として、スタックデータやボリュームデータがある。
スタックデータは、複数のスキャンラインに沿って得られた複数の断層像を、これらスキャンラインの位置関係に基づき3次元的に配列して得られた画像データである。すなわち、スタックデータは、元々個別の2次元座標系により定義されていた複数の断層像を、1つの3次元座標系により表現する(つまり、1つの3次元空間に埋め込む)ことにより得られた画像データである。或いは、スタックデータは、2次元的に配列された複数のスキャン点(スキャン点アレイ)についてそれぞれ取得された複数のAスキャンデータを、これらスキャン点の位置関係に基づき3次元的に配列して得られた画像データである。
ボリュームデータは、3次元的に配列されたボクセルを画素とする画像データであり、ボクセルデータとも呼ばれる。ボリュームデータは、スタックデータに補間処理やボクセル化処理などを適用することによって構築される。
画像構築部220は、3次元画像データにレンダリングを施して表示用画像を構築する。適用可能なレンダリング法の例として、ボリュームレンダリング、サーフェスレンダリング、最大値投影(MIP)、最小値投影(MinIP)、多断面再構成(MPR)などがある。
画像構築部220は、3次元画像データに基づいてOCT正面画像(OCT en-face画像)を構築することが可能である。例えば、画像構築部220は、3次元画像データをz方向(Aライン方向、深さ方向)に投影してプロジェクションデータを構築することができる。また、画像構築部220は、3次元画像データの一部をz方向に投影してシャドウグラムを構築することができる。
シャドウグラムを構築するために投影される部分的3次元画像データは、例えば、セグメンテーションを利用して設定される。セグメンテーションは、画像中の部分領域を特定する処理である。典型的には、セグメンテーションは、眼底Efの所定組織に相当する画像領域を特定するために利用される。セグメンテーションは、例えば、画像構築部220又はデータ処理部230により実行される。
眼科装置1は、OCT血管造影(OCT-Angiography)を実施可能であってよい。OCT血管造影は、網膜血管や脈絡膜血管が強調された画像を構築するイメージング技術である(例えば、特表2015-515894号公報を参照)。一般に、眼底組織(構造)は時間的に変化しないが、血管内部の血流部分は時間的に変化する。OCT血管造影では、このような時間的変化が存在する部分(血流信号)を強調して画像を生成する。なお、OCT血管造影は、OCTモーションコントラスト撮影(motion contrast imaging)などとも呼ばれる。また、OCT血管造影により取得される画像は、(OCT)血管造影画像、(OCT)アンジオグラム、モーションコントラスト画像などと呼ばれる。
OCT血管造影が実施される場合、眼科装置1は、眼底Efの同じ領域を所定回数だけ繰り返しスキャンする。例えば、所定のスキャンパターン(例えば渦巻状スキャンパターン)上の2点間の軌跡に沿って繰り返しスキャンを行うことができる。画像構築部220は、繰り返しスキャンにおいてデータ収集システム130により収集されたデータセットからモーションコントラスト画像を構築することができる。このモーションコントラスト画像は、眼底Efの血流に起因する干渉信号の時間的変化を強調して画像化した血管造影画像である。典型的には、眼底Efの3次元領域に対してOCT血管造影が適用され、眼底Efの血管の3次元的な分布を表す画像が得られる。
OCT血管造影が実施された場合、画像構築部220は、3次元血管造影画像データから、任意の2次元血管造影画像データ及び/又は任意の擬似的3次元血管造影画像データを構築することが可能である。例えば、画像構築部220は、3次元血管造影画像データに多断面再構成を適用することにより、眼底Efの任意の断面を表す2次元血管造影画像データを構築することができる。
画像構築部220は、プロセッサを含むハードウェアと、画像構築ソフトウェアとの協働によって実現される。
〈データ処理部230〉
データ処理部230は、プロセッサを含み、被検眼Eの画像に対して各種のデータ処理を適用する。例えば、データ処理部230は、プロセッサを含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。
データ処理部230は、眼底Efについて取得された2つの画像の間の位置合わせ(レジストレーション)を行うことができる。例えば、データ処理部230は、OCTで取得された3次元画像データと、眼底カメラユニット2により取得された正面画像との間のレジストレーションを行うことができる。また、データ処理部230は、OCTで取得された2つのOCT画像の間のレジストレーションを行うことができる。また、データ処理部230は、眼底カメラユニット2により取得された2つの正面画像の間のレジストレーションを行うことができる。また、OCT画像の解析結果や、正面画像の解析結果に対してレジストレーションを適用することも可能である。レジストレーションは、公知の手法によって実行可能であり、例えば特徴点抽出とアフィン変換とを含む。
〈探索処理部231〉
図4Aに示すように、本実施形態のデータ処理部230は、探索処理部231を含む。探索処理部231は、眼底Efの正面画像から注目部位に相当する注目領域を探索する処理を実行する。探索処理部231は、プロセッサを含むハードウェアと、探索ソフトウェアとの協働によって実現される。
探索処理部231により処理される正面画像は、例えば、眼底カメラユニット2により眼底Efを撮影して取得された画像であり、典型的には、眼底Efの観察画像(その1以上のフレーム)である。換言すると、探索処理部231により処理される正面画像は、例えば、照明光学系10からの観察照明光で照明されている眼底Efを撮影光学系30のイメージセンサ35によりデジタル撮影して得られた画像であってよく、典型的には、観察照明光で照明されている眼底Efをイメージセンサ35で繰り返しデジタル撮影して得られた観察画像の1以上のフレームであってよい。なお、探索処理部231により処理される正面画像は、これら例示に限定されず、例えば、他の眼科装置により眼底Efを撮影して取得された画像であってもよい。
前述したように、本実施形態の探索処理部231は、図4Bに示す例(探索処理部231A)、図4Cに示す例(探索処理部231B)、図4Dに示す例(探索処理部231C)、及び、図4Eに示す例(探索処理部231D)のいずれかであってよい。或いは、図示は省略するが、本実施形態の探索処理部231は、これら例示とは異なる構成を備えていてもよい。以下、図4B~図4Eに示す例について説明する。また、これら例示において探索される典型的な注目部位は視神経乳頭であるとする。視神経乳頭に相当する注目領域を乳頭領域と呼ぶ。
〈探索処理部231A〉
図4Bに示す探索処理部231Aは、第1探索処理部2311と第2探索処理部2312とを含む。第1探索処理部2311は、プロセッサを含むハードウェアと、第1探索ソフトウェアとの協働によって実現される。第2探索処理部2312は、プロセッサを含むハードウェアと、第2探索ソフトウェアとの協働によって実現される。
例えば、探索処理部231Aは、第1探索処理部2311による注目領域の探索が成功した場合にはそこで探索処理を完了し、第1探索処理部2311による注目領域の探索が失敗した場合には第2探索処理部2312による注目領域の探索に移行するように構成される。ここで、第1探索処理部2311により実行される探索処理の少なくとも一部は、第2探索処理部2312により実行される探索処理の少なくとも一部と異なっている。このように、探索処理部231Aは、互いに異なる2つの探索処理を段階的に正面画像に適用することによって、注目部位を検出する処理の確実性向上を図るものである。
〈第1探索処理部2311〉
第1探索処理部2311は、眼底Efの正面画像における輝度の変化に基づいて注目領域を探索する。
眼底Efの視神経乳頭に相当する乳頭領域を探索する場合、第1探索処理部2311は、例えば、正面画像における輝度の変化に基づいて視神経乳頭のエッジ(周縁)に相当する画像領域を探索するように構成される。そのために、第1探索処理部2311は、例えば、公知のエッジ検出アルゴリズムを正面画像に適用して、正面画像において輝度の変化が不連続な位置(つまり、画像の明るさが鋭敏に変化している位置箇所)を特定する。これにより、正面画像中の乳頭領域の境界を探索する。
エッジ検出アルゴリズムとしては、例えば、探索ベースのアルゴリズム、又は、ゼロ交差法ベースのアルゴリズムが用いられる。探索ベースのアルゴリズムは、典型的には、1次微分で勾配を計算してエッジの強さを求めるステップと、この勾配の方向からエッジの局所的方向を予測するステップと、その方向の勾配が局所的に極大となる箇所を探索するステップとを含む。ゼロ交差法ベースのアルゴリズムは、例えば、2次微分式におけるゼロ交差を探索するステップを含み、典型的には、ラプラシアンにおけるゼロ交差を探索するステップ又は非線形微分式におけるゼロ交差を探索するステップを含む。なお、第1探索処理部2311は、エッジ検出の前処理として平滑化(典型的には、ガウス平滑化)を正面画像に適用することができる。本例に適用可能なエッジ検出アルゴリズムは、例えば、キャニー法、キャニー・デリチェ法、マー・ヒルドレス法、微分エッジ検出など、公知の手法に基づくものであってよい。
このようなエッジ検出アルゴリズムは、例えば黄色人種の視神経乳頭のように比較的明るく描出され、その輪郭(エッジ)が比較的明瞭に表現される場合において特に有効である。しかしながら、白色人種の視神経乳頭のように比較的暗く描出され、その輪郭(エッジ)が比較的不明瞭に表現される場合においては有効性が低い。
一方、第1探索処理部2311によるエッジ検出が要求する計算資源(リソース)は、後述の第2探索処理部2312によるテンプレートマッチングが要求する計算資源よりも少なくて済むのが一般的である。したがって、エッジ検出とテンプレートマッチングとをこの順に配置しつつ、エッジ検出に失敗したときにテンプレートマッチングを実行するように構成することは、処理全体としての効率化を促進することになる。
〈第2探索処理部2312〉
第2探索処理部2312は、眼底Efの正面画像及びテンプレート画像に基づくテンプレートマッチングによって注目領域を探索する。本例のテンプレートマッチングは、第1探索処理部2311により注目領域が検出されなかった場合に実行される。
第2探索処理部2312により実行されるテンプレートマッチングにおいて採用可能な処理の幾つかの例を以下に説明する。これら処理例のうちのいずれか1つ以上をテンプレートマッチングに組み込むことができる。
テンプレート画像は、注目部位を少なくとも含む眼底の領域を表現した画像である。テンプレート画像は、標準的な眼の眼底を撮影して取得された画像であってよい。標準的な眼は、例えば、病変の存在が認められない眼(正常眼、健常眼)であってもよいし、所定の病変が認められる眼(患眼)であってもよい。また、テンプレート画像は、単一の撮影画像であってもよいし、単一の撮影画像をクロッピングして得られた画像であってもよい。或いは、テンプレート画像は、単一の眼を複数回撮影することによって得られた2以上の撮影画像から作成された画像、又は、2以上の眼を撮影することによって得られた2以上の撮影画像から作成された画像であってもよい。例えば、平均化等の画像合成を2以上の撮影画像に適用することによってテンプレート画像を作成することができる。また、1以上の撮影画像を加工して得られた加工画像からテンプレート画像を作成してもよい。作成されたテンプレート画像は第2探索処理部2312に保存される。なお、テンプレート画像を記憶部212に保存することも可能である。
テンプレート画像のサイズは任意であってよい。ここで、画像のサイズは、典型的には、ピクセル数によって定義される。本例では正面画像及びテンプレート画像の双方は、2次元画像(xy座標系で画素位置が定義された画像、又は、それに対応する2次元画像空間で画素位置が定義された画像)である。2次元画像の画像サイズは、典型的には、第1座標軸方向におけるピクセル数と、第1座標軸方向に直交する第2座標軸方向におけるピクセル数とにより定義される。
幾つかの例示的な実施形態において、テンプレート画像のサイズは、テンプレートマッチングに供される眼底Efの正面画像のサイズよりも小さくてよい。典型的には、第1座標軸方向において正面画像のピクセル数はテンプレート画像のピクセル数の整数倍(M倍)であり、且つ、第2座標軸方向において正面画像のピクセル数はテンプレート画像のピクセル数の整数倍(N倍)であってよい。ここで、M、Nの一方は1以上の整数であり、他方は2以上の整数である。典型的には、M、Nの双方が2以上の整数であり、且つ、M=Nである。これにより、第1座標軸方向における画像サイズ比と第2座標軸方向における画像サイズ比とが等しくなり、双方の注目部位の画像の比較が容易になる。
テンプレート画像のサイズが正面画像のサイズよりも小さい場合、第2探索処理部2312は、まず、公知のリサイズアルゴリズムを正面画像に適用することにより、テンプレート画像のサイズに対応するサイズの縮小画像を作成する。例えば、第2探索処理部2312は、正面画像の16分の1のサイズの縮小画像を作成する。
次に、第2探索処理部2312は、テンプレート画像に基づくテンプレートマッチングを縮小画像に適用することにより、注目部位に相当する縮小画像中の画像(注目領域)を探索する。
縮小画像中の注目領域が検出された場合、第2探索処理部2312は、縮小画像中の注目領域に対応する正面画像中の画像領域を特定し、特定された画像領域を正面画像中の注目領域に設定する。ここで、縮小画像中の注目領域に対応する正面画像中の画像領域に所定の処理を施すことによって、正面画像中の注目領域を決定するようにしてもよい。例えば、正面画像から縮小画像を作成するためのリサイズによって失われた情報を復元するための画像処理を適用するができる。典型的には、縮小画像中の注目領域に対応する正面画像中の画像領域の輪郭及びその近傍にエッジ検出等を適用することで、リサイズで失われた輪郭に微小な凹凸を検出することができる。
リサイズは拡大であってもよいが、本例にて採用される縮小には少なくとも次のような利点がある。すなわち、第1の利点は、注目部位のサイズの個人差の影響を小さくできることであり、第2の利点は、テンプレートマッチングに要求される計算資源を低減できることである。
テンプレートマッチングにおいて採用可能な処理の他の例を説明する。前述したように、注目部位の描出態様は、被検者や被検眼の属性に応じて変化する傾向がある。これを考慮し、2以上の属性にそれぞれ対応する2以上のテンプレート画像を準備することができる。例えば、黄色人種の視神経乳頭に対応するテンプレート画像と、白色人種の視神経乳頭に対応するテンプレート画像とを準備することができる。
第2探索処理部2312は、2以上の属性にそれぞれ対応する2以上のテンプレート画像を予め記憶する。更に、第2探索処理部2312は、これらテンプレート画像のそれぞれと正面画像とに基づくテンプレートマッチングにより、正面画像中の注目領域を探索する。
例えば、黄色人種の視神経乳頭に対応する第1テンプレート画像と、白色人種の視神経乳頭に対応する第2テンプレート画像とが準備された場合、第2探索処理部2312は、第1テンプレート画像と正面画像とに基づくテンプレートマッチングによって正面画像中の注目領域を探索し、且つ、第2テンプレート画像と正面画像とに基づくテンプレートマッチングによって正面画像中の注目領域を探索することができる。
2以上のテンプレート画像にそれぞれ基づく2以上のテンプレートマッチングを実行するタイミングは任意である。例えば、2以上のテンプレートマッチングをシリアルに実行してもよいし、2以上のテンプレートマッチングの幾つかをパラレルに実行してもよい。
2以上のテンプレートマッチングを実行する順序は任意であってよい。例えば、ユーザーが実行順序を設定してもよいし、眼科装置1(制御部210、データ処理部230、又は他の要素)が実行順序を設定してもよい。後者(自動設定)の場合、例えば、記憶部212に記憶されている被検者情報から被検者や被検眼の属性を取得し、取得された属性に基づいて実行順序を設定するように構成されていてよい。或いは、眼科装置1が設置されている国や地域に基づいて実行順序を設定するように構成されていてよい。
幾つかの例示的な実施形態において、第2探索処理部2312は、準備された2以上のテンプレート画像にそれぞれ対応する2以上のテンプレートマッチングの全てを実行するように構成される。この場合、第2探索処理部2312は、例えば、2以上のテンプレートマッチングによって得られた2以上の結果(例えば、検出成功の場合には注目領域、検出失敗の場合にはその事実)に基づいて、テンプレートマッチングによる最終的な検出結果を得る。典型的には、次のいずれかの要領で最終的な検出結果が得られる:(1)全てのテンプレートマッチングにおいて検出失敗の場合、最終的な検出結果も失敗となる;(2)2以上のテンプレートマッチングのいずれか1つのみにおいて検出成功の場合、これにより検出された注目領域が最終的な検出結果となる;(3)2以上のテンプレートマッチングのいずれか2以上において検出成功の場合、これらにより検出された2以上の注目領域のいずれか1つを選択して最終的な検出結果とする(例えば、マッチング度合(画像相関等)が最大である注目領域が選択される);(4)2以上のテンプレートマッチングのいずれか2以上において検出成功の場合、これらにより検出された2以上の注目領域のうちの2以上を合成(平均、加算平均等)することによって最終的な検出結果を得る。
これに対し、他の幾つかの例示的な実施形態において、第2探索処理部2312は、準備された2以上のテンプレート画像にそれぞれ対応する2以上のテンプレートマッチングの一部のみを実行可能に構成される(場合によっては全てを実行してもよい)。例えば、2以上のテンプレート画像の幾つかをシリアルに適用する場合において、第2探索処理部2312は、所定閾値以上のマッチング度合(画像相関等)でテンプレートマッチングが行われた段階で処理を完了するように構成されていてよい。なお、最後の順序のテンプレートマッチングにおいて好適な注目領域が検出された場合、又は、全てのテンプレートマッチングにおいて好適な注目領域が検出されない場合には、2以上のテンプレートマッチングの全てが実行される。以上で、図4Bに示す例(探索処理部231A)についての説明を終える。
次に、図4Cに示す例(探索処理部231B)について説明する。探索処理部231Bは、第1探索処理部2311と第2探索処理部2312と第3探索処理部2313とを含む。第1探索処理部2311及び第2探索処理部2312のそれぞれは、探索処理部231Aに含まれるそれと同様であってよく、その説明は繰り返さない。第3探索処理部2313は、プロセッサを含むハードウェアと、第3探索ソフトウェアとの協働によって実現される。
例えば、探索処理部231Bは、第1探索処理部2311による注目領域の探索が成功した場合にはそこで探索処理を完了し、第1探索処理部2311による注目領域の探索が失敗した場合には第2探索処理部2312による注目領域の探索に移行するように構成される。ここで、第1探索処理部2311により実行される探索処理の少なくとも一部は、第2探索処理部2312により実行される探索処理の少なくとも一部と異なっている。
更に、探索処理部231Bは、第2探索処理部2312による注目領域の探索が成功した場合にはそこで探索処理を完了し、第2探索処理部2312による注目領域の探索が失敗した場合には第3探索処理部2313による注目領域の探索に移行するように構成される。ここで、第3探索処理部2313により実行される探索処理の少なくとも一部は、第1探索処理部2311により実行される探索処理の少なくとも一部と異なり、且つ、第2探索処理部2312により実行される探索処理の少なくとも一部とも異なる。
このように、探索処理部231Bは、互いに異なる3つの探索処理を段階的に正面画像に適用することによって、注目部位を検出する処理の確実性向上を図るものである。
〈第3探索処理部2313〉
第3探索処理部2313は、眼底Efの正面画像を解析することにより眼底Efの血管に相当する血管領域を検出する処理(血管検出)と、検出された血管領域の分布に基づいて眼底Efの注目部位に相当する注目領域を探索する処理(注目領域探索)とを実行するように構成される。
第3探索処理部2313により実行可能な血管検出の幾つかの例を説明する。血管検出は、第3探索ソフトウェアに含まれる血管検出プログラムにしたがって実行される。例えば、第3探索処理部2313は、眼底Efの正面画像に対する輝度に関する閾値処理や、画像領域の形状解析(パターンマッチング等)を用いて血管領域を検出するように構成されていてよい。典型的には、第3探索処理部2313は、周囲(近傍)と比較して輝度が高く(又は低く)且つ線状の画像領域を探索することによって血管領域を検出するように構成される。上記の例の他、血管検出において採用可能な画像処理の例として、ラベリング、リージョングローイング、エッジ検出、閾値処理などがある。
第3探索処理部2313は、このような血管検出により検出された血管領域の分布に基づいて注目領域探索を実行する。第3探索処理部2313により実行可能な注目領域探索の幾つかの例を以下に説明する。
注目部位が視神経乳頭である場合(つまり、注目領域が乳頭領域を含む場合)、第3探索処理部2313は、血管に関する1以上のパラメータに基づいて乳頭領域の探索を実行することができる。例えば、第3探索処理部2313は、血管領域の幅(血管幅、血管径)、血管領域の密度(血管密度)、及び血管領域の向き(血管向き)のうちの1以上のパラメータに基づいて乳頭領域を探索するように構成されていてよい。
血管径を求める処理は、例えば、血管領域の或る位置における血管走行方向を求める処理と、求められた血管走行方向に基づき当該位置における血管径を求める処理とを含む。血管領域の或る位置における血管走行方向を求める処理は、例えば、血管領域に細線化を適用してワイヤモデルを作成する処理と、当該位置におけるワイヤモデルの向き(傾き、血管向き)を求める処理とを含む。血管走行方向に基づき当該位置における血管径を求める処理は、例えば、当該位置におけるワイヤモデルの傾きに直交する方向における血管領域の寸法を求める処理を含む。
血管密度を求める処理は、例えば、所定サイズ(及び所定形状)の画像領域(正面画像の部分領域)において血管領域が占める割合を求める処理を含む。この割合は、例えば、血管領域の面積(ピクセル数)を当該画像領域の面積(ピクセル数)で除算することによって算出される。
視神経乳頭は、視神経の出口であるとともに、眼底組織に血液を供給する主要血管の通り道である。視神経乳頭の近傍には、他の領域よりも太い血管が、他の領域よりも多く存在する。更に、視神経乳頭の近傍の血管は、おおよそ、視神経乳頭を中心して放射状に走行している。このように、視神経乳頭の近傍における血管は特徴的な分布を有する。より詳細には、標準的、一般的な観点から、眼底血管は次のような特徴、傾向を有する:(1)視神経乳頭の近傍の血管は、他の領域の血管よりも径が大きい(例えば、視神経乳頭の近傍における平均血管径は、他の領域における平均血管径よりも大きい);(2)視神経乳頭の近傍における血管密度は、他の領域における血管密度よりも高い;(3)視神経乳頭の近傍における血管向きは、視神経乳頭に対して動径方向又はそれに近い方向に沿っている。
このような血管分布の特徴を利用して乳頭領域を探索することが可能である。例えば、血管径を求めたり、血管径のヒストグラムを作成したり、血管径の比較を行ったり、血管径の統計量(例えば、平均値、中央値、最頻値、分散、標準偏差等)を求めたり、所定閾値以上の径を有する血管の本数又は割合を求めたり、血管密度を求めたり、血管密度のヒストグラムを作成したり、血管密度の比較を行ったり、血管密度の統計量を求めたり、血管向きを求めたり、血管向きの統計量を求めたり、血管向きの比較を行ったりすることによって、乳頭領域を探索することが可能である。
第3探索処理部2313により実行可能な注目領域探索の他の例を説明する。本例において、眼科装置1は、2種類以上のモダリティでそれぞれ取得された2種類以上の正面画像を取得可能である。これら正面画像のうち、第1の種類の正面画像を第1正面画像と呼び、第2の種類の正面画像を第2正面画像と呼ぶ。
眼底Efについて第1正面画像及び第2正面画像が取得された場合、第3探索処理部2313は、次のような一連の処理を実行可能に構成されていてよい。
まず、第3探索処理部2313は、第1正面画像を解析することにより眼底Efの血管に相当する第1血管領域を検出する。この処理は、前述した血管検出と同じ要領で実行可能である。次に、第3探索処理部2313は、第1正面画像と第2正面画像との間のレジストレーションを行う。続いて、第3探索処理部2313は、レジストレーションの結果に基づいて、つまり、第1正面画像と第2正面画像との間の位置(ピクセル)の対応関係に基づいて、第2正面画像中の第1血管領域に対応する第2正面画像中の第2血管領域を特定する。更に、第3探索処理部2313は、特定された第2血管領域の分布に基づいて注目領域を探索する。
典型的には、第1正面画像は第2正面画像よりも高品質である。ここで、正面画像の品質は、少なくとも、血管の描出の明瞭さに相当する。すなわち、高品質の正面画像には血管が明瞭に描出されており、低品質の正面画像には血管が不明瞭に描出されている。典型的な例において、第1正面画像は、OCTアンジオグラム、撮影画像(カラー眼底像等)、又は、蛍光造影画像(フルオレセイン蛍光造影画像、インドシアニングリーン蛍光造影画像等)であり、第2正面画像は観察画像のフレームである。
本例の処理によれば、比較的高画質の第1正面画像に対する血管検出とレジストレーションとを組み合わせることにより、比較的低画質の第2正面画像中の注目領域を検出することが可能になる。例えば、近赤外撮影で得られた比較的低画質の観察画像から血管領域を効果的に検出することが可能である。
眼底Efについて第1正面画像及び第2正面画像が取得された場合に適用可能な他の処理例を説明する。本例において、第3探索処理部2313は、次のような一連の処理を実行可能に構成される。
まず、第3探索処理部2313は、第1正面画像を解析することにより眼底Efの血管に相当する第1血管領域を検出する。次に、第3探索処理部2313は、第1血管領域の分布に基づいて第1注目領域を探索する。続いて、第3探索処理部2313は、第1正面画像と第2正面画像との間のレジストレーションを行う。更に、第3探索処理部2313は、レジストレーションの結果に基づいて、つまり、第1正面画像と第2正面画像との間の位置(ピクセル)の対応関係に基づいて、第1注目領域に対応する第2正面画像の第2注目領域を注目領域として特定する。
本例の処理によっても、比較的高画質の第1正面画像に対する血管検出とレジストレーションとを組み合わせることにより、比較的低画質の第2正面画像中の注目領域を検出することが可能になる。例えば、近赤外撮影で得られた比較的低画質の観察画像から血管領域を効果的に検出することが可能である。
加齢や高度近視に起因して網膜色素上皮が薄化し、脈絡膜血管が眼底正面画像に写り込むことがある。このような眼底は、紋理様眼底、豹紋状眼底などと呼ばれる。紋理様眼底の正面画像には網膜血管と脈絡膜血管が描出されているが、第3探索処理部2313の血管検出の対象となるのは網膜血管である。第3探索処理部2313は、紋理様眼底の正面画像から網膜血管を選択的に検出するように構成されていてよい。例えば、第3探索処理部2313は、紋理様眼底の正面画像から紋理パターンの領域を検出してこれ以外の領域から網膜血管を検出するように構成されていてよい。或いは、第3探索処理部2313は、脈絡膜血管の描出態様と網膜血管の描出態様との相違(例えば、形状、明るさ、輪郭の明瞭さなど)に基づいて紋理様眼底の正面画像から網膜血管を選択的に検出するように構成されていてよい。
第2探索処理部2312によるテンプレートマッチングが要求する計算資源は、第3探索処理部2313による血管検出及び注目領域探索の組み合わせが要求する計算資源よりも少なくて済むのが一般的である。したがって、テンプレートマッチングと、血管検出及び注目領域探索の組み合わせとをこの順に配置しつつ、テンプレートマッチングに失敗したときに血管検出及び注目領域探索の組み合わせを実行するように構成することは、これら2つの処理全体としての効率化を促進することになる。
また、前述したように、第1探索処理部2311によるエッジ検出が要求する計算資源は、第2探索処理部2312によるテンプレートマッチングが要求する計算資源よりも少なくて済むのが一般的であり、エッジ検出とテンプレートマッチングとをこの順に配置しつつ、エッジ検出に失敗したときにテンプレートマッチングを実行するように構成することは、これら2つの処理全体としての効率化を促進することになる。
本例の探索処理部231Bは、これらの組み合わせた処理を実行する。すなわち、探索処理部231Bは、第1探索処理部2311による注目領域の探索が成功した場合にはそこで探索処理を完了し、第1探索処理部2311による注目領域の探索が失敗した場合には第2探索処理部2312による注目領域の探索に移行し、第2探索処理部2312による注目領域の探索が成功した場合にはそこで探索処理を完了し、第2探索処理部2312による注目領域の探索が失敗した場合には第3探索処理部2313による注目領域の探索に移行するように構成されている。したがって、3つの探索処理全体としての効率化を図ることが可能である。
次に、図4Dに示す例(探索処理部231C)について説明する。探索処理部231Cは、第2探索処理部2312と第3探索処理部2313とを含む。第2探索処理部2312及び第3探索処理部2313のそれぞれは、前述したものと同様であってよく、その説明は繰り返さない。
例えば、探索処理部231Cは、第2探索処理部2312による注目領域の探索が成功した場合にはそこで探索処理を完了し、第2探索処理部2312による注目領域の探索が失敗した場合には第3探索処理部2313による注目領域の探索に移行するように構成される。
このような探索処理部231Cによれば、互いに異なる2つの探索処理を段階的に正面画像に適用することによって、注目部位を検出する処理の確実性向上を図ることができ、更に、これら2つの処理全体としての効率化を促進することができる。
次に、図4Eに示す例(探索処理部231D)について説明する。探索処理部231Dは、第1探索処理部2311と第3探索処理部2313とを含む。第1探索処理部2311及び第3探索処理部2313のそれぞれは、前述したものと同様であってよく、その説明は繰り返さない。
例えば、探索処理部231Dは、第1探索処理部2311による注目領域の探索が成功した場合にはそこで探索処理を完了し、第1探索処理部2311による注目領域の探索が失敗した場合には第3探索処理部2313による注目領域の探索に移行するように構成される。
このような探索処理部231Dによれば、互いに異なる2つの探索処理を段階的に正面画像に適用することによって、注目部位を検出する処理の確実性向上を図ることができ、更に、これら2つの処理全体としての効率化を促進することができる。
次に、図4Fに示す例について説明する。本例の眼科装置1は、被検眼Eの動きにしたがって照明光学系10及び撮影光学系30の位置を調整するためのトラッキングを実行可能である。本例においては、制御部210として制御部210Aが適用され、且つ、データ処理部230としてデータ処理部230Aが適用される。なお、図4Fにおいて主制御部211及び記憶部212は省略されている。
制御部210Aは、トラッキング制御部213を含む。例えば、トラッキング制御部213は主制御部211に含まれる。トラッキング制御部213は、トラッキングに関する制御を実行する。
データ処理部230Aは、探索処理部231に加えてトラッキング解析部232を含む。探索処理部231は、例えば、図4Bに示す探索処理部231A、図4Cに示す探索処理部231B、図4Dに示す探索処理部231C、図4Eに示す探索処理部231D、及び、これら以外の構成のうちのいずれかであってよい。トラッキング解析部232は、トラッキングに関するデータ解析を行う。
本例において実行可能なトラッキングについて説明する。トラッキングは、典型的には、被検眼E(眼底Ef又は前眼部)の観察画像を参照して行われる。観察画像は動画像であるから、被検眼Eの動き(つまり、被検眼Eの位置や向きの時系列変化)を把握するために用いることができる。本例では、照明光学系10により眼底Efを近赤外光で照明し、この近赤外光で照明されている眼底Efを撮影光学系30により繰り返しデジタル撮影し、これにより得られる近赤外観察画像を参照してトラッキングを行う。
本例の眼科装置1は、撮影光学系30により得られた観察画像に基づき移動機構150を制御することによってトラッキングを実行する。より詳細には、例えば、観察画像として逐次に取得されるフレームのそれぞれについて、トラッキング解析部232は、最新のフレームを解析して特徴点を検出する処理と、最新のフレームにおける特徴点の位置(x座標及びy座標、又は、これらに対応する2次元画像空間の座標)を記録する処理と、最新の特徴点位置とそれよりも前に得られた特徴点位置(例えば、一つ前に得られた特徴点位置)との間の差分を求める処理とを実行する。この特徴点位置の差分は、比較された2つのフレームに対応する2つの撮影時刻の間における眼底Efの位置の変化(変位)に相当する。このようにして得られた変位情報はトラッキング制御部213に送られる。トラッキング解析部232から変位情報が入力される度に、トラッキング制御部213は、変位に対応する方向及び距離だけ眼底カメラユニット2を移動するように移動機構150の制御を行う。これにより、被検眼Eの動きに対して眼底カメラユニット2を追従させることができる。
トラッキングの他の処理例を説明する。観察画像として逐次に取得されるフレームのそれぞれについて、トラッキング解析部232は、最新のフレームとそれよりも前に得られたフレーム(例えば、一つ前に得られたフレーム)とに対して公知の画像相関法(例えば、位相限定相関法)を適用することにより、これらフレームの間の変位を求める。求められた変位情報はトラッキング制御部213に送られる。トラッキング解析部232から変位情報が入力される度に、トラッキング制御部213は、変位に対応する方向及び距離だけ眼底カメラユニット2を移動するように移動機構150の制御を行う。これにより、被検眼Eの動きに対して眼底カメラユニット2を追従させることができる。
〈ユーザーインターフェイス240〉
ユーザーインターフェイス240は表示部241と操作部242とを含む。表示部241は表示装置3を含む。操作部242は各種の操作デバイスや入力デバイスを含む。ユーザーインターフェイス240は、例えばタッチパネルのような表示機能と操作機能とが一体となったデバイスを含んでいてもよい。ユーザーインターフェイス240の少なくとも一部を含まない実施形態を構築することも可能である。例えば、表示デバイスは、眼科装置に接続された外部装置であってよい。
〈動作〉
眼科装置1の動作(注目領域探索)の幾つかの例を説明する。患者IDの入力、固視標の提示、固視位置の調整、アライメント、フォーカス調整など、従来と同様の準備的な処理は、既になされたものとする。注目領域探索は、眼底Efの観察画像の取得が可能になった後の任意のタイミングで実行されてよい。典型的には、眼底Efに対するアライメント及びフォーカス調整が完了してから、注目領域の探索結果を利用した処理が開始されるまでの間における任意のタイミングで、注目領域探索を実行することが可能である。
〈第1動作例〉
図5~図9を参照しつつ眼科装置1の動作の第1の例を説明する。本例の探索処理部231は、図4Bに示す探索処理部231Aである。図5のフローチャートは、本動作例の注目領域探索において実行される一連の処理を示している。図6のフローチャートは、図5のステップS4で実行可能な一連の処理を示している。図7Aは、図6のステップS12で用いることが可能なテンプレート画像を示している。図7Bは、図6のステップS14で用いることが可能なテンプレート画像を示している。図7Aのテンプレート画像は、黄色人種の視神経乳頭に対応する第1テンプレート画像であり、図7Bのテンプレート画像は、白色人種の視神経乳頭に対応する第2テンプレート画像であるとする。第1テンプレート画像及び第2テンプレート画像は、事前に作成されて第2探索処理部2312(又は記憶部212等)に予め格納される。図8は、図5の処理が適用される正面画像の例を示している。図9は、図5の処理を図8の正面画像に適用して得られる結果を説明するために参照される。
(S1:近赤外観察画像のキャプチャを開始)
本例の注目領域探索では、まず、眼底Efの正面画像を取得する。本例の正面画像は、照明光学系10及び撮影光学系30を用いて得られる近赤外観察画像のフレームである(図8を参照)。逐次に取得される正面画像(近赤外観察画像のフレームF)は、例えば、主制御部211により記憶部212に逐次に転送されて一時的に記憶され、探索処理部231に逐次に供給される。
準備的処理の少なくとも一部(例えば、アライメント、フォーカス調整)において近赤外観察画像を利用する構成が採用される場合、近赤外観察画像の取得は既に開始されており、注目領域探索のための近赤外観察画像のキャプチャ(動画像のフレームを保存する処理)が本ステップにおいて開始される。本ステップよりも前の段階で近赤外観察画像の取得が開始された場合にも同様である。
これに対し、本ステップよりも前の段階で近赤外観察画像の取得が開始されない場合、本ステップにおいて近赤外観察画像の取得及びキャプチャが開始される。
また、図4Fに示すようにトラッキング制御部213及びトラッキング解析部232が設けられている場合には、近赤外観察画像の取得が開始された後の任意のタイミングでトラッキングを開始することができる。典型的には、トラッキングは、アライメント及びフォーカス調整の完了後に開始される。
(S2:輝度変化に基づく注目領域探索)
本例では、主制御部211は、まず、第1探索処理部2311を動作させる。第1探索処理部2311は、ステップS1でキャプチャされた近赤外観察画像のフレームFに対して、輝度変化に基づく注目領域探索を適用する。この注目領域探索は、前述した要領で実行される。
(S3:探索成功?)
ステップS2の注目領域探索により注目領域が検出された場合(S3:Yes)、処理はステップS5に移行する。他方、ステップS2の注目領域探索により注目領域が検出されなかった場合(S3:No)、処理はステップS4に移行する。
(S4:テンプレートマッチングによる注目領域探索)
ステップS2の注目領域探索により注目領域が検出されなかった場合(S3:No)、主制御部211は、第2探索処理部2312を動作させる。第2探索処理部2312は、ステップS1でキャプチャされた近赤外観察画像のフレームFに対して、テンプレートマッチングによる注目領域探索を適用する。この注目領域探索は、前述した要領で実行される。
本例では、ステップS4の注目領域探索によって注目領域が検出されることを想定している。ステップS4の注目領域探索でも注目領域が検出されない場合には、例えば、主制御部211がユーザーインターフェイス240を制御して警告等を出力する。
(S5:注目領域情報を記録)
ステップS2の注目領域探索又はステップS4の注目領域探索によりフレームFから注目領域が検出された場合、探索処理部231Aは、注目領域情報を生成する。
注目領域情報は、検出された注目領域に関する所定の情報を含む。例えば、注目領域情報は、注目領域の位置を示す情報(注目領域位置情報)、又は、注目領域及びその近傍の画像(注目領域画像)を含んでいてよい。
注目領域位置情報は、例えば、フレームFにおける注目領域の範囲(例えば、乳頭周縁)又は特徴点(例えば、乳頭中心)の座標情報を含んでいてよい。この座標情報は、例えば、フレームFよりも後にキャプチャされたフレームに注目領域探索を適用する際に参照可能である。
注目領域画像は、例えば、フレームFから検出された注目領域の少なくとも一部及びその近傍を表す画像である。図9に符号Gで示す画像領域は注目領域画像の例であり、視神経乳頭(注目領域)及びその近傍を表している。注目領域画像は、例えば、フレームFよりも後にキャプチャされたフレームに対してテンプレートマッチングによる注目領域探索を適用する際のテンプレート画像として使用可能である。
次に、図6を参照しつつ、ステップS4のテンプレートマッチングによる注目領域探索において実行される処理の例を説明する。本例は、縮小画像の使用(ステップS11)と、2以上のテンプレート画像の使用(ステップS12~S14)との双方を含んでいる。一方、他の例に係るテンプレートマッチングによる注目領域探索は、これらのうちのいずれか一方のみを含んでいてもよいし、これらのいずれも含んでいなくてもよいし、これら以外の処理を含んでいてもよい。
(S11:近赤外観察画像のフレームの縮小画像を作成)
第2探索処理部2312は、ステップS1でキャプチャされた近赤外観察画像のフレームFの縮小画像を作成する。縮小画像のサイズは、例えば、フレームFの16分の1である。
(S12:第1テンプレート画像に基づくテンプレートマッチングを実行)
次に、第2探索処理部2312は、ステップS11で作成された縮小画像に対し、第1テンプレート画像に基づくテンプレートマッチングを適用することによって、縮小画像中の注目領域を探索する。
(S13:探索成功?)
ステップS12のテンプレートマッチングにより注目領域が検出された場合(S13:Yes)、処理はステップS5に移行する。他方、ステップS12のテンプレートマッチングにより注目領域が検出されなかった場合(S13:No)、処理はステップS14に移行する。
(S14:第2テンプレート画像に基づくテンプレートマッチングを実行)
ステップS12のテンプレートマッチングにより注目領域が検出されなかった場合(S13:No)、第2探索処理部2312は、ステップS11で作成された縮小画像に対し、第2テンプレート画像に基づくテンプレートマッチングを適用することによって、縮小画像中の注目領域を探索する。
前述したように、本例では、ステップS4の注目領域探索によって注目領域が検出されることを想定しており、ステップS14の注目領域探索でも注目領域が検出されない場合には、例えば、主制御部211がユーザーインターフェイス240を制御して警告等を出力する。ステップS14の注目領域探索で注目領域が検出された場合には、処理はステップS5に移行する。
〈第2動作例〉
図10を参照しつつ眼科装置1の動作の第2の例を説明する。本例の探索処理部231は、図4Cに示す探索処理部231Bである。
(S21~S24)
ステップS21~S24は、それぞれ、第1動作例のステップS1~S4と同じ要領で実行される。なお、ステップS22の注目領域探索により注目領域が検出された場合(S23:Yes)、処理はステップS27に移行する。
本例では、ステップS14の注目領域探索によって注目領域が検出される場合と検出されない場合との双方を想定している。
(S25:探索成功?)
ステップS24の注目領域探索により注目領域が検出された場合(S25:Yes)、処理はステップS27に移行する。他方、ステップS24の注目領域探索により注目領域が検出されなかった場合(S25:No)、処理はステップS26に移行する。
(S26:血管分布に基づく注目領域探索)
ステップS24の注目領域探索により注目領域が検出されなかった場合(S25:No)、主制御部211は、第3探索処理部2313を動作させる。第3探索処理部2313は、ステップS21でキャプチャされた近赤外観察画像のフレームに対して、血管分布に基づく注目領域探索を適用する。この注目領域探索は、前述した要領で実行される。
本例では、ステップS26の注目領域探索によって注目領域が検出されることを想定している。ステップS26の注目領域探索でも注目領域が検出されない場合には、例えば、主制御部211がユーザーインターフェイス240を制御して警告等を出力する。
(S27:注目領域情報を記録)
ステップS22の注目領域探索、ステップS24の注目領域探索、又はステップS26の注目領域探索により、ステップS21でキャプチャされたフレームから注目領域が検出された場合、探索処理部231Bは、注目領域情報を生成する。この処理は、第1動作例のステップS5と同じ要領で実行される。
〈第3動作例〉
図11を参照しつつ眼科装置1の動作の第3の例を説明する。本例の探索処理部231は、図4Dに示す探索処理部231Cである。
(S31:近赤外観察画像のキャプチャを開始)
まず、第1動作例のステップS1と同じ要領で、近赤外観察画像のキャプチャが開始されてフレームが探索処理部231Cに送られる。
(S32~S34)
ステップS32~S34は、それぞれ、第2動作例のステップS24~S26と同じ要領で実行される。なお、ステップS32の注目領域探索により注目領域が検出された場合(S33:Yes)、処理はステップS35に移行する。
(S35:注目領域情報を記録)
ステップS32の注目領域探索又はステップS34の注目領域探索により、ステップS31でキャプチャされたフレームから注目領域が検出された場合、探索処理部231Cは、注目領域情報を生成する。この処理は、第1動作例のステップS5と同じ要領で実行される。
〈第4動作例〉
図12を参照しつつ眼科装置1の動作の第4の例を説明する。本例の探索処理部231は、図4Eに示す探索処理部231Dである。
(S41:近赤外観察画像のキャプチャを開始)
まず、第1動作例のステップS1と同じ要領で、近赤外観察画像のキャプチャが開始されてフレームが探索処理部231Dに送られる。
(S42~S43)
ステップS42~S43は、それぞれ、第1動作例のステップS2~S3と同じ要領で実行される。なお、ステップS42の注目領域探索により注目領域が検出された場合(S43:Yes)、処理はステップS45に移行する。他方、ステップS42の注目領域探索により注目領域が検出されなかった場合(S43:No)、処理はステップS44に移行する。
(S44:血管分布に基づく注目領域探索)
ステップS42の注目領域探索により注目領域が検出されなかった場合(S43:No)、主制御部211は、第3探索処理部2313を動作させる。第3探索処理部2313は、ステップS41でキャプチャされた近赤外観察画像のフレームに対して、血管分布に基づく注目領域探索を適用する。この注目領域探索は、第2動作例のステップS26と同じ要領で実行される。
本例では、ステップS44の注目領域探索によって注目領域が検出されることを想定している。ステップS44の注目領域探索でも注目領域が検出されない場合には、例えば、主制御部211がユーザーインターフェイス240を制御して警告等を出力する。
(S45:注目領域情報を記録)
ステップS42の注目領域探索又はステップS44の注目領域探索により、ステップS41でキャプチャされたフレームから注目領域が検出された場合、探索処理部231Dは、注目領域情報を生成する。この処理は、第1動作例のステップS5と同じ要領で実行される。
〈作用・効果〉
幾つかの例示的な実施形態の作用及び効果について説明する。
例示的な実施形態に係る眼科装置(1)は、正面画像取得部と、第1探索処理部と、第2探索処理部とを含んでいてよい(図4Bを参照)。
正面画像取得部は、被検眼の眼底の正面画像を取得する。例示的な眼科装置1において正面画像取得部は、照明光学系10と撮影光学系30とを含む。なお、例示的な眼科装置1は眼底Efを撮影することによって正面画像を取得しているが、他の装置又は記憶装置等から正面画像を取得するようにしてもよい。他の装置又は記憶装置等から正面画像を取得する場合、例示的な眼科装置1の正面画像取得部は、前述した通信デバイス又はドライブ装置等を含む。
第1探索処理部は、正面画像取得部により取得された正面画像における輝度の変化に基づいて眼底の注目部位に相当する注目領域を探索する。例示的な眼科装置1の第1探索処理部は、第1探索処理部2311を含む。
第2探索処理部は、第1探索処理部により注目領域が検出されなかった場合に、正面画像及びテンプレート画像に基づくテンプレートマッチングによって注目領域を探索する。
このような眼科装置によれば、2つの画像処理手法を段階的に適用することにより、正面画像から注目部位を検出する処理の確実性向上を図ることができるとともに、処理全体の効率化を図ることができる。
例示的な実施形態に係る眼科装置(1)は、第3探索処理部を更に含んでいてよい(図4Cを参照)。第3探索処理部は、第2探索処理部により注目領域が検出されなかった場合に、正面画像を解析することにより眼底の血管に相当する血管領域を検出し、検出された血管領域の分布に基づいて注目領域を探索する。
このような眼科装置によれば、3つの画像処理手法を段階的に適用することにより、正面画像から注目部位を検出する処理の確実性向上を図ることができるとともに、処理全体の効率化を図ることができる。
例示的な実施形態に係る眼科装置(1)は、正面画像取得部と、第2探索処理部と、第3探索処理部とを含んでいてよい(図4Dを参照)。このような眼科装置によれば、2つの画像処理手法を段階的に適用することにより、正面画像から注目部位を検出する処理の確実性向上を図ることができるとともに、処理全体の効率化を図ることができる。
例示的な実施形態に係る眼科装置(1)は、正面画像取得部と、第1探索処理部と、第3探索処理部とを含んでいてよい(図4Eを参照)。このような眼科装置によれば、2つの画像処理手法を段階的に適用することにより、正面画像から注目部位を検出する処理の確実性向上を図ることができるとともに、処理全体の効率化を図ることができる。
例示的な実施形態において、テンプレート画像のサイズは、眼底の正面画像のサイズよりも小さくてよい。この場合、第2探索処理部は、正面画像をリサイズすることによりテンプレート画像のサイズに対応するサイズの縮小画像を作成し、且つ、テンプレート画像に基づくテンプレートマッチングを縮小画像に適用することにより注目領域を探索することができる。ここで、正面画像から縮小画像を作成する際の縮小比は、既定値でもよいし、正面画像のサイズ及び/又はテンプレート画像のサイズに基づき設定された値でもよい。
このような眼科装置によれば、注目部位のサイズの個人差が注目領域探索に与える影響を低減することができ、また、テンプレートマッチングに要求される計算資源を低減することができる。
例示的な実施形態において、第2探索処理部は、2以上の属性にそれぞれ対応する2以上のテンプレート画像を予め記憶していてよい。更に、第2探索処理部は、2以上のテンプレート画像のそれぞれと正面画像とに基づくテンプレートマッチングにより注目領域を探索するように構成されていてよい。
このような眼科装置によれば、様々な属性の被検眼の眼底の正面画像から注目部位を検出する処理の確実性向上を図ることができる。
例示的な実施形態において、注目領域は、視神経乳頭に相当する乳頭領域を含んでいてよく、且つ、テンプレート画像は、視神経乳頭及びその近傍の画像であってよい。
これにより、眼底の主要な注目部位である視神経乳頭を検出する処理の確実性向上を図ることができる。
例示的な実施形態において、注目領域は、視神経乳頭に相当する乳頭領域を含んでいてよい。更に、第1探索処理部は、眼底の正面画像において輝度の変化が不連続な位置を特定する処理により乳頭領域の境界を探索するように構成されていてよい。
このような眼科装置によれば、第1探索処理部が実行する輝度変化に基づく注目領域探索においてエッジ検出を行うことにより、視神経乳頭の周縁を高い確実性で検出することができる。
例示的な実施形態において、注目領域は、視神経乳頭に相当する乳頭領域を含んでいてよい。更に、第3探索処理部は、血管領域の幅、密度及び向きのうちの1以上のパラメータに基づいて乳頭領域を探索するように構成されていてよい。
このような眼科装置によれば、第3探索処理部は、眼底における血管の分布を参照して視神経乳頭を高い確実性で検出することができる。
例示的な実施形態において、正面画像取得部は、眼底の正面画像とは異なるモダリティで取得された眼底の他の正面画像を更に取得するように構成されていていよい。ここで、双方の正面画像が眼科装置1による撮影画像であってもよいし、一方のみが眼科装置1による撮影画像であってもよいし、双方が外部から取得した画像であってもよい。
更に、第3探索処理部は、次の一連の処理を実行可能に構成されていてよい。まず、第3探索処理部は、他の正面画像を解析することにより眼底の血管に相当する第1血管領域を検出する。次に、第3探索処理部は、正面画像と他の正面画像との間のレジストレーションを行う。続いて、第3探索処理部は、レジストレーションの結果に基づいて第1血管領域に対応する正面画像の第2血管領域を特定する。最後に、第3探索処理部は、第2血管領域の分布に基づいて注目領域を探索する。
このような眼科装置によれば、第3探索処理部は、他の正面画像から求められた血管分布を参照して正面画像の血管分布を求めることができる。したがって、注目部位の検出の確実性向上を図ることができる。
同様に、眼底の正面画像とは異なるモダリティで取得された眼底の他の正面画像を更に取得可能である例示的な実施形態において、第3探索処理部は、次の一連の処理を実行可能に構成されていてよい。まず、第3探索処理部は、他の正面画像を解析することにより眼底の血管に相当する血管領域を検出する。次に、第3探索処理部は、他の正面画像から検出された血管領域の分布に基づいて第1注目領域を探索する。続いて、第3探索処理部は、正面画像と他の正面画像との間のレジストレーションを行う。最後に、第3探索処理部は、レジストレーションの結果に基づいて第1注目領域に対応する正面画像の第2注目領域を注目領域として特定する。
このような眼科装置によれば、第3探索処理部は、他の正面画像から求められた血管分布に基づき他の正面画像中の注目部位を検出し、他の正面画像中の注目部位を参照して正面画像の注目部位を検出することができる。したがって、注目部位の検出の確実性向上を図ることができる。
例示的な実施形態において、眼底の正面画像は、近赤外光で照明されている眼底をデジタル撮影して得られた画像であってよい。更に、眼底の正面画像は、近赤外光で照明されている眼底を繰り返しデジタル撮影して得られた動画像のフレームであってよい。
このような眼科装置によれば、被検者に眩しさを感じさせず縮瞳の原因とならない近赤外光を用いて取得された眼底の正面画像から注目部位を検出する処理の確実性向上を図ることができる。
近赤外動画像を取得可能な例示的な眼科装置において、正面画像取得部は、照明系と、撮影系とを含んでいてよい。照明系は、近赤外光で眼底を照明する。撮影系は、イメージセンサを含み、近赤外光で照明されている眼底を繰り返しデジタル撮影する。すなわち、正面画像取得部は、眼底の近赤外観察が可能に構成されていてよい。更に、例示的な眼科装置は、移動機構と、移動処理部とを含んでいてよい。移動機構は、照明系及び撮影系を移動する。移動処理部は、撮影系により得られた動画像に基づき移動機構を制御する。
例示的な眼科装置1の照明系は、照明光学系10を少なくとも含み、照明光学系10の要素を制御する要素や駆動する要素を更に含んでいてもよい。また、例示的な眼科装置1の撮影系は、撮影光学系30を少なくとも含み、撮影光学系30の要素を制御する要素や駆動する要素を更に含んでいてもよい。また、例示的な眼科装置1の移動機構は、移動機構150を含む。また、例示的な眼科装置1の移動処理部は、トラッキング制御部213及びトラッキング解析部232を含む(図6Fを参照)。
例示的な実施形態は、眼科装置を制御する方法を提供する。この制御方法を適用可能な眼科装置は、被検眼の眼底の正面画像を処理するプロセッサを含む。例示的な眼科装置1のプロセッサは、探索処理部231を少なくとも含む。
例示的な実施形態の制御方法の第1の態様は、第1探索制御ステップと、第2探索制御ステップとを含む。第1探索制御すテプは、眼底の正面画像における輝度の変化に基づいて眼底の注目部位に相当する注目領域を探索する処理をプロセッサに実行させる。第2探索制御ステップは、第1探索制御ステップにおいて実行された処理により注目領域が検出されなかった場合に、正面画像及びテンプレート画像に基づくテンプレートマッチングにより注目領域を探索する処理をプロセッサに実行させる。
例示的な実施形態の制御方法の第1の態様は、更に、第3探索制御ステップを含んでいてよい。第3探索制御ステップは、第2探索制御ステップにおいて実行された処理により注目領域が検出されなかった場合に、正面画像を解析することにより眼底の血管に相当する血管領域を検出する処理と、血管領域の分布に基づいて注目領域を探索する処理とをプロセッサに実行させる。
例示的な実施形態の制御方法の第2の態様は、第2探索制御ステップと、第3探索制御ステップとを含む。第2探索制御ステップは、眼底の正面画像及びテンプレート画像に基づくテンプレートマッチングにより注目領域を探索する処理をプロセッサに実行させる。第3探索制御ステップは、第2探索制御ステップにおいて実行された処理により注目領域が検出されなかった場合に、正面画像を解析することにより眼底の血管に相当する血管領域を検出する処理と、血管領域の分布に基づいて注目領域を探索する処理とをプロセッサに実行させる。
例示的な実施形態の制御方法の第3の態様は、第1探索制御ステップと、第3探索制御ステップとを含む。第1探索制御ステップは、眼底の正面画像における輝度の変化に基づいて眼底の注目部位に相当する注目領域を探索する処理をプロセッサに実行させる。第3探索制御ステップは、第1探索制御ステップにおいて実行された処理により注目領域が検出されなかった場合に、正面画像を解析することにより眼底の血管に相当する血管領域を検出する処理と、血管領域の分布に基づいて注目領域を探索する処理とをプロセッサに実行させる。
例示的な眼科装置の制御方法に対して、例示的な眼科装置1について説明された事項のいずれかを組み合わせることが可能である。
例示的な実施形態は、例示的な制御方法のいずれかを眼科装置に実行させるプログラムを提供する。このプログラムに対して、例示的な実施形態において説明された事項のいずれかを組み合わせることが可能である。
また、このようなプログラムを記録したコンピュータ可読な非一時的記録媒体を作成することが可能である。この記録媒体に対して、例示的な実施形態において説明された事項のいずれかを組み合わせることが可能である。また、この非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
例示的な実施形態に係る方法、プログラム、又は記録媒体によれば、2以上の画像処理手法を段階的に適用することにより、正面画像から注目部位を検出する処理の確実性向上を図ることができるとともに、処理全体の効率化を図ることができる。また、例示的な実施形態に係る方法、プログラム、又は記録媒体に組み合わされる事項に応じた作用及び効果が奏される。
以上に説明した構成は、この発明の実施態様の例に過ぎない。よって、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。
1 眼科装置
10 照明光学系
30 撮影光学系
150 移動機構
210 制御部
210A 制御部
213 トラッキング制御部
230 データ処理部
231 探索処理部
231A 探索処理部
231B 探索処理部
231C 探索処理部
231D 探索処理部
2311 第1探索処理部
2312 第2探索処理部
2313 第3探索処理部
232 トラッキング解析部

Claims (4)

  1. 被検眼の眼底の正面画像を取得する正面画像取得部と、
    前記正面画像及びテンプレート画像に基づくテンプレートマッチングにより前記眼底の注目部位に相当する注目領域を探索する第2探索処理部と、
    前記第2探索処理部により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、前記血管領域の分布に基づいて前記注目領域を探索する第3探索処理部と
    を含み、
    前記テンプレート画像のサイズは、前記正面画像のサイズよりも小さく、
    前記第2探索処理部は、
    前記正面画像をリサイズすることにより前記テンプレート画像のサイズに対応するサイズの縮小画像を作成し、
    前記テンプレート画像に基づくテンプレートマッチングを前記縮小画像に適用することにより前記注目領域を探索する、
    眼科装置。
  2. 被検眼の眼底の正面画像を取得する正面画像取得部と、
    前記正面画像及びテンプレート画像に基づくテンプレートマッチングにより前記眼底の注目部位に相当する注目領域を探索する第2探索処理部と、
    前記第2探索処理部により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、前記血管領域の分布に基づいて前記注目領域を探索する第3探索処理部と
    を含み、
    前記第2探索処理部は、
    2以上の属性にそれぞれ対応する2以上のテンプレート画像を予め記憶し、
    前記2以上のテンプレート画像のそれぞれと前記正面画像とに基づくテンプレートマッチングにより前記注目領域を探索する、
    眼科装置。
  3. 被検眼の眼底の正面画像を取得する正面画像取得部と、
    前記正面画像及びテンプレート画像に基づくテンプレートマッチングにより前記眼底の注目部位に相当する注目領域を探索する第2探索処理部と、
    前記第2探索処理部により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、前記血管領域の分布に基づいて前記注目領域を探索する第3探索処理部と
    を含み、
    前記正面画像取得部は、前記正面画像とは異なるモダリティで取得された前記眼底の他の正面画像を更に取得し、
    前記第3探索処理部は、
    前記他の正面画像を解析することにより前記眼底の血管に相当する第1血管領域を検出し、
    前記正面画像と前記他の正面画像との間のレジストレーションを行い、
    前記レジストレーションの結果に基づいて前記第1血管領域に対応する前記正面画像の第2血管領域を特定し、
    前記第2血管領域の分布に基づいて前記注目領域を探索する、
    眼科装置。
  4. 被検眼の眼底の正面画像を取得する正面画像取得部と、
    前記正面画像及びテンプレート画像に基づくテンプレートマッチングにより前記眼底の注目部位に相当する注目領域を探索する第2探索処理部と、
    前記第2探索処理部により前記注目領域が検出されなかった場合に、前記正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、前記血管領域の分布に基づいて前記注目領域を探索する第3探索処理部と
    を含み、
    前記正面画像取得部は、前記正面画像とは異なるモダリティで取得された前記眼底の他の正面画像を更に取得し、
    前記第3探索処理部は、
    前記他の正面画像を解析することにより前記眼底の血管に相当する血管領域を検出し、
    前記他の正面画像から検出された前記血管領域の分布に基づいて第1注目領域を探索し、
    前記正面画像と前記他の正面画像との間のレジストレーションを行い、
    前記レジストレーションの結果に基づいて前記第1注目領域に対応する前記正面画像の第2注目領域を前記注目領域として特定する、
    眼科装置。
JP2022135078A 2019-01-24 2022-08-26 眼科装置 Active JP7368568B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022135078A JP7368568B2 (ja) 2019-01-24 2022-08-26 眼科装置
JP2023120379A JP2023129563A (ja) 2019-01-24 2023-07-25 眼科装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019009865A JP7199236B2 (ja) 2019-01-24 2019-01-24 眼科装置
JP2022135078A JP7368568B2 (ja) 2019-01-24 2022-08-26 眼科装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019009865A Division JP7199236B2 (ja) 2019-01-24 2019-01-24 眼科装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023120379A Division JP2023129563A (ja) 2019-01-24 2023-07-25 眼科装置

Publications (2)

Publication Number Publication Date
JP2022162141A JP2022162141A (ja) 2022-10-21
JP7368568B2 true JP7368568B2 (ja) 2023-10-24

Family

ID=69055830

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019009865A Active JP7199236B2 (ja) 2019-01-24 2019-01-24 眼科装置
JP2022135078A Active JP7368568B2 (ja) 2019-01-24 2022-08-26 眼科装置
JP2023120379A Pending JP2023129563A (ja) 2019-01-24 2023-07-25 眼科装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019009865A Active JP7199236B2 (ja) 2019-01-24 2019-01-24 眼科装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023120379A Pending JP2023129563A (ja) 2019-01-24 2023-07-25 眼科装置

Country Status (3)

Country Link
US (2) US11452445B2 (ja)
EP (3) EP3792824A1 (ja)
JP (3) JP7199236B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7199236B2 (ja) * 2019-01-24 2023-01-05 株式会社トプコン 眼科装置
JPWO2022091429A1 (ja) * 2020-10-27 2022-05-05
CN113947592A (zh) * 2021-11-01 2022-01-18 中山大学中山眼科中心 一种捕获和分析目标的图像数据的系统
CN116503405B (zh) * 2023-06-28 2023-10-13 依未科技(北京)有限公司 近视眼底改变可视化方法、装置、存储介质及电子设备
CN116491892B (zh) * 2023-06-28 2023-09-22 依未科技(北京)有限公司 近视眼底改变评估方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279536A (ja) 2009-06-04 2010-12-16 Topcon Corp 眼底画像解析装置、眼底撮影装置及びプログラム
JP2012030054A (ja) 2010-07-05 2012-02-16 Canon Inc 眼科装置、眼科システム及び記憶媒体
JP2014128620A (ja) 2012-11-30 2014-07-10 Topcon Corp 眼底撮影システム
US20140268046A1 (en) 2013-03-14 2014-09-18 Carl Zeiss Meditec, Inc. Systems and methods for improved acquisition of ophthalmic optical coherence tomography data
JP2016509914A (ja) 2013-03-14 2016-04-04 カール ツアイス メディテック アクチエンゲゼルシャフト 視覚データの取得および分析のマルチモード統合

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4971872B2 (ja) 2007-05-23 2012-07-11 株式会社トプコン 眼底観察装置及びそれを制御するプログラム
JP5448198B2 (ja) * 2007-12-21 2014-03-19 サイファイ メドテック エッセ.エッレ.エッレ. 眼の3次元解析用デュアルシャインプルーフシステム
SG178571A1 (en) 2009-08-24 2012-03-29 Singapore Health Serv Pte Ltd A method and system for detecting disc haemorrhages
US9161690B2 (en) * 2011-03-10 2015-10-20 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method of the same
JP5912358B2 (ja) 2011-09-14 2016-04-27 株式会社トプコン 眼底観察装置
US9357916B2 (en) 2012-05-10 2016-06-07 Carl Zeiss Meditec, Inc. Analysis and visualization of OCT angiography data
WO2014084231A1 (ja) 2012-11-30 2014-06-05 株式会社トプコン 眼底撮影装置
JP2014155694A (ja) * 2013-01-16 2014-08-28 Canon Inc 眼科装置及び眼科方法
JP6184231B2 (ja) * 2013-07-31 2017-08-23 キヤノン株式会社 画像処理装置および画像処理方法
JP6469387B2 (ja) 2014-08-26 2019-02-13 株式会社トプコン 眼底解析装置
JP6789700B2 (ja) 2016-07-05 2020-11-25 キヤノン株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
CN107292868B (zh) 2017-05-31 2020-03-13 瑞达昇医疗科技(大连)有限公司 一种视盘定位方法及装置
JP6503040B2 (ja) 2017-10-13 2019-04-17 株式会社トプコン 眼科観察装置
JP7199236B2 (ja) * 2019-01-24 2023-01-05 株式会社トプコン 眼科装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279536A (ja) 2009-06-04 2010-12-16 Topcon Corp 眼底画像解析装置、眼底撮影装置及びプログラム
JP2012030054A (ja) 2010-07-05 2012-02-16 Canon Inc 眼科装置、眼科システム及び記憶媒体
JP2014128620A (ja) 2012-11-30 2014-07-10 Topcon Corp 眼底撮影システム
US20140268046A1 (en) 2013-03-14 2014-09-18 Carl Zeiss Meditec, Inc. Systems and methods for improved acquisition of ophthalmic optical coherence tomography data
JP2016509914A (ja) 2013-03-14 2016-04-04 カール ツアイス メディテック アクチエンゲゼルシャフト 視覚データの取得および分析のマルチモード統合

Also Published As

Publication number Publication date
EP3789915A1 (en) 2021-03-10
JP2020116140A (ja) 2020-08-06
EP3696721A2 (en) 2020-08-19
EP3696721A3 (en) 2020-11-11
JP2023129563A (ja) 2023-09-14
US20220386869A1 (en) 2022-12-08
JP2022162141A (ja) 2022-10-21
EP3789915B1 (en) 2023-12-13
EP3792824A1 (en) 2021-03-17
US11452445B2 (en) 2022-09-27
JP7199236B2 (ja) 2023-01-05
US20200237213A1 (en) 2020-07-30
US11806076B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
JP7368568B2 (ja) 眼科装置
JP7384987B2 (ja) 眼科装置
JP7134324B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP2023014190A (ja) 眼科撮影装置
JP7096116B2 (ja) 血流計測装置
JP7534094B2 (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP7215862B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP7378557B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP7281906B2 (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP6942627B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP7286283B2 (ja) 眼科装置
CN111787843B (zh) 血流测量装置
JP7043302B2 (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP7106311B2 (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP2020103714A (ja) 血流計測装置、その制御方法、プログラム、及び記録媒体
JP7325675B2 (ja) 眼科撮影装置
JP7201852B2 (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP6991075B2 (ja) 血流計測装置
JP7236832B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP6942626B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP6954831B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP2019154992A (ja) 眼科装置、その制御方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231012

R150 Certificate of patent or registration of utility model

Ref document number: 7368568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150