JP7225646B2 - 眼科用画像処理プログラム、および、眼底撮影装置 - Google Patents

眼科用画像処理プログラム、および、眼底撮影装置 Download PDF

Info

Publication number
JP7225646B2
JP7225646B2 JP2018185472A JP2018185472A JP7225646B2 JP 7225646 B2 JP7225646 B2 JP 7225646B2 JP 2018185472 A JP2018185472 A JP 2018185472A JP 2018185472 A JP2018185472 A JP 2018185472A JP 7225646 B2 JP7225646 B2 JP 7225646B2
Authority
JP
Japan
Prior art keywords
image
color
fundus
channel
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018185472A
Other languages
English (en)
Other versions
JP2020054479A (ja
JP2020054479A5 (ja
Inventor
祐二 村瀬
直人 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Priority to JP2018185472A priority Critical patent/JP7225646B2/ja
Priority to US16/585,117 priority patent/US11571122B2/en
Publication of JP2020054479A publication Critical patent/JP2020054479A/ja
Publication of JP2020054479A5 publication Critical patent/JP2020054479A5/ja
Application granted granted Critical
Publication of JP7225646B2 publication Critical patent/JP7225646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Description

特許法第30条第2項適用 ARVO Annual Meeting 2018(開催日 平成30年4月29日)
本開示は、波長が互いに異なる複数の単色光を用いて撮影された被検眼の眼底画像を処
理する眼科用画像処理プログラム、および、眼底撮影装置に関する。
可視光を用いて被検眼の眼底を撮影する眼底撮影装置には、白色光を照明光として利用する装置の他、波長が互いに異なる複数の単色光を照明光として利用する装置が知られている。
単色光を照明光として利用する装置として、共焦点方式の装置が知られている。例えば、特許文献1には、赤外域、赤、青、緑の4色のレーザー光を同時に、または、選択的に、光源から出射され、各色の光の眼底反射光に基づいて眼底画像が生成される、SLO装置が開示されている。
特開2016-059539号公報
しかしながら、複色光(例えば、白色光)が照明光として利用される場合と比較して、単色光が照明光として利用される場合では、眼底における反射特性の個体差が、色調の違いとして眼底画像において強調される。つまり、単色光が照明光として利用される場合には、眼底画像における色調において、各々の被検眼に対する撮影毎に大きな違いが生じやすい。
また、特許文献1のような共焦点方式の装置においては、撮影時における、アライメントのズレ、および、フォーカスのズレ等が、色調に影響しやすい。
本開示は、従来技術の問題点の少なくともいずれかに鑑みてなされたものであり、眼底画像毎の色調の違いを抑制すること、を技術課題とする。
本開示の第1態様に係る眼科用画像処理プログラムは、コンピュータのプロセッサによって実行されることにより、共焦点方式の撮影光学系によって撮影されるカラー眼底画像であって、R(赤),G(緑),B(青)の3つのチャンネルと対応する3色の単色光の眼底反射光に基づくカラー眼底画像を取得する画像取得ステップと、前記カラー眼底画像における画素の階調値の分布に基づくR(赤),G(緑),B(青)の各チャンネルの特徴値が、前記チャンネルに対して予め定められた目標パターンにおける前記特徴値へフィットするように、前記カラー眼底画像における各画素の階調値を補正することによって、色調補正画像を生成する色調補正画像生成ステップと、を前記コンピュータに実行させると共に、前記目標パターンにおける前記特徴値は、前記各チャンネルに対する波長範囲が前記3色の単色光と比べて広い白色光を眼底に照射することによって撮影されたカラー眼底画像における画素の階調値の分布に基づいてR(赤),G(緑),B(青)の各チャンネルに対して予め定められている、眼科用画像処理プログラム。
本開示の第2態様に係る眼科用画像処理プログラムは、コンピュータのプロセッサによって実行されることにより、波長が互いに異なる複数の単色光の眼底反射光に基づくカラー眼底画像を取得する画像取得ステップと、前記カラー眼底画像における画素の階調値の分布に基づく特徴値であって、前記単色光と対応するチャンネル毎の特徴値が、前記チャンネル毎に予め定められた目標パターンにおける前記特徴値へフィットするように、前記カラー眼底画像における各画素の階調値を補正することによって、色調補正画像を生成する色調補正画像生成ステップと、を前記コンピュータに実行させると共に、前記ヒストグラム取得ステップにおいて取得されるヒストグラムは、第1チャンネルとしてR(赤)チャンネルと、第2チャンネルとしてG(緑)チャンネル、B(青)チャンネルまたはその両方と、の少なくとも2種類が含まれており、前記目標パターンの1つである第2パターンとして、前記第2チャンネルにおける階調分布が前記第1チャンネルにおける階調分布へ近づくように、前記第2チャンネルにおける明るさ、および、コントラストの少なくとも一方を増大させるパターンが、予め設定されている。
本開示の第3態様に係る眼科用画像処理プログラムは、コンピュータのプロセッサによって実行されることにより、波長が互いに異なる複数の単色光の眼底反射光に基づくカラー眼底画像を取得する画像取得ステップと、前記カラー眼底画像における画素の階調値の分布に基づく特徴値であって、前記単色光と対応するチャンネル毎の特徴値が、前記チャンネル毎に予め定められた目標パターンにおける前記特徴値へフィットするように、前記カラー眼底画像における各画素の階調値を補正することによって、色調補正画像を生成する色調補正画像生成ステップと、少なくとも互いに異なる前記目標パターンである第1パターンと第2パターンとの間で、前記目標パターンを選択する選択ステップと、を、前記コンピュータに実行させる。
本開示の第態様に係る眼科用画像処理プログラムは、コンピュータのプロセッサによって実行されることにより、共焦点方式の撮影光学系によって撮影されるカラー眼底画像であって、R(赤),G(緑),B(青)の3つのチャンネルと対応する3色の単色光の眼底反射光に基づくカラー眼底画像を取得する画像取得ステップと、前記カラー眼底画像における画素の階調値の分布に基づくR(赤),G(緑),B(青)の各チャンネルのヒストグラムが、前記チャンネル毎に予め定められた目標パターンにおける前記ヒストグラムへフィットするように、前記カラー眼底画像における各画素の階調値を補正することによって、色調補正画像を前記コンピュータによって生成する色調補正画像生成ステップと、を前記コンピュータに実行させると共に、前記目標パターンにおける前記ヒストグラムは、前記各チャンネルに対する波長範囲が前記3色の単色光と比べて広い白色光を眼底に照射することによって撮影されたカラー眼底画像における画素の階調値の分布に基づいてR(赤),G(緑),B(青)の各チャンネルに対して予め定められている。
本開示の第態様に係る眼底撮影装置は、上記1態様から第4態様のいずれかに記載の眼科用画像処理プログラムを実行する画像処理手段を備えている。
本開示によれば、眼底画像毎の色調の違いを抑制できる。
実施形態に係る眼底撮影装置の概略構成を示す図である。 本実施形態に係る眼科用画像処理方法を示したフローチャートである。 色調の補正方法を説明するための図であって、目標パターンとして第1パターンを用いた場合の補正前後の眼底画像および各チャンネルのヒストグラムを示している。 色調の補正方法を説明するための図であって、目標パターンとして第2パターンを用いた場合の補正前後の眼底画像および各チャンネルのヒストグラムを示している。 画面構成の一例を示した図である。
「概要」
以下、本開示を、実施形態に基づいて説明する。便宜上、以下では、特に断りが無い限り、実施形態に係る「眼科用画像処理プログラム」の処理内容、および、「眼科用画像処理方法」は、「眼底撮影装置」によって実行されるものとして説明する。
<全体構成>
実施形態に係る眼底撮影装置1(以下、「本装置1」と省略する)は、撮影光学系10,20と、画像処理器80と、を少なくとも備える。画像処理器80を有することによって、本装置1は、各種画像処理を実行するコンピュータとなる。画像処理器80は、装置全体の動作を司るプロセッサによって兼用されてもよい。画像処理器80は、装置全体の動作を司るプロセッサとは別体であってもよい。画像処理器80のプロセッサからアクセス可能なメモリには、眼科用画像処理プログラムが格納されていてもよい。
本装置1は、例えば、図1に示すように、光学ユニット1aと、制御ユニット1bと、に大別されており、撮影光学系10,20は光学ユニット1aに、画像処理器80は制御ユニット1bに、それぞれ格納されていてもよい。制御ユニット1bには、プロセッサ(CPU)71の他、各種メモリ72を有している。眼科用画像処理プログラムは、メモリ72に格納されていてもよい。また、制御ユニット1bには、操作部75(ユーザインターフェース)が接続されていてもよい。操作部75は、マウスおよびタッチパネル等のポインティングデバイスであってもよいし、その他のユーザインターフェースであってもよい。制御ユニット1bとして、例えば、PCが利用されてもよい。
また、本装置1は、モニタ90を有していてもよい。モニタ90には、例えば、撮影された眼底画像が表示される。その他に、モニタ90には、各種GUIが表示されてもよい。
<撮影光学系>
撮影光学系10,20は、眼底画像の一種であるカラー眼底画像を少なくとも撮影する。本実施形態において眼底画像は、眼底の正面画像である。また、カラー眼底画像は、各画素が色情報を有している。撮影光学系10,20は、照射光学系10と、受光光学系20と、を含む(図1参照)。なお、追加的に、撮影光学系10,20は、モノクロ眼底画像を撮影してもよい。
照射光学系10は、波長が互いに異なる複数の単色光を眼底へ照射する。受光光学系20は、複数の単色光の眼底反射光を受光する受光素子25を、少なくとも有する。受光素子25からの信号は画像処理器80へ入力され、その結果として、カラー眼底画像が、画像処理器80によって生成される。受光光学系20において、受光素子25は、単色光の波長毎に複数設けられていてもよい。この場合、波長が異なる複数の眼底反射光が複数の受光素子25によって、複数の単色光による眼底反射光が、同時に受光されてもよい。また、波長が異なる複数の眼底反射光が時分割で(換言すれば、互いに異なるタイミングで)1つの受光素子25に受光されてもよい。受光素子25としては、点受光素子、一次元撮像素子(ラインセンサ)、二次元撮像素子等のいずれかが用いられてもよい。いずれが採用されるかは、撮影方式に応じて適宜選択される。
照射光学系10は、波長毎に光源11を有していてもよい。例えば、光源11として、単色LED、および、レーザー光源等の各種光源のうちいずれかが用いられてもよい。ここで、「単色光」には、スペクトル分解できない光という狭義の意味があるが、本開示では必ずしもこれに限定されない。本開示における「単色光」は、眼底撮影装置の技術分野において、特定の一色と扱われる程度の波長分布の幅を有していてもよい。但し、単色光における波長分布の幅は、眼底撮影装置の技術分野における白色光と明確に区別できる程度に、十分に狭いものである。
例えば、撮影光学系10,20は、カラー眼底画像を撮影する際に、R(赤),G(緑),B(青)の3色を眼底へ照射するものであってもよい。このとき、追加的に、または、Rの光と代替的に、IR(赤外)の光が、眼底へ照射されてもよい。ここでは、カラー眼底画像を撮影する際に3色ないし4色の光が眼底へ照射されるが、必ずしもこれに限られるものではなく、眼底へ照射される光は2色であってもよいし、5色以上であってもよい。また、上記の色の組み合わせは一例に過ぎず、他の色の組み合わせによって、カラー眼底画像が撮影されてもよい。
撮影光学系10,20は、共焦点光学系であってもよい。共焦点光学系の場合、照射光学系10は、光スキャナを有し、眼底上でポイント状またはライン状に照明光(ここでは、単色光)を集光させると共に、光スキャナによって、照明光を眼底上で走査させる。また、受光光学系20には、有害光除去部(例えば、ピンホールおよびスリットアパーチャ等)が、眼底共役位置に設けられる。有害光除去部は、照明光が照射された領域からの眼底反射光を受光素子25へ導き、それ以外を除去する。そして、受光素子25による逐次受光の結果として、眼底の正面画像が取得される。なお、ラインスキャン方式では、受光素子25が有害光除去部を兼用する場合がある。この場合、受光素子25として利用されるラインセンサが、眼底共役位置に配置される。非共焦点方式の撮影光学系の一例としては、一般的な眼底カメラの光学系等が挙げられる。共焦点光学系のより詳細については、例えば、本出願人による特開2016-059539号公報等を参照されたい。この文献には、共焦点光学系を持つ眼底撮影装置の一例である走査型レーザー検眼鏡が開示されている。
<画像処理器>
前述したように、画像処理器80は、受光素子25からの信号に基づいて眼底画像を生成する。本実施形態では、眼底画像として、少なくともカラー眼底画像が生成される。但し、必ずしもこれに限られるものではなく、追加的に、画像処理器80は、モノクロ眼底画像を受光素子25からの信号に基づいて生成してもよい。
本実施形態において、画像処理器80は、被検眼および撮影条件にかかわらず、予め定められた色調で表現されるカラー眼底画像(本実施形態では、「色調補正画像」という)を生成する。図2を参照し、その手法を説明する。各ステップ以前に、波長が互いに異なる複数の単色光を眼底へ照射することによって、カラー眼底画像の撮影が行われていること、が前提となる。
<ヒストグラム取得ステップ>
予めカラー眼底画像が取得された状態で、画像処理器80は、ヒストグラム取得ステップを実行する。ヒストグラム取得ステップでは、画像処理器80が、補正の対象となるカラー眼底画像(便宜上、「ベース画像」という)におけるヒストグラムを取得する。ここでいうヒストグラムは、カラー眼底画像における画素(ピクセル)の階調値の分布を表す。ヒストグラムは、それぞれの単色光と対応するチャンネル毎に取得される。例えば、ベース画像のR,G,Bの各チャンネルにおけるヒストグラムが、画像処理器80によって、それぞれ取得されてもよい。取得されるヒストグラムは、以下の説明においては、特に断りが無い限り、ベース画像を構成する全画素を母集団とするものとする。但し、必ずしもこれに限られるものではなく、ベース画像における一部の領域を構成する画素を母集団とするものであってもよい。
なお、1つのチャンネルに対して、1色の単色光が対応づけられていることが好ましいが、対応関係は、必ずしもこれに限られるものではない。単色光が4色以上である場合は、少なくとも1つのチャンネルが複数色の単色光と対応してもよい。例えば、IR,R,G,Bの4色を眼底へ照射することでベース画像が撮影される場合、IRとRとの2種類の単色光が、1つのチャンネル(Rチャンネル)に対応し、残りの2色が、それぞれ別のチャンネルに対応するように、対応関係が定められていてもよい。また、単色光が2色である場合は、少なくとも1色が2つ以上のチャンネルと対応してもよい。
<ヒストグラム補正ステップ>
次いで、画像処理器80は、ヒストグラム補正ステップ(ヒストグラム補正処理)を実行する。このステップでは、ヒストグラム取得ステップによって取得された各チャンネルのヒストグラムが、目標パターンに基づいて補正される。便宜上、ヒストグラム補正ステップによって補正されたヒストグラムを、「補正ヒストグラム」と称す。目標パターンは、チャンネル毎に予め設定されている。目標パターンは、目標とする階調値の分布を規定する情報である。目標とする階調値の分布における特徴値によって、目標パターンは規定されてもよい。例えば、目標パターンにおいて、少なくとも明るさ(ブライトネス)およびコントラストの2つの目標値が規定されてもよい。明るさおよびコントラストの目標値を規定する情報には、種々の情報が利用され得る。例えば、明るさの目標値は、目標とする階調分布における、階調値の平均値、中央値および最頻値のうちいずれかの値であってもよい。また、コントラストを規定する情報は、目標とする階調分布における、標準偏差、分散、および半値幅のうちいずれかの値であってもよい。目標パターンの具体例については後述する。
ヒストグラム補正ステップにおいて、画像処理器80は、ヒストグラム取得ステップによって取得された各チャンネルのヒストグラムを、各チャンネルと対応する目標パターンへフィットするように補正する。これにより、補正ヒストグラムを得る。各チャンネルのヒストグラムは、例えば、線形的な処理によって補正されてもよい。つまり、目標パターンに対する補正前のヒストグラムの差に応じて、各画素の階調値に対する加算・減算・乗算・除算が、適宜行われ、その結果として、補正ヒストグラムが得られてもよい。線形的な補正処理に加え、又は、代えて、非線型的な処理によって、ヒストグラムが補正されてもよい。例えば、トーンカーブを用いて各ヒストグラムが補正されてもよい。
以上のような補正処理の結果、各チャンネルの明るさおよびコントラストが、目標パターンへ近づけられる。
<色調補正画像生成ステップ>
画像処理器80は、色調補正画像生成ステップを実行することにより、色調補正画像を各チャンネルの補正ヒストグラムに基づいて生成する。色調補正画像は、補正ヒストグラムによって各チャンネルの階調値の分布が表されるカラー眼底画像である。つまり、色調補正画像は、補正前のヒストグラムに基づくカラー眼底画像に対して色調が補正されており、予め定められた目標とする色調であって、各チャンネルの目標パターンに応じた色調で表現される。
ここで、単色光を照明光として用いて撮影を行う場合、各チャンネルのヒストグラムに対する、眼底における反射特性の個体差(例えば、病変の有無,および,人種等に依存)等の影響が大きく、色調に撮影毎のばらつきが生じやすかった。これに対し、本実施形態では、反射特性の個体差に関わらず、各チャンネルのヒストグラムが目標パターンへ近づくように補正されるので、色調補正画像において撮影毎の色調のばらつきを抑制できる。
また、撮影光学系が共焦点方式である場合、更に、アライメントおよびフォーカス等の撮影条件が、各チャンネルのヒストグラムへ影響しやすく、撮影毎の撮影条件の誤差が、撮影毎のヒストグラムのばらつきとして生じやすい。つまり、特定の被検眼を撮影する場合であっても、各撮影で色調が安定し難い。これに対し、上記の通り、色調補正画像では、撮影毎の色調のばらつきが抑制される。このため、共焦点方式の撮影光学系によって撮影が行われる場合に、上記の処理は特に有用である、と考えられる。
なお、カラー眼底画像における色調は、ハードウェア側の調整によって、補正することも考えられる。例えば、光源11の出力、受光素子25のゲイン等が調整されてもよい。しかしながら、ハードウェアが十分な調整幅を有しているとは限らない。また、例えば、撮影光学系が共焦点方式である場合には、比較的大きな調整が必要となるので、ハードウェアの選択肢が制限されてしまう。これに対し、本実施形態では、ソフト的に色調が補正されるので、ハードウェアによる制約が少なく、有利である。
また、光源11の経年劣化による出力の変化によって、カラー眼底画像における色調が変化してしまうことが考えられるが、色調補正画像は、これに対しても有効である。
<目標パターンの具体例>
ヒストグラム補正ステップにおいて利用され得る、目標パターンの具体例(第1パターンおよび第2パターン)を例示する。
<第1パターン>
第1パターンは、白色光を眼底へ照射することによって撮影されたカラー眼底画像における、各チャンネル(R,G,Bの各チャンネル)のヒストグラムのパターンを表すものである。白色光を用いて撮影されたカラー眼底画像におけるヒストグラムにおける特徴値(階調分布における階調値の平均値、中央値および最頻値のいずれか、および、階調分布における、標準偏差、分散、および半値幅のうちいずれか)によって、第1パターンが規定され得る。これらの特徴値が、ヒストグラム補正ステップにおける補正の目標値として利用される。第1パターンは、例えば、1枚のカラー眼底画像におけるヒストグラムに基づいて定められていてもよいし、複数枚のカラー眼底画像における平均的なヒストグラムに基づいて定められていてもよい。白色光を発する光源としては、キセノンランプ、および、白色LED等のうちいずれかが用いられてもよい。カラー眼底画像は、例えば、眼底カメラによって撮影された眼底カメラ画像であってもよい。
ここで、図3を参照して、第1パターンを適用して色調が補正された色調補正画像における特徴を詳細に説明する。図3の各グラフは、チャンネル毎(R,G,Bのチャンネル毎)のヒストグラムを示している(図4においても同様)。
図3に示した色調補正画像は、次の目標値によって規定される第1パターンへフィットするように、各チャンネルのヒストグラムが補正されている。
[明るさの目標値(階調分布の平均値)]
R:122
G:66
B:32
[コントラストの目標値(標準偏差)]
R:40
G:27.5
B:16.6
但し、各目標値は、256階調における階調値を単位とする。
一例として示した、これらの目標値は、白色光で撮影されたカラー眼底画像(より具体的には眼底カメラ画像)に基づいて定められている。
白色光で撮影されたカラー眼底画像においては、網膜のより深層側の特徴が観察されやすいという特徴がある。また、眼底における各波長の深達度は、[深←(IR) R G B→浅]という関係となっている。
そこで、第1パターンでは、Rのチャンネルにおける明るさの目標値には、G,Bの各チャンネルの目標値に対して高輝度側の値が採用されている。また、Gのチャンネルにおける明るさの目標値には、Bのチャンネルの目標値に対して高輝度側の値が採用されている。
また、Rのチャンネルにおけるコントラストの目標値には、G,Bの各チャンネルの目標値に対して高コントラスト側の値が採用されている。また、Gのチャンネルにおけるコントラストの目標値は、Bのチャンネルの目標値に対して高コントラスト側の値が採用されている。このような第1パターンが適用された色調補正画像からは、白色光で撮影されたカラー眼底画像と同様に、眼底のより深層側の情報が得られやすくなる。
また、白色光が照明光として用いられる場合、単色光が照明光として利用される場合と比べ、ひとつひとつのチャンネルに対する照明光の波長範囲が広く、眼底における反射特性の影響は相対的に低減され、安定した色調を示す。一方、単色光で撮影したカラー眼底画像には、眼底の反射特性等が色調へ影響しやすく、色調が安定し難い。例えば、図3において一例として示したベース画像におけるヒストグラムからは、Gのチャンネルと、Bのチャンネルとの間において、明るさ、および、コントラストに明確な違いが無いことが見て取れるが、このような色調の特徴についての再現性は高くない。
また、眼底検査の分野において、白色光で撮影されたカラー眼底画像が、長年活用されてきた結果、白色光で撮影されたカラー眼底画像の色調は、広く検者に浸透している。これと比較し、単色光を用いて撮影したカラー眼底画像の色調については、検者に十分浸透しているとは言い難い。
これに対し、第1パターンを用いて補正することによって、単色光を用いて撮影したカラー眼底画像を、検者に馴染みのある色調で表現でき、有意義である。
<第2パターン>
第2パターンは、各チャンネル間で階調値の分布を一致させるための目標パターンである。ここでいう一致は、厳密な一致である必要は無く、略一致程度であってもよい。言い換えれば、第2パターンは、各チャンネル間で階調値の分布の違いを抑制するための目標パターンである。
ここで、図4を参照して、第2パターンを適用して色調が補正された色調補正画像の特徴を詳細に説明する。
図4に示した色調補正画像は、次の目標値によって規定される第2パターンへフィットするように、各チャンネルのヒストグラムが補正されている。
[明るさの目標値(階調分布の平均値)]
R:90.6
G:79.8
B:72.6
[コントラストの目標値(標準偏差)]
R:33.8
G:29.8
B:28.3
前述の第1パターンでは、コントラストの目標値には、チャンネル間で比較的大きな違いがあったが、上記に示したように、第2パターンにおけるコントラストの目標値は、30前後で、略一致している。
また、第2パターンにおける明るさの目標値は、チャンネル間で最大で20弱の誤差があるが、第1パターンでは、チャンネル間で最大で90程度の誤差があるので、これと比較し、上記に示した第2パターンにおける誤差は、十分に小さくなっている。
このように、第2パターンが適用された色調補正画像においては、R,G,Bの各チャンネルにおける明るさおよびコントラストの目標値が、各チャンネルの間で略一致することから、網膜の表層側から深層側までの特徴が、満遍なく描写されやすくなる。また、第2パターンにおいて、G,Bの各チャンネルにおけるコントラストの目標値は、白色光で撮影されたカラー眼底画像におけるG,Bの各チャンネルのコントラストに対して、大きな値が設定されていてもよい。これにより、第2パターンが適用された色調補正画像においては、第1パターンが適用された場合(≒白色光で撮影された場合)と比べ、網膜の表層側の特徴を、検者がより良好に把握しやすくなる。例えば、神経線維層(NFL)に生じた新生血管が、第2パターンが適用された色調補正画像においては、より強調されて描写される。
また、第2パターンは、元々コントラストの高い情報が得られやすいRのチャンネル(本実施形態における第1のチャンネル)の階調分布に対し、他のチャンネルの階調分布を、近づけるように、第2チャンネル(G,Bのチャンネルの一方又は両方;本実施形態における第2のチャンネル)における明るさ、および、コントラストの少なくとも一方を、増大させるパターンであり、網膜の表層側をより良好に描写させるためのものとして、表現することもできる。
<その他のパターン>
また、目標パターンは、上記2種類に限られるものでは無い。例えば、網膜の深層側に比べて表層側の特徴をより強調して描写するための第3パターンが、目標パターンとして用意されていてもよい。第3パターンにおいて、Rのチャンネルにおけるコントラストの目標値は、少なくともBのチャンネル(又は、B、Gの各チャンネル)に比べて小さな値が定められていてもよい。これにより、網膜の表層側の特徴が、より強調されて描写されやすくなる。
また、各人種におけるカラー眼底画像の色調を再現するための複数の目標パターンが用意されていてもよい。この場合、被検者の人種に応じて、目標パターンが選択されてもよい。このような目標パターンを適用した場合、例えば、人種に応じた自然な色調で、カラー眼底画像が描写され得る。
また、特定のメーカーの装置、又は、特定の製品(型式または製品名で特定されるもの)における色調を再現するための目標パターンが用意されていてもよい。このような目標パターンを適用した場合、異なる装置で撮影されたカラー眼底画像との比較を行いやすくなる。なお、この場合、本装置1で撮影されたカラー眼底画像の画角が、目標パターンの参考とした他の装置で得られる画像の画角と異なることが考えられる。具体例として、本装置1の画角が60°であるのに対し、色調を再現しようとする眼底カメラの画角が30°である場合、眼底カメラにおける30°の画角の画像における色調を、画角が60°の画像全体へそのまま適用しようとすると、検者が違和感を受ける色調となる場合が考えられる。そこで、この場合は、ヒストグラム取得ステップにおいてヒストグラムが取得される領域を、中心30°の範囲に限定したうえで、ヒストグラム補正ステップにおいて、明るさおよびコントラストの補正量を、求めるようにしてもよい。但し、階調値の補正を行う範囲は、中心30°の範囲に限らず、画角60°の範囲全体であってもよい。また、逆に、本装置1の画角よりも、目標パターンの参考とした他の装置の画角が大きい場合、他の装置で得られた画像全体のうち一部の領域の階調分布に基づいて、目標パターンが定められていてもよい。
<目標パターンの選択>
画像処理器80は、更に、選択ステップを実行してもよい。それぞれのチャンネルに対して、目標パターンがそれぞれ複数用意されており、選択ステップでは、その中から、ヒストグラム補正処理において使用する目標パターンが選択される。例えば、上記の第1パターンと、第2パターンとの間で、使用する目標パターンが選択されてもよい。使用する目標パターンは、検者の操作に基づいて選択されてもよい。これにより、検者の所望の色調で表現されたカラー眼底画像を生成できる。
目標パターンを検者に選択させるために、例えば、図5に示す選択画面がモニタ90上で表示されてもよい。選択画面には、目標パターンの選択操作を受け付けるためのGUIが表示される。一例として、図5では、パターン選択ボタン210,220が表示される。図5では、2つのパターン選択ボタン210,220が配置されており、第1パターンおよび第2パターンと、それぞれ対応している。選択画面では、選択ボタン210,220と共に、カラー眼底画像が、領域200へ表示される。2つの選択ボタン210,220のうちいずれかが、操作部75を介して選択されることによって、選択したパターンを用いて色調補正画像が生成され、領域200へ表示される。
更に、選択画面上に表示されたカラー眼底画像(ベース画像および色調補正画像)における色調を、更に手動で調整するためのGUIが、選択画面上に設けられていてもよい。例えば、図5では、各チャンネルの明るさおよびコントラストを、調整するためのスライダー240が配置されている。スライダー240への操作は、領域200に表示されるカラー眼底画像へ反映される。これにより、検者の所望の色調で表現されたカラー眼底画像を観察できる。手動で色調が調整されたカラー眼底画像は、所定の操作に基づいてメモリ72へ保存されてもよい。
このときの色調補正に利用された手動調整後の目標パターンが、新規のプリセットの目標パターンとしてメモリ72へ保存可能であってもよい。保存された目標パターンは、以降、選択画面において、第1パターン及び第2パターンと共に、選択可能となってもよい。なお、保存される新規の目標パターンは、他のプリセットのパターン(例えば、第1パターン及び第2パターン)に対する調整の結果として生成されたものに限定されず、検者によってゼロベースで指定された、明るさおよびコントラストの組み合わせを目標値として有するものであってもよい。
更に、選択画面には、リセットボタン230が配置されていてもよい。リセットボタン230を操作することで、補正前のカラー眼底画像が、領域200へ表示される。
<画角の切換に応じて目標パターンを変更>
撮影光学系10,20は、画角を変更する画角切換部を有してもよい。例えば、画角切換部は、撮影光学系10,20に含まれる対物光学系15の光学的な構成を切り替えることで、画角を変更してもよい。詳細には、画角切換部は、対物光学系15に対して光学素子を挿脱する挿脱機構を含んでいてもよい。光学素子は、レンズ、ミラー、および、プリズム等を用いることができる。また、画角切換部は、2つ以上のレンズの位置関係が光路に沿って変化することで、屈折状態が変更されるズーム機構であってもよい。また、液晶レンズ等の屈折力可変レンズを画角切換部として有していてもよい。
このとき、カラー眼底画像における色調は、画角に応じて変化し得る。そこで、各チャンネルの目標パターンは、画角毎に用意されていてもよい。画像処理器80は、ヒストグラム補正ステップにおいて、画角と対応する目標パターンを選択し、選択した目標パターンを用いて、各チャンネルにおけるヒストグラムを補正してもよい。その結果として、各画角において好適な色調のカラー眼底画像を、色調補正画像として取得できる。
以上、実施形態に基づいて説明を行ったが、本開示を実施するうえで、実施形態の内容を適宜変更することができる。
例えば、上記実施形態において、ベース画像は、 波長が互いに異なる複数の単色光を眼底へ照射することによって撮影されているものとしたが、白色光を眼底へ照射することによって撮影されたカラー眼底画像をベース画像として、目標パターンを用いた補正処理が行われてもよい。この場合も色調を安定化させる一定の効果が得られる。
1 眼底撮影装置
10 照射光学系
20 受光光学系
80 画像処理器

Claims (5)

  1. 眼科用画像処理プログラムであって、
    コンピュータのプロセッサによって実行されることにより、
    共焦点方式の撮影光学系によって撮影されるカラー眼底画像であって、R(赤),G(緑),B(青)の3つのチャンネルと対応する3色の単色光の眼底反射光に基づくカラー眼底画像を取得する画像取得ステップと、
    前記カラー眼底画像における画素の階調値の分布に基づくR(赤),G(緑),B(青)の各チャンネルの特徴値が、前記チャンネルに対して予め定められた目標パターンにおける前記特徴値へフィットするように、前記カラー眼底画像における各画素の階調値を補正することによって、色調補正画像を生成する色調補正画像生成ステップと、を前記コンピュータに実行させると共に、
    前記目標パターンにおける前記特徴値は、前記各チャンネルに対する波長範囲が前記3色の単色光と比べて広い白色光を眼底に照射することによって撮影されたカラー眼底画像における画素の階調値の分布に基づいてR(赤),G(緑),B(青)の各チャンネルに対して予め定められている、
    眼科用画像処理プログラム。
  2. 眼科用画像処理プログラムであって、
    コンピュータのプロセッサによって実行されることにより、
    波長が互いに異なる複数の単色光の眼底反射光に基づくカラー眼底画像を取得する画像取得ステップと、
    前記カラー眼底画像における画素の階調値の分布に基づく特徴値であって、前記単色光と対応するチャンネル毎の特徴値が、前記チャンネル毎に予め定められた目標パターンにおける前記特徴値へフィットするように、前記カラー眼底画像における各画素の階調値を補正することによって、色調補正画像を生成する色調補正画像生成ステップと、を前記コンピュータに実行させると共に、
    前記目標パターンの1つとして、各チャンネル間で階調値の分布を一致させるための第2パターンが予め設定されている眼科用画像処理プログラム。
  3. 眼科用画像処理プログラムであって、
    コンピュータのプロセッサによって実行されることにより、
    波長が互いに異なる複数の単色光の眼底反射光に基づくカラー眼底画像を取得する画像取得ステップと、
    前記カラー眼底画像における画素の階調値の分布に基づく特徴値であって、前記単色光と対応するチャンネル毎の特徴値が、前記チャンネル毎に予め定められた目標パターンにおける前記特徴値へフィットするように、前記カラー眼底画像における各画素の階調値を補正することによって、色調補正画像を生成する色調補正画像生成ステップと、
    少なくとも互いに異なる前記目標パターンである第1パターンと第2パターンとの間で、前記目標パターンを選択する選択ステップ
    を、前記コンピュータに実行させる眼科用画像処理プログラム。
  4. 眼科用画像処理プログラムであって、
    コンピュータのプロセッサによって実行されることにより、
    共焦点方式の撮影光学系によって撮影されるカラー眼底画像であって、R(赤),G(緑),B(青)の3つのチャンネルと対応する3色の単色光の眼底反射光に基づくカラー眼底画像を取得する画像取得ステップと、
    前記カラー眼底画像における画素の階調値の分布に基づくR(赤),G(緑),B(青)の各チャンネルのヒストグラムが、前記チャンネル毎に予め定められた目標パターンにおける前記ヒストグラムへフィットするように、前記カラー眼底画像における各画素の階調値を補正することによって、色調補正画像を前記コンピュータによって生成する色調補正画像生成ステップと、を前記コンピュータに実行させると共に、
    前記目標パターンにおける前記ヒストグラムは、前記各チャンネルに対する波長範囲が前記3色の単色光と比べて広い白色光を眼底に照射することによって撮影されたカラー眼底画像における画素の階調値の分布に基づいてR(赤),G(緑),B(青)の各チャンネルに対して予め定められている、眼科用画像処理プログラム。
  5. 請求項1から4のいずれかに記載の眼科用画像処理プログラムを実行する画像処理手段を備えていることを特徴とする眼底撮影装置。
JP2018185472A 2018-09-28 2018-09-28 眼科用画像処理プログラム、および、眼底撮影装置 Active JP7225646B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018185472A JP7225646B2 (ja) 2018-09-28 2018-09-28 眼科用画像処理プログラム、および、眼底撮影装置
US16/585,117 US11571122B2 (en) 2018-09-28 2019-09-27 Ophthalmologic image processing method and fundus imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018185472A JP7225646B2 (ja) 2018-09-28 2018-09-28 眼科用画像処理プログラム、および、眼底撮影装置

Publications (3)

Publication Number Publication Date
JP2020054479A JP2020054479A (ja) 2020-04-09
JP2020054479A5 JP2020054479A5 (ja) 2021-10-14
JP7225646B2 true JP7225646B2 (ja) 2023-02-21

Family

ID=69947958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018185472A Active JP7225646B2 (ja) 2018-09-28 2018-09-28 眼科用画像処理プログラム、および、眼底撮影装置

Country Status (2)

Country Link
US (1) US11571122B2 (ja)
JP (1) JP7225646B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279613B2 (ja) * 2019-10-31 2023-05-23 株式会社デンソー 画像処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007513703A (ja) 2003-12-10 2007-05-31 ジョスリン ダイアビーティス センター インコーポレイテッド 網膜イメージングシステム
JP2009219644A (ja) 2008-03-14 2009-10-01 Nidek Co Ltd 走査型眼底撮影装置
JP2010512878A (ja) 2006-12-21 2010-04-30 カール ツァイス メディテック アクチエンゲゼルシャフト 眼科用各種装置を対象とする眼底画像の品質を向上させるための光学装置
JP2016140428A (ja) 2015-01-30 2016-08-08 キヤノン株式会社 眼科装置、画像処理方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8022964B2 (en) * 2006-04-21 2011-09-20 Apple Inc. 3D histogram and other user interface elements for color correcting images
JP5651340B2 (ja) * 2010-01-22 2015-01-14 ミツミ電機株式会社 画質制御装置、画質制御方法、及び画質制御プログラム
JP6066595B2 (ja) * 2011-07-29 2017-01-25 キヤノン株式会社 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム
JP2016059539A (ja) 2014-09-17 2016-04-25 株式会社アートプリントジャパン 額縁の自在開脚スタンド

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007513703A (ja) 2003-12-10 2007-05-31 ジョスリン ダイアビーティス センター インコーポレイテッド 網膜イメージングシステム
JP2010512878A (ja) 2006-12-21 2010-04-30 カール ツァイス メディテック アクチエンゲゼルシャフト 眼科用各種装置を対象とする眼底画像の品質を向上させるための光学装置
JP2009219644A (ja) 2008-03-14 2009-10-01 Nidek Co Ltd 走査型眼底撮影装置
JP2016140428A (ja) 2015-01-30 2016-08-08 キヤノン株式会社 眼科装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP2020054479A (ja) 2020-04-09
US20200100672A1 (en) 2020-04-02
US11571122B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
US11986244B2 (en) Wide field fundus camera with auto-montage at a single alignment
JP6066595B2 (ja) 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム
US10098541B2 (en) Image processing apparatus
JP6202924B2 (ja) 撮影装置及び撮影方法
WO2018105411A1 (ja) 画像処理装置および方法、並びに手術顕微鏡システム
JP6884995B2 (ja) 眼科撮影装置および画像処理プログム
JP7225646B2 (ja) 眼科用画像処理プログラム、および、眼底撮影装置
US20210290050A1 (en) Ocular fundus image processing apparatus
US20230000348A1 (en) Non-transitory computer-readable storage medium and ophthalmic image processing apparatus
JP7264254B2 (ja) 画像処理方法、画像処理装置、およびプログラム
JP2021079013A (ja) 医用画像処理装置、医用画像処理装置の処理方法およびプログラム
JP2020054479A5 (ja) 眼科用画像処理プログラム、および、眼底撮影装置
JP7468162B2 (ja) 眼底画像処理プログラムおよび眼底撮影装置
JP5913519B2 (ja) 眼底観察装置
JP2018094222A (ja) 眼科撮影装置及びその制御方法、並びに、プログラム
JP6833455B2 (ja) 眼科撮影装置及びその制御方法、眼科撮影システム、並びに、プログラム
JP2022059765A (ja) 眼科装置、眼科装置の制御方法、及プログラム
JP6836212B2 (ja) 眼科撮影装置
JP2022021136A (ja) 眼底撮像装置及び眼底撮像装置の制御方法
JP2023031480A (ja) 眼底撮像装置、情報処理装置、情報処理方法、及びプログラム
JP2020174749A (ja) 眼科撮影装置およびその制御方法
JP2023113411A (ja) 信号処理装置、該信号処理装置を用いた眼科撮影装置、該信号処理装置の作動方法、及びプログラム
JP2020141763A (ja) 眼科用画像処理プログラム、眼科用画像処理方法、および、眼科撮影装置
JP2021037172A (ja) 眼底撮影装置

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20181026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R150 Certificate of patent or registration of utility model

Ref document number: 7225646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150