JP6602043B2 - 情報処理装置、その作動方法、及びコンピュータプログラム - Google Patents

情報処理装置、その作動方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP6602043B2
JP6602043B2 JP2015093540A JP2015093540A JP6602043B2 JP 6602043 B2 JP6602043 B2 JP 6602043B2 JP 2015093540 A JP2015093540 A JP 2015093540A JP 2015093540 A JP2015093540 A JP 2015093540A JP 6602043 B2 JP6602043 B2 JP 6602043B2
Authority
JP
Japan
Prior art keywords
image
confocal
confocal image
processing apparatus
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015093540A
Other languages
English (en)
Other versions
JP2016209134A (ja
JP2016209134A5 (ja
Inventor
裕之 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015093540A priority Critical patent/JP6602043B2/ja
Priority to US15/138,756 priority patent/US10264960B2/en
Publication of JP2016209134A publication Critical patent/JP2016209134A/ja
Publication of JP2016209134A5 publication Critical patent/JP2016209134A5/ja
Application granted granted Critical
Publication of JP6602043B2 publication Critical patent/JP6602043B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A61B3/1233Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems

Description

本発明は、眼科診療に用いられる情報処理装置、その作動方法、及びコンピュータプログラムに関する。
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(SLO;Scanning Laser Ophthalmoscope)は、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。
開口部(ピンホール)内を通過した光のみを検出することで、特定の深度位置の戻り光のみを画像化でき、眼底カメラ等に比べてコントラストの高い画像を取得できる。以下、このような平面画像を撮像する装置をSLO装置、該平面画像をSLO画像と記す。
近年、SLO装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のSLO画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のSLO画像の取得において、被検眼の収差によるSLO画像のS/N比及び分解能の低下が問題になってきた。それを解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学SLO装置が開発され、高横分解能なSLO画像の取得を可能にしている。
このような高横分解能なSLO画像は動画像として取得することができ、たとえば血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などが計測される。また、SLO画像を用いて視機能との関連を評価するために視細胞Pを検出した上で視細胞Pの密度分布や配列の計測が行われている。図6(b)に高横分解能なSLO画像の例を示す。視細胞Pや毛細血管の位置に対応した低輝度領域Q、白血球の位置に対応した高輝度領域Wが観察できる。前記SLO画像において、視細胞Pを観察する場合にはフォーカス位置を網膜外層(図6(a)のB5)付近に設定して図6(b)のようなSLO画像を撮影する。一方、網膜内層(図6(a)のB2からB4)には網膜血管や分岐した毛細血管が走行している。フォーカス位置を網膜内層に設定して補償光学SLO画像を取得すると、例えば網膜血管壁を直接観察できる。
しかし、網膜内層を撮影した共焦点画像では神経線維層から反射する光の影響でノイズ信号が強く、血管壁の観察や壁境界の検出が難しい場合があった。そこで、近年は受光部手前にあるピンホールの径や形状、位置を変えることにより散乱光を取得して得られた非共焦点画像を観察する方法が用いられるようになってきている(非特許文献1)。非共焦点画像ではフォーカス深度が大きいために血管のように深度方向に凹凸のある物体の観察がしやすく、また、神経線維層からの反射光を直接受光しにくくなるためノイズが低減される。また、網膜外層の視細胞を観察する場合でも、これまで共焦点画像では主に視細胞外節が画像化されていたのに対し、非共焦点画像では視細胞内節の凹凸が画像化されることがわかってきている(非特許文献2)。初期障害で外節は欠損しているものの内節は生存している視細胞が存在する領域については、共焦点画像では黒く欠損する(図6(k)のDc5)のに対し非共焦点画像では高輝度な粒状の物体が存在する領域として観察できる(図6(l)のDn5)。これまで、補償光学SLO装置を用いて網膜血管の非共焦点画像を取得する技術が非特許文献1に、また補償光学SLO装置を用いて共焦点画像と非共焦点画像を同時に取得する技術が非特許文献2に開示されている。
Sulai,Dubura et al.;"Visualization of retinal vascular structure and perfusion with a nonconfocal adaptive optics scanning light ophthalmoscope",J.Opt.Soc.Am.A,Vol.31,No.3,pp.569−579,2014. Scoles,Dubura et al.;"In vivo Imaging of Human Cone Photoreceptor Inner Segment",IOVS,Vol.55,No.7,pp.4244−4251,2014.
共焦点画像及び非共焦点画像を取得するSLO装置においては、全ての画像に対してメモリへの読み込み、画像間演算処理もしくは画像計測処理を行うのが一般的である。これは、異種の画像を解析することで解析の信頼性を上げることができるためである。
本発明の目的の一つは、上記の課題に鑑みてなされたものであり、眼部の非共焦点画像を含む眼部の複数種類の画像を効率的に解析しつつ、解析の信頼性を向上することである。
本発明の目的を達成するために、例えば本発明の情報処理装置及びその作動方法は以下の構成を備える。
本発明の一態様による情報処理装置は、
眼部の共焦点画像と非共焦点画像との一方を用いて得た情報に基づいて、他方の生成と解析との少なくとも一方を実行するか否かを決定する決定手段と、
前記他方の生成と解析との少なくとも一方を実行すると決定された場合には、前記他方と前記他方の解析結果との少なくとも一方を表示手段に表示させる表示制御手段と、を有する。
また、本発明の一態様による情報処理装置の作動方法は、
眼部の共焦点画像と非共焦点画像との一方を用いて得た情報に基づいて、他方の生成と解析との少なくとも一方を実行するか否かを決定する工程と、
前記他方の生成と解析との少なくとも一方を実行すると決定された場合には、前記他方と前記他方の解析結果との少なくとも一方を表示手段に表示させる工程と、を有する。
本発明の一つによれば、眼部の非共焦点画像を含む眼部の複数種類の画像を効率的に解析しつつ、解析の信頼性を向上することができる。
第一の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。 第一の実施形態に係る情報処理装置10を含むシステムの構成例を示すブロック図である。 第一の実施形態に係るSLO像撮像装置20の全体の構成について説明する図である。 記憶部120、画像処理部130に相当するハードウェアを有し、且つその他の各部をソフトウェアとして保持し、実行するコンピュータのハードウェア構成例を示すブロック図である。 第一の実施形態に係る情報処理装置10が実行する処理のフローチャートである。 第一の実施形態での画像処理内容を説明する図である。 第一の実施形態でのS520、S530、S540で実行される処理の詳細を示すフローチャートである。 第二の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。 第二の実施形態でのS520、S530、S540で実行される処理の詳細を示すフローチャートである。 第三の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。 第三及び第四の実施形態でのS520、S530で実行される処理の詳細を示すフローチャートである。 第四の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。
本実施形態の一態様は、眼部の少なくとも1種類の非共焦点画像を含む前記眼部の複数種類の画像を取得する画像取得手段(一例として、図1のデータ取得部110)を有する。また、本実施形態の一態様は、取得された複数種類の画像を解析する解析方法を決定する決定手段(一例として、図1の決定部131)を有する。そして、本実施形態の一態様は、該決定された解析方法に基づいて該複数種類の画像の少なくとも一つを解析する解析手段(一例として、図1の画像処理部130)を有する。これにより、眼部の少なくとも1種類の非共焦点画像を含む眼部の複数種類の画像を効率的に解析しつつ、解析の信頼性を向上することができる。
また、別の本実施形態の一態様は、眼部の共焦点画像と少なくとも1種類の非共焦点画像とを含む眼部の複数種類の画像を取得する画像取得手段(一例として、図1のデータ取得部110)を有する。また、別の本実施形態の一態様は、共焦点画像及び少なくとも1種類の非共焦点画像を解析する解析手段(一例として、図1の画像処理部130)を有する。また、別の本実施形態の一態様は、共焦点画像の解析結果に基づいて、少なくとも1種類の非共焦点画像を解析するか否かを決定する決定手段(一例として、図1の決定部131)を有する。そして、別の本実施形態の一態様は、少なくとも1種類の非共焦点画像が解析されると決定された場合には、共焦点画像及び少なくとも1種類の非共焦点画像の解析結果を表示手段に表示させる表示制御手段(一例として、図1の表示制御部133)を有する。これにより、眼部の共焦点画像と少なくとも1種類の非共焦点画像とを含む眼部の複数種類の画像を効率的に解析しつつ、解析の信頼性を向上することができる。なお、決定手段は、非共焦点画像の解析結果に基づいて、共焦点画像を解析するか否かを決定しても良い。
なお、別の本実施形態の一態様としては、撮影された画像の属性や、画像が解剖学的特徴や病変部位を含むか否か、または画像の良し悪し(画質や撮像対象領域をどの程度含むか)により画像処理の対象や方法を決定した上で効率的に画像処理することが望ましい。すなわち、受光方法の異なる多種類の画像を取得する装置で、観察・計測上重要性の高い画像を優先して画像処理することで、多数の画像をより効率的に生成もしくは計測する技術が必要となる。ここで、上述した非特許文献1に記載の技術では、多チャンネルの非共焦点画像を取得する補償光学SLO装置に関する技術が開示されているものの、多種類の非共焦点画像を効率的に生成もしくは計測する方法については開示されていない。また、上述した非特許文献2に記載の技術は、共焦点画像及び非共焦点画像を同時に取得しているものの、共焦点画像及び非共焦点画像を効率的に生成もしくは計測する方法については開示されていない。
以下、添付図面に従って本発明に係る情報処理装置、その作動方法、及びコンピュータプログラムの好ましい実施形態について詳説する。ただし、本発明はこれに限定されるものではない。
[第1の実施形態:画像の種類毎に画像処理方法を予め決定]
本実施形態に係る情報処理装置は、共焦点画像と非共焦点画像を略同時に取得する眼科撮像装置の一例であるSLO装置を用いて、観察対象の一例である視細胞を撮影した画像に対し、観察・計測上の必要性に応じて画像の属性(撮影位置や画像種)ごと指定された方法で一律に画像演算や計測を行うよう構成したものである。具体的には、黄斑部で撮影された視細胞の共焦点画像Dcおよび非共焦点画像Dn(Dnr及びDnl)のうち、観察・計測上重要な中心窩から半径1.5mm以内で撮影された共焦点画像Dcj及びSplitDetector画像Dnskの重ね合わせ画像を生成し、計測する。つまり、撮影位置が中心窩から半径1.5mm以遠の画像や、中心窩から半径1.5mm以内のRチャンネル画像Dnrk及びLチャンネル画像Dnlkは生成・計測対象外とする場合について説明する。
(全体構成)
図2は、本実施形態に係る情報処理装置10を含むシステムの構成図である。図2に示すように情報処理装置10は、眼科撮像装置の一例であるSLO像撮像装置20やデータサーバ40、時相データ取得装置50と、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して通信可能に接続されている。なお、これらの機器との接続は、インターネット等の外部ネットワークを介して通信可能に接続される構成であってもよいし、あるいは情報処理装置10と直接接続されている構成であってもよい。また、情報処理装置が眼科撮像装置に内蔵されて一体として構成されても良い。
また、SLO像撮像装置20は、眼部の広画角画像Dlや高倍率画像である共焦点画像Dcと非共焦点画像Dnを撮像する装置である。SLO像撮像装置20は、広画角画像Dlや共焦点画像Dc、非共焦点画像Dn、及びその撮影時に用いた固視標位置Fl、Fcnの情報を情報処理装置10及びデータサーバ40へ送信する。なお、各画像を異なる撮影位置で取得する場合にはDli,Dcj,Dnkのように表す。すなわちi,jは各々撮影位置番号を示す変数であり、i=1,2,...,imax、j=1,2,...,jmax、k=1,2,...,kmaxとする。また、共焦点画像Dcや非共焦点画像Dnを異なる倍率で取得する場合には、最も倍率の高い画像から順にDc1m,Dc2o,...(Dn1m,Dn2o,...)のように表記する。Dc1m(Dn1m)のことを高倍率共焦点(非共焦点)画像、Dc2o,...(Dn2o,...)を中間倍率共焦点(非共焦点)画像と表記する。
また、データサーバ40は、被検眼の広画角画像Dlや共焦点画像Dc、非共焦点画像Dn、及びその撮影時に用いた固視標位置Fl、Fcnのような撮像条件データ、眼部の画像特徴などを保持する。眼部の画像特徴として、本発明では視細胞Pや毛細血管Q、血球W、網膜血管壁に関する画像特徴を扱う。SLO像撮像装置20が出力する広画角画像Dl、共焦点画像Dc、非共焦点画像Dn、撮影時に用いた固視標位置Fl、Fcn、情報処理装置10が出力する眼部の画像特徴を該サーバに保存する。また情報処理装置10からの要求に応じ、広画角画像Dl、共焦点画像Dc、非共焦点画像Dn、眼部の画像特徴を情報処理装置10に送信する。
次に、図1を用いて本実施形態に係る情報処理装置10の機能構成を説明する。図1は情報処理装置10の機能構成を示すブロック図であり、情報処理装置10はデータ取得部110、記憶部120、画像処理部130、指示取得部140を有する。また、データ取得部110は共焦点データ取得部111、非共焦点データ取得部112、属性データ取得部113を備える。画像処理部130は決定部131、位置合わせ部132、表示制御部133を備える。さらに、決定部131は判定部1311及び画像処理法決定部1312を有する。
ここで、図3(a)(b)を用いて補償光学を適用したSLO撮像装置20を説明する。SLO撮像装置20はSLD201、シャックハルトマン波面センサ206、補償光学系204、ビームスプリッタ(202、203)、X−Y走査ミラー205、フォーカスレンズ209、絞り210、光センサ211、画像形成部212、出力部213を有する。
光源であるSLD(Super Luminescent Diode)201から照射された光は眼底で反射され、一部が第二のビームスプリッタ203経由でシャックハルトマン波面センサ206へ、それ以外は第一のビームスプリッタ202経由で光センサ211へ入力される。ここで、光源は、共焦点画像を取得するための光源と、非共焦点画像とを取得するための光源とが兼用であるが、異なる波長によって構成された複数の光源等を用いても良い。シャックハルトマン波面センサ206は眼の収差を測定するためのデバイスであり、レンズアレイ207にCCD208が接続されている。入射光がレンズアレイ207を透過するとCCD208に輝点群が現れ、該投影された輝点の位置ずれに基づき波面収差が測定される。補償光学系204はシャックハルトマン波面センサ206で測定された波面収差に基づき、収差補正デバイス(可変形状ミラーもしくは空間光位相変調器)を駆動して収差を補正する。該収差補正された光はフォーカスレンズ209、絞り210を経由し光センサ211にて受光される。ここで、絞り210、光センサ211は、各々本発明に係る開口部、受光部の一例である。なお、開口部は、受光部の前段で且つ受光部付近に設けられていることが好ましい。X―Y走査ミラー205を動かすことで眼底上の走査位置を制御でき、操作者が予め指定した撮影対象領域、時間(フレームレート×フレーム数)のデータを取得する。該データを画像形成部212へ伝送し、走査速度のばらつきに起因する画像歪みの補正や、輝度値の補正を行って画像データ(動画像もしくは静止画像)を形成する。出力部213は画像形成部212が形成した画像データを出力する。
SLO撮像装置20において、共焦点画像Dcと非共焦点画像Dnを取得可能な構成であれば、図3(a)における絞り210及び光センサ211の部分は任意の構成にしてよい。本実施形態では、遮光部210−1(図3(b)・図3(e))及び光センサ211−1、211−2、211−3(図3(b))で構成する。図3(b)において戻り光は、結像面に配置された遮光部210−1に入射した一部光は反射して光センサ211−1へ入射する。ここで、図3(e)を用いて遮光部210−1の説明を行う。遮光部210−1は透過領域210−1−2及び210−1−3、遮光領域(不図示)、反射領域210−1−1で構成され、中心は戻り光の光軸中心に位置するように配置される。遮光部210−1は戻り光の光軸に対して斜めに配置されたときに、光軸方向から見て円形になるような楕円形状のパターンを持っている。遮光部210−1で分割された戻り光は光センサ211−1に入射する。遮光部210−1の透過領域210−1−2及び210−1−3を通過した光は、結像面に配置されプリズム210−2によって分割され、図3(b)に示すように、光センサ211−2、211−3へそれぞれ入射する。各光センサで得られた電圧信号は、画像形成部212内のADボードにてデジタル値に変換され、2次元画像として形成される。光センサ211−1に入射された光に基づく画像は、特定の狭い範囲に焦点を合わせた共焦点画像となる。また、光センサ211−2及び211−3に入力される光に基づく画像は、広い範囲に焦点を合わせた非共焦点画像となる。ここで、遮光部210−1は、光源からの光が照射された眼部からの戻り光を、共焦点領域を通る戻り光と非共焦点領域を通る戻り光とに分割する光学部材の一例である。また、透過領域210−1−2及び210−1−3は、非共焦点領域の一例であり、非共焦点領域を通る戻り光に基づいて非共焦点画像が取得される。また、反射領域210−1−1は、共焦点領域の一例であり、共焦点領域を通る戻り光に基づいて共焦点画像が取得される。
なお、非共焦点信号の分割法はこれに限られるものではなく、例えば図3(f)のように4つに分割して受信するよう構成してもよい。また、共焦点信号及び非共焦点信号の受信方法はこれに限定されるものではなく、例えば、絞り210(開口部)の径や位置が可変となる機構を有することが好ましい。このとき、図3(c)のように共焦点信号として受信したり、図3(d)のように非共焦点信号を受信するように、開口部の径と光軸方向における位置とのうち少なくとも一つを調整可能に構成されることが好ましい。なお、開口部の径や移動量は任意に調節して良く、例えば、図3(c)では開口部の径を1ADD(Airy Disc Diameter)、図3(d)では開口部の径を10ADD程度、移動量を6ADD程度に調節できる。あるいは、図3(g)や(h)のように、複数の非共焦点信号を略同時に受信するよう構成してもよい。本実施形態では非共焦点信号が2種類あることから、片側をRチャンネル画像の意味でDnr、もう一方をLチャンネル画像の意味でDnlと表記する。非共焦点画像Dnと標記する場合は、Rチャンネル画像Dnr及びLチャンネル画像Dnlの両方を指している。
なお、図3(a)の構成で走査光学系の振り角を大きくし、補償光学系204が収差補正を行わないよう指示することによってSLO像撮像装置20は通常のSLO装置としても動作し、広画角な共焦点画像および非共焦点画像を撮像できる。なお、以下では高倍率画像Dc、Dnよりも低倍率で、データ取得手段110が取得した画像の中で最も低倍率な画像のことを広画角画像Dl(Dlc、Dlr、Dll)と呼ぶ。従って、広画角画像Dlは補償光学が適用されたSLO画像の場合もあるし、単なるSLO画像の場合も含まれる。なお、共焦点の広画角画像と非共焦点の広画角画像を区別する場合は、各々Dlc、Dlr、Dllと表記する。
次に、図4を用いて情報処理装置10のハードウェア構成について説明する。図4において、301は中央演算処理装置(CPU)、302はメモリ(RAM)、303は制御メモリ(ROM)、304は外部記憶装置、305はモニタ、306はキーボード、307はマウス、308はインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置304に記憶されている。これらの制御プログラムやデータは、CPU301による制御のもと、バス309を通じて適宜RAM302に取り込まれ、CPU301によって実行され、以下に説明する各部として機能する。情報処理装置10を構成する各ブロックの機能については、図5のフローチャートに示す情報処理装置10の具体的な実行手順と関連付けて説明する。
<ステップ510:画像取得>
データ取得部110はSLO像撮像装置20に対して図6(i)に示すような広画角画像Dl(Dlc、Dlr、Dll)、図6(i)のPr1に示すような黄斑部の矩形領域で高倍率画像(共焦点画像Dcj、非共焦点画像DnrkおよびDnlk)の取得を要求する。また、これらの画像に対応する属性データや固視標位置Fl、Fcnの取得を要求する。属性データとして、本実施形態では画像の取得日時、取得位置、フォーカス位置、画像種(共焦点/Rチャンネル/Lチャンネル/任意の画像種間演算)、階調数、画角、解像度、フレーム数を取得する。SLO像撮像装置20は該取得要求に応じて広画角画像Dlc、Dlr、Dll、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する属性データ及び固視標位置Fl、Fcnを取得し送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、及び属性データ、固視標位置Fl、Fcnを受信し、記憶部120に格納する。なお、高倍率画像の取得位置は黄斑部の矩形領域に限定されるものではなく任意の取得位置の画像を用いてよい。例えば図6(i)のPr2に示すように視神経乳頭周囲において円環状に取得された画像を用いる場合も本発明に含まれる。
<ステップ520:画像生成>
判定部1311が撮影済画像の属性データに基づいてどの撮影済み画像を用いて画像生成するか(生成用画像(取得位置・画像種))を判定する。次に、画像処理法決定部1312が生成用画像を用いた画像生成法(画像間もしくは画像内演算の種類や生成される画像の階調数・解像度・フレーム数)を決定する。画像処理部130は、判定部1311及び画像処理法決定部1312が決定した生成用画像及び画像生成法で非共焦点画像(DlnもしくはDn)内もしくは該画像間の演算を行い、画像を生成する。さらに、位置合わせ部132が画像位置合わせを行い、表示制御部133が共焦点画像及び非共焦点画像を表示する。具体的な画像生成処理についてはS710、S720、S730、S740で詳述する。
<ステップ530:計測法決定>
撮影済画像の属性データに基づいて、判定部1311が撮影・生成された画像の中から計測対象画像(撮影位置・画像種)を判定し、画像処理法決定部1312が計測対象の画像に対する計測法(画像処理の種類・画像処理範囲・画像処理間隔)を決定する。具体的な計測法決定処理についてはS711及びS721で詳述する。
<ステップ540:計測>
画像処理部130が、S530で決定された画像計測法に基づいて計測処理を行い、表示制御部133が計測結果を表示する。本実施形態では画像処理部130が視細胞の検出及び分布計測処理を行い、表示制御部133が検出された視細胞位置やボロノイ図を表示するとともに、視細胞密度などの統計量を表示する。具体的な計測処理についてはS712、S722、S732、S742、S752で詳述する。
<ステップ550:結果を保存するか否かを決定>
指示取得部140は、S520で生成した画像やS540で計測した結果のデータ、すなわち共焦点画像Dcjと非共焦点画像Dnskにおける視細胞位置やボロノイ図、視細胞密度等の統計値をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード306やマウス307を介して操作者により入力される。保存が指示された場合はS560へ、保存が指示されなかった場合はS570へと処理を進める。
<ステップ560:結果の保存>
画像処理部130は検査日時、披検眼を同定する情報と、S550で決定した保存対象の画像や計測結果に関するデータとを関連付けてデータサーバ40へ送信する。
<ステップ570:終了するか否かを決定>
指示取得部140は情報処理装置10による広画角画像Dlと高倍率共焦点画像Dcj、高倍率非共焦点画像Dnkに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やマウス307を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS510に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。さらに、図7(a)に示すフローチャートを参照しながら、S520で実行される処理の詳細について説明する。
<ステップ710:撮影済画像の属性情報を取得>
画像処理部130は、撮影済画像の属性データを取得する。本実施形態では、属性データとして各画像の取得日時・取得位置・フォーカス位置、画像種(共焦点画像/Rチャンネル画像/Lチャンネル画像/任意の画像内もしくは画像間演算、例えばSplit Detector画像)、解像度、階調数、フレーム数を取得する。
<ステップ720:画像生成方法を決定>
判定部1311が撮影済画像の属性データに基づき、どの撮影済画像を用いて画像生成を行うか(生成用画像(撮影位置・画像種))を判定する。次に画像処理法決定部1312が、判定部1311によって判定された生成用画像を用いた画像生成法(画像間演算や画像内演算(重ね合わせ等)の種類・生成される画像の階調数・解像度・フレーム数)を決定する。画像処理部130は、判定部1311が決定した生成用画像に対して画像処理法決定部1312が決定した画像生成法で非共焦点画像(DlnもしくはDn)内もしくは該画像間の演算を行い、画像を生成する。さらに、位置合わせ部132が画像位置合わせを行い、表示制御部133が共焦点画像及び非共焦点画像を表示する。
本実施形態では、判定部1311が視細胞撮像時の既定の生成用画像として撮影位置が中心窩から半径1.5mm以内にある共焦点画像Dcj及び非共焦点画像Dnk(Rチャンネル画像Dnrk及びLチャンネル画像Dnlk)を判定する。また、画像処理法決定部1312が該生成用画像を用いて共焦点画像Dcjの重ね合わせ画像と、Split Detector画像の重ね合わせ画像を、原画像と同じ階調数、解像度で生成するよう決定する。従って、撮影位置が中心窩から半径1.5mm以遠の画像や、中心窩から半径1.5mm以内のRチャンネル画像Dnrk及びLチャンネル画像Dnlkは生成されない。なお、SplitDetector画像は、((Lチャンネル画像の画素値−Rチャンネル画像の画素値)/(Rチャンネル画像の画素値+Lチャンネル画像の画素値))の演算によって生成される非共焦点画像を用いた差分画像の1種である。画像処理部130における生成用画像判定、及び画像生成法決定はこれに限定されず、観察・計測上重要な画像に対してより多種の画像で、詳細に観察・計測できるような画像生成法であれば、任意の生成用画像及び画像生成法を決定してよい。
また、指示取得部140を経由して取得した画像属性に基づいて生成用画像や画像生成法を決定する場合も本発明に含まれる。視細胞を撮影した場合の共焦点画像Dc、Split Detector画像Dnsの例を図6(g)及び(h)に示す。
<ステップ730:画像生成>
S720で判定された生成用画像及び決定された画像生成法に基づいて、画像処理部130が画像を生成する。なお、画像生成に先立ち、位置合わせ部132は、広画角画像Dlc及び共焦点画像Dcにおけるフレーム間位置合わせを行い、該フレーム間位置合わせパラメータ値を各々広画角画像Dlr、Dll、非共焦点画像Dnr、Dnlに対しても適用するものとする。SplitDetector画像Dlns、Dnsについては、フレーム間位置合わせ済みのDlr、DnrとDll、Dnlを演算処理して生成するため改めてフレーム間位置合わせを行う必要はない。具体的なフレーム間位置合わせ法として、
i)位置合わせ部132は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。
ii)位置合わせ部132は、フレーム間の大まかな位置の対応付け(粗位置合わせ)を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてAffine変換を用いて粗位置合わせを行う。
iii)位置合わせ部132は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。
本実施形態ではii)で得られた粗位置合わせ済動画像に対し、非剛体位置合わせ手法の一種であるFFD(Free Form Deformation)法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。画像生成後に、位置合わせ部132は広画角画像Dlcと高倍率画像Dcjとの位置合わせを行い、Dlc上のDcjの相対位置を求める。位置合わせ部132は、記憶部120から高倍率共焦点画像Dcjの撮影時に用いた固視標位置Fcnを取得し、広画角画像Dlcと共焦点画像Dcjとの位置合わせにおける位置合わせパラメータの探索初期点とする。該パラメータ値の組み合わせを変化させながら広画角画像Dlcと高倍率共焦点画像Dcjとの位置合わせを行う。広画角画像Dlcと高倍率共焦点画像Dcjとの類似度が最も高い位置合わせパラメータ値の組み合わせを広画角画像Dlcに対する共焦点画像Dcjの相対位置として決定する。位置合わせ手法はこれに限らず、任意の位置合わせ手法を用いて良い。
また、S510において中間倍率の画像が取得されている場合には、より低倍率な画像から順に位置合わせを行う。例えば高倍率共焦点画像Dc1mと中間倍率共焦点画像Dc2oが取得されている場合にはまず広画角画像Dlcと中間倍率画像Dc2oとの間で位置合わせを行い、次いで中間倍率画像Dc2oと高倍率画像Dc1mとの間で位置合わせを行う。
さらに、広画角共焦点画像Dlcと共焦点画像Dcjに対して決定された画像貼り合わせパラメータ値を非共焦点画像(DlrとDnrk、DllとDnlk、DlnsとDnsk)の貼り合わせに対しても適用する。広画角非共焦点画像Dlr、Dll、Dlns上の高倍率非共焦点画像Dnrk、Dnlk、Dnskの相対位置が各々決定される。
<ステップ740:表示>
表示制御部133は、生成された画像群をモニタ305上に表示する。
ここでは、S720で生成用画像として判定された(撮影位置が中心窩から半径1.5mmの範囲内の)共焦点画像Dcj及びSplitDetector画像Dnskの各重ね合わせ画像を、S730で決定された位置合わせパラメータ値を用いて貼り合わせ表示する。ここで、表示する画像の種類はGUIを用意して切り替える。本実施形態ではラジオボタンを用いて表示を切り替えるが、任意のGUIを用いて切り替えてよい。切り替える画像種としては、共焦点画像Dc及びSplitDetector画像Dnsの2種類を切替え表示する。
さらに、図7(b)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップ711:撮影済画像の属性情報を取得>
画像処理部130は、S710で取得された撮影済画像の属性データを参照する。
<ステップ721:計測方法を決定>
判定部1311がS711で取得した撮影済画像の属性データに基づいて計測対象の画像(撮影位置・画像種)を判定する。次に、画像処理法決定部1312が計測対象の画像に対する計測方法(画像処理の種類、画像処理範囲、画像処理間隔)を決定する。
本実施形態では、判定部1311が視細胞撮像時の既定の計測対象として撮影位置が中心窩から半径1.5mmの範囲内の共焦点画像Dcj及びSplit Detector画像Dnskを判定する。すなわち、撮影位置が中心窩から半径1.5mm以遠の画像や、中心窩から半径1.5mm以内のRチャンネル画像Dnrk及びLチャンネル画像Dnlkは計測対象外と判定する。また、画像処理法決定部1312は、撮影位置が中心窩から半径1.5mmの範囲内の共焦点画像Dcj及びSplit Detector画像Dnskの重ね合わせ画像に対する画像処理内容として、
・視細胞位置の検出
・ボロノイ図作成
・視細胞密度の計測
を行うよう決定する。本実施形態では2種類の画像に対して同じ条件で計測して計測結果を比較する必要があるため、画像処理範囲及び画像処理間隔(計測位置の間隔)は両画像とも原画像と同じ範囲、画素サイズと同じ距離とする。これに限らず、計測上重要な画像に対してより詳細に計測できる処理であれば、各画像に対して任意の画像処理範囲、画像処理間隔の値を設定してよい。
さらに、図7(c)に示すフローチャートを参照しながら、S540で実行される処理の詳細について説明する。
<ステップ712:周波数領域でのフィルタリング>
画像処理部130は、共焦点画像Dcj及び非共焦点画像Dnskにおける視細胞以外のピーク成分(ノイズや視細胞以外の眼底組織から反射光)を除去するために、高周波成分の除去を行う。本実施形態では、高速フーリエ変換(FFT)を用いて周波数変換を行い、低域通過フィルタを適用して高周波成分の信号値をカットする。該フィルタ済画像を逆フーリエ変換することで空間領域に戻し、高周波成分が除去された補正済共焦点画像及び補正済非共焦点画像を生成する。
<ステップ722:二値化>
補正済共焦点画像及び補正済非共焦点画像に対して各々閾値Tc、Tsで二値化することにより、視細胞Pを検出する。
<ステップ732:ボロノイ図生成>
視細胞Pの二値画像に対し、以下の手順でボロノイ図を生成する。すなわち、視細胞Pの二値画像に対し、個々の視細胞領域の中心点(図6(m)のMP)を算出し、隣り合う中心点MPを結ぶ線分に対して垂直二等分線を描画する。描画された垂直二等分線のうち、中心点MP同士を結ぶ線分の中点から垂直二等分線同士の交点VPまでを残し、残りを消去することでボロノイ境界VBが得られる。ボロノイ図において、個々の視細胞Pが占める面積や形状はボロノイ境界VBで囲まれた領域VRで表される。
<ステップ742:視細胞分布の統計量を算出>
S732で生成したボロノイ図に基づき、視細胞Pの分布に関する統計量を算出する。具体的には、検出された視細胞Pの密度、隣接する視細胞間の距離の平均、1視細胞が占める面積の平均値、ボロノイ図において視細胞Pが六角形で表される領域の割合を算出する。なお、上記統計量は画像全体に対してだけでなく、小領域ごとに求めておく。
<ステップ752:表示>
表示制御部133は、
i)補正済共焦点画像及び補正済非共焦点画像
ii)視細胞Pの検出結果(視細胞位置のマップ)
iii)ボロノイ図
iv)小領域ごとの視細胞分布の統計値に関するマップ
をモニタ305に表示する。なお、ボロノイ図については個々のボロノイ領域ごとの面積に応じて色づけして表示する。なお、本実施形態では決定部131が観察・計測上の必要性に応じて撮影位置や画像種ごとに指定された方法で一律に画像間演算及び画像特徴抽出(視細胞検出や血管壁境界検出等)、画像計測に関する方法を決定する場合について説明したが、本発明はこれに限定されない。例えば、決定部131内の判定部1311が観察・計測上の必要性に応じて撮影位置や画像種ごとに指定された方法で一律にどの画像を記憶部120に読み込むかを判定したり、どの画像をモニタ305に表示するかを判定する場合も本発明に含まれる。あるいは、画像処理法決定部1312が観察・計測上の必要性に応じて撮影位置や画像種ごとに指定された方法で一律に画像の表示法(解像度や階調数、フレーム数(動画像か静止画像かの決定も含む)等)を決定しても良い。
以上述べた構成によれば、情報処理装置10は共焦点画像と非共焦点画像を略同時に取得するSLO装置を用いて視細胞を撮影した画像に対し、観察・計測上の必要性に応じて画像の属性(撮影位置や画像種)ごと指定された方法で一律に画像演算や計測を行う。これにより、観察・計測上重要な眼部画像を効率的に生成もしくは計測できる。
なお、本実施形態では、複数種類の画像の種類毎に解析方法(画像処理方法の一例)が予め決定されているが、ユーザの指定(例えば、画像処理方法の選択)に応じて複数の種類の画像の種類毎に解析方法を変更可能に構成されても良い。また、複数の種類の画像の種類毎に異なる解析方法が決定されていることが好ましい。例えば、共焦点画像を非共焦点画像に対して優先的に解析しても良く、このとき、非共焦点画像を解析しない、として解析方法が決定されても良い。また、逆に、非共焦点画像を共焦点画像に対して優先的に解析しても良く、このとき、共焦点画像を解析しない、として解析方法が決定されても良い。また、決定される解析方法としては、画像を解析しない、という方法も含むことが好ましい。すなわち、解析方法の決定は、画像を解析するか否かの決定も含むことが好ましい。なお、これらについては、下記の実施形態においても適用可能である。
[第2の実施形態:画像における特徴領域により画像処理方法を決定]
本実施形態に係る情報処理装置は、共焦点画像と非共焦点画像を略同時に取得するSLO装置で撮影した画像に対して、以下の処理を行う。すなわち、画像上で取得された画像特徴または病変候補領域に基づき、観察または画像解析上重要な部位を含む画像ほど、多種もしくは詳細な画像を生成したり、多種の画像に対して詳細に計測するよう構成したものである。具体的には、図3(a)(b)に示すような共焦点画像Dcjと非共焦点画像Dnkを略同時に取得するSLO装置で図6(j)に示すような取得位置で網膜血管の共焦点動画像Dcjと非共焦点動画像Dnkを取得する。網膜静脈閉塞の好発部位である動静脈交差部を含む画像ほど、多種もしくは詳細な画像を生成したり、多種の画像を用いて詳細に計測する場合について説明する。
本実施形態に係る情報処理装置10と接続される機器の構成を図2(b)に示す。本実施形態ではSLO像撮像装置20に加えて、時相データ取得装置50と接続される点が第1実施形態と異なっている。時相データ取得装置50は、自律的かつ周期的に変化する生体信号データ(時相データ)を取得する装置であり、例えば脈波計もしくは心電計からなる。時相データ取得装置50は不図示の操作者による操作に応じ、高倍率画像Dnkの取得と同時に時相データSjを取得する。得られた時相データSjは、情報処理装置10、データサーバ40へ送信される。なお、時相データ取得装置50は、SLO像撮像装置20に直接接続されている構成であってもよい。
また、データサーバ40は被検眼の広画角画像Dlr、Dll、高倍率画像Dnrk、Dnlk、及びその取得時に用いた固視標位置Fl、Fcnのような取得条件データ以外に、眼部の画像特徴も保持する。眼部の画像特徴としては任意のものを保持できるが、本実施形態では網膜血管及び毛細血管Q、視細胞欠損領域を扱う。時相データ取得装置50が出力する時相データSjや情報処理装置10が出力する眼部の画像特徴は該サーバに保存される。また情報処理装置10からの要求に応じて時相データSj、眼部の画像特徴が情報処理装置10に送信される。
次に、本実施形態に係る情報処理装置10の機能ブロックを図8に示す。データ取得部110に時相データ取得部114を、決定部131に画像特徴取得部1313を備える点が実施形態1と異なっている。また、本実施形態での画像処理フローは図5に示す通りであり、S510、S520、S530、S540以外は実施形態1の場合と同様である。そこで、本実施形態ではS510、S520、S530、S540の処理のみ説明する。
<ステップ510:画像取得>
データ取得部110は、広画角画像Dlc、Dln、共焦点画像Dcj、非共焦点画像Dnk及び時相データを取得する。本実施形態では、図6(j)に示すように、網膜動脈アーケードAに沿って共焦点画像Dcj、非共焦点画像Dnkを取得するものとする。時相データ取得部114は時相データ取得装置50に対し生体信号に関する時相データSjの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被験者の耳垂(耳たぶ)から脈波データSjを取得する。ここで脈波データSjは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ周期的な点列として表現される。時相データ取得装置50は該取得要求に応じて対応する時相データSjを取得し送信するので、時相データ取得部114は時相データ取得装置50からLAN30を介して当該脈波データSjを受信する。時相データ取得部114は受信した時相データSjを記憶部120に格納する。
ここで、時相データ取得装置50が取得する時相データSjのある位相に合わせて共焦点データ取得部111もしくは非共焦点データ取得部112が画像を取得開始する場合と、画像の取得要求後直ちに脈波データPiと画像取得を同時に開始する場合が考えられる。本実施形態では画像取得要求後直ちに時相データPiと画像取得を開始する。時相データ取得部114より各画像の時相データPiを取得し、各々の時相データPiの極値を検出して心拍動の周期及び心時相の相対値(relative cardiac cycle)を算出する。心時相の相対値は、心拍動の周期を1とした場合に0から1までの浮動小数点数で表わされる相対値である。データ取得部110は、SLO像撮像装置20に対して広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像DnrkおよびDnlk、対応する固視標位置Fl、Fcnデータの取得を要求する。
SLO像撮像装置20は、該取得要求に応じて広画角画像Dlc、Dlr、Dll、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する固視標位置Fl、Fcnを取得し送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、及び固視標位置Fl、Fcnを受信し、記憶部120に格納する。なお、網膜血管を撮影した場合の共焦点画像Dc、非共焦点画像Dnrの例を図6(c)及び(d)に示す。共焦点画像Dcでは背景の神経線維層からの反射が強く、背景部分のノイズにより位置合わせが難しくなりやすい。また、Rチャンネル(Lチャンネル)の非共焦点画像Dnr(Dnl)では、右側(左側)の血管壁のコントラストが高くなる。
一方、非共焦点画像の例はこれに留まらない。例えば非共焦点画像DnrとDnlとの加算処理画像Dnr+l、差分処理の1種((L−R)/(R+L))を適用したSplit Detector画像Dnsを生成してもよい。Dnr+lとDnsの例を各々図6(e)と(f)に示す。以下では、非共焦点画像Dnkと表記した場合にはいずれの非共焦点画像Dnkも用いることができる。
<ステップ520:画像生成>
画像特徴取得部1313が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得する。なお、本実施形態ではS520において画像特徴を取得するが、画像特徴を取得するのは本ステップに限定されるものではない。例えば、S510において画像取得後直ちに画像特徴を取得する場合や、S530において画像特徴を取得する場合も本発明に含まれる。次に、判定部1311が該画像特徴に基づいてどの撮影済み画像を用いて画像生成するか(生成用画像)を判定する。さらに、画像処理法決定部1312が該画像特徴に基づいて画像生成法(画像間もしくは画像内演算の種類や生成される画像の階調数・解像度・フレーム数)を決定する。さらに、画像処理部130が画像処理法決定部1312によって決定された演算内容で、非共焦点データ(DlnもしくはDn)間の演算を行い、画像を生成して位置合わせ部132が画像位置合わせを実行する。表示制御部133は生成された共焦点画像及び非共焦点画像を表示する。具体的な画像生成処理についてはS910、S920、S930、S940で詳述する。
<ステップ530:計測法決定>
S520で画像特徴取得部1313が取得した画像特徴(網膜血管領域及び動静脈交差部)に基づいて、撮影・生成された画像の中から判定部1311が計測対象画像(撮影位置・画像種)を判定する。さらに該画像特徴に基づいて画像処理法決定部1312が計測対象の画像に対する計測法(画像処理の種類・画像処理範囲・画像処理間隔)を決定する。具体的な計測法決定処理についてはS911及びS921で詳述する。
<ステップ540:計測>
画像処理部130がS530で決定された画像計測法に基づいて計測処理を行い、表示制御部133が計測結果を表示する。本実施形態では画像処理部130が網膜血管壁の検出及び壁厚計測処理を行い、表示制御部133が検出された壁境界や壁厚グラフ、壁厚マップを表示する。具体的な計測処理についてはS912、S922、S932、S942で詳述する。
次に、図9(a)に示すフローチャートを参照しながら、S520で実行される処理の詳細について説明する。
<ステップ910:画像特徴取得>
画像特徴取得部1313は、広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を検出する。なお、画像特徴を取得する画像は広画角画像に限定されるものではなく、例えば高倍率画像Dnkから画像特徴を直接取得する場合も本発明に含まれる。網膜血管は線状構造を有しているため、網膜血管領域の検出法として本実施形態では線状構造を強調するフィルタを用いて網膜血管を抽出する。具体的には、広画角画像Dlnをアーケード血管の半径に相当するサイズσのガウス関数により平滑化した上でヘッセ行列に基づく線強調フィルタを適用し、閾値Taにより二値化することでアーケード血管を抽出する。ただし、網膜血管領域の検出法はこれに限らず、任意の公知の網膜血管抽出手法を用いてよい。
また、動静脈交差部の検出法としては、本実施形態では特開2001−070247号公報に示す交差検出フィルタを用いる。具体的には、フィルタ外周部における血管領域数が4以上で、かつフィルタ中心部に血管領域が存在する場合に交差部と判定する。網膜動脈の方がヘモグロビンを多く含む関係で網膜静脈よりも高輝度であるため、検出された交差部のうち、交差している各々の血管領域内の最低輝度値を算出して該最低輝値間の差の絶対値が閾値T1以上である場合に動静脈交差と判定する。ただし、交差検出法はこれに限らず、任意の公知の交差検出法を用いてよい。なお、血管内腔領域(血液が流れる領域)の輝度分布に関して網膜静脈の方が低い傾向があるため、本発明では共焦点画像及び非共焦点画像における血管内腔領域の最低輝度値がTv未満であれば網膜静脈、Tv以上であれば網膜動脈と識別するものとする。
なお、本実施形態では画像特徴取得部1313が動静脈交差部のような解剖学的特徴を取得する場合について説明したが、本発明はこれに限定されない。例えば、画像特徴として図6(k)の視細胞欠損部Dc5のような病変候補領域を取得してもよい。視細胞欠損領域の検出法は任意の公知の検出法を用いることができるが、本実施形態では以下の手順で検出する。すなわち、共焦点画像Dcjをフーリエ変換し、低域通過フィルタを適用して高周波成分の信号値をカットした後に逆フーリエ変換を行って各々閾値T2未満である領域を視細胞欠損領域として検出する。
<ステップ920:画像生成法決定>
判定部1311は、画像特徴取得部1313がS910で取得した画像特徴に基づき、どの撮影済み画像を用いて画像生成するか(生成用画像)を判定する。さらに、画像処理法決定部1312は、該画像特徴に基づき、画像生成法(画像間もしくは画像内演算の種類や生成される画像の階調数・解像度・フレーム数)を決定する。主要な眼疾患の一つである網膜静脈閉塞症において動静脈交差部は病変(網膜静脈の閉塞)の好発部位であることから、本実施形態では動静脈交差部を含む画像を用いて総データ量の大きい画像(多くの種類の画像もしくはデータ量の多い画像)を生成する。具体的には、判定部1311が網膜血管領域を含む画像を生成用画像と判定する。画像処理法決定部1312は、生成する画像種を(R+L)画像Dnr+lと決定する。さらに、動静脈交差部を含む画像に対し16bitで原画像と同じ解像度、フレーム数の動画像及び16bitで原画像と同じ解像度の重ね合わせ画像、動静脈交差部を含まない画像に対して16bitで原画像と同じ解像度の重ね合わせ画像を生成するよう決定する。ただし、これに限らず観察・計測上重要な画像に対してより多種の画像で詳細に観察・計測可能な画像生成法であれば、生成する画像種や画像生成法は任意の生成法を指定してよい。例えば、画像処理法決定部1312が生成する画像種を動静脈交差部に対しては(R+L)画像Dnr+l及びSplit Detector画像Dns、動静脈交差部を含まない画像に対しては(R+L)画像Dnr+lのみ生成するよう決定してもよい。
なお、ステップ910において、共焦点画像Dcから、眼部の視細胞等の観察対象の状態の一例である病変領域(病変候補)を画像特徴として取得する場合には、以下の手順で生成用画像を決定する。ここでは、病変領域の一例である視細胞欠損領域の説明を行う。一般に、観察対象の一例である眼部の視細胞は、外節から欠損し始め、次に内節も欠損して最終的に死滅するとされており、非特許文献2によると共焦点画像Dcjは、視細胞外節の欠損の有無、非共焦点画像Dnkは視細胞内節の欠損の有無を観察できるとされている。従って共焦点画像における視細胞欠損領域(少なくとも視細胞外節の欠損を含む画像)と、同じ撮影位置を持つSplit Detector画像は、視細胞障害の程度を観察・解析する上で重要な画像と考えられる。従って、判定部1311が撮影された画像の中から生成用画像(撮影位置・画像種)として全ての撮影位置における共焦点画像と、共焦点画像上で視細胞欠損領域を含む共焦点画像と同じ撮影位置の非共焦点画像Dnと判定する。さらに、画像処理法決定部1312は、(視細胞欠損領域の有無に関わらず全ての)共焦点画像Dcjに対して16bit、原画像と同じ解像度の重ね合わせ画像を生成するよう決定する。また、生成用Rチャンネル画像DnrkおよびLチャンネル画像Dnlkを用いてSplitDetector画像Dnskを16bit、原画像と同じ解像度で重ね合わせ画像として生成するよう決定する。ただし、観察・計測上重要な画像に対してより多種の画像で詳細に観察・計測可能となる画像生成法であれば、生成する画像種や画像生成法は任意の方法を指定してよい。
<ステップ930:画像生成>
画像処理部130が画像処理法決定部1312によって決定された演算内容で、非共焦点画像(DlnもしくはDn)間の演算を行い、画像を生成して位置合わせ部132が画像位置合わせを実行する。本実施形態では、画像処理部130は(R+L)画像(Dlnr+l及びDnr+l)を生成する。画像処理部130による演算はこれに限定されず、任意の演算処理を行ってよい。位置合わせ部132は、生成された広画角画像Dlr+l及び非共焦点画像Dnr+lにおけるフレーム間位置合わせ、重ね合わせ、さらに広画角画像Dlr+lの重ね合わせ画像と高倍率画像Dn(r+l)kの重ね合わせ画像との貼り合わせ処理を行う。さらに、表示制御部133は、生成された画像群をモニタ305上に表示する。具体的なフレーム間位置合わせ処理や貼り合わせ処理の手順は第1実施形態の場合と同様であるので省略する。またここで決定したフレーム間位置合わせパラメータを同じ撮影位置を持つ広画角画像Dlr、Dll、Dlc、高倍率画像Dnr、Dnl、Dcに対しても適用する。同様に、広画角非共焦点画像Dlr+lと非共焦点画像Dnr+lに対して決定された画像貼り合わせパラメータ値を同じ撮影位置を持つ共焦点画像(DlcとDcj)の貼り合わせや非共焦点画像(DlrとDnrk、DllとDnlk)の貼り合わせに対しても適用する。
一方、血管壁厚計測では心拍動の影響により血管形状がフレーム間で変化するのを避けるため、以下の手順で重ね合わせ画像を生成する。すなわち、全フレームで加算平均するのではなく、特定の位相区間内に属する脈波信号と対応付けられたフレームのみを選択して重ね合わせする。本実施形態では、脈波の位相区間を5区間に分けて該脈波信号値が極小となる位相を含む区間に属するフレームを選択して重ね合わせる。フレーム選択法はこれに限らず、心拍動の影響を排除する効果を持つ方法であれば、任意の選択法を用いてよい。
<ステップ940:表示>
表示制御部133は生成された画像を表示する。ここでは、S930で生成された画像を、前述した位置合わせパラメータ値を用いて貼り合わせ表示する。
次に、図9(b)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップ911:画像特徴取得>
画像処理法決定部1312がS910で画像特徴取得部1313によって取得された画像特徴(網膜血管領域及び動静脈交差部、もしくは視細胞欠損部Dc5)を参照する。
<ステップ921:計測法決定>
判定部1311がS911で取得した画像特徴に基づいて計測対象の画像(撮影位置・画像種)を判定する。次に、画像処理法決定部1312が計測対象の画像に対する計測方法(画像処理の種類、画像処理範囲、画像処理間隔)を決定する。主要な眼疾患の一つである網膜静脈閉塞症において動静脈交差部は病変(網膜静脈の閉塞)の好発部位であることから、本実施形態では動静脈交差部を含む画像では詳細に計測処理を行う。具体的には、判定部1311が計測対象の画像を血管領域を含む画像と判定する。次に、画像処理法決定部1312が計測対象の画像に対する計測方法のうち動静脈交差部を含む撮影位置の(R+L)画像Dr+lに対する画像処理の種類として
・エッジ保存平滑化処理
・血管壁境界検出
・血管壁厚計測
を決定する。画像処理範囲としてエッジ保存平滑化は画像全体、血管壁境界検出及び血管壁厚計測は静脈と交差する動脈枝のみと決定する。また画像処理間隔はいずれの画像処理も1画素と決定する。本実施形態では動静脈交差部を含まない画像では画像処理の種類としてエッジ保存平滑化処理のみを画像全体に対して2画素ごとに適用するものとし、計測処理は行わない。ただし、これに限らず、計測上重要な画像特徴を有する画像に対して多種の画像で、もしくは詳細に計測できる画像処理方法であれば、計測対象画像の判定処理や画像処理方法の決定処理は任意の処理を指定してよい。なお、ステップ911で画像特徴として共焦点画像Dcj及び非共焦点画像Dnkから視細胞欠損領域のような病変候補を取得する場合には、以下の手順で各画像の計測法を決定する。
S920の場合と同様に、共焦点画像における視細胞欠損領域と同じ撮影位置を持つSplit Detector画像は視細胞障害の程度を観察・解析する上で重要な画像と考えられる。そこで判定部1311が撮影・生成された画像の中から計測対象画像(撮影位置・画像種)として視細胞欠損領域を含む共焦点画像、及び該共焦点画像と同じ撮影位置のSplit Detector画像と判定する。すなわち、視細胞欠損領域が含まれない場合の共焦点画像Dcは計測対象外と判定される。さらに該画像特徴に基づいて画像処理法決定部1312が計測対象の画像に対する計測法(画像処理の種類・画像処理範囲・画像処理間隔)として
・視細胞位置の検出
・ボロノイ図作成
・視細胞密度の計測
を、いずれの画像とも原画像と同じ範囲、1画素間隔で処理するよう決定する。ただし、本発明は上記処理に限定されるものではなく、計測上重要な画像特徴を有する画像に対して多種の画像で、もしくは詳細に計測できる処理であれば、各画像に対して任意の種類の画像処理を、任意の画像処理範囲、画像処理間隔で行うよう決定してよい。
次に、図9(c)に示すフローチャートを参照しながら、S540で実行される処理の詳細について説明する。
<ステップ912:平滑化>
画像処理部130が、計測対象画像の平滑化処理を行う。任意の公知のエッジ保存平滑化処理を適用可能であるが、本実施形態では動静脈交差部を含む(R+L)画像の重ね合わせ画像の画像全体に対して中央値フィルタを1画素間隔で適用する。一方、それ以外の血管領域を含む画像では中央値フィルタを画像全体に2画素間隔で適用する。該エッジ保存平滑化処理により、血管壁境界のエッジをぼかすことなく画像内のノイズを低減できる。
<ステップ922:壁境界検出>
画像処理部130が、網膜動脈壁の境界位置を検出する。本実施形態では、まずS912で生成した平滑化画像に対してモルフォロジーフィルタの一種であるTop−Hatフィルタを適用する。Top−Hatフィルタを適用することで血管中心部に存在する細長の高輝度領域(血柱反射)を抽出後、該抽出された領域を細線化することにより動脈の中心線を検出する。なお、Top−Hatフィルタ処理は、原画像の輝度値からオープニング画像(原画像を収縮処理した後に膨張処理した画像)の輝度値を減算する処理を指している。Top−Hatフィルタは原画像を2値化した画像に対して適用してもよいし、多値画像用のTop−Hatフィルタを適用後に2値化してもよい。また、血管中心線の検出法はこれに限らず、任意の公知の手法を用いてよい。
次に、該中心線上に等間隔に設定した制御点を通り、該中心線に垂直な線分上での輝度プロファイルを生成し、該線分の中心から左側及び右側に向かって極大値を2点ずつ検出して血管壁境界とする。なお、血管壁境界位置の検出法はこれに限らず任意の公知の手法を用いてよい。例えば、血管中心線に平行な4本の曲線を生成して2本の曲線を血管内腔領域に、残りの2本の曲線を血管外に可変形状モデルとして配置する。モデルを構成する制御点間の形状や制御点上の輝度値に関して規定された評価関数を最小化することで4本の可変形状モデルが血管壁境界に一致するように変形して血管壁境界位置を検出してもよい。
<ステップ932:壁厚計測>
画像処理部130は、S922で検出した血管壁境界位置に基づいて、血管外径、血管内径、壁厚値と壁厚に基づく指標値としてWLR(Wall−to−Lumen Ratio)及びWCSA(Wall Cross−Sectional Area)を計測対象の動脈枝の走行に沿って算出する。ただし、
WLR=(血管外径−血管内径)/(血管内径)
WCSA=π((血管外径)−(血管内径)
とする。
<ステップ942:表示>
表示制御部133が、血管走行に沿って計測した血管外径、血管内径、壁厚及び壁厚指標値をモニタ305にグラフ表示する。すなわち、横軸に血管走行方向における位置、縦軸に血管外径、血管内径、左右の壁厚値、壁厚指標値(WLR及びWCSA)を表示する。本実施形態では各計測値及び指標値は単一のグラフ内に並置表示する。ただし計測値や指標値の表示法はこれに限らず、例えば計測値や指標値の種類を選択して切り替え表示させてもよい。このような壁厚グラフを表示することで、ユーザが血管走行に沿った壁厚の分布を把握しやすくなる。また、表示制御部133は、共焦点画像もしくは非共焦点画像、もしくはこれらの貼り合わせ画像上にS922で血管走行に沿って検出した壁境界、S932で計測した各計測値や壁厚指標値を重畳表示する。各計測値や壁厚指標値はグレースケールでもよいし、任意のカラーバーと対応付けてカラーマップとして表示してもよい。このような血管壁厚の分布をマップとして表示することで、ユーザが眼底内での壁厚値の分布を把握しやすくなる。
なお、本実施形態では決定部131が画像上の画像特徴や病変候補領域に基づいて画像間演算及び画像特徴抽出(視細胞検出や血管壁境界検出等)、画像計測に関する方法を決定する場合について説明したが、本発明はこれに限定されない。例えば、決定部131内の判定部1311が画像上の画像特徴や病変候補領域に基づいてどの画像を記憶部120に読み込むかを判定したり、どの画像をモニタ305に表示するかを判定する場合も本発明に含まれる。あるいは、画像処理法決定部1312が画像上の画像特徴や病変候補領域に基づいて画像の表示法(解像度や階調数、フレーム数(動画像か静止画像かの決定も含む)等)を決定しても良い。
以上述べた構成によれば、情報処理装置10は共焦点画像と非共焦点画像を略同時に取得するSLO装置で撮影した画像に対して、以下の処理を行う。すなわち画像上で取得された画像特徴または病変候補領域に基づき、観察または画像解析上重要な部位を含む画像ほど多種または詳細な画像を生成したり、多種の画像に対してまたは詳細に計測する。これにより、観察・解析上重要な眼部画像を効率的に生成もしくは計測できる。
[第3の実施形態:画像の解析結果により画像処理方法を決定]
本実施形態に係る情報処理装置は、画像の属性もしくは画像から取得される画像特徴(病変候補)だけでなく、画像の解析した解析結果、すなわち画質や撮像対象領域を画像中に含む割合も用いて画像の生成法もしくは計測法を決定するよう構成したものである。具体的には同一の網膜血管に対して撮影した共焦点画像Dcjと2種類の非共焦点画像Dnk(開口部を大径化し網膜血管の走行に対して右側及び左側に移動させて撮影した非共焦点画像)を撮影した場合の画像生成法もしくは計測法について説明する。本実施形態に係る情報処理装置10と接続される機器の構成は第2実施形態の場合と同様である。ただし、本実施形態のSLO像撮像装置20における共焦点信号及び非共焦点信号の受信方法は、開口部(ピンホール)の径や位置を可変とし、図3(c)のように共焦点信号として受信したり、図3(d)のように開口部の径を拡大し移動させて非共焦点信号を受信するように構成されている。
次に、本実施形態に係る情報処理装置10の機能ブロックを図10に示す。決定部131に適合度算出部1314を備える点が第2実施形態の場合と異なっている。また、本実施形態での画像処理フローは図5と同様であり、S510、S520、S530以外は実施形態2の場合と同様である。そこで、本実施形態ではS510、S520、S530のみ説明する。
<ステップ510:画像取得>
データ取得部110は、SLO像撮像装置20及び時相データ取得装置50に対して実施形態2と同じ撮影位置で広画角画像Dcl、Dnl、共焦点画像Dcj及び2種類の非共焦点画像(Dnr、Dnl)、対応する属性データ及び固視標位置Fl、Fcn、時相データの取得を要求する。属性データとして本実施形態では画像の取得日時、取得位置、フォーカス位置、画像種(共焦点/Rチャンネル/Lチャンネル/任意の画像種間演算)、階調数、画角、解像度、フレーム数を取得する。SLO像撮像装置20や時相データ取得装置50は該取得要求に応じて広画角画像Dlc、Dlr、Dll、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する属性データ及び固視標位置Fl、Fcn、時相データSjを取得し送信する。データ取得部110はSLO像撮像装置20及び時相データ取得装置50からLAN30を介して当該広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、及び属性データ、固視標位置Fl、Fcn、時相データSjを受信し、記憶部120に格納する。以下では、2種類の非共焦点画像のうち大きな開口部(ピンホール)径で開口部の位置を網膜血管の走行に対して右側に移動して取得された画像をDnr、網膜血管の走行に対して左側に移動して取得された画像をDnlと表記する。
<ステップ520:画像生成>
画像特徴取得部1313が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得する。さらに適合度算出部1314が、取得された画像の画質や、撮影対象領域に占める実際撮影された領域の割合に基づいて適合度を算出した上で、判定部1311及び画像処理法決定部1312が該画像特徴及び適合度に基づいて画像の生成法を決定する。画像処理部130が画像処理法決定部1312の決定に基づいて画像を生成する。さらに、位置合わせ部132が画像位置合わせを行い、表示制御部133が共焦点画像及び非共焦点画像を表示する。具体的な画像生成処理についてはS1110〜S1150で詳述する。なお、本ステップにおいて画像特徴取得部1313が画像特徴を取得するのではなく属性データ取得部113が画像の属性データを取得してもよい。
<ステップ530:計測法決定>
S520で取得された画像の画像特徴(もしくは属性データ)と適合度に基づいて画像処理法決定部1312が計測法を決定する。具体的な計測法決定処理についてはS1111、S1121、S1131で詳述する。
次に、図11(a)に示すフローチャートを参照しながら、S520で実行される処理の詳細について説明する。
<ステップ1110:属性情報、画像特徴を取得>
画像特徴取得部1313が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得する。網膜血管領域及び動静脈交差部の取得法については第2実施形態の場合と同様であるので説明は省略する。なお、画像特徴取得部1313が第2実施形態のステップ910のように、画像特徴として共焦点画像Dcjから視細胞欠損領域のような病変候補を取得する場合も本発明に含まれる。具体的な病変候補の取得方法は第2実施形態の場合と同様であるので説明は省略する。また、本ステップにおいて画像特徴取得部1313が画像特徴を取得するのではなく属性データ取得部113が属性データを取得してもよい。本実施形態では、属性データとして画像の取得日時、取得位置、フォーカス位置、画像種(共焦点/Rチャンネル/Lチャンネル/任意の画像種間演算)、階調数、画角、解像度、フレーム数を取得する。
<ステップ1120:画像の適合度を算出>
適合度算出部1314が各画像の画質や撮影対象領域に対して実際撮影された領域の割合に基づいて適合度を算出する。画質として、本実施形態ではS/N比を算出する。画質に関する指標はこれに限らず、任意の公知の指標を用いてよい。例えばCNR(Contrast−Noise Ratio)を算出してもよい。また、本実施形態では撮影対象領域が十分撮影されたかどうかを示す値として(全フレームで撮影された領域の面積)/(撮影対象領域の面積)を算出する。本実施形態では、適合度としてω1・Iq+ω2・Icとし、IqはS/N比が閾値T3以上であれば1、S/N比が閾値T3未満であれば0とする。Icは(全フレームで撮影された領域の面積)/(撮影対象領域の面積)とする。ω1とω2は重みづけパラメータで0〜1までの任意の値を指定でき、本実施形態では両方とも0.5とする。
<ステップ1130:画像生成法を決定>
判定部1311は、画像特徴取得部1313がS1110で取得した画像特徴と適合度算出部1314がS1120で算出した適合度に基づいてどの撮影済み画像を用いて画像生成するか(生成用画像)を判定する。さらに、画像処理法決定部1312は、該画像特徴及び適合度に基づき、画像生成法(画像間演算の種類や生成される画像の階調数・解像度・フレーム数)を決定する。本実施形態では、判定部1311が閾値T4以上の適合度を持つ網膜血管領域を含むRチャンネル画像Dnr及びLチャンネル画像Dnlを生成用対象と判定する。画像処理法決定部1312が生成用画像のうち動静脈交差部を含む画像Dnr、Dnlに対し(R+L)画像Dnr+l画像の16bitの動画像を原画像と同じ解像度・フレーム数で、重ね合わせ画像を16bitかつ原画像と同じ解像度で生成するよう決定する。一方、動静脈交差部を含まない画像Dnr、Dnlに対し(R+L)画像Dnr+lの8bitの重ね合わせ画像を原画像と同じ解像度として生成するよう決定する。
なお、画像特徴取得部1313が第2実施形態のステップ910のように、画像特徴として視細胞欠損領域を取得する場合には以下のような処理を行う。すなわち、判定部1311が、全ての共焦点画像と、該視細胞欠損領域を含む共焦点画像Dcjと同じ撮影位置の非共焦点画像Dnkを生成用画像と判定する。さらに、画像処理法決定部1312は、生成用画像に含まれる共焦点画像を用いて16bit、原画像と同じ解像度の重ね合わせ画像として生成するよう決定する。また生成用画像に含まれるRチャンネル画像およびLチャンネル画像を用いてSplitDetector画像を16bit、原画像と同じ解像度で重ね合わせ画像として生成するよう決定する。なおこれに限らず、観察・計測上重要な画像特徴を有する画像に対してより多種の画像で、もしくは詳細に観察・計測可能にする処理であれば、生成する画像種や画像生成法は任意に指定できる。
<ステップ1140:画像生成>
画像処理部130は、S1130で判定部1311が判定した生成用画像を用いて、画像処理法決定部1312が決定した演算内容で非共焦点画像(DlnもしくはDn)間の演算を行うことにより画像を生成する。さらに、位置合わせ部132が画像位置合わせを実行する。本ステップで画像処理部130が行う具体的な画像生成の手順は、適合度に基づいて判定される生成用画像(もしくは決定される画像生成法)が異なる点を除いては実施形態2の場合と同様であるので、詳細な説明は省略する。
次に、図11(b)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップ1111:属性情報、画像特徴を取得>
画像処理部130は、S1110で属性データ取得部113によって取得された属性データもしくは画像特徴取得部1313によって取得された画像特徴を参照する。
<ステップ1121:画像の適合度を算出>
画像処理部130は、S1120で適合度算出部1314によって算出された適合度を参照する。
<ステップ1131:計測法を決定>
判定部1311がS1111で参照された画像特徴に基づいて計測対象の画像(撮影位置・画像種)を判定する。次に、画像処理法決定部1312が計測対象の画像に対する計測方法(画像処理の種類、画像処理範囲、画像処理間隔)を決定する。本実施形態では、画像生成法決定処理(S1130)で適合度に基づき生成用画像の数が絞り込まれている(閾値T4以上の適合度を持つDnr及びDnlが生成用画像と判定されている)ため、本ステップでは適合度に基づいて計測対象をさらに絞り込むことはしない。従って、閾値T4以上の適合度を持つ動静脈交差部を含む(R+L)画像Dnr+lに対して実行する画像処理として
・平滑化処理
・血管壁境界検出
・血管壁厚計測
を決定する。また画像処理範囲として平滑化は画像全体、血管壁境界検出及び血管壁厚計測は静脈と交差する動脈枝のみと決定する。また画像処理間隔はいずれの画像処理も1画素単位と決定する。なお、S1130の画像生成法決定の際に適合度に基づく生成用画像の絞り込みを行わず、本ステップにて適合度に基づいて(閾値T4以上の適合度を持つ画像であるという条件もつけて)計測対象画像を絞り込んでもよい。また、S1130の画像生成法決定処理と本ステップとで異なる適合度の条件を設定して、両者を満たす画像に対して計測するよう構成してもよい。
なお、本実施形態では適合度算出部1314が画質や撮像対象領域を含む割合に基づいて適合度を算出したが、適合度の算出法はこれに限定されず、撮影された画像の座標や画素値に基づく算出法であれば任意の算出法を用いて良い。例えば、撮像された画像の輝度特性、すなわち輝度値や該輝度値に関する統計値に基づいて決定してもよい。具体的には、撮像された画像の平均輝度値を算出して該平均輝度値に重みづけした値を適合度として算出してもよい。あるいは、撮像された画像のコントラスト((最大輝度値−最小輝度値)/(最大輝度値+最小輝度値))を適合度として算出してもよい。
なお、上述の実施形態では決定部131が画像属性もしくは画像特徴と画像の取得結果(画質等)に基づいて画像間演算及び画像特徴抽出(視細胞検出や血管壁境界検出等)、画像計測に関する方法を決定する場合について説明したが、本発明はこれに限定されない。例えば、決定部131内の判定部1311が画像属性もしくは画像特徴と画像の取得結果(画質等)に基づいてどの画像を記憶部120に読み込むかを判定したり、どの画像をモニタ305に表示するかを判定する場合も本発明に含まれる。あるいは、画像処理法決定部1312が画像属性もしくは画像特徴と画像の取得結果(画質等)に基づいて画像の表示法(解像度や階調数、フレーム数(動画像か静止画像かの決定も含む)等)を決定しても良い。
以上述べた構成によれば、情報処理装置10は、画像の属性もしくは画像から取得される画像特徴(病変候補)だけでなく、画像の取得結果、すなわち画質や撮像対象領域を含む割合も用いて画像の生成法及び計測法を決定する。これにより、観察・解析上重要な眼部画像を効率的に生成または計測できる。
[第4の実施形態:検査日時毎の処理結果に基づいて画像処理方法を決定]
本実施形態に係る情報処理装置は、異なる検査日時に取得された画像に基づき、基準検査日を含む多くの検査日時で生成・計測されている属性を持つ画像ほど生成用画像と判定したり計測対象画像と決定しやすくするよう構成したものである。具体的には、視細胞外節欠損領域を含む共焦点画像及び対応する非共焦点画像が異なる検査日時で取得されている場合に、該異なる検査日時で取得された画像群の属性を取得し、以下の処理を行う。すなわち、異なる検査日時に取得された画像に基づき、基準検査日を含む多くの検査日時で生成・計測されている属性を持つ画像ほど生成用画像と判定したり計測対象画像と決定しやすくする場合について説明する。本実施形態に係る情報処理装置10と接続される機器の構成は図2(a)に示す通りであり、時相データ取得装置が接続されていない点が第3実施形態の場合と異なる。本実施形態に係る情報処理装置10の機能ブロックの構成についてはデータ取得部110に時相データ取得部114が含まれておらず、データ取得部110が異なる検査日時のデータを取得すること、決定部131に画像特徴取得部1313が含まれておらず、適合度算出部1314が異なる検査日時の画像の属性に基づき過去検査画像との適合度を算出する点が第3実施形態の場合と異なる。
また、本実施形態での画像処理フローを図5に示す。S510、S520、S530以外は実施形態3の場合と同様である。そこで、本実施形態ではS510、S520、S530の処理のみ説明する。
<ステップ510:画像取得>
データ取得部110は、データサーバ40に対し過去の共焦点画像Dcjf(f=1,2,...,e−1であり、fは何回目の検査かを示す自然数)、過去の非共焦点画像Dnkf、固視標位置Fcnfの転送を要求する。データサーバ40は、該要求に対応するデータを情報処理装置10に転送し、記憶部120に保存する。本実施形態では、e=5とする。また、過去検査の非共焦点画像DnkfとしてはSplit Detector画像Dnsfを取得するものとする。
次に、データ取得部110はSLO像撮像装置20に対して最新の検査に対応する広画角画像Dlce、Dlne、共焦点画像Dcjeおよび非共焦点画像Dnke、固視標位置Fle、Fcneの取得を要求する。本実施形態では、中心窩に固視標位置Fle、中心窩及び傍中心窩領域に固視標位置Fcneを設定して広画角画像Dlce、Dlne、共焦点画像Dcje,非共焦点画像Dnkeを取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。SLO像撮像装置20は該取得要求に応じて広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke、固視標位置Fle、固視標位置Fcneを取得して送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke及び固視標位置Fle、固視標位置Fcneを受信する。データ取得部110は受信した広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke及び固視標位置Fle、Fcneを記憶部120に格納する。
<ステップ520:画像生成>
属性データ取得部113が全検査画像の属性データを取得し、適合度算出部1314が過去検査画像との適合度を算出した上で、判定部1311及び画像処理法決定部1312が該適合度に基づいて生成用画像及び画像の生成法を決定する。画像処理部130が判定部1311及び画像処理法決定部1312の決定に基づいて画像を生成する。さらに、位置合わせ部132が画像位置合わせを行い、表示制御部133が共焦点画像及び非共焦点画像を表示する。具体的な画像生成処理についてはS1112、S1122、S1132、S1142、S1152で詳述する。
<ステップ530:計測法決定>
適合度算出部1314が過去検査画像の属性データに基づいて現検査の各画像と過去検査画像との適合度を算出した上で、判定部1311及び画像処理法決定部1312が該過去検査画像との適合度に基づいて計測対象画像及び計測法を決定する。具体的な計測法決定処理についてはS1113、S1123、S1133で詳述する。
次に、図11(c)に示すフローチャートを参照しながら、S520で実行される処理の詳細について説明する。
<ステップ1112:全検査画像の属性情報を取得>
属性データ取得部113が過去検査画像及び現検査画像に関する属性データを取得する。本実施形態では、属性データとして各画像の取得日時、取得位置、フォーカス位置、画像種(共焦点/Rチャンネル/Lチャンネル/任意の画像種間演算)、階調数、画角、解像度、フレーム数を取得する。
<ステップ1122:検査間の適合度を算出>
適合度算出部1314が過去検査画像の属性データに基づいて各画像の過去検査画像との適合度を算出する。本実施形態では、現検査の各画像の過去検査画像に対する適合度として現検査の各画像に対してω3・Ib+ω4・ΣIenを算出する。ここで、Ibは基準検査(baseline)における(取得日時以外の属性に関して)同じ属性を持つ画像の有無を示す値(0または1)、Ienは(各検査における(取得日時以外の属性に関して)同じ画像属性で生成された画像の有無を示す値(0または1))/(過去の全検査数)である。ここで、Σは過去の全ての検査にわたる和を表す。またω3とω4は重み付けパラメータで0〜1までの任意の値を指定でき、本実施形態では両方とも0.5とする。
<ステップ1132:画像生成法を決定>
S1122で算出した過去検査画像との適合度に基づいて判定部1311が生成用画像を判定し、画像処理法決定部1312が画像生成法を決定する。本実施形態では、判定部1311がS1122で算出された適合度が閾値T5以上の画像は共焦点画像Dcj及びSplit Detector画像Dnskを、該閾値T5未満の画像は共焦点画像Dcjのみを生成用画像と判定する。また、画像処理法決定部1312が前者を16bitの動画像及び重ね合わせ画像として、後者を16bitで原画像の半分の解像度を持つ重ね合わせ画像として生成するよう決定する。なお、算出された適合度に基づく生成用画像判定もしくは画像生成法決定は、ここで説明した手順に限られるものではない。基準検査日を含む多くの検査日時で生成・計測されている属性を持つ画像ほど生成用画像と判定したり計測対象画像と決定しやすくするものであれば、任意の生成用画像判定もしくは画像生成法決定を行ってよい。
<ステップ1142:画像生成>
画像処理部130は、S1132で画像処理法決定部1312が行った決定に基づいて画像を生成する。次に、位置合わせ部132は各検査日時の広画角画像Dlcf(f=1,2,...,e)、共焦点画像Dcjfに対してフレーム間位置合わせを行う。具体的なフレーム間位置合わせの手順は第1実施形態のS520と同様であるので、説明を省略する。次に位置合わせ部132は広画角画像Dlcf,共焦点画像Dcjfを用いて決定した位置合わせパラメータ値を用いて各々広画角画像Dlnf、非共焦点画像Dnkfのフレーム間位置合わせを行う。位置合わせ部132は、各検査日時の広画角画像Dlcf(f=1,2,...,e)と対応する共焦点画像Dcjfとの位置合わせを行い、広画角画像Dlcf上の共焦点画像Dcjfの相対位置を求める。ここで、共焦点画像Dlcf間で重なり領域がある場合には、まず該重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置に共焦点画像Dcjf同士の位置を合わせる。なお、S510において3種類以上の異なる倍率の画像が取得されている場合には、より低倍率な画像から順に位置合わせを行う。画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として相関係数、座標変換手法としてAffine変換を用いて位置合わせを行う。本位置合わせ処理により得られた広画角画像Dlcf上の共焦点画像Dcjfの相対位置の情報を用いて、共焦点画像Dcjfの貼り合わせ画像が生成される。次に位置合わせ部132は広画角画像Dlcf上の共焦点画像Dcjfの相対位置の情報を用いて、広画角画像Dlnf上の非共焦点画像Dnkfの貼り合わせ画像を生成する。
さらに、基準となる広画角画像と該基準となる広画角画像以外の広画角画像Dlcf、Dlnfとの位置合わせを行う。基準となる広画角画像及び共焦点画像、非共焦点画像はS510で取得した任意の検査日時の画像の中から選べる。本実施形態では最も検査日時の古い画像群(広画角画像Dlc1、Dln1、共焦点画像Dcj1、非共焦点画像Dnk1)を各々基準画像とする。
また、基準画像Dcj1に対する基準画像Dlc1の相対位置と、基準画像Dlc1に対する他検査画像Dlcfの相対位置と、画像Dlcfに対する共焦点画像Dcjfの相対位置を用いて、基準画像Dcj1に対する共焦点画像Dcjfの相対位置を求める。なお、共焦点画像Dcj1とDcjfとの位置合わせを直接行ってもよい。位置合わせ手法としては任意の公知の手法を用いることができ、本実施形態ではまず概略の位置合わせとして、Affine変換を用いて位置合わせを行う。次に、詳細な位置合わせとして非剛体位置合わせ手法の一つであるFFD(Free Form Deformation)法を行いて位置合わせを行う。いずれの位置合わせにおいても、画像間類似度としては相関係数を用いる。もちろんこれに限らず、任意の公知の画像間類似度を用いてよい。次に位置合わせ部132は基準画像Dcj1に対する共焦点画像Dcjfの相対位置の情報を用いて、基準画像Dnk1に対する非共焦点画像Dnkfの相対位置を求める。
以上より、基準画像(Dlc1、Dln1、Dcj1、及びDnk1)の画素と、基準画像以外の画像(Dlcf、Dlnf、Dcjf及びDnkf)との画素が対応づけられる。なお、本発明は画素値の類似度に基づく位置合わせに限定されるものではなく、血管領域を特定した上で、該特定された血管領域を用いて特徴ベースの位置合わせを行ってよい。
<ステップ1152:表示>
表示制御部133は、これまでに生成された画像群をモニタ305上に表示する。ここでは、各重ね合わせ画像を、前述した位置合わせパラメータ値を用いて貼り合わせ表示する。また、指示取得部140を経由して指示された撮影位置について、前述したフレーム間位置合わせパラメータ値を用いて重ね合わせ画像と、動画像が生成されている場合にはフレーム間位置合わせ済み動画像を表示する。
次に、図11(d)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップ1113:全検査画像の属性情報を取得>
画像処理部130は、S1112で属性データ取得部113によって取得された全検査画像の属性データを参照する。
<ステップ1123:検査間の適合度を算出>
画像処理部130は、S1122で適合度算出部1314によって算出された適合度を参照する。
<ステップ1133:計測法を決定>
S1123で参照した検査間の適合度に基づいて判定部1311が計測対象画像(撮影位置・画像種)を判定し、画像処理法決定部1312が計測法(画像処理の種類、画像処理範囲、画像処理間隔)を決定する。本実施形態では、判定部1311が閾値T6以上の適合度を持つ画像(共焦点画像Dcj及びSplitDetector画像Dnskの双方の重ね合わせ画像が生成されている撮影位置の画像)を計測対象画像と判定する。さらに、画像処理法決定部1312が
・視細胞位置の検出
・ボロノイ図作成
・視細胞密度の計測
を、2種類の画像に対して同じ条件で計測して計測結果を比較する必要があるため、両画像とも原画像と同じ計測範囲、1画素単位で処理するよう決定する。ただし、これに限らず計測上重要な画像に対してより詳細に計測できる処理であれば、各画像に対して任意の画像処理の種類、画像処理範囲、画像処理間隔で計測するよう決定してよい。
なお、上述の実施形態では決定部131が多くの検査日時で生成・計測されている属性を持つ度合いに基づいて画像間演算及び画像特徴抽出(視細胞検出や血管壁境界検出等)、画像計測に関する方法を決定する場合について説明したが、本発明はこれに限定されない。例えば、決定部131内の判定部1311が多くの検査日時で生成・計測されている属性を持つ度合いに基づいてどの画像を記憶部120に読み込むかを判定したり、どの画像をモニタ305に表示するかを判定する場合も本発明に含まれる。あるいは、画像処理法決定部1312が多くの検査日時で生成・計測されている属性を持つ度合いに基づいて画像の表示法(解像度や階調数、フレーム数(動画像か静止画像かの決定も含む)等)を決定しても良い。
以上述べた構成によれば、情報処理装置10は、異なる検査日時に取得された画像に基づき、基準検査日を含む多くの検査日時で生成・計測されている属性を持つ画像ほど生成用画像と判定したり計測対象画像と決定しやすくする。これにより、異なる検査日時の画像を比較観察する場合に、観察・解析上重要な眼部画像を効率的に生成もしくは計測できる。
[その他の実施形態]
上述の実施形態ではデータ取得部110に共焦点データ取得部111と非共焦点データ取得部112を両方とも含む場合について説明したが、非共焦点データを2種以上取得する構成であれば、データ取得部110に共焦点データ取得部112を含まなくてもよい。
また、上述の実施形態では本発明を情報処理装置として実現したが、本発明の実施形態は情報処理装置のみに限定されない。例えばコンピュータのCPUにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。

Claims (18)

  1. 眼部の共焦点画像と非共焦点画像との一方を用いて得た情報に基づいて、他方の生成と解析との少なくとも一方を実行するか否かを決定する決定手段と、
    前記他方の生成と解析との少なくとも一方を実行すると決定された場合には、前記他方と前記他方の解析結果との少なくとも一方を表示手段に表示させる表示制御手段と、
    を有することを特徴とする情報処理装置。
  2. 前記共焦点画像及び前記非共焦点画像の一方を用いて得た情報として前記共焦点画像及び前記非共焦点画像の一方の画像特徴に基づいて、前記他方の生成と解析との少なくとも一方を実行するか否かを決定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記共焦点画像及び前記非共焦点画像の一方の画像特徴として前記共焦点画像及び前記非共焦点画像の一方の観察対象の状態に基づいて、前記他方の生成と解析との少なくとも一方を実行するか否かを決定することを特徴とする請求項に記載の情報処理装置。
  4. 前記共焦点画像を解析することにより、前記共焦点画像における観察対象の状態を判定する判定手段を更に有し、
    前記決定手段は、前記観察対象の状態に基づいて、前記非共焦点画像の生成と解析との少なくとも一方を実行するか否かを決定することを特徴とする請求項に記載の情報処理装置。
  5. 前記観察対象の状態は、前記共焦点画像における病変領域の有無であり、
    前記決定手段は、前記病変領域が有る場合には、前記非共焦点画像の生成と解析との少なくとも一方を実行すると決定することを特徴とする請求項に記載の情報処理装置。
  6. 前記病変領域の有無は、前記共焦点画像における視細胞欠損領域の有無であり、前記決定手段は、前記視細胞欠損領域が有る場合には、前記非共焦点画像の生成と解析との少なくとも一方を実行すると決定することを特徴とする請求項に記載の情報処理装置。
  7. 前記共焦点画像及び前記非共焦点画像の一方を用いて得た情報として前記共焦点画像及び前記非共焦点画像の一方の解析結果に基づいて、前記他方の生成と解析との少なくとも一方を実行するか否かを決定することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 眼部の共焦点画像と非共焦点画像との一方を用いて得た情報に基づいて、他方の生成と解析との少なくとも一方を実行するか否かを決定し、更に、前記共焦点画像及び前記非共焦点画像を含む前記眼部の複数種類の画像を解析する解析方法を独立に決定する決定手段と、
    前記決定された解析方法に基づいて前記複数種類の画像の少なくとも一つを解析することにより得られた解析結果を、表示手段に表示させる表示制御手段と、
    を有することを特徴とする情報処理装置。
  9. 前記決定手段は、前記複数種類の画像の属性、解剖学的特徴、病変候補、画質、輝度特性、指示された撮像条件に対する適合度、過去検査の画像属性に対する適合度の少なくとも一つに基づいて、前記解析方法を決定することを特徴とする請求項に記載の情報処理装置。
  10. 前記決定手段は、画像の読み込み、画像間の演算、画像特徴の抽出、画像の計測、画像の表示、に関する方法の少なくとも一つを、前記解析方法として決定することを特徴とする請求項またはに記載の情報処理装置。
  11. 前記決定手段は、前記複数種類の画像を解析するか否かを、前記解析方法として決定することを特徴とする請求項乃至10のいずれか1項に記載の情報処理装置。
  12. 前記眼部の複数種類の画像を撮る眼科撮像装置と通信可能に接続され、
    前記眼部を略同時に撮像して得た複数種類の画像を取得する画像取得手段を更に有することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
  13. 前記眼科撮像装置は、前記眼部の共焦点画像と非共焦点画像とを取得するための兼用の光源と、前記光源からの光が照射された前記眼部からの戻り光を、共焦点領域を通る戻り光と非共焦点領域を通る戻り光とに分割する光学部材とを有し、
    前記画像取得手段は、前記共焦点領域を通る戻り光に基づいて前記共焦点画像を取得し、前記非共焦点領域を通る戻り光に基づいて前記非共焦点画像を取得することを特徴とする請求項1に記載の情報処理装置。
  14. 前記画像取得手段は、前記共焦点領域を通る戻り光と前記非共焦点領域を通る戻り光とのうち少なくとも一つを受光する受光部の前段に設けられた開口部の位置と形状とのうち少なくとも一つが調整されて得た前記眼部の共焦点画像と非共焦点画像とを取得することを特徴とする請求項1に記載の情報処理装置。
  15. 前記眼部における前記共焦点画像の取得位置と前記非共焦点画像の取得位置とが同じであることを特徴とする請求項1乃至1のいずれか1項に記載の情報処理装置。
  16. 眼部の共焦点画像と非共焦点画像との一方を用いて得た情報に基づいて、他方の生成と解析との少なくとも一方を実行するか否かを決定する工程と、
    前記他方の生成と解析との少なくとも一方を実行すると決定された場合には、前記他方と前記他方の解析結果との少なくとも一方を表示手段に表示させる工程と、
    を有することを特徴とする情報処理装置の作動方法。
  17. 眼部の共焦点画像と非共焦点画像との一方を用いて得た情報に基づいて、他方の生成と解析との少なくとも一方を実行するか否かを決定する工程と、
    前記共焦点画像及び前記非共焦点画像を含む前記眼部の複数種類の画像を解析する解析方法を独立に決定する工程と、
    前記決定された解析方法に基づいて前記複数種類の画像の少なくとも一つを解析することにより得られた解析結果を、表示手段に表示させる工程と、
    を有することを特徴とする情報処理装置の作動方法。
  18. 請求項1または1に記載の情報処理装置の作動方法をコンピュータで実行するためのプログラム。
JP2015093540A 2015-04-30 2015-04-30 情報処理装置、その作動方法、及びコンピュータプログラム Active JP6602043B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015093540A JP6602043B2 (ja) 2015-04-30 2015-04-30 情報処理装置、その作動方法、及びコンピュータプログラム
US15/138,756 US10264960B2 (en) 2015-04-30 2016-04-26 Information processing apparatus, operation method thereof, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015093540A JP6602043B2 (ja) 2015-04-30 2015-04-30 情報処理装置、その作動方法、及びコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2016209134A JP2016209134A (ja) 2016-12-15
JP2016209134A5 JP2016209134A5 (ja) 2018-09-06
JP6602043B2 true JP6602043B2 (ja) 2019-11-06

Family

ID=57203838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015093540A Active JP6602043B2 (ja) 2015-04-30 2015-04-30 情報処理装置、その作動方法、及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US10264960B2 (ja)
JP (1) JP6602043B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7072158B2 (ja) * 2017-09-29 2022-05-20 株式会社 資生堂 皮膚の血管網を可視化する装置、方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6341035B1 (en) * 1999-07-09 2002-01-22 Olympus Optical Co., Ltd. Confocal microscope
JP2001070247A (ja) 1999-09-07 2001-03-21 Takku Kk 眼底画像における血管交叉部の検出方法
GB2375679A (en) * 2001-04-09 2002-11-20 Patrick Kerr Retinal function camera using plural light wavelengths to produce a retinal function image showing haemoglobin oxygenation.
US7425067B2 (en) * 2003-11-14 2008-09-16 Ophthonix, Inc. Ophthalmic diagnostic instrument
JP5269396B2 (ja) * 2007-09-29 2013-08-21 株式会社ニデック 眼底撮影装置
WO2010113193A1 (en) 2009-04-01 2010-10-07 Centervue S.P.A. Instrument for eye examination
ES2673475T3 (es) * 2010-09-28 2018-06-22 Sifi S.P.A. Microscopio confocal corneal (MCC)
JP5822485B2 (ja) * 2011-02-25 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム
JP5818458B2 (ja) * 2011-02-25 2015-11-18 キヤノン株式会社 画像処理装置、撮影システム、画像処理方法及びプログラム
JP6174908B2 (ja) * 2013-05-27 2017-08-02 キヤノン株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム

Also Published As

Publication number Publication date
JP2016209134A (ja) 2016-12-15
US20160317015A1 (en) 2016-11-03
US10264960B2 (en) 2019-04-23

Similar Documents

Publication Publication Date Title
US9320424B2 (en) Image display apparatus, image display method and imaging system
US20180173950A1 (en) Image processing apparatus and image processing method
US9820650B2 (en) Image processing apparatus and image processing method
JP6198410B2 (ja) 画像処理装置及び画像処理方法
US9918625B2 (en) Image processing apparatus and control method of image processing apparatus
JP6128841B2 (ja) 画像処理装置
JP2020089768A (ja) 画像処理装置及び画像処理方法
US10799106B2 (en) Image processing apparatus and image processing method
JP7009265B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6504903B2 (ja) 眼科撮像装置、その作動方法、及びコンピュータプログラム
JP6604743B2 (ja) 情報処理装置、その作動方法、及びコンピュータプログラム
JP6602043B2 (ja) 情報処理装置、その作動方法、及びコンピュータプログラム
JP6468907B2 (ja) 画像処理装置及び画像処理方法及びプログラム
US10674902B2 (en) Information processing apparatus, operation method thereof, and computer program
JP6470604B2 (ja) 画像処理装置及び画像処理方法及びプログラム
JP2016086842A (ja) 画像処理装置及び画像処理方法
JP2017119226A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2017118919A (ja) 画像形成装置、画像形成方法及びそのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191008

R151 Written notification of patent or utility model registration

Ref document number: 6602043

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151