JP6420859B2 - 画像表示装置及び画像表示方法、撮影システム - Google Patents

Description

本発明は眼科診療に適した画像表示装置及び画像表示方法、撮影システムに関する。

生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザ顕微鏡の原理を利用した眼科装置である走査型レーザ検眼鏡（ＳＬＯ：Scanning Laser Ophthalmoscope）は、測定光であるレーザを眼底に対してラスタ走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像とＳＬＯ画像と記す。

近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において、被検眼の収差による平面画像のＳ／Ｎ比及び分解能の低下が課題になってきた。このような課題を解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発されている。このような補償光学ＳＬＯ装置によれば、高横分解能なＳＬＯ画像の取得が可能になる。

図５（ａ）において傍中心窩Ｄ１、Ｄ２の領域を撮像した平面画像の例を各々図５（ｂ）、（ｃ）に示す。このような高横分解能なＳＬＯ画像は動画像（ＳＬＯ動画像）として取得することができ、たとえば血流動態を非侵襲に観察するために、各フレームから網膜血管や血球を抽出した上で毛細血管における血球の移動速度などを計測するのに用いられる。また、平面画像から視機能との関連を評価するために視細胞を検出した上で視細胞の密度分布や配列の計測が行われている。

血流動態に関しては、血管径や血球速度に関して、血管異常の好発部位と他部位（正常部位）との間で比較観察することが診断や経過観察において有用である。また網膜血管の走行は、視神経乳頭部を起点として上下方向に関して対称性があるため、上下間での血管径や血流速度を比較することが眼疾患の兆候を早期に検出する手段の一つになり得る。

ここで、上記比較観察においては、病態を深く理解するために動画像の撮像範囲外にある解剖学的部位・病変もしくは正常部位との位置関係を把握できることが重要であり、該比較観察に用いるために別途広画角画像を取得している（特許文献１を参照）。ただし血管径や血流速度の差は（疾患による変化のみならず）心臓の拍動や運動・体温変化のような正常な生体反応によっても生じるため、異なる撮影位置で撮影した場合にはその生体反応の影響を撮影位置間で同程度にして比較する必要がある。すなわち、撮影時に脈波のような生体信号データ（時相データ）を同時に取得しておき、たとえば心臓の拡張末期（血管径が最も太く、かつ血流速度が最も遅くなる時刻）における血管径や血流速度を比較することが必要となる。更に、撮影位置の異なる複数の動画像を比較可能にするために、生体反応による変化以外に、固視微動や瞬目といった眼球・眼瞼運動の影響を避け、撮像装置の収差補正位置のずれといった撮像条件の違いに起因する画像特性の違いを補正する必要がある。

被験者の生体反応による影響を略同一にして複数の動画像を同期表示する方法として、経時的に配列された複数の診断画像群を、心拍時相に対応させて同時に表示する技術が特許文献２に記載されている。

特開２０１０−２５９５４３号公報 特開２０１１−００５３１２号公報

しかしながら特許文献２に記載の技術は、同一部位について撮影時刻が異なる動画像や複数種類の動画像を同期表示する技術について記載するのみであり、広画角画像との位置の関連付けは行っていない。また、超音波診断装置に関する解析・表示技術であり、眼科画像の表示において考慮すべき表示調整、すなわち固視微動や瞬目の影響や、撮像装置の収差補正位置の等を考慮することについての記載はない。

また特許文献１に記載の技術は、補償光学ＳＬＯ画像の撮影範囲を広域眼底画像上に重畳表示する技術について記載しているものの、単一ＳＬＯ画像に関する処理であり撮影位置及び撮影時刻の異なるＳＬＯ画像間における表示調整技術についての記載はない。

本発明は上記の課題に鑑みてなされたものであり、眼底の複数の撮影範囲で撮影された複数の動画像の比較観察を容易に行えるようにして、適切な診断を支援する画像表示装置及びその方法を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の画像表示装置は以下の構成を備える。すなわち、
眼底の複数の撮影範囲を撮影して得られた複数の動画像を取得する画像取得手段と、
前記複数の動画像のそれぞれの撮影時の生体信号に基づく時相データを取得する時相データ取得手段と、
前記複数の動画像それぞれの少なくとも１フレームを表示する表示手段と、
前記表示手段による前記複数の動画像の表示タイミングを前記時相データに基づいて同期させる同期手段と、
前記複数の動画像の各々において、複数のフレームのそれぞれの画像特徴に基づいて、前記複数のフレームから例外フレームを判定する判定手段と、を備え、
前記同期手段は、前記例外フレームの表示が制限されるように前記複数の動画像から同期して再生すべき区間を選択する。

本発明によれば、眼底の複数の撮影範囲で撮影された複数の動画像の比較観察が容易になり、適切な診断が支援される。

第１実施形態に係る画像表示装置１０の機能構成例を示すブロック図。 第１実施形態に係る画像表示装置１０を含む撮影システムの構成例を示すブロック図。 実施形態に係る画像表示方法を実行可能なコンピュータのハードウェア構成例を示すブロック図。 第１実施形態に係る画像表示装置１０が実行する処理のフローチャート。 第１実施形態での画像表示内容を説明する図。 第１実施形態の、Ｓ４３０で実行される処理を示すフローチャート。 第１実施形態の、Ｓ４３０で実行される同期処理を説明する図。 第２実施形態に係る画像表示装置１０の機能構成例を示すブロック図。 第２実施形態に係る画像表示装置１０が実行する処理のフローチャート。 第２実施形態の、Ｓ９２０で実行される処理を示すフローチャート。 第３実施形態に係る画像表示装置１０の機能構成例を示すブロック図。 第３及び第４実施形態に係る画像表示装置１０が実行する処理のフローチャート。 第３実施形態の、Ｓ１２４０で実行される処理を示すフローチャート。 第４実施形態に係る画像表示装置１０の機能構成例を示すブロック図。 第４実施形態の、Ｓ１２４０で実行される処理を示すフローチャート。

以下、添付図面に従って本発明に係る画像表示装置及び方法の好ましい実施形態について詳説する。ただし本発明はこれに限定されるものではない。

［第１実施形態］
第１実施形態に係る画像表示装置は、撮影位置の異なる複数のＳＬＯ動画像を、広画角画像上の撮影位置情報に基づいた位置に、脈波データに基づいて同期表示する。また、この同期表示は、複数のＳＬＯ動画像群において固視ずれや瞬目、収差補正不良による影響を略同一にした上で行われる。

より、具体的には、画像表示装置は、撮影位置の異なる複数のＳＬＯ動画像Ｄｉ（ｉ＝１,２,．．．,ｎ０）を撮影し、各々のＳＬＯ動画像Ｄｉの撮影と同時に脈波データＰi（ｉ＝１，２，．．．，ｎ０）を取得しておく。次に、画像表示装置は、各ＳＬＯ動画像Ｄｉから固視ずれや瞬目等の影響が表れている例外フレームを判定し、脈波データＰｉの例えば極値を基準にＳＬＯ動画像Ｄｉから表示させるフレーム番号系列を選択する。このとき、判定された例外フレームが除外されるように、表示させるフレーム番号系列が選択される。そして、画像表示装置は、選択されたフレーム番号系列のフレーム群についてＳＬＯ動画像Ｄｉ間での再生スピードを調整し、撮影時に取得した固視標位置Ｆｉ（ｉ＝１,２,．．．,ｎ０）に基づいてこれらフレーム群を広画角ＳＬＯ画像Ｗ上に同期表示する。このような処理により、拍動や瞬目のような生体反応及び収差補正位置のずれのような撮像条件の違いに起因する画像特性のばらつきの影響をＳＬＯ動画像Ｄｉ間で略同一にすることができる。加えて撮影位置及び撮影時刻が異なるＳＬＯ動画像Ｄｉ上の血管形状変化や血球動態を、ＳＬＯ動画像Ｄｉの撮像範囲外にある病態や解剖学的部位との関連性を理解しながら比較観察可能にすることができる。

図２は本実施形態に係る画像表示装置１０を含む撮影システムの構成例を示す図である。図２に示す撮影システムにおいて、画像表示装置１０は、ＳＬＯ装置２０、時相データ取得装置３０、データサーバ５０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（以下、ＬＡＮ４０）を介して接続されている。なおこれらの機器間の接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。また、これらの画像表示装置１０、ＳＬＯ装置２０、時相データ取得装置３０、データサーバ５０のうちのいくつかが一つの装置において実現されてもよい。たとえば、画像表示装置１０とデータサーバ５０が一つの情報処理装置によって実現されてもよい。

図２において、ＳＬＯ装置２０はレーザ光を眼底に対して走査して眼底部の平面画像（ＳＬＯ動画像）を撮像する走査型レーザ検眼鏡であり、補償光学系（収差補正デバイスともいう）を有する。ＳＬＯ装置２０は、撮影位置が異なるＳＬＯ動画像Ｄｉを撮像し、上述したＳＬＯ動画像Ｄｉ及びその撮影時に用いた固視標位置Ｆｉの情報を、ＬＡＮ４０を介して画像表示装置１０やデータサーバ５０へ送信する。補償光学走査型レーザ検眼鏡（ＡＯ−ＳＬＯ）であるＳＬＯ装置２０はＳＬＤ、シャックハルトマン波面センサ、補償光学系、第一及び第二のビームスプリッタ、Ｘ−Ｙ走査ミラー、フォーカスレンズ、絞り、光センサ、画像形成部、出力部を有する。光源であるＳＬＤ（Super Luminescent Diode）から照射された光は眼底で反射され、一部が第二のビームスプリッタ経由でシャックハルトマン波面センサへ、それ以外は第一のビームスプリッタ経由で光センサへ入力される。シャックハルトマン波面センサは眼の収差を測定するためのデバイスであり、レンズアレイにＣＣＤが接続されている。入射光がレンズアレイを透過するとＣＣＤに輝点群が現れ、該投影された輝点の位置ずれに基づき波面収差が測定される。補償光学系はシャックハルトマン波面センサで測定された波面収差に基づき、収差補正デバイス(可変形状ミラーもしくは空間光位相変調器)を駆動して収差を補正する。該収差補正された光はフォーカスレンズ、絞りを経由し光センサにて受光される。Ｘ／Ｙ走査ミラーを動かすことで眼底上の走査位置を制御でき、操作者が予め指定した撮影対象領域、時間（フレームレート×フレーム数）のデータを取得する。該データを画像形成部へ伝送し、走査速度のばらつきに起因する画像歪みの補正や、輝度値の補正を行って画像データ（動画像もしくは静止画像）を形成する。出力部は画像形成部が形成した画像データを出力する。眼底上の特定の深さ位置にフォーカスを合わせるためには、補償光学系内の収差補正デバイスを用いた調整か、光学系内に不図示のフォーカス調整用レンズを設置し、該レンズを移動することによる調整かの少なくともいずれかを用いることができる。なお、ＳＬＯ装置２０の代わりに補償光学系または収差補正デバイスを有する眼底カメラ等の眼科撮影装置を用いることもできる。

時相データ取得装置３０は、自律的に変化する生体信号データ（時相データ）を取得する装置であり、例えば脈波計もしくは心電計を備える。本実施形態では、時相データとして脈波データが用いられるため、上述した脈波データＰｉを時相データＰｉと記載する。時相データ取得装置３０は不図示の操作者による操作に応じ、ＳＬＯ動画像Ｄｉの取得と同時に時相データＰｉを取得する。得られた時相データＰｉは、ＬＡＮ４０を介して画像表示装置１０、データサーバ５０へ送信される。

データサーバ５０は、被検眼のＳＬＯ動画像Ｄｉや、固視標位置Ｆｉのような撮像条件データ、時相データＰｉ、画像表示装置１０からの情報などを保持する。すなわち、ＳＬＯ装置２０が出力する広画角画像Ｗ、ＳＬＯ動画像Ｄｉ、固視標位置Ｆｉや、時相データ取得装置３０が出力する時相データＰｉ、画像表示装置１０が出力する情報（図４のステップＳ４６０）は、データサーバ５０に保存される。また、データサーバ５０は、画像表示装置１０からの要求に応じ、広画角画像ＷやＳＬＯ動画像Ｄｉ、時相データＰｉ、眼部の画像特徴及び該画像特徴の正常値データを、ＬＡＮ４０を介して、画像表示装置１０に送信する。以下では、画像表示装置１０がＳＬＯ装置２０や時相データ取得装置３０からＳＬＯ動画像や時相データを取得して画像表示を行なう構成を説明するが、これに限られるものではない。たとえば、画像表示装置１０が、データサーバ５０に格納されているＳＬＯ画像やこれに関連付けられた時相データを取得して、以下に説明する画像表示処理を行なうようにしてもよいことは明らかである。

次に、図３を用いて画像表示装置１０のハードウェア構成について説明する。図３において、３０１は中央演算処理装置（以下、ＣＰＵ３０１）、３０２は読み書きが可能なメモリ（以下、ＲＡＭ３０２）、３０３は制御メモリ（以下、ＲＯＭ３０３）、３０４は外部記憶装置である。また、図３において、３０５はモニタ、３０６はキーボード、３０７はポインティングデバイス（たとえばマウス）、３０８はインターフェースである。また、上記各部はバス３０９を介して通信可能似接続されている。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に図１を参照して説明する各部として機能する。

次に、図１を用いて本実施形態に係る画像表示装置１０の機能構成を説明する。図１は第１実施形態による画像表示装置１０の機能構成を示すブロック図であり、画像表示装置１０は、画像取得部１１０、時相データ取得部１２０、記憶部１３０、画像処理部１４０、指示取得部１５０を有する。また、画像処理部１４０は撮影位置情報取得部１４１、例外フレーム判定部１４２、同期部１４３、表示部１４４を備え、同期部１４３は時相データ解析部１４３１、画像選択部１４３２、フレーム間隔調整部１４３３を有する。以下、画像表示装置１０を構成する各ブロックの機能について、図４のフローチャートに示す画像表示装置１０の具体的な実行手順と関連付けて説明する。

＜ステップＳ４１０＞ 画像取得部１１０と時相データ取得部１２０とにより、眼底の複数の撮影範囲を撮影して得られた複数の動画像（ＳＬＯ動画像）と、それらの複数の範囲を含む範囲を撮影して得られた広画角画像とが取得される。ここで、複数の動画像は、それぞれの撮影時に取得された生体信号に基づく時相データと関連付けられて記憶部１３０に記憶される。より具体的に説明すると、時相データ取得部１２０は時相データ取得装置３０に対し生体信号に関する時相データＰｉの取得を要求する。本実施形態では時相データ取得装置３０として脈波計を用い、被験者の耳垂（耳たぶ）から脈波データを時相データＰｉとして取得する。ここで時相データＰｉは図５（ｅ）に示すように一方の軸に取得時刻（ｔ）、他方の軸に脈波計が計測した脈波信号値（ｐ）を持つ点列として表現される。時相データ取得装置３０は時相データ取得部１２０からの取得要求に応じて対応する時相データＰｉを取得して送信し、時相データ取得部１２０は時相データ取得装置３０からＬＡＮ４０を介して当該脈波データＰｉを受信する。時相データ取得部１２０は受信した時相データＰｉを記憶部１３０に格納する。

上記時相データの取得と並行して、画像取得部１１０はＳＬＯ装置２０に、広画角のＳＬＯ画像（以下、広画角画像Ｗ）と、複数の異なる固視標位置Ｆｉで撮影された撮影位置の異なる複数のＳＬＯ動画像Ｄｉ、固視標位置Ｆｉデータの取得を要求する。本実施形態では、黄斑部の広画角画像Ｗと傍中心窩における鼻側（Ｆ１）・耳側（Ｆ２）・上側（Ｆ３）・下側（Ｆ４）の計４か所に固視標位置を設定して、ＳＬＯ動画像Ｄｉ（Ｄ１〜Ｄ４）を順次に取得していく。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。

ＳＬＯ動画像と、その撮影時に取得された生体信号に基づく時相データとを関連付けるためには、たとえば、
・時相データ取得装置３０が取得する時相データＰｉのある位相に合わせて画像取得部１１０がＳＬＯ動画像Ｄｉを取得開始する、或いは、
・ＳＬＯ動画像Ｄｉの取得要求後直ちに脈波データＰｉとＳＬＯ動画像Ｄｉの取得を同時に開始する、などの手順が考えられる。本実施形態ではＳＬＯ動画像Ｄｉの取得要求後直ちに時相データＰｉとＳＬＯ動画像Ｄｉの取得を開始するものとする。

ＳＬＯ装置２０は、画像取得部１１０からの取得要求に応じて広画角のＳＬＯ画像（以下、広画角画像Ｗ）とＳＬＯ動画像Ｄｉ、固視標位置Ｆｉを取得して送信する。画像取得部１１０は、ＳＬＯ装置２０からＬＡＮ４０を介してこれら広画角画像Ｗ及びＳＬＯ動画像Ｄｉ、固視標位置Ｆｉを受信する。画像取得部１１０は受信した広画角画像Ｗ及びＳＬＯ動画像Ｄｉ、固視標位置Ｆｉを記憶部１３０に格納する。なお、本実施形態では、受信された各々のＳＬＯ動画像Ｄｉは既にフレーム間位置合わせ済の動画像とする。フレーム間位置合わせとは、隣接するフレーム間で画像が同じ位置になるように調整することであり、周知の技術により実現される。また、ＳＬＯ装置２０は収差補正デバイスを有し、ＳＬＯ動画像Ｄｉについては収差補正を行なった画像を出力する。なお、広画角画像Ｗについては、各位置のＳＬＯ動画像に比べて高い解像度画要求されないので収差補正デバイスによる収差補正を行なわなくてもよい。

＜ステップＳ４２０＞ 例外フレーム判定部１４２は、ＳＬＯ動画像Ｄｉの各フレームから画像特徴を取得し、ＳＬＯ動画像Ｄｉを構成する複数のフレームから例外フレームを判定する。本実施形態では、例外フレーム判定部１４２は、ＳＬＯ動画像Ｄｉの各フレームｊ（ｊ＝１，２，．．．，ｎ１）における平均輝度値Ａｉｊ、及び血管領域Ｖｉｊを画像特徴として取得する。但し、ここで挙げた画像特徴は、一例であり、これらに限られるものではない。なお、血管領域の取得方法は任意の公知の血管抽出法を用いることができ、本実施形態では輝度値が閾値Ｔ１以下の領域を血管領域とする。また、血管領域Ｖｊを細線化して得られる点列Ｂｉｊｋ（ｋ＝１，２，．．．，ｎ２）の血管交差部Ｃｉｊｌ（ｌ＝１，．．．，ｎ３）も取得しておく。

次に、各ＳＬＯ動画像Ｄｉにおいて例外フレーム、すなわち瞬目により輝度が極端に低いフレームや固視微動により画像歪みが生じているフレーム、収差補正不良によりＳ／Ｎ比（信号対雑音比）が低いフレームを検出する。本実施形態では、平均輝度値Ａｉｊが閾値Ｔ２以下であれば、ＳＬＯ動画像Ｄｉのフレームｊが瞬目による輝度異常とみなして、そのフレームを例外フレームと判定する。また、血管交差部Ｃｉｊｌ間の距離の二乗和の値が隣接フレーム間で閾値Ｔ３以上異なっていれば、固視微動による画像歪みとみなして、そのフレームを例外フレームと判定する。さらに、Ｓ／Ｎ比が閾値Ｔ４以下であれば収差補正不良とみなして、そのフレームを例外フレームと判定する。

＜ステップＳ４３０＞ 同期部１４３は、後述のステップＳ４４０における複数のＳＬＯ動画像の再生表示において、各動画像の再生タイミングを時相データに基づいて同期させるための処理を行う。まず、同期部１４３は、時相データ取得部１２０より各ＳＬＯ動画像Ｄｉの時相データＰｉを取得し、各々の時相データＰｉの極値を検出して拍動周期を算出する。次に、同期部１４３は、各ＳＬＯ動画像Ｄｉについて、ステップＳ４２０において検出された例外フレーム番号系列を取得する。そして、同期部１４３は、これら例外フレームを含まないように、表示対象のフレームを選択する。さらに、選択したフレームにおける拍動周期がＳＬＯ動画像Ｄｉ間で異なる場合は、同期部１４３は、ＳＬＯ動画像Ｄｉ間における表示フレーム間隔の調整処理を行う。同期部１４３による処理の詳細は図６、図７により後述する。

＜ステップＳ４４０＞ 表示部１４４は、広画角画像Ｗ上の、複数の撮影範囲の位置に関する情報に基づいて決定される位置に、複数のＳＬＯ動画像を重畳して再生する。第１実施形態では、撮影範囲の位置に関する情報として、固視標位置が用いられる。すなわち、表示部１４４は、撮影位置の異なるＳＬＯ動画像Ｄｉを、広画角画像Ｗ上の撮影位置情報取得部１４１によって取得された固視標位置Ｆｉに対応した位置に、同期部１４３によって決定された再生タイミングで同期表示する。このように、撮影位置の異なる動画像Ｄｉは、脈波同期して単純に並置されるのではなく、広画角画像Ｗ上の対応する部位に配置され、重畳して表示される。このため、観察者（医師など）である操作者が、ＳＬＯ動画像Ｄｉの撮像範囲外の病変や、該撮像範囲と解剖学的部位との位置関係を把握することを助け、観察者はＳＬＯ動画像Ｄｉ上の病態を、より容易に、より深く理解することができる。

なお画像表示法はこれに限るものではなく、任意の表示法を用いて良い。例えば、ＳＬＯ動画像Ｄｉから血管領域Ｖｉや病変領域といった特定の領域を公知の特徴抽出手法を用いて検出しておき、該血管領域Ｖｉや病変領域といった特定の領域のみ広画角画像Ｗ上に同期表示させてもよい。

＜ステップＳ４５０＞ 指示取得部１５０は、ステップＳ４４０において表示された広画角画像Ｗ及びＳＬＯ動画像Ｄｉ、固視標位置Ｆｉ、例外フレーム番号系列、脈波の解析データ（極値・周期）をデータサーバ５０へ保存するか否かの指示を取得する。この指示は例えばキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。保存が指示された場合はＳ４６０へ、保存が指示されなかった場合はＳ４７０へと処理を進める。

＜ステップＳ４６０＞ 画像処理部１４０は、検査日時、披検眼を同定する情報、広画角画像ＷやＳＬＯ動画像Ｄｉと該画像群の固視標位置Ｆｉ、例外フレーム番号系列、脈波の解析データを関連付けてデータサーバ５０へ送信する。
＜ステップＳ４７０＞ 指示取得部１５０は画像表示装置１０によるＳＬＯ動画像の表示処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。処理終了の指示を取得した場合は解析処理を終了する。一方、処理継続の指示を取得した場合にはステップＳ４１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

次に図６及び図７を参照して、ステップＳ４３０で実行される同期処理の詳細について説明する。同期処理では、再生される例外フレームの数が制限（例外フレームの再生を所定数以下（所定数は０を含む）にする）されるように、複数のＳＬＯ動画像の各々から再生対象となる区間を選択し、選択された区間を同期表示させる。

＜ステップＳ６１０＞ 時相データ解析部１４３１は、時相データ取得部１２０より各ＳＬＯ動画像Ｄｉの時相データＰｉを取得し、各々の時相データＰｉの極値を検出して拍動周期を算出する。本実施形態では、時相データにおいて隣接する極大値間または極小値間の時間間隔を拍動周期とする。
＜ステップＳ６２０＞ 同期部１４３は、例外フレーム判定部１４２がステップＳ４２０にて判定したＳＬＯ動画像Ｄｉの例外フレーム番号系列を取得する。
＜ステップＳ６３０＞ 画像選択部１４３２はＳＬＯ動画像Ｄｉから、例外フレームができるだけ少なくなるように、表示部１４４において表示させるフレーム番号系列を選択する。

図７（ａ）を用いてステップＳ６３０における具体的なフレーム選択法を説明する。図７（ａ）では、異なる固視標位置Ｆ１〜Ｆ４においてＳＬＯ動画像Ｄ１〜Ｄ４が取得されている。各ＳＬＯ動画像Ｄｉにおいて、白色部が例外フレームを含まずに連続したフレームからなる正常フレーム系列（Ｄｉｏｉ）、灰色部（ハッチング部）が例外フレーム系列（Ｅｉｐｉ）を表している。また各ＳＬＯ動画像Ｄｉ（Ｄ１〜Ｄ４）の撮像期間は同一であるが、開始フレームにおける時相データＰｉの位相が異なっている。本実施形態では、Ｄ１ｏ１（ｏ１＝１，２）、Ｄ２ｏ２（ｏ２＝１，２）、Ｄ３ｏ３（ｏ３＝１）、Ｄ４ｏ４（ｏ４＝１，２）から一つずつ正常フレーム系列を選択して共通する時相の区間長を求める。そして、その最大値をとる時相区間Ｃ１に含まれるフレーム番号系列を各ＳＬＯ動画像Ｄｉ（Ｄ１〜Ｄ４）から選択する。すなわち、全てのＳＬＯ動画像にわたって時相が共通し、且つ、正常フレームが連続している（例外フレームが存在しない）区間を共通区間とし、これら共通区間のうちの最長のものが選択される。表示部１４４では、各ＳＬＯ動画像の上記選択された共通区間に対応するフレームを同期表示させる。なお、各ＳＬＯ動画像Ｄｉの取得において拍動周期は厳密に一定とはならない。そのため、これら拍動周期を正規化し、共通する時相の区間長が長くなるように各ＳＬＯ動画像Ｄｉを配置する。

なお、表示フレーム選択法はこの限りではなく任意の選択法を用いて良い。例えば時相の周期単位での最長区間を選択してもよい。図７（ａ）の例では、１周期分の長さを有する最長区間Ｃ２が選択されている。あるいは例外フレーム系列数の許容値Ｔ５（ここでは１）を設定し、時相区間Ｃ１を基に時相区間を拡大して例外フレーム系列数が許容値Ｔ５以下となる最長の時相区間に含まれるフレーム番号系列を各ＳＬＯ動画像Ｄｉ（Ｄ１〜Ｄ４）から選択してもよい。たとえば、図７（ａ）では、Ｔ５＝１とした場合の例として、最長の時相区間Ｃ３が選択された例が示されている。

＜ステップＳ６４０＞ フレーム間隔調整部１４３３は、少なくとも同期して再生する区間におけるフレーム数が各ＳＬＯ動画像でほぼ一致するように、フレームの追加、削減を行う。本実施形態では、時相データが示す一周期毎のフレーム数が同じになるように、以下のような処理が行われる。フレーム間隔調整部１４３３はＳ６４０で各ＳＬＯ動画像Ｄｉから選択されたフレーム番号系列Ｉｉにおける拍動周期Ｈｉを求める。一般にＳＬＯ動画像Ｄｉ間はもとより、同一ＳＬＯ動画像内においても図７（ｂ）に示すように拍動周期Ｈｉが異なる場合がある。本実施形態では最も正常に近い拍動周期Ｈｒ（図７（ｂ）においては１．０［ｓｅｃ］）を基準周期とし、基準周期Ｈｒとの差が許容値Ｔ６以上ある場合には周期が異なると見なしてステップＳ６５０へ処理が進む。また基準周期Ｈｒとの差が許容値Ｔ６未満であった場合には同期処理を終了し、ステップＳ４４０へ処理が進む。

なお基準周期Ｈｒの設定法はこの限りではなく、任意の設定法を用いて良い。例えば、単純に一般的な正常値（１．０［ｓｅｃ］）を基準周期に設定してもよいし、視認しやすい遅めの値（５．０[ｓｅｃ]）を基準周期に設定しても良い。あるいは単一の値ではなく、許容区間（例えば０．９〜１．１［ｓｅｃ］）を設定してもよい。

＜ステップＳ６５０＞ フレーム間隔調整部１４３３は、フレーム番号系列Ｉｉに対応する時相データの拍動周期Ｈｉが基準周期Ｈｒと許容値Ｔ６以上異なっている場合に、再生するフレーム間隔の調整処理を行う（ステップＳ６５０）。再生フレーム間隔の具体的な調整法として、本実施形態では、
・Ｈｉ＜Ｈｒの場合には前後のフレームを補間処理することにより生成したフレームを内挿し、
・Ｈｉ＞Ｈｒの場合にはフレームを削減する、
処理を行なうことにより、拍動周期Ｈｉが基準周期Ｈｒと略同一となるように調整する。

たとえば、図７（ｂ）のＳＬＯ動画像の区間７１０が表示フレームとして選択された場合に、区間７１１は基準周期Ｈｒ（１秒）よりも拍動周期が短く（０．９秒）、区間７１２は基準周期Ｈｒよりも拍動周期が長い（１．１秒）。この場合、区間７１１においては、１０フレームに１フレームの割合で補間処理によりフレームが生成、挿入される。また、区間７１２においては、１１フレームに１フレームの割合でフレームが削除される。

なお、本実施形態においては、広画角画像Ｗは静止画像とし、ステップＳ４２０で実行される例外フレーム判定処理及びステップＳ４３０で実行される同期処理はＳＬＯ動画像Ｄｉに対して行われるものとして記述したが、これに限定されるものではない。例えば広画角画像Ｗを動画像とし、広画角画像Ｗに対してもＳ４２０と同様の例外フレーム判定処理を行った上で、広画角画像ＷとＳＬＯ動画像Ｄｉ間の同期処理を行うようにしてもよい。

以上のように、第１実施形態による画像表示装置１０は、撮影位置の異なる複数のＳＬＯ動画像Ｄｉを、広画角画像上の固視標位置情報に基づいた位置に、時相データＰｉに基づいて同期させて合成表示する。このとき、固視ずれまたは瞬目を含むフレームや低Ｓ／Ｎ比のフレームが例外フレームとして表示対象から除外される。これにより、撮影位置が異なるＳＬＯ動画像Ｄｉ間の血管形状変化や血球動態が、拍動や瞬目のような生体反応及び撮像条件の違いに起因する画像特性の違いの影響を略同一にした上で観察することができる。そのため、複数のＳＬＯ動画像Ｄｉを、それら動画像の撮像範囲外の病態や解剖学的部位との関連性を理解しながら比較観察できる。

［第２実施形態］
第１実施形態では、ＳＬＯ動画像Ｄｉを固視標位置Ｆｉに基づいて広画角画像Ｗ上に配置した。第２実施形態では、位置合わせ部１４５（図８）により得られた位置合わせパラメータに基づいてＳＬＯ動画像を広画角画像Ｗ上により正確に配置する構成を説明する。

したがって、第２実施形態によれば、固視微動の影響でＳＬＯ動画像Ｄｉが固視標位置Ｆｉから多少ずれている場合でも広画角画像Ｗ上の位置を正確に決定することができる。そのため、拍動や瞬目、固視ずれのような生体反応や、収差補正位置のずれのような撮像条件の違いに起因する画像特性の違いが見られる場合においても、撮影位置が異なるＳＬＯ動画像Ｄｉ間の血管形状変化や血球動態を比較観察しやすくすることができる。

第２実施形態に係る画像表示装置１０の機能ブロック図を図８に示す。第２実施形態による画像表示装置１０は、第１実施形態の撮影位置情報取得部１４１の代わりに位置合わせ部１４５が設けられており、位置合わせ部１４５が例外フレーム判定部１４２を備えている。また、第２実施形態による画像表示フローを図９に示すが、ステップＳ９２０以外のステップは、第１実施形態と同様である（図９のステップＳ９１０、Ｓ９３０〜Ｓ９７０は、それぞれ図４のステップＳ４１０、Ｓ４３０〜Ｓ４７０に対応する）。以下ではステップＳ９２０における処理について説明する。

＜ステップＳ９２０＞ 位置合わせ部１４５は、記憶部１３０から広画角画像Ｗと撮影位置の異なる複数のＳＬＯ動画像Ｄｉを読み込んで、
（ｉ）ＳＬＯ動画像Ｄｉにおけるフレーム間位置合わせ、
（ｉｉ）広画角画像ＷとＳＬＯ動画像Ｄｉとの位置合わせ、
を行う。以下、図１０（ａ）に示すフローチャートを参照してステップＳ９２０で実行される処理についてより詳細に説明する。

＜ステップＳ１０１０＞ 位置合わせ部１４５は、ＳＬＯ動画像Ｄｉにおいて位置合わせの基準となる基準フレームを設定し、Ａｆｆｉｎｅ変換により大まかな位置合わせ（粗位置合わせ）を行う。さらに、位置合わせ部１４５は、精密位置合わせとして非剛体位置合わせを行う。なお本ステップにおいて、例外フレーム判定部１４２がＳＬＯ動画像Ｄｉに含まれる輝度異常、画像歪み、低Ｓ／Ｎ比もしくはフレームアウトの見られる例外フレームを検出する。上記フレーム間位置合わせ処理を全てのＳＬＯ動画像Ｄｉに対して行う。本実施形態では、フレーム間位置合わせの前にフレーム単独の画像特徴を用いて例外フレームを判定し、例外フレームを除くフレームでフレーム間位置合わせが行われる。その後、フレーム間位置合わせ済みのフレームにおいて、フレーム間の画像特徴の差による例外フレームの判定が行われる。このように、フレーム間位置合わせに例外フレームが用いられなくなるので、より効率的に、且つ、より正確にフレーム間位置合わせを行える。本処理の更なる詳細については、図１０（ｂ）のフローチャートにより後述する。また、フレーム間位置合わせ後の動画像を用いて、フレーム間の差異に基づく例外フレームの判定を行うので、より精度よく例外フレームを判定できる。

＜ステップＳ１０２０＞ 位置合わせ部１４５は、広画角画像Ｗに対する各ＳＬＯ動画像Ｄｉの位置合わせを行なう。位置合わせ部１４５は、位置合わせパラメータを変えながら広画角画像ＷとＳＬＯ動画像Ｄｉとの画像間類似度を算出し、画像間類似度が最大となる位置合わせパラメータを用いて広画角画像Ｗに対する各ＳＬＯ動画像Ｄｉの相対位置を決定する。本処理の更なる詳細については、図１０（ｃ）のフローチャートにより後述する。

次に、図１０（ｂ）に示すフローチャートを参照しながら、ステップＳ１０１０で実行されるフレーム間位置合わせの処理の詳細について説明する。
＜ステップＳ１０１１＞ 例外フレーム判定部１４２は、ＳＬＯ動画像Ｄｉの各フレームについて単独フレームでの例外フレーム判定を行う。本実施形態においては、例外フレーム判定部１４２が各フレームの平均輝度値Ａｉｊ及びＳ／Ｎ比ＳＮｊを算出し、Ａｉｊが閾値Ｔ２以下、もしくはＳ／Ｎ比ＳＮｊがＴ４以下であれば輝度異常もしくは低画質であるとみなして例外フレームと判定する。

なお、単独フレームでの例外フレームの判定方法はこれに限られるものではなく、任意の例外判定法を用いて良い。例えば、各フレームに対し微分処理を行うことにより得られる微分画像の輝度統計量（平均値、最頻値、もしくは最大値）を算出し、これが閾値Ｔ７以下であれば被写体の動きによるボケが発生しているとみなして例外フレームと判定しても良い。

＜ステップＳ１０１２＞ 位置合わせ部１４５は、位置合わせの基準となる基準フレームを設定する。本実施形態では、ステップＳ１０１１において例外フレームと判定されたフレーム以外で、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。例えば、ユーザが指定した基準フレーム番号を指示取得部１５０から取得して基準フレームを設定してもよい。

＜ステップＳ１０１３＞ 位置合わせ部１４５は、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。この粗位置合わせには、任意の位置合わせ手法を用いることができるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。

＜ステップＳ１０１４＞ 位置合わせ部１４５は、ステップＳ１０１３で得られたフレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。本実施形態ではステップＳ１０１３で得られた粗位置合わせ済みの動画像Ｄｉｃに対し、非剛体位置合わせ手法の一種であるＦＦＤ（Free Form Deformation）法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。

＜ステップＳ１０１５＞ 例外フレーム判定部１４２は、ステップＳ１０１４の精密位置合わせによって得られた精密位置合わせ済みの動画像Ｄｉｆの各フレームに対して例外フレーム判定を行う。本実施形態では、例外フレーム判定部１４２が基準フレームと（基準フレーム以外の）各フレームとの差分演算を行って該差分画像のヒストグラムを求める。該ヒストグラムの平均値及び分散が、それぞれ閾値Ｔ８以上かつ閾値Ｔ９以上であれば固視微動により一時的に眼底上の異なる位置が撮影された、すなわち、フレーム間移動量が所定値を超えた、とみなして例外フレームと判定する。

なお、ステップＳ１０１５における、フレーム間の画像特徴の差を用いた例外フレームの判定法はこれに限らず任意の判定法を用いて良い。例えば精密位置合わせ済動画像Ｄｉｆの各フレームに対して、第１実施形態の場合と同様に血管抽出及び血管交差部Ｃｉｊｌの検出を行う。そして、各フレームにおいて血管交差部Ｃｉｊｌ間の距離の二乗和を求めて該距離の二乗和の値が隣接フレーム間で閾値Ｔ３以上異なっていれば画像歪みが発生したとみなして例外フレームと判定するようにしても良い。

次に、図１０（ｃ）に示すフローチャートを参照しながら、Ｓ１０２０で実行される、広画角画像と動画像の位置合わせ処理の詳細について説明する。
＜ステップＳ１０２１＞ 位置合わせ部１４５は、記憶部１３０からＳＬＯ動画像Ｄｉの撮影時に用いた固視標位置Ｆｉを取得し、広画角画像ＷとＳＬＯ動画像Ｄｉとの位置合わせにおける位置合わせパラメータの探索初期点とする。本実施形態においては、位置合わせパラメータとして並進（ｘ及びｙ）・回転θ・拡大率ｓを求める。該パラメータの初期値として、
（ｘ０，ｙ０，θ０，ｓ０）
＝（Ｆｉのｘ成分、Ｆｉのｙ成分、０、（広画角画像の画素サイズ／動画像Ｄｉの画素サイズ））
を設定する。

＜ステップＳ１０２２＞ 位置合わせ部１４５は、ステップＳ１０２１で設定された位置合わせパラメータ値の組み合わせ（ｘ０，ｙ０，θ０，ｓ０）を初期値として、該パラメータ値の組み合わせを変化させながら広画角画像ＷとＳＬＯ動画像Ｄｉとの位置合わせを行う。

なお、本実施形態では広画角画像Ｗは静止画像であるものとし、広画角画像ＷとＳＬＯ動画像Ｄｉの基準フレームとの画像間類似度が最も高い位置合わせパラメータ値の組み合わせを広画角画像Ｗに対するＳＬＯ動画像Ｄｉの相対位置として採用する。但し、位置合わせ手法はこれに限らず、任意の位置合わせ手法を用いて良い。

また、本実施形態では、画素値ベースの画像間類似度を用いて、ＳＬＯ動画像Ｄｉのフレーム間位置合わせを行ない、基準フレームが広画角画像Ｗに最も類似する位置合わせパラメータの組み合わせを広画角画像Ｗ上の相対位置として求めた。しかしながら、本発明はこれらに限定されるものではない。例えば、
・ＳＬＯ動画像Ｄｉの各フレームもしくは広画角画像Ｗにおいて観察対象の画像特徴（病変や中心窩などの部位、血管の分岐などの特徴点）を検出し、
・該画像特徴の位置が最も精密に合うようにＳＬＯ動画像Ｄｉのフレーム間もしくは広画角画像ＷとＳＬＯ動画像Ｄｉとの間で位置合わせを行う、ようにしても良い。

また、本実施形態では広画角画像Ｗは静止画として広画角画像ＷとＳＬＯ動画像Ｄｉの基準フレームとの位置合わせを行ったが、これに限定されるものではない。例えば広画角画像Ｗを動画像として広画角画像ＷとＳＬＯ動画像Ｄｉ間の位置合わせを行っても良い。この場合は、たとえば、以下のように処理が行なわれる。
・ステップＳ９２０では、広画角画像Ｗを含めた全ての動画像のフレーム間位置合わせを行い、
・ステップＳ９３０では、第１実施形態で述べたような同期処理を行い、
・広画角画像ＷのフレームｊとＳＬＯ動画像Ｄｉの対応するフレームＤｉｊとの間で画像間類似度が最大となる位置合わせパラメータの組み合わせを求め、これを広画角画像Ｗの各フレームについて行ない広画角画像Ｗ上の相対位置を決定する、ようにしても良い。

以上のように、第２実施形態によれば、画像表示装置１０は、各ＳＬＯ動画像について、フレーム間位置合わせの前後で固視ずれや瞬目、収差補正不良による影響を排除し、広画角画像Ｗ上に重畳表示する。これにより撮影位置が異なるＳＬＯ動画像Ｄｉ間の血管形状変化や血球動態を、拍動や瞬目のような生体反応や撮像条件の違いに起因する画像特性への影響を略同一にした上で、表示することができる。そのため、観察者は、撮像範囲外の病態や解剖学的部位との関連を理解しながら比較観察できる。なお、フレーム間位置合わせ時に得られた画像特徴を用いてＳＬＯ動画像Ｄｉから固視ずれや瞬目の見られるフレーム、低画質なフレームを例外フレームとして判定するようにしてもよい。あるいは、例外フレームの判定において取得した画像特徴を利用してフレーム間位置合わせを行うようにしてもよいこのように、フレーム間位置合わせと例外フレームの判定に用いる画像特徴を共用することで、より処理の効率化を図ることができる。

［第３実施形態］
第３実施形態では、第２実施形態の構成に加えて、表示部１４４が撮影位置の異なるＳＬＯ動画像Ｄｉ間、及び／または、広画角画像ＷとＳＬＯ動画像Ｄｉとの間、で輝度調整を行うように構成したものである。これにより、撮影位置の異なるＳＬＯ動画像Ｄｉ間あるいはＳＬＯ動画像Ｄｉと広画角画像Ｗとの間で位置関係や表示タイミングだけでなく輝度特性も調整されるので、観察者はより血管形状変化や血球動態を比較観察しやすくなる。

第３実施形態に係る画像表示装置１０の機能ブロック図を図１１に示す。表示部１４４において、画像間表示調整部１４４１を持つ点が第２実施形態（図８）と異なっている。また、第３実施形態による画像表示処理のフローチャートを図１２に示す。ステップＳ１２４０以外は第２実施形態と同様である（図１２のステップＳ１２１０〜Ｓ１２３０、Ｓ１２５０〜Ｓ１２７０は、それぞれ図９のステップＳ９１０〜Ｓ９３０、Ｓ９５０〜Ｓ９７０に対応する）。よって、以下ではステップＳ１２４０における処理について説明する。

＜ステップＳ１２４０＞ 画像間表示調整部１４４１は、ＳＬＯ動画像Ｄｉ間の輝度調整を行うとともに、広画角画像ＷとＳＬＯ動画像Ｄｉ間の輝度調整を行う。また、本実施形態では表示部１４４が指示取得部１５０を通じて得られたユーザからの指示に基づき、広画角画像ＷとＳＬＯ動画像Ｄｉとの合成画像全体の拡大率や再生タイミングをインタラクティブに調整する。以下、図１３に示すフローチャートを参照しながら、Ｓ１２４０で実行される処理の詳細について説明する。

＜ステップＳ１３１０＞ 画像間表示調整部１４４１は、ＳＬＯ動画像Ｄｉ間の輝度調整を行うとともに、広画角画像ＷとＳＬＯ動画像Ｄｉ間の輝度調整を行う。本実施形態では、各ＳＬＯ動画像Ｄｉのヒストグラムを求め、理想的な輝度平均値Ｇａと輝度分散値Ｊａに最も近い輝度特性を持つＳＬＯ動画像Ｄｉの輝度平均Ｇｉと輝度分散Ｊｉに一致するようにその他のＳＬＯ動画像や広画角画像Ｗの輝度値を線形変換する。ここで、ヒストグラムの算出は、ＳＬＯ動画像の任意の１フレームについて行う、任意の複数フレームについて行う、全フレームについて行う、のいずれでもよい。

なお、輝度調整の方法はこれに限るものではなく、任意の輝度調整法を用いて良い。例えば、模型眼を撮影して得られたＳＬＯ動画像Ｄｉや広画角画像Ｗの持つ輝度統計量（輝度平均や輝度分散）に一致するように該ＳＬＯ動画像Ｄｉの輝度値を調整しても良い。あるいは各ＳＬＯ動画像Ｄｉから公知の血管抽出法を用いて血管領域Ｖｉを抽出する。血管領域Ｖｉのみに限定したヒストグラムＫｖｉを生成して該ヒストグラムＫｖｉから算出される輝度統計量（平均と分散）が血管領域Ｖｉを視認しやすい特定の値（ＧｖとＪｖ）に一致するように輝度値を調整しても良い。

あるいは、詳しく比較観察したい対象物（例えばＳＬＯ動画像Ｄ１における血管病変とＳＬＯ動画像Ｄ２における正常血管部位）の位置の輝度特性が一致するように動画像を調整してもよい。この場合、たとえば、以下の手順となる。
・詳しく比較観察したい対象物の位置または範囲をユーザがポインティングデバイスを用いて（たとえば、マウスクリックにより）指定する、
・該指定した位置または範囲を、指示取得部１５０を通じて画像間表示調整部１４４１が取得し、両位置の近傍における輝度特性（輝度平均及び輝度分散）が一致するようにＳＬＯ動画像Ｄ１とＳＬＯ動画像Ｄ２の輝度値を調整する。

＜ステップＳ１３２０＞ 表示部１４４は、合成表示された画像全体の表示法調整を行う。本実施形態では、表示部１４４が指示取得部１５０を通じて得られたユーザからの指示に基づき、広画角画像Ｗ及びＳＬＯ動画像Ｄｉの合成画像全体の拡大率や再生スピードをインタラクティブに調整する。

なお、本実施形態では画像間の表示法調整及び合成画像全体での表示法調整について記述したが、表示部１４４の機能はこれに限定されない。例えば、個々のＳＬＯ動画像Ｄｉや広画角画像Ｗ単独の輝度特性や拡大率、再生スピードを指示取得部１５０から調整できるようにしてもよい。あるいは、フレームや関心領域（ＲＯＩ）単位で表示法を調整してもよい。

以上説明したように、第３実施形態の画像表示装置１０では、表示部１４４が撮影位置の異なるＳＬＯ動画像Ｄｉ間、広画角画像ＷとＳＬＯ動画像Ｄｉとの間で輝度調整が行われる。このように、撮影位置の異なるＳＬＯ動画像Ｄｉ間あるいはＳＬＯ動画像Ｄｉと広画角画像Ｗとの間で位置関係や再生タイミングだけでなく輝度も調整して表示されるので、撮影位置が異なるＳＬＯ動画像Ｄｉ間の血管形状変化や血球動態を比較観察しやすくなる。

［第４実施形態］
第４実施形態では、第３実施形態の機能構成（図１１）に、更に背景画像生成部１４４２（図１４）が追加されている。背景画像生成部１４４２は、動画として得られた広画角画像Ｗの重ね合わせを行って高画質な背景画像を生成したり、撮影位置の異なるＳＬＯ動画像Ｄｉと位置や輝度が合うように広画角画像Ｗから代表フレームを選択したりするように構成したものである。これにより、ＳＬＯ動画像により適した広画角画像Ｗを生成することができ、撮影位置が異なるＳＬＯ動画像Ｄｉ間の血管形状変化や血球動態をより比較観察しやすくすることができる。

第４実施形態に係る画像表示装置１０の機能ブロック図を図１４に示す。表示部１４４において、背景画像生成部１４４２を持つ点が第３実施形態と異なっている。また第４実施形態による画像表示処理の手順は図１２に示す通りであり、ステップＳ１２２０、Ｓ１２３０及びＳ１２４０以外は第３実施形態と同様である。以下、第４実施形態によるステップＳ１２２０、Ｓ１２３０、Ｓ１２４０の処理について説明する。

＜ステップＳ１２２０＞ 位置合わせ部１４５は、動画像のフレーム間位置合わせを行う。第５実施形態では、ＳＬＯ動画像Ｄｉに対してだけでなく、広画角画像Ｗに対しても図１０（ｂ）のフローチャートに従って例外フレームの判定及びフレーム間位置合わせを行う。具体的な例外フレームの判定及びフレーム間位置合わせ手順については、第２実施形態のＳＬＯ動画像Ｄｉに対して実施したフレーム間位置合わせの場合と同様の手順である。

＜ステップＳ１２３０＞ 同期部１４３は、広画角画像Ｗ（動画）とＳＬＯ動画像Ｄｉを含めた全動画像間の同期処理を行う。広画角画像Ｗ（動画）とＳＬＯ動画像Ｄｉ間の同期処理の具体的手順は、第１実施形態のＳ６１０〜Ｓ６５０で述べたＳＬＯ動画像Ｄｉ間の同期処理と同様であり、各動画像から再生すべき時相区間が抽出される。

＜ステップＳ１２４０＞ 背景画像生成部１４４２は、広画角画像Ｗの抽出された時相区間の複数フレームを重ね合わせ処理することで、或いは、抽出された時相区間の複数フレームの中から広画角画像Ｗから代表フレームを選択することで、背景画像を生成する。次に、位置合わせ部１４５は、背景画像生成部１４４２が生成した背景画像とＳＬＯ動画像Ｄｉとの位置合わせを行う。さらに、画像間表示調整部１４４１が背景画像の輝度特性（輝度平均及び輝度分散）と一致するようにＳＬＯ動画像Ｄｉの輝度値を調整する。最後に表示部１４４が広画角画像ＷとＳＬＯ動画像Ｄｉとの合成画像全体の表示調整を指示取得部１５０から取得した指示に基づいて行う。

次に図１５に示すフローチャートを参照しながら、ステップＳ１２４０で実行される処理の詳細について説明する。なお、図１５においてステップＳ１５３０とステップＳ１５４０の処理は第３実施形態のステップＳ１３１０とステップＳ１３２０（図１３）と同様である。

＜ステップＳ１５１０＞ 背景画像生成部１４４２は広画角画像Ｗ（動画）から背景画像を生成する。上述のように第５実施形態では、ステップＳ１２２０において広画角画像Ｗの例外フレーム判定及びフレーム間位置合わせ処理が実行済みであり、ステップＳ１２３０において例外フレームを含まないように広画角動画像のフレームが選択されている。具体的には、フレーム間位置合わせ及び同期処理済の広画角動画像における各画素をフレーム方向に加算平均することで、重ね合わせ画像が生成される。

なお、背景画像の生成法はこれに限らず、任意の方法を用いてよい。例えば、上述のように代表フレームを選択して背景画像として用いる場合には、
・同期処理によって選択された広画角画像Ｗの各フレームＷｆと、各ＳＬＯ動画像Ｄｉの同期処理によって選択された全フレームとの間で画像類似度（たとえば輝度特性の類似度）の総和Σｆを求め、
・この総和Σｆが最大となるフレーム番号の広画角画像フレームＷｆを背景画像（代表フレーム）として選択する。

＜ステップＳ１５２０＞ 位置合わせ部１４５は、背景画像生成部１４４２が生成した背景画像とＳＬＯ動画像Ｄｉとの位置合わせを行う。具体的な位置合わせ方法は、第２実施形態のステップＳ１０２１〜Ｓ１０２２で説明した手順と同様である。

以上のように、第５実施形態では、背景画像生成部１４４２が、
・広画角画像Ｗの複数フレームの重ね合わせを行うことでより高画質な背景画像を生成して広画角画像として表示する、あるいは、
・広画角画像Ｗの複数フレームの中から、撮影位置の異なるＳＬＯ動画像Ｄｉと位置や輝度が合うように代表フレームを選択し、これを広画角画像として表示する。これにより、撮影位置が異なるＳＬＯ動画像Ｄｉ間の血管形状変化や血球動態を比較観察しやすくする。

以上説明したように、上記各実施形態によれば、眼底の複数の撮影位置（撮影範囲）に対応した複数の動画像を、被験者の生体反応や撮像条件の違いによる影響を略同一にして表示することができる。さらに、それらの複数の動画像は、眼底の広画角画像（複数の撮影範囲を含む広範囲の画像）の、対応する位置に表示される。そのため、撮影範囲の異なる複数の動画像における組織・細胞の形態変化や動態を、それら動画像の撮像範囲外にある病変や正常部位・解剖学的部位との関連性を理解しながら比較観察することが可能になる。

［その他の実施形態］
上述の実施形態では、複数の動画像を同期再生することとしたが、これに限らず各動画像から対応する１フレームをそれぞれ取得し表示することとしてもよい。ユーザの指示に応じてフレーム画像のコマ送りをさせるように画像処理装置１０が表示部１４４を制御することとすれば、時相の合った各フレーム画像をユーザが比較しやすくなる。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０：画像表示装置、１１０：画像取得部、１２０：時相データ取得部、１３０：記憶部、１４０：画像処理部、１４１：撮影位置情報取得部、１４２：例外フレーム判定部、１４３同期部、１４４：表示部、１５０：指示取得部

Claims (10)

1. 眼底の複数の撮影範囲を撮影して得られた複数の動画像を取得する画像取得手段と、
   前記複数の動画像のそれぞれの撮影時の生体信号に基づく時相データを取得する時相データ取得手段と、
   前記複数の動画像それぞれの少なくとも１フレームを表示する表示手段と、
   前記表示手段による前記複数の動画像の表示タイミングを前記時相データに基づいて同期させる同期手段と、
   前記複数の動画像の各々において、複数のフレームのそれぞれの画像特徴に基づいて、前記複数のフレームから例外フレームを判定する判定手段と、を備え、
   前記同期手段は、前記例外フレームの表示が制限されるように前記複数の動画像から同期して再生すべき区間を選択することを特徴とする画像表示装置。
2. 前記複数の動画像間での輝度調整を行う調整手段を更に有し、
   前記表示手段が、前記調整手段により輝度調整された前記複数の動画像を表示することを特徴とする請求項１に記載の画像表示装置。
3. 前記同期手段は、前記複数の動画像にわたって前記時相データの時相が共通し、前記例外フレームの数が所定数以下である区間から、前記再生すべき区間を選択することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記画像特徴は、輝度、画像歪み量、信号対雑音比、フレーム間移動量の少なくとも何れかであることを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
5. 前記複数の動画像の各々において、各フレームの画像特徴を用いてフレーム間の位置を合わせる位置合わせ手段をさらに備え、
   前記判定手段は、前記位置合わせの前にはフレーム単独の画像特徴に基づいて前記例外フレームを判定し、前記位置合わせの後には他のフレームとの差異に関連した画像特徴に基づいて前記例外フレームを判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像表示装置。
6. 前記判定手段は、前記位置合わせに用いられた画像特徴を用いて前記例外フレームを判定することを特徴とする請求項５に記載の画像表示装置。
7. 前記同期手段は、前記再生すべき区間において前記時相データの一周期あたりのフレーム数の差が前記複数の動画像間で所定の範囲に収まるように、フレームを内挿して追加する、もしくはフレームを削減することを特徴とする請求項１乃至６のいずれか１項に記載の画像表示装置。
8. 請求項１乃至７のいずれか１項に記載の画像表示装置と、
   前記複数の動画像を撮影するための、収差補正デバイスを有する走査型レーザ検眼鏡と、を備えることを特徴とする撮影システム。
9. 画像表示装置による画像表示方法であって、
   画像取得手段が、眼底の複数の撮影範囲を撮影して得られた複数の動画像と、前記複数の動画像のそれぞれの撮影時の生体信号に基づく時相データとを取得する工程と、
   表示手段が、前記複数の動画像それぞれの少なくとも１フレームを表示する工程と、
   同期手段が、前記表示する工程における前記複数の動画像の表示タイミングを前記時相データに基づいて同期させる工程と、
   判定手段が、前記複数の動画像の各々において、複数のフレームのそれぞれの画像特徴に基づいて、前記複数のフレームから例外フレームを判定する工程と、を有し、
   前記同期させる工程では、前記例外フレームの表示が制限されるように前記複数の動画像から同期して再生すべき区間を選択することを特徴とする画像表示方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像表示装置の各手段として機能させるためのプログラム。