JP4133238B2

JP4133238B2 - 眼底画像処理方法

Info

Publication number: JP4133238B2
Application number: JP2002327026A
Authority: JP
Inventors: 亮一名達
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2002-11-11
Filing date: 2002-11-11
Publication date: 2008-08-13
Anticipated expiration: 2022-11-11
Also published as: JP2004159767A

Description

【０００１】
【発明の属する技術分野】
本発明は、時系列的に撮像された眼底静止画像からなる動画像データを処理する眼底画像処理方法に関する。
【０００２】
【従来の技術】
従来から、時系列的に撮像された眼底静止画像データを処理する眼底画像処理装置が知られている（例えば、特許文献１参照）。
【０００３】
この従来の画像処理装置では、被検者に可視蛍光剤（蛍光剤）としてのフルオレスセインを静注し、眼底カメラを用いて時系列的に変化する蛍光眼底画像を撮像し、これを記録媒体に保存して蛍光眼底画像の処理を行っている。
【０００４】
例えば、蛍光剤を被検者に静注して眼底を観察すると、図１に示すように、静注してから所定時間後に、まず、眼底１の乳頭２の部分と乳頭２から延びる動脈血管３の太い部分が蛍光剤の流入により明るくなり、次いで、図２に示すように、蛍光剤が動脈血管３内を流れることにより、動脈血管３の先方部分が明るくなる。
【０００５】
その動脈血管３は末端に向かうに従って分岐し、蛍光剤が動脈血管３の分岐部４を通り越して流れると、血管分岐部４が明るく観察されるようになる。図２では、一部の動脈血管３では血管分岐部４にまで蛍光剤が行き渡っている状態が示され、図３では更に多くの動脈血管３について蛍光剤が血管分岐部４に行き渡っている状態が示され、図４に示すように、動脈血管３の末端まで蛍光剤が行き渡ることにより、眼底１が明るく観察されることになる。
【０００６】
これらの眼底１の変化は、公知の眼底カメラを用いて、近時では、例えば１秒間に１５フレームの割合で時系列的に撮像され、フレームメモリ、ハードディスク、光磁気記録媒体等の記憶媒体に記録される。
【０００７】
動画撮影の場合、例えば、１秒間に１５フレームの割合で、約３０秒間連続撮影するものとすると、約４５０フレームの静止画像データが記憶媒体に記録される。これをパーソナルコンピュータによりモニタ装置の画面に呼び出して、撮影したときと同じフレームレートの再生速度（通常の再生速度）で呼び出して画面上で観察すると、蛍光剤の流れによる連続的な眼底像の変化が動的に観察されることになる。
【０００８】
【特許文献１】
特開平０７−１７８０５５（図３）
【０００９】
【発明が解決しようとする課題】
ところで、被検眼が固視微動等により撮像中に動くと、例えば、時系列的に撮像されたある時刻に撮像された眼底静止画像とその時刻よりも後の時刻に撮像された眼底静止画像との間に画像ズレが生じる。
【００１０】
例えば、図５（ａ）はある時刻ｔ０に撮像された眼底静止画像Ｇ１をモニター装置の画面５に表示した状態を示し、図５（ｂ）は眼底静止画像Ｇ２は画像Ｇ１よりも後の時刻ｔ１に撮像された眼底静止画像をモニター装置の画面５に表示した状態を示している。
【００１１】
その眼底静止画像Ｇ１の特徴点としての血管分岐部４’の画面上での座標を（Ｘｉ、Ｙｉ）とすると、その眼底静止画像Ｇ１の血管分岐部４’に対応する眼底静止画像Ｇ２の血管分岐部４’の画面上での座標を（Ｘｉ＋ΔＸ、Ｙｉ＋ΔＹ）として、眼底画像Ｇ２が眼底画像Ｇ１に対して（ΔＸ、ΔＹ）だけ右上にずれているものとすると、これを動画像として再生した場合、画面上で動画像がブレたりちらついたりして、動脈血管３を流れる蛍光剤の流れが見にくくなり、診断の際に不快感を与える。
【００１２】
そこで、従来、時刻ｔ０において撮像された眼底静止画像Ｇ１を図５（ａ）に示すように、モニター装置の画面５上に呼び出して表示し、ポインティングデバイスとしてのマウス、ライトペン等を用いてカーソル６により特徴点としての血管分岐部４’を指定して特徴点の座標（Ｘｉ、Ｙｉ）を取得し、次いで眼底静止画像Ｇ２をモニター装置の画面５上に呼び出して、図５（ｂ）に示すように、同様に、カーソル６により特徴点としての血管分岐部４’を指定して、特徴点の座標（Ｘｉ＋ΔＸ、Ｙｉ＋ΔＹ）を取得する。
【００１３】
そして、眼底静止画像Ｇ１と眼底静止画像Ｇ２の差分をとって、位置ズレ量（ΔＸ、ΔＹ）を取得する。
【００１４】
これらの位置ズレ量を全ての眼底静止画像について取得し、この位置ズレ量（ΔＸ、ΔＹ）を用いて眼底静止画像間の位置ズレを補正すれば、モニター装置の画面５上に動画として再生表示したときに、眼底画像のブレ、ちらつきの低減された動画像が得られるが、逐一眼底画静止画像をモニター装置の画面５に呼出して表示し、特徴点を指定して眼底静止画像間の位置ズレを補正する方法であるので、膨大な時間がかかるという不都合がある。
【００１５】
本発明は、上記の事情に鑑みて為されたもので、その目的とするところは、眼底静止画像間の位置ズレ量を簡便かつ短時間で取得して眼底静止画像間の位置ズレを補正することのできる眼底画像処理方法を提供することにある。
【００１６】
【課題を解決するための手段】
請求項１に記載の眼底画像処理方法は、時系列的に変化する眼底静止画像の集まりからなる動画像を記録媒体から呼び出して画面に動画像を撮影時のフレームレートと同じフレームレートよりも遅い再生速度で再生表示し、画面上での動画像を見ながらポインティングデバイスにより特徴点を指示することにより座標基準点を得るステップと、
指示された特徴点の移動を画面上で追跡することにより座標基準点として用いられる静止画像に対する他の静止画像の位置ズレ量を取得するステップと、
を備えていることを特徴とする。
【００１７】
請求項２に記載の眼底画像処理方法は、前記取得した位置ズレ量に基づき座標基準点に用いられる静止画像に対する他の静止画像の位置ズレを補正する補正ステップと、
補正した静止画像からなる補正動画像を記録媒体に記録するステップと、
を含むことを特徴とする。
【００１８】
請求項３に記載の眼底画像処理方法は、前記取得した位置ズレ量を各静止画像に関連づけて記憶媒体に記録するステップと、
画面への動画像の再生表示の際に、記憶媒体に記録された位置ズレ量に基づいて対応する静止画像を補正して補正された静止画像からなる補正動画像を作成するステップと、
を含むことを特徴とする。
【００２０】
請求項４に記載の眼底画像処理方法は、前記補正動画像を再生表示して再びポインティングデバイスを用いて各静止画像に対する位置ズレ量を取得することにより位置ズレを補正することを特徴とする。
【００２１】
請求項５に記載の眼底画像処理方法は、前記ポインティングデバイスにより指示された特徴点を囲む矩形領域についてフレーム中の同じ座標位置近傍で相互相関を計算することにより、後続のフレームの全てについて自動的に特徴点を追跡し、前記位置ズレ量を取得することを特徴とする。
【００２５】
【発明の実施の形態】
図６は本発明に係わる眼底画像処理装置の概要図を示すものであって、この図６において、１０は眼底カメラ、１１はＴＶアタッチメント、１２はＴＶカメラである。ＴＶカメラ１２の映像出力は処理回路１３に入力され、処理回路１３はパーソナルコンピュータ又はマイクロコンピュータ又は大型コンピュータ等のコンピュータ１４に接続されると共に、モニター装置１５に接続されている。１６はポインティングデバイスとしてのマウスである。パーソナルコンピュータ１４には記憶媒体１７が接続され、眼底カメラ１０により時系列的に撮像された被検眼Ｅの蛍光眼底静止画像データはその記憶媒体１７に記録される。
【００２６】
ここでは、その記憶媒体１７には、１秒間に１５フレームの撮像速度で撮影されて時系列的に変化する蛍光眼底静止画像データが記憶されているものとする。
【００２７】
コンピュータ１４は記憶媒体１７に記憶されている蛍光眼底画像データを呼び出して、モニター装置１５の画面１５ａに動画像として再生表示する機能を有する。
【００２８】
例えば、画面１５ａ上で、マウス１６によりカーソル１８を移動させて「再生」を指定すると、蛍光眼底静止画像の集まりからなる動画像が呼び出されて、動画が画面１５ａに表示される。
【００２９】
コンピュータ１４は、眼底静止画像間の位置ズレ量を連続的に取得する機能を有する。まず、オペレータは、マウス１６を用いて、図７に示すように、画面１５ａ上でカーソル１８を用いて、眼底静止画像を表示し、特徴点として動脈血管３の分岐部４’を指定する。すると、この分岐部１９が座標基準点Ｒ（ＸＲ、ＹＲ）として取得される。次いで、動画表示を開始させる。
【００３０】
ここで、破線で示した画像は時刻ｔ＝ｔ０における眼底静止画像であり、図２に対応している。また、実線で示した画像は、時刻ｔ＝ｔ１における画像であり、図４に示す画像に対応しており、同一画面上に連続的に表示した場合、この図に示すように、画像ズレが生じる。
【００３１】
オペレータは、画面１５ａに表示されている、眼底画像の動きに従って、その分岐部１９をカーソル１８を用いて矢印Ａで示すように追跡する。
【００３２】
この操作を画面を見ながら行うと、各蛍光眼底静止画像に対応づけて画面１５ａ上での基準点Ｒに対する位置ズレ量を取得できる。この基準点Ｒに対する位置ズレ量は各眼底静止画像すなわち１フレーム毎に関連づけて記憶媒体１７に保存される。例えば、毎秒１５フレームとして、３０秒間動画再生表示するものとすると、約３０秒で基準静止画像に対する４４９枚の静止画像の位置ズレ量を取得できることになる。
【００３３】
コンピュータ１４は、各蛍光眼底静止画像についてその位置ズレ量（ΔＸ、ΔＹ）を補正して、位置ズレが補正された蛍光眼底静止画像を補正動画像データとして記憶媒体１７に保存する。
【００３４】
この補正動画像データを再生して画面１５ａに表示すれば、ぶれやちらつきが低減された動画像データを見ることができる。
【００３５】
もしも、この補正動画像にもちらつきやぶれが見られる場合には、画面上で再度、同様の処理を行って位置ズレ補正量を取得し、再度補正動画像を得るようにすれば、更に一層静止画像間の位置ズレを低減できる。
【００３６】
また、通常の再生速度（すなわち、撮影時のフレームレートと同じフレームレートの速度）よりも遅い再生速度で、画面１５ａ上に動画像を再生表示し、この通常の再生速度よりも遅い再生速度で再生された動画像を見ながら、カーソル１８により分岐部４’を基準点として指定して分岐部４’の変動に従って追従することにすれば、分岐部４’の変動が緩やかに見えるので、カーソル１８を正確に分岐部４’の変動に追従させることができることになり、蛍光眼底静止画像間の位置ズレ量を正確に取得できる。
【００３７】
この発明の実施の形態では、特徴点として分岐部４’を指定することにしたが、図８に示すように、乳頭２と動脈血管３との交差部１９を特徴点として指示し、この交差部１９に基づいて静止画像間の位置ズレ量（ΔＸ、ΔＹ）を取得するようにしても良い。また、図９に示すように、画面１５ａ上に乳頭２に対応する模式的なサークル指標を呈示し、このサークル指標１９を用いて特徴点としての乳頭２の変動に追従させ、静止画像間の位置ズレ量（ΔＸ、ΔＹ）を取得する構成とすることもできる。
【００３８】
また、この発明の実施の形態では、特徴点の指定を１カ所として、平行移動処理により位置ズレ量を取得する構成として説明したが、少なくとも３カ所の特徴点を指示して追従させることにすれば、アフィン変換等の手法を用いて、静止画像の回転に対する位置ズレも補正できる。
【００３９】
また、図１０に示すように、分岐部４の近傍領域（ｍ×ｎピクセル）２１を指定し、マウス１６により分岐部４’の近傍領域２１について相互相関を取りながら位置ズレ量を取得することにすれば、オペレータの追従遅れを解消でき、より一層正確に位置ズレ量を取得することができる。
【００４０】
すなわち、マウス１６（ポインティングデバイス）により指示された特徴点を囲む矩形領域についてフレーム中の同じ座標位置近傍で相互相関を計算することにより、後続のフレームの全てについて自動的に特徴点を追跡し、位置ズレ量を取得することにすれば、オペレータの追従遅れを解消できる。
【００４１】
更に、この発明の実施の形態では、取得した位置ズレ量に基づいて、補正動画像を作成し、この補正動画像を記憶媒体１７に記憶させて、再生表示するものとしたが、画面１５ａへの動画像の再生表示の際に、記憶媒体１７に記憶されている位置ズレ量に基づいて対応する元の静止画像の位置ズレを補正して補正された静止画像からなる補正動画像を作成して、この補正動画像を画面１５ａに動画として再生表示させるようにしても良い。
【００４２】
なお、この発明の実施の形態では、可視蛍光について説明したが、赤外蛍光についても適用できるものである。
【００４３】
【発明の効果】
本発明に係わる眼底画像処理方法によれば、動画像を撮影時のフレームレートと同じフレームレートよりも遅い再生速度で画面上で見ながらポインティングデバイスを用いて特徴点を指示することにより、座標基準点を取得し、座標基準点に対する特徴点の変動をポインティングデバイスを用いて追跡するようにしたので、静止画像間の位置ズレ量の取得を簡便にかつ迅速に行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】眼底に蛍光剤が流入した初期の状態を示す模式図である。
【図２】眼底に蛍光剤が流入して眼底の動脈血管の分岐部に蛍光剤が行き渡った状態を示す模式図である。
【図３】眼底に蛍光剤が流入した中期の状態を示す模式図である。
【図４】眼底に蛍光剤が流入して動脈血管のほぼ末端に蛍光剤が行き渡った状態を示す図である。
【図５】ある時刻に撮像された眼底静止画像と後の時刻に撮像された眼底静止画像との位置ズレを説明するための模式図であって、（ａ）は時刻ｔ＝ｔ０における眼底静止画像の模式図を示し、（ｂ）は時刻ｔ＝ｔ１における眼底静止画像の模式図を示す。
【図６】本発明に係わる眼底画像処理装置の一例を示すブロック図である。
【図７】画面上で動画像を再生表示させながら、静止画像間の位置ズレ量を取得する状態を示す模式図である。
【図８】特徴点の指定方法の他の例を示す模式図である。
【図９】特徴点の指定方法の更に他の例を示す模式図である。
【図１０】特徴点の指定方法の更に他の例を示す模式図である。
【符号の説明】
４’…分岐部（特徴点）
１５ａ…画面
Ｇ１、Ｇ２…静止画像
Ｒ…座標基準点

Claims

時系列的に変化する眼底静止画像の集まりからなる動画像を記録媒体から呼び出して画面に動画像を撮影時のフレームレートと同じフレームレートよりも遅い再生速度で再生表示し、画面上での動画像を見ながらポインティングデバイスにより特徴点を指示することにより座標基準点を得るステップと、
指示された特徴点の移動を画面上で追跡することにより座標基準点として用いられる静止画像に対する他の静止画像の位置ズレ量を取得するステップと、
を備えていることを特徴とする眼底画像処理方法。
前記取得した位置ズレ量に基づき座標基準点に用いられる静止画像に対する他の静止画像の位置ズレを補正する補正ステップと、
補正した静止画像からなる補正動画像を記録媒体に記録するステップと、
を含むことを特徴とする請求項１に記載の眼底画像処理方法。
前記取得した位置ズレ量を各静止画像に関連づけて記憶媒体に記録するステップと、
画面への動画像の再生表示の際に、記憶媒体に記録された位置ズレ量に基づいて対応する静止画像を補正して補正された静止画像からなる補正動画像を作成するステップと、
を含むことを特徴とする請求項１に記載の眼底画像処理方法。
前記補正動画像を再生表示して再びポインティングデバイスを用いて各静止画像に対する位置ズレ量を取得することにより位置ズレを補正することを特徴とする請求項１ないし請求項３のいずれか１項に記載の眼底画像処理方法。
前記ポインティングデバイスにより指示された特徴点を囲む矩形領域についてフレーム中の同じ座標位置近傍で相互相関を計算することにより、後続のフレームの全てについて自動的に特徴点を追跡し、前記位置ズレ量を取得することを特徴とする請求項１に記載の眼底画像処理方法。