以下、図面を参照して、この発明にかかる画像表示装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によってこの発明が限定されるものではない。
(実施の形態1)
図1は、この発明の実施の形態1である画像表示装置を用いたカプセル型内視鏡システムの一構成例を模式的に例示する模式図である。図1に示すように、このカプセル型内視鏡システムは、被検体1内の通過経路に沿って移動するとともに被検体1内の画像を撮像するカプセル型内視鏡2と、カプセル型内視鏡2から送信された画像データを受信する受信装置3と、カプセル型内視鏡2によって撮像された被検体1内の画像を表示する画像表示装置4と、受信装置3と画像表示装置4との間の情報の受け渡しを行うための携帯型記録媒体5とを備える。
カプセル型内視鏡2は、被検体1内を撮像する撮像機能と被検体1内を撮像して得られた画像データを受信装置3に送信する無線通信機能とを有する。カプセル型内視鏡2は、被検体1に飲込まれることによって被検体1内の食道を通過し、消化管腔の蠕動運動によって体腔内を進行する。これと同時に、カプセル型内視鏡2は、所定間隔たとえば0.5秒間隔で被検体1の体腔内の画像を逐次撮像し、得られた被検体1内の画像データを受信装置3に逐次送信する。
なお、カプセル型内視鏡2は、被検体1内において前進、後退、または回転する毎に、被検体1内での撮像シーンを逐次変える。このため、カプセル型内視鏡2は、被検体1内において前進、後退、または回転するとともに撮像処理を繰り返した場合、被検体1内における異なる撮像シーンの画像を逐次撮像する。この場合、カプセル型内視鏡2によって撮像された一連の画像では、被検体1内における異なる撮像シーンの画像が連続する。一方、カプセル型内視鏡2は、被検体1内において静止した状態で撮像処理を繰り返した場合、被検体1内における同一撮像シーンの画像を逐次撮像する。この場合、カプセル型内視鏡2によって撮像された一連の画像では、被検体1内における同一撮像シーンの画像が連続する。
受信装置3は、受信アンテナ3a〜3hが接続され、受信アンテナ3a〜3hを用い、カプセル型内視鏡2と無線通信を行う。具体的には、受信装置3は、受信アンテナ3a〜3hのいずれかを介してカプセル型内視鏡からの無線信号を受信し、受信した無線信号をもとに被検体1内の画像データを取得する。また、受信装置3は、携帯型記録媒体5が着脱可能に装着され、カプセル型内視鏡2から逐次取得した被検体1内の画像データを携帯型記録媒体5に逐次格納する。
受信アンテナ3a〜3hは、たとえばループアンテナを用いて実現され、カプセル型内視鏡2から送信された無線信号を受信する。受信アンテナ3a〜3hは、図1に示すように、被検体1の体表上の所定位置たとえばカプセル型内視鏡2の通過経路に対応する位置に配置される。なお、受信アンテナ3a〜3hは、被検体1に着用させるジャケットの所定位置に配置されてもよい。この場合、受信アンテナ3a〜3hは、被検体1がこのジャケットを着用することによって、被検体1のカプセル型内視鏡2の通過経路に対応する体表上の所定位置に配置される。また、被検体1には、複数の受信アンテナが配置されればよい。この場合、受信アンテナの配置数は、特に8つに限定されない。
携帯型記録媒体5は、コンパクトフラッシュ(登録商標)またはSDメモリカード等の携帯可能な記録メディアである。携帯型記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する装着時に情報の出力および記録が可能な構造を有する。具体的には、携帯型記録媒体5は、受信装置3に装着された場合、受信装置3がカプセル型内視鏡2から取得した画像データ等を逐次記憶できる。また、携帯型記録媒体5は、カプセル型内視鏡2が被検体1から排出された後、受信装置3から取り出されて画像表示装置4に装着され、記憶した画像データ等が画像表示装置4に取り込まれる。
画像表示装置4は、カプセル型内視鏡2によって撮像された画像等を表示するためのものであり、携帯型記録媒体5を媒介にして得られる画像データ等に基づく画像たとえば被検体1内の臓器等の画像を表示するワークステーション等のような構成を有する。また、画像表示装置4は、医師または看護師等の検査者がカプセル型内視鏡2による被検体内の画像に基づいて診断を行うための処理機能を有する。検査者は、被検体1内の画像を画像表示装置4に順次表示させ、表示された画像をもとに被検体1内の所望部位を観察(検査)することによって、被検体1を診断できる。
図2は、画像表示装置4の一構成例を模式的に示すブロック図である。図2に示すように、画像表示装置4は、カプセル型内視鏡2によって撮像された画像を表示して観察するための各種情報を入力する入力部11と、被検体1内の画像等の被検体1内を観察(検査)して診断するための各種情報を画面表示する表示部12と、携帯型記録媒体5に格納された画像データ等を取り込むリーダライタ13とを有する。また、画像表示装置4は、携帯型記録媒体5から取り込んだ画像データ等の被検体1の観察および診断に必要な各種データを格納する記憶部14と、画像表示装置4の各構成部の駆動制御と各構成部に入出力される各種情報の入出力制御および情報処理とを行う制御部15とを有する。
入力部11は、キーボードまたはマウス等のポインティングデバイスを用いてまたはこれらの組合せによって実現され、検査者による入力操作に応じ、画像表示装置4が行う処理の指示情報および被検体1に関する各種情報を制御部15に入力する。たとえば、入力部11は、携帯型記録媒体5から取り込んだ画像データを記憶部14に格納する処理を指示する指示情報、被検体1内の画像を表示部12に表示する処理を指示する指示情報、および被検体1の名前、性別、生年月日、または患者ID等の患者情報を制御部15に入力する。
表示部12は、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ、またはプラズマディスプレイ等の各種ディスプレイを用いて実現され、制御部15によって表示指示された各種情報を表示する。たとえば、表示部12は、被検体1を検査し診断するための各種情報として、カプセル型内視鏡2によって撮像された被検体1内の画像および患者情報等を表示する。
リーダライタ13は、上述した携帯型記録媒体5を着脱可能に装着し、装着した携帯型記録媒体5との間で各種データの受け渡しを行う。具体的には、リーダライタ13は、装着した携帯型記録媒体5に格納された情報たとえばカプセル型内視鏡2による画像データ等を取り込むとともに、得られた画像データ等を制御部15に転送する。また、リーダライタ13は、装着した携帯型記録媒体5に対し、制御部15からの入力情報を記録する機能とフォーマット処理を行う機能とを有する。
記憶部14は、RAMまたはEEPROM等の各種ICメモリあるいはハードディスク等を用いて実現される。また、記憶部14は、CD(Compact Disk)またはDVD(Digital Versatile Disk)等の光ディスクあるいは光磁気ディスクを着脱可能に装着する構造を有するようにし、装着したCDまたはDVDに対して画像データ等の読み取りまたは書き込みが可能なドライブを用いて実現してもよい。記憶部14は、制御部15によって格納指示された画像データ等の各種情報を自身にまたは装着した各種ディスクに格納する。また、記憶部14は、制御部15によって読み出し指示された自身に記憶済みの情報または装着した各種ディスクに格納された情報を読み出すとともに制御部15に送信する。
制御部15は、入力部11、表示部12、リーダライタ13、および記憶部14の各駆動制御と、これらの各構成部に対する情報の入出力制御と、これらの各構成部との間で各種情報を入出力するための情報処理とを行うように機能する。また、制御部15は、演算処理部15a、画像検出部15b、およびフレームレート制御部15cを有する。
演算処理部15aは、カプセル型内視鏡2によって撮像された一連の画像の各画像上に設定した複数の画素領域の相関値たとえば正規化相互相関値を算出し、この一連の画像の各隣接画像間での各画素領域の動きベクトルを演算する。なお、ここでいう画素領域とは、画像上の1以上の画素ブロックによって構成される領域である。画像検出部15bは、演算処理部15aによって算出された各画素領域の相関値をもとに、この一連の画像の中から類似度の高い画像が連続する連続画像群を検出する。フレームレート制御部15cは、演算処理部15aによって導出された動きベクトルをもとに、この連続画像群のうちの表示部12に観察対象として表示する1以上の代表画像を特定する。また、フレームレート制御部15cは、表示部12に表示する画像の表示フレームレートを設定し、表示部12に対し、設定した表示フレームレートで画像を表示する制御を行う。
図3は、一連の画像のうちの互いに類似度の高い画像が連続する連続画像群の中から1以上の代表画像を特定するための処理手順を説明するフローチャートである。図4は、各画像上に設定した複数の画素領域の動きベクトルを演算する動きベクトル演算処理の動作を説明する模式図である。制御部15は、カプセル型内視鏡2によって撮像された被検体1内の一連の画像の各画像データの撮像シーンが各隣接画像間で変わったか否かを判断し、各隣接画像間で撮像シーンが変わったと判断した場合、撮像シーンが異なる隣接画像群のうちの後側の画像データに対し、その直前の画像と異なる撮像シーンの画像であることを特定するためのフラグであるシーンチェンジマーク(以下、SCHマークと記す)を付与する。また、制御部15は、各隣接画像間で撮像シーンが同一であると判断した場合、同一撮像シーンの隣接画像群のうちの後側の画像データに対し、画像カット対象の画像であることを特定するためのフラグであるスキップマーク(以下、SKマークと記す)を付与する。制御部15は、このようにSKマークまたはSCHマークを各画像データに付与することによって、一連の画像のうちの類似度の高い画像が連続する連続画像群の中から、観察対象として表示部12に表示する1以上の代表画像を特定する。
すなわち、図3において、制御部15は、入力部11から入力された指示情報に基づき、リーダライタ13から被検体1内の一連の画像の各画像データを読み出し(ステップS101)、読み出した画像データ上の複数の画素領域の各動きベクトルを演算する動きベクトル演算処理を行う(ステップS102)。この場合、演算処理部15aは、制御部15によって読み出された画像データと、この画像データに隣接する直前の画像データとを用い、この画像データ上の複数の画素領域の各動きベクトルを演算する。
具体的には、演算処理部15aは、制御部15によって読み出された画像データDn(n:正の整数)上の複数の画素領域の各動きベクトルを演算する場合、図4に示すように、画像データDnに隣接する直前の画像データDn-1上に設定した複数の画素領域EAn-1,EBn-1,ECn-1,EDn-1について画素データDn-1,Dn間での相関値たとえば正規化相互相関値をそれぞれ算出し、画像データDn上の全画素領域の中から、画素領域EAn-1,EBn-1,ECn-1,EDn-1に対してそれぞれ最大の相関値を有する複数の画素領域EAn,EBn,ECn,EDnを検出する。演算処理部15aは、これら複数の画素領域EAn,EBn,ECn,EDnを画像データDnの画素領域として設定し、図4に示すように、これらの画素領域EAn-1,EBn-1,ECn-1,EDn-1が画像データDn上において画素領域EAn,EBn,ECn,EDnにそれぞれ移動した場合の移動方向と移動量とを示す各ベクトルを画素領域EAn,EBn,ECn,EDnの各動きベクトルVAn,VBn,VCn,VDnとして演算出力する。
なお、制御部15がステップS101において一連の画像のうちの先頭の画像データD1を読み出した場合、演算処理部15aは、ステップS102において、この画像データD1上の所望の位置に複数の画素領域を設定する。この場合、先頭の画像データD1上の複数の画素領域は、予め設定された閾値T1未満の相関値を有する画素領域として設定される。また、演算処理部15aは、先頭の画像データD1上に複数の画素領域を設定する場合、画像データD1のフレーム中心について対称となる各位置たとえばフレーム中心から十字方向の各位置またはフレームの対角方向の各位置に画素領域をそれぞれ設定することが望ましい。これは、先頭の画像データD1上の複数の画素領域をかかる位置関係で設定することによって、一連の画像の連続画像群での被写体の動きを各動きベクトルによって捉え易くなるからである。
つぎに、制御部15は、上述した画像データDn上の複数の画素領域EAn,EBn,ECn,EDnの各相関値をもとに、この画像データDnが直前の画像データDn-1に対して類似度の高いものであるか否かを判断する。この場合、画像検出部15bは、予め設定された閾値T1と複数の画素領域EAn,EBn,ECn,EDnの各相関値とを比較し、閾値T1未満の相関値があるか否かを判断する(ステップS103)。ここで、画像データDnが画像データDn-1に対して類似度の高いものである場合、画素領域EAn,EBn,ECn,EDnの各相関値は全て閾値T1以上となる。したがって、画像検出部15bがステップS103において画素領域EAn,EBn,ECn,EDnの各相関値に閾値T1未満の相関値がないと判断した場合(ステップS103,No)、制御部15は、画像データDnが画像データDn-1に対して類似度の高いものであると判断する。この場合、画像検出部15bは、複数の画素領域の各相関値が閾値T1以上である画像が連続する連続画像群として、互いに類似度の高い画像データDn-1,Dnを検出する。
画像データDn-1,Dnが互いに類似度の高いものである場合、制御部15は、互いに類似度の高い画像データDn-1,Dnが同一撮像シーンの画像データであるか否かを判断する。この場合、フレームレート制御部15cは、この類似度の高い画像データDnの各動きベクトルVAn,VBn,VCn,VDnが同一方向に揃っているか否かを判断する(ステップS104)。
ここで、画像データDn-1,Dnが同一撮像シーンの画像データであって、この同一撮像シーンの被写体が画像データDn-1,Dn間で周期的な生体運動を行う場合、動きベクトルVAn,VBn,VCn,VDnのうちの少なくとも一つは、残りの動きベクトルと異なる方向を有する可能性が高い。したがって、フレームレート制御部15cが、ステップS104において、動きベクトルVAn,VBn,VCn,VDnが同一方向に揃っていないと判断した場合(ステップS104,No)、たとえば動きベクトルVAn,VBn,VCn,VDnのうちの少なくとも一つが残りの動きベクトルと異なる方向を有する場合、制御部15は、互いに類似度の高い画像データDn-1,Dnが同一撮像シーンの画像データであると判断する。この場合、フレームレート制御部15cは、画像データDn-1と同一撮像シーンの画像データDnに対して上述したSKマークを付与するSKマーク付与処理を行う(ステップS105)。この場合、フレームレート制御部15cは、画像データDn-1に対して類似度の高い画像データDnにSKマークを付与することによって、複数の画素領域の各相関値が閾値T1以上である画像が連続する連続画像群のうち、この画像データDn-1,Dnに対応する各画像を同一撮像シーンを繰り返す各画像として特定できる。制御部15は、ステップS105のSKマーク付与処理によってSKマークが付与された画像データDnを記憶部14に保存する。
なお、上述した被写体の周期的な生体運動とは、人間が生きるために周期的に繰り返す臓器の動きであって、たとえば拍動による動きまたは蠕動運動である。この拍動による動きは、心臓が行う拍動が伝わって臓器が瞬時に繰り返す周期的な動きである。また、この蠕動運動は、臓器が内容物を移動するためにその横断面の中心を基準にして拡大縮小を繰り返す周期的な動きである。具体的には、カプセル型内視鏡2が、拍動による動きを繰り返す被写体たとえば食道内部を順次撮像した場合、撮像された連続画像群では、被写体である食道内部が拍動に応じて態様を変化する動きを周期的に繰り返す。また、カプセル型内視鏡2が、蠕動運動を繰り返す被写体たとえば小腸内部を順次撮像した場合、撮像された連続画像群では、被写体である小腸内部が蠕動運動に応じて周期的な動きを繰り返す。
具体的には、同一撮像シーンの画像が連続する画像データDn-1,Dn間において、この同一撮像シーンの被写体すなわち被検体1内の臓器が周期的な生体運動を行う場合、この画像データDn上の動きベクトルVAn,VBn,VCn,VDnのうちの少なくとも一つは、上述したように、その残りの動きベクトルと異なる方向を有する可能性が高い。たとえば、この周期的な生体運動が蠕動運動である場合、動きベクトルVAn,VBn,VCn,VDnは、図4に例示するように、フレーム中心から放射する方向をそれぞれ有する。
一方、上述したステップS103において、画像検出部15bが画素領域EAn,EBn,ECn,EDnの各相関値の中に閾値T1未満の相関値があると判断した場合(ステップS103,Yes)、制御部15は、画像データDnが画像データDn-1に対して類似度の低いもの、すなわち画像データDn-1と異なる撮像シーンの画像データであると判断する。なお、被検体1内の一連の画像のうちの先頭の画像データD1は、上述したように、閾値T1未満の相関値を有する画素領域が設定されている。したがって、画像検出部15bは、この画像データD1上の複数の画素領域に閾値T1未満の相関値があると判断する。
また、フレームレート制御部15cが、上述したステップS104において、動きベクトルVAn,VBn,VCn,VDnが同一方向に揃っていると判断した場合(ステップS104,Yes)、制御部15は、類似度の高い画像データDn-1,Dnが互いに異なる撮像シーンの画像データであると判断する。ここで、動きベクトルVAn,VBn,VCn,VDnが同一方向に揃っている場合、画像データDn-1の被写体は、画像データDnにおいて、ほぼ同じ態様を維持しながら平行移動している。これは、カプセル型内視鏡2がたとえば被検体1内で横方向に移動して撮像シーンを変えるとともに撮像処理を順次行ったためである。この場合、画像データDn-1,Dnは、互いに異なる撮像シーンの画像データである。
その後、フレームレート制御部15cは、制御部15によって画像データDn-1と異なる撮像シーンのものであると判断された画像データDnまたは先頭の画像データD1に対し、上述したSCHマークを付与するSCHマーク付与処理を行う(ステップS106)。制御部15は、ステップS106のSCHマーク付与処理によってSCHマークが付与された画像データD1,Dnを記憶部14に保存する。
フレームレート制御部15cがステップS105またはS106を完了した場合、制御部15は、処理対象の一連の画像の全画像データに対して上述したステップS105またはS106までの処理を完了したか否かを判断する(ステップS107)。この場合、制御部15は、たとえば上述したステップS105またはS106が行われた画像データDnが一連の画像のうちの最後の画像データでなければ、全画像データに対して未だ処理が完了していないと判断し(ステップS107,No)、次の画像データDn+1を読み出す(ステップS108)。その後、制御部15は、この画像データDn+1を用いて上述したステップS102以降の処理手順を繰り返す。一方、制御部15は、たとえば上述したステップS105またはS106が行われた画像データDnが一連の画像のうちの最後の画像データであれば、全画像データに対して処理完了であると判断し(ステップS107,Yes)、上述したステップS102以降の処理手順を終了する。
制御部15は、上述したステップS101以降の処理手順を必要に応じて繰り返すことによって、被検体1内の一連の画像のうち、異なる撮像シーンの画像が隣接する隣接画像群のうちの撮像時間が後側の画像データにSCHマークを付与し、同一撮像シーンの画像が隣接する隣接画像群のうちの撮像時間が後側の画像データにSKマークを付与する。この場合、制御部15は、類似度の高い画像が連続する連続画像群のうちの1以上の代表画像の画像データにSCHマークを付与でき、これによって、この連続画像群の中から表示対象の1以上の代表画像を特定できる。図5は、一連の画像データの各画像データにSKマークまたはSCHマークを付与して1以上の代表画像を特定する動作を説明するための模式図である。
図5に示すように、制御部15は、上述したステップS101〜S108の処理手順において、たとえば一連の画像の各画像データD1,D2,D3,D4,D5,D6,D7,D8,D9,…を順次読み出す。演算処理部15aは、制御部15によって読み出された各画像データD1,D2,D3,D4,D5,D6,D7,D8,D9,…に対し、上述したステップS102の動きベクトル演算処理を順次行う。なお、図5では、一連の画像の各画像データのうち、先頭の画像データD1、画像データD1と異なる撮像シーンの画像データD2、画像データD2と異なる撮像シーンの画像データD3、画像データD3と異なる撮像シーンの画像データD4、画像データD4と同一撮像シーンの画像データD5〜D7、画像データD7と異なる撮像シーンの画像データD8、画像データD8と異なる撮像シーンの画像データD9を例示している。
この場合、画像検出部15bは、ステップS103において、先頭の画像データD1上の複数の画素領域の相関値に閾値T1未満の相関値があると判断し、画像データD2,D3上の複数の画素領域の相関値に閾値T1未満の相関値があると判断する。また、画像検出部15bは、画像データD4上の複数の画素領域の相関値に閾値T1未満の相関値があると判断し、画像データD5〜D7上の複数の画素領域の相関値が全て閾値T1以上であると判断する。これによって、画像検出部15bは、複数の画素領域の各相関値が閾値T1以上である画像が連続する連続画像群DGとして、隣接画像間で互いに類似度の高い画像データD4〜D7を検出できる。この場合、連続画像群DGは、閾値T1未満の相関値がある画像データD4を先頭の画像とし、相関値が全て閾値T1以上である画像データD5〜D7が後に連続する連続画像群である。一方、画像検出部15bは、画像データD8上の複数の画素領域の相関値に閾値T1未満の相関値があると判断し、画像データD9上の複数の画素領域の相関値に閾値T1未満の相関値があると判断する。
一方、フレームレート制御部15cは、画像検出部15bによって閾値T1未満の相関値があると判断された画像データD1〜D3に対し、上述したステップS106のSCHマーク付与処理を行ってSCHマークをそれぞれ付与する。また、フレームレート制御部15cは、画像検出部15bによって検出された連続画像群DGのうち、閾値T1未満の相関値がある画像データD4に対し、上述したステップS106のSCHマーク付与処理を行ってSCHマークを付与する。さらに、フレームレート制御部15cは、全相関値が閾値T1以上である画像データD5〜D7に対して上述したステップS104を順次行い、画像データD5〜D7が画像データD4と同一撮像シーンのものである場合に、画像データD5〜D7に対して上述したステップS105のSKマーク付与処理を行ってSKマークを付与する。また、フレームレート制御部15cは、閾値T1未満の相関値がある画像データD8,D9に対し、上述したステップS106のSCHマーク付与処理を行ってSCHマークをそれぞれ付与する。
ここで、フレームレート制御部15cは、上述した連続画像群DGのうち、画像データD4と同一撮像シーンを繰り返す画像データD5〜D7にSKマークを付与することによって画像データD5〜D7を画像カット対象の画像データとして特定するとともに、画像データD4を連続画像群DGの代表画像として特定できる。かかるフレームレート制御部15cは、一連の画像のうちの同一撮像シーンの画像を繰り返す各画像データにSKマークを付与することによって、互いに類似度の高い画像が連続する連続画像群毎に表示対象の代表画像を特定できる。これと同時に、フレームレート制御部15cは、各隣接画像間での被写体の動きによらず、たとえば連続画像群DGにおいて被写体が周期的な生体運動を繰り返す場合であっても、一連の画像のうちの同一撮像シーンの画像を繰り返す各画像データを画像カット対象として特定できる。
つぎに、表示部12の表示画面を具体的に例示し、制御部15が被検体1内の画像を表示部12に表示させる動作について詳細に説明する。図6は、表示部12の表示画面を具体的に例示する模式図である。検査者が入力部11を用いてログイン操作等を行った場合、制御部15は、図6に示すように、検査者が被検体の観察および診断等を行うための各種情報を表示するウィンドウWを表示部12に表示させる。
ウィンドウWには、カプセル型内視鏡2によって撮像された被検体1内の画像を表示する主画像表示領域A1と、主画像表示領域A1の画像から選択された所望の画像をサムネイル画像として表示する副画像表示領域A2とが形成される。また、ウィンドウWには、主画像表示領域A1に表示する画像の各種再生操作を行うための再生操作アイコン群100と、主画像表示領域A1に表示する一連の画像の撮像開始からの経過時間を示す時間スケールTSと、主画像表示領域A1に表示された画像の撮像開始からの経過時間を時間スケールTS上で指し示すスライダSとが形成される。さらに、ウィンドウWには、副画像表示領域A2のサムネイル画像のスクロール操作を行うためのスクロールバーBが表示される。その他、ウィンドウWには、被検体1の患者ID、性別、名前、および生年月日等の患者情報と、ウィンドウWを閉じる操作を行うための「閉じる」アイコン110とが形成される。
また、再生操作アイコン群100として、標準の表示フレームレートで画像を順方向に再生するための「再」アイコン101、標準の表示フレームレートに比して低速の表示フレームレートで画像を順方向に再生するための「コマ」アイコン102、標準の表示フレームレートに比して高速の表示フレームレートで画像を順方向に再生するための「高再」アイコン103、標準の表示フレームレートで画像を逆方向に再生するための「逆再」アイコン104、標準の表示フレームレートに比して低速の表示フレームレートで画像を逆方向に再生するための「逆コマ」アイコン105、標準の表示フレームレートに比して高速の表示フレームレートで画像を逆方向に再生するための「高逆」アイコン106、および画像の再生を一時停止するための「一停」アイコン107が形成される。検査者は、入力部11を操作し、たとえばカーソルKを再生操作アイコン群100のいずれかの位置に移動させてクリック操作を行い、被検体1の画像再生または一時停止を指示する。この場合、入力部11は、再生操作アイコン群100のいずれかに対応する画像表示指示情報を制御部15に入力し、制御部15は、この画像表示指示情報を受け付ける。フレームレート制御部15cは、この画像表示指示情報に基づいて表示フレームレートを設定し、表示部12に対し、この画像表示指示情報に基づいて設定した表示フレームレートで所望枚数の画像を順次表示する制御を行う。
なお、上述した標準の表示フレームレートは、一連の画像を擬似的に動画再生できる程度の表示フレームレートである。また、上述した低速の表示フレームレートは、この標準の表示フレームレートに比して単位フレーム毎の表示時間を長くし、一連の画像をフレーム毎に容易に観察できる程度の表示フレームレートである。さらに、上述した高速の表示フレームレートは、この標準の表示フレームレートに比して単位フレーム毎の表示時間を短くする表示フレームレートである。また、以下では、再生操作アイコン群100のいずれかに対応する画像表示指示情報に基づく表示フレームレートを通常設定の表示フレームレートと記す。すなわち、この通常設定の表示フレームレートは、上述した標準、低速、および高速の各表示フレームレートのいずれかである。
つぎに、フレームレート制御部15cが被検体1内の一連の画像データを順次画像表示する動作について説明する。図7は、上述したSCHマークまたはSKマークを付与した一連の画像データを順次画像表示するための処理手順を説明するフローチャートである。図7において、制御部15が上述した画像表示指示情報を入力部11から受信した場合、フレームレート制御部15cは、この画像表示指示情報をトリガーとして、記憶部14から被検体1内の一連の画像のうちの画像データDnを読み出す(ステップS201)。
その後、フレームレート制御部15cは、この画像データDnに対し、上述したSKマークおよびSCHマークのいずれが付与されているかを判断する(ステップS202)。このステップS202において、フレームレート制御部15cは、この画像データDnからSCHマークを検出した場合、この画像データDnに付与されたマークがSCHマークであると判断し(ステップS202,SCHマーク)、この画像データDnの表示フレームレートを上述した通常設定の表示フレームレートに決定する(ステップS203)。
つぎに、フレームレート制御部15cは、SCHマークが付与された画像データDnを用い、表示部12に対し、この画像データDnに対応する被検体1内の画像を通常設定の表示フレームレートで表示する制御を行う(ステップS205)。これによって、この画像データDnに対応する被検体1内の画像が、通常設定の表示フレームレートに対応する表示時間で表示部12に再生される。
その後、フレームレート制御部15cは、検査者によって表示指定された被検体1の全画像を表示部12に再生完了したか否かを判断する(ステップS206)。このステップS206において、フレームレート制御部15cは、たとえばステップS202で処理した画像データDnが一連の画像の最後の画像データではない場合、表示指定された被検体1の全画像を未だ再生完了していないと判断し(ステップS206,No)、この画像データDnの次の画像データDn+1を記憶部14から読み出す(ステップS207)。この場合、フレームレート制御部15cは、ステップS207において読み出された次の画像データDn+1に対し、上述したステップS202以降の処理手順を繰り返す。すなわち、フレームレート制御部15cは、表示指定された一連の全画像データのそれぞれに対して逐次、上述したステップS202以降の処理手順を繰り返す。
一方、フレームレート制御部15cは、上述したステップS202において画像データDnからSKマークを検出した場合、この画像データDnに付与されたマークがSKマークであると判断し(ステップS202,SKマーク)、この画像データDnを画像表示対象から除外する(ステップS204)。その後、フレームレート制御部15cは、上述したステップS206以降の処理手順を繰り返す。これによって、このSKマークが付与された画像データDnに対応する被検体1の画像は、表示部12に再生されずに画像カットされる。
なお、上述したステップS206において、フレームレート制御部15cは、たとえばステップS202で処理した画像データDnが一連の画像の最後の画像データである場合、表示指定された被検体1内の全画像を再生完了したと判断し(ステップS206,Yes)、表示指定された被検体1内の一連の画像データを順次画像表示する処理手順を終了する。
ここで、上述した図5に例示する被検体1の画像データD1〜D9を用い、フレームレート制御部15cが被検体1の一連の画像を順次表示する動作についての具体例を説明する。ステップS201〜S207において、フレームレート制御部15cは、たとえば被検体1の画像データD1〜D9を順次読み出す。これらの画像データD1〜D9のうち、画像データD1〜D3には、上述したようにSCHマークが付与されている。したがって、フレームレート制御部15cは、画像データD1〜D3の各表示フレームレートを上述した再生操作アイコン群100のいずれかに対応する通常設定の表示フレームレートに順次決定し、表示部12に対し、通常設定の表示フレームレートで画像データD1〜D3を順次画像表示する制御を行う。
また、類似度の高い画像が連続する連続画像群DGのうち、画像データD4には、上述したようにSCHマークが付与されている。したがって、フレームレート制御部15cは、画像データD4の表示フレームレートを通常設定の表示フレームレートに決定し、表示部12に対し、画像データD4を通常設定の表示フレームレートで画像表示する制御を行う。一方、この連続画像群DGのうち、画像データD5〜D7には、上述したようにSKマークが付与されている。したがって、フレームレート制御部15cは、入力部11から入力された画像表示指示情報によらず強制的に、画像データD5〜D7を画像表示対象から除外する。
さらに、これらの画像データD1〜D9のうち、画像データD8,D9には、上述したようにSCHマークが付与されている。したがって、フレームレート制御部15cは、画像データD8,D9の各表示フレームレートを通常設定の表示フレームレートに順次決定し、表示部12に対し、通常設定の表示フレームレートで画像データD8,D9を順次画像表示する制御を行う。
かかるフレームレート制御部15cの動作によって、表示部12は、画像データD1〜D3,D8,D9に対応する被検体1の各画像を通常設定の表示フレームレートに対応する表示時間で順次表示できる。また、表示部12は、連続画像群DGのうちの先頭の画像データD4に対応する被検体1の画像を通常設定の表示フレームレートに対応する表示時間で表示し、残りの画像データD5〜D7に対応する被検体1の各画像を表示しない(すなわち画像カットする)。この場合、画像データD4は、連続画像群DGの代表画像として表示部12に画像表示され、画像データD5〜D7は、画像データD4と同一撮像シーンを繰り返す画像として表示対象から除外される。これによって、フレームレート制御部15cは、通常設定の表示フレームレートで画像データD4〜D7を順次画像表示する場合に比して連続画像群DGの表示時間を短縮できる。なお、検査者は、たとえば画像データD4に対応する画像すなわち代表画像さえ観察すれば、連続画像群DGに撮像された被写体の観察を十分達成できる。
以上、説明したように、この発明の実施の形態1では、一連の画像において、画像データ上に設定した複数の画素領域の隣接画像間での各相関値を算出して複数の画素領域の各動きベクトルを演算し、これら複数の画素領域の各相関値が所定の閾値T1以上である画像が連続する連続画像群すなわち互いに類似度の高い画像が連続する連続画像群を検出し、複数の画素領域の各動きベクトルをもとに、この連続画像群において同一撮像シーンを繰り返す各画像を特定するとともに、この連続画像群の中から1以上の代表画像を特定している。また、この連続画像群のうち、特定した1以上の代表画像をたとえば通常設定の表示フレームレートで表示し、かつこの同一撮像シーンを繰り返す残りの各画像を表示せずに画像カットしている。したがって、表示対象の一連の画像のうちの類似度の高い画像が連続する連続画像群において、たとえ被写体に動きがある場合であっても、この連続画像群の中から特定した1以上の代表画像と同一撮像シーンの画像の表示時間を確実に短縮でき、拍動による動きまたは蠕動運動等の周期的な生体運動を繰り返す被検体内の一連の画像の観察時間を短縮可能な画像表示装置を実現することができる。
(実施の形態1の変形例)
つぎに、この発明の実施の形態1の変形例について詳細に説明する。上述した実施の形態1では、類似度の高い画像が連続する連続画像群の中から1以上の代表画像を特定し、特定した1以上の代表画像と同一撮像シーンの画像を表示対象から除外して画像カットしていたが、この実施の形態1の変形例では、この同一撮像シーンの画像を画像カットせずに、1以上の代表画像に比して高速の表示フレームレートで表示するようにしている。
図8は、この発明の実施の形態1の変形例である画像表示装置の一構成例を模式的に示すブロック図である。この画像表示装置17は、実施の形態1の画像表示装置4の制御部15に代えて制御部18が設けられる。制御部18は、実施の形態1のフレームレート制御部15cに代えてフレームレート制御部18cが設けられる。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部18は、上述した実施の形態1の制御部15とほぼ同様に機能し、表示対象の一連の画像において互いに類似度の高い画像が連続する連続画像群の中から1以上の代表画像を特定し、特定した1以上の代表画像を上述した通常設定の表示フレームレートで表示部12に表示させ、この連続画像群のうちの1以上の代表画像以外の残りの画像すなわち1以上の代表画像と同一撮像シーンの画像をこの通常設定の表示フレームレートに比して高速の表示フレームレートで表示部12に表示させる。この場合、フレームレート制御部18cは、特定した1以上の代表画像の画像データに上述したSCHマークを付与し、この連続画像群のうちの1以上の代表画像と同一撮像シーンの画像データに対し、上述したSKマークに代えて高速再生マーク(以下、HSPマークと記す)を付与する。なお、このHSPマークは、上述した通常設定の表示フレームレートに比して高速の表示フレームレートで表示する画像であることを特定するためのフラグである。
図9は、一連の画像のうちの互いに類似度の高い画像が連続する連続画像群の中から1以上の代表画像を特定するための別の処理手順を説明するフローチャートである。図9に示すフローチャート(ステップS301〜S308)では、上述した図3に示すフローチャートのステップS105(SKマーク付与処理)に代えて画像データにHSPマークを付与するHSPマーク付与処理がステップS305に含まれる。その他の処理手順は、上述した図3に示すフローチャート(ステップS101〜S108)と同様である。
すなわち、図9において、制御部18は、上述したステップS101〜S103と同様の処理を行い、一連の画像のうちの画像データDn上の複数の画素領域EAn,EBn,ECn,EDnの各相関値に閾値T1未満の相関値があるか否かを判断する(ステップS301〜S303)。この場合、画像検出部15bが複数の画素領域EAn,EBn,ECn,EDnの各相関値に閾値T1未満の相関値がないと判断すれば(ステップS303,No)、フレームレート制御部18cは、上述したステップS104と同様に、画像データDn上の各動きベクトルVAn,VBn,VCn,VDnが同一方向に揃っているか否かを判断する(ステップS304)。
フレームレート制御部18cは、ステップS304において各動きベクトルVAn,VBn,VCn,VDnが同一方向に揃っていないと判断した場合(ステップS304,No)、この画像データDnに上述したHSPマークを付与するHSPマーク付与処理を行う(ステップS305)。この場合、制御部18は、HSPマークが付与された画像データDnを記憶部14に保存する。
一方、フレームレート制御部18cは、画像検出部15bがステップS303において複数の画素領域EAn,EBn,ECn,EDnの各相関値に閾値T1未満の相関値があると判断した場合(ステップS303,Yes)、この画像データDnに対して上述したステップS106と同様のSCHマーク付与処理を行う(ステップS306)。また、フレームレート制御部18cは、ステップS304において各動きベクトルVAn,VBn,VCn,VDnが同一方向に揃っていると判断した場合(ステップS304,Yes)、この画像データDnに対してステップS306のSCHマーク付与処理を行う。この場合、制御部18は、SCHマークが付与された画像データDnを記憶部14に保存する。
フレームレート制御部18cがステップS305またはステップS306を完了した場合、制御部18は、上述したステップS107と同様の処理を行い(ステップS307)、全画像データに対して未だ処理が完了していないと判断すれば(ステップS307,No)、次の画像データDn+1を読み出し(ステップS308)、その後、この画像データDn+1を用いて上述したステップS302以降の処理手順を繰り返す。一方、制御部18は、全画像データに対して処理完了であると判断すれば(ステップS307,Yes)、上述したステップS302以降の処理手順を終了する。
制御部18は、上述したステップS301以降の処理手順を必要に応じて繰り返すことによって、被検体1内の一連の画像のうち、異なる撮像シーンの画像が隣接する隣接画像群のうちの撮像時間が後側の画像データにSCHマークを付与し、同一撮像シーンの画像が隣接する隣接画像群のうちの撮像時間が後側の画像データにHSPマークを付与する。この場合、制御部18は、類似度の高い画像が連続する連続画像群のうちの1以上の代表画像の画像データにSCHマークを付与でき、これによって、この連続画像群の中から表示対象の1以上の代表画像を特定できる。図10は、一連の画像データの各画像データにHSPマークまたはSCHマークを付与して1以上の代表画像を特定する動作を説明するための模式図である。
図10に示すように、一連の画像の各画像データD1,D2,D3,D4,D5,D6,D7,D8,D9,…は、上述した図5に例示したものと同じであり、フレームレート制御部18cは、画像データD1〜D3,D8,D9にSCHマークをそれぞれ付与する。また、フレームレート制御部18cは、類似度の高い画像データD4〜D7が連続する連続画像群DGのうち、画像データD4にSCHマークを付与し、画像データD4と同一撮像シーンの画像データD5〜D7にHSPマークを付与する。
ここで、フレームレート制御部18cは、この連続画像群DGのうち、画像データD4と同一撮像シーンを繰り返す画像データD5〜D7に上述したSKマークに代えてHSPマークを付与することによって画像データD5〜D7を高速再生する画像データとして特定するとともに、画像データD4を連続画像群DGの代表画像として特定する。この場合、フレームレート制御部18cは、上述したように、この代表画像である画像データD4にSCHマークを付与する。かかるフレームレート制御部18cは、一連の画像のうちの同一撮像シーンの画像を繰り返す各画像データにHSPマークを付与することによって、互いに類似度の高い画像が連続する連続画像群毎に代表画像を特定できる。これと同時に、フレームレート制御部18cは、各隣接画像間での被写体の動きによらず、たとえば連続画像群DGにおいて被写体が周期的な生体運動を繰り返す場合であっても、一連の画像のうちの同一撮像シーンの画像を繰り返す各画像データを高速再生する画像データとして特定できる。
つぎに、フレームレート制御部18cが被検体1内の一連の画像データを順次画像表示する動作について詳細に説明する。図11は、上述したSCHマークまたはHSPマークを付与した一連の画像データを順次画像表示するための処理手順を説明するフローチャートである。図11において、フレームレート制御部18cは、上述したステップS201と同様に、記憶部14から被検体1内の一連の画像のうちの画像データDnを読み出す(ステップS401)。つぎに、フレームレート制御部18cは、この画像データDnに対し、上述したHSPマークおよびSCHマークのいずれが付与されているかを判断する(ステップS402)。
フレームレート制御部18cは、ステップS402において、この画像データDnからSCHマークを検出した場合、この画像データDnに付与されたマークがSCHマークであると判断し(ステップS402,SCHマーク)、このSCHマークが付与された画像データDnの表示フレームレートを上述した通常設定の表示フレームレートに決定する(ステップS403)。
一方、フレームレート制御部18cは、ステップS402において、この画像データDnからHSPマークを検出した場合、この画像データDnに付与されたマークがHSPマークであると判断し(ステップS402,HSPマーク)、このHSPマークが付与された画像データDnの表示フレームレートを高速設定の表示フレームレートに決定する(ステップS404)。なお、この高速設定の表示フレームレートは、上述した再生操作アイコン群100のいずれかに対応する通常設定の表示フレームレートに比して高速の表示フレームレートである。
フレームレート制御部18cは、上述したステップS403またはS404を完了した場合、表示部12に対し、SCHマークまたはHSPマークが付与された画像データDnを表示する制御を行う(ステップS405)。この場合、フレームレート制御部18cは、表示部12に対し、SCHマークが付与された画像データDnを上述した通常設定の表示フレームレートで表示する制御を行い、HSPマークが付与された画像データDnを上述した高速設定の表示フレームレートで表示する制御を行う。
その後、フレームレート制御部18cは、上述したステップS206と同様の処理を行い(ステップS406)、全画像を表示部12に未だ再生完了していないと判断すれば(ステップS406,No)、次の画像データDn+1を読み出し(ステップS407)、その後、この画像データDn+1に対して上述したステップS402以降の処理手順を繰り返す。一方、フレームレート制御部18cは、全画像を表示部12に再生したと判断すれば(ステップS406,Yes)、表示指定された被検体1内の一連の画像データを順次画像表示する処理手順を終了する。
ここで、上述した図10に例示する被検体1の画像データD1〜D9を用い、フレームレート制御部18cが被検体1内の一連の画像を順次表示する動作についての具体例を説明する。ステップS401〜S407において、フレームレート制御部18cは、たとえば被検体1内の画像データD1〜D9を順次読み出す。これらの画像データD1〜D9のうち、画像データD1〜D3には、上述したようにSCHマークが付与されている。したがって、フレームレート制御部18cは、画像データD1〜D3の各表示フレームレートを上述した再生操作アイコン群100のいずれかに対応する通常設定の表示フレームレートに順次決定し、表示部12に対し、通常設定の表示フレームレートで画像データD1〜D3を順次画像表示する制御を行う。
また、類似度の高い画像が連続する連続画像群DGのうち、画像データD4には、上述したようにSCHマークが付与されている。したがって、フレームレート制御部18cは、画像データD4の表示フレームレートを通常設定の表示フレームレートに決定し、表示部12に対し、画像データD4を通常設定の表示フレームレートで画像表示する制御を行う。一方、この連続画像群DGのうち、画像データD5〜D7には、上述したようにHSPマークが付与されている。したがって、フレームレート制御部18cは、表示部12に対し、画像データD5〜D7を高速設定の表示フレームレートで順次画像表示する制御を行う。
さらに、これらの画像データD1〜D9のうち、画像データD8,D9には、上述したようにSCHマークが付与されている。したがって、フレームレート制御部18cは、画像データD8,D9の各表示フレームレートを通常設定の表示フレームレートに順次決定し、表示部12に対し、通常設定の表示フレームレートで画像データD8,D9を順次画像表示する制御を行う。
かかるフレームレート制御部18cの動作によって、表示部12は、上述した実施の形態1と同様に、画像データD1〜D3,D8,D9に対応する被検体1内の各画像を通常設定の表示フレームレートに対応する表示時間で順次表示できる。また、表示部12は、連続画像群DGのうちの先頭の画像データD4に対応する被検体1内の画像を通常設定の表示フレームレートで表示し、残りの画像データD5〜D7に対応する被検体1内の各画像を画像データD4に比して高速の表示フレームレートで順次表示する。この場合、画像データD4は、連続画像群DGの代表画像として、通常設定の表示フレームレートに対応する表示時間で表示部12に画像表示され、画像データD5〜D7は、画像データD4と同一撮像シーンを繰り返す画像として、画像データD4に比して単位フレーム毎の表示時間を短縮して順次画像表示される。これによって、フレームレート制御部18cは、通常設定の表示フレームレートで画像データD4〜D7を順次画像表示する場合に比して連続画像群DGの表示時間を短縮できる。
以上、説明したように、この発明の実施の形態1の変形例では、上述した実施の形態1とほぼ同様の機能を有し、一連の画像のうちの互いに類似度の高い画像が連続する連続画像群の中から特定した1以上の代表画像をたとえば通常設定の表示フレームレートで表示し、1以上の代表画像と同一撮像シーンを繰り返す各画像を1以上の代表画像に比して高速の表示フレームレートで表示している。したがって、上述した実施の形態1の作用効果を享受するとともに、この連続画像群によって表される被写体の動きを擬似的な動画像で観察可能な画像表示装置を実現できる。
(実施の形態2)
つぎに、この発明の実施の形態2について詳細に説明する。上述した実施の形態1では、一連の画像のうちの類似度の高い画像が連続する連続画像群において、画像データ上の各動きベクトルが同一方向に揃っているか否かを判断し、この判断結果をもとに、この連続画像群のうちの同一撮像シーンを繰り返す画像群を特定するとともに、この同一撮像シーンを繰り返す画像群以外を1以上の代表画像として特定していたが、この実施の形態2では、この連続画像群のうち、画像データ上に設定した複数の画素領域の往復の動きを表す画像群を1以上の代表画像として特定している。
図12は、この発明の実施の形態2である画像表示装置の一構成例を模式的に示すブロック図である。この画像表示装置21は、実施の形態1の画像表示装置4の制御部15に代えて制御部22が設けられる。制御部22は、実施の形態1の演算処理部15aに代えて演算処理部22aが設けられ、実施の形態1の画像検出部15bに代えて画像検出部22bが設けられ、実施の形態1のフレームレート制御部15cに代えてフレームレート制御部22cが設けられる。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部22は、上述した制御部15とほぼ同様に機能し、上述したように、演算処理部22a、画像検出部22b、およびフレームレート制御部22cを有し、記憶手段としてFIFO型メモリ(図示せず)をさらに有する。演算処理部22aは、上述した演算処理部15aと同様の機能を有し、たとえば画像データDn上に設定した複数の画素領域EAn,EBn,ECn,EDnの各相関値を算出し、各動きベクトルVAn,VBn,VCn,VDnを演算する。また、演算処理部22aは、動きベクトルVAn,VBn,VCn,VDnがそれぞれ所定の閾値P以上の大きさの動きベクトルである場合、複数の画素領域EAn,EBn,ECn,EDnのそれぞれについて、閾値P以上の大きさの動きベクトルVAn,VBn,VCn,VDnを方向別にそれぞれ加算して各ベクトル加算値を算出するベクトル加算処理を行う。このベクトル加算値は、このベクトル加算処理によって方向別に算出された各動きベクトルのベクトル成分である。
画像検出部22bは、上述した閾値T1に代えて閾値T2を用い、複数の画素領域EAn,EBn,ECn,EDnの各相関値に閾値T2未満の相関値があるか否かを判断する。また、画像検出部22bは、この相関値に関する判断結果をもとに、直前の画像データDn-1と異なる撮像シーンの画像データDnまたは同一撮像シーンの画像データDnを検出する。これによって、画像検出部22bは、直前の画像データDn-1と異なる撮像シーンの画像データDnが連続する連続画像群または直前の画像データDn-1と同一撮像シーンの画像データDnが連続する連続画像群を検出する。
フレームレート制御部22cは、上述したフレームレート制御部15cとほぼ同様の機能を有する。また、フレームレート制御部22cは、演算処理部22aのベクトル加算処理によって算出された各ベクトル加算値をもとに、同一撮像シーンの画像データが連続する連続画像群の中から、上述した周期的な生体運動等の被写体の繰り返し動作を擬似的な動画として表す代表画像群を特定する。
図13は、一連の画像のうちの同一撮像シーンの画像が連続する連続画像群の中から被写体の繰り返し動作を表す代表画像群を特定するための処理手順を説明するフローチャートである。制御部22は、カプセル型内視鏡2によって撮像された被検体1内の一連の画像の各画像データの撮像シーンが各隣接画像間で変わったか否かを判断し、上述した制御部15と同様に、各隣接画像間で撮像シーンが変わったと判断した場合に画像データにSCHマークを付与し、各隣接画像間で撮像シーンが同一であると判断した場合に画像データにSKマークを付与する。また、制御部22は、SKマークを付与した連続画像群のうち、たとえば被写体の繰り返し動作の1周期分に対応する画像群の各SKマークを消去するSKマーク消去処理を行い、この繰り返し画像群を観察対象の代表画像群として特定する。
すなわち、図13において、制御部22は、上述したステップS101と同様に一連の画像データのうちの画像データDnたとえば先頭の画像データD1を読み出し(ステップS501)、制御部22のFIFO型メモリに保存された各ベクトル加算値をリセットする(ステップS502)。その後、演算処理部22aは、上述したステップS102と同様に、画像データDn上の複数の画素領域EAn,EBn,ECn,EDnの各相関値を算出して各動きベクトルVAn,VBn,VCn,VDnを演算する(ステップS503)。
つぎに、制御部22は、画像データDnの撮像シーンが直前の画像データDn-1と同一であるか否かを判断する。この場合、画像検出部22bは、上述した閾値T1に代えて予め設定された閾値T2と複数の画素領域EAn,EBn,ECn,EDnの各相関値とを比較し、閾値T2未満の相関値があるか否かを判断する(ステップS504)。ここで、隣接する画像データDn-1,Dnが互いに同一撮像シーンのものであれば、画像データDnは、直前の画像データDn-1に対して類似度の高いものであって、複数の画素領域EAn,EBn,ECn,EDnの各相関値が全て閾値T2以上の画像データである。したがって、画像検出部22bがステップS504において画素領域EAn,EBn,ECn,EDnの各相関値に閾値T2未満の相関値がないと判断した場合(ステップS504,No)、制御部22は、画像データDn-1,Dnが同一撮像シーンのものであると判断する。この場合、画像検出部22bは、複数の画素領域の各相関値が閾値T2以上である画像が連続する連続画像群として、同一撮像シーンの画像データDn-1,Dnを検出する。
画像データDn-1,Dnが同一撮像シーンのものである場合、制御部22は、この画像データDnに上述したSKマークを付与する。この場合、フレームレート制御部22cは、画像データDn-1と同一撮像シーンの画像データDnにSKマークを付与するSKマーク付与処理を行う(ステップS505)。
フレームレート制御部22cが画像データDnにSKマークを付与した場合、制御部22は、このSKマークを有する画像データDnの各動きベクトルVAn,VBn,VCn,VDnの大きさが所定の閾値P以上であるか否かを判断する(ステップS506)。制御部22は、動きベクトルVAn,VBn,VCn,VDnが閾値P以上の大きさであると判断した場合(ステップS506,閾値P以上)、閾値P以上の大きさの動きベクトルを有する画素領域についてのみ上述したベクトル加算処理を行う(ステップS507)。この場合、演算処理部22aは、複数の画素領域EAn,EBn,ECn,EDnのそれぞれについて閾値P以上の大きさの動きベクトルを方向別に加算し、画素領域EAn,EBn,ECn,EDn毎のベクトル加算値をそれぞれ算出する。また、演算処理部22aは、動きベクトルVAn,VBn,VCn,VDnのうちの閾値P未満の大きさである動きベクトルをベクトル加算処理の加算対象から除外する。すなわち、演算処理部22aは、上述したベクトル加算処理において閾値P未満の大きさの動きベクトルを加算しない。制御部22は、演算処理部22aによって算出された画素領域EAn,EBn,ECn,EDn毎のベクトル加算値をFIFO型メモリの各メモリ領域に順次保存し、その後、ステップS511に進む。なお、制御部22は、このステップS506において、動きベクトルVAn,VBn,VCn,VDnが閾値P未満の大きさであると判断した場合(ステップS506,閾値P未満)、上述したステップS507を行わずにステップS511に進む。
一方、画像検出部22bがステップS504において画素領域EAn,EBn,ECn,EDnの各相関値に閾値T2未満の相関値があると判断した場合(ステップS504,Yes)、制御部22は、画像データDn-1,Dnが互いに異なる撮像シーンのものであると判断する。この場合、画像検出部22bは、複数の画素領域の各相関値が閾値T2未満すなわち類似度の低い画像であって、直前の画像データDn-1と異なる撮像シーンの画像データDnを検出する。
画像データDn-1,Dnが互いに異なる撮像シーンのものである場合、制御部22は、この画像データDnに上述したSCHマークを付与する。この場合、フレームレート制御部22cは、画像データDn-1と異なる撮像シーンの画像データDnにSCHマークを付与するSCHマーク付与処理を行う(ステップS508)。
つぎに、制御部22は、このステップS508においてSCHマークが付与された画像データとその以前にSCHマークが付与された画像データとの間で連続する連続画像群において、上述した周期的な生体運動等の被写体の繰り返し動作を擬似的な動画で表す繰り返し画像群があるか否かを判断する。なお、この連続画像群は、上述したステップS505によってSKマークが付与された同一撮像シーンの画像データが連続する画像群である。この場合、フレームレート制御部22cは、この連続画像群の各画像データについて、上述したベクトル加算処理によって得られた複数の画素領域毎のベクトル加算値を制御部22のFIFO型メモリから読み出す。そして、フレームレート制御部22cは、読み出した複数の画素領域毎のベクトル加算値をもとに、この連続画像群によって擬似的な動画で表される周期的な生体運動等の被写体の繰り返し動作があるか否かを判断する(ステップS509)。
具体的には、フレームレート制御部22cは、この連続画像群における各画像データの複数の画素領域の少なくとも一つに往復移動を2周期以上繰り返すものを検出した場合に、この連続画像群における被写体の繰り返し動作を検出する(ステップS509,Yes)。この場合、制御部22は、この連続画像群の中に上述した繰り返し画像群があると判断し、フレームレート制御部22cは、この連続画像群に含まれる繰り返し画像群のうち、所望回数分たとえば1周期の被写体の繰り返し動作に対応する画像群の各画像データのSKマークを消去するSKマーク消去処理を行う(ステップS510)。フレームレート制御部22cは、この繰り返し画像群のうちのSKマークを消去した各画像データを観察対象の画像データとして特定するとともに、このSKマークを消去した画像データが連続する画像群を所望回数分の被写体の繰り返し動作を擬似的な動画で表す代表画像群として特定できる。制御部22は、特定した代表画像群の各画像データを記憶部14に保存し、その後、ステップS511に進む。
一方、フレームレート制御部22cは、この連続画像群における各画像データの複数の画素領域に往復移動を2周期以上繰り返すものを検出しなければ、この連続画像群における被写体の繰り返し動作を検出せず(ステップS509,No)。上述したステップS510のSKマーク消去処理を行わない。この場合、フレームレート制御部22cは、この連続画像群を同一撮像シーンが繰り返される画像群として画像カット対象とする。これによって、フレームレート制御部22cは、たとえば被写体がほぼ静止している連続画像群を画像カット対象として特定できる。その後、制御部22は、ステップS511に進む。
制御部22は、上述したように、ステップS506またはS507が完了した場合あるいはステップS509またはS510が完了した場合、上述したステップS107と同様の処理を行い(ステップS511)、全画像データに対して未だ処理が完了していないと判断した場合(ステップS511,No)、次の画像データDn+1を読み出し(ステップS512)、その後、この画像データDn+1を用いて上述したステップS503以降の処理手順を繰り返す。一方、制御部22は、全画像データに対して処理完了であると判断した場合(ステップS511,Yes)、上述したステップS503以降の処理手順を終了する。
つぎに、上述したステップS507のベクトル加算処理について詳細に説明する。図14は、演算処理部22aがベクトル加算処理を行う動作を説明する模式図である。図15は、ベクトル加算処理によって得られたベクトル加算値をFIFO型メモリの各メモリ領域に保存する動作を説明する模式図である。なお、図14,15では、複数の画素領域EAn,EBn,ECn,EDnのうちの画素領域EBnについて具体例を説明する。
図14に示すように、演算処理部22aは、上述したステップS503の動きベクトル演算処理を繰り返し行い、たとえば画像データD1〜D13の画素領域EB1〜EB13の相関値を算出して動きベクトルVB2〜VB13を演算する。ここで、動きベクトルVB2〜VB13のうち、動きベクトルVB2〜VB4,VB12は、閾値P以上の大きさと方向F1とを有するベクトルであり、動きベクトルVB5,VB9,VB13は、閾値P以上の大きさと方向F2とを有するベクトルである。また、動きベクトルVB6〜VB8,VB10,VB11は、閾値P未満の大きさを有するベクトルである。この場合、演算処理部22aは、上述したステップS507のベクトル加算処理を繰り返し行い、方向F1の動きベクトルVB2〜VB4を順次加算したベクトル加算値SVB1を算出する。制御部22は、図15に示すように、算出したベクトル加算値SVB1をメモリ領域M1に保存する。
一方、動きベクトルVB5は、前回のベクトル加算処理によって加算された動きベクトルVB4と異なる方向F2を有するので、演算処理部22aは、ベクトル加算値SVB1が動きベクトルVB2〜VB4を順次加算したものであると確定するとともに、ベクトル加算値SVB1と異なる方向F2のベクトル加算値SVB2として動きベクトルVB5を加算する。この場合、制御部22は、ベクトル加算値SVB2として動きベクトルVB5をメモリ領域M2に保存する。さらに、演算処理部22aは、閾値P未満の大きさの動きベクトルVB6〜VB8をベクトル加算処理対象から順次除外し、方向F2の動きベクトルVB9をベクトル加算値SVB2として動きベクトルVB5に加算する。この場合、制御部22は、メモリ領域M2のベクトル加算値SVB2を動きベクトルVB5,VB9を順次加算したものに更新する。
つぎに、演算処理部22aは、閾値P未満の大きさの動きベクトルVB10,VB11をベクトル加算処理対象から順次除外する。ここで、動きベクトルVB12は、前回のベクトル加算処理によって加算された動きベクトルVB9と異なる方向F1を有する。したがって、演算処理部22aは、ベクトル加算値SVB2が動きベクトルVB5,VB9を順次加算したものであると確定するとともに、ベクトル加算値SVB2と異なる方向F1のベクトル加算値SVB3として動きベクトルVB12を加算する。この場合、制御部22は、ベクトル加算値SVB3として動きベクトルVB12をメモリ領域M3に保存する。
また、動きベクトルVB13は、前回のベクトル加算処理によって加算された動きベクトルVB12と異なる方向F2を有する。したがって、演算処理部22aは、ベクトル加算値SVB3が動きベクトルVB12であると確定するとともに、ベクトル加算値SVB3と異なる方向F2のベクトル加算値SVB4として動きベクトルVB13を加算する。この場合、制御部22は、ベクトル加算値SVB4として動きベクトルVB13をメモリ領域M4に保存する。その後、演算処理部22aが次の画像データD14の画素領域EB14について方向F2と異なる方向の動きベクトルVB14を算出した場合、または次の画像データD14が画像データD13と異なる撮像シーンのものである場合、演算処理部22aは、ベクトル加算値SVB4が動きベクトルVB13であると確定する。なお、演算処理部22aは、動きベクトルが互いに同じ方向を有しているか否かについて、たとえば水平方向と動きベクトルとのなす角度を算出し、かかる動きベクトルの角度の差が閾値以下であれば同じ方向であるとする。
このように、演算処理部22aは、画像データDn上のたとえば画素領域EBnについて、閾値P以上の大きさの動きベクトルVBnを方向別に順次加算し、ベクトル加算処理対象の動きベクトルの方向が変わる毎にベクトル加算値を確定する。制御部22は、たとえば画素領域EBnについて、算出されたベクトル加算値を方向別にメモリ領域を変えて順次保存する。なお、演算処理部22aは、画像データDn上の他の画素領域EAn,ECn,EDnについて、上述した画素領域EBnの場合と同様に、方向別にベクトル加算値を算出する。制御部22は、上述した画素領域EBnの場合と同様に、他の画素領域EAn,ECn,EDnについて、得られたベクトル加算値を方向別にメモリ領域を変えて順次保存する。この場合、制御部22のFIFO型メモリは、複数の画素領域EAn,EBn,ECn,EDnのそれぞれについて少なくとも4つのメモリ領域を有する。
つぎに、フレームレート制御部22cが一連の画像のうちの同一撮像シーンの画像が連続する連続画像群の中から上述した代表画像群を特定する動作について具体的に説明する。図16は、この連続画像群の中から上述した代表画像群を特定する動作を説明する模式図である。なお、図16では、一連の画像のうちの先頭の画像データD1、画像データD1と同一撮像シーンの画像データD2〜D13、画像データD1〜D13と異なる撮像シーンの画像データD14を例示する。
図16において、フレームレート制御部22cは、上述したように、先頭の画像データD1にSCHマークを付与し、この画像データD1と同一撮像シーンの画像データD2〜D13にSKマークを順次付与する。また、フレームレート制御部22cは、画像データD1〜D13と異なる撮像シーンの画像データD14にSCHマークを付与する。ここで、フレームレート制御部22cは、上述したステップS509において、SCHマークを付与した画像データD1,D14の間に連続する画像データD1〜D13に周期的な生体運動等の被写体の繰り返し動作があるか否かを判断する。
この場合、フレームレート制御部22cは、図15に例示したように制御部22のFIFO型メモリに保存された画像データD1〜D13の複数の画素領域毎のベクトル加算値を読み出す。フレームレート制御部22cは、読み出した各ベクトル加算値をもとに、画像データD1〜D13の複数の画素領域の少なくとも一つに往復移動を2周期以上繰り返すものを検出した場合、画像データD1〜D13における被写体の繰り返し動作を検出する。
たとえば図15に例示するベクトル加算値において、フレームレート制御部22cは、ベクトル加算値SVB1,SVB2の各大きさの差が所定値以下であり、ベクトル加算値SVB2,SVB3の各大きさの差が所定値以下であり、ベクトル加算値SVB3,SVB4の各大きさの差が所定値以下である場合、ベクトル加算値SVB1〜SVB4で方向F1(往路方向)と方向F2(復路方向)との往復移動を2周期繰り返す画素領域EBnを検出する。なお、フレームレート制御部22cは、ベクトル加算値SVB1,SVB2の各ベクトル成分の和が所定値以下であり、ベクトル加算値SVB2,SVB3の各ベクトル成分の和が所定値以下であり、ベクトル加算値SVB3,SVB4の各ベクトル成分の和が所定値以下である場合に、ベクトル加算値SVB1〜SVB4で方向F1(往路方向)と方向F2(復路方向)との往復移動を2周期繰り返す画素領域EBnを検出してもよい。
フレームレート制御部22cは、画像データD1〜D13の他の画素領域EAn,ECn,EDnについても画素領域EBnの場合と同様の処理を行い、画像データD1〜D13の複数の画素領域EAn,EBn,ECn,EDnの少なくとも一つに往復移動を2周期以上繰り返すものを検出した場合、画像データD1〜D13における被写体の繰り返し動作を検出する。この場合、画像データD1〜D13による連続画像群は、周期的な生体運動等の被写体の繰り返し動作を擬似的な動画で表す画像群である。
フレームレート制御部22cは、たとえば画像データD1〜D13における被写体の繰り返し動作を検出した場合、上述したステップS510を行い、画像データD1〜D13のうちの所定回数分たとえば1周期分の被写体の繰り返し動作を表す画像データのSKマークを消去する。この場合、フレームレート制御部22cは、たとえば図15に例示したベクトル加算値SVD1〜SVD4に含まれる動きベクトルを有する画像データD2〜D5,D9,D12,D13のうち、1回分の被写体の繰り返し動作を表す画像データのSKマークを消去する。たとえば、フレームレート制御部22cは、方向F1すなわち往路方向のベクトル加算値SVD1と方向F2すなわち復路方向のSVD2に含まれる動きベクトルを有する画像データD2〜D5,D9のSKマークを消去する。これによって、フレームレート制御部22cは、画像データD1〜D13による連続画像群の中から、画像データD1〜D5,D9を被写体の繰り返し動作を擬似的な動画で表す代表画像群として特定できる。
また、フレームレート制御部22cは、ステップS510において、たとえば画像データD1〜D5,D9を含む連続画像群DG1のうちの各動きベクトルの大きさが閾値P未満である画像データD6〜D8のSKマークと、画像データD1〜D13のうちの連続画像群DG1以外の連続画像群DG2の各画像データD10〜D13のSKマークとを消去しない。これによって、フレームレート制御部22cは、画像データD1〜D13のうちの代表画像群(すなわち画像データD1〜D5,D9)以外を画像カット対象として特定できる。
つぎに、フレームレート制御部22cが被検体1内の一連の画像データを順次画像表示する動作について説明する。図17は、一連の画像データのうちのSCHマークを付与した画像データまたはSKマークを消去した画像データを順次画像表示するための処理手順を説明するフローチャートである。図17において、フレームレート制御部22cは、上述したステップS201と同様に、記憶部14から被検体1内の一連の画像のうちの画像データDnを読み出し(ステップS601)、この画像データDnに上述したSCHマークが付与されているか否かを判断する(ステップS602)。
フレームレート制御部22cは、ステップS602において、画像データDnからSCHマークを検出しなければ(ステップS602,No)、この画像データDnにSCHマークが付与されていないと判断し、上述したステップS203と同様に、この画像データの表示フレームレートを上述した通常設定の表示フレームレートに決定する(ステップS603)。
一方、フレームレート制御部22cは、ステップS602において、画像データDnからSCHマークを検出した場合(ステップS602,Yes)、この画像データDnにSCHマークが付与されていると判断し、ステップS603による通常設定の表示フレームレートに比して低速設定の表示フレームレートに決定する(ステップS604)。なお、この低速設定の表示フレームレートは、上述した再生操作アイコン群100のいずれかに対応する通常設定の表示フレームレートに比して低速の表示フレームレートである。
つぎに、フレームレート制御部22cは、ステップS603またはS604の処理を行った画像データDnに上述したSKマークが付与されているか否かを判断する(ステップS605)。この場合、フレームレート制御部22cは、この画像データDnからSKマークを検出しなければ(ステップS605,No)、この画像データDnにSKマークが付与されていないと判断し、表示部12に対し、このSKマークが付与されていない画像データDnを表示する制御を行う(ステップS607)。具体的には、フレームレート制御部22cは、このSKマークが付与されていない画像データDnがステップS603において通常設定の表示フレームレートに決定した画像データであれば、表示部12に対し、この画像データDnを通常設定の表示フレームレートで表示する制御を行う。また、フレームレート制御部22cは、このSKマークが付与されていない画像データDnがステップS604において低速設定の表示フレームレートに決定した画像データであれば、表示部12に対し、この画像データDnを低速設定の表示フレームレートで表示する制御を行う。
一方、フレームレート制御部22cは、ステップS605において画像データDnからSKマークを検出した場合(ステップS605,Yes)、このSKマークが付与された画像データDnを画像表示対象から除外し(ステップS606)、このSKマークが付与された画像データDnを表示部12に表示させない(すなわち画像カットする)。
ステップS605またはS606の処理が完了した場合、フレームレート制御部22cは、上述したステップS206と同様の処理を行い(ステップS608)、全画像を表示部12に未だ再生完了していないと判断すれば(ステップS608,No)、次の画像データDn+1を読み出し(ステップS609)、その後、この画像データDn+1に対して上述したステップS602以降の処理手順を繰り返す。一方、フレームレート制御部22cは、全画像を表示部12に再生したと判断すれば(ステップS608,Yes)、表示指定された被検体1内の一連の画像データを順次画像表示する処理手順を終了する。
ここで、上述した図16に例示する被検体1の画像データD1〜D14を用い、フレームレート制御部22cが被検体1内の一連の画像を順次表示する動作についての具体例を説明する。ステップS601〜S609において、フレームレート制御部22cは、たとえば被検体1内の画像データD1〜D14を順次読み出す。フレームレート制御部22cは、SCHマークが付与された先頭の画像データD1の表示フレームレートを低速設定の表示フレームレートに決定し、表示部12に対し、低速の表示フレームレートで画像データD1を画像表示する制御を行う。
つぎに、フレームレート制御部22cは、SKマークおよびSCHマークがともに付与されていない画像データD2〜D5の表示フレームレートを通常設定の表示フレームレートに決定し、表示部12に対し、画像データD2〜D5を通常設定の表示フレームレートで順次画像表示する制御を行う。その後、フレームレート制御部22cは、SKマークが付与された画像データD6〜D8を画像表示対象から順次除外して表示部12に画像表示させず、SKマークおよびSCHマークがともに付与されていない画像データD9の表示フレームレートを通常設定の表示フレームレートに決定し、表示部12に対し、画像データD9を通常設定の表示フレームレート画像表示する制御を行う。
その後、フレームレート制御部22cは、SKマークが付与された画像データD10〜D13を画像表示対象から順次除外して表示部12に画像表示させず、SCHマークが付与された画像データD14の表示フレームレートを低速設定の表示フレームレートに決定し、表示部12に対し、画像データD14を低速設定の表示フレームレートで画像表示する制御を行う。
かかるフレームレート制御部22cの動作によって、表示部12は、たとえば、SCHマークが付与された画像データD1に対応する被検体1内の画像を低速設定の表示フレームレートに対応する表示時間で表示し、つぎに、SCHマークおよびSKマークがともに付与されていない画像データD2〜D5,D9に対応する被検体1内の各画像すなわち代表画像群を通常設定の表示フレームレートに対応する表示時間で順次表示し、その後、SCHマークが付与された画像データD14に対応する被検体1内の画像を低速設定の表示フレームレートに対応する表示時間で表示する。この場合、表示部12は、画像データD2〜D5,D9に比して単位フレーム毎の表示時間を長くして画像データD1,D14をそれぞれ表示する。
また、表示部12は、SKマークが付与された画像データD6〜D8,D10〜D13に対応する被検体1内の各画像を表示しない(画像カットする)。すなわち、表示部12は、画像データD1と同一撮像シーンの画像データD2〜D13のうち、周期定な生体運動等の被写体の繰り返し動作の1周期分を擬似的な動画で表す代表画像群として画像データD2〜D5,D9を通常設定の表示フレームレートに対応する表示時間で順次表示し、被写体がほぼ静止した画像データD6〜D8,D10,D11と代表画像群によって表される被写体の繰り返し動作が繰り返される画像データD12,D13とを表示しない。これによって、フレームレート制御部22cは、周期定な生体運動等の被写体の繰り返し動作を擬似的な動画で表示部12に表示できるとともに、たとえば画像データD2〜D13の表示時間を短縮でき、画像データD2〜D13を通常設定の表示フレームレートで順次表示する場合に比して短い表示時間で順次表示できる。
以上、説明したように、この発明の実施の形態2では、上述した実施の形態1の機能に加え、一連の画像のうちの同一撮像シーンの画像が連続する連続画像群に被写体の繰り返し動作を表す画像群がある場合、この連続画像群のうちの所望回数分の被写体の繰り返し動作を表す画像群を代表画像群として特定し、特定した代表画像群をたとえば通常設定の表示フレームレートに基づく表示時間で順次表示し、この代表画像群以外の残りの画像の表示時間を代表画像群に比して短くしている。したがって、上述した実施の形態1の作用効果を享受するとともに、この連続画像群によって表される周期的な生体運動等の被写体の繰り返し動作を擬似的な動画像で観察可能な画像表示装置を実現できる。
なお、この発明の実施の形態1,2では、携帯型記録媒体5に格納された一連の画像データを取り込む際に、この一連の画像データにSCHマークまたはSKマークを付与していたが、この発明はこれに限定されるものではなく、記憶部14に格納された一連の画像データにSCHマークまたはSKマークを付与する処理を行ってもよい。また、一連の画像データを順次画像表示する際に略リアルタイムに、この一連の画像データにSCHマークまたはSKマークを付与する処理を行ってもよい。すなわち、記憶部14に格納された一連の画像データを順次画像表示する際に、この画像表示対象の一連の画像データのうち、画像表示前の所望フレーム数たとえば5フレーム程度の画像データを逐次先行して読み出し、読み出した所望フレーム数の画像データにSCHマークまたはSKマークを付与する処理を行ってもよい。
また、この発明の実施の形態1およびその変形例では、互いに類似度の高い画像が連続する連続画像群のうちの先頭の画像を代表画像として表示していたが、この発明はこれに限定されるものではなく、この連続画像群のうちの所定のフレーム順の画像を代表画像として表示してもよい。また、この代表画像として、1フレームの画像に限らず、この連続画像群に含まれる1フレーム以上の画像を代表画像として表示してもよい。
さらに、この発明の実施の形態1,2および実施の形態1の変形例では、各画像データ上に4つの画素領域を設定していたが、この発明はこれに限定されるものではなく、各画像データ上に2以上の画素領域をそれぞれ設定すればよい。この場合、各画像データ上の複数の画素領域は、フレーム中心を基準に対称となる各位置に設定されることが望ましく、さらには、フレーム中心を基準に十字方向またはフレームの対角方向に位置するように設定されることが望ましい。たとえば8つの画素領域は、フレーム中心を基準に対称であって、フレーム中心を基準に十字方向または対角方向であって対称となる各位置にそれぞれ設定されることが望ましい。
また、この発明の実施の形態2では、同一撮像シーンの画像が連続する連続画像群の中から特定する代表画像群に、この連続画像群の先頭の画像を含むようにしていたが、この発明はこれに限定されるものではなく、この連続画像群のうちの被写体の繰り返し動作を表す画像群を代表画像群として特定すればよく、この連続画像群の先頭の画像を代表画像群に含めなくてもよい。
さらに、この発明の実施の形態2では、同一撮像シーンの画像が連続する連続画像群のうちの1回分の被写体の繰り返し動作を表す画像群を代表画像群として特定していたが、この発明はこれに限定されるものではなく、この連続画像群のうちの2周期以上の被写体の繰り返し動作を繰り返し表す画像群を代表画像群として特定してもよい。
また、この発明の実施の形態2では、同一撮像シーンの画像が連続する連続画像群において2周期の往復移動を行う画素領域を検出した場合、この連続画像群に被写体の繰り返し動作を表す画像群があると判断していたが、この発明はこれに限定されるものではなく、この連続画像群において2周期以上の往復移動を行う画素領域を検出した場合、この連続画像群に被写体の繰り返し動作を表す画像群があると判断してもよい。
さらに、この発明の実施の形態2では、同一撮像シーンの画像が連続する連続画像群のうちの代表画像群以外の残りの画像を表示対象から除外していたが、この発明はこれに限定されるものではなく、この代表画像群の表示フレームレートに比して高速の表示フレームレートに設定して、この代表画像群以外の残りの画像を順次表示してもよい。この場合、この代表画像群以外の残りの画像は、この代表画像群に比して単位フレーム毎の表示時間を短くして表示される。
また、この発明の実施の形態2では、ベクトル加算値を保存する記憶手段としてFIFO型メモリを用いていたが、この発明はこれに限定されるものではなく、FIFO型メモリに代えて、画素領域毎に少なくとも4つのメモリ領域を有する各種メモリを用いてもよい。この場合、各メモリ領域内のベクトル加算値は、上述したステップS509において被写体の繰り返し動作を検出しなかった場合、および上述したステップS510のSKマーク消去処理が完了した場合、その都度リセットすればよい。