JP4339446B2 - 画像表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像表示装置、より詳しくは、撮像レートを可変とする撮像装置により撮影された画像を表示する画像表示装置に関する。
【０００２】
【従来の技術】
ある撮像レートで撮影された画像を、撮影時とは異なる表示用のフレームレートで表示する画像表示装置は、従来より、種々のものが提案されている。
【０００３】
このようなものの第１の従来技術としては、特開平７−５９０５４号公報に記載されているような、画像入力側のフレームレートと画像表示側のフレームレートが異なる画像を表示する映像信号変換装置が挙げられる。該公報に記載の画像表示装置は、内蔵するメモリに対して、画像データを書き込む際には入力側の映像信号方式に同期させ、一方、画像データを読み出す際には表示側の映像信号方式に同期させるようにしたものである。このとき、表示側のフレームレートに対して入力側のフレーム数が不足する場合には、必要枚数のフレーム画像を補間し、また、入力側のフレーム数が過剰となる場合には、不要枚数のフレーム画像を間引きすることにより、異なるテレビジョン方式の入出力を可能としたものとなっている。
【０００４】
次に、第２の従来技術としては、特開平９−９７３４８号公報に記載されているような、被写体の動きに対応した補間画像を連続的に作成する動画表示装置および方法が挙げられる。該公報に記載の動画表示装置は、画像データを保存しておくための画像記憶手段と、この画像記憶手段から読み出した画像データを一時的に記憶しておくためのバッファ手段と、被写体の特徴点の動きを表すパラメータ列を制御データとして与えるための制御データ付与手段と、この制御データに従って補間画像を生成する画像生成手段と、画像を順次表示する表示手段とを備えている。こうして、少量の原画像データと、予め用意された上記パラメータ列の情報とに基づいて、被写体の動きに対応した補間画像を連続的に作成することにより、少量の基本画像データから長時間の動画像を作成して表示することができるようになっている。
【０００５】
さらに、第３の従来技術としては、特開平１０−２３３９９６号公報に記載されているような、間欠的に記録された映像信号から、被写体の動きに対応した補間画像を作成して原画像間に内挿し表示を行う、映像信号再生装置および映像信号再生方法が挙げられる。この映像信号再生装置は、映像信号を再生する再生手段と、映像信号の動きベクトルを検出するベクトル検出手段と、補間画像を生成する手段と、映像を出力する出力手段とを備え、映像信号を再生する際に、上記ベクトル検出手段が被写体の動きベクトルを検出して、上記補間フレーム作成手段が、検出した動きベクトルと２枚の連続するフレーム画像とに基づいて補間フレーム画像を作成し、これを原画像間に内挿して表示するものとなっている。これによって、間欠的に記録された映像信号を再生する際に、違和感の少ない動画像を表示することができるようになっている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記第１、第３の従来技術では、原画像のフレームレートが一定である場合には対応することができるが、原画像のフレームレートが可変である場合には、表示装置に固有の一定の表示レートで表示しようとしても、撮像時とは異なるタイミングで画像が再生されてしまい、不自然な動画となってしまうことがある。
【０００７】
また、上記第２の従来技術では、事前に被写体の動きに関する情報がわかっている場合にのみ、動きを考慮した補間画像の作成が可能になるものであるために、事前に被写体の動きに関する情報がない場合には、補間画像を作成することはできない。
【０００８】
本発明は上記事情に鑑みてなされたものであり、可変な撮像レートの画像データを、所定の表示レートの画像表示手段に適切に表示させることが可能な画像表示装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明による画像表示装置は、撮影時のフレームレートである撮像レートを可変とする撮像装置により撮影された画像データを連続表示する画像表示装置であって、上記画像データと該画像データの撮像レートに係る情報とを記録する画像記憶手段と、所定の表示時のフレームレートである表示レートにより画像を表示する画像表示手段と、上記画像記憶手段に記録されている情報から撮像レートをフレーム毎に検出するとともに上記画像表示手段の表示レートを検出し、表示レート値から与えられる表示時間間隔をｆ、撮像レート値から与えられるｎ番目のフレームに係る１フレーム期間をＦn としたときに、撮像レートよりも表示レートの方が早い場合には、ガウスの記号［］を用いて

により求められるＸn をフレーム期間Ｆn における補間画像の必要枚数とするフレームレート検出手段と、撮像レートよりも表示レートの方が早い場合には、このフレームレート検出手段により求められた枚数Ｘn の補間画像が発生されるように上記画像記憶手段から読み出されるｎフレーム目の画像Ｉn における任意の画素信号レベルを（Ｉn ）、（ｎ＋１）フレーム目の画像Ｉn+1 における任意の画素信号レベルを（Ｉn+1 ）としたときに、空間的に同位置に存在する全画素の画素信号レベル同士に関して、

の相関演算を行ってフレーム期間Ｆn における（ｍ＋１）番目の補間画像Ｏn,m+1 における任意の画素信号レベル（Ｏn,m+1 ）を求めて、該補間画像Ｏn,m+1 を発生させる補間画像発生手段とを備えたものである。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図５は本発明の第１の実施形態を示したものであり、図１は画像表示装置の構成の概略を示すブロック図、図２はフレームレート検出部の構成を示すブロック図、図３は補間画像発生部の構成を示すブロック図、図４は撮像タイミングと表示タイミングとの対応例を示すタイムチャート、図５は原画像と補間画像とを対比して示す図である。
【００１３】
この画像表示装置は、撮影時のフレームレートである撮像レートを可変とする撮像装置により撮影された画像（以下、必要に応じて原画像と記載する）の画像データを記憶する画像記憶手段たる画像記憶部１と、この画像記憶部１から読み出されたデータに基づき撮像時のフレームレートである撮像レートを検出するとともに後述する画像表示部４による表示時のフレームレートである表示レートを検出するフレームレート検出手段たるフレームレート検出部２と、上記画像記憶部１から出力される画像データに基づき補間用のフレーム画像を生成する補間画像発生手段たる補間画像発生部３と、この補間画像発生部３から出力される画像データを所定の表示レートで連続して表示する画像表示手段たる画像表示部４とを有して構成されている。
【００１４】
次に、上記フレームレート検出部２は、図２に示すように、上記画像記憶部１から出力される画像間のフレームレートを検出して出力する撮像レート検出手段たる撮像レート検出部２ａと、上記画像表示部４の出力に基づいて表示レートを検出する表示レート検出部２ｃと、上記撮像レート検出部２ａにより検出された撮像レートおよび上記表示レート検出部２ｃにより検出された表示レートに基づいて作成するべき補間画像の枚数を計算する補間画像枚数検出手段たる補間枚数演算部２ｂと、を有して構成されている。
【００１５】
さらに、上記補間画像発生部３は、図３に示すように、上記画像記憶部１から撮像時と同じ時系列で順次読み出した少なくとも１フレーム分の画像を一時的に蓄えておくメモリ手段たるメモリ部３ａと、このメモリ部３ａから出力される時系列的に前の画像データ（旧画像データ）と、上記画像記憶部１から出力される時系列的に後の画像データ（新画像データ）と、上記フレームレート検出部２から出力される補間画像の枚数、撮像レート、表示レートの各情報とに基づいて、原画像間の相関を演算することにより補間画像を連続して作成し上記画像表示部４に出力する補間画像作成手段たる補間画像作成部３ｂと、を有して構成されている。
【００１６】
なお、上記メモリ部３ａは、上記画像記憶部１から入力される新画像データを書き込みながら、同時に、旧画像データを読み出して上記補間画像発生部３へ出力する動作を、繰り返して行うことができる構成となっている。
【００１７】
次に、このような画像表示装置の作用について説明する。
【００１８】
図示しないシステムコントローラに対して画像発生・表示の命令が入ると、該システムコントローラの制御により、上記画像記憶部１は、連続する原画像データを上記補間画像発生部３へ送出する。
【００１９】
また、上記フレームレート検出部２では、この補間画像発生部３に連続して読み込まれる画像間のフレームレート値を上記撮像レート検出部２ａにより検出するとともに、上記表示レート検出部２ｃにより画像表示部４における表示側のフレームレート値を検出する。そして、検出されたこれら２つのフレームレート値に基づいて、補間枚数演算部２ｂが、作成する補間画像の枚数を計算する。こうして求められた補間画像の枚数と、上記検出された撮像レートおよび表示レートの情報とを、上記補間画像発生部３へ出力する。
【００２０】
ここでフレームレート値を検出する手段について説明する。
【００２１】
まず、撮像された画像のフレームレート値を画像データ内に付与する手段としては、以下のものが考えられる。
【００２２】
例えば、撮像装置内で撮像クロックの周波数を変えることによってフレームレートを変化させている場合には、該撮像装置内において画像撮影時の撮像クロックの１クロック所要時間を検出し、その所要時間からフレームレート値を計算により求めて、該フレームレート値を画像データの垂直ブランキング期間に書き込むという手段が考えられる。
【００２３】
また、別の手段として、撮像装置内で連続する画像間の垂直同期信号の時間間隔を検出してフレームレート値を求め、同様に画像データの垂直ブランキング期間に書き込んでも構わない。
【００２４】
このような手段を用いて画像データ内に記録されているフレームレート値の情報を、画像表示装置において、画像を読み出すときに、上記撮像レート検出部２ａにより検出するようにしている。
【００２５】
あるいは、撮像装置内において、各画像データが備えるタグの空き領域に、撮像時のフレームレート値を書き込み、画像表示装置内で該タグに記録されたフレームレート値を検出するという手段を用いても、上述と同様の効果を奏することができることはいうまでもない。
【００２６】
次に、表示側のフレームレート値は、画像表示部４で発生する映像同期信号を表示レート検出部２ｃにより検出すればよい。
【００２７】
また、上記補間画像発生部３は、上記画像記憶部１から撮像時と同じ時系列で順次読み出された新画像データをメモリ部３ａに書き込みながら、同時に旧画像データを繰り返し読み出して補間画像作成部３ｂへ出力する。この補間画像作成部３ｂでは、上記画像記憶部１から入力される新画像データと、上記メモリ部３ａから入力される旧画像データと、上記フレームレート検出部２から入力される補間画像の枚数と撮像レートと表示レートとの情報に基づいて、上記新画像データと旧画像データの相関をとり、必要枚数の補間画像を連続して作成する。こうして作成された表示側のフレームレートに応じた枚数の補間画像データが、上記画像表示部４に出力される。
【００２８】
こうして画像表示部４は、上記補間画像発生部３から送出されてきた画像データを、該画像表示部４に固有のフレームレート、例えば６０コマ／秒のフレームレートにより連続して表示する。
【００２９】
以上が、画像データ読み出しから補間画像表示までの、画像表示装置の動作の流れの一例である。
【００３０】
なお、画像発生・表示の命令が入る前に、予め画像記憶部１から原画像を読み出して撮像レートや表示レートを検出するとともに補間画像枚数を求めておき、画像発生・表示の命令が入り次第、検出した撮像レート、表示レート、補間画像枚数の情報と原画像データとを補間画像発生部３に付与して、補間画像の発生・表示を行うという流れを採用するようにしてもよい。このときには、より短時間で画像の表示を開始することが可能となる。
【００３１】
次に、補間画像を作成する手段の一例について説明する。この例は、作成するべき補間画像の前後に存在する２枚の原画像から、該原画像同士のフレーム相関値を演算し、そのフレーム相関値を用いて補間画像を作成する例である。
【００３２】
図４を参照して、撮像タイミングと表示タイミングとの対応例について説明する。
【００３３】
図４の上段は撮像側のタイミングを表したものであり、各符号Ｆ1 ，Ｆ2 ，…，Ｆn は、原画像Ｉn の１フレーム期間（秒）を示し、図示の例では、それぞれの期間は異なるものとなっている。
【００３４】
一方、図４の下段は表示側のタイミングを表したものであり、符号ｆは、補間画像の表示時間間隔（秒）を示し、常に一定となっている。
【００３５】
また、各原画像は符号Ｉ1 ，Ｉ2 ，Ｉ3 ，…Ｉn により示され、原画像において空間的に同位置に存在する任意の画素信号レベルを（Ｉ1 ），（Ｉ2 ），（Ｉ3 ），…，（Ｉn ）として表すものとする。
【００３６】
同様に、各補間画像は符号Ｏ1,1 ，Ｏ1,2 ，Ｏ1,3 ，…，Ｏn,m により示され、補間画像において空間的に同位置に存在する任意の画素信号レベルを（Ｏ1,1 ），（Ｏ1,2 ），（Ｏ1,3 ），…，（Ｏn,m ）として表すものとする。なお、このときｍはフレーム期間Ｆn 内に存在する補間画像の順序、つまり時系列においてｍ番目の画像であることを示している。
【００３７】
まず、上述のように、フレームレート検出部２内の撮像レート検出部２ａにより撮像レート値を、表示レート検出部２ｃにより表示レート値をそれぞれ検出する。これらの両情報を補間画像枚数演算部２ｂに出力して、与えられた各フレームレート値を画像の時間間隔として扱う。
【００３８】
撮像レート値から原画像Ｉn の１フレーム期間Ｆn （秒）が、表示レート値から上記表示時間間隔ｆ（秒）が与えられる。これらを用いて、フレーム期間Ｆn における補間画像枚数Ｘn （秒）を、次に示すような数式１により求める。
【００３９】
【数１】

ここに、［］はガウスの記号であり、括弧内の数値を超えない整数の内の最大のものを表している。
【００４０】
次に、フレームレート検出部２で検出された撮像レート値および表示レート値と、この数式１から求められた補間枚数Ｘn （枚）と、を補間画像発生部３内の補間画像作成部３ｂへ送出する。
【００４１】
これにより、補間画像作成部３ｂにおいても、撮像レート値から原画像Ｉn の１フレーム期間Ｆn （秒）が、表示レート値から上記表示時間間隔ｆ（秒）が、それぞれ与えられることになる。
【００４２】
こうして、フレーム期間Ｆ2 における最初の表示フレームＯ2,1 は例えば原画像Ｉ2 をそのまま使用するが、その後の表示フレームＯ2,2 からＯ2,6 までは原画像Ｉ2 と原画像Ｉ3 の相関演算を行って作成した補間画像を使用することになる。
【００４３】
このような演算手段により作成される補間画像の様子について、図５を参照して説明する。
【００４４】
この図５中においては、作成された各補間画像は、画像上に本来１つしか存在しない被写体が２つ存在するものとなっており、これら２つの被写体は、例えばその相関に応じた輝度（あるいは濃度）となっている。こうした画像は、１枚の静止画として見た場合には実際とは異なった画像となっているが、各補間画像を連続して表示することにより、見た目に滑らかな動きを実現することができるものである。こうした重ね合わせの処理は、次に示すように演算が容易で、画像処理回路等への負荷が比較的小さいという利点を有している。
【００４５】
すなわち、上記フレーム期間Ｆn および表示時間間隔ｆと、２枚の連続する原画像とに基づいて、上記図４中のフレーム期間Ｆn に存在する補間画像を求めるには、連続する原画像の全画素において、同一画素間で次の数式２に示すような演算を行う。
【００４６】
【数２】

ここに、ｍ＝０，１，２，…，Ｘn （ｍ：整数）であり、Ｆn やｆは上述したように、Ｆn ：原画像の１フレーム期間（秒）、ｆ：表示時間間隔（秒）、である。
【００４７】
この数式２に示すような演算を、対象となるｍ番目の補間画像の全画素について行い、さらにそれを０番目からＸn 番目までの補間画像について行うことにより、フレーム期間Ｆn 内の一連の補間画像を得ることができる。なお、ここでは、フレーム期間Ｆn での最初の画像の表示には原画像Ｉn を用いている。
【００４８】
以上が補間画像を作成するための演算手段の一例である。
【００４９】
なお、補間画像を作成するための手段としては、例えば、上記従来の技術において述べた特開平１０−２３３９９６号公報に記載されているような公知の技術を用いるようにしても構わない。
【００５０】
このような第１の実施形態によれば、撮像レートと表示レートを検出して、これらに違いがある場合には、それを検出してその比に応じた枚数の補間画像を発生させるようにしたために、可変なフレームレートによって撮影された画像を、所定の表示レートの画像表示部により適切に表示させることが可能となる。
【００５１】
図６は本発明の第２の実施形態を示したものであり、撮像タイミングと表示タイミングとの対応例を示すタイムチャートである。
【００５２】
この第２の実施形態において、上述の第１の実施形態と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【００５３】
上記図４に示した例では、撮像レートよりも表示レートの方が早いものとなっていた。これに対してこの第２の実施形態は、撮像レートの方が表示レートよりも早い場合について実施形態である。
【００５４】
この実施形態の補間画像発生部３は、撮像側と表示側のフレームレートの関係に応じて、相関の取り方や作成する補間画像の枚数を変化させることができる機能と、撮像レート値と表示レート値から撮像側と表示側のタイミングのずれ量を求める機能とを備えたものとなっている。それ以外の構成は、上述した第１の実施形態の図１に示したものとほぼ同様である。
【００５５】
また、この第２の実施形態の画像表示装置の動作の概要は、上述した第１の実施形態とほぼ同様である。
【００５６】
次に、作成しようとする補間画像と、その前後に存在する２枚の原画像との時間的関係から演算した原画像同士のフレーム相関値を用いて、補間画像を作成する手段の一例について説明する。
【００５７】
撮像タイミングと表示タイミングとの対応は、例えば図６に示すようになっていて、可変となっている撮像側のフレーム期間Ｆn よりも、常に一定である表示側のフレーム期間ｆのほうがやや長くなっている。
【００５８】
この図６に示す符号等は、上記図４に示したものとほぼ同様であるが、補間して作成された画像をＯ1 ，Ｏ2 ，Ｏ3 ，…，Ｏn などとして示し、撮像側と表示側のタイミングのずれ量をそれぞれＢ1 ，Ｂ2 ，…，Ｂn などとしている。また、各画素信号レベルを括弧（）を用いて表すことも上述と同様である。
【００５９】
このときの動作は次のようになる。まず、フレームレート検出部２で検出された撮像レート値と表示レート値とを、補間画像発生部３内の補間画像作成部３ｂへ送出する。
【００６０】
補間画像作成部３ｂでは、受け取った各レートにより与えられるフレーム期間Ｆn と表示時間間隔ｆとから、次の数式３に示すようにして、撮像側と表示側のタイミングのずれ量Ｂn を演算する。
【００６１】
【数３】

【００６２】
ただしここでは、図６に示すように、撮像側の１枚目の画像Ｉ1 と、補間側の１枚目の画像Ｏ1 とが、同じタイミングで表示されるものとする。
【００６３】
次に、上記フレーム期間Ｆn ，表示時間間隔ｆ，ずれ量Ｂn と、２枚の連続する原画像とから、補間画像を求める。ｎ番目の補間画像を求めるには、連続する原画像の全画素において、同一画素間で次の数式４に示すような演算を行う。
【００６４】
【数４】

【００６５】
このような演算を行うことにより、表示側のフレームレートの方が遅い場合にも、補間画像を作成することができる。
【００６６】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、撮像レートが表示レートより早い場合にも、適切な表示を行うことが可能となる。
【００６７】
図７、図８は本発明の第３の実施形態を示したものであり、図７は画像表示装置の特にフレームレート検出部の構成を示すブロック図、図８は動き量と新たに作成する補間画像枚数の関係についての一例を示す図である。
【００６８】
この第３の実施形態において、上述の第１，第２の実施形態と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【００６９】
この第３の実施形態は、被写体の動きに応じて、補間画像の作成枚数および補間画像を作成するための相関の取り方を変化させるようにしたものである。
【００７０】
この実施形態の画像表示装置は、図７に示すように構成されていて、画像記憶部１、補間画像発生部３、画像表示部４の構成については上述した第１、第２の実施形態と同様である。
【００７１】
また、本実施形態におけるフレームレート検出手段たるフレームレート検出部２Ａは、上記図２に示したものとほぼ同様に、撮像レート検出部２ａ、補間画像枚数演算部２ｂ、表示レート検出部２ｃを有しているが、さらに、図７に示すように、上記画像記憶部１から出力される原画像に基づいて被写体の動きを検出し、その結果を上記補間画像枚数演算部２ｂに出力する動き検出手段たる動き検出部２ｄを備えている。
【００７２】
すなわち、この動き検出部２ｄは、上記画像記憶部１から読み出された原画像データから、連続する複数フレーム間の被写体の動き量を検出して定量化し、その定量値をフレームレート検出部２内の補間画像枚数検出手段たる補間枚数演算部２ｂへ送出するものである。
【００７３】
動き検出部２ｄは、例えば以下のような手段により、連続する原画像間の被写体の動き量を検出する。
【００７４】
つまり、各原画像において、１枚分の原画像データの総輝度値を積算してそれぞれ求め、連続する画像データ間でそれぞれ積算された総輝度値の差分値を求める。この差分値は、動き量と対応しているとみなすことができるために、該差分値により動き量を検出することが可能となる。
【００７５】
こうして連続した原画像間での被写体の動き量を検出し、該動き量に応じて、新たに作成する補間画像の枚数を決定する。
【００７６】
なお、上述した第１の実施形態と同様に、画像発生・表示の命令が入る前に、予め画像記憶部１から原画像を読み出して被写体の動き量や撮像レート、表示レートを検出するとともに補間画像枚数を求めておき、画像発生・表示の命令が入り次第、検出した撮像レート、表示レート、補間画像枚数の情報と原画像データとを補間画像発生部３に付与して、補間画像の発生・表示を行うという流れを採用するようにしても構わない。
【００７７】
次に、動き量と新たに作成する補間画像枚数との関係の一例について、図８を参照して説明する。
【００７８】
この図８に示す例においては、被写体の動き量に応じて、作成する画像の枚数を多段階に決定し、表示する画像の枚数が不足する場合には同じ画像を複数回表示することにより表示レートに必要な枚数を与えるようにしている。
【００７９】
具体的には、例えば１６枚の補間画像が必要であっても、被写体の動きが少ないと判断される場合には、その動き量に応じて例えば４枚の補間画像のみを作成し、各補間画像を４回ずつ表示させることにより、合計１６枚の補間画像とすることになる。被写体の動きが少ない場合には、不自然な表示となることはないために、このように同一の画像を複数回表示しても構わないのである。
【００８０】
なお、上記図８に示したような細かい多段階の分類を行う替わりに、例えば静と動との２段階のみで被写体の動き量を決定して、次の原画像までは同一の画像を用いて補間するようにしてもよい。
【００８１】
このような第３の実施形態によれば、上述した第１，第２の実施形態とほぼ同様の効果を奏するとともに、被写体の動きが少ない場合には、補間画像発生部で行われる逐次補間の計算の回数が減少しあるいは不要となるために、その分の計算時間を短縮することができる。これにより、例えば補間画像を発生させるための演算がソフトウェア処理により行われているときには、該処理を行うためにシステムコントローラが占有される時間が減少するために、その分を他の処理の実行に振り当てることができ、より高速で効率的な処理を行うことができるようになる。さらに、補間画像発生部において消費される電力を抑制することも可能となり、システム全体の省電力化を図ることができる。
【００８２】
図９は本発明の第４の実施形態を示したものであり、画像表示装置の特にフレームレート検出部の構成を示すブロック図である。
【００８３】
この第４の実施形態において、上述の第１から第３の実施形態と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【００８４】
上記画像表示部４の表示レートは一定であることが多いために、逐次検出を行う代わりに、外部からその情報を与えることも可能である。そこで、この第４の実施形態は、画像表示部４に固有の表示レートを、外部から入力するようにしたものである。
【００８５】
この実施形態の画像表示装置は、図９に示すように、上述の第１の実施形態の画像表示装置とほぼ同様に構成されているが、フレームレート検出手段たるフレームレート検出部２Ｂにおいて、上記表示レート検出部２ｃの代わりに表示レート設定手段たる表示レート設定部２ｅを設けたものである。
【００８６】
この表示レート設定部２ｅは、上記画像表示部４で用いる表示レート値を、該画像表示装置の外部から入力するものであり、入力された該表示レート値は、上記補間画像枚数演算部２ｂおよび補間画像発生部３へ出力されるようになっている。
【００８７】
この表示レート設定部２ｅは、より具体的には、画像表示部４の１フレーム期間を予め複数記憶しておくメモリ機能と、これら複数の表示レート値から所望のものを選択することができるセレクタ機能とを有している。
【００８８】
このような表示レート設定部２ｅにおいて、上記セレクタ機能を用いて所望のフレームレート値を選択すると、選択されたフレームレート値に相当する表示側の１フレーム期間を上記メモリ機能から読み出して、上記補間画像枚数演算部２ｂおよび補間画像発生部３へ出力する。
【００８９】
なお、複数の設定値の中から表示レートを選ぶのではなく、表示側の１フレーム期間を連続する値の中から決定することができる構成としても、ほぼ同様の効果を奏することが可能であるのはいうまでもない。
【００９０】
このような第４の実施形態によれば、上述した第１から第３の実施形態とほぼ同様の効果を奏するとともに、表示レート検出部を省略して、その代わりにより簡潔な構成の表示レート設定部を採用したために、より一層、フレームレート検出部の構成を簡単にして低コスト化を図ることができる。
【００９１】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【００９２】
［付記］
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ることができる。
【００９３】
（１） 撮影時のフレームレートである撮像レートを可変とする撮像装置により撮影された画像データを連続表示する画像表示装置であって、
上記画像データと、該画像データの撮像レートに係る情報と、を記録する画像記憶手段と、
所定の表示時のフレームレートである表示レートにより画像を表示する画像表示手段と、
上記画像記憶手段に記録されている情報から撮像レートを検出するとともに、上記画像表示手段の表示レートを検出するフレームレート検出手段と、
このフレームレート検出手段により検出された情報に基づいて、上記画像記憶手段から読み出される画像に対して補間を行うための補間画像を発生させる補間画像発生手段と、
を具備したことを特徴とする画像表示装置。
【００９４】
（２） 上記フレームレート検出手段は、
上記画像記憶手段から読み出される画像データに基づき、被写体の動き検出を行って動き量を算出する動き検出手段と、
この動き検出手段により算出された動き量に応じて、発生させるべき補間画像の枚数を変化させる補間画像枚数検出手段と、
を有して構成されていることを特徴とする付記（１）に記載の画像表示装置。
【００９５】
（３） 上記フレームレート検出手段は、
上記画像記憶手段に記録されている情報から撮像レートを検出する撮像レート検出手段と、
上記画像表示手段の表示レートを外部から入力する表示レート設定手段と、
を有して構成されていることを特徴とする付記（１）に記載の画像表示装置。
【００９６】
（４） 上記補間画像発生手段は、
上記画像記憶手段から読み出される画像データを少なくとも１フレーム分記憶するメモリ手段と、
このメモリ手段から出力される時系列的に前の画像データと、上記画像記憶手段から読み出される時系列的に後の画像データと、に基づいて補間画像を作成する補間画像作成手段と、
を有して構成されていることを特徴とする付記（１）に記載の画像表示装置。
【００９７】
（５） 上記補間画像発生手段は、上記フレームレート検出手段による検出結果が、撮像レートよりも表示レートの方が高いとき、または撮像レートよりも表示レートの方が低いとき、の何れとなる場合にも対応し得るものであることを特徴とする請求項１に記載の画像表示装置。
【００９８】
従って、付記（１）に記載の発明によれば、撮像レートおよび表示レートを検出して補間画像を発生させるようにしたために、可変な撮像レートの画像データを、所定の表示レートの画像表示手段に適切に表示させることが可能となる。
【００９９】
また、付記（２）に記載の発明によれば、付記（１）に記載の発明と同様の効果を奏するとともに、被写体の動きに応じて補間画像の枚数を変化させるようにしたために、より効率の良い補間画像の発生を行うことができる。
【０１００】
さらに、付記（３）に記載の発明によれば、付記（１）に記載の発明と同様の効果を奏するとともに、表示レートを外部から入力して設定することが可能となる。
【０１０１】
付記（４）に記載の発明によれば、付記（１）に記載の発明と同様の効果を奏するとともに、異なる時点の画像データに基づいて、相関性を考慮しながら補間画像を作成することが可能となる。
【０１０２】
付記（５）に記載の発明によれば、付記（１）に記載の発明と同様の効果を奏するとともに、撮像レートよりも表示レートの方が高いときだけでなく、撮像レートよりも表示レートの方が低いときにも対応することができる。
【０１０３】
【発明の効果】
以上説明したように請求項１または請求項２による本発明の画像表示装置によれば、撮像レートおよび表示レートを検出して補間画像を発生させるようにしたために、可変な撮像レートの画像データを、所定の表示レートの画像表示手段に適切に表示させることが可能となる。
【０１０４】
また、請求項３による本発明の画像表示装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、被写体の動きに応じて補間画像の枚数を変化させるようにしたために、より効率の良い補間画像の発生を行うことができる。
【０１０５】
さらに、請求項４による本発明の画像表示装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、表示レートを外部から入力して設定することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の画像表示装置の構成の概略を示すブロック図。
【図２】上記第１の実施形態のフレームレート検出部の構成を示すブロック図。
【図３】上記第１の実施形態の補間画像発生部の構成を示すブロック図。
【図４】上記第１の実施形態において、撮像タイミングと表示タイミングとの対応例を示すタイムチャート。
【図５】上記第１の実施形態において、原画像と補間画像とを対比して示す図。
【図６】本発明の第２の実施形態において、撮像タイミングと表示タイミングとの対応例を示すタイムチャート。
【図７】本発明の第３の実施形態において、画像表示装置の特にフレームレート検出部の構成を示すブロック図。
【図８】上記第３の実施形態において、動き量と新たに作成する補間画像枚数の関係についての一例を示す図。
【図９】本発明の第４の実施形態において、画像表示装置の特にフレームレート検出部の構成を示すブロック図。
【符号の説明】
１…画像記憶部（画像記憶手段）
２，２Ａ，２Ｂ…フレームレート検出部（フレームレート検出手段）
２ａ…撮像レート検出部（撮像レート検出手段）
２ｂ…補間画像枚数演算部（補間画像枚数検出手段）
２ｃ…表示レート検出部
２ｄ…動き検出部（動き検出手段）
２ｅ…表示レート設定部（表示レート設定手段）
３…補間画像発生部（補間画像発生手段）
３ａ…メモリ部（メモリ手段）
３ｂ…補間画像作成部（補間画像作成手段）
４…画像表示部（画像表示手段）

Claims (4)

1. 撮影時のフレームレートである撮像レートを可変とする撮像装置により撮影された画像データを連続表示する画像表示装置であって、
   上記画像データと、該画像データの撮像レートに係る情報と、を記録する画像記憶手段と、
   所定の表示時のフレームレートである表示レートにより画像を表示する画像表示手段と、
   上記画像記憶手段に記録されている情報から撮像レートをフレーム毎に検出するとともに、上記画像表示手段の表示レートを検出し、表示レート値から与えられる表示時間間隔をｆ、撮像レート値から与えられるｎ番目のフレームに係る１フレーム期間をＦn としたときに、撮像レートよりも表示レートの方が早い場合には、ガウスの記号［］を用いて
   

   

   により求められるＸn をフレーム期間Ｆn における補間画像の必要枚数とするフレームレート検出手段と、
   撮像レートよりも表示レートの方が早い場合には、このフレームレート検出手段により求められた枚数Ｘn の補間画像が発生されるように、上記画像記憶手段から読み出されるｎフレーム目の画像Ｉn における任意の画素信号レベルを（Ｉn ）、（ｎ＋１）フレーム目の画像Ｉn+1 における任意の画素信号レベルを（Ｉn+1 ）としたときに、空間的に同位置に存在する全画素の画素信号レベル同士に関して、
   

   

   の相関演算を行ってフレーム期間Ｆn における（ｍ＋１）番目の補間画像Ｏn,m+1 における任意の画素信号レベル（Ｏn,m+1 ）を求めて、該補間画像Ｏn,m+1 を発生させる補間画像発生手段と、
   を具備したことを特徴とする画像表示装置。
2. 上記補間画像発生手段は、さらに、撮像レートの方が表示レートよりも早い場合には、
   

   

   により撮像側と表示側のタイミングのずれ量Ｂn を求めて、空間的に同位置に存在する全画素の画素信号レベル同士に関して、
   

   

   の演算を行うことによりｎ番目の補間画像Ｏn における任意の画素信号レベル（Ｏn ）を求めて、該補間画像Ｏn を発生させるものであることを特徴とする請求項１に記載の画像表示装置。
3. 上記フレームレート検出手段は、
   上記画像記憶手段から読み出される画像データに基づき、被写体の動き検出を行って動き量を算出する動き検出手段と、
   上記撮像レートと上記表示レートとにより定まる補間画像の必要枚数内において、この動き検出手段により算出された動き量に応じて、作成させるべき補間画像の枚数を変化させる補間画像枚数検出手段と、
   を有して構成され、
   上記補間画像発生手段は、上記補間画像枚数検出手段により検出された枚数の補間画像を作成すると共に、作成した補間画像の枚数が上記必要枚数に満たないときには、作成した補間画像を複数回発生させるものであることを特徴とする請求項１に記載の画像表示装置。
4. 上記フレームレート検出手段は、
   上記画像記憶手段に記録されている情報から撮像レートをフレーム毎に検出する撮像レート検出手段と、
   上記画像表示手段の表示レートを外部から入力する表示レート設定手段と、
   を有して構成されていることを特徴とする請求項１に記載の画像表示装置。

Images