JPWO2008053765A1 - 画像生成装置および画像生成方法 - Google Patents

Abstract

対応点検出や動き検出が正確に行えない画像領域も含めて複数の動画像を統合した新たな動画像を生成する画像生成装置は、撮像装置（１０）を制御して１つの露光期間中に露光量を時間的に変化させる露光制御部（１０５）と、露光制御部（１０５）の制御下で撮影された第１動画像と第２動画像とを取得する画像入力部（１０１）と、前記第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合部（１０４）とを備え、前記第２動画像は前記第１動画像よりも解像度が高く、かつ前記第２動画像は前記第１動画像よりもフレームの露光時間が長い。

Description

本発明は、動画像を生成する画像生成装置に関し、特に、複数の動画像から夫々の優れた特性を併せ持つ新たな動画像を生成する画像生成装置に関する。

デジタル撮像デバイスの進展に伴い、高空間解像度の静止画像を比較的低コストで撮影することが可能となってきている。しかしながら、このような高空間解像度の静止画と同等の空間解像度を保ちながら滑らかに動く動画像（例えば、３０フレーム／秒程度）や更に高速度の撮影を実現するには課題がある。

これは、単位時間あたりに得られる画像の情報量が莫大になるために、撮像デバイス内での画像情報の転送速度が不足することや、並列に画像情報を転送するなどの特殊な撮像デバイスを必要とする為、撮像装置のコストが増加したり、撮像デバイスの特性の調整が別途必要になることに因る。

従来の時空間解像度（時間および空間の解像度）の高い画像を得る画像生成方法としては、高速低解像度カメラと低速高解像度カメラとの映像を用い、動画像のフレーム間の対応点検出を用いてモーフィングを行うものがある（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の画像生成方法を説明する図である。なお、本明細書において、撮像能力または動画像の性質に関して、「高速」（または、「低速」）とは、フレームレートが相対的に大きい（または、小さい）ことを意味し、「高解像度」（または、「低解像度」）とは、空間解像度が相対的に高い（または、低い）ことを意味する。

図１において、高速低解像度カメラＡ０１と低速高解像度カメラＡ０２は同じ対象を同じ画角で同期して撮影している。カメラＡ０１とカメラＡ０２の撮影画像の関係を図２に示す。図２は、２つのカメラＡ０１およびＡ０２が撮影したフレームを時間の順に並べており、フレームＢ０１とＢ０２はカメラＡ０２で得られた画像を表し、フレームＢ１１〜Ｂ１５は、カメラ０１で得られた画像を表している。ここで空間解像度の違いは画像の大きさで表現しており、フレームＢ１１〜Ｂ１５は、フレームＢ０１とＢ０２に比べて画素数が少なく、空間解像度が低い。一方、カメラＡ０１はカメラＡ０２よりも撮影のフレームレートが高く、カメラＡ０２が１フレーム撮影する間にカメラＡ０１は４フレーム撮影している。また、カメラＡ０２のフレーム撮影の時間に同期してカメラＡ０１のフレーム撮影を行っている（フレームＢ０１とフレームＢ１１およびフレームＢ０２とフレームＢ１５は同じタイミングで撮影）。以下の例では、フレームＢ２３の位置（フレームＢ１３の撮影時間に相当）に相当する高解像度画像の中間フレーム画像の生成方法について説明する。

このようにして撮影したフレーム画像について、一次マッチング部Ａ０３はカメラＡ０１の高速撮影画像において隣りあう各フレーム間の画素の対応関係を求める。ここで、対応関係とは、あるフレーム画像内の各画素が映す対象の部位が他方のフレーム画像内のどの画素位置に写っているかの関係である。次に、隣り合う高速画像間の対応関係をつなぎ合わせることで、生成したいフレームＢ２３の時刻に位置する高速カメラ画像Ｂ１３と、高速画像と低速画像を同期して撮影しているフレームＢ１１との画素間の対応関係を求める。

次に、二次マッチング部Ａ０４は、高速画像と低速画像を同期して撮影しているフレームＢ０１とフレームＢ１１との画素の位置関係、フレームＢ１３とフレームＢ２３との画素の位置関係、および、一次マッチング部Ａ０３で求めたフレームＢ１１とフレームＢ１３との対応関係をつなぎ合わせることで、フレームＢ０１とフレームＢ２３との画素の対応関係を決定する。

次に、画像生成部Ａ０５は、フレームＢ０１とフレームＢ２３との画素の対応関係を用いて、フレームＢ０１の画素値を用いてフレームＢ２３の画素値を決定し、高解像中間フレーム画像Ｂ２３を生成する。同様の手順で他の中間フレームを生成することで、高解像度かつ高速の映像を生成する。

また、非特許文献１や非特許文献２などでも同様に、高速低解像度カメラと低速高解像度カメラとの映像を用い、高速カメラの映像から動き検出を行い、その動きに合わせて低速高解像度動画像に対してモーフィングを行うことで高解像度の中間フレーム画像を生成している。
特開２００３−２０３２３７号公報（図１３） Ｔｏｒｕ ＭＡＴＳＵＮＯＢＵ，ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ Ｕｓｉｎｇ Ｍｏｒｐｈｉｎｇ"，Ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ ｏｆ ＩＥＩＣＥ，ＰＲＭＵ２００４−１７８ Ｋｉｙｏｔａｋａ Ｗａｔａｎａｂｅ，ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ ｆｒｏｍ Ｔｗｏ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ ｗｉｔｈ Ｄｉｆｆｅｒｅｎｔ Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ Ｆｒｅｑｕｅｎｃｉｅｓ"，情報科学技術レターズ（ＦＩＴ２００４），Ｖｏｌ．３，Ｎｏ．ＬＩ−００４，２００４

しかしながら、上記従来の技術では、高速画像において隣り合うフレーム間で対応関係を正確に求めることや、動き検出を正確に行えることが前提となっており、対応関係が正確に求まらない場合や、動き検出が行えない場合には、生成する画像が大きく劣化したり、低解像度画像を単に拡大した画像になってしまうという課題を有している。一般的に、画像中の動物体の動きが複雑な場合や照明状態が変化する場合やオクルージョンが発生する場合やアパーチャ問題が発生する場合などには、フレーム間の対応点を求めることや動き検出を全ての画素について正確に求めることは困難である。

そこで、本発明は、上記従来の課題を解決するものであり、対応点検出や動き検出が正確に行えない画像領域も含めて複数の動画像を統合した新たな動画像を生成することができる画像生成装置およびその方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像生成装置は、外部の撮像装置によって同一事象を撮影して得られた第１動画像及び第２動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、前記第２動画像の解像度は前記第１動画像の解像度よりも高く、かつ前記第２動画像のフレームの露光時間は前記第１動画像のフレームの露光時間よりも長く、前記撮像装置を制御することにより、前記第２動画像の１つのフレームの露出期間中の露光量を時間的に変化させる露光制御手段と、前記撮像装置から、前記第１動画像と、前記露光制御手段の制御下で撮影された前記第２動画像とを取得する画像入力手段と、前記取得された第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備える。

このような構成によって、前記画像入力手段が、例えば、高速フレームレートで低解像度の第１動画像と低速フレームレートで高解像度の第２動画像を受け付けた場合には、前記画像統合手段は、前記第１動画像と同じフレームレートで前記第２動画像と同じ解像度の動画像を前記新たな動画像として生成することができる。つまり、入力された複数の動画像の夫々の優れた特性を併せ持つ新たな動画像が生成される。

更に、前記露光制御手段が、前記第２動画像の露出期間中の露光量を時間的に変化させることで、時間周波数の高い情報を取得することが可能となり、生成される動画像の高周波の特性を向上させることが可能となる。

なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。

本発明の画像生成装置によれば、動画像中において必ずしも動きや対応点が正確に求まらない画像領域を含んでいる場合にでも、その画像の時空間解像度を動画像全体で向上させた新たな動画像が生成される。たとえば、高速低解像度動画像と低速高解像度動画像とから、夫々の優れた特性を併せ持つ高速高解像度動画像が確実に生成される。

図１は、従来の画像生成装置の構成を示すブロック図である。 図２（ａ）および（ｂ）は、従来の画像生成装置における入力画像の時系列を示す図である。 図３は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。 図４は、画像生成装置の構成を示す機能ブロック図である。 図５は、画像生成装置の動作を示すフローチャートである。 図６（ａ）および（ｂ）は、入力画像の時系列の一例を示す図である。 図７（ａ）〜（ｃ）は、撮像装置の具体例を示す図である。 図８（ａ）〜（ｃ）は、それぞれ、生成する高速高解像度動画像、入力される高速低解像度動画像および低速高解像度動画像の画素配置の一例を示す図である。 図９（ａ）〜（ｃ）は、画素値を補正する場合における入射光量と画素値との関係の例を示すグラフである。 図１０（ａ）および（ｂ）は、高速低解像度動画像で求めた動き検出結果と高速高解像度動画像との関係を示す図である。 図１１（ａ）〜（ｄ）は、生成する高速高解像度動画像のフレーム画像の一例を示す図である。 図１２（ａ）〜（ｄ）は、入力される高速低解像度動画像のフレーム画像の一例を示す図である。 図１３は、入力される低速高解像度動画像のフレーム画像の一例を示す図である。 図１４（ａ）〜（ｄ）は、信頼度の分布例を示す図である。 図１５（ａ）〜（ｄ）は、生成された動画像のフレーム画像の一例を示す図である。 図１６（ａ）〜（ｄ）は、信頼度を用いないで生成した場合の動画像のフレーム画像の一例を示す図である。 図１７（ａ）〜（ｅ）は、理想的な高速高解像度画像のフレーム画像の一例を示す図である。 図１８（ａ）〜（ｅ）は、高速低解像度画像のフレーム画像の一例を示す図である。 図１９（ａ）および（ｂ）は、短時間露出で撮影した低速高解像度画像のフレーム画像の一例を示す図である。 図２０（ａ）および（ｂ）は、長時間露出で撮影した低速高解像度画像のフレーム画像の一例を示す図である。 図２１（ａ）〜（ｅ）は、短時間露出で生成したフレーム画像の一例を示す図である。 図２２（ａ）〜（ｅ）は、短時間露出で生成したフレーム画像の一例を示す図である。 図２３（ａ）〜（ｅ）は、長時間露出で生成したフレーム画像の一例を示す図である。 図２４（ａ）〜（ｅ）は、長時間露出で生成したフレーム画像の一例を示す図である。 図２５（ａ）および（ｂ）は、フレームの露光期間中の露光量の時間変化を示す図である。 図２６（ａ）〜（ｃ）は、入力画像の露光タイミングと生成画像における仮想的な露光タイミングとの関係を説明する図である。 図２７（ａ）〜（ｃ）は、高速低解像度画像のフレーム画像の一例を示す図である。 図２８は、低速高解像度画像のフレーム画像の一例を示す図である。 図２９（ａ）〜（ｃ）は、生成したフレーム画像の一例を示す図である。 図３０（ａ）〜（ｃ）は、高速低解像度画像のフレーム画像の一例を示す図である。 図３１は、露光量を変化させた場合の低速高解像度画像のフレーム画像の一例を示す図である。 図３２（ａ）〜（ｃ）は、露光量を変化させた場合の生成したフレーム画像の一例を示す図である。 図３３（ａ）および（ｂ）は、フレームの露光期間中の露光量の時間変化を示す図である。 図３４は、生成した画像の信頼度を用いて画像を符号化する圧縮率を変化させる場合の信頼度と圧縮率との関係の一例を示すグラフである。 図３５は、カラーの動画像を統合する場合の処理手順を示すフローチャートである。 図３６は、領域分割処理の一例を示す図である。 図３７は、画像生成システムの具体例を示すブロック図である。 図３８は、画像生成システムの具体例を示すブロック図である。

符号の説明

１０ 撮像装置
２０ 画像記憶装置
３０ 画像生成装置
４０ 表示装置
１００ 画像生成システム
１０１ 画像入力部
１０１ａ 高速画像入力部
１０１ｂ 低速画像入力部
１０２ 符号化部
１０３ 動き検出部
１０３ａ 動き分布算出部
１０３ｂ 動き信頼度分布算出部
１０３ｃ センサ入力部
１０４ 画像統合部
１０４ａ 統合処理部
１０４ｂ 拘束制御部
１０４ｃ 動き拘束指定部
１０４ｄ 外部モデル拘束部
１０４ｅ 拘束指定部
１０５ 露光制御部
１０６ａ 減光部
１０６ｂ 照明部
３００ カメラ
４００ ディスプレイ機器

本発明の画像生成装置は、外部の撮像装置によって同一事象を撮影して得られた第１動画像及び第２動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、前記第２動画像の解像度は前記第１動画像の解像度よりも高く、かつ前記第２動画像のフレームの露光時間は前記第１動画像のフレームの露光時間よりも長く、前記撮像装置を制御することにより、前記第２動画像の１つのフレームの露出期間中の露光量を時間的に変化させる露光制御手段と、前記撮像装置から、前記第１動画像と、前記露光制御手段の制御下で撮影された前記第２動画像とを取得する画像入力手段と、前記取得された第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備える。

ここで、前記露光制御手段は、前記第２動画像の１つのフレームの露光期間中に少なくとも１回、前記露光量を低減させる無露光期間を設けてもよく、前記露光制御手段は、さらに、前記撮像装置を制御することにより、前記第１動画像の露光量を、前記第２動画像の無露光期間において低減させてもよい。また、前記第２動画像の１つのフレームの露光期間中に含まれる前記第１動画像の１以上のフレームのそれぞれの露光期間において、前記第２動画像の前記フレームの露光が行われるように、前記第２動画像の露光量を変化させてもよい。

この構成によれば、短い露光時間のために前記第１動画像に含まれる時間周波数の高い情報と、高い解像度のために前記第２動画像に含まれる空間周波数の高い情報とが、前記新たな動画像のフレームに反映されるため、時空間解像度に優れた前記新たな動画像が得られる。前記第２動画像の露出時間中の露光量を時間的に変化させることは、前記第２動画像が時間周波数のより高い情報を持つことができ、その結果、前記新たな動画像の時間解像度の向上に役立つ。

また、前記撮像装置が、前記第２動画像を撮影する際、被写体からの入射光量を外部からの制御に応じた量低減させる減光手段を備える場合には、前記露光制御手段は、前記減光手段を制御することによって、前記露光量を時間的に変化させることができる。

また、前記撮像装置が、前記第２動画像を撮影する際、外部からの制御に応じた強さで被写体を照明する照明手段を備える場合には、前記露光制御手段は、前記照明手段を制御することによって、前記露光量を時間的に変化させることができる。

（実施の形態）
以下、図面を参照しながら本発明の実施の形態に係る画像生成システムについて詳細に説明する。

図３は、本発明の実施の形態に係る画像生成システムのハードウェア構成を示すブロック図である。

画像生成システム１００は、同一の対象についての複数の動画像（ここでは、高速低解像度動画像および低速高解像度動画像）から時空間解像度の高い新たな動画像（ここでは、高速高解像度動画像）を生成するシステムであり、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とを備えている。撮像装置１０は、被写体を撮影し、異なる２種類の時空間解像度で動画像（ここでは、同一の対象についての高速低解像度動画像および低速高解像度動画像）を得るカメラ等である。画像記憶装置２０は、撮像装置１０で撮像された動画像を一時的に記憶するメモリ等である。画像生成装置３０は、画像記憶装置２０に記憶された動画像を読み出し、読み出した複数の動画像から、時空間解像度を高めた新たな動画像を生成する装置である。表示装置４０は、画像生成装置３０で生成された新たな動画像を表示する表示装置である。なお、画像生成装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。

図４は、図３に示された画像生成システム１００における撮像装置１０と画像生成装置３０の内部構成を示す機能ブロック図である。

撮像装置１０は、減光部１０６ａと照明部１０６ｂとを含んで構成される。

減光部１０６ａは、画像生成装置３０からの制御に応じて、時間的に変化可能な量で撮像される被写体からの入射光を低減させる。減光部１０６ａは、例えば入射光を撮像素子に導く光学系（不図示）に配置された、電気的に制御可能なフィルタ又はシャッタであるとしてもよい。照明部１０６ｂは、画像生成装置３０からの制御に応じて、時間的に変化可能な光量で被写体を照明する。

画像生成装置３０は、画像入力部１０１と、動き検出部１０３と、画像統合部１０４と、露光制御部１０５とを備える。

露光制御部１０５は、減光部１０６ａ及び照明部１０６ｂのうち少なくとも一方を制御することによって、撮像装置１０によって撮像される低速高解像度画像の１フレームの露出期間中の露光量を時間的に変化させる。

画像入力部１０１は、撮像装置１０によって同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像を取得するインターフェース等であり、高速（高速フレームレート）かつ低空間解像度で対象を撮影した動画像（高速低解像度動画像）を取得する高速画像入力部１０１ａと、低速（低速フレームレート）かつ高空間解像度で同じ対象を撮影した動画像（低速高解像度動画像）とを取得する低速画像入力部１０１ｂとを有する。このように、高速画像入力部１０１ａに入力された画像と低速画像入力部１０１ｂに入力された画像は、時空間解像度は異なるが、同じ対象を撮影した画像である。ここで、低速高解像度画像の１フレームの露出期間中の露光量は、減光部１０６ａ又は照明部１０６ｂによって時間的に変化可能であることに注意する。

動き検出部１０３は、画像入力部１０１に入力される画像を生成する撮像装置１０の動きを検出するセンサ（撮像装置１０に備えられた加速度センサ等）からの信号を取得するセンサ入力部１０３ｃと、画像入力部１０１に入力された画像及びセンサ入力部１０３ｃに入力された動き信号のうちの少なくとも一方に基づいて、入力画像中の画像（つまり、撮像の対象物）の動き検出を各フレームの画像全体において行う動き分布算出部１０３ａと、動き分布算出部１０３ａにおける動き検出の信頼度を各フレームの画像全体において算出する動き信頼度分布算出部１０３ｂとを有する。

画像統合部１０４は、画像入力部１０１に入力された複数の動画像のうち、信頼度の高い画像領域については動き検出部１０３による動き検出の結果を用いて新たな動画像を生成し、信頼度の低い領域については予め定められた一定の拘束条件を用いて複数の動画像を統合する処理部であり、統合処理部１０４ａと、拘束制御部１０４ｂと、動き拘束指定部１０４ｃと、外部モデル拘束部１０４ｄと、拘束指定部１０４ｅとを有する。

動き拘束指定部１０４ｃは、動き分布算出部１０３ａによる動き検出の結果を用いて、生成する高速高解像度動画像の各画素値が満たすべき拘束条件（以下、動き検出の結果に依存して指定される拘束条件を「動き拘束条件」という。）を指定する処理部である。

外部モデル拘束部１０４ｄは、生成する高速高解像度動画像の各画素値が動き分布算出部１０３ａによる動き検出の結果とは別に満たすべき拘束条件（以下、動き検出の結果に依存することなく指定される拘束条件を「外部モデル拘束条件」という。）を指定する。

拘束制御部１０４ｂは、動き分布算出部１０３ａで算出された動き検出の結果と動き信頼度分布算出部１０３ｂで算出された信頼度とを用いて、生成する高速高解像度動画像中の各フレーム画像中の各位置において、動き拘束条件と外部モデル拘束条件とをそれぞれ有効にする度合いを決定し、その度合を拘束指定部１０４ｅに通知する。

拘束指定部１０４ｅは、拘束制御部１０４ｂが決定した動き拘束条件と外部モデル拘束条件との有効度合いに基づいて、動き拘束指定部１０４ｃが指定する動き拘束条件と外部モデル拘束部１０４ｄが指定する外部モデル拘束条件とを統合した拘束条件、つまり、生成する高速高解像度動画像の各画素値が満たすべき拘束条件を指定する。

統合処理部１０４ａは、拘束指定部１０４ｅによって指定される拘束条件に従って、高速画像入力部１０１ａに入力された高速画像と低速画像入力部１０１ｂに入力された低速画像とを統合し、高速高解像度動画像を生成する。

符号化部１０２は、統合処理部１０４ａによって生成された画像を圧縮符号化して出力する。

なお、本実施の形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。

次に、以上のように構成された画像生成装置３０が実行する処理について説明する。図５は、画像生成装置３０が実行する処理のフローチャートである。

ステップ６００では、露光制御部１０５が低速高解像度画像の１フレームの露光期間中の露光量の時間変化を設定する。ここでは、まず露光期間を通して露光量を一定にする場合の説明を行う。露光期間中の露光量を時間的に変化させる場合については後述する。

露光制御部１０５は、露光量を一定にする制御を撮像装置１０に対して行う。撮像装置１０は、露光制御部１０５からの制御下で、高速低解像度画像と低速高解像度画像とを撮影する。

ステップ６０１では、高速画像入力部１０１ａが高速低解像度動画像の入力を受け付け、低速画像入力部１０１ｂが同一対象についての低速高解像度動画像の入力を受け付ける。以降、説明に用いる画像は輝度画像を用いて説明する。

高速画像入力部１０１ａに入力される高速低解像度動画像と低速画像入力部１０１ｂに入力される低速高解像度動画像の関係を図６（ａ）および（ｂ）に示す。図６（ａ）および（ｂ）は、それら２つの画像の連続したフレーム画像を時間の順に並べており、フレーム２０１と２０２は低速高解像の画像を表し、フレーム２１１〜２１５は高速低解像の画像を表している。

本図において、空間解像度の違いは画像の大きさで表現されている。フレーム２１１〜２１５は、フレーム２０１と２０２に比べて画素数が少なく空間解像度が低い。一方、フレームレートについては、高速画像入力部１０１ａは、低速画像入力部１０１ｂに比べ、撮影のフレームレートが高く、ここでは、低速画像入力部１０１ｂの１フレーム間隔で高速画像入力部１０１ａは４フレーム撮影している。また、フレーム２０１と２０２の画像の時間方向の幅は露出時間を表している。低速画像入力部１０１ｂに入力される画像はフレームレートが低い分、高速画像入力部１０１ａに入力される画像に比べて長い露出が可能となる。図６（ａ）では、低速高解像度動画像のフレーム２０１は、高速低解像度動画像の４フレーム間隔分の露出が行われている。

なお、高速画像入力部１０１ａに入力されるフレームと低速画像入力部１０１ｂに入力されるフレームとの撮影タイミングは、時間の相対関係が既知であればよく、必ずしも同時に撮影される必要は無い（つまり、撮像タイミングにおける位相が異なっていてもよい）。また、長時間露出を行うことで、高解像度の画像中においても移動物体の移動軌跡のような動き情報を取得することが可能となる。高解像度画像から得た動き情報と矛盾のない動画像を後述する画像の統合処理において生成することで、時空間解像度の高い動画像を生成することが可能となる。

ここで、撮像装置１０の具体例、つまり、２種類の画像を取得する撮影手段の例を示す。２種類の画像は、図７（ａ）のように、特性の異なる２種類のカメラを同一画角になるようにハーフミラーを用いて配置して撮影しても良いし、図７（ｂ）のように、１つのカメラ内において特性の異なる２種類の撮像素子を同一画角になるようにハーフミラーやプリズムを用いて配置して撮影しても良いし、図７（ｃ）のように特性の異なる２種類の画像を同時に撮影する撮像素子を用いても良い。

次に、図８（ａ）〜（ｃ）を用いて、目的とする高速高解像度動画像の画素値（ここでは、輝度値）と、高速画像入力部１０１ａで取得する高速低解像度動画像および低速画像入力部１０１ｂで取得する低速高解像度動画像の画素値（ここでは、輝度値）との関係を説明する。この関係は、高速高解像度動画像の各画素が満たすべき外部モデル拘束条件として画像生成に使用する。

ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとする。図８（ａ）は、目的とする高速高解像度動画像の各フレームの画素の配置を示したものである。説明の便宜のため、高速高解像度動画像の一部を取り出して説明する。図８（ａ）は、縦（Ｙ軸）方向３画素、横（Ｘ軸）方向３画素、４フレームの画素の配置を表している。画素位置（ｘ，ｙ，ｔ）の画素の値をＨＨ（ｘ，ｙ，ｔ）とする。ここでｘとｙは０、１、２の値の範囲とし、ｔは０、１、２、３の値の範囲とする。

同様に、図８（ｂ）は、図８（ａ）と同じ画角を同じ時間に撮影した高速低解像度動画像の画素の配置を示す。ここで、高速低解像度動画像の画素位置（ｘＬ，ｙＬ，ｔ）の画素値をＨＬ（ｘＬ，ｙＬ，ｔ）と表す。低解像度画像と高解像度画像ではｘ、ｙ方向の画素数が異なるため、低解像度画像のｘ、ｙ座標値をそれぞれｘＬ、ｙＬと表して高解像度画像の場合と区別する。ここでは高解像度画像のｘ、ｙ方向それぞれ３画素からなる９画素分の領域が低解像度画像の１画素に相当する関係にあり、画素値の関係は数１のようになる。

同様に、図８（ｃ）は、図８（ａ）と同じ画角を同じ時間に撮影した低速高解像度動画像の画素の配置を示す。ここで、低速高解像度動画像の画素位置（ｘ，ｙ，ｔＬ）の画素値をＬＨ（ｘ，ｙ，ｔＬ）と表す。

高速画像と低速画像では時間方向のフレーム数が異なるため、低速画像のフレーム番号をｔＬと表して高速画像の場合と区別する。ここでは高速画像の４フレーム分の間隔が低速画像の１フレーム間隔に相当する関係にあり、画素値の関係は数２のようになる。

ここで、Ｇ（ｔ）は、時刻ｔの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時間的変化が無い場合には、Ｇ（ｔ）＝１．０である。また、露光制御部による露光量の時間変化がない場合はＧ（ｔ）＝１．０となる。

なお、上記の例では時間ｔを離散的に表現しているが、連続的な時間変化と対応付ける場合には、数３の関係式を用いる。数１、数２のＨＨ（ｘ，ｙ，ｔ）を数３でＨＨｃｏｎｔ（ｘ，ｙ，ｔｃｏｎｔ）に置き換えることで、時間的に連続した入力に対する劣化過程を表現することが出来る。

数３において、Δｔは生成する高速高解像度画像のフレーム画像の仮想的な露出時間に相当し、ｔｃｏｎｔは連続した時間、ＨＨｃｏｎｔ（ｘ，ｙ，ｔｃｏｎｔ）は時間的に連続な画像、Ｅｘｐ（ｔｃｏｎｔ）は高速高解像度画像のフレーム画像の仮想的な露出の時間変化を表している。

図６（ａ）および（ｂ）のように、高速画像の露出時間に対して低速画像の露出時間を長くすることで、長い時間にわたる動きの軌跡情報を蓄積することが可能となり、高速高解像度動画像を生成する上で動きの生じている部分の時空間解像度の改善に効果がある。

以上の例では、画素値は撮像時の入射光量に比例する場合（図９（ａ））で説明したが、γ補正等により比例しない場合（図９（ｂ））や比例定数が画素によって異なる場合には、別途、画像が撮影されたときの撮像素子の入出力特性（入出力関係）を逆に対応付けて利用することで、入射光に対して同一の比例関係を持つ値に画素値を補正し、数１や数２の関係を満たすことができる。例えば、図９（ｃ）のような画素値と補正値の対応関係を用いることで図９（ｂ）のようにして得られた画素値を補正し、図９（ａ）のようにして得られた画素値と同様に処理することができる。

また、上述の説明では、画素値として輝度値を用いて説明したが、各画素にＲ、Ｇ、Ｂのカラー値が存在する場合にもＲ、Ｇ、Ｂの個々の値について輝度値と同様の関係が得られる。

他の外部モデル拘束としては、時空間的に隣り合う画素との画素値の連続性や滑らかさがある。画素値の連続性を用いる場合、

のように高速高解像度動画像の隣り合う画素間の輝度値の差の二乗和Ｑｓを考える。画素値の滑らかさを用いる場合には、

のように高速高解像度動画像の隣り合う画素間の輝度値の二階差分の二乗和Ｑｓを考える。ここで、数４、数５において、ＸｍａｘとＹｍａｘとｔｍａｘはそれぞれｘ方向画素番号、ｙ方向画素番号、フレーム番号の最大値を示す。また、λｓ（ｘ，ｙ，ｔ）は、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。

このように、外部モデル拘束条件は、生成する高速高解像度動画像に対する評価関数として表現することができる。その評価関数の値（評価値）を下げることが上記外部モデル拘束を生成する高速高解像度動画像に加えることに対応する。

他の外部モデル拘束として、エッジの時空間的連続性を用いても良い。この場合、例えば

に示すように、時間的に隣り合うフレーム間で対応する位置のエッジの向きの変化は少ないという拘束や、

のように、同じ向きのエッジは、そのエッジの方向に空間的に連続して存在するという拘束である。ここで数６、数７のｅｄｇｅ（ｘ，ｙ，ｔ，ｉ）は、動画像中の（ｘ，ｙ，ｔ）の位置に存在するｉ番目の向きのエッジの強度を示す。ｉはエッジの方向の種類を示し、ｉは０からｉｍａｘまでの整数値をとるものとする。また、数７の（ｉｘ，ｉｙ）はｉ番目のエッジの向きの方向を表すベクトルを示す。

また、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、は画像中の（ｘ，ｙ，ｔ）の位置における動きベクトルのｘ方向成分とｙ方向成分を示す。エッジの検出は方位依存性を有するＧａｂｏｒフィルタなどのエッジ検出フィルタの出力を用いたり、数８のように微分演算でエッジの方向と強度を得た後、必要に応じてエッジの方向を離散化して用いることで実現できる。

は高速高解像度動画像ＨＨの座標（ｘ，ｙ，ｔ）におけるエッジの向きと強度を２次元ベクトルとして表しており、ベクトルの向きがエッジの向きに対応し、ベクトルの大きさがエッジの強度に対応する。

ここで、λｔｅ（ｘ，ｙ，ｔ）やλｓｅ（ｘ，ｙ，ｔ）は、λｓ（ｘ，ｙ，ｔ）と同様に、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。

また、他の拘束条件として、生成する動画像が表現し得る自由度を予め定めた動画像群の主成分に限定してもよい。例えば、動画像を構成する各フレームの各画素の輝度値ＨＨ（ｘ，ｙ，ｔ）を独立な要素とし、動画像を１つのデータ点と考え、予め定めた同じフレーム数・画素数の動画像群に対して主成分分析を行い、主成分を優先して動画像を生成するものである。この場合、非主成分のベクトルをＮＰＣ（ｘ，ｙ，ｔ）とし、生成する動画像をＨＨ（ｘ，ｙ，ｔ）に対して、非主成分ＮＰＣと生成する動画像ＨＨとの内積を拘束条件とする。この場合、拘束条件は、

のＱｐｃようになる。ＮＰＣは１種類ではなく複数個用意しても良いし、入力画像によってＮＰＣの種類を切り換えても良い。この場合、入力画像と高解像度時の主成分との関係を予め学習しておき、この結果を用いてＮＰＣの選択を行えばよい。例えば、異なる３種類の高速高解像度の動画像群１・２・３を学習用の動画像として用意する。その動画像群それぞれから非主成分のベクトルＮＰＣ１・ＮＰＣ２・ＮＰＣ３を求める。別途、上記動画像群１・２・３のそれぞれから数１や数２の関係式を用いて高速低解像度動画像群ＨＬ１・ＨＬ２・ＨＬ３と高速高解像度動画像群ＨＨ１・ＨＨ２・ＨＨ３とを求める。

ここで学習すべき関係は、画像群ＨＬ１・ＨＨ１と画像群ＨＬ２・ＨＨ２と画像群ＨＬ３・ＨＨ３の３つの画像群と上記３種類の非主成分ＮＰＣ１・ＮＰＣ２・ＮＰＣ３との対応関係である。対応関係の学習方法は任意の手法を用いてよく、画像群ごとに高速低解像度動画像ＨＬと高速高解像度動画像ＨＨの平均画像の組を求めておき、平均画像の組と非主成分の種類との対応関係を保持しておく（学習）。

新たな入力画像ＨＬ・ＨＨの組に対して平均画像の組との差を求め、差の最も小さい平均画像の組に対応する非主成分を入力画像の復元処理に用いるようにする。

平均画像と非主成分の種類との関係を保持する替わりに、高速低解像度動画像ＨＬと高速高解像度動画像ＨＨを入力とし、それらＨＬとＨＨに対応する非主成分の種類を出力とした入出力関係をニューラルネットワーク等の学習手法を用いて求めておき、学習後には入力画像ＨＬ・ＨＨの組をニューラルネットワークに入力して、出力として得られる種類の非主成分を拘束条件として用いるようにしてもよい。

ここで、λｐｃ（ｘ，ｙ，ｔ）も上記λｓ（ｘ，ｙ，ｔ）と同様に拘束条件の時空間的分布を指定する係数で後述のステップ６０４において、動きの信頼度を用いて決定する。

次に、ステップ６０２では、動き検出部１０３が、高速低解像度動画像から画像中の動きとその動きの信頼度を算出する。ここで、高速画像入力部１０１ａから得た動画像の各フレーム画像の各位置において、動き分布算出部１０３ａが被写体の動きの向きと大きさを求め（動き検出）、動きの向きと大きさの時空間的分布を求める。

また、動き信頼度分布算出部１０３ｂは、動き検出の信頼度の時空間的分布Ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。

隣り合う２フレーム画像間の画像上の各位置での動きの求め方については、例えば、Ｐ．ＡＮＡＮＤＡＮ，“Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ”，ＩＪＣＶ，２，２８３−３１０（１９８９）（非特許文献３）で用いられる方法や動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。

また、画像全体の大域的動き（アフィン動きなど）検出の一般的手法や、Ｌｉｈｉ Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｔｉｎｇ Ｍｏｔｉｏｎ Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）（非特許文献４）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。

信頼度の求め方については、上記（非特許文献３）の文献に記載の方法を用いてもよく、ブロックマッチングを用いた動き検出の場合には、数１０のように、動きに対応するブロック同士の画素値の差の２乗和を差の２乗和が取り得る最大値ＳＳＤｍａｘから引いた値、つまりブロック同士の画素値の差の２乗和の符号を逆にした値Ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤｍａｘから引いた値Ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。

数１０において、位置（ｘ’，ｙ’，ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ，ｙ，ｔ）の移動先に相当する画素位置である。また、数１０のΣはブロックマッチングで用いるブロック領域内での加算を表す。

なお、上記説明では、高速画像入力部１０１ａから得た画像を用いて動き検出と信頼度算出を行ったが、同様の動き検出処理を低速画像入力部１０１ｂから得た画像に対して動き検出と信頼度算出を行っても良い。

また、撮影機器の姿勢の変化を検出するセンサの情報（センサ入力部１０３ｃに入力されてくる信号）を入力として用いても良い。この場合、撮像装置１０が加速度や角加速度センサを備え、センサ入力部１０３ｃが加速度の積分値として速度や角速度を得ることで、動き分布算出部１０３ａは、センサ入力部１０３ｃに入力された情報から、手ブレなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。

例えば、画像入力部１０１としてカメラを用いた場合、そのカメラに水平方向と垂直方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で積分すると各時刻の角速度を算出することができる。

カメラが時刻ｔに水平方向にωｈの角速度を持ち、垂直方向にωｖの角速度も持つ場合、カメラの角速度はカメラの向きの起因する撮像素子上（撮影画像上）の位置（ｘ，ｙ）における時刻ｔにおける像の２次元的動き（ｕ，ｖ）と一意に対応付けることができる。

カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系（レンズなど）の特性（焦点距離やレンズひずみなど）と撮像素子との配置や撮像素子の画素間隔とから一般的に決定できる。実際に算出するには、光学系の特性と撮像素子の配置や画素間隔から幾何学的・光学的に算出して対応関係を得るか、あらかじめ対応関係をテーブルとして保持しておき、カメラの角速度ωｈ・ωｖから、撮像素子上（ｘ，ｙ）の像の速度（ｕ，ｖ）を参照するようにしてもよい。

このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いても良い。この場合、動き分布算出部１０３ａは、画像全体の動き検出には主にセンサの情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すればよい。

次に、ステップ６０３では、動き拘束指定部１０４ｃが動き検出部１０３が求めた動き検出結果と、目的とする高速高解像度動画像との関係を指定する。図１０（ａ）および（ｂ）を用いて低解像度画像で求めた動き検出結果と高速高解像度動画像との関係を説明する。

図１０（ａ）および（ｂ）は、それぞれ、高速画像の隣り合うフレーム画像（フレーム番号ｔとｔ＋１）を表している。簡単のため、低解像度画像において３画素×３画素の領域で説明する。ここで、低解像度画像の１画素を更に３画素×３画素に分けた領域が高解像度画像の画素を表している。なお、図１０（ａ）および（ｂ）では、説明に必要な高解像度画素のみ図示している。

ここで、動き検出部１０３が動き検出を行った結果として、図１０（ａ）の太線５０１の低解像度画素位置が、図１０（ｂ）の画素位置５０２に対応している（枠５０１の画像が枠５０２に移動した）とする。ここで、上述のような動き検出の手法では一般的に画素サイズより小さい単位で動きの向きや大きさを算出することができる。

従って、低解像度画像の動き検出の結果を用いて、図１０（ｂ）のように低解像度画素位置に一致しない高解像度画像の画素単位の動きを算出し、高速高解像度の画素に対する数１１の関係を得ることができる。

この動き検出の結果を用いて、太線の枠内（５０１，５０２）の高速高解像度動画像の各画素値について

の関係が成り立つと想定する。

ここで、ｕ（ｘ，ｙ，ｔ）とｖ（ｘ，ｙ，ｔ）は、検出結果を表しており、図１０（ａ）の太線の黒枠（５０１）内の位置（ｘ，ｙ，ｔ）が図１０（ｂ）の太線の黒枠（５０２）内の位置に移動する動きのうちｘ方向の移動量をｕ（ｘ，ｙ，ｔ）、ｙ方向の移動量をｖ（ｘ，ｙ，ｔ）と表している。上記の例では、動き検出を高速低解像度動画像で行ったが、低速高解像度動画像において動き検出を行った結果を同様に用いてもよい。高解像度画像を用いた場合は、動き検出を求めるフレームの時間間隔は増すが、フレーム内での対応付けの位置精度は向上する。

次に、ステップ６０４では、拘束制御部１０４ｂが拘束条件の強度の時空間的分布を決定し、拘束指定部１０４ｅが生成する高速高解像度動画像に対する総合的な拘束条件を指定する。以下詳細を説明する。拘束指定部１０４ｅは、上記数１、数２で示す高速高解像度動画像と高速画像・低速画像との画素値の関係と、上記数１１で示す動き検出結果と高速高解像度動画像との関係と、上記数４、数５、数６、数７、数９などで示す外部モデル拘束とを用いて、目的とする高速高解像度動画像に対する総合的な拘束条件Ｊ（ＨＨ）を指定する。数１２に総合的な拘束条件Ｊの例を示す。

数１２において、右辺の第１項は高速高解像度動画像から数１の関係式を使って作り出した高速低解像度動画像ＨＬ’と高速画像入力部１０１ａに実際に入力される高速低解像度動画像ＨＬとの差（対応する画素値との差の２乗和）を表す拘束で、第２項目は高速高解像度動画像から数２の関係式を使って作り出した低速高解像度動画像ＬＨ’と、低速画像入力部１０１ｂに実際に入力される低速高解像度動画像ＬＨとの差（対応する画素値との差の２乗和）を表す拘束である。第１項目の拘束と第２項目の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数１と数２の関係をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛盾を生じにくくする条件である。

数１２の右辺の第３項目は外部モデル拘束条件Ｑｓであり数４や数５の条件を用いる場合には生成した画像において時空間的に隣り合う画素の輝度値は近い値を持ちやすいような拘束である。従って、ノイズのように輝度値が時空間的に小刻みに変化するような画像の生成を抑制する。数１２の右辺の第４項目は動き検出結果に基づいた拘束条件Ｑｍであり、動き検出を行った結果と生成画像との間に矛盾が生じにくいように動き検出の結果を用いた拘束の例を数１３に示す。

数１３では高速高解像度動画像における隣り合うフレーム間（ｔとｔ＋１）の動きｕ、ｖを用いて拘束を構成しているが、１フレーム以上離れたフレーム間での動き検出結果ｕ’、ｖ’を用いて数１４のように離れたフレームとの間の動き検出を行った結果を用いて拘束条件を設定してもよい。また、数１３と数１４のような拘束を併用しても良い。

異なるフレーム間隔での動き検出を用いることで、遅い動きなどのように少ないフレーム間隔では検出しにくい動きなどを検出し、画像生成に反映させることが可能となる。

数１２の右辺の第５項目はエッジの時間的連続性を示す拘束条件であり、数１２の右辺の第６項目はエッジの空間的連続性を示す拘束条件、数１２の右辺の第７項目は生成画像から非主成分を抑制する拘束条件である。

ここで、λｓ、λｍ、λｓｅ、λｔｅ、λｐｃは拘束条件の強度の時空間的分布を決定する係数であり拘束制御部１０４ｂが決定する。ステップ６０２で動き信頼度分布算出部１０３ｂが求めた動き検出の信頼度をＣｏｎｆ（ｘ，ｙ，ｔ）（＞０）とし、値が大きいと動き検出の信頼度が高いとする。

λｓ、λｍ、λｓｅ、λｔｅ、λｐｃの決め方の例として、αを予め定めた定数としてＣｏｎｆ（ｘ，ｙ，ｔ）＞αを満たす場合にλｍ（ｘ，ｙ，ｔ）＝１．０のように動き拘束を有効にし、他の拘束条件を座標（ｘ，ｙ，ｔ）において予め定めた小さな値ε（＜１．０）に設定し、Ｃｏｎｆ（ｘ，ｙ，ｔ）＜＝αではλｍ（ｘ，ｙ，ｔ）＝０．０、他のλを１．０とする。つまり、動き検出部１０３において、動画像を構成する各画像を分割したブロック単位で動きを検出するに際し、ブロック同士の画素値の差の２乗和を前記２乗和の取り得る値の最大値から引いた値を動き検出の信頼度Ｃｏｎｆ（ｘ，ｙ，ｔ）として算出し、画像統合部１０４において、その差が予め定めた値αよりも大きいブロックを信頼度の高い画像領域とし、その差が予め定めた値α以下のブロックを信頼度の低い画像領域として、信頼度の高い画像領域については動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については外部モデル拘束条件を用いて新たな画像を生成する。

他のλの決め方として、ある単調増加関数ｇ（ｘ）を用いてλｍ（ｘ，ｙ，ｔ）＝ｇ（Ｃｏｎｆ（ｘ，ｙ，ｔ））、他のλの（ｘ，ｙ，ｔ）における値をｇ（Ｃｏｎｆ＿ｍａｘ）−ｇ（Ｃｏｎｆ（ｘ，ｙ，ｔ））とするように、連続的に定義してもよい。ここで、Ｃｏｎｆ＿ｍａｘは信頼度が取り得る値の最大値である。このように、動き検出の信頼度が高い時には動き拘束に重きを置き、信頼度が低い時には外部モデル拘束の割合を増すことで、動き検出が正確に行えない位置においても、画像が劣化することを抑え、時空間解像度を高めることが可能となる。また、上記では外部モデル拘束として複数の拘束を同時に用いたが、同様に他の拘束を更に加えて用いても良いし、一部の拘束のみを用いても本発明の効果は得られる。

次に、ステップ６０５では、統合処理部１０４ａが拘束条件Ｊを最小にする高速高解像度動画像を求める。拘束条件Ｊを最小にする高速高解像度動画像の求め方としては、例えば、拘束条件Ｊを高速高解像度動画像の各画素値で微分した式が０とおいた数１５の方程式を解いて求めることや、最急勾配法などを用いて繰り返し法を用いて求めても良い。最後に、ステップ６０６では、統合処理部１０４ａは、生成した高速高解像の画像を出力する。

より具体的な入力画像の組と出力画像の例を図１１から図１５を用いて説明する。ここでは説明を容易にするために、６画素×６画素×４フレームの動画像を用いて説明する。これはより大きな画像やフレーム数の大きい動画像の一部とみなすことができる。

ここで、図１１（ａ）〜（ｄ）は、撮影の対象を仮に高速高解像度で撮影できた場合の画像を示す。図１１（ａ）〜（ｄ）の映像は本来撮影により取得できないが、説明の為に示す。図１１（ａ）〜（ｄ）は４フレームを時間の順番に並べており、静止している被写体１４０１と移動している被写体１４０２が写っている。

このような被写体に対して、高速低解像度動画像と低速高解像度動画像を得る（ステップ６０１）。このような被写体の高速低解像度動画像（画素数が縦横それぞれ１／３の場合）の例を図１２（ａ）〜（ｄ）に示す。図１２（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応するフレームである。ここで、黒の画素と白の画素との中間の画素値の画素は左下向きの斜線で示している。フレーム数は図１１（ａ）〜（ｄ）と同じであるが、空間解像度が図１１（ａ）〜（ｄ）よりも低い。

同様に、このような被写体の低速高解像度動画像（フレーム数１の場合）の例を図１３に示している。空間解像度は図１１（ａ）〜（ｄ）と同じであるが、図１１（ａ）〜（ｄ）のフレームの間を露出しているため、被写体１４０２が移動軌跡として撮影されている。

次に、高速低解像度動画像から、動き検出部１０３は、画像中の被写体の動きと動きの信頼度を求める（ステップ６０２）。図１１（ａ）〜（ｄ）の画像がより大きな画像の一部を示しているため、動き検出自体はより大きな画像全体で行った結果のうち、図１１（ａ）〜（ｄ）の画像領域に関する結果を得ても良い。

図１４（ａ）〜（ｄ）に信頼度の分布の例を示す。図１４（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応する。図１４（ｂ）および（ｃ）において、右下向きの斜線部分が動き検出の信頼度が低い場所を示し、他の領域（白および黒の画素）は動き検出の信頼度が高い場所を示している。ここで白と黒の画素の表示は被写体との関係を表しており、信頼度では区別はない。また、静止している被写体や背景に対する動き検出の結果は動きの量が０という扱いになる。

図１１（ａ）〜（ｄ）の被写体のような場合、２つの被写体１４０１と１４０２が接近するあたりでは正確な動き検出が困難となる。拘束制御部１０４ｂは、動き検出結果を用いた拘束の設定（ステップ６０３）と動きの信頼度の低い位置に対する外部拘束条件とから総合的な拘束条件を設定し（ステップ６０４）、その拘束条件を用いて統合処理部１０４ａは高速高解像度動画像を生成・出力する（ステップ６０５、６０６）。

図１５に生成した画像の例を示す。

図１５（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応する。２つの被写体が接近するフレーム図１５（ｂ）、（ｃ）では画素値が中間的な値になっているものの、本来撮影では得られない図１１の映像に近い映像が得られる。

対比のため、図１６には動き検出の結果のみを用い、動きの信頼度や外部拘束条件を用いない場合の生成画像の例を示す。動き検出が正確に行えない図１６（ｂ）、（ｃ）のフレームの画像の右上において正確な画像の生成が行えていない。

図１６（ｂ）、（ｃ）の結果とは異なり、図１５の結果では、動き検出が図１４（ｂ）、（ｃ）の右上の領域で正確に行えていないことから、外部拘束条件により、画像の他の位置や他のフレームとの画素値の連続性（数４、数５など）やエッジの連続性（数６、数７など）や動画像の主成分の傾向（数９など）を用いることで、統合処理部１０４ａは高速高解像度動画像として望ましい画像を生成することができる。

次に、低速高解像度動画像の露出時間を高速低解像度動画像のフレーム間隔よりも長く撮影する効果を図１７〜図２４の画像を用いて説明する。

図１７（ａ）〜（ｅ）は、撮影の対象を仮に高速高解像度で撮影できた場合の画像を示す。図１７（ａ）〜（ｅ）の映像は本来撮影により取得できないが、説明の為に示す。図１７（ａ）〜（ｅ）は時間的に連続する５フレームを時間の順番に並べており、移動している被写体Ａ１が写っている。

このような被写体に対して、撮影した高速低解像度動画像を図１８（ａ）〜（ｅ）に示し、低速高解像度動画像を図１９（ａ）および（ｂ）と図２０（ａ）および（ｂ）に示す。図１８（ａ）〜（ｅ）は、それぞれ図１７（ａ）〜（ｅ）の時間に対応するフレーム画像を示している。

図１８（ａ）〜（ｅ）は低解像度の画像を高解像度画像と同じ大きさに図示しているため、解像度の低さが画素の荒さとして現れている。ここで、低速高解像度画像は高速低解像度画像の４分の１のフレームレートとし、図１９（ａ）と図２０（ａ）は図１７（ａ）の時間に露出を開始したフレーム画像に対応し、図１９（ｂ）と図２０（ｂ）は図１７（ｅ）の時間に露出を開始したフレーム画像に対応している。

図１９（ａ）および（ｂ）は従来例のように低速高解像度画像の露出時間を短くしている場合のフレーム画像を示している。図２０（ａ）および（ｂ）は本願発明で示すように、低速高解像度画像の露出時間を高速低解像度画像のフレームレートよりも長くして撮影したフレーム画像を示している。

このようにして撮影した画像を用いて前記の手続きで生成した画像の例を図２１〜図２４に示す。ここで、図２１〜図２４の（ａ）〜（ｅ）は、それぞれ図１７（ａ）〜（ｅ）の時間に対応するフレーム画像を示す。また、図２２〜図２４の（ａ）〜（ｅ）において斜線部分は被写体Ａ１の輝度と背景の輝度との中間輝度の領域を表している。

図２１（ａ）〜（ｅ）と図２２（ａ）〜（ｅ）は、図１８（ａ）〜（ｅ）と図１９（ａ）、（ｂ）の入力画像を用いて生成した画像の例であり、図２３（ａ）〜（ｅ）と図２４（ａ）〜（ｅ）は、図１８（ａ）〜（ｅ）と図２０（ａ）、（ｂ）の入力画像を用いて生成した画像の例である。図２１（ａ）〜（ｅ）は動き情報を用いずに生成した画像の例を示し、図２２（ａ）〜（ｅ）は動き情報を用いて生成した画像の例を示している。

図２１（ａ）と（ｅ）、図２２（ａ）と（ｅ）は図１９の入力画像と同じタイミングのため鮮明な画像が得られる。一方、図２１（ｂ）〜（ｄ）では動き情報を用いないため、図１８（ｂ）〜（ｄ）と同等の低解像度画像となっている。

また、図２２（ｂ）〜（ｄ）では低速高解像度画像を撮影したフレームから離れるに従い、画像の不鮮明さが増し、次の低速高解像度画像の撮影フレームに達したときに再び鮮明な状態に戻る。

これは、低解像度高速画像から得た動き情報を利用して図２２（ｂ）〜（ｄ）の生成画像の空間解像度を向上させる必要があるものの、低解像度画像から動き検出を行うため、動き検出の精度が低くなることと、動き検出では不可避な検出誤差が生じることに起因する。これらの動き検出誤差がフレーム毎に蓄積するため鮮明度が次第に低下する。

このように、図１９（ａ）および（ｂ）のような入力を用いた場合、動き検出の情報が得られないか、不正確であると、図２２（ｂ）〜（ｄ）において生成画像の鮮明度が次第に低下すると同時に、生成画像の鮮明度が周期的に（前記の例では４フレーム周期）大きく変動し、見辛い画像になり得る。低速高解像度画像のフレーム間隔が長いほどこの傾向は顕著となる。

動き検出の精度が高解像度画像の解像度の精度で正確に得られれば上記のような問題は生じないが、画像中の被写体形状の複雑な変化やオクルージョン、照明変動等により、現実的には低解像度画像からの高精度の動き検出は困難である。

図２３（ａ）〜（ｅ）は動き情報を用いずに生成した画像の例を示し、図２４（ａ）〜（ｅ）は動き情報を用いて生成した画像の例を示している。図２３（ａ）〜（ｅ）では図１７（ａ）〜（ｅ）や図１９（ａ）、（ｂ）の画像に比べて多少鮮明さは低下するものの、図２２（ｄ）のような大きな鮮明度の低下が生じない。また、時間的な鮮明度の変化が抑えられており、鮮明度の時間変化による見辛さは軽減できる。更に、図２４（ａ）〜（ｅ）では動きの情報を用いるため、図２３（ａ）〜（ｅ）に比べて更に鮮明度が向上する。

このように従来の画像生成方法では、高速低解像度画像も低速高解像度画像とも露出時間を短くし、動きブレを抑えることで、個々の画像を鮮明に撮影していたが、生成した画像の画質を安定させ、突発的な画像の変化を適切に生成画像に反映させる上では必ずしも望ましいとはいえなかった。

本願発明の画像生成手法ではこのような従来手法とは異なり、生成する高速高解像度画像の鮮明さの向上とフレーム間の鮮明度の変化を抑えるために動きブレが生じうる長時間撮影により得た低速高解像度画像を用いてが画像を生成することを特長とする。

これにより、動き検出が行われない場合にでもフレーム毎の画質の変動を抑えるとともに、画像の動き情報を加味することで画像の鮮明さを向上させることが可能となる。

更に、動き検出の信頼度を用いて信頼度の高い動き情報のみ用いることで、誤った動き情報による画像の劣化を抑えることが可能になる。

なお、長時間露出の露出時間は低速画像のフレーム間で開放すると効果を得やすい。実際には、画素値の読み取り等により、露出終了と次フレームの露出開始までには未露出時間が生じうる。このような場合にでも可能な範囲で露出を長くしておくことで本願発明の効果を得ることが可能である。

なお、長時間撮影を用いて画像を生成したか否かは、高解像度でかつ突発的な画像の変化が図１９（ａ）と（ｂ）の間で生じた場合に生成画像にその変化が含まれるか否かで判断することができる。

ここまで、露光制御部１０５が低速高解像度画像の１フレームの露光期間中の露光量を時間的に一定にする制御を行った場合について説明した。次に、露光制御部１０５が低速高解像度画像の１フレームの露光期間中の露光量を時間的に変化させる制御を行った場合について説明する。

図２５（ａ）は、低速画像入力部１０１ｂで取得する低速高解像度動画像の露光量の時間変化の例で、図２５（ｂ）は、高速画像入力部１０１ａで取得する高速低解像度動画像の露光量の時間変化の例を示す。図２５（ａ）および（ｂ）で横軸は時間、縦軸は撮像時の露光量を示す。図２５（ａ）および（ｂ）はそれぞれの画像について同じ期間における露光量の時間変化を表しており、１つのつながった太線が各画像の１フレームを得るための露出量の時間変化を表している。

図２５（ａ）では、低速高解像度画像の１フレームを得るための１回の露出期間中に露光が行なわれている状態と無露光状態が４回繰り返されることが、太線２１ａ１によって示されている。図２５（ｂ）では、図２５（ａ）での１回の露出と同じ期間に、高速低解像度画像の４つのフレームを得るために４回の露出（太線２１ｂ１、２１ｂ２、２１ｂ３、２１ｂ４）が行なわれることが示されている。

図８（ｂ）では、フレーム間隔と露出時間とが等しい（つまりフレーム間で開放露光を行う）として高速低解像度画像の劣化過程を説明したが、ここでは、図２５（ｂ）に示されるように、高速低解像度画像は、フレーム間隔よりも露出時間が短くなる（言い換えれば、各フレームの露光期間の一部が無露光期間となる）ように制御される。また、図２５（ｂ）の高速低解像度画像の４回の未露出期間に同期して、図２５（ａ）の低速高解像度画像の１回の露出中の減光期間が設定される。

次に、図２６を用いて入力画像の露光タイミングと生成画像における仮想的な露光タイミングとの関係を説明する。ここで仮想的な露光タイミングとは、生成画像に相当する画像を実際に撮影できたと仮定した場合の露光タイミングに相当する。

図２６（ａ）は低速高解像度画像（破線から破線が１フレームの露光期間を示す）における露光タイミングを表し、縦軸の上側が露光している状態、下側が無露光の状態を示している。図２６（ａ）では１フレーム中に露光と無露光の状態を９回繰り返している。図２６（ｂ）は図２６（ａ）と同時に撮影している高速低解像度画像の露光タイミング（白色）と無露光タイミング（斜線）とを表している。

高速低解像度画像では１フレームごとに露光と無露光とを１回ずつ含んでいる。図２６（ｂ）では低速高解像度画像１フレームの間に、高速低解像度画像が９フレーム含まれている。

図２６（ｃ）は生成画像（高速高解像度画像）の仮想的な露光タイミングを表している。

ここで、図２６（ａ）、図２６（ｂ）の露光期間は一致している。このような関係は、一例として、低速高解像度画像の１フレームの露光期間に含まれる無露光期間に高速低解像度画像の露光量もまた低減させるよう、露光制御部１０５が撮像装置１０を制御することによって実現できる。

また、高速低解像度画像の各フレーム期間の予め定められた一部が露光期間、残部が無露光期間として制御される場合に、高速低解像度画像の露光期間において低速高解像度画像の１フレームの露光が行われるように露光制御部１０５が撮像装置１０を制御しても、このような関係は実現される。

このような関係を満たすように撮影した画像を用いて図２６（ｃ）のような仮想的な露光タイミングを持つ動画像を生成することにより、次のような効果が得られる。

すなわち、露光および無露光のタイミングが混在していても、数１や数２のような線型式は満たされるため、画像生成の手続きを露光および無露光のタイミングに依存して複雑に構成する必要が無い。しかも、露光および無露光のタイミングが混在している場合には、入力画像の時間方向の周波数特性では高周波成分の割合が向上し、生成画像における時間方向の高周波数成分の再現性も向上する。

ステップ６０１以降では、前述した露光量を時間変化させない場合と同じ処理を行う。ここで、図１７（ａ）〜（ｅ）と同じ被写体について被写体の動きが速い場合について考える。

露光制御部１０５が低速高解像度画像の露光量を時間的に変化させず、高速低解像度画像のフレーム間隔と露出時間とが等しい場合の高速低解像度画像の例を図２７（ａ）〜（ｃ）に示す。図２７（ａ）、（ｂ）、（ｃ）は連続するフレームの画像であり、各フレーム画像では動きブレが目立っている。これは高速画像であってもフレーム間で被写体が大きく動くことによる。図２８は同時に撮影した低速高解像度画像の例である。図２８は、図２７（ａ）、（ｂ）、（ｃ）の３フレームの時間にわたって露光量を時間的に変化させずに撮影しており、さらに大きな動きブレを含む画像となっている。

図２７（ａ）〜（ｃ）の高速低解像度画像と、図２８の低速高解像度画像とに対して、図２４（ａ）〜（ｅ）に示される動画像を生成した場合と同じ処理を適用した結果の一例を図２９（ａ）〜（ｃ）に示す。図２９（ａ）、（ｂ）、（ｃ）は、図２７（ａ）、（ｂ）、（ｃ）の各フレームの時間に対応する。

図２９（ａ）〜（ｃ）において、高速低解像度画像と同じフレームレートで図２７（ａ）〜（ｃ）よりも高解像度化された画像が得られている。しかしながら、図２７（ａ）〜（ｃ）に含まれる動きブレは図２９（ａ）〜（ｃ）にも含まれている。これは、高速低解像度画像のフレームレートよりも速い動きの情報が撮影時に得にくいことによる。

次に、同じ被写体に対して図２５（ａ）および（ｂ）のような露光量の時間変化を行った場合を考える。露光制御部１０５が低速高解像度画像の露光量を時間的に変化させて撮影した画像の例を図３０（ａ）〜（ｃ）、図３１に示す。

図３１は低速高解像度画像で、図２８と同じ被写体を、図２５（ａ）のように露光量を時間的に変化させて撮影した画像となっている。ここで、図３１の斜線部分は黒色の領域と白色の領域の中間的な画素値（輝度値）を表している。露光量を時間的に変化させているため、被写体の画素値（輝度値）が動きの方向に沿って変化している。

図３０（ａ）〜（ｃ）は高速低解像度画像で、図２５（ｂ）のように低速高解像度画像の露光区間に合わせて露出時間を設定している。フレーム間の被写体の移動量は図２７（ａ）〜（ｃ）と図３０（ａ）〜（ｃ）とで等しいものの、露出が短いため図３０（ａ）〜（ｃ）では各フレーム画像の被写体の動きブレが図２７（ａ）〜（ｃ）の場合に比べて少なくなっている。

このような入力画像を用いて生成した画像を図３２（ａ）〜（ｃ）に示す。図３２（ａ）〜（ｃ）は図２９（ａ）〜（ｃ）に比べ、動きブレが抑えられた高解像度画像となっている。これは、図２９（ａ）〜（ｃ）の場合と同じ被写体を同じフレームレートで撮影しているものの、露光量を時間的に変化させていることで、時間的に高い周波数の情報を取得し、画像生成に利用していることに因る。

上記の例では、図２５（ａ）および（ｂ）のように低速高解像度画像撮影時の未減光区間と高速低解像度画像の露出時間とを一致させて撮影した場合を説明したが、図３３（ａ）および（ｂ）を用いて両者が一致しない場合の例について説明する。

図３３（ａ）は図２５（ａ）と同じ露光量の時間変化を表しているが、図３３（ｂ）の高速低解像度画像のフレームレートは図２５（ｂ）の場合の半分であり、破線の２２ｂ２、２２ｂ４で示される露出期間のフレームは実際には撮影されていない。

このような場合、太線２２ｂ１及び２２ｂ３で示される露光によって撮影された２つのフレーム画像を用いて画像間の動きベクトルを検出する。そして、画像間の対応点の動きを用いて破線２２ｂ２で示される露出期間に得られたであろう画像を生成する。同様に前後のフレーム画像を用いて破線２２ｂ４で示される露出期間における画像も生成する。このような生成は、従来技術である時間方向の補間処理によって行うことができる。

このようにして、破線２２ｂ２及び２２ｂ４で示される露出期間における画像を生成した後に、図２５（ｂ）の場合と同等の処理を行なうと、図３２（ａ）〜（ｃ）のような高速高解像度かつ動きブレの抑えられた画像を得ることが可能となる。

但し、低速高解像度画像の露光量の時間変化と、高速低解像度画像の露出時間とを合わせることが望ましい。一致させることで、両画像から得られる情報の時間方向での過不足が抑えられ、撮影していない時間の画像の推定といった付加処理による誤差の発生や演算量の増加を抑える効果がある。

なお、露光量を時間的に変化させる方法としては、機械式の開閉シャッタや液晶シャッタ等の同様の機能を有する装置を撮像部よりも被写体側に設置することで実現することができる。同様に、照明変化をさせることで、露光量を時間変化させてもよい。

照明変化を用いる場合、付加すべき装置が簡易に構成できる点や、高速な露光量の変更が行ないやすい利点があるが、被写体までの距離が遠い場合は、照明強度を強くする必要がある。一方、シャッタ等を用いる場合は、被写体の距離に関係なく適用できる利点がある。両方を併用してもよいし、どちらか一方を使っても、本発明の効果は得られる。

このように、低速高解像度画像の露光量を時間的に変化させることで、変化させない場合に比べて時間的により高周波数の情報を取得して画像を生成することが可能となる。その結果、各フレーム画像での動きブレを抑えるなど生成画像の高周波成分の再現性を高めた画像を得ることが可能となる。

上記の例では、画像統合部１０４は、生成画像を出力するのみであるが、生成画像の出力と併せて画像生成の信頼度を出力しても良い。画像生成の信頼度γは生成した画像が正確に高速高解像化されている度合いを予測する値である。γの決め方としては、以下の数１６に示される動きの信頼度の総和や、

有効な拘束条件の数Ｎと求めるべき動画像の総画素数Ｍ（＝フレーム数×１フレーム画像の画素数）との比率Ｎ／Ｍなどを用いることができる。ここでＮ＝Ｎｈ＋Ｎｌ＋Ｎλ×Ｃであり、Ｎｈは高速画像の総画素数（フレーム数×１フレーム画像の画素数）、Ｎｌは低速画像の総画素数、Ｎλは外部拘束条件を有効にする時空間位置（ｘ，ｙ，ｔ）の総数、Ｃは外部拘束の種類の数とする。

なお、数１５などの方程式を連立１次元方程式として解く場合には、Ｃｌｉｎｅ，Ａ．Ｋ．，Ｍｏｌｅｒ，Ｃ．Ｂ．，Ｓｔｅｗａｒｔ，Ｇ．Ｗ．ａｎｄ Ｗｉｌｋｉｎｓｏｎ，Ｊ．Ｈ．，“Ａｎ Ｅｓｔｉｍａｔｅ ｆｏｒ ｔｈｅ Ｃｏｎｄｉｔｉｏｎ Ｎｕｍｂｅｒ ｏｆ ａ Ｍａｔｒｉｘ”，ＳＩＡＭ Ｊ．Ｎｕｍ．Ａｎａｌ．１６（１９７９），３６８−３７５．（非特許文献５）などに記載されている解の算出計算の安定性を示す条件数を信頼度として用いることができる。

動きの信頼度の高い場合、動き拘束を用いた生成画像の信頼度も高いことが期待できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には、解としての生成画像を安定して得ることができ、生成画像の信頼度も高いことが期待できる。同様に、上記条件数が小さい場合にも解の誤差が小さいことが期待できる為、生成画像の信頼度が高いと期待できる。

このように、生成画像の信頼度を出力することで、出力した動画像に対してＭＰＥＧなどの圧縮符号化を行う際に、信頼度の低い場合には圧縮率を高め、逆に、信頼度の高い場合には圧縮率を低く設定することが可能となり、適切な圧縮率の設定が可能となる。

例えば生成画像の信頼度γと符号化の圧縮率δとの関係を図３４のように単調増加の関係に設定し、生成した動画像の信頼度γの値に対応する圧縮率δで符号化を行う。生成画像の信頼度γが低い場合には生成画像が誤差を含みうるため、圧縮率を高くしても実質的に情報の欠損があまり生じないことが期待されるため、効果的にデータ量を削減できる。

ここで圧縮率とは、もとの画像のデータ量に対する符号化後のデータ量の割合で、圧縮率が高い（大きい値）ほど、符号化後のデータ量は小さくなり、復号化した際の画質は低下する。

同様に、ＭＰＥＧの場合などでは、前記信頼度の高いフレームを優先的にＩピクチャなどのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とすることで、動画像の再生時の早送り再生や一次停止時などの画質を向上させることが可能となる。

例えば、前記生成画像の信頼度をフレーム毎に求めておきγ（ｔ）と置く。ｔはフレーム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレームを選択する際にγ（ｔ）が予め定めた閾値γｔｈより大きいフレームの中から選択したり、予め定めた連続フレーム区間の中で最もγ（ｔ）の大きいフレームを選択する。

なお、出力動画像を符号化する処理の有無に関わらず本発明の効果は得られる。

また、上記の例では、画素値として単一の輝度のみを前提に説明したが、輝度に対する上記の処理をＲＧＢカラー表現のＲとＧとＢの各成分について個々に同じ処理を行って高速高解像度動画像を得ることで、カラー画像に対しても高速高解像度動画像を生成することが可能である。

また、より簡易に色情報を扱う方法としては、低速画像を輝度と色差に分解し、輝度画像のみを上記の処理で高速高解像度化し、色差情報は補完拡大して前記高速高解像度輝度画像に付加することでも、効果は得られる。この場合、画像の情報の主成分は輝度に含まれる為、他の色差の情報が補完拡大された場合であっても、両者を合せることで、入力した画像に比べて、高速高解像度化した動画像を得ることが可能となり、ＲＧＢ独立に処理する場合に比べて処理量を削減することが可能となる。

このようなカラー画像に対する処理の手順を図３５に示す。ステップ２１０１では高速低解像度動画像を輝度画像と色差画像に分離し、続いて、ステップ２１０２で、前記輝度画像と低速高解像度動画像の輝度画像とを用いて図５の手順に基づいて高速高解像度動画像を生成する。ステップ２１０３では、前記色差画像を高解像度画像と同じ画素数に補間拡大する。ステップ２１０４では、前記生成輝度画像と前記補間拡大した色差画像とを合成して高速高解像度のカラー画像を生成する。

このように、画像統合部１０４が、高速低解像度動画像から色差情報を抽出し、高速低解像度動画像の輝度情報と低速高解像度動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に色差情報を付加することによって、最終的な新たな動画像を生成することで、カラーの動画像を少ない処理量で統合することができる。

以上のように、本実施の形態における画像生成システム１００によれば、動き検出部１０３が求めた動きの信頼度に応じて、拘束制御部１０４ｂが外部モデル拘束条件と動き拘束条件とを有効にする度合いを決定し、前記拘束条件を用いて高速画像と低速画像を統合することにより、動き検出が行えない場合や、動き検出の精度が低い画像領域においても高速高解像の動画を得ることができる。

なお、本実施の形態では、動画像全体を一括で処理する例を説明したが、動画像を時空間的に複数の領域に分割し、前記各領域において上記と同様の処理を行って高速高解像の部分動画像を生成した後、生成した前記各部分動画像を時空間的に接合し、動画像全体の高速高解像の動画像を得ても良い。このように時空間的に分割処理を行う事で、画素数の多い画像やフレーム数の多い動画像を行う際に必要となる計算処理量やメモリ量を抑制する事が可能となる。特に、時間方向に動画像を分割することで、過去に入力された複数フレームを一括処理することによる画像生成の時間遅れを短縮することも可能になる。

また、上記のように分割処理する際に、隣接する時空間領域が分割境界近傍において、重複するように、各領域を設定してもよい。図３６に空間的に重複を持たせて領域分割をした例を示す。図３６では画像を空間的に重複領域を持たせて領域７０１〜７０４の４領域に分割している。個々の領域に相当する動画像を生成した後に、重複部分の画素値は重複する各領域の画素値を重み付け加算平均を行うことで、滑らかな接合を行うことができる。また、時間方向に重複を持たせて図３６と同様に領域分割しても良い。このように、重複領域を持たせることで、領域分割処理において隣接する領域間での処理結果の不連続性を抑制する事ができる。

なお、このような重複を許す分割処理において、重複領域の大きさは、予め定めておく。重複領域の大きさを大きくすることで、処理領域間での処理結果の不連続性を低減する効果が増す。重複領域の大きさを小さくすると重複によって増加する計算量を抑えることが可能となる。

また、上記のように領域分割する際の時間方向の領域境界としては、予め動画像のフレーム間の画像の変化を算出し、フレーム間の画像の変化が予め定めた基準より大きいフレーム間に時間的な領域境界を設定しても良い。例えば、隣り合うフレーム画像の差として数１７のような値ＳＳＤ（ｔ）を定義し、ＳＳＤ（ｔ）＞ｔｈを満たす場合に、時刻ｔのフレームと時刻ｔ＋１のフレームとの間を処理の境界とし、時刻ｔ以前のシーケンスと時刻ｔ＋１以降のシーケンスの処理を分けて行う。

ここで、Ｉ（ｘ，ｙ，ｔ）は時刻ｔのフレーム画像中の位置（ｘ，ｙ）における輝度を示し、ｔｈは予め定めた閾値である。また、閾値ｔｈを基準として処理の区切りを決定する替わりに、処理の区切りを設けたい時間領域のシーケンスにおいて前記ＳＳＤ（ｔ）が最大になる時刻ｔを処理の区切りとしても良い。このようにすることで、時間的に隣接する領域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなる事で不連続性が知覚されにくくなるという効果が期待できる。

以上、本発明に係る画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。

実施の形態では、統合処理部１０４ａが、拘束指定部１０４ｅによって指定される数１２の総合的な拘束条件Ｊに従って、入力された静止画像（低速高解像度画像のフレームの１つ）と、その静止画像の露光期間における目的とする高速高解像度動画像の複数のフレームの合計との誤差（数１２の右辺の第２項）を減少させることによって、高速高解像度動画像を生成すると説明した。

ここで、合計の代わりに、合計と定数倍の関係にあって合計とは実質的に等価な情報である平均を用いても構わない。すなわち、静止画像と、その静止画像の露光期間における目的とする高速高解像度動画像の複数のフレームの平均との誤差を減少させることによって、目的とする高速高解像度動画像を生成する構成も、本発明に含まれる。

また、本発明の画像生成装置が行なう画像生成処理の一部または全部は、専用の機器で行わせるようにしてもよいし、コンピュータ端末装置や、基地局等に配置される通信機器や、スタンドアロンのコンピュータに内蔵されるＣＰＵが画像生成処理プログラムを実行することによって、画像生成処理を行うようにしてもよい。

また、図３に示された画像生成システム１００の構成のうち、表示装置４０を除いた構成を用いて、図３７に示すようなカメラ３００として、つまり、単体の装置として本発明を実現してもよい。

さらに、図３７に示されたカメラ３００に表示装置４０を付加することにより、動画像録画・再生機能付きのカメラとして実現しても良い。

また、図３に示された画像生成システム１００の構成のうち、撮像装置１０を除いた構成を用いて、図３８に示すようにテレビなどのディスプレイ機器４００として本発明を実現しても良い。この場合、あらかじめ録画してある動画像の時空間解像度を向上させて表示することが可能になる。

なお、請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、請求の範囲における「露出制御手段」、「画像入力手段」、「動き検出手段」、「画像統合手段」の一例が、それぞれ、実施の形態における露光制御部１０５、画像入力部１０１、動き検出部１０３、画像統合部１０４である。ただし、請求の範囲における各構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。

本発明は、複数の動画像から新たな動画像を生成する画像生成装置として、特に、高速低解像度動画像と低速高解像度動画像とから高速高解像度動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。

本発明は、動画像を生成する画像生成装置に関し、特に、複数の動画像から夫々の優れた特性を併せ持つ新たな動画像を生成する画像生成装置に関する。

デジタル撮像デバイスの進展に伴い、高空間解像度の静止画像を比較的低コストで撮影することが可能となってきている。しかしながら、このような高空間解像度の静止画と同等の空間解像度を保ちながら滑らかに動く動画像（例えば、３０フレーム／秒程度）や更に高速度の撮影を実現するには課題がある。

これは、単位時間あたりに得られる画像の情報量が莫大になるために、撮像デバイス内での画像情報の転送速度が不足することや、並列に画像情報を転送するなどの特殊な撮像デバイスを必要とする為、撮像装置のコストが増加したり、撮像デバイスの特性の調整が別途必要になることに因る。

従来の時空間解像度（時間および空間の解像度）の高い画像を得る画像生成方法としては、高速低解像度カメラと低速高解像度カメラとの映像を用い、動画像のフレーム間の対応点検出を用いてモーフィングを行うものがある（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の画像生成方法を説明する図である。なお、本明細書において、撮像能力または動画像の性質に関して、「高速」（または、「低速」）とは、フレームレートが相対的に大きい（または、小さい）ことを意味し、「高解像度」（または、「低解像度」）とは、空間解像度が相対的に高い（または、低い）ことを意味する。

図１において、高速低解像度カメラＡ０１と低速高解像度カメラＡ０２は同じ対象を同じ画角で同期して撮影している。カメラＡ０１とカメラＡ０２の撮影画像の関係を図２に示す。図２は、２つのカメラＡ０１およびＡ０２が撮影したフレームを時間の順に並べており、フレームＢ０１とＢ０２はカメラＡ０２で得られた画像を表し、フレームＢ１１〜Ｂ１５は、カメラＡ０１で得られた画像を表している。ここで空間解像度の違いは画像の大きさで表現しており、フレームＢ１１〜Ｂ１５は、フレームＢ０１とＢ０２に比べて画素数が少なく、空間解像度が低い。一方、カメラＡ０１はカメラＡ０２よりも撮影のフレームレートが高く、カメラＡ０２が１フレーム撮影する間にカメラＡ０１は４フレーム撮影している。また、カメラＡ０２のフレーム撮影の時間に同期してカメラＡ０１のフレーム撮影を行っている（フレームＢ０１とフレームＢ１１およびフレームＢ０２とフレームＢ１５は同じタイミングで撮影）。以下の例では、フレームＢ２３の位置（フレームＢ１３の撮影時間に相当）に相当する高解像度画像の中間フレーム画像の生成方法について説明する。

このようにして撮影したフレーム画像について、一次マッチング部Ａ０３はカメラＡ０１の高速撮影画像において隣りあう各フレーム間の画素の対応関係を求める。ここで、対応関係とは、あるフレーム画像内の各画素が映す対象の部位が他方のフレーム画像内のどの画素位置に写っているかの関係である。次に、隣り合う高速画像間の対応関係をつなぎ合わせることで、生成したいフレームＢ２３の時刻に位置する高速カメラ画像Ｂ１３と、高速画像と低速画像を同期して撮影しているフレームＢ１１との画素間の対応関係を求める。

次に、二次マッチング部Ａ０４は、高速画像と低速画像を同期して撮影しているフレームＢ０１とフレームＢ１１との画素の位置関係、フレームＢ１３とフレームＢ２３との画素の位置関係、および、一次マッチング部Ａ０３で求めたフレームＢ１１とフレームＢ１３との対応関係をつなぎ合わせることで、フレームＢ０１とフレームＢ２３との画素の対応関係を決定する。

次に、画像生成部Ａ０５は、フレームＢ０１とフレームＢ２３との画素の対応関係を用いて、フレームＢ０１の画素値を用いてフレームＢ２３の画素値を決定し、高解像度中間フレーム画像Ｂ２３を生成する。同様の手順で他の中間フレームを生成することで、高解像度かつ高速の映像を生成する。

また、非特許文献１や非特許文献２などでも同様に、高速低解像度カメラと低速高解像度カメラとの映像を用い、高速カメラの映像から動き検出を行い、その動きに合わせて低速高解像度動画像に対してモーフィングを行うことで高解像度の中間フレーム画像を生成している。
特開２００３−２０３２３７号公報（図１３） Ｔｏｒｕ ＭＡＴＳＵＮＯＢＵ，ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ Ｕｓｉｎｇ Ｍｏｒｐｈｉｎｇ"，Ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ ｏｆ ＩＥＩＣＥ，ＰＲＭＵ２００４−１７８ Ｋｉｙｏｔａｋａ Ｗａｔａｎａｂｅ，ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ ｆｒｏｍ Ｔｗｏ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ ｗｉｔｈ Ｄｉｆｆｅｒｅｎｔ Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ Ｆｒｅｑｕｅｎｃｉｅｓ"，情報科学技術レターズ（ＦＩＴ２００４），Ｖｏｌ．３，Ｎｏ．ＬＩ−００４，２００４

しかしながら、上記従来の技術では、高速画像において隣り合うフレーム間で対応関係を正確に求めることや、動き検出を正確に行えることが前提となっており、対応関係が正確に求まらない場合や、動き検出が行えない場合には、生成する画像が大きく劣化したり、低解像度画像を単に拡大した画像になってしまうという課題を有している。一般的に、画像中の移動物体の動きが複雑な場合や照明状態が変化する場合やオクルージョンが発生する場合やアパーチャ問題が発生する場合などには、フレーム間の対応点を求めることや動き検出を全ての画素について正確に求めることは困難である。

そこで、本発明は、上記従来の課題を解決するものであり、対応点検出や動き検出が正確に行えない画像領域も含めて複数の動画像を統合した新たな動画像を生成することができる画像生成装置およびその方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像生成装置は、外部の撮像装置によって同一事象を撮影して得られた第１動画像及び第２動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、前記第２動画像の解像度は前記第１動画像の解像度よりも高く、かつ前記第２動画像のフレームの露光時間は前記第１動画像のフレームの露光時間よりも長く、前記撮像装置を制御することにより、前記第２動画像の１つのフレームの露出期間中の露光量を時間的に変化させる露光制御手段と、前記撮像装置から、前記第１動画像と、前記露光制御手段の制御下で撮影された前記第２動画像とを取得する画像入力手段と、前記取得された第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備える。

このような構成によって、前記画像入力手段が、例えば、高速フレームレートで低解像度の第１動画像と低速フレームレートで高解像度の第２動画像を受け付けた場合には、前記画像統合手段は、前記第１動画像と同じフレームレートで前記第２動画像と同じ解像度の動画像を前記新たな動画像として生成することができる。つまり、入力された複数の動画像の夫々の優れた特性を併せ持つ新たな動画像が生成される。

更に、前記露光制御手段が、前記第２動画像の露出期間中の露光量を時間的に変化させることで、時間周波数の高い情報を取得することが可能となり、生成される動画像の高周波数の特性を向上させることが可能となる。

なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。

本発明の画像生成装置によれば、動画像中において必ずしも動きや対応点が正確に求まらない画像領域を含んでいる場合にでも、その画像の時空間解像度を動画像全体で向上させた新たな動画像が生成される。たとえば、高速低解像度動画像と低速高解像度動画像とから、夫々の優れた特性を併せ持つ高速高解像度動画像が確実に生成される。

本発明の画像生成装置は、外部の撮像装置によって同一事象を撮影して得られた第１動画像及び第２動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、前記第２動画像の解像度は前記第１動画像の解像度よりも高く、かつ前記第２動画像のフレームの露光時間は前記第１動画像のフレームの露光時間よりも長く、前記撮像装置を制御することにより、前記第２動画像の１つのフレームの露出期間中の露光量を時間的に変化させる露光制御手段と、前記撮像装置から、前記第１動画像と、前記露光制御手段の制御下で撮影された前記第２動画像とを取得する画像入力手段と、前記取得された第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備える。

ここで、前記露光制御手段は、前記第２動画像の１つのフレームの露光期間中に少なくとも１回、前記露光量を低減させる無露光期間を設けてもよく、前記露光制御手段は、さらに、前記撮像装置を制御することにより、前記第１動画像の露光量を、前記第２動画像の無露光期間において低減させてもよい。また、前記第２動画像の１つのフレームの露光期間中に含まれる前記第１動画像の１以上のフレームのそれぞれの露光期間において、前記第２動画像の前記フレームの露光が行われるように、前記第２動画像の露光量を変化させてもよい。

この構成によれば、短い露光時間のために前記第１動画像に含まれる時間周波数の高い情報と、高い解像度のために前記第２動画像に含まれる空間周波数の高い情報とが、前記新たな動画像のフレームに反映されるため、時空間解像度に優れた前記新たな動画像が得られる。前記第２動画像の露出時間中の露光量を時間的に変化させることは、前記第２動画像が時間周波数のより高い情報を持つことができ、その結果、前記新たな動画像の時間解像度の向上に役立つ。

また、前記撮像装置が、前記第２動画像を撮影する際、被写体からの入射光量を外部からの制御に応じた量低減させる減光手段を備える場合には、前記露光制御手段は、前記減光手段を制御することによって、前記露光量を時間的に変化させることができる。

また、前記撮像装置が、前記第２動画像を撮影する際、外部からの制御に応じた強さで被写体を照明する照明手段を備える場合には、前記露光制御手段は、前記照明手段を制御することによって、前記露光量を時間的に変化させることができる。

（実施の形態）
以下、図面を参照しながら本発明の実施の形態に係る画像生成システムについて詳細に説明する。

図３は、本発明の実施の形態に係る画像生成システムのハードウェア構成を示すブロック図である。

画像生成システム１００は、同一の対象についての複数の動画像（ここでは、高速低解像度動画像および低速高解像度動画像）から時空間解像度の高い新たな動画像（ここでは、高速高解像度動画像）を生成するシステムであり、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とを備えている。撮像装置１０は、被写体を撮影し、異なる２種類の時空間解像度で動画像（ここでは、同一の対象についての高速低解像度動画像および低速高解像度動画像）を得るカメラ等である。画像記憶装置２０は、撮像装置１０で撮像された動画像を一時的に記憶するメモリ等である。画像生成装置３０は、画像記憶装置２０に記憶された動画像を読み出し、読み出した複数の動画像から、時空間解像度を高めた新たな動画像を生成する装置である。表示装置４０は、画像生成装置３０で生成された新たな動画像を表示する表示装置である。なお、画像生成装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。

図４は、図３に示された画像生成システム１００における撮像装置１０と画像生成装置３０の内部構成を示す機能ブロック図である。

撮像装置１０は、減光部１０６ａと照明部１０６ｂとを含んで構成される。

減光部１０６ａは、画像生成装置３０からの制御に応じて、時間的に変化可能な量で撮像される被写体からの入射光を低減させる。減光部１０６ａは、例えば入射光を撮像素子に導く光学系（不図示）に配置された、電気的に制御可能なフィルタ又はシャッタであるとしてもよい。照明部１０６ｂは、画像生成装置３０からの制御に応じて、時間的に変化可能な光量で被写体を照明する。

画像生成装置３０は、画像入力部１０１と、動き検出部１０３と、画像統合部１０４と、露光制御部１０５とを備える。

露光制御部１０５は、減光部１０６ａ及び照明部１０６ｂのうち少なくとも一方を制御することによって、撮像装置１０によって撮像される低速高解像度画像の１フレームの露出期間中の露光量を時間的に変化させる。

画像入力部１０１は、撮像装置１０によって同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像を取得するインターフェース等であり、高速（高速フレームレート）かつ低空間解像度で対象を撮影した動画像（高速低解像度動画像）を取得する高速画像入力部１０１ａと、低速（低速フレームレート）かつ高空間解像度で同じ対象を撮影した動画像（低速高解像度動画像）とを取得する低速画像入力部１０１ｂとを有する。このように、高速画像入力部１０１ａに入力された画像と低速画像入力部１０１ｂに入力された画像は、時空間解像度は異なるが、同じ対象を撮影した画像である。ここで、低速高解像度画像の１フレームの露出期間中の露光量は、減光部１０６ａ又は照明部１０６ｂによって時間的に変化可能であることに注意する。

動き検出部１０３は、画像入力部１０１に入力される画像を生成する撮像装置１０の動きを検出するセンサ（撮像装置１０に備えられた加速度センサ等）からの信号を取得するセンサ入力部１０３ｃと、画像入力部１０１に入力された画像及びセンサ入力部１０３ｃに入力された動き信号のうちの少なくとも一方に基づいて、入力画像中の画像（つまり、撮像の対象物）の動き検出を各フレームの画像全体において行う動き分布算出部１０３ａと、動き分布算出部１０３ａにおける動き検出の信頼度を各フレームの画像全体において算出する動き信頼度分布算出部１０３ｂとを有する。

画像統合部１０４は、画像入力部１０１に入力された複数の動画像のうち、信頼度の高い画像領域については動き検出部１０３による動き検出の結果を用いて新たな動画像を生成し、信頼度の低い領域については予め定められた一定の拘束条件を用いて複数の動画像を統合する処理部であり、統合処理部１０４ａと、拘束制御部１０４ｂと、動き拘束指定部１０４ｃと、外部モデル拘束部１０４ｄと、拘束指定部１０４ｅとを有する。

動き拘束指定部１０４ｃは、動き分布算出部１０３ａによる動き検出の結果を用いて、生成する高速高解像度動画像の各画素値が満たすべき拘束条件（以下、動き検出の結果に依存して指定される拘束条件を「動き拘束条件」という。）を指定する処理部である。

外部モデル拘束部１０４ｄは、生成する高速高解像度動画像の各画素値が動き分布算出部１０３ａによる動き検出の結果とは別に満たすべき拘束条件（以下、動き検出の結果に依存することなく指定される拘束条件を「外部モデル拘束条件」という。）を指定する。

拘束制御部１０４ｂは、動き分布算出部１０３ａで算出された動き検出の結果と動き信頼度分布算出部１０３ｂで算出された信頼度とを用いて、生成する高速高解像度動画像中の各フレーム画像中の各位置において、動き拘束条件と外部モデル拘束条件とをそれぞれ有効にする度合いを決定し、その度合を拘束指定部１０４ｅに通知する。

拘束指定部１０４ｅは、拘束制御部１０４ｂが決定した動き拘束条件と外部モデル拘束条件との有効度合いに基づいて、動き拘束指定部１０４ｃが指定する動き拘束条件と外部モデル拘束部１０４ｄが指定する外部モデル拘束条件とを統合した拘束条件、つまり、生成する高速高解像度動画像の各画素値が満たすべき拘束条件を指定する。

統合処理部１０４ａは、拘束指定部１０４ｅによって指定される拘束条件に従って、高速画像入力部１０１ａに入力された高速画像と低速画像入力部１０１ｂに入力された低速画像とを統合し、高速高解像度動画像を生成する。

符号化部１０２は、統合処理部１０４ａによって生成された画像を圧縮符号化して出力する。

なお、本実施の形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。

次に、以上のように構成された画像生成装置３０が実行する処理について説明する。図５は、画像生成装置３０が実行する処理のフローチャートである。

ステップ６００では、露光制御部１０５が低速高解像度画像の１フレームの露光期間中の露光量の時間変化を設定する。ここでは、まず露光期間を通して露光量を一定にする場合の説明を行う。露光期間中の露光量を時間的に変化させる場合については後述する。

露光制御部１０５は、露光量を一定にする制御を撮像装置１０に対して行う。撮像装置１０は、露光制御部１０５からの制御下で、高速低解像度画像と低速高解像度画像とを撮影する。

ステップ６０１では、高速画像入力部１０１ａが高速低解像度動画像の入力を受け付け、低速画像入力部１０１ｂが同一対象についての低速高解像度動画像の入力を受け付ける。以降、説明に用いる画像は輝度画像を用いて説明する。

高速画像入力部１０１ａに入力される高速低解像度動画像と低速画像入力部１０１ｂに入力される低速高解像度動画像の関係を図６（ａ）および（ｂ）に示す。図６（ａ）および（ｂ）は、それら２つの画像の連続したフレーム画像を時間の順に並べており、フレーム２０１と２０２は低速高解像度の画像を表し、フレーム２１１〜２１５は高速低解像度の画像を表している。

本図において、空間解像度の違いは画像の大きさで表現されている。フレーム２１１〜２１５は、フレーム２０１と２０２に比べて画素数が少なく空間解像度が低い。一方、フレームレートについては、高速画像入力部１０１ａは、低速画像入力部１０１ｂに比べ、撮影のフレームレートが高く、ここでは、低速画像入力部１０１ｂの１フレーム間隔で高速画像入力部１０１ａは４フレーム撮影している。また、フレーム２０１と２０２の画像の時間方向の幅は露出時間を表している。低速画像入力部１０１ｂに入力される画像はフレームレートが低い分、高速画像入力部１０１ａに入力される画像に比べて長い露出が可能となる。図６（ａ）では、低速高解像度動画像のフレーム２０１は、高速低解像度動画像の４フレーム間隔分の露出が行われている。

なお、高速画像入力部１０１ａに入力されるフレームと低速画像入力部１０１ｂに入力されるフレームとの撮影タイミングは、時間の相対関係が既知であればよく、必ずしも同時に撮影される必要は無い（つまり、撮像タイミングにおける位相が異なっていてもよい）。また、長時間露出を行うことで、高解像度の画像中においても移動物体の移動軌跡のような動き情報を取得することが可能となる。高解像度画像から得た動き情報と矛盾のない動画像を後述する画像の統合処理において生成することで、時空間解像度の高い動画像を生成することが可能となる。

ここで、撮像装置１０の具体例、つまり、２種類の画像を取得する撮影手段の例を示す。２種類の画像は、図７（ａ）のように、特性の異なる２種類のカメラを同一画角になるようにハーフミラーを用いて配置して撮影しても良いし、図７（ｂ）のように、１つのカメラ内において特性の異なる２種類の撮像素子を同一画角になるようにハーフミラーやプリズムを用いて配置して撮影しても良いし、図７（ｃ）のように特性の異なる２種類の画像を同時に撮影する撮像素子を用いても良い。

次に、図８（ａ）〜（ｃ）を用いて、目的とする高速高解像度動画像の画素値（ここでは、輝度値）と、高速画像入力部１０１ａで取得する高速低解像度動画像および低速画像入力部１０１ｂで取得する低速高解像度動画像の画素値（ここでは、輝度値）との関係を説明する。この関係は、高速高解像度動画像の各画素が満たすべき外部モデル拘束条件として画像生成に使用する。

ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとする。図８（ａ）は、目的とする高速高解像度動画像の各フレームの画素の配置を示したものである。説明の便宜のため、高速高解像度動画像の一部を取り出して説明する。図８（ａ）は、縦（Ｙ軸）方向３画素、横（Ｘ軸）方向３画素、４フレームの画素の配置を表している。画素位置（ｘ，ｙ，ｔ）の画素の値をＨＨ（ｘ，ｙ，ｔ）とする。ここでｘとｙは０、１、２の値の範囲とし、ｔは０、１、２、３の値の範囲とする。

同様に、図８（ｂ）は、図８（ａ）と同じ画角を同じ時間に撮影した高速低解像度動画像の画素の配置を示す。ここで、高速低解像度動画像の画素位置（ｘL，ｙL，ｔ）の画素値をＨＬ（ｘL，ｙL，ｔ）と表す。低解像度画像と高解像度画像ではｘ、ｙ方向の画素数が異なるため、低解像度画像のｘ、ｙ座標値をそれぞれｘL、ｙLと表して高解像度画像の場合と区別する。ここでは高解像度画像のｘ、ｙ方向それぞれ３画素からなる９画素分の領域が低解像度画像の１画素に相当する関係にあり、画素値の関係は数１のようになる。

同様に、図８（ｃ）は、図８（ａ）と同じ画角を同じ時間に撮影した低速高解像度動画像の画素の配置を示す。ここで、低速高解像度動画像の画素位置（ｘ，ｙ，ｔL）の画素
値をＬＨ（ｘ，ｙ，ｔL）と表す。

高速画像と低速画像では時間方向のフレーム数が異なるため、低速画像のフレーム番号をｔLと表して高速画像の場合と区別する。ここでは高速画像の４フレーム分の間隔が低速画像の１フレーム間隔に相当する関係にあり、画素値の関係は数２のようになる。

ここで、Ｇ（ｔ）は、時刻ｔの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時間的変化が無い場合には、Ｇ（ｔ）＝１．０である。また、露光制御部による露光量の時間変化がない場合はＧ（ｔ）＝１．０となる。

なお、上記の例では時間ｔを離散的に表現しているが、連続的な時間変化と対応付ける場合には、数３の関係式を用いる。数１、数２のＨＨ（ｘ，ｙ，ｔ）を数３でＨＨcont（ｘ，ｙ，ｔcont）に置き換えることで、時間的に連続した入力に対する劣化過程を表現することが出来る。

数３において、Δｔは生成する高速高解像度画像のフレーム画像の仮想的な露出時間に相当し、ｔcontは連続した時間、ＨＨcont（ｘ，ｙ，ｔcont）は時間的に連続な画像、Ｅｘｐ（ｔcont）は高速高解像度画像のフレーム画像の仮想的な露出の時間変化を表している。

図６（ａ）および（ｂ）のように、高速画像の露出時間に対して低速画像の露出時間を長くすることで、長い時間にわたる動きの軌跡情報を蓄積することが可能となり、高速高解像度動画像を生成する上で動きの生じている部分の時空間解像度の改善に効果がある。

以上の例では、画素値は撮像時の入射光量に比例する場合（図９（ａ））で説明したが、γ補正等により比例しない場合（図９（ｂ））や比例定数が画素によって異なる場合には、別途、画像が撮影されたときの撮像素子の入出力特性（入出力関係）を逆に対応付けて利用することで、入射光に対して同一の比例関係を持つ値に画素値を補正し、数１や数２の関係を満たすことができる。例えば、図９（ｃ）のような画素値と補正値の対応関係を用いることで図９（ｂ）のようにして得られた画素値を補正し、図９（ａ）のようにして得られた画素値と同様に処理することができる。

また、上述の説明では、画素値として輝度値を用いて説明したが、各画素にＲ、Ｇ、Ｂのカラー値が存在する場合にもＲ、Ｇ、Ｂの個々の値について輝度値と同様の関係が得られる。

他の外部モデル拘束としては、時空間的に隣り合う画素との画素値の連続性や滑らかさがある。画素値の連続性を用いる場合、

のように高速高解像度動画像の隣り合う画素間の輝度値の差の二乗和Ｑｓを考える。画素値の滑らかさを用いる場合には、

のように高速高解像度動画像の隣り合う画素間の輝度値の二階差分の二乗和Ｑｓを考える。ここで、数４、数５において、ＸmaxとＹmaxとｔmaxはそれぞれｘ方向画素番号、ｙ方向画素番号、フレーム番号の最大値を示す。また、λｓ（ｘ，ｙ，ｔ）は、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。

このように、外部モデル拘束条件は、生成する高速高解像度動画像に対する評価関数として表現することができる。その評価関数の値（評価値）を下げることが上記外部モデル拘束を生成する高速高解像度動画像に加えることに対応する。

他の外部モデル拘束として、エッジの時空間的連続性を用いても良い。この場合、例えば

に示すように、時間的に隣り合うフレーム間で対応する位置のエッジの向きの変化は少ないという拘束や、

のように、同じ向きのエッジは、そのエッジの方向に空間的に連続して存在するという拘束である。ここで数６、数７のｅｄｇｅ（ｘ，ｙ，ｔ，ｉ）は、動画像中の（ｘ，ｙ，ｔ）の位置に存在するｉ番目の向きのエッジの強度を示す。ｉはエッジの方向の種類を示し、ｉは０からｉmaxまでの整数値をとるものとする。また、数７の（ｉｘ，ｉｙ）はｉ番目のエッジの向きの方向を表すベクトルを示す。

また、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、は画像中の（ｘ，ｙ，ｔ）の位置における動きベクトルのｘ方向成分とｙ方向成分を示す。エッジの検出は方位依存性を有するＧａｂｏｒフィルタなどのエッジ検出フィルタの出力を用いたり、数８のように微分演算でエッジの方向と強度を得た後、必要に応じてエッジの方向を離散化して用いることで実現できる。

は高速高解像度動画像ＨＨの座標（ｘ，ｙ，ｔ）におけるエッジの向きと強度を２次元ベクトルとして表しており、ベクトルの向きがエッジの向きに対応し、ベクトルの大きさがエッジの強度に対応する。

ここで、λｔｅ（ｘ，ｙ，ｔ）やλｓｅ（ｘ，ｙ，ｔ）は、λｓ（ｘ，ｙ，ｔ）と同様に、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。

また、他の拘束条件として、生成する動画像が表現し得る自由度を予め定めた動画像群の主成分に限定してもよい。例えば、動画像を構成する各フレームの各画素の輝度値ＨＨ（ｘ，ｙ，ｔ）を独立な要素とし、動画像を１つのデータ点と考え、予め定めた同じフレーム数・画素数の動画像群に対して主成分分析を行い、主成分を優先して動画像を生成するものである。この場合、非主成分のベクトルをＮＰＣ（ｘ，ｙ，ｔ）とし、生成する動画像をＨＨ（ｘ，ｙ，ｔ）に対して、非主成分ＮＰＣと生成する動画像ＨＨとの内積を拘束条件とする。この場合、拘束条件は、

のＱｐｃのようになる。ＮＰＣは１種類ではなく複数個用意しても良いし、入力画像によってＮＰＣの種類を切り換えても良い。この場合、入力画像と高解像度時の主成分との関係を予め学習しておき、この結果を用いてＮＰＣの選択を行えばよい。例えば、異なる３種類の高速高解像度の動画像群１・２・３を学習用の動画像として用意する。その動画像群それぞれから非主成分のベクトルＮＰＣ１・ＮＰＣ２・ＮＰＣ３を求める。別途、上記動画像群１・２・３のそれぞれから数１や数２の関係式を用いて高速低解像度動画像群ＨＬ１・ＨＬ２・ＨＬ３と高速高解像度動画像群ＨＨ１・ＨＨ２・ＨＨ３とを求める。

ここで学習すべき関係は、画像群ＨＬ１・ＨＨ１と画像群ＨＬ２・ＨＨ２と画像群ＨＬ３・ＨＨ３の３つの画像群と上記３種類の非主成分ＮＰＣ１・ＮＰＣ２・ＮＰＣ３との対応関係である。対応関係の学習方法は任意の手法を用いてよく、画像群ごとに高速低解像度動画像ＨＬと高速高解像度動画像ＨＨの平均画像の組を求めておき、平均画像の組と非主成分の種類との対応関係を保持しておく（学習）。

新たな入力画像ＨＬ・ＨＨの組に対して平均画像の組との差を求め、差の最も小さい平均画像の組に対応する非主成分を入力画像の復元処理に用いるようにする。

平均画像と非主成分の種類との関係を保持する替わりに、高速低解像度動画像ＨＬと高速高解像度動画像ＨＨを入力とし、それらＨＬとＨＨに対応する非主成分の種類を出力とした入出力関係をニューラルネットワーク等の学習手法を用いて求めておき、学習後には入力画像ＨＬ・ＨＨの組をニューラルネットワークに入力して、出力として得られる種類の非主成分を拘束条件として用いるようにしてもよい。

ここで、λｐｃ（ｘ，ｙ，ｔ）も上記λｓ（ｘ，ｙ，ｔ）と同様に拘束条件の時空間的分布を指定する係数で後述のステップ６０４において、動きの信頼度を用いて決定する。

次に、ステップ６０２では、動き検出部１０３が、高速低解像度動画像から画像中の動きとその動きの信頼度を算出する。ここで、高速画像入力部１０１ａから得た動画像の各フレーム画像の各位置において、動き分布算出部１０３ａが被写体の動きの向きと大きさを求め（動き検出）、動きの向きと大きさの時空間的分布を求める。

また、動き信頼度分布算出部１０３ｂは、動き検出の信頼度の時空間的分布Ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。

隣り合う２フレーム画像間の画像上の各位置での動きの求め方については、例えば、Ｐ．ＡＮＡＮＤＡＮ，“Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ”，ＩＪＣＶ，２，２８３−３１０（１９８９）（非特許文献３）で用いられる方法や動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。

また、画像全体の大域的動き（アフィン動きなど）検出の一般的手法や、Ｌｉｈｉ Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｔｉｎｇ Ｍｏｔｉｏｎ Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）（非特許文献４）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。

信頼度の求め方については、上記（非特許文献３）の文献に記載の方法を用いてもよく、ブロックマッチングを用いた動き検出の場合には、数１０のように、動きに対応するブロック同士の画素値の差の２乗和を差の２乗和が取り得る最大値ＳＳＤmaxから引いた値、つまりブロック同士の画素値の差の２乗和の符号を逆にした値Ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤmaxから引いた値Ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。

数１０において、位置（ｘ'，ｙ'，ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ，ｙ，ｔ）の移動先に相当する画素位置である。また、数１０のΣはブロックマッチングで用いるブロック領域内での加算を表す。

なお、上記説明では、高速画像入力部１０１ａから得た画像を用いて動き検出と信頼度算出を行ったが、同様の動き検出処理を低速画像入力部１０１ｂから得た画像に対して動き検出と信頼度算出を行っても良い。

また、撮影機器の姿勢の変化を検出するセンサの情報（センサ入力部１０３ｃに入力されてくる信号）を入力として用いても良い。この場合、撮像装置１０が加速度や角加速度センサを備え、センサ入力部１０３ｃが加速度の積分値として速度や角速度を得ることで、動き分布算出部１０３ａは、センサ入力部１０３ｃに入力された情報から、手ブレなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。

例えば、画像入力部１０１としてカメラを用いた場合、そのカメラに水平方向と垂直方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で積分すると各時刻の角速度を算出することができる。

カメラが時刻ｔに水平方向にωｈの角速度を持ち、垂直方向にωｖの角速度も持つ場合、カメラの角速度はカメラの向きの起因する撮像素子上（撮影画像上）の位置（ｘ，ｙ）における時刻ｔにおける像の２次元的動き（ｕ，ｖ）と一意に対応付けることができる。

カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系（レンズなど）の特性（焦点距離やレンズひずみなど）と撮像素子との配置や撮像素子の画素間隔とから一般的に決定できる。実際に算出するには、光学系の特性と撮像素子の配置や画素間隔から幾何学的・光学的に算出して対応関係を得るか、あらかじめ対応関係をテーブルとして保持しておき、カメラの角速度ωｈ・ωｖから、撮像素子上（ｘ，ｙ）の像の速度（ｕ，ｖ）を参照するようにしてもよい。

このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いても良い。この場合、動き分布算出部１０３ａは、画像全体の動き検出には主にセンサの情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すればよい。

次に、ステップ６０３では、動き拘束指定部１０４ｃが動き検出部１０３が求めた動き検出結果と、目的とする高速高解像度動画像との関係を指定する。図１０（ａ）および（ｂ）を用いて低解像度画像で求めた動き検出結果と高速高解像度動画像との関係を説明する。

図１０（ａ）および（ｂ）は、それぞれ、高速画像の隣り合うフレーム画像（フレーム番号ｔとｔ＋１）を表している。簡単のため、低解像度画像において３画素×３画素の領域で説明する。ここで、低解像度画像の１画素を更に３画素×３画素に分けた領域が高解像度画像の画素を表している。なお、図１０（ａ）および（ｂ）では、説明に必要な高解像度画素のみ図示している。

ここで、動き検出部１０３が動き検出を行った結果として、図１０（ａ）の太線５０１の低解像度画素位置が、図１０（ｂ）の画素位置５０２に対応している（枠５０１の画像が枠５０２に移動した）とする。ここで、上述のような動き検出の手法では一般的に画素サイズより小さい単位で動きの向きや大きさを算出することができる。

従って、低解像度画像の動き検出の結果を用いて、図１０（ｂ）のように低解像度画素位置に一致しない高解像度画像の画素単位の動きを算出し、高速高解像度の画素に対する数１１の関係を得ることができる。

この動き検出の結果を用いて、太線の枠内（５０１，５０２）の高速高解像度動画像の各画素値について

の関係が成り立つと想定する。

ここで、ｕ（ｘ，ｙ，ｔ）とｖ（ｘ，ｙ，ｔ）は、検出結果を表しており、図１０（ａ）の太線の黒枠（５０１）内の位置（ｘ，ｙ，ｔ）が図１０（ｂ）の太線の黒枠（５０２）内の位置に移動する動きのうちｘ方向の移動量をｕ（ｘ，ｙ，ｔ）、ｙ方向の移動量をｖ（ｘ，ｙ，ｔ）と表している。上記の例では、動き検出を高速低解像度動画像で行ったが、低速高解像度動画像において動き検出を行った結果を同様に用いてもよい。高解像度画像を用いた場合は、動き検出を求めるフレームの時間間隔は増すが、フレーム内での対応付けの位置精度は向上する。

次に、ステップ６０４では、拘束制御部１０４ｂが拘束条件の強度の時空間的分布を決定し、拘束指定部１０４ｅが生成する高速高解像度動画像に対する総合的な拘束条件を指定する。以下詳細を説明する。拘束指定部１０４ｅは、上記数１、数２で示す高速高解像度動画像と高速画像・低速画像との画素値の関係と、上記数１１で示す動き検出結果と高速高解像度動画像との関係と、上記数４、数５、数６、数７、数９などで示す外部モデル拘束とを用いて、目的とする高速高解像度動画像に対する総合的な拘束条件Ｊ（ＨＨ）を指定する。数１２に総合的な拘束条件Ｊの例を示す。

数１２において、右辺の第１項は高速高解像度動画像から数１の関係式を使って作り出した高速低解像度動画像ＨＬ’と高速画像入力部１０１ａに実際に入力される高速低解像度動画像ＨＬとの差（対応する画素値との差の２乗和）を表す拘束で、第２項目は高速高解像度動画像から数２の関係式を使って作り出した低速高解像度動画像ＬＨ’と、低速画像入力部１０１ｂに実際に入力される低速高解像度動画像ＬＨとの差（対応する画素値との差の２乗和）を表す拘束である。第１項目の拘束と第２項目の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数１と数２の関係をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛盾を生じにくくする条件である。

数１２の右辺の第３項目は外部モデル拘束条件Ｑｓであり数４や数５の条件を用いる場合には生成した画像において時空間的に隣り合う画素の輝度値は近い値を持ちやすいような拘束である。従って、ノイズのように輝度値が時空間的に小刻みに変化するような画像の生成を抑制する。数１２の右辺の第４項目は動き検出結果に基づいた拘束条件Ｑｍであり、動き検出を行った結果と生成画像との間に矛盾が生じにくいように動き検出の結果を用いた拘束の例を数１３に示す。

数１３では高速高解像度動画像における隣り合うフレーム間（ｔとｔ＋１）の動きｕ、ｖを用いて拘束を構成しているが、１フレーム以上離れたフレーム間での動き検出結果ｕ’、ｖ’を用いて数１４のように離れたフレームとの間の動き検出を行った結果を用いて拘束条件を設定してもよい。また、数１３と数１４のような拘束を併用しても良い。

異なるフレーム間隔での動き検出を用いることで、遅い動きなどのように少ないフレーム間隔では検出しにくい動きなどを検出し、画像生成に反映させることが可能となる。

数１２の右辺の第５項目はエッジの時間的連続性を示す拘束条件であり、数１２の右辺の第６項目はエッジの空間的連続性を示す拘束条件、数１２の右辺の第７項目は生成画像から非主成分を抑制する拘束条件である。

ここで、λｓ、λｍ、λｓｅ、λｔｅ、λｐｃは拘束条件の強度の時空間的分布を決定する係数であり拘束制御部１０４ｂが決定する。ステップ６０２で動き信頼度分布算出部１０３ｂが求めた動き検出の信頼度をＣｏｎｆ（ｘ，ｙ，ｔ）（＞０）とし、値が大きいと動き検出の信頼度が高いとする。

λｓ、λｍ、λｓｅ、λｔｅ、λｐｃの決め方の例として、αを予め定めた定数としてＣｏｎｆ（ｘ，ｙ，ｔ）＞αを満たす場合にλｍ（ｘ，ｙ，ｔ）＝１．０のように動き拘束を有効にし、他の拘束条件を座標（ｘ，ｙ，ｔ）において予め定めた小さな値ε（＜１．０）に設定し、Ｃｏｎｆ（ｘ，ｙ，ｔ）＜＝αではλｍ（ｘ，ｙ，ｔ）＝０．０、他のλを１．０とする。つまり、動き検出部１０３において、動画像を構成する各画像を分割したブロック単位で動きを検出するに際し、ブロック同士の画素値の差の２乗和を前記２乗和の取り得る値の最大値から引いた値を動き検出の信頼度Ｃｏｎｆ（ｘ，ｙ，ｔ）として算出し、画像統合部１０４において、その差が予め定めた値αよりも大きいブロックを信頼度の高い画像領域とし、その差が予め定めた値α以下のブロックを信頼度の低い画像領域として、信頼度の高い画像領域については動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については外部モデル拘束条件を用いて新たな画像を生成する。

他のλの決め方として、ある単調増加関数ｇ（ｘ）を用いてλｍ（ｘ，ｙ，ｔ）＝ｇ（Ｃｏｎｆ（ｘ，ｙ，ｔ））、他のλの（ｘ，ｙ，ｔ）における値をｇ（Ｃｏｎｆ＿ｍａｘ）−ｇ（Ｃｏｎｆ（ｘ，ｙ，ｔ））とするように、連続的に定義してもよい。ここで、Ｃｏｎｆ＿ｍａｘは信頼度が取り得る値の最大値である。このように、動き検出の信頼度が高い時には動き拘束に重きを置き、信頼度が低い時には外部モデル拘束の割合を増すことで、動き検出が正確に行えない位置においても、画像が劣化することを抑え、時空間解像度を高めることが可能となる。また、上記では外部モデル拘束として複数の拘束を同時に用いたが、同様に他の拘束を更に加えて用いても良いし、一部の拘束のみを用いても本発明の効果は得られる。

次に、ステップ６０５では、統合処理部１０４ａが拘束条件Ｊを最小にする高速高解像度動画像を求める。拘束条件Ｊを最小にする高速高解像度動画像の求め方としては、例えば、拘束条件Ｊを高速高解像度動画像の各画素値で微分した式が０とおいた数１５の方程式を解いて求めることや、最急勾配法などを用いて繰り返し法を用いて求めても良い。最後に、ステップ６０６では、統合処理部１０４ａは、生成した高速高解像度の画像を出力する。

より具体的な入力画像の組と出力画像の例を図１１から図１５を用いて説明する。ここでは説明を容易にするために、６画素×６画素×４フレームの動画像を用いて説明する。これはより大きな画像やフレーム数の大きい動画像の一部とみなすことができる。

ここで、図１１（ａ）〜（ｄ）は、撮影の対象を仮に高速高解像度で撮影できた場合の画像を示す。図１１（ａ）〜（ｄ）の映像は本来撮影により取得できないが、説明の為に示す。図１１（ａ）〜（ｄ）は４フレームを時間の順番に並べており、静止している被写体１４０１と移動している被写体１４０２が写っている。

このような被写体に対して、高速低解像度動画像と低速高解像度動画像を得る（ステップ６０１）。このような被写体の高速低解像度動画像（画素数が縦横それぞれ１／３の場合）の例を図１２（ａ）〜（ｄ）に示す。図１２（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応するフレームである。ここで、黒の画素と白の画素との中間の画素値の画素は左下向きの斜線で示している。フレーム数は図１１（ａ）〜（ｄ）と同じであるが、空間解像度が図１１（ａ）〜（ｄ）よりも低い。

同様に、このような被写体の低速高解像度動画像（フレーム数１の場合）の例を図１３に示している。空間解像度は図１１（ａ）〜（ｄ）と同じであるが、図１１（ａ）〜（ｄ）のフレームの間を露出しているため、被写体１４０２が移動軌跡として撮影されている。

次に、高速低解像度動画像から、動き検出部１０３は、画像中の被写体の動きと動きの信頼度を求める（ステップ６０２）。図１１（ａ）〜（ｄ）の画像がより大きな画像の一部を示しているため、動き検出自体はより大きな画像全体で行った結果のうち、図１１（ａ）〜（ｄ）の画像領域に関する結果を得ても良い。

図１４（ａ）〜（ｄ）に信頼度の分布の例を示す。図１４（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応する。図１４（ｂ）および（ｃ）において、右下向きの斜線部分が動き検出の信頼度が低い場所を示し、他の領域（白および黒の画素）は動き検出の信頼度が高い場所を示している。ここで白と黒の画素の表示は被写体との関係を表しており、信頼度では区別はない。また、静止している被写体や背景に対する動き検出の結果は動きの量が０という扱いになる。

図１１（ａ）〜（ｄ）の被写体のような場合、２つの被写体１４０１と１４０２が接近するあたりでは正確な動き検出が困難となる。拘束制御部１０４ｂは、動き検出結果を用いた拘束の設定（ステップ６０３）と動きの信頼度の低い位置に対する外部拘束条件とから総合的な拘束条件を設定し（ステップ６０４）、その拘束条件を用いて統合処理部１０４ａは高速高解像度動画像を生成・出力する（ステップ６０５、６０６）。

図１５に生成した画像の例を示す。

図１５（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応する。２つの被写体が接近するフレーム図１５（ｂ）、（ｃ）では画素値が中間的な値になっているものの、本来撮影では得られない図１１の映像に近い映像が得られる。

対比のため、図１６には動き検出の結果のみを用い、動きの信頼度や外部拘束条件を用いない場合の生成画像の例を示す。動き検出が正確に行えない図１６（ｂ）、（ｃ）のフレームの画像の右上において正確な画像の生成が行えていない。

図１６（ｂ）、（ｃ）の結果とは異なり、図１５の結果では、動き検出が図１４（ｂ）、（ｃ）の右上の領域で正確に行えていないことから、外部拘束条件により、画像の他の位置や他のフレームとの画素値の連続性（数４、数５など）やエッジの連続性（数６、数７など）や動画像の主成分の傾向（数９など）を用いることで、統合処理部１０４ａは高速高解像度動画像として望ましい画像を生成することができる。

次に、低速高解像度動画像の露出時間を高速低解像度動画像のフレーム間隔よりも長く撮影する効果を図１７〜図２４の画像を用いて説明する。

図１７（ａ）〜（ｅ）は、撮影の対象を仮に高速高解像度で撮影できた場合の画像を示す。図１７（ａ）〜（ｅ）の映像は本来撮影により取得できないが、説明の為に示す。図１７（ａ）〜（ｅ）は時間的に連続する５フレームを時間の順番に並べており、移動している被写体Ａ１が写っている。

このような被写体に対して、撮影した高速低解像度動画像を図１８（ａ）〜（ｅ）に示し、低速高解像度動画像を図１９（ａ）および（ｂ）と図２０（ａ）および（ｂ）に示す。図１８（ａ）〜（ｅ）は、それぞれ図１７（ａ）〜（ｅ）の時間に対応するフレーム画像を示している。

図１８（ａ）〜（ｅ）は低解像度の画像を高解像度画像と同じ大きさに図示しているため、解像度の低さが画素の荒さとして現れている。ここで、低速高解像度画像は高速低解像度画像の４分の１のフレームレートとし、図１９（ａ）と図２０（ａ）は図１７（ａ）の時間に露出を開始したフレーム画像に対応し、図１９（ｂ）と図２０（ｂ）は図１７（ｅ）の時間に露出を開始したフレーム画像に対応している。

図１９（ａ）および（ｂ）は従来例のように低速高解像度画像の露出時間を短くしている場合のフレーム画像を示している。図２０（ａ）および（ｂ）は本願発明で示すように、低速高解像度画像の露出時間を高速低解像度画像のフレームレートよりも長くして撮影したフレーム画像を示している。

このようにして撮影した画像を用いて前記の手続きで生成した画像の例を図２１〜図２４に示す。ここで、図２１〜図２４の（ａ）〜（ｅ）は、それぞれ図１７（ａ）〜（ｅ）の時間に対応するフレーム画像を示す。また、図２２〜図２４の（ａ）〜（ｅ）において斜線部分は被写体Ａ１の輝度と背景の輝度との中間輝度の領域を表している。

図２１（ａ）〜（ｅ）と図２２（ａ）〜（ｅ）は、図１８（ａ）〜（ｅ）と図１９（ａ）、（ｂ）の入力画像を用いて生成した画像の例であり、図２３（ａ）〜（ｅ）と図２４（ａ）〜（ｅ）は、図１８（ａ）〜（ｅ）と図２０（ａ）、（ｂ）の入力画像を用いて生成した画像の例である。図２１（ａ）〜（ｅ）は動き情報を用いずに生成した画像の例を示し、図２２（ａ）〜（ｅ）は動き情報を用いて生成した画像の例を示している。

図２１（ａ）と（ｅ）、図２２（ａ）と（ｅ）は図１９の入力画像と同じタイミングのため鮮明な画像が得られる。一方、図２１（ｂ）〜（ｄ）では動き情報を用いないため、図１８（ｂ）〜（ｄ）と同等の低解像度画像となっている。

また、図２２（ｂ）〜（ｄ）では低速高解像度画像を撮影したフレームから離れるに従い、画像の不鮮明さが増し、次の低速高解像度画像の撮影フレームに達したときに再び鮮明な状態に戻る。

これは、低解像度高速画像から得た動き情報を利用して図２２（ｂ）〜（ｄ）の生成画像の空間解像度を向上させる必要があるものの、低解像度画像から動き検出を行うため、動き検出の精度が低くなることと、動き検出では不可避な検出誤差が生じることに起因する。これらの動き検出誤差がフレーム毎に蓄積するため鮮明度が次第に低下する。

このように、図１９（ａ）および（ｂ）のような入力を用いた場合、動き検出の情報が得られないか、不正確であると、図２２（ｂ）〜（ｄ）において生成画像の鮮明度が次第に低下すると同時に、生成画像の鮮明度が周期的に（前記の例では４フレーム周期）大きく変動し、見辛い画像になり得る。低速高解像度画像のフレーム間隔が長いほどこの傾向は顕著となる。

動き検出の精度が高解像度画像の解像度の精度で正確に得られれば上記のような問題は生じないが、画像中の被写体形状の複雑な変化やオクルージョン、照明変動等により、現実的には低解像度画像からの高精度の動き検出は困難である。

図２３（ａ）〜（ｅ）は動き情報を用いずに生成した画像の例を示し、図２４（ａ）〜（ｅ）は動き情報を用いて生成した画像の例を示している。図２３（ａ）〜（ｅ）では図１７（ａ）〜（ｅ）や図１９（ａ）、（ｂ）の画像に比べて多少鮮明さは低下するものの、図２２（ｄ）のような大きな鮮明度の低下が生じない。また、時間的な鮮明度の変化が抑えられており、鮮明度の時間変化による見辛さは軽減できる。更に、図２４（ａ）〜（ｅ）では動きの情報を用いるため、図２３（ａ）〜（ｅ）に比べて更に鮮明度が向上する。

このように従来の画像生成方法では、高速低解像度画像も低速高解像度画像とも露出時間を短くし、動きブレを抑えることで、個々の画像を鮮明に撮影していたが、生成した画像の画質を安定させ、突発的な画像の変化を適切に生成画像に反映させる上では必ずしも望ましいとはいえなかった。

本願発明の画像生成手法ではこのような従来手法とは異なり、生成する高速高解像度画像の鮮明さの向上とフレーム間の鮮明度の変化を抑えるために動きブレが生じうる長時間撮影により得た低速高解像度画像を用いてが画像を生成することを特長とする。

これにより、動き検出が行われない場合にでもフレーム毎の画質の変動を抑えるとともに、画像の動き情報を加味することで画像の鮮明さを向上させることが可能となる。

更に、動き検出の信頼度を用いて信頼度の高い動き情報のみ用いることで、誤った動き情報による画像の劣化を抑えることが可能になる。

なお、長時間露出の露出時間は低速画像のフレーム間で開放すると効果を得やすい。実際には、画素値の読み取り等により、露出終了と次フレームの露出開始までには未露出時間が生じうる。このような場合にでも可能な範囲で露出を長くしておくことで本願発明の効果を得ることが可能である。

なお、長時間撮影を用いて画像を生成したか否かは、高解像度でかつ突発的な画像の変化が図１９（ａ）と（ｂ）の間で生じた場合に生成画像にその変化が含まれるか否かで判断することができる。

ここまで、露光制御部１０５が低速高解像度画像の１フレームの露光期間中の露光量を時間的に一定にする制御を行った場合について説明した。次に、露光制御部１０５が低速高解像度画像の１フレームの露光期間中の露光量を時間的に変化させる制御を行った場合について説明する。

図２５（ａ）は、低速画像入力部１０１ｂで取得する低速高解像度動画像の露光量の時間変化の例で、図２５（ｂ）は、高速画像入力部１０１ａで取得する高速低解像度動画像の露光量の時間変化の例を示す。図２５（ａ）および（ｂ）で横軸は時間、縦軸は撮像時の露光量を示す。図２５（ａ）および（ｂ）はそれぞれの画像について同じ期間における露光量の時間変化を表しており、１つのつながった太線が各画像の１フレームを得るための露出量の時間変化を表している。

図２５（ａ）では、低速高解像度画像の１フレームを得るための１回の露出期間中に露光が行なわれている状態と無露光状態が４回繰り返されることが、太線２１ａ１によって示されている。図２５（ｂ）では、図２５（ａ）での１回の露出と同じ期間に、高速低解像度画像の４つのフレームを得るために４回の露出（太線２１ｂ１、２１ｂ２、２１ｂ３、２１ｂ４）が行なわれることが示されている。

図８（ｂ）では、フレーム間隔と露出時間とが等しい（つまりフレーム間で開放露光を行う）として高速低解像度画像の劣化過程を説明したが、ここでは、図２５（ｂ）に示されるように、高速低解像度画像は、フレーム間隔よりも露出時間が短くなる（言い換えれば、各フレームの露光期間の一部が無露光期間となる）ように制御される。また、図２５（ｂ）の高速低解像度画像の４回の未露出期間に同期して、図２５（ａ）の低速高解像度画像の１回の露出中の減光期間が設定される。

次に、図２６を用いて入力画像の露光タイミングと生成画像における仮想的な露光タイミングとの関係を説明する。ここで仮想的な露光タイミングとは、生成画像に相当する画像を実際に撮影できたと仮定した場合の露光タイミングに相当する。

図２６（ａ）は低速高解像度画像（破線から破線が１フレームの露光期間を示す）における露光タイミングを表し、縦軸の上側が露光している状態、下側が無露光の状態を示している。図２６（ａ）では１フレーム中に露光と無露光の状態を９回繰り返している。図２６（ｂ）は図２６（ａ）と同時に撮影している高速低解像度画像の露光タイミング（白色）と無露光タイミング（斜線）とを表している。

高速低解像度画像では１フレームごとに露光と無露光とを１回ずつ含んでいる。図２６（ｂ）では低速高解像度画像１フレームの間に、高速低解像度画像が９フレーム含まれている。

図２６（ｃ）は生成画像（高速高解像度画像）の仮想的な露光タイミングを表している。

ここで、図２６（ａ）、図２６（ｂ）の露光期間は一致している。このような関係は、一例として、低速高解像度画像の１フレームの露光期間に含まれる無露光期間に高速低解像度画像の露光量もまた低減させるよう、露光制御部１０５が撮像装置１０を制御することによって実現できる。

また、高速低解像度画像の各フレーム期間の予め定められた一部が露光期間、残部が無露光期間として制御される場合に、高速低解像度画像の露光期間において低速高解像度画像の１フレームの露光が行われるように露光制御部１０５が撮像装置１０を制御しても、このような関係は実現される。

このような関係を満たすように撮影した画像を用いて図２６（ｃ）のような仮想的な露光タイミングを持つ動画像を生成することにより、次のような効果が得られる。

すなわち、露光および無露光のタイミングが混在していても、数１や数２のような線型式は満たされるため、画像生成の手続きを露光および無露光のタイミングに依存して複雑に構成する必要が無い。しかも、露光および無露光のタイミングが混在している場合には、入力画像の時間方向の周波数特性では高周波数成分の割合が向上し、生成画像における時間方向の高周波数成分の再現性も向上する。

ステップ６０１以降では、前述した露光量を時間変化させない場合と同じ処理を行う。ここで、図１７（ａ）〜（ｅ）と同じ被写体について被写体の動きが速い場合について考える。

露光制御部１０５が低速高解像度画像の露光量を時間的に変化させず、高速低解像度画像のフレーム間隔と露出時間とが等しい場合の高速低解像度画像の例を図２７（ａ）〜（ｃ）に示す。図２７（ａ）、（ｂ）、（ｃ）は連続するフレームの画像であり、各フレーム画像では動きブレが目立っている。これは高速画像であってもフレーム間で被写体が大きく動くことによる。図２８は同時に撮影した低速高解像度画像の例である。図２８は、図２７（ａ）、（ｂ）、（ｃ）の３フレームの時間にわたって露光量を時間的に変化させずに撮影しており、さらに大きな動きブレを含む画像となっている。

図２７（ａ）〜（ｃ）の高速低解像度画像と、図２８の低速高解像度画像とに対して、図２４（ａ）〜（ｅ）に示される動画像を生成した場合と同じ処理を適用した結果の一例を図２９（ａ）〜（ｃ）に示す。図２９（ａ）、（ｂ）、（ｃ）は、図２７（ａ）、（ｂ）、（ｃ）の各フレームの時間に対応する。

図２９（ａ）〜（ｃ）において、高速低解像度画像と同じフレームレートで図２７（ａ）〜（ｃ）よりも高解像度化された画像が得られている。しかしながら、図２７（ａ）〜（ｃ）に含まれる動きブレは図２９（ａ）〜（ｃ）にも含まれている。これは、高速低解像度画像のフレームレートよりも速い動きの情報が撮影時に得にくいことによる。

次に、同じ被写体に対して図２５（ａ）および（ｂ）のような露光量の時間変化を行った場合を考える。露光制御部１０５が低速高解像度画像の露光量を時間的に変化させて撮影した画像の例を図３０（ａ）〜（ｃ）、図３１に示す。

図３１は低速高解像度画像で、図２８と同じ被写体を、図２５（ａ）のように露光量を時間的に変化させて撮影した画像となっている。ここで、図３１の斜線部分は黒色の領域と白色の領域の中間的な画素値（輝度値）を表している。露光量を時間的に変化させているため、被写体の画素値（輝度値）が動きの方向に沿って変化している。

図３０（ａ）〜（ｃ）は高速低解像度画像で、図２５（ｂ）のように低速高解像度画像の露光区間に合わせて露出時間を設定している。フレーム間の被写体の移動量は図２７（ａ）〜（ｃ）と図３０（ａ）〜（ｃ）とで等しいものの、露出が短いため図３０（ａ）〜（ｃ）では各フレーム画像の被写体の動きブレが図２７（ａ）〜（ｃ）の場合に比べて少なくなっている。

このような入力画像を用いて生成した画像を図３２（ａ）〜（ｃ）に示す。図３２（ａ）〜（ｃ）は図２９（ａ）〜（ｃ）に比べ、動きブレが抑えられた高解像度画像となっている。これは、図２９（ａ）〜（ｃ）の場合と同じ被写体を同じフレームレートで撮影しているものの、露光量を時間的に変化させていることで、時間的に高い周波数の情報を取得し、画像生成に利用していることに因る。

上記の例では、図２５（ａ）および（ｂ）のように低速高解像度画像撮影時の未減光区間と高速低解像度画像の露出時間とを一致させて撮影した場合を説明したが、図３３（ａ）および（ｂ）を用いて両者が一致しない場合の例について説明する。

図３３（ａ）は図２５（ａ）と同じ露光量の時間変化を表しているが、図３３（ｂ）の高速低解像度画像のフレームレートは図２５（ｂ）の場合の半分であり、破線の２２ｂ２、２２ｂ４で示される露出期間のフレームは実際には撮影されていない。

このような場合、太線２２ｂ１及び２２ｂ３で示される露光によって撮影された２つのフレーム画像を用いて画像間の動きベクトルを検出する。そして、画像間の対応点の動きを用いて破線２２ｂ２で示される露出期間に得られたであろう画像を生成する。同様に前後のフレーム画像を用いて破線２２ｂ４で示される露出期間における画像も生成する。このような生成は、従来技術である時間方向の補間処理によって行うことができる。

このようにして、破線２２ｂ２及び２２ｂ４で示される露出期間における画像を生成した後に、図２５（ｂ）の場合と同等の処理を行なうと、図３２（ａ）〜（ｃ）のような高速高解像度かつ動きブレの抑えられた画像を得ることが可能となる。

但し、低速高解像度画像の露光量の時間変化と、高速低解像度画像の露出時間とを合わせることが望ましい。一致させることで、両画像から得られる情報の時間方向での過不足が抑えられ、撮影していない時間の画像の推定といった付加処理による誤差の発生や演算量の増加を抑える効果がある。

なお、露光量を時間的に変化させる方法としては、機械式の開閉シャッタや液晶シャッタ等の同様の機能を有する装置を撮像部よりも被写体側に設置することで実現することができる。同様に、照明変化をさせることで、露光量を時間変化させてもよい。

照明変化を用いる場合、付加すべき装置が簡易に構成できる点や、高速な露光量の変更が行ないやすい利点があるが、被写体までの距離が遠い場合は、照明強度を強くする必要がある。一方、シャッタ等を用いる場合は、被写体の距離に関係なく適用できる利点がある。両方を併用してもよいし、どちらか一方を使っても、本発明の効果は得られる。

このように、低速高解像度画像の露光量を時間的に変化させることで、変化させない場合に比べて時間的により高周波数の情報を取得して画像を生成することが可能となる。その結果、各フレーム画像での動きブレを抑えるなど生成画像の高周波数成分の再現性を高めた画像を得ることが可能となる。

上記の例では、画像統合部１０４は、生成画像を出力するのみであるが、生成画像の出力と併せて画像生成の信頼度を出力しても良い。画像生成の信頼度γは生成した画像が正確に高速高解像度化されている度合いを予測する値である。γの決め方としては、以下の数１６に示される動きの信頼度の総和や、

有効な拘束条件の数Ｎと求めるべき動画像の総画素数Ｍ（＝フレーム数×１フレーム画像の画素数）との比率Ｎ／Ｍなどを用いることができる。ここでＮ＝Ｎｈ＋Ｎｌ＋Ｎλ×Ｃであり、Ｎｈは高速画像の総画素数（フレーム数×１フレーム画像の画素数）、Ｎｌは低速画像の総画素数、Ｎλは外部拘束条件を有効にする時空間位置（ｘ，ｙ，ｔ）の総数、Ｃは外部拘束の種類の数とする。

なお、数１５などの方程式を連立１次元方程式として解く場合には、Ｃｌｉｎｅ，Ａ．Ｋ．， Ｍｏｌｅｒ，Ｃ．Ｂ．，Ｓｔｅｗａｒｔ， Ｇ．Ｗ．ａｎｄ Ｗｉｌｋｉｎｓｏｎ，Ｊ．Ｈ．，“Ａｎ Ｅｓｔｉｍａｔｅ ｆｏｒ ｔｈｅ Ｃｏｎｄｉｔｉｏｎ Ｎｕｍｂｅｒ ｏｆ ａ Ｍａｔｒｉｘ”，ＳＩＡＭ Ｊ．Ｎｕｍ． Ａｎａｌ．１６（１９７９），３６８−３７５．（非特許文献５）などに記載されている解の算出計算の安定性を示す条件数を信頼度として用いることができる。

動きの信頼度の高い場合、動き拘束を用いた生成画像の信頼度も高いことが期待できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には、解としての生成画像を安定して得ることができ、生成画像の信頼度も高いことが期待できる。同様に、上記条件数が小さい場合にも解の誤差が小さいことが期待できる為、生成画像の信頼度が高いと期待できる。

このように、生成画像の信頼度を出力することで、出力した動画像に対してＭＰＥＧなどの圧縮符号化を行う際に、信頼度の低い場合には圧縮率を高め、逆に、信頼度の高い場合には圧縮率を低く設定することが可能となり、適切な圧縮率の設定が可能となる。

例えば生成画像の信頼度γと符号化の圧縮率δとの関係を図３４のように単調増加の関係に設定し、生成した動画像の信頼度γの値に対応する圧縮率δで符号化を行う。生成画像の信頼度γが低い場合には生成画像が誤差を含みうるため、圧縮率を高くしても実質的に情報の欠損があまり生じないことが期待されるため、効果的にデータ量を削減できる。

ここで圧縮率とは、もとの画像のデータ量に対する符号化後のデータ量の割合で、圧縮率が高い（大きい値）ほど、符号化後のデータ量は小さくなり、復号化した際の画質は低下する。

同様に、ＭＰＥＧの場合などでは、前記信頼度の高いフレームを優先的にＩピクチャなどのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とすることで、動画像の再生時の早送り再生や一時停止時などの画質を向上させることが可能となる。

例えば、前記生成画像の信頼度をフレーム毎に求めておきγ（ｔ）と置く。ｔはフレーム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレームを選択する際にγ（ｔ）が予め定めた閾値γｔｈより大きいフレームの中から選択したり、予め定めた連続フレーム区間の中で最もγ（ｔ）の大きいフレームを選択する。

なお、出力動画像を符号化する処理の有無に関わらず本発明の効果は得られる。

また、上記の例では、画素値として単一の輝度のみを前提に説明したが、輝度に対する上記の処理をＲＧＢカラー表現のＲとＧとＢの各成分について個々に同じ処理を行って高速高解像度動画像を得ることで、カラー画像に対しても高速高解像度動画像を生成することが可能である。

また、より簡易に色情報を扱う方法としては、低速画像を輝度と色差に分解し、輝度画像のみを上記の処理で高速高解像度化し、色差情報は補間拡大して前記高速高解像度輝度画像に付加することでも、効果は得られる。この場合、画像の情報の主成分は輝度に含まれる為、他の色差の情報が補間拡大された場合であっても、両者を合せることで、入力した画像に比べて、高速高解像度化した動画像を得ることが可能となり、ＲＧＢ独立に処理する場合に比べて処理量を削減することが可能となる。

このようなカラー画像に対する処理の手順を図３５に示す。ステップ２１０１では高速低解像度動画像を輝度画像と色差画像に分離し、続いて、ステップ２１０２で、前記輝度画像と低速高解像度動画像の輝度画像とを用いて図５の手順に基づいて高速高解像度動画像を生成する。ステップ２１０３では、前記色差画像を高解像度画像と同じ画素数に補間拡大する。ステップ２１０４では、前記生成輝度画像と前記補間拡大した色差画像とを合成して高速高解像度のカラー画像を生成する。

このように、画像統合部１０４が、高速低解像度動画像から色差情報を抽出し、高速低解像度動画像の輝度情報と低速高解像度動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に色差情報を付加することによって、最終的な新たな動画像を生成することで、カラーの動画像を少ない処理量で統合することができる。

以上のように、本実施の形態における画像生成システム１００によれば、動き検出部１０３が求めた動きの信頼度に応じて、拘束制御部１０４ｂが外部モデル拘束条件と動き拘束条件とを有効にする度合いを決定し、前記拘束条件を用いて高速画像と低速画像を統合することにより、動き検出が行えない場合や、動き検出の精度が低い画像領域においても高速高解像度の動画を得ることができる。

なお、本実施の形態では、動画像全体を一括で処理する例を説明したが、動画像を時空間的に複数の領域に分割し、前記各領域において上記と同様の処理を行って高速高解像度の部分動画像を生成した後、生成した前記各部分動画像を時空間的に接合し、動画像全体の高速高解像度の動画像を得ても良い。このように時空間的に分割処理を行う事で、画素数の多い画像やフレーム数の多い動画像を行う際に必要となる計算処理量やメモリ量を抑制する事が可能となる。特に、時間方向に動画像を分割することで、過去に入力された複数フレームを一括処理することによる画像生成の時間遅れを短縮することも可能になる。

また、上記のように分割処理する際に、隣接する時空間領域が分割境界近傍において、重複するように、各領域を設定してもよい。図３６に空間的に重複を持たせて領域分割をした例を示す。図３６では画像を空間的に重複領域を持たせて領域７０１〜７０４の４領域に分割している。個々の領域に相当する動画像を生成した後に、重複部分の画素値は重複する各領域の画素値を重み付け加算平均を行うことで、滑らかな接合を行うことができる。また、時間方向に重複を持たせて図３６と同様に領域分割しても良い。このように、重複領域を持たせることで、領域分割処理において隣接する領域間での処理結果の不連続性を抑制する事ができる。

なお、このような重複を許す分割処理において、重複領域の大きさは、予め定めておく。重複領域の大きさを大きくすることで、処理領域間での処理結果の不連続性を低減する効果が増す。重複領域の大きさを小さくすると重複によって増加する計算量を抑えることが可能となる。

また、上記のように領域分割する際の時間方向の領域境界としては、予め動画像のフレーム間の画像の変化を算出し、フレーム間の画像の変化が予め定めた基準より大きいフレーム間に時間的な領域境界を設定しても良い。例えば、隣り合うフレーム画像の差として数１７のような値ＳＳＤ（ｔ）を定義し、ＳＳＤ（ｔ）＞ｔｈを満たす場合に、時刻ｔのフレームと時刻ｔ＋１のフレームとの間を処理の境界とし、時刻ｔ以前のシーケンスと時刻ｔ＋１以降のシーケンスの処理を分けて行う。

ここで、Ｉ（ｘ，ｙ，ｔ）は時刻ｔのフレーム画像中の位置（ｘ，ｙ）における輝度を示し、ｔｈは予め定めた閾値である。また、閾値ｔｈを基準として処理の区切りを決定する替わりに、処理の区切りを設けたい時間領域のシーケンスにおいて前記ＳＳＤ（ｔ）が最大になる時刻ｔを処理の区切りとしても良い。このようにすることで、時間的に隣接する領域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなる事で不連続性が知覚されにくくなるという効果が期待できる。

以上、本発明に係る画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。

実施の形態では、統合処理部１０４ａが、拘束指定部１０４ｅによって指定される数１２の総合的な拘束条件Ｊに従って、入力された静止画像（低速高解像度画像のフレームの１つ）と、その静止画像の露光期間における目的とする高速高解像度動画像の複数のフレームの合計との誤差（数１２の右辺の第２項）を減少させることによって、高速高解像度動画像を生成すると説明した。

ここで、合計の代わりに、合計と定数倍の関係にあって合計とは実質的に等価な情報である平均を用いても構わない。すなわち、静止画像と、その静止画像の露光期間における目的とする高速高解像度動画像の複数のフレームの平均との誤差を減少させることによって、目的とする高速高解像度動画像を生成する構成も、本発明に含まれる。

また、本発明の画像生成装置が行なう画像生成処理の一部または全部は、専用の機器で行わせるようにしてもよいし、コンピュータ端末装置や、基地局等に配置される通信機器や、スタンドアロンのコンピュータに内蔵されるＣＰＵが画像生成処理プログラムを実行することによって、画像生成処理を行うようにしてもよい。

また、図３に示された画像生成システム１００の構成のうち、表示装置４０を除いた構成を用いて、図３７に示すようなカメラ３００として、つまり、単体の装置として本発明を実現してもよい。

さらに、図３７に示されたカメラ３００に表示装置４０を付加することにより、動画像録画・再生機能付きのカメラとして実現しても良い。

また、図３に示された画像生成システム１００の構成のうち、撮像装置１０を除いた構成を用いて、図３８に示すようにテレビなどのディスプレイ機器４００として本発明を実現しても良い。この場合、あらかじめ録画してある動画像の時空間解像度を向上させて表示することが可能になる。

なお、請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、請求の範囲における「露出制御手段」、「画像入力手段」、「動き検出手段」、「画像統合手段」の一例が、それぞれ、実施の形態における露光制御部１０５、画像入力部１０１、動き検出部１０３、画像統合部１０４である。ただし、請求の範囲における各構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。

本発明は、複数の動画像から新たな動画像を生成する画像生成装置として、特に、高速低解像度動画像と低速高解像度動画像とから高速高解像度動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。

図１は、従来の画像生成装置の構成を示すブロック図である。 図２（ａ）および（ｂ）は、従来の画像生成装置における入力画像の時系列を示す図である。 図３は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。 図４は、画像生成装置の構成を示す機能ブロック図である。 図５は、画像生成装置の動作を示すフローチャートである。 図６（ａ）および（ｂ）は、入力画像の時系列の一例を示す図である。 図７（ａ）〜（ｃ）は、撮像装置の具体例を示す図である。 図８（ａ）〜（ｃ）は、それぞれ、生成する高速高解像度動画像、入力される高速低解像度動画像および低速高解像度動画像の画素配置の一例を示す図である。 図９（ａ）〜（ｃ）は、画素値を補正する場合における入射光量と画素値との関係の例を示すグラフである。 図１０（ａ）および（ｂ）は、高速低解像度動画像で求めた動き検出結果と高速高解像度動画像との関係を示す図である。 図１１（ａ）〜（ｄ）は、生成する高速高解像度動画像のフレーム画像の一例を示す図である。 図１２（ａ）〜（ｄ）は、入力される高速低解像度動画像のフレーム画像の一例を示す図である。 図１３は、入力される低速高解像度動画像のフレーム画像の一例を示す図である。 図１４（ａ）〜（ｄ）は、信頼度の分布例を示す図である。 図１５（ａ）〜（ｄ）は、生成された動画像のフレーム画像の一例を示す図である。 図１６（ａ）〜（ｄ）は、信頼度を用いないで生成した場合の動画像のフレーム画像の一例を示す図である。 図１７（ａ）〜（ｅ）は、理想的な高速高解像度画像のフレーム画像の一例を示す図である。 図１８（ａ）〜（ｅ）は、高速低解像度画像のフレーム画像の一例を示す図である。 図１９（ａ）および（ｂ）は、短時間露出で撮影した低速高解像度画像のフレーム画像の一例を示す図である。 図２０（ａ）および（ｂ）は、長時間露出で撮影した低速高解像度画像のフレーム画像の一例を示す図である。 図２１（ａ）〜（ｅ）は、短時間露出で生成したフレーム画像の一例を示す図である。 図２２（ａ）〜（ｅ）は、短時間露出で生成したフレーム画像の一例を示す図である。 図２３（ａ）〜（ｅ）は、長時間露出で生成したフレーム画像の一例を示す図である。 図２４（ａ）〜（ｅ）は、長時間露出で生成したフレーム画像の一例を示す図である。 図２５（ａ）および（ｂ）は、フレームの露光期間中の露光量の時間変化を示す図である。 図２６（ａ）〜（ｃ）は、入力画像の露光タイミングと生成画像における仮想的な露光タイミングとの関係を説明する図である。 図２７（ａ）〜（ｃ）は、高速低解像度画像のフレーム画像の一例を示す図である。 図２８は、低速高解像度画像のフレーム画像の一例を示す図である。 図２９（ａ）〜（ｃ）は、生成したフレーム画像の一例を示す図である。 図３０（ａ）〜（ｃ）は、高速低解像度画像のフレーム画像の一例を示す図である。 図３１は、露光量を変化させた場合の低速高解像度画像のフレーム画像の一例を示す図である。 図３２（ａ）〜（ｃ）は、露光量を変化させた場合の生成したフレーム画像の一例を示す図である。 図３３（ａ）および（ｂ）は、フレームの露光期間中の露光量の時間変化を示す図である。 図３４は、生成した画像の信頼度を用いて画像を符号化する圧縮率を変化させる場合の信頼度と圧縮率との関係の一例を示すグラフである。 図３５は、カラーの動画像を統合する場合の処理手順を示すフローチャートである。 図３６は、領域分割処理の一例を示す図である。 図３７は、画像生成システムの具体例を示すブロック図である。 図３８は、画像生成システムの具体例を示すブロック図である。

符号の説明

１０ 撮像装置
２０ 画像記憶装置
３０ 画像生成装置
４０ 表示装置
１００ 画像生成システム
１０１ 画像入力部
１０１ａ 高速画像入力部
１０１ｂ 低速画像入力部
１０２ 符号化部
１０３ 動き検出部
１０３ａ 動き分布算出部
１０３ｂ 動き信頼度分布算出部
１０３ｃ センサ入力部
１０４ 画像統合部
１０４ａ 統合処理部
１０４ｂ 拘束制御部
１０４ｃ 動き拘束指定部
１０４ｄ 外部モデル拘束部
１０４ｅ 拘束指定部
１０５ 露光制御部
１０６ａ 減光部
１０６ｂ 照明部
３００ カメラ
４００ ディスプレイ機器

上記目的を達成するために、本発明に係る画像生成装置は、外部の撮像装置によって同一事象を撮影して得られた第１動画像及び第２動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、前記第２動画像の解像度は前記第１動画像の解像度よりも高く、かつ前記第２動画像のフレームの露光時間は前記第１動画像のフレーム間隔よりも長く、前記撮像装置を制御することにより、前記第２動画像の１つのフレームの露出期間中の露光量を時間的に変化させる露光制御手段と、前記撮像装置から、前記第１動画像と、前記露光制御手段の制御下で撮影された前記第２動画像とを取得する画像入力手段と、前記取得された第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、前記露光制御手段は、前記第２動画像の１つのフレームの露光期間中に少なくとも１回、前記露光量を低減させる無露光期間を設ける。

上記目的を達成するために、本発明に係る画像生成装置は、外部の撮像装置によって同一事象を撮影して得られた第１動画像及び第２動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、前記第２動画像の解像度は前記第１動画像の解像度よりも高く、かつ前記第２動画像のフレームの露光時間は前記第１動画像のフレーム間隔よりも長く、前記撮像装置を制御することにより、前記第２動画像の１つのフレームの露出期間中の露光量を時間的に変化させる露光制御手段と、前記撮像装置から、前記第１動画像と、前記露光制御手段の制御下で撮影された前記第２動画像とを取得する画像入力手段と、前記取得された第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、前記露光制御手段は、前記第２動画像の１つのフレームの露光期間中に少なくとも１回、前記第１動画像の無露光期間に同期して前記露光量を低減させる無露光期間を設ける。

Claims (8)

1. 外部の撮像装置によって同一事象を撮影して得られた第１動画像及び第２動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、
   前記第２動画像の解像度は前記第１動画像の解像度よりも高く、かつ前記第２動画像のフレームの露光時間は前記第１動画像のフレームの露光時間よりも長く、
   前記撮像装置を制御することにより、前記第２動画像の１つのフレームの露出期間中の露光量を時間的に変化させる露光制御手段と、
   前記撮像装置から、前記第１動画像と、前記露光制御手段の制御下で撮影された前記第２動画像とを取得する画像入力手段と、
   前記取得された第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段と
   を備えることを特徴とする画像生成装置。
2. 前記露光制御手段は、前記第２動画像の１つのフレームの露光期間中に少なくとも１回、前記露光量を低減させる無露光期間を設ける
   ことを特徴とする請求項１記載の画像生成装置。
3. 前記露光制御手段は、さらに、前記撮像装置を制御することにより、前記第１動画像の露光量を、前記第２動画像の無露光期間において低減させる
   ことを特徴とする請求項２記載の画像生成装置。
4. 前記露光制御手段は、前記第２動画像の１つのフレームの露光期間中に含まれる前記第１動画像の１以上のフレームのそれぞれの露光期間において、前記第２動画像の前記フレームの露光が行われるように、前記第２動画像の露光量を変化させる
   ことを特徴とする請求項１記載の画像生成装置。
5. 前記撮像装置は、前記第２動画像を撮影する際、被写体からの入射光量を外部からの制御に応じた量低減させる減光手段を備え、
   前記露光制御手段は、前記減光手段を制御することによって、前記露光量を時間的に変化させる
   ことを特徴とする請求項１記載の画像生成装置。
6. 前記撮像装置は、前記第２動画像を撮影する際、外部からの制御に応じた強さで被写体を照明する照明手段を備え、
   前記露光制御手段は、前記照明手段を制御することによって、前記露光量を時間的に変化させる
   ことを特徴とする請求項１記載の画像生成装置。
7. 外部の撮像装置によって同一事象を撮影して得られた第１動画像及び第２動画像から、前記事象を表す新たな動画像を生成する画像生成方法であって、
   前記第２動画像の解像度は前記第１動画像の解像度よりも高く、かつ前記第２動画像のフレームの露光時間は前記第１動画像のフレームの露光時間よりも長く、
   前記撮像装置を制御することにより、前記第２動画像の１つのフレームの露出期間中の露光量を時間的に変化させる露光制御ステップと、
   前記撮像装置から、前記第１動画像と、前記露光制御ステップでの制御下で撮影された前記第２動画像とを取得する画像入力ステップと、
   前記取得された第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合ステップと
   を含むことを特徴とする画像生成方法。
8. 複数の動画像から新たな動画像を生成するためのプログラムであって、
   請求項７記載の画像生成方法に含まれるステップをコンピュータに実行させる
   ことを特徴とするプログラム。

Images