WO2008053765A1 - 画像生成装置および画像生成方法 - Google Patents

Abstract

　対応点検出や動き検出が正確に行えない画像領域も含めて複数の動画像を統合した新たな動画像を生成する画像生成装置は、撮像装置（１０）を制御して１つの露光期間中に露光量を時間的に変化させる露光制御部（１０５）と、露光制御部（１０５）の制御下で撮影された第１動画像と第２動画像とを取得する画像入力部（１０１）と、前記第１動画像と第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、前記第２動画像のフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合部（１０４）とを備え、前記第２動画像は前記第１動画像よりも解像度が高く、かつ前記第２動画像は前記第１動画像よりもフレームの露光時間が長い。

Description

明 細 書

画像生成装置および画像生成方法

技術分野

[0001] 本発明は、動画像を生成する画像生成装置に関し、特に、複数の動画像から夫々 の優れた特性を併せ持つ新たな動画像を生成する画像生成装置に関する。

背景技術

[0002] デジタル撮像デバイスの進展に伴い、高空間解像度の静止画像を比較的低コスト で撮影することが可能となってきている。しかしながら、このような高空間解像度の静 止画と同等の空間解像度を保ちながら滑らかに動く動画像 (例えば、 30フレーム/ 秒程度）や更に高速度の撮影を実現するには課題がある。

[0003] これは、単位時間あたりに得られる画像の情報量が莫大になるために、撮像デバイ ス内での画像情報の転送速度が不足することや、並列に画像情報を転送するなどの 特殊な撮像デバイスを必要とする為、撮像装置のコストが増加したり、撮像デバイス の特性の調整が別途必要になることに因る。

[0004] 従来の時空間解像度（時間および空間の解像度）の高い画像を得る画像生成方法 としては、高速低解像度カメラと低速高解像度カメラとの映像を用い、動画像のフレ ーム間の対応点検出を用いてモーフイングを行うものがある（例えば、特許文献 1参 照）。図 1は、特許文献 1に記載された従来の画像生成方法を説明する図である。な お、本明細書において、撮像能力または動画像の性質に関して、「高速」（または、「 低速」）とは、フレームレートが相対的に大きいほたは、小さい）ことを意味し、「高解 像度」ほたは、「低解像度」）とは、空間解像度が相対的に高いほたは、低い)ことを 意味する。

[0005] 図 1において、高速低解像度カメラ A01と低速高解像度カメラ A02は同じ対象を同 じ画角で同期して撮影している。カメラ A01とカメラ A02の撮影画像の関係を図 2に 示す。図 2は、 2つのカメラ A01および A02が撮影したフレームを時間の順に並べて おり、フレーム B01と B02はカメラ A02で得られた画像を表し、フレーム B1；!〜 B15 は、カメラ 01で得られた画像を表している。ここで空間解像度の違いは画像の大きさ で表現しており、フレーム B11〜B15は、フレーム B01と B02に比べて画素数が少な く、空間解像度が低い。一方、カメラ A01はカメラ A02よりも撮影のフレームレートが 高ぐカメラ A02が 1フレーム撮影する間にカメラ AO 1は 4フレーム撮影している。また 、カメラ A02のフレーム撮影の時間に同期してカメラ A01のフレーム撮影を行ってい る（フレーム B01とフレーム B11およびフレーム B02とフレーム B15は同じタイミング で撮影）。以下の例では、フレーム B23の位置 (フレーム B13の撮影時間に相当）に 相当する高解像度画像の中間フレーム画像の生成方法について説明する。

[0006] このようにして撮影したフレーム画像について、一次マッチング部 A03はカメラ A01 の高速撮影画像において隣りあう各フレーム間の画素の対応関係を求める。ここで、 対応関係とは、あるフレーム画像内の各画素が映す対象の部位が他方のフレーム画 像内のどの画素位置に写っているかの関係である。次に、隣り合う高速画像間の対 応関係をつなぎ合わせることで、生成したいフレーム B23の時刻に位置する高速カメ ラ画像 B13と、高速画像と低速画像を同期して撮影しているフレーム B11との画素間 の対応関係を求める。

[0007] 次に、二次マッチング部 A04は、高速画像と低速画像を同期して撮影しているフレ ーム B01とフレーム B11との画素の位置関係、フレーム B13とフレーム B23との画素 の位置関係、および、一次マッチング部 A03で求めたフレーム B11とフレーム B13と の対応関係をつなぎ合わせることで、フレーム B01とフレーム B23との画素の対応関 係を決定する。

[0008] 次に、画像生成部 A05は、フレーム B01とフレーム B23との画素の対応関係を用 いて、フレーム B01の画素値を用いてフレーム B23の画素値を決定し、高解像中間 フレーム画像 B23を生成する。同様の手順で他の中間フレームを生成することで、高 解像度かつ高速の映像を生成する。

[0009] また、非特許文献 1や非特許文献 2などでも同様に、高速低解像度カメラと低速高 解像度カメラとの映像を用い、高速カメラの映像から動き検出を行い、その動きに合 わせて低速高解像度動画像に対してモーフイングを行うことで高解像度の中間フレ ーム画像を生成している。

特許文献 1 :特開 2003— 203237号公報（図 13) 非特許文献 l : Toru MATSUNOBU, et al. , "Generation of High Resol ution Video Using Morphing , Technical report of IEICE, PRMU20 04 - 178

非特許文献 2 : Kiyotaka Watanabe, et al. , "Generation of High Resolut ion Video Sequence from Two V ideo Sequences with Different Sp atio- temporal Frequencies" ,情報科学技術レターズ（FIT2004) , Vol. 3, N o. LI— 004, 2004

発明の開示

発明が解決しょうとする課題

[0010] しかしながら、上記従来の技術では、高速画像において隣り合うフレーム間で対応 関係を正確に求めることや、動き検出を正確に行えることが前提となっており、対応 関係が正確に求まらない場合や、動き検出が行えない場合には、生成する画像が大 きく劣化したり、低解像度画像を単に拡大した画像になってしまうという課題を有して いる。一般的に、画像中の動物体の動きが複雑な場合や照明状態が変化する場合 ゃォクルージョンが発生する場合やアパーチャ問題が発生する場合などには、フレ ーム間の対応点を求めることや動き検出を全ての画素について正確に求めることは 困難である。

[0011] そこで、本発明は、上記従来の課題を解決するものであり、対応点検出や動き検出 が正確に行えない画像領域も含めて複数の動画像を統合した新たな動画像を生成 することができる画像生成装置およびその方法を提供することを目的とする。

課題を解決するための手段

[0012] 上記目的を達成するために、本発明に係る画像生成装置は、外部の撮像装置によ つて同一事象を撮影して得られた第 1動画像及び第 2動画像から、前記事象を表す 新たな動画像を生成する画像生成装置であって、前記第 2動画像の解像度は前記 第 1動画像の解像度よりも高ぐかつ前記第 2動画像のフレームの露光時間は前記 第 1動画像のフレームの露光時間よりも長ぐ前記撮像装置を制御することにより、前 記第 2動画像の 1つのフレームの露出期間中の露光量を時間的に変化させる露光制 御手段と、前記撮像装置から、前記第 1動画像と、前記露光制御手段の制御下で撮 影された前記第 2動画像とを取得する画像入力手段と、前記取得された第 1動画像と 第 2動画像とから、前記第 1動画像のフレームレート以上のフレームレートでかつ前 記第 2動画像の解像度以上の解像度の新たな動画像を、前記第 2動画像のフレーム と、前記第 2動画像のフレームの露光期間に対応する前記新たな動画像の複数のフ レームの合計との誤差を減少させることによって生成する画像統合手段とを備える。

[0013] このような構成によって、前記画像入力手段が、例えば、高速フレームレートで低解 像度の第 1動画像と低速フレームレートで高解像度の第 2動画像を受け付けた場合 には、前記画像統合手段は、前記第 1動画像と同じフレームレートで前記第 2動画像 と同じ解像度の動画像を前記新たな動画像として生成することができる。つまり、入 力された複数の動画像の夫々の優れた特性を併せ持つ新たな動画像が生成される

[0014] 更に、前記露光制御手段が、前記第 2動画像の露出期間中の露光量を時間的に 変化させることで、時間周波数の高い情報を取得することが可能となり、生成される 動画像の高周波の特性を向上させることが可能となる。

[0015] なお、本発明は、このような画像生成装置として実現できるだけでなぐ画像生成方 法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録した CD — ROM等のコンピュータ読み取り可能な記録媒体等としても実現することができる。 発明の効果

[0016] 本発明の画像生成装置によれば、動画像中において必ずしも動きや対応点が正 確に求まらない画像領域を含んでいる場合にでも、その画像の時空間解像度を動画 像全体で向上させた新たな動画像が生成される。たとえば、高速低解像度動画像と 低速高解像度動画像とから、夫々の優れた特性を併せ持つ高速高解像度動画像が 確実に生成される。

図面の簡単な説明

[0017] [図 1]図 1は、従来の画像生成装置の構成を示すブロック図である。

[図 2]図 2 (a)および (b)は、従来の画像生成装置における入力画像の時系列を示す 図である。

[図 3]図 3は、本発明の実施の形態における画像生成システムのハードウェア構成を 示すブロック図である。

園 4]図 4は、画像生成装置の構成を示す機能ブロック図である。

[図 5]図 5は、画像生成装置の動作を示すフローチャートである。

[図 6]図 6 (a)および (b)は、入力画像の時系列の一例を示す図である。

園 7]図 7 (a)〜（c)は、撮像装置の具体例を示す図である。

[図 8]図 8 (a)〜（c)は、それぞれ、生成する高速高解像度動画像、入力される高速 低解像度動画像および低速高解像度動画像の画素配置の一例を示す図である。 園 9]図 9 (a)〜（c)は、画素値を補正する場合における入射光量と画素値との関係 の例を示すグラフである。

園 10]図 10 (a)および (b)は、高速低解像度動画像で求めた動き検出結果と高速高 解像度動画像との関係を示す図である。

園 11]図 11 (a)〜（d)は、生成する高速高解像度動画像のフレーム画像の一例を示 す図である。

園 12]図 12 (a)〜（d)は、入力される高速低解像度動画像のフレーム画像の一例を 示す図である。

[図 13]図 13は、入力される低速高解像度動画像のフレーム画像の一例を示す図で ある。

園 14]図 14 (a)〜（d)は、信頼度の分布例を示す図である。

[図 15]図 15 (a)〜（d)は、生成された動画像のフレーム画像の一例を示す図である。 園 16]図 16 (a)〜（d)は、信頼度を用いな!/、で生成した場合の動画像のフレーム画 像の一例を示す図である。

[図 17]図 17 (a)〜（e)は、理想的な高速高解像度画像のフレーム画像の一例を示す 図である。

[図 18]図 18 (a)〜（e)は、高速低解像度画像のフレーム画像の一例を示す図である 園 19]図 19 (a)および (b)は、短時間露出で撮影した低速高解像度画像のフレーム 画像の一例を示す図である。

園 20]図 20 (a)および (b)は、長時間露出で撮影した低速高解像度画像のフレーム 画像の一例を示す図である。

[図 21]図 21 (a) （e)は、短時間露出で生成したフレーム画像の一例を示す図であ

[図 22]図 22 (a) （e)は、短時間露出で生成したフレーム画像の一例を示す図であ

[図 23]図 23 (a) （e)は、長時間露出で生成したフレーム画像の一例を示す図であ

[図 24]図 24 (a) （e)は、長時間露出で生成したフレーム画像の一例を示す図であ

[図 25]図 25 (a)および (b)は、フレームの露光期間中の露光量の時間変化を示す図 である。

[図 26]図 26 (a) （c)は、入力画像の露光タイミングと生成画像における仮想的な露 光タイミングとの関係を説明する図である。

[図 27]図 27 (a) （c)は、高速低解像度画像のフレーム画像の一例を示す図である 園 28]図 28は、低速高解像度画像のフレーム画像の一例を示す図である。

[図 29]図 29 (a) （c)は、生成したフレーム画像の一例を示す図である。

[図 30]図 30 (a) （c)は、高速低解像度画像のフレーム画像の一例を示す図である

[図 31]図 31は、露光量を変化させた場合の低速高解像度画像のフレーム画像の一 例を示す図である。

[図 32]図 32 (a) （c)は、露光量を変化させた場合の生成したフレーム画像の一例 を示す図である。

[図 33]図 33 (a)および (b)は、フレームの露光期間中の露光量の時間変化を示す図 である。

[図 34]図 34は、生成した画像の信頼度を用いて画像を符号化する圧縮率を変化さ せる場合の信頼度と圧縮率との関係の一例を示すグラフである。

[図 35]図 35は、カラーの動画像を統合する場合の処理手順を示すフローチャートで ある。

[図 36]図 36は、領域分割処理の一例を示す図である。

[図 37]図 37は、画像生成システムの具体例を示すブロック図である。

[図 38]図 38は、画像生成システムの具体例を示すブロック図である。 符号の説明

10 撮像装置

20 画像記憶装置

30 画像生成装置

40 表不装置

100 画像生成システム

101 画像入力部

101a 高速画像入力部

101b 低速画像入力部

102 符号化部

103 動き検出部

103a 動き分布算出部

103b 動き信頼度分布算出部

103c センサ入力部

104 画像統合部

104a 統合処理部

104b 拘束制御部

104c 動き拘束指定部

104d 外部モデル拘束部

104e 拘束指定部

105 露光制御部

106a 減光部

106b 照明部

300 カメラ 400 ディスプレイ機器

発明を実施するための最良の形態

[0019] 本発明の画像生成装置は、外部の撮像装置によって同一事象を撮影して得られた 第 1動画像及び第 2動画像から、前記事象を表す新たな動画像を生成する画像生成 装置であって、前記第 2動画像の解像度は前記第 1動画像の解像度よりも高ぐかつ 前記第 2動画像のフレームの露光時間は前記第 1動画像のフレームの露光時間より も長ぐ前記撮像装置を制御することにより、前記第 2動画像の 1つのフレームの露出 期間中の露光量を時間的に変化させる露光制御手段と、前記撮像装置から、前記 第 1動画像と、前記露光制御手段の制御下で撮影された前記第 2動画像とを取得す る画像入力手段と、前記取得された第 1動画像と第 2動画像とから、前記第 1動画像 のフレームレート以上のフレームレートでかつ前記第 2動画像の解像度以上の解像 度の新たな動画像を、前記第 2動画像のフレームと、前記第 2動画像のフレームの露 光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させ ることによって生成する画像統合手段とを備える。

[0020] ここで、前記露光制御手段は、前記第 2動画像の 1つのフレームの露光期間中に 少なくとも 1回、前記露光量を低減させる無露光期間を設けてもよぐ前記露光制御 手段は、さらに、前記撮像装置を制御することにより、前記第 1動画像の露光量を、 前記第 2動画像の無露光期間において低減させてもよい。また、前記第 2動画像の 1 つのフレームの露光期間中に含まれる前記第 1動画像の 1以上のフレームのそれぞ れの露光期間において、前記第 2動画像の前記フレームの露光が行われるように、 前記第 2動画像の露光量を変化させてもよ!/、。

[0021] この構成によれば、短い露光時間のために前記第 1動画像に含まれる時間周波数 の高!/、情報と、高!、解像度のために前記第 2動画像に含まれる空間周波数の高レ、 情報とが、前記新たな動画像のフレームに反映されるため、時空間解像度に優れた 前記新たな動画像が得られる。前記第 2動画像の露出時間中の露光量を時間的に 変化させることは、前記第 2動画像が時間周波数のより高い情報を持つことができ、 その結果、前記新たな動画像の時間解像度の向上に役立つ。

[0022] また、前記撮像装置が、前記第 2動画像を撮影する際、被写体からの入射光量を 外部からの制御に応じた量低減させる減光手段を備える場合には、前記露光制御 手段は、前記減光手段を制御することによって、前記露光量を時間的に変化させる こと力 Sでさる。

[0023] また、前記撮像装置が、前記第 2動画像を撮影する際、外部からの制御に応じた強 さで被写体を照明する照明手段を備える場合には、前記露光制御手段は、前記照 明手段を制御することによって、前記露光量を時間的に変化させることができる。

[0024] (実施の形態）

以下、図面を参照しながら本発明の実施の形態に係る画像生成システムについて 詳細に説明する。

[0025] 図 3は、本発明の実施の形態に係る画像生成システムのハードウェア構成を示す ブロック図である。

[0026] 画像生成システム 100は、同一の対象についての複数の動画像（ここでは、高速低 解像度動画像および低速高解像度動画像)から時空間解像度の高!、新たな動画像 (ここでは、高速高解像度動画像）を生成するシステムであり、撮像装置 10と、画像記 憶装置 20と、画像生成装置 30と、表示装置 40とを備えている。撮像装置 10は、被 写体を撮影し、異なる 2種類の時空間解像度で動画像 (ここでは、同一の対象につい ての高速低解像度動画像および低速高解像度動画像）を得るカメラ等である。画像 記憶装置 20は、撮像装置 10で撮像された動画像を一時的に記憶するメモリ等であ る。画像生成装置 30は、画像記憶装置 20に記憶された動画像を読み出し、読み出 した複数の動画像から、時空間解像度を高めた新たな動画像を生成する装置である 。表示装置 40は、画像生成装置 30で生成された新たな動画像を表示する表示装置 である。なお、画像生成装置 30は、専用回路等のハードウェアによって実現してもよ いし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現しても よい。

[0027] 図 4は、図 3に示された画像生成システム 100における撮像装置 10と画像生成装 置 30の内部構成を示す機能ブロック図である。

[0028] 撮像装置 10は、減光部 106aと照明部 106bとを含んで構成される。

[0029] 減光部 106aは、画像生成装置 30からの制御に応じて、時間的に変化可能な量で 撮像される被写体からの入射光を低減させる。減光部 106aは、例えば入射光を撮 像素子に導く光学系（不図示）に配置された、電気的に制御可能なフィルタ又はシャ ッタであるとしてもよい。照明部 106bは、画像生成装置 30からの制御に応じて、時間 的に変化可能な光量で被写体を照明する。

[0030] 画像生成装置 30は、画像入力部 101と、動き検出部 103と、画像統合部 104と、 露光制御部 105とを備える。

[0031] 露光制御部 105は、減光部 106a及び照明部 106bのうち少なくとも一方を制御す ることによって、撮像装置 10によって撮像される低速高解像度画像の 1フレームの露 出期間中の露光量を時間的に変化させる。

[0032] 画像入力部 101は、撮像装置 10によって同一の対象物を撮像して得られる時空間 解像度または時空間位相の異なる複数の動画像を取得するインターフェース等であ り、高速（高速フレームレート）かつ低空間解像度で対象を撮影した動画像（高速低 解像度動画像）を取得する高速画像入力部 101 aと、低速 (低速フレームレート）かつ 高空間解像度で同じ対象を撮影した動画像 (低速高解像度動画像)とを取得する低 速画像入力部 101bとを有する。このように、高速画像入力部 101aに入力された画 像と低速画像入力部 101bに入力された画像は、時空間解像度は異なるが、同じ対 象を撮影した画像である。ここで、低速高解像度画像の 1フレームの露出期間中の露 光量は、減光部 106a又は照明部 106bによって時間的に変化可能であることに注意 する。

[0033] 動き検出部 103は、画像入力部 101に入力される画像を生成する撮像装置 10の 動きを検出するセンサ（撮像装置 10に備えられた加速度センサ等）からの信号を取 得するセンサ入力部 103cと、画像入力部 101に入力された画像及びセンサ入力部 103cに入力された動き信号のうちの少なくとも一方に基づいて、入力画像中の画像 (つまり、撮像の対象物）の動き検出を各フレームの画像全体において行う動き分布 算出部 103aと、動き分布算出部 103aにおける動き検出の信頼度を各フレームの画 像全体において算出する動き信頼度分布算出部 103bとを有する。

[0034] 画像統合部 104は、画像入力部 101に入力された複数の動画像のうち、信頼度の 高い画像領域については動き検出部 103による動き検出の結果を用いて新たな動 画像を生成し、信頼度の低い領域については予め定められた一定の拘束条件を用 いて複数の動画像を統合する処理部であり、統合処理部 104aと、拘束制御部 104b と、動き拘束指定部 104cと、外部モデル拘束部 104dと、拘束指定部 104eとを有す

[0035] 動き拘束指定部 104cは、動き分布算出部 103aによる動き検出の結果を用いて、 生成する高速高解像度動画像の各画素値が満たすべき拘束条件 (以下、動き検出 の結果に依存して指定される拘束条件を「動き拘束条件」という。）を指定する処理部 である。

[0036] 外部モデル拘束部 104dは、生成する高速高解像度動画像の各画素値が動き分 布算出部 103aによる動き検出の結果とは別に満たすべき拘束条件（以下、動き検出 の結果に依存することなく指定される拘束条件を「外部モデル拘束条件」とレ、う。 )を fe疋 ^る。

[0037] 拘束制御部 104bは、動き分布算出部 103aで算出された動き検出の結果と動き信 頼度分布算出部 103bで算出された信頼度とを用いて、生成する高速高解像度動画 像中の各フレーム画像中の各位置において、動き拘束条件と外部モデル拘束条件 とをそれぞれ有効にする度合いを決定し、その度合を拘束指定部 104eに通知する。

[0038] 拘束指定部 104eは、拘束制御部 104bが決定した動き拘束条件と外部モデル拘 束条件との有効度合いに基づいて、動き拘束指定部 104cが指定する動き拘束条件 と外部モデル拘束部 104dが指定する外部モデル拘束条件とを統合した拘束条件、 つまり、生成する高速高解像度動画像の各画素値が満たすべき拘束条件を指定す

[0039] 統合処理部 104aは、拘束指定部 104eによって指定される拘束条件に従って、高 速画像入力部 101aに入力された高速画像と低速画像入力部 101bに入力された低 速画像とを統合し、高速高解像度動画像を生成する。

[0040] 符号化部 102は、統合処理部 104aによって生成された画像を圧縮符号化して出 力する。

[0041] なお、本実施の形態における「フレーム」には、プログレッシブ方式におけるフレー ムだけでなぐインターレース方式における偶数フィールドおよび奇数フィールドが含 まれる。

[0042] 次に、以上のように構成された画像生成装置 30が実行する処理について説明する 。図 5は、画像生成装置 30が実行する処理のフローチャートである。

[0043] ステップ 600では、露光制御部 105が低速高解像度画像の 1フレームの露光期間 中の露光量の時間変化を設定する。ここでは、まず露光期間を通して露光量を一定 にする場合の説明を行う。露光期間中の露光量を時間的に変化させる場合について は後述する。

[0044] 露光制御部 105は、露光量を一定にする制御を撮像装置 10に対して行う。撮像装 置 10は、露光制御部 105からの制御下で、高速低解像度画像と低速高解像度画像 とを撮影する。

[0045] ステップ 601では、高速画像入力部 101aが高速低解像度動画像の入力を受け付 け、低速画像入力部 101bが同一対象についての低速高解像度動画像の入力を受 け付ける。以降、説明に用いる画像は輝度画像を用いて説明する。

[0046] 高速画像入力部 101aに入力される高速低解像度動画像と低速画像入力部 101b に入力される低速高解像度動画像の関係を図 6 (a)および (b)に示す。図 6 (a)およ び（b)は、それら 2つの画像の連続したフレーム画像を時間の順に並べており、フレ ーム 201と 202は低速高解像の画像を表し、フレーム 21；!〜 215は高速低解像の画 像を表している。

[0047] 本図において、空間解像度の違いは画像の大きさで表現されている。フレーム 211 〜215は、フレーム 201と 202に比べて画素数が少なく空間解像度が低い。一方、フ レームレートについては、高速画像入力部 101aは、低速画像入力部 101bに比べ、 撮影のフレームレートが高ぐここでは、低速画像入力部 101bの 1フレーム間隔で高 速画像入力部 101aは 4フレーム撮影している。また、フレーム 201と 202の画像の時 間方向の幅は露出時間を表している。低速画像入力部 101bに入力される画像はフ レームレートが低い分、高速画像入力部 101aに入力される画像に比べて長い露出 が可能となる。図 6 (a)では、低速高解像度動画像のフレーム 201は、高速低解像度 動画像の 4フレーム間隔分の露出が行われて!/、る。

[0048] なお、高速画像入力部 101aに入力されるフレームと低速画像入力部 101bに入力 されるフレームとの撮影タイミングは、時間の相対関係が既知であればよぐ必ずしも 同時に撮影される必要は無い（つまり、撮像タイミングにおける位相が異なっていても よい)。また、長時間露出を行うことで、高解像度の画像中においても移動物体の移 動軌跡のような動き情報を取得することが可能となる。高解像度画像から得た動き情 報と矛盾のな!/、動画像を後述する画像の統合処理にお!/、て生成することで、時空間 解像度の高レ、動画像を生成することが可能となる。

[0049] ここで、撮像装置 10の具体例、つまり、 2種類の画像を取得する撮影手段の例を示 す。 2種類の画像は、図 7 (a)のように、特性の異なる 2種類のカメラを同一画角にな るようにハーフミラーを用いて配置して撮影しても良いし、図 7 (b)のように、 1つのカメ ラ内において特性の異なる 2種類の撮像素子を同一画角になるようにハーフミラーや プリズムを用いて配置して撮影しても良いし、図 7 (c)のように特性の異なる 2種類の 画像を同時に撮影する撮像素子を用いても良い。

[0050] 次に、図 8 (a)〜（c)を用いて、 目的とする高速高解像度動画像の画素値 (ここでは 、輝度値）と、高速画像入力部 101aで取得する高速低解像度動画像および低速画 像入力部 101bで取得する低速高解像度動画像の画素値 (ここでは、輝度値）との関 係を説明する。この関係は、高速高解像度動画像の各画素が満たすべき外部モデ ル拘束条件として画像生成に使用する。

[0051] ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であると する。図 8 (a)は、 目的とする高速高解像度動画像の各フレームの画素の配置を示し たものである。説明の便宜のため、高速高解像度動画像の一部を取り出して説明す る。図 8 (a)は、縦 (Y軸）方向 3画素、横 (X軸）方向 3画素、 4フレームの画素の配置 を表している。画素位置（X, y, t)の画素の値を HH (x, y, t)とする。ここで xと yは 0、 1、 2の値の範囲とし、 tは 0、 1、 2、 3の値の範囲とする。

[0052] 同様に、図 8 (b)は、図 8 (a)と同じ画角を同じ時間に撮影した高速低解像度動画 像の画素の配置を示す。ここで、高速低解像度動画像の画素位置 (xL, yL, t)の画 素値を HL (xL, yL, t)と表す。低解像度画像と高解像度画像では x、 y方向の画素 数が異なるため、低解像度画像の x、 y座標値をそれぞれ xL、 yLと表して高解像度 画像の場合と区別する。ここでは高解像度画像の x、 y方向それぞれ 3画素からなる 9 画素分の領域が低解像度画像の 1画素に相当する関係にあり、画素値の関係は数 1 のようになる。

[0053] 國

[0054] 同様に、図 8 (c)は、図 8 (a)と同じ画角を同じ時間に撮影した低速高解像度動画像 の画素の配置を示す。ここで、低速高解像度動画像の画素位置 (X, y, tL)の画素 値を LH (x, y, tL)と表す。

[0055] 高速画像と低速画像では時間方向のフレーム数が異なるため、低速画像のフレー ム番号を tLと表して高速画像の場合と区別する。ここでは高速画像の 4フレーム分の 間隔が低速画像の 1フレーム間隔に相当する関係にあり、画素値の関係は数 2のよう になる。

[0056] [数 2]

3

LH{x,y,tL) = >； G( * HH(x₉y,t)

f=0

[0057] ここで、 G (t)は、時刻 tの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間 的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時 間的変化が無い場合には、 G (t) = l . 0である。また、露光制御部による露光量の時 間変化がない場合は G (t) = l . 0となる。

[0058] なお、上記の例では時間 tを離散的に表現している力、連続的な時間変化と対応付 ける場合には、数 3の関係式を用いる。数 1、数 2の HH (x, y, t)を数 3で HHcont (x , y, tcont)に置き換えることで、時間的に連続した入力に対する劣化過程を表現す ること力 S出来る。

[0059] [数 3]

HH{x, y_} t) ) · HH_coni (x, y, t_c ) dt_cont

[0060] 数 3において、 A tは生成する高速高解像度画像のフレーム画像の仮想的な露出 時間に相当し、 tcontは連続した時間、 HHcont (x, y, tcont)は時間的に連続な画 像、 Exp (tcont)は高速高解像度画像のフレーム画像の仮想的な露出の時間変化を 表している。

[0061] 図 6 (a)および (b)のように、高速画像の露出時間に対して低速画像の露出時間を 長くすることで、長い時間にわたる動きの軌跡情報を蓄積することが可能となり、高速 高解像度動画像を生成する上で動きの生じている部分の時空間解像度の改善に効 果がある。

[0062] 以上の例では、画素値は撮像時の入射光量に比例する場合（図 9 (a) )で説明した 1S y補正等により比例しない場合（図 9 (b) )や比例定数が画素によって異なる場合 には、別途、画像が撮影されたときの撮像素子の入出力特性 (入出力関係）を逆に 対応付けて利用することで、入射光に対して同一の比例関係を持つ値に画素値を補 正し、数 1や数 2の関係を満たすことができる。例えば、図 9 (c)のような画素値と補正 値の対応関係を用いることで図 9 (b)のようにして得られた画素値を補正し、図 9 (a) のようにして得られた画素値と同様に処理することができる。

[0063] また、上述の説明では、画素値として輝度値を用いて説明した力 各画素に R、 G、 Bのカラー値が存在する場合にも R、 G、 Bの個々の値について輝度値と同様の関係 が得られる。

[0064] 他の外部モデル拘束としては、時空間的に隣り合う画素との画素値の連続性や滑 らカ、さがある。画素値の連続性を用いる場合、

[0065] [数 4]

Qs = X SO, , t) . [∑{ II(x, γ, - ΗΗ(χ - 1， y, t)}²

+ V {HH(x, y, - HH(x, — 1, }²

=I

+ {HH(x, ， ~ HH(x_}y,t - \)}²]

r=l のように高速高解像度動画像の隣り合う画素間の輝度値の差の二乗和 Qsを考える。 画素値の滑らかさを用いる場合には、

[0066] [数 5]

Qs = Xs{x,y,t)'[ Ζ{2·册 Κ + 1, — (ぶ— 1, ,り}²

.r=l

y -1

+ {2■ HH{ , y, t) - HH(x, y + l,t)- HH(x, y-l,t)}²

+ ^{2 · HH(x,y,t) - HH{x,y + 1)— HH(x,y ― l)}²] のように高速高解像度動画像の隣り合う画素間の輝度値の二階差分の二乗和 Qsを 考える。ここで、数 4、数 5において、 Xmaxと Ymaxと tmaxはそれぞれ X方向画素番号 、 y方向画素番号、フレーム番号の最大値を示す。また、 s(x, y, t)は、拘束条件 の時空間的分布を指定する係数であり、後述のステップ 604において動きの信頼度 を用いて決定する。

[0067] このように、外部モデル拘束条件は、生成する高速高解像度動画像に対する評価 関数として表現すること力 Sできる。その評価関数の値 (評価値)を下げることが上記外 部モデル拘束を生成する高速高解像度動画像に加えることに対応する。

[0068] 他の外部モデル拘束として、エッジの時空間的連続性を用いても良い。この場合、 例えば

[0069] [数 6]

Qte = teix,y,t)-

^■ma J^mn ^max -max

∑∑∑∑ i^edS^e(^x + ^ui^x> >り, y + ^νί^χ> ,り, ^t + 0一 edge(x, , t, i)}² =0 y= t=0 i'=0 に示すように、時間的に隣り合うフレーム間で対応する位置のエッジの向きの変化は 少ないという拘束や、

[0070] [数 7] Qse = λ se(x, y,t) '

-^max J^mnx 'tnnx 'max

∑∑∑∑ i^edS^e(^x + ^ , + ^f _y , 0一 ^ge(x, y, t, z)}² x=0 y=Q (=0 ;=0 のように、同じ向きのエッジは、そのエッジの方向に空間的に連続して存在するという 拘束である。ここで数 6、数 7の edge (X, y, t, i)は、動画像中の（x, y, t)の位置に 存在する i番目の向きのエッジの強度を示す。 iはエッジの方向の種類を示し、 iは 0か ら imaxまでの整数値をとるものとする。また、数 7の（ix, iy)は i番目のエッジの向きの 方向を表すベクトルを示す。

[0071] また、 u (x, y, t)、v (x, y, t)、は画像中の（x, y, t)の位置における動きベクトルの X方向成分と y方向成分を示す。エッジの検出は方位依存性を有する Gaborフィルタ などのエッジ検出フィルタの出力を用いたり、数 8のように微分演算でエッジの方向と 強度を得た後、必要に応じてエッジの方向を離散化して用いることで実現できる。

[0072] [数 8]

は高速高解像度動画像 HHの座標 (x, y, t)におけるエッジの向きと強度を 2次元べ タトルとして表しており、ベクトルの向きがエッジの向きに対応し、ベクトルの大きさが エッジの強度に対応する。

[0073] ここで、 te (x, y, t)やえ se (x, y, t)は、 l s (x, y, t)と同様に、拘束条件の時空 間的分布を指定する係数であり、後述のステップ 604において動きの信頼度を用い て決定する。

[0074] また、他の拘束条件として、生成する動画像が表現し得る自由度を予め定めた動 画像群の主成分に限定してもよい。例えば、動画像を構成する各フレームの各画素 の輝度値 HH (x, y, t)を独立な要素とし、動画像を 1つのデータ点と考え、予め定め た同じフレーム数'画素数の動画像群に対して主成分分析を行い、主成分を優先し て動画像を生成するものである。この場合、非主成分のベクトルを NPC (x, y, t)とし 、生成する動画像を HH (x, y, t)に対して、非主成分 NPCと生成する動画像 HHと の内積を拘束条件とする。この場合、拘束条件は、

[0075] [数 9コ

^ axノ max ^max

Qpc = λ pc(x, γ, 'ΣΣΥ, NPC{x, y, t) . HH(x, y, t)

x=0 y=0 t=0 の Qpcようになる。 NPCは 1種類ではなく複数個用意しても良いし、入力画像によつ て NPCの種類を切り換えても良い。この場合、入力画像と高解像度時の主成分との 関係を予め学習しておき、この結果を用いて NPCの選択を行えばよい。例えば、異 なる 3種類の高速高解像度の動画像群 1 · 2 · 3を学習用の動画像として用意する。そ の動画像群それぞれから非主成分のベクトル NPC1 'NPC2 'NPC3を求める。別途 、上記動画像群 1 · 2 · 3のそれぞれから数 1や数 2の関係式を用いて高速低解像度動 画像群 HL1 · HL2 · HL3と高速高解像度動画像群 HH1 · HH2 · HH3とを求める。

[0076] ここで学習すべき関係は、画像群 HLl 'HHlと画像群 HL2 -HH2と画像群 HL3 ' HH3の 3つの画像群と上記 3種類の非主成分 NPC1 -NPC2 -NPC3との対応関係 である。対応関係の学習方法は任意の手法を用いてよぐ画像群ごとに高速低解像 度動画像 HLと高速高解像度動画像 HHの平均画像の組を求めておき、平均画像 の組と非主成分の種類との対応関係を保持しておく（学習）。

[0077] 新たな入力画像 HL'HHの組に対して平均画像の組との差を求め、差の最も小さ い平均画像の組に対応する非主成分を入力画像の復元処理に用いるようにする。

[0078] 平均画像と非主成分の種類との関係を保持する替わりに、高速低解像度動画像 H Lと高速高解像度動画像 HHを入力とし、それら HLと HHに対応する非主成分の種 類を出力とした入出力関係をニューラルネットワーク等の学習手法を用いて求めてお き、学習後には入力画像 HL'HHの組をニューラルネットワークに入力して、出力とし て得られる種類の非主成分を拘束条件として用いるようにしてもょレ、。

[0079] ここで、 pc (x, y, t)も上記え s (x, y, t)と同様に拘束条件の時空間的分布を指 定する係数で後述のステップ 604において、動きの信頼度を用いて決定する。 [0080] 次に、ステップ 602では、動き検出部 103が、高速低解像度動画像から画像中の 動きとその動きの信頼度を算出する。ここで、高速画像入力部 101aから得た動画像 の各フレーム画像の各位置において、動き分布算出部 103aが被写体の動きの向き と大きさを求め（動き検出）、動きの向きと大きさの時空間的分布を求める。

[0081] また、動き信頼度分布算出部 103bは、動き検出の信頼度の時空間的分布 Conf ( X, y, t)を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き 検出の結果が尤もらしぐ信頼度が低い場合には動き検出の結果に誤りがあることを 意味する。

[0082] 隣り合う 2フレーム画像間の画像上の各位置での動きの求め方については、例えば 、 P. AN AND AN, A Computational Framework and an Algoritnm fo r the Measurement of Visual Motion" , IJCV, 2, 283— 310 (1989) (非 特許文献 3)で用いられる方法や動画像符号化で一般的に用いられる動き検出手法 や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることが できる。

[0083] また、画像全体の大域的動き（ァフィン動きなど)検出の一般的手法や、 Lihi Zelk ik— Manor Multi— body segmentation： Revisiting Motion Consistenc y"、 ECCV (2002) (非特許文献 4)などの手法を用いて複数の領域ごとの動き検出 を行い、各画素位置での動きとして用いてもよい。

[0084] 信頼度の求め方については、上記（非特許文献 3)の文献に記載の方法を用いても よぐブロックマッチングを用いた動き検出の場合には、数 10のように、動きに対応す るブロック同士の画素値の差の 2乗和を差の 2乗和が取り得る最大値 SSDmaxから引 いた値、つまりブロック同士の画素値の差の 2乗和の符号を逆にした値 Conf (x, y, t )を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出 を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値 の差の 2乗和を 2乗和が取り得る最大値 SSDmaxから引いた値 Conf (x, y, t)を信頼 度として用いても良い。

[0085] [数 10]

[0086] 数 10において、位置 (χ', y'， t+ 1)は、動き検出の結果として得られた画素位置（ X, y, t)の移動先に相当する画素位置である。また、数 10の∑はブロックマッチング で用いるブロック領域内での加算を表す。

[0087] なお、上記説明では、高速画像入力部 101aから得た画像を用いて動き検出と信 頼度算出を行ったが、同様の動き検出処理を低速画像入力部 101bから得た画像に 対して動き検出と信頼度算出を行っても良い。

[0088] また、撮影機器の姿勢の変化を検出するセンサの情報 (センサ入力部 103cに入力 されてくる信号)を入力として用いても良い。この場合、撮像装置 10が加速度や角加 速度センサを備え、センサ入力部 103cが加速度の積分値として速度や角速度を得 ることで、動き分布算出部 103aは、センサ入力部 103cに入力された情報から、手ブ レなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。

[0089] 例えば、画像入力部 101としてカメラを用いた場合、そのカメラに水平方向と垂直 方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向 の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で 積分すると各時刻の角速度を算出することができる。

[0090] カメラが時刻 tに水平方向に co hの角速度を持ち、垂直方向に ω νの角速度も持つ 場合、カメラの角速度はカメラの向きの起因する撮像素子上 (撮影画像上）の位置 (X , y)における時刻 tにおける像の 2次元的動き (u, V)と一意に対応付けることができる

〇

[0091] カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系（レンズ など)の特性 (焦点距離やレンズひずみなど)と撮像素子との配置や撮像素子の画素 間隔とから一般的に決定できる。実際に算出するには、光学系の特性と撮像素子の 配置や画素間隔から幾何学的 ·光学的に算出して対応関係を得るか、あらかじめ対 応関係をテーブルとして保持しておき、カメラの角速度 ω ΐ · ω νから、撮像素子上 (X , y)の像の速度 (u, V)を参照するようにしてもよい。

[0092] このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いて も良い。この場合、動き分布算出部 103aは、画像全体の動き検出には主にセンサの 情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すれば よい。

[0093] 次に、ステップ 603では、動き拘束指定部 104cが動き検出部 103が求めた動き検 出結果と、 目的とする高速高解像度動画像との関係を指定する。図 10 (a)および (b) を用いて低解像度画像で求めた動き検出結果と高速高解像度動画像との関係を説 明する。

[0094] 図 10 (a)および (b)は、それぞれ、高速画像の隣り合うフレーム画像（フレーム番号 tと t+ 1)を表している。簡単のため、低解像度画像において 3画素 X 3画素の領域 で説明する。ここで、低解像度画像の 1画素を更に 3画素 X 3画素に分けた領域が高 解像度画像の画素を表している。なお、図 10 (a)および (b)では、説明に必要な高 解像度画素のみ図示してレ、る。

[0095] ここで、動き検出部 103が動き検出を行った結果として、図 10 (a)の太線 501の低 解像度画素位置が、図 10 (b)の画素位置 502に対応している（枠 501の画像が枠 5 02に移動した）とする。ここで、上述のような動き検出の手法では一般的に画素サイ ズより小さい単位で動きの向きや大きさを算出することができる。

[0096] 従って、低解像度画像の動き検出の結果を用いて、図 10 (b)のように低解像度画 素位置に一致しない高解像度画像の画素単位の動きを算出し、高速高解像度の画 素に対する数 1 1の関係を得ることができる。

[0097] この動き検出の結果を用いて、太線の枠内（501 , 502)の高速高解像度動画像の 各画素値について

[0098] [数 11]

HH(x, y, t) = HH x + it(x_} y, t), y + v(x, y, t), t + 1) の関係が成り立つと想定する。

[0099] ここで、 u (x, y, t)と v (x, y, t)は、検出結果を表しており、図 10 (a)の太線の黒枠

(501)内の位置 (X, y, t)が図 10 (b)の太線の黒枠（502)内の位置に移動する動き のうち X方向の移動量を u (x, y, t)、y方向の移動量を v (x, y, t)と表している。上記 の例では、動き検出を高速低解像度動画像で行ったが、低速高解像度動画像にお V、て動き検出を行った結果を同様に用いてもよ!/、。高解像度画像を用いた場合は、 動き検出を求めるフレームの時間間隔は増すが、フレーム内での対応付けの位置精 度は向上する。

[0100] 次に、ステップ 604では、拘束制御部 104bが拘束条件の強度の時空間的分布を 決定し、拘束指定部 104eが生成する高速高解像度動画像に対する総合的な拘束 条件を指定する。以下詳細を説明する。拘束指定部 104eは、上記数 1、数 2で示す 高速高解像度動画像と高速画像'低速画像との画素値の関係と、上記数 11で示す 動き検出結果と高速高解像度動画像との関係と、上記数 4、数 5、数 6、数 7、数 9な どで示す外部モデル拘束とを用いて、 目的とする高速高解像度動画像に対する総 合的な拘束条件 J (HH)を指定する。数 12に総合的な拘束条件 Jの例を示す。

[0101] [数 12]

J =\ HL - HL + \ LH- LH +Qs + Qm + Qse + Qte + Qpc

[0102] 数 12において、右辺の第 1項は高速高解像度動画像から数 1の関係式を使って作 り出した高速低解像度動画像 HL'と高速画像入力部 101aに実際に入力される高速 低解像度動画像 HLとの差 (対応する画素値との差の 2乗和）を表す拘束で、第 2項 目は高速高解像度動画像から数 2の関係式を使って作り出した低速高解像度動画 像 LH'と、低速画像入力部 101bに実際に入力される低速高解像度動画像 LHとの 差 (対応する画素値との差の 2乗和）を表す拘束である。第 1項目の拘束と第 2項目 の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数 1と数 2の関係 をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛 盾を生じにくくする条件である。

[0103] 数 12の右辺の第 3項目は外部モデル拘束条件 Qsであり数 4や数 5の条件を用いる 場合には生成した画像において時空間的に隣り合う画素の輝度値は近い値を持ち やすいような拘束である。従って、ノイズのように輝度値が時空間的に小刻みに変化 するような画像の生成を抑制する。数 12の右辺の第 4項目は動き検出結果に基づい た拘束条件 Qmであり、動き検出を行った結果と生成画像との間に矛盾が生じにくい ように動き検出の結果を用いた拘束の例を数 13に示す。

[0104] [数 13] —i ~ι ——i

Q_m =∑ ∑ ∑ K y, - {HH{x + u{x, y, t), y + v(x_s y, t), ί + 1) - HH(x_t y,t)}²

1=0 =0 i=0

[0105] 数 13では高速高解像度動画像における隣り合うフレーム間（tと t+ 1)の動き u、 Vを 用いて拘束を構成しているカ、 1フレーム以上離れたフレーム間での動き検出結果 u 、v 'を用いて数 14のように離れたフレームとの間の動き検出を行った結果を用いて拘 束条件を設定してもよい。また、数 13と数 14のような拘束を併用しても良い。

[0106] [数 14]

Q_m u' (x, y, t), y + (x, y, t), t + 2)- HH(x, y, t)}²

[0107] 異なるフレーム間隔での動き検出を用いることで、遅い動きなどのように少ないフレ ーム間隔では検出しにくい動きなどを検出し、画像生成に反映させることが可能とな

[0108] 数 12の右辺の第 5項目はエッジの時間的連続性を示す拘束条件であり、数 12の 右辺の第 6項目はエッジの空間的連続性を示す拘束条件、数 12の右辺の第 7項目 は生成画像から非主成分を抑制する拘束条件である。

[0109] ここで、 s、 m、 se、 te、 λ pcは拘束条件の強度の時空間的分布を決定す る係数であり拘束制御部 104bが決定する。ステップ 602で動き信頼度分布算出部 1 03bが求めた動き検出の信頼度を Conf (X, y, t) (〉0)とし、値が大きいと動き検出 の信頼度が高いとする。

[0110] s、 m、 se、 te、 λ pcの決め方の例として、 αを予め定めた定数として Con f(x, y, t)〉 αを満たす場合に m(x, y, t)=l.0のように動き拘束を有効にし、 他の拘束条件を座標（X, y, t)において予め定めた小さな値 ε (<1. 0)に設定し、 Conf(x, y, t)< = αではえ m(x, y, t)=0.0、他の λを 1· 0とする。つまり、動き 検出部 103において、動画像を構成する各画像を分割したブロック単位で動きを検 出するに際し、ブロック同士の画素値の差の 2乗和を前記 2乗和の取り得る値の最大 値から引いた値を動き検出の信頼度 Conf (X, y, t)として算出し、画像統合部 104 にお!/、て、その差が予め定めた値 αよりも大き!/、ブロックを信頼度の高レ、画像領域と し、その差が予め定めた値 α以下のブロックを信頼度の低い画像領域として、信頼 度の高レ、画像領域につ!、ては動き検出の結果を用いて新たな画像を生成し、信頼 度の低!/、画像領域につ!/、ては外部モデル拘束条件を用いて新たな画像を生成する

〇

[0111] 他のえの決め方として、ある単調増加関数 g (x)を用いて m (x, y, t) =g (Conf ( x, y, t) )、他のえの（x, y, t)における値を g (Conf— max)— g (Conf (x, y, t) )と するように、連続的に定義してもよい。ここで、 Conf— maxは信頼度が取り得る値の 最大値である。このように、動き検出の信頼度が高い時には動き拘束に重きを置き、 信頼度が低レ、時には外部モデル拘束の割合を増すことで、動き検出が正確に行え ない位置においても、画像が劣化することを抑え、時空間解像度を高めることが可能 となる。また、上記では外部モデル拘束として複数の拘束を同時に用いた力 同様に 他の拘束を更に加えて用いても良!/、し、一部の拘束のみを用いても本発明の効果は 得られる。

[0112] 次に、ステップ 605では、統合処理部 104aが拘束条件 Jを最小にする高速高解像 度動画像を求める。拘束条件 Jを最小にする高速高解像度動画像の求め方としては 、例えば、拘束条件 Jを高速高解像度動画像の各画素値で微分した式が 0とおいた 数 15の方程式を解!/、て求めることや、最急勾配法などを用いて繰り返し法を用いて 求めても良い。最後に、ステップ 606では、統合処理部 104aは、生成した高速高解 像の画像を出力する。

[0113] [数 15] d^J = 0

dHH(x, y, t)

[0114] より具体的な入力画像の組と出力画像の例を図 11から図 15を用いて説明する。こ こでは説明を容易にするために、 6画素 X 6画素 X 4フレームの動画像を用いて説明 する。これはより大きな画像やフレーム数の大きレ、動画像の一部とみなすことができ

[0115] ここで、図 11 (a)〜（d)は、撮影の対象を仮に高速高解像度で撮影できた場合の 画像を示す。図 11 (a)〜（d)の映像は本来撮影により取得できないが、説明の為に 示す。図 11 (a)〜（d)は 4フレームを時間の順番に並べており、静止している被写体 1401と移動して!/、る被写体 1402が写って!/、る。

[0116] このような被写体に対して、高速低解像度動画像と低速高解像度動画像を得る（ス テツプ 601)。このような被写体の高速低解像度動画像（画素数が縦横それぞれ 1/ 3の場合）の例を図 12 (a)〜（d)に示す。図 12 (a)〜（d)は、図 11 (a)〜（d)の撮影 時間に対応するフレームである。ここで、黒の画素と白の画素との中間の画素値の画 素は左下向きの斜線で示している。フレーム数は図 11 (a)〜（d)と同じである力 空 間解像度が図 11 (a)〜（d)よりも低レヽ。

[0117] 同様に、このような被写体の低速高解像度動画像 (フレーム数 1の場合）の例を図 1 3に示している。空間解像度は図 11 (a)〜（d)と同じである力 図 11 (a)〜（d)のフレ 一ムの間を露出しているため、被写体 1402が移動軌跡として撮影されている。

[0118] 次に、高速低解像度動画像から、動き検出部 103は、画像中の被写体の動きと動 きの信頼度を求める（ステップ 602)。図 11 (a)〜（d)の画像がより大きな画像の一部 を示しているため、動き検出自体はより大きな画像全体で行った結果のうち、図 11 (a )〜（d)の画像領域に関する結果を得ても良!/、。

[0119] 図 14 (a)〜（d)に信頼度の分布の例を示す。図 14 (a)〜（d)は、図 l l (a)〜（d)の 撮影時間に対応する。図 14 (b)および (c)において、右下向きの斜線部分が動き検 出の信頼度が低い場所を示し、他の領域（白および黒の画素）は動き検出の信頼度 が高レ、場所を示してレ、る。ここで白と黒の画素の表示は被写体との関係を表しており 、信頼度では区別はない。また、静止している被写体や背景に対する動き検出の結 果は動きの量が 0と!/、ぅ极いになる。

[0120] 図 11 (a)〜（d)の被写体のような場合、 2つの被写体 1401と 1402が接近するあた りでは正確な動き検出が困難となる。拘束制御部 104bは、動き検出結果を用いた拘 束の設定 (ステップ 603)と動きの信頼度の低い位置に対する外部拘束条件とから総 合的な拘束条件を設定し (ステップ 604)、その拘束条件を用いて統合処理部 104a は高速高解像度動画像を生成 ·出力する (ステップ 605、 606)。

[0121] 図 15に生成した画像の例を示す。

[0122] 図 15 (a)〜（d)は、図 11 (a)〜（d)の撮影時間に対応する。 2つの被写体が接近す るフレーム図 15 (b)、（c)では画素値が中間的な値になっているものの、本来撮影で は得られない図 11の映像に近!/、映像が得られる。

[0123] 対比のため、図 16には動き検出の結果のみを用い、動きの信頼度や外部拘束条 件を用いない場合の生成画像の例を示す。動き検出が正確に行えない図 16 (b)、 ( c)のフレームの画像の右上におレ、て正確な画像の生成が行えて!/、な!/、。

[0124] 図 16 (b)、（c)の結果とは異なり、図 15の結果では、動き検出が図 14 (b)、（c)の 右上の領域で正確に行えていないことから、外部拘束条件により、画像の他の位置 や他のフレームとの画素値の連続性（数 4、数 5など）やエッジの連続性（数 6、数 7な ど）や動画像の主成分の傾向（数 9など）を用いることで、統合処理部 104aは高速高 解像度動画像として望ましい画像を生成することができる。

[0125] 次に、低速高解像度動画像の露出時間を高速低解像度動画像のフレーム間隔よ りも長く撮影する効果を図 17〜図 24の画像を用いて説明する。

[0126] 図 17 (a)〜（e)は、撮影の対象を仮に高速高解像度で撮影できた場合の画像を示 す。図 17 (a)〜（e)の映像は本来撮影により取得できないが、説明の為に示す。図 1 7 (a)〜（e)は時間的に連続する 5フレームを時間の順番に並べており、移動している 被写体 A1が写っている。

[0127] このような被写体に対して、撮影した高速低解像度動画像を図 18 (a)〜（e)に示し 、低速高解像度動画像を図 19 (a)および (b)と図 20 (a)および (b)に示す。図 18 (a) 〜（e)は、それぞれ図 17 (a)〜（e)の時間に対応するフレーム画像を示して!/、る。

[0128] 図 18 (a)〜（e)は低解像度の画像を高解像度画像と同じ大きさに図示して!/、るた め、解像度の低さが画素の荒さとして現れている。ここで、低速高解像度画像は高速 低解像度画像の 4分の 1のフレームレートとし、図 19 (a)と図 20 (a)は図 17 (a)の時 間に露出を開始したフレーム画像に対応し、図 19 (b)と図 20 (b)は図 17 (e)の時間 に露出を開始したフレーム画像に対応してレ、る。

[0129] 図 19 (a)および (b)は従来例のように低速高解像度画像の露出時間を短くしている 場合のフレーム画像を示している。図 20 (a)および (b)は本願発明で示すように、低 速高解像度画像の露出時間を高速低解像度画像のフレームレートよりも長くして撮 影したフレーム画像を示して!/、る。 [0130] このようにして撮影した画像を用いて前記の手続きで生成した画像の例を図 2；!〜 図 24に示す。ここで、図 21〜図 24の（a)〜（e)は、それぞれ図 17 (a)〜（e)の時間 に対応するフレーム画像を示す。また、図 22〜図 24の（a)〜（e)において斜線部分 は被写体 A1の輝度と背景の輝度との中間輝度の領域を表している。

[0131] 図 21 (a)〜（e)と図 22 (a)〜（e)は、図 18 (a)〜（e)と図 19 (a)、 （b)の入力画像を 用いて生成した画像の例であり、図 23 (a)〜（e)と図 24 (a)〜（e)は、図 18 (a)〜（e) と図 20 (a)、（b)の入力画像を用いて生成した画像の例である。図 21 (a)〜（e)は動 き情報を用いずに生成した画像の例を示し、図 22 (a)〜（e)は動き情報を用いて生 成した画像の例を示して!/、る。

[0132] 図 21 (a)と（e)、図 22 (a)と（e)は図 19の入力画像と同じタイミングのため鮮明な画 像が得られる。一方、図 21 (b)〜（d)では動き情報を用いないため、図 18 (b)〜（d) と同等の低解像度画像となっている。

[0133] また、図 22 (b)〜（d)では低速高解像度画像を撮影したフレームから離れるに従い 、画像の不鮮明さが増し、次の低速高解像度画像の撮影フレームに達したときに再 び鮮明な状態に戻る。

[0134] これは、低解像度高速画像から得た動き情報を利用して図 22 (b)〜（d)の生成画 像の空間解像度を向上させる必要があるものの、低解像度画像から動き検出を行う ため、動き検出の精度が低くなることと、動き検出では不可避な検出誤差が生じること に起因する。これらの動き検出誤差がフレーム毎に蓄積するため鮮明度が次第に低 下する。

[0135] このように、図 19 (a)および (b)のような入力を用いた場合、動き検出の情報が得ら れないか、不正確であると、図 22 (b)〜（d)において生成画像の鮮明度が次第に低 下すると同時に、生成画像の鮮明度が周期的に（前記の例では 4フレーム周期）大き く変動し、見辛い画像になり得る。低速高解像度画像のフレーム間隔が長いほどこの 傾向は顕著となる。

[0136] 動き検出の精度が高解像度画像の解像度の精度で正確に得られれば上記のよう な問題は生じないが、画像中の被写体形状の複雑な変化ゃォクルージョン、照明変 動等により、現実的には低解像度画像からの高精度の動き検出は困難である。 [0137] 図 23 (a)〜（e)は動き情報を用いずに生成した画像の例を示し、図 24 (a)〜（e)は 動き情報を用いて生成した画像の例を示してレ、る。図 23 (a)〜（e)では図 17 (a)〜（ e)や図 19 (a)、（b)の画像に比べて多少鮮明さは低下するものの、図 22 (d)のような 大きな鮮明度の低下が生じない。また、時間的な鮮明度の変化が抑えられており、鮮 明度の時間変化による見辛さは軽減できる。更に、図 24 (a)〜（e)では動きの情報を 用いるため、図 23 (a)〜（e)に比べて更に鮮明度が向上する。

[0138] このように従来の画像生成方法では、高速低解像度画像も低速高解像度画像とも 露出時間を短くし、動きブレを抑えることで、個々の画像を鮮明に撮影していたが、 生成した画像の画質を安定させ、突発的な画像の変化を適切に生成画像に反映さ せる上では必ずしも望まし!/、とは!/、えなかった。

[0139] 本願発明の画像生成手法ではこのような従来手法とは異なり、生成する高速高解 像度画像の鮮明さの向上とフレーム間の鮮明度の変化を抑えるために動きブレが生 じうる長時間撮影により得た低速高解像度画像を用いてが画像を生成することを特 長とする。

[0140] これにより、動き検出が行われない場合にでもフレーム毎の画質の変動を抑えると ともに、画像の動き情報を加味することで画像の鮮明さを向上させることが可能となる

〇

[0141] 更に、動き検出の信頼度を用いて信頼度の高い動き情報のみ用いることで、誤った 動き情報による画像の劣化を抑えることが可能になる。

[0142] なお、長時間露出の露出時間は低速画像のフレーム間で開放すると効果を得やす い。実際には、画素値の読み取り等により、露出終了と次フレームの露出開始までに は未露出時間が生じうる。このような場合にでも可能な範囲で露出を長くしておくこと で本願発明の効果を得ることが可能である。

[0143] なお、長時間撮影を用いて画像を生成したか否かは、高解像度でかつ突発的な画 像の変化が図 19 (a)と (b)の間で生じた場合に生成画像にその変化が含まれるか否 かで判断することができる。

[0144] ここまで、露光制御部 105が低速高解像度画像の 1フレームの露光期間中の露光 量を時間的に一定にする制御を行った場合につ!/、て説明した。次に、露光制御部 1 05が低速高解像度画像の 1フレームの露光期間中の露光量を時間的に変化させる 制御を行った場合につ!/、て説明する。

[0145] 図 25 (a)は、低速画像入力部 101bで取得する低速高解像度動画像の露光量の 時間変化の例で、図 25 (b)は、高速画像入力部 101aで取得する高速低解像度動 画像の露光量の時間変化の例を示す。図 25 (a)および (b)で横軸は時間、縦軸は 撮像時の露光量を示す。図 25 (a)および (b)はそれぞれの画像について同じ期間に おける露光量の時間変化を表しており、 1つのつながった太線が各画像の 1フレーム を得るための露出量の時間変化を表している。

[0146] 図 25 (a)では、低速高解像度画像の 1フレームを得るための 1回の露出期間中に 露光が行なわれている状態と無露光状態が 4回繰り返されることが、太線 21alによつ て示されている。図 25 (b)では、図 25 (a)での 1回の露出と同じ期間に、高速低解像 度画像の 4つのフレームを得るために 4回の露出（太線 21bl、 21b2、 21b3、 21b4) が行なわれることが示されて!/、る。

[0147] 図 8 (b)では、フレーム間隔と露出時間とが等しい（つまりフレーム間で開放露光を 行う）として高速低解像度画像の劣化過程を説明したが、ここでは、図 25 (b)に示さ れるように、高速低解像度画像は、フレーム間隔よりも露出時間が短くなる（言い換え れば、各フレームの露光期間の一部が無露光期間となる）ように制御される。また、図 25 (b)の高速低解像度画像の 4回の未露出期間に同期して、図 25 (a)の低速高解 像度画像の 1回の露出中の減光期間が設定される。

[0148] 次に、図 26を用いて入力画像の露光タイミングと生成画像における仮想的な露光 タイミングとの関係を説明する。ここで仮想的な露光タイミングとは、生成画像に相当 する画像を実際に撮影できたと仮定した場合の露光タイミングに相当する。

[0149] 図 26 (a)は低速高解像度画像 (破線力も破線が 1フレームの露光期間を示す）に おける露光タイミングを表し、縦軸の上側が露光している状態、下側が無露光の状態 を示している。図 26 (a)では 1フレーム中に露光と無露光の状態を 9回繰り返している 。図 26 (b)は図 26 (a)と同時に撮影して!/、る高速低解像度画像の露光タイミング（白 色）と無露光タイミング (斜線）とを表して!/、る。

[0150] 高速低解像度画像では 1フレームごとに露光と無露光とを 1回ずつ含んでいる。図 26 (b)では低速高解像度画像 1フレームの間に、高速低解像度画像が 9フレーム含 まれている。

[0151] 図 26 (c)は生成画像（高速高解像度画像）の仮想的な露光タイミングを表している

〇

[0152] ここで、図 26 (a)、図 26 (b)の露光期間は一致している。このような関係は、一例と して、低速高解像度画像の 1フレームの露光期間に含まれる無露光期間に高速低解 像度画像の露光量もまた低減させるよう、露光制御部 105が撮像装置 10を制御する ことによって実現できる。

[0153] また、高速低解像度画像の各フレーム期間の予め定められた一部が露光期間、残 部が無露光期間として制御される場合に、高速低解像度画像の露光期間において 低速高解像度画像の 1フレームの露光が行われるように露光制御部 105が撮像装置 10を制御しても、このような関係は実現される。

[0154] このような関係を満たすように撮影した画像を用いて図 26 (c)のような仮想的な露 光タイミングを持つ動画像を生成することにより、次のような効果が得られる。

[0155] すなわち、露光および無露光のタイミングが混在していても、数 1や数 2のような線 型式は満たされるため、画像生成の手続きを露光および無露光のタイミングに依存し て複雑に構成する必要が無い。し力、も、露光および無露光のタイミングが混在してい る場合には、入力画像の時間方向の周波数特性では高周波成分の割合が向上し、 生成画像における時間方向の高周波数成分の再現性も向上する。

[0156] ステップ 601以降では、前述した露光量を時間変化させない場合と同じ処理を行う 。ここで、図 17 (a)〜（e)と同じ被写体について被写体の動きが速い場合について考 X·る。

[0157] 露光制御部 105が低速高解像度画像の露光量を時間的に変化させず、高速低解 像度画像のフレーム間隔と露出時間とが等しい場合の高速低解像度画像の例を図 2 7 (a)〜（c)に示す。図 27 (a)、（b)、（c)は連続するフレームの画像であり、各フレー ム画像では動きブレが目立っている。これは高速画像であってもフレーム間で被写 体が大きく動くことによる。図 28は同時に撮影した低速高解像度画像の例である。図 28は、図 27 (a)、（b)、（c)の 3フレームの時間にわたって露光量を時間的に変化さ せずに撮影しており、さらに大きな動きブレを含む画像となっている。

[0158] 図 27 (a)〜（c)の高速低解像度画像と、図 28の低速高解像度画像とに対して、図 24 (a)〜（e)に示される動画像を生成した場合と同じ処理を適用した結果の一例を 図 29 (a)〜（c)に示す。図 29 (a)、（b)、（c)は、図 27 (a)、（b)、（c)の各フレームの 時間に対応する。

[0159] 図 29 (a)〜（c)において、高速低解像度画像と同じフレームレートで図 27 (a)〜（c )よりも高解像度化された画像が得られている。し力、しながら、図 27 (a)〜（c)に含ま れる動きブレは図 29 (a)〜（c)にも含まれている。これは、高速低解像度画像のフレ ームレートよりも速い動きの情報が撮影時に得にくいことによる。

[0160] 次に、同じ被写体に対して図 25 (a)および (b)のような露光量の時間変化を行った 場合を考える。露光制御部 105が低速高解像度画像の露光量を時間的に変化させ て撮影した画像の例を図 30 (a)〜（c)、図 31に示す。

[0161] 図 31は低速高解像度画像で、図 28と同じ被写体を、図 25 (a)のように露光量を時 間的に変化させて撮影した画像となっている。ここで、図 31の斜線部分は黒色の領 域と白色の領域の中間的な画素値 (輝度値)を表している。露光量を時間的に変化 させているため、被写体の画素値 (輝度値）が動きの方向に沿って変化している。

[0162] 図 30 (a)〜（c)は高速低解像度画像で、図 25 (b)のように低速高解像度画像の露 光区間に合わせて露出時間を設定している。フレーム間の被写体の移動量は図 27 ( a)〜（c)と図 30 (a)〜（c)とで等し!/、ものの、露出が短!/、ため図 30 (a)〜（c)では各 フレーム画像の被写体の動きブレが図 27 (a)〜（c)の場合に比べて少なくなつて!/、

[0163] このような入力画像を用いて生成した画像を図 32 (a)〜（c)に示す。図 32 (a)〜（c )は図 29 (a)〜（c)に比べ、動きブレが抑えられた高解像度画像となっている。これは 、図 29 (a)〜（c)の場合と同じ被写体を同じフレームレートで撮影しているものの、露 光量を時間的に変化させていることで、時間的に高い周波数の情報を取得し、画像 生成に利用していることに因る。

[0164] 上記の例では、図 25 (a)および (b)のように低速高解像度画像撮影時の未減光区 間と高速低解像度画像の露出時間とを一致させて撮影した場合を説明したが、図 33 (a)および (b)を用いて両者が一致しな!/、場合の例につ!/、て説明する。

[0165] 図 33 (a)は図 25 (a)と同じ露光量の時間変化を表している力 図 33 (b)の高速低 解像度画像のフレームレートは図 25 (b)の場合の半分であり、破線の 22b2、 22b4 で示される露出期間のフレームは実際には撮影されていない。

[0166] このような場合、太線 22bl及び 22b3で示される露光によって撮影された 2つのフ レーム画像を用いて画像間の動きベクトルを検出する。そして、画像間の対応点の動 きを用いて破線 22b2で示される露出期間に得られたであろう画像を生成する。同様 に前後のフレーム画像を用いて破泉 22b4で示される露出期間における画像も生成 する。このような生成は、従来技術である時間方向の補間処理によって行うことができ

[0167] このようにして、破泉 22b2及び 22b4で示される露出期間における画像を生成した 後に、図 25 (b)の場合と同等の処理を行なうと、図 32 (a)〜（c)のような高速高解像 度かつ動きブレの抑えられた画像を得ることが可能となる。

[0168] 但し、低速高解像度画像の露光量の時間変化と、高速低解像度画像の露出時間 とを合わせることが望ましい。一致させることで、両画像から得られる情報の時間方向 での過不足が抑えられ、撮影してレ、な!/、時間の画像の推定とレ、つた付加処理による 誤差の発生や演算量の増加を抑える効果がある。

[0169] なお、露光量を時間的に変化させる方法としては、機械式の開閉シャツタゃ液晶シ ャッタ等の同様の機能を有する装置を撮像部よりも被写体側に設置することで実現 すること力 Sできる。同様に、照明変化をさせることで、露光量を時間変化させてもよい

〇

[0170] 照明変化を用いる場合、付加すべき装置が簡易に構成できる点や、高速な露光量 の変更が行ないやすい利点があるが、被写体までの距離が遠い場合は、照明強度 を強くする必要がある。一方、シャツタ等を用いる場合は、被写体の距離に関係なく 適用できる利点がある。両方を併用してもよいし、どちらか一方を使っても、本発明の 効果は得られる。

[0171] このように、低速高解像度画像の露光量を時間的に変化させることで、変化させな い場合に比べて時間的により高周波数の情報を取得して画像を生成することが可能 となる。その結果、各フレーム画像での動きブレを抑えるなど生成画像の高周波成分 の再現性を高めた画像を得ることが可能となる。

[0172] 上記の例では、画像統合部 104は、生成画像を出力するのみであるが、生成画像 の出力と併せて画像生成の信頼度を出力しても良い。画像生成の信頼度 γは生成 した画像が正確に高速高解像化されている度合いを予測する値である。 yの決め方 としては、以下の数 16に示される動きの信頼度の総和や、

[0173] [数 16]

^Vmax ymax ma

r= ァ， )

[0174] 有効な拘束条件の数 Nと求めるべき動画像の総画素数 M (=フレーム数 X 1フレー ム画像の画素数）との比率 N/Mなどを用いることができる。ここで N = Nh + Nl + N λ X Cであり、 Nhは高速画像の総画素数（フレーム数 X Iフレーム画像の画素数）、 N1は低速画像の総画素数、 Ν λは外部拘束条件を有効にする時空間位置 (X, y, t )の総数、 Cは外部拘束の種類の数とする。

[0175] なお、数 15などの方程式を連立 1次元方程式として解く場合には、 Cline, A. K.

, Moler, C. B. , Stewart, G. W. and Wilkinson, J. H. , An Estimate for the Condition Number of a Matrix" , SI AM J. Num. Anal. 16 ( 1979) , 368 - 375. (非特許文献 5)などに記載されている解の算出計算の安定性 を示す条件数を信頼度として用いることができる。

[0176] 動きの信頼度の高い場合、動き拘束を用いた生成画像の信頼度も高いことが期待 できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には 、解としての生成画像を安定して得ることができ、生成画像の信頼度も高いことが期 待できる。同様に、上記条件数力 S小さい場合にも解の誤差が小さいことが期待できる 為、生成画像の信頼度が高いと期待できる。

[0177] このように、生成画像の信頼度を出力することで、出力した動画像に対して MPEG などの圧縮符号化を行う際に、信頼度の低い場合には圧縮率を高め、逆に、信頼度 の高い場合には圧縮率を低く設定することが可能となり、適切な圧縮率の設定が可 能となる。

[0178] 例えば生成画像の信頼度 γと符号化の圧縮率 δとの関係を図 34のように単調増 加の関係に設定し、生成した動画像の信頼度 _Ίの値に対応する圧縮率 δで符号化 を行う。生成画像の信頼度 γが低い場合には生成画像が誤差を含みうるため、圧縮 率を高くしても実質的に情報の欠損があまり生じないことが期待されるため、効果的 にデータ量を削減できる。

[0179] ここで圧縮率とは、もとの画像のデータ量に対する符号化後のデータ量の割合で、 圧縮率が高い（大きい値）ほど、符号化後のデータ量は小さくなり、復号化した際の 画質は低下する。

[0180] 同様に、 MPEGの場合などでは、前記信頼度の高いフレームを優先的に Iピクチャ などのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とする ことで、動画像の再生時の早送り再生や一次停止時などの画質を向上させることが 可能となる。

[0181] 例えば、前記生成画像の信頼度をフレーム毎に求めておき γ (t)と置く。 tはフレー ム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレーム を選択する際に γ (t)が予め定めた閾値 _y thより大きいフレームの中から選択したり 、予め定めた連続フレーム区間の中で最も γ (t)の大きいフレームを選択する。

[0182] なお、出力動画像を符号化する処理の有無に関わらず本発明の効果は得られる。

[0183] また、上記の例では、画素値として単一の輝度のみを前提に説明した力 輝度に対 する上記の処理を RGBカラー表現の Rと Gと Bの各成分につ!/、て個々に同じ処理を 行って高速高解像度動画像を得ることで、カラー画像に対しても高速高解像度動画 像を生成することが可能である。

[0184] また、より簡易に色情報を扱う方法としては、低速画像を輝度と色差に分解し、輝度 画像のみを上記の処理で高速高解像度化し、色差情報は補完拡大して前記高速高 解像度輝度画像に付加することでも、効果は得られる。この場合、画像の情報の主 成分は輝度に含まれる為、他の色差の情報が補完拡大された場合であっても、両者 を合せることで、入力した画像に比べて、高速高解像度化した動画像を得ることが可 能となり、 RGB独立に処理する場合に比べて処理量を削減することが可能となる。 [0185] このようなカラー画像に対する処理の手順を図 35に示す。ステップ 2101では高速 低解像度動画像を輝度画像と色差画像に分離し、続いて、ステップ 2102で、前記輝 度画像と低速高解像度動画像の輝度画像とを用いて図 5の手順に基づいて高速高 解像度動画像を生成する。ステップ 2103では、前記色差画像を高解像度画像と同 じ画素数に補間拡大する。ステップ 2104では、前記生成輝度画像と前記補間拡大 した色差画像とを合成して高速高解像度のカラー画像を生成する。

[0186] このように、画像統合部 104が、高速低解像度動画像から色差情報を抽出し、高速 低解像度動画像の輝度情報と低速高解像度動画像とから中間的な新たな動画像を 生成し、生成した中間的な動画像に色差情報を付加することによって、最終的な新 たな動画像を生成することで、カラーの動画像を少なレ、処理量で統合することができ

[0187] 以上のように、本実施の形態における画像生成システム 100によれば、動き検出部 103が求めた動きの信頼度に応じて、拘束制御部 104bが外部モデル拘束条件と動 き拘束条件とを有効にする度合いを決定し、前記拘束条件を用いて高速画像と低速 画像を統合することにより、動き検出が行えない場合や、動き検出の精度が低い画像 領域においても高速高解像の動画を得ることができる。

[0188] なお、本実施の形態では、動画像全体を一括で処理する例を説明したが、動画像 を時空間的に複数の領域に分割し、前記各領域にお!/、て上記と同様の処理を行つ て高速高解像の部分動画像を生成した後、生成した前記各部分動画像を時空間的 に接合し、動画像全体の高速高解像の動画像を得ても良い。このように時空間的に 分割処理を行う事で、画素数の多い画像やフレーム数の多い動画像を行う際に必要 となる計算処理量やメモリ量を抑制する事が可能となる。特に、時間方向に動画像を 分割することで、過去に入力された複数フレームを一括処理することによる画像生成 の時間遅れを短縮することも可能になる。

[0189] また、上記のように分割処理する際に、隣接する時空間領域が分割境界近傍にお いて、重複するように、各領域を設定してもよい。図 36に空間的に重複を持たせて領 域分割をした例を示す。図 36では画像を空間的に重複領域を持たせて領域 70；!〜 704の 4領域に分割している。個々の領域に相当する動画像を生成した後に、重複 部分の画素値は重複する各領域の画素値を重み付け加算平均を行うことで、滑らか な接合を行うことができる。また、時間方向に重複を持たせて図 36と同様に領域分割 しても良い。このように、重複領域を持たせることで、領域分割処理において隣接す る領域間での処理結果の不連続性を抑制する事ができる。

[0190] なお、このような重複を許す分割処理において、重複領域の大きさは、予め定めて おく。重複領域の大きさを大きくすることで、処理領域間での処理結果の不連続性を 低減する効果が増す。重複領域の大きさを小さくすると重複によって増加する計算量 を抑えることが可能となる。

[0191] また、上記のように領域分割する際の時間方向の領域境界としては、予め動画像 のフレーム間の画像の変化を算出し、フレーム間の画像の変化が予め定めた基準よ り大きいフレーム間に時間的な領域境界を設定しても良い。例えば、隣り合うフレー ム画像の差として数 17のような値 SSD (t)を定義し、 SSD (t)〉thを満たす場合に、 時亥 ijtのフレームと時亥 ijt + 1のフレームとの間を処理の境界とし、時刻 t以前のシーケ ンスと時亥 ijt + 1以降のシーケンスの処理を分けて行う。

[0192] [数 17] raax 7max

SSD{^ = ヌ,り— 7 +1)}²

[0193] ここで、 I (x, y, t)は時亥 Ijtのフレーム画像中の位置（x, y)における輝度を示し、 th は予め定めた閾値である。また、閾値 thを基準として処理の区切りを決定する替わり に、処理の区切りを設けたい時間領域のシーケンスにおいて前記 SSD (t)が最大に なる時刻 tを処理の区切りとしても良い。このようにすることで、時間的に隣接する領 域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなる 事で不連続性が知覚されに《なるという効果が期待できる。

[0194] 以上、本発明に係る画像生成装置について、実施の形態に基づいて説明したが、 本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者 が思いつく変形を施して得られる形態も本発明に含まれる。

[0195] 実施の形態では、統合処理部 104aが、拘束指定部 104eによって指定される数 12 の総合的な拘束条件 Jに従って、入力された静止画像 (低速高解像度画像のフレー ムの 1つ）と、その静止画像の露光期間における目的とする高速高解像度動画像の 複数のフレームの合計との誤差 (数 12の右辺の第 2項）を減少させることによって、高 速高解像度動画像を生成すると説明した。

[0196] ここで、合計の代わりに、合計と定数倍の関係にあって合計とは実質的に等価な情 報である平均を用いても構わない。すなわち、静止画像と、その静止画像の露光期 間における目的とする高速高解像度動画像の複数のフレームの平均との誤差を減 少させることによって、 目的とする高速高解像度動画像を生成する構成も、本発明に p¾よれ 。

[0197] また、本発明の画像生成装置が行なう画像生成処理の一部または全部は、専用の 機器で行わせるようにしてもよいし、コンピュータ端末装置や、基地局等に配置される 通信機器や、スタンドアロンのコンピュータに内蔵される CPUが画像生成処理プログ ラムを実行することによって、画像生成処理を行うようにしてもよい。

[0198] また、図 3に示された画像生成システム 100の構成のうち、表示装置 40を除いた構 成を用いて、図 37に示すようなカメラ 300として、つまり、単体の装置として本発明を 実現してもよい。

[0199] さらに、図 37に示されたカメラ 300に表示装置 40を付加することにより、動画像録 画-再生機能付きのカメラとして実現しても良い。

[0200] また、図 3に示された画像生成システム 100の構成のうち、撮像装置 10を除いた構 成を用いて、図 38に示すようにテレビなどのディスプレイ機器 400として本発明を実 現しても良い。この場合、あらかじめ録画してある動画像の時空間解像度を向上させ て表示することが可能になる。

[0201] なお、請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり 、請求の範囲における「露出制御手段」、「画像入力手段」、「動き検出手段」、「画像 統合手段」の一例が、それぞれ、実施の形態における露光制御部 105、画像入力部 101、動き検出部 103、画像統合部 104である。ただし、請求の範囲における各構成 要素は、これら実施の形態における対応する構成要素だけに限定されるのでなぐそ の等価物も含まれる。 産業上の利用可能性

本発明は、複数の動画像から新たな動画像を生成する画像生成装置として、特に 、高速低解像度動画像と低速高解像度動画像とから高速高解像度動画像を生成す る画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装 置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。

Claims

請求の範囲

[1] 外部の撮像装置によって同一事象を撮影して得られた第 1動画像及び第 2動画像 から、前記事象を表す新たな動画像を生成する画像生成装置であって、

前記第 2動画像の解像度は前記第 1動画像の解像度よりも高ぐかつ前記第 2動画 像のフレームの露光時間は前記第 1動画像のフレームの露光時間よりも長ぐ 前記撮像装置を制御することにより、前記第 2動画像の 1つのフレームの露出期間 中の露光量を時間的に変化させる露光制御手段と、

前記撮像装置から、前記第 1動画像と、前記露光制御手段の制御下で撮影された 前記第 2動画像とを取得する画像入力手段と、

前記取得された第 1動画像と第 2動画像とから、前記第 1動画像のフレームレート以 上のフレームレートでかつ前記第 2動画像の解像度以上の解像度の新たな動画像を 、前記第 2動画像のフレームと、前記第 2動画像のフレームの露光期間に対応する前 記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成す る画像統合手段と

を備えることを特徴とする画像生成装置。

[2] 前記露光制御手段は、前記第 2動画像の 1つのフレームの露光期間中に少なくとも 1回、前記露光量を低減させる無露光期間を設ける

ことを特徴とする請求項 1記載の画像生成装置。

[3] 前記露光制御手段は、さらに、前記撮像装置を制御することにより、前記第 1動画 像の露光量を、前記第 2動画像の無露光期間において低減させる

ことを特徴とする請求項 2記載の画像生成装置。

[4] 前記露光制御手段は、前記第 2動画像の 1つのフレームの露光期間中に含まれる 前記第 1動画像の 1以上のフレームのそれぞれの露光期間において、前記第 2動画 像の前記フレームの露光が行われるように、前記第 2動画像の露光量を変化させる ことを特徴とする請求項 1記載の画像生成装置。

[5] 前記撮像装置は、前記第 2動画像を撮影する際、被写体からの入射光量を外部か らの制御に応じた量低減させる減光手段を備え、

前記露光制御手段は、前記減光手段を制御することによって、前記露光量を時間 的に変化させる

ことを特徴とする請求項 1記載の画像生成装置。

[6] 前記撮像装置は、前記第 2動画像を撮影する際、外部からの制御に応じた強さで 被写体を照明する照明手段を備え、

前記露光制御手段は、前記照明手段を制御することによって、前記露光量を時間 的に変化させる

ことを特徴とする請求項 1記載の画像生成装置。

[7] 外部の撮像装置によって同一事象を撮影して得られた第 1動画像及び第 2動画像 から、前記事象を表す新たな動画像を生成する画像生成方法であって、

前記第 2動画像の解像度は前記第 1動画像の解像度よりも高ぐかつ前記第 2動画 像のフレームの露光時間は前記第 1動画像のフレームの露光時間よりも長ぐ 前記撮像装置を制御することにより、前記第 2動画像の 1つのフレームの露出期間 中の露光量を時間的に変化させる露光制御ステップと、

前記撮像装置から、前記第 1動画像と、前記露光制御ステップでの制御下で撮影 された前記第 2動画像とを取得する画像入力ステップと、

前記取得された第 1動画像と第 2動画像とから、前記第 1動画像のフレームレート以 上のフレームレートでかつ前記第 2動画像の解像度以上の解像度の新たな動画像を 、前記第 2動画像のフレームと、前記第 2動画像のフレームの露光期間に対応する前 記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成す る画像統合ステップと

を含むことを特徴とする画像生成方法。

[8] 複数の動画像から新たな動画像を生成するためのプログラムであって、

請求項 7記載の画像生成方法に含まれるステップをコンピュータに実行させる ことを特徴とするプログラム。