JP5995863B2 - モーション・ブラーを含む画像を生成する方法および装置 - Google Patents

Description

本発明は、モーション・ブラーを含む画像を生成するように意図されたビデオ処理のための方法および装置に関する。本発明は、より具体的には、アニメーション・エフェクトおよびビデオ・エフェクトの分野に関し、合成画像やディジタル・シャッタを備えた画像キャプチャ装置によって生成される画像に適用することができる。

この処理の目的は、人間の眼にとって、より自然に、よりソフトに画像を描画（レンダリング）することにある。

モーション・ブラーは、動きのあるオブジェクトを含むフィルムまたはアニメーションの画像またはビデオ・シーケンスに現れる視認可能なブラー（ぶれ、ぼやけ）である。このブラーは、画像キャプチャの間のオブジェクトの急速な変位、または、画像キャプチャ装置（カムコーダまたは固定カメラ）の長い露光時間（ポーズ時間）によるものである。キャプチャされた画像は、画像キャプチャ装置のシャッタ速度によって決定される露光時間に対応する期間に亘ったオブジェクトの複数の位置の全てを統合している。この画像において、キャプチャ装置に対して動きのあるキャプチャされたシーンの要素は、動きの方向にぶれが生ずるように見える。このぶれの生じている要素は、画像キャプチャ装置が固定されている場合には、シーンの動きのあるオブジェクトであることもあれば、画像キャプチャ装置がシーンの動きのあるオブジェクトと同じ速度で動いている場合には、シーンの背景であることもある。

合成画像の場合には、各画像を、無限シャッタ速度（露光時間が見かけゼロ）を有するキャプチャ装置によってキャプチャされる画像に同化させることができる。従って、モーション・ブラーは存在せず、画像中の動きのあるオブジェクトの変位は、人間の眼にとって、非連続であり、激しく揺れているように見える。

ディジタル・シャッタ（非メカニカル・シャッタ）を有するキャプチャ装置によって生成された画像について言えば、キャプチャ画像上の動きのあるオブジェクトの表示は、人間の眼にとって不快な時間的なアーティファクトを含むことがある。これは、開始／停止モードで、すなわち、シャッタがとり得る２つの状態のみで通常動作するディジタル・シャッタによる光信号の突然の切捨てによる。

この問題を克服するために、当業者にとって、これらの画像に対し、メカニカル・シャッタによって行われるフィルタリングをシミュレートする処理を適用することが知られている。ディジタル・シャッタを備えたキャプチャ装置によって生成される画像については、この処理は、ディジタル・シャッタの時間応答（ｔｅｍｐｏｒａｌ ｒｅｓｐｏｎｓｅ）をメカニカル・シャッタの時間応答に合わせることからなる。合成画像については、この処理は、メカニカル・シャッタの時間応答に近い時間応答を有する「モーション・フィルタ」と呼ばれるフィルタを用いて画像にフィルタリングを適用することからなる。

この処理は、一般的には、表示しようとする画像に関連する基準時点ｔを中心とする時間間隔に亘って複数のビデオ画像を取得し、このビデオ画像の各々を重み付けし、基準時点ｔに関連付けられた画像の表示を重み付けされたビデオ画像を平均化することによって実行することからなる。重み付けされる画像の数およびこの処理で考慮される重み係数の値は、再現される時間応答によって決まる。

この処理は、表示しようとする画像ごとに、いくらかのビデオ画像の取得および保存を必要とする。従って、その実施には、これらの画像を記憶するために大きなメモリ空間が必要であり、比較的長いメモリ・アクセス時間を伴うため、処理時間に影響を及ぼす。

本発明の目的は、上に挙げた欠点のうちの全てまたは一部を克服する画像処理方法、さらに、より具体的には、使用するメモリ空間が低減され、かつ必要なアクセス時間が短縮される画像処理方法を提案することにある。

この目的のため、本発明は、
基準時点ｔを含む時間間隔の間に複数のビデオ画像を取得するステップと、
少なくとも一部のビデオ画像に重み係数を関連付けるステップであって、ビデオ画像の少なくとも２つは異なる重み係数を有する、上記ステップと、
ビデオ画像を記憶するステップと、
記憶されたビデオ画像の各々を関連付けられた重み係数で重み付けするステップと、
重み付けされたビデオ画像を平均化することによって、基準時点ｔに関連付けられた参照画像と呼ばれる画像を生成するステップとを含む、ビデオ処理の方法において、
ビデオ画像の各々が、ビデオ画像に関連付けられた重み係数に比例する解像度で記憶され、重み係数は、ビデオ画像が基準時点ｔから離れる期間の減少関数に従って各ビデオ画像に関連付けられていることを特徴とする、上記方法を提案する。

従って、本発明によれば、小さい重み係数が関連付けられた画像は、低解像度である。これにより、これらの画像によって占められるメモリ空間が低減され、これらの画像に対するアクセス時間が短縮される。

従って、基準時点ｔから時間的に最も遠いビデオ画像は、最も小さい重み係数を有する。基準時点から最も遠いビデオ画像に対して小さい重み係数を適用することにより、メカニカル・シャッタの時間応答が再現可能となり、その結果、連続した参照画像間の移行がよりソフトになる。

画像の解像度は、水平方向および垂直方向の両方の点または画素の数であると理解される。画像の解像度が低下すると、画素の数も減少する。

本発明の特定の態様によれば、各ビデオ画像に関連付けられた重み係数は、ビデオ画像が基準時点ｔから離れる期間に反比例する。

特定の態様によれば、時間間隔は基準時点ｔを中心とする。

特定の態様によれば、各ビデオ画像に関連付けられた重み係数は、ビデオ画像が基準時点ｔから離れる期間の二乗余弦に反比例する。

特定の態様によれば、複数のビデオ画像の各画像は、例えば、規格ＪＰＥＧ２０００に従う画像などのマルチ解像度画像である。

本発明は、さらに、
基準時点ｔを含む時間間隔の間に複数のビデオ画像を取得する手段と、
取得したビデオ画像を記憶するメモリと、
重み係数をビデオ画像の各々と関連付ける処理回路であって、ビデオ画像の少なくとも２つは異なる重み係数を有し、関連付けられた重み係数で記憶されたビデオ画像の各々を重み付けし、重み付けされたビデオ画像を平均化することによって、基準時点ｔに関連付けられた参照画像と呼ばれる画像を生成する、上記処理回路と、
メモリ内への、取得されたビデオ画像の記憶を制御する制御手段と、を含む、ビデオ画像を取得し、かつ処理する装置において、
取得されたビデオ画像の各々が、関連付けられた重み係数に比例する解像度でメモリに記憶され、重み係数は、ビデオ画像が基準時点ｔから離れる期間の減少関数に従って各ビデオ画像に関連付けられていることを特徴とする、上記装置に関する。

特定の態様によれば、時間間隔は基準時点ｔを中心とする。

有利なことに、処理回路は、ビデオ画像が基準時点ｔから離れる期間に反比例する重み係数を各ビデオ画像に関連付けることにより、カメラのメカニカル・シャッタによって行われるフィルタリングを再現する。

好ましくは、処理回路は、ビデオ画像が基準時点ｔから離れる期間の二乗余弦に反比例する重み係数を各ビデオ画像に関連付ける。

本発明は、添付図面を参照した詳細な説明を通じてより良好に理解され、他の目的、詳細、特徴事項、さらに、利点もより明確になるであろう。

標準的なメカニカル・シャッタの光の積分関数を示す図である。 ディジタル・シャッタの光の積分関数の例を示す図である。 実行可能な幾つかの解像度を有する同一の画像を示す図である。 本発明の方法を実施する装置を示す図である。

本発明は、合成画像またはディジタル画像におけるモーション・ブラーの導入に関し、重み係数が低い画像の解像度を低下させることによってこの処理の実施に必要なメモリ空間を最適化することを提案する。これにより、画像の記憶に必要なサイズを小さくすることが可能である。

従って、まず、シャッタの役割および動作について説明する。

ディジタル・カムコーダおよびアナログ・カムコーダの分野においては、カムコーダのレンズは、光を焦点に集め、化学または半導体画像キャプチャ装置に光を向けるために使用される。例えば、ディジタル・カムコーダにおいて、画像キャプチャ装置は、数千または数百万個もの感光セルと呼ばれる微細な感光ダイオードのマトリクスを用いて光を測定する電荷結合素子（ＣＣＤ）キャプタまたは相捕型金属酸化膜半導体（ＣＭＯＳ）キャプタである。

キャプタに到達する光の量は、過度な露光、不十分な露光とならないように制御しなければならない。これは、シャッタの役割である。これは、機械的に行うこともできるし、ディジタル的に行うこともできる。

メカニカル・シャッタは、画像キャプチャ装置の露光時間の調節を可能にする、キャプチャ装置に搭載されたコンポーネントであると理解される。このシャッタは、例えば、アイリス・シャッタまたはカーテン・シャッタである。

逆に、ディジタル・シャッタは、ハードウェアコンポーネントとして存在するものではなく、感光セルがキャプチャ・サイクルの間に光を受け取ることが可能な期間に相当する。

一般的な方法では、シャッタは、ｈ（ｔ）として示すその時間応答を通じてモデル化することができる。感光セルによる光の積分処理は、従って、以下の等式によって表すことができる。

ここで、
Ｘ（ｔ）は、入射光の信号を表し、
ｘ_ｓｈｕｔ（ｔ）は、感光セルによってキャプチャされる光の信号を表し、
Ｔは、入射光信号に対してセルが露光される期間である感光セルの露光期間であり、さらに、Ｔは積分の期間に対応する。

シャッタは、Ｔに対応する所定の期間の間に光を通過させるだけのフィルタのように動作し、この期間の各時点に通過することが可能な光の量は、関数ｈ（ｔ）によって規定される。

離散形の等式１を一連のビデオ画像に適用することによって光の積分が簡単に再現されるこのフィルタ処理は、表示する画像の再現に寄与する。この積分は、次に、ビデオ画像の加重和を生成し、重み係数は、再現しようとするシャッタの時間応答ｈ（ｔ）によって決定される。表示する画像の再現に寄与するビデオ画像の各々は、表示する画像に関する基準時点ｔを中心とする時間間隔において、それ自体に特有の時点に関するビデオ画像である。これらのビデオ画像は、例えば、表示する画像に関連付けられた表示周波数の倍数である取得周波数で取得された画像である。

分かりやすくするために、以降の説明において、表示する画像の再現に寄与するビデオ画像を示すために、「サブ画像」の用語を使用する。

図１および図２は、それぞれ、メカニカル・シャッタの時間応答と標準的なディジタル・シャッタの時間応答を示している。これらの各々は、利得関数の形態で示されており、利得は、シャッタが完全に開いているときは、最大で１となり、利得は、シャッタが閉じているときは、零（０）となる。

メカニカル・シャッタは、漸次的に開閉する。結果として、その利得は、完全な開位置の両側で漸次的に増減する（図１）。

標準的なディジタル・シャッタは、２つの位置を有するスイッチのように動作する。一方の位置は、感光セルが光をキャプチャ可能な開位置であり、他方の位置は、感光セルが光をキャプチャ不能な閉位置である。従って、このシャッタの時間応答は方形になる（図２）。

これらの２つの応答は、離散二乗余弦関数（ｄｉｓｃｒｅｔｅ ｒａｉｓｅｄ ｃｏｓｉｎｅ ｆｕｎｃｔｉｏｎ）によってモデル化でき、ロールオフ係数は、ディジタル・シャッタでは０に近く、メカニカル・シャッタでは正である。

完全な画像に関する光の積分処理が離散形でモデル化される場合には、これを以下のように記述することができる。

ここで、
ｋは、画像を指定するインデックスであり、
ｑは、画像ｋのＱ個のサブ画像のうちのサブ画像を指定し、
Ｑは、画像ｋのサブ画像の総数であり、
Ｉ（ｘ，ｙ，ｑ）は、サブ画像ｑの座標（ｘ，ｙ）の画素の値を表し、
Ｉ_ｓｈｕｔ（ｘ，ｙ，ｋ）は、処理後の画像ｋの座標（ｘ，ｙ）での画素の値を表し、
ｈ（ｑ）は、シャッタの時間応答の離散形である。

メカニカル・シャッタを介して導入されたモーション・ブラーに従ってモーション・ブラーを画像中に導入するために、離散時間応答ｈ（ｔ）が図１に示すような等式２において使用される。この図で明らかであるように、一部のサブ画像は、他の画像よりも利得値が低い。この利得値は、表示する画像中のこのサブ画像の重みを表す。従って、サブ画像に適用される重み係数は、図１に示された利得と比例している。

この図（図１）で明らかであるように、処理方法において、一部のサブ画像は、他のサブよりも小さい重みを有する。従って、これらのサブ画像を解像度を高めて記憶することは必要ではない。

さらに、本発明によれば、サブ画像の解像度は、その重み（重み係数）に従うように適合させることができる。処理のために記憶された各々のサブ画像の解像度は、その重み（重み係数）に比例するように適合される。従って、処理される画像のサブ画像は、これらの画像の重みに顕著に比例したメモリ空間を占める。最大の重み係数に等しい係数を有するサブ画像のみが、最大解像度で保存される。これにより、メモリ空間が解放され、サブ画像に対するアクセス時間が短縮する。

図３は、本発明の方法の、このマルチ解像度の態様を示している。この図は、同じシーンであるが異なる解像度の６個のサブ画像を表している。左上隅にあるサブ画像は高解像度のサブ画像を示しており、右下隅にあるサブ画像は低解像度のサブ画像を示しており、他のサブ画像は中間的な解像度を有している。

本発明によれば、最大の重み係数を有するサブ画像が高解像度で記憶され、重み係数を有するサブ画像は、この重み係数に顕著に比例する解像度で記憶される。

本発明の方法は、ＪＰＥＧ２０００規格に従った、ディジタル・シャッタを備えたプロ用のデジタル・カメラによって供給される画像に適用することができるという利点がある。実際、この画像タイプは、既に、マルチ解像度の階層構造を有している。カメラによる画像の取得は、例えば、１００Ｈｚまたは２００Ｈｚの高周波数で実行される。表示する各画像に対し、幾つかのサブ画像を取得することが可能である。例えば、２５Ｈｚで表示し、２００Ｈｚで画像を取得する場合には、カメラは、表示する画像ごとに８個のマルチ解像度サブ画像を生成する。処理のために、各サブ画像がこのサブ画像に関連付けられる重み係数に対応する解像度で記憶される。

図４は、本発明の方法を実施可能な装置の概要を示している。この装置は、
動作モードで高い取得周波数での取得が可能となる、例えばＣＭＯＳキャプチャ装置などの、サブ画像を取得する手段１１と、
取得したサブ画像を記憶するメモリ１２と、
重み係数を各ビデオ・サブ画像に関連付け、関連付けられた重み係数と共に記憶された各サブ画像を重み付けし、重み付けされたビデオ画像を平均化することにより、基準時点ｔに関連付けられた参照画像と呼ばれる画像を生成する画像処理回路１２と、
本装置のこれらの手段のための制御手段１４と、を有している。

制御手段は、より具体的には、取得手段によって生成され、関連付けられた重み係数に比例する解像度でメモリに記憶されたサブ画像ごとに、メモリを制御する。

ディジタル・シャッタによって導入されたモーション・ブラーを再現するために、処理回路は、各ビデオ画像に重み係数を有益に関連付ける。この重み係数は、画像が基準時点ｔから離れる期間に反比例する。すなわち、図１から明確に分かるように、重み係数は、ビデオ画像が基準時点ｔから離れる期間の減少関数に従っている。好ましくは、この重み係数は、ビデオ画像が基準時点ｔから離れる期間の二乗余弦（ｒａｉｓｅｄ ｃｏｓｉｎｅ）に反比例している。

処理回路によって生成された参照画像は、次に、表示装置２０に送られる。

この装置は、例えば、極めて高い取得周波数、例えば、１００Ｈｚまたは２００Ｈｚを有し、２５Ｈｚで参照画像を供給するカムコーダである。

特定の実施形態に関連して本発明を説明したが、本発明は、決して限定的なものではなく、また、本発明の範囲内となり得るならば、説明した手段の全ての技術的な均等物およびそれらの組み合わせを含むことは明らかである。

変形例によれば、一部のサブ画像の各サブ画像、すなわち、表示する画像の再現に寄与するビデオ画像の一部のみに、重み係数が関連付けられる。例えば、基準時点ｔに近い一部のサブ画像には１に等しい係数が適用され、すなわち、これらには重み係数は関連付けられない。

他の変形例によれば、サブ画像がキャプチャされる時間間隔は、ｔを中心とするものではない。この変形例によれば、基準時点は、時間間隔の開始または終了とは無関係に位置する。この変形例によれば、基準時点ｔの前にキャプチャされるサブ画像の数は、基準時点ｔの後にキャプチャされるサブ画像の数とは等しくない。基準時点ｔの後にキャプチャされるサブ画像数の間で不均衡を生じさせることにより、時間間隔において基準時点ｔよりも前の期間に対して重点を置くことを可能にし（このケースは、ｔよりも前にキャプチャされたサブ画像の数が、ｔよりも後にキャプチャされたサブ画像の数よりも多い状態に対応し、これは、時間間隔の中心よりもｔが時間的に後に位置する状態に対応する）、または、時間間隔において基準時点ｔよりも後の期間に対して重点を置くことを可能にする（このケースは、ｔよりも前にキャプチャされたサブ画像の数が、ｔよりも後にキャプチャされたサブ画像の数よりも少ない状態に対応し、これは、時間間隔の中心よりもｔが時間的に前に位置する状態に対応する）。特定の実施形態によれば、基準時点ｔは、時間間隔の最初に置かれる（全てのサブ画像が、時間間隔の間、ｔの後にキャプチャされる）。別の実施形態においては、基準時点ｔは、時間間隔の最後に置かれる（全てのサブ画像は、時間間隔の間、ｔの前にキャプチャされる）。

Claims (9)

1. 基準時点ｔを含む時間間隔の間に複数のビデオ画像を取得するステップと、
   少なくとも一部の前記ビデオ画像に重み係数を関連付けるステップであって、前記ビデオ画像の少なくとも２つは異なる重み係数を有する、前記ステップと、
   前記ビデオ画像を記憶するステップと、
   記憶された前記ビデオ画像の各々を前記関連付けられた重み係数で重み付けするステップと、
   重み付けされたビデオ画像を平均化することによって、前記基準時点ｔに関連付けられた参照画像と呼ばれる画像を生成するステップとを含む、ビデオ画像を処理する方法において、
   前記ビデオ画像の各々が、前記ビデオ画像に関連付けられた前記重み係数に比例する解像度で記憶され、前記重み係数は、前記ビデオ画像が前記基準時点ｔから離れる期間の減少関数に従って各ビデオ画像に関連付けられている、前記方法。
2. 各ビデオ画像に関連付けられた前記重み係数は、前記ビデオ画像が前記基準時点ｔから離れる期間に反比例する、請求項１に記載の方法。
3. 前記時間間隔は前記基準時点ｔを中心とする、請求項１または２に記載の方法。
4. 各ビデオ画像に関連付けられた前記重み係数は、前記ビデオ画像が前記基準時点ｔから離れる期間の二乗余弦に反比例する、請求項１〜３のいずれか１項に記載の方法。
5. 基準時点ｔを含む時間間隔の間に複数のビデオ画像を取得する手段と、
   取得したビデオ画像を記憶するメモリと、
   少なくとも一部のビデオ画像に重み係数を関連付ける処理回路であって、前記ビデオ画像の少なくとも２つは異なる重み係数を有し、前記関連付けられた重み係数で前記記憶されたビデオ画像の各々を重み付けし、重み付けされたビデオ画像を平均化することによって、前記基準時点ｔに関連付けられた参照画像と呼ばれる画像を生成する、前記処理回路と、
   前記メモリ内への、取得されたビデオ画像の記憶を制御する制御手段と、を含む、ビデオ画像を取得し、かつ処理する装置において、
   前記ビデオ画像の各々が、前記関連付けられた重み係数に比例する解像度で前記メモリ内に記憶され、前記重み係数は、前記ビデオ画像が前記基準時点ｔから離れる期間の減少関数に従って各ビデオ画像に関連付けられている、前記装置。
6. 前記処理回路は、前記ビデオ画像が前記基準時点ｔから離れる期間に反比例する重み係数を各ビデオ画像に関連付ける、請求項５に記載の装置。
7. 前記時間間隔は前記基準時点ｔを中心とする、請求項５または６に記載の装置。
8. 前記処理回路は、前記ビデオ画像が前記基準時点ｔから離れる期間の二乗余弦に反比例する重み係数を各ビデオ画像に関連付ける、請求項５〜７のいずれか１項に記載の装置。
9. 請求項５〜８のいずれか１項に記載の装置を含む、カムコーダ。
   

Images