JP4114720B2 - 画像生成方法および画像生成装置 - Google Patents

Description

この発明は、画像生成方法および画像生成装置に関する。この発明は特に、カメラで撮像した動画像に処理を施して新たな動画像を出力する技術に関する。

近年、コンピュータ技術の目覚ましい発展の下で、コンピュータがもつ画像処理性能は著しく向上している。一般消費者向けのＰＣ（パーソナルコンピュータ）やゲーム専用機であっても、かつては画像処理用ワークステーションなどのハイエンド機によって行われていた各種処理を容易に実現できるまでに至った。

画像処理性能の向上は、ＰＣやゲーム機の用途にこれまでとは別の角度からの可能性をもたらした。すなわち、一般消費者による利用を想定したムービー編集、画像加工、オーサリングなどに用いる各種ツールが低価格で提供されるようになった。これらを使用すればプロでなくても簡単な操作で手軽に動画を加工できる。こうした中、本発明者は、より簡便に動画を加工でき、しかも斬新な映像を得ることのできる画期的な画像処理の手法を模索するに至った。

本発明者は以上の認識に基づき本発明をなしたもので、その目的は、娯楽性のある画像を得ることにある。本発明はさらに、以下のいずれかの目的、または本明細書の記述をとおして理解される他の目的も視野においてなされている。すなわち、画像処理の効率化、画像処理に伴う負荷の軽減、画像処理技術における新たな提案等である。

本発明のある態様は、画像生成方法に関する。この方法は、原動画を時間軸に沿って変化する二次元画像と把握し、その原動画を二次元画像と時間軸によって形成される直方体空間として仮想的に表現したとき、この直方体空間を時間値の異なる複数の点を含んだ曲面で切断し、その切断面に現れる画像を時間軸の方向に平面へ投影し、切断面を時間変化させることにより、平面に刻々現れる画像を新たな動画として出力する。曲面をどう設定するかによって変化の内容が決まり、原動画の内容とは異なる新たな動画が出力される。

ここで「原動画」は現在カメラで撮像している映像であってもよいし、あらかじめ記録媒体に収められた、ＭＰＥＧなどの形式で符号化された画像であってもよい。「平面に投影」は、仮に時間軸上の平面に投影したとすればその平面に映し出されるであろう画像が結果として得られればよい。具体的には、時間軸方向から切断面を直視したときにその切断面に映し出されるべき画像が平面に投影された画像と等しい。

「切断面の時間変化」は、例えばその切断面の曲面形状自体は一定のまま、その曲面を時間軸に沿って移動させることで実現してもよい。時間の経過に従って曲面を移動させることにより、連続性の保たれた新たな動画が得られる。曲面の形状を時間の経過に従って変化させてもよい。その曲面に含まれる点の時間軸上の位置をｔとし、二次元画像に含まれる点の座標を（ｘ，ｙ）とした場合、ｔ＝ｆ（ｘ，ｙ）の一般式で示される関数で定義されてもよい。曲面は平面であってもよい。この曲面の形状をいかに設定するかによって投影される画像が決まる。

本発明の別の態様は、画像生成装置に関する。この装置は、原動画を時間軸に沿って順次格納する画像メモリと、画像メモリに格納された原動画を時間軸に沿って変化する二次元画像と把握し、その原動画を二次元画像と時間軸によって形成される直方体空間として仮想的に表現したとき、この直方体空間を時間値の異なる複数の点を含んだ曲面で切断し、その切断面に現れる画像を時間軸の方向に平面へ投影する画像変換部と、画像変換部が切断面を時間変化させることによって得られた、平面に刻々現れる画像を新たな動画のフレームに設定する画像データ出力部と、を含む。画像メモリは、原動画に含まれるフレームを新たなフレームに変換し終わるまで、一定期間内の複数フレームを一時的に格納するバッファとして機能する。

本装置は、カメラで撮像された画像を原動画として取得してこれを画像メモリへ送る画像入力部をさらに含んでもよい。これにより、撮像した画像をリアルタイムに画像処理して実際の被写体の状態とは異なる斬新な映像や不思議な映像を画面に表示させることができる。

画像変換部は、二次元画像を構成する画像領域の座標の関数で定義される曲面で直方体空間を切断してもよい。「画像領域」は一画素分の領域や画素ブロックの領域であってもよい。その曲面は、二次元画像の水平方向の座標に依存しない関数で定義されてもよい。「水平方向」は、走査ラインの方向であってもよい。画像変換部は、二次元画像を構成する画像領域の属性値の関数で定義される曲面で直方体空間を切断してもよい。「属性値」は、画素値、奥行き値、特定の画像パターンとの近似度、他のフレームとの変化の度合いなど、ピクセルごとにその表示内容を画定する各種パラメータであってもよい。この属性値は、画像領域における平均値や代表値であってもよい。

上記の画素値、奥行き値、近似度、変化の度合いのいずれかに応じて前記曲面に含まれる点の時間値が定まってもよいし、画素値、奥行き値、近似度、変化の度合いのいずれかに応じてどの画像領域が前記平面に投影されるかが定まってもよい。

本発明のさらに別の態様は、画像生成方法に関する。この方法は、原動画において注目するフレームに含まれる画像の画面内位置ごとに、原動画に含まれる複数のフレームのうち少なくともいずれかから画面内位置に対応するデータを読み出し、その読み出したデータを合成し、この合成によって形成されるフレームを順次出力することにより新たな動画を構成する。時間的に過去のフレームから画素単位または画素列単位で異なる過去のフレームからそれぞれデータを読み出して合成することにより、原動画とは異なる画像を得る。画素単位または画素列単位で新旧のデータが入り混じった、いわば継ぎ接ぎの画像であるため、現実世界ではあり得ない斬新な画像が得られる。

「注目するフレーム」は、表示に際して基準となるフレームであり、時間の経過とともに変化してもよく、例えば従来の走査方式においてタイミング的には現時点で直近に出力されるべき最新のフレームに相当する。このフレームを基準にして実際にはどのフレームのどのデータが読み出されて出力されるかが判断される。「画面内位置」は、走査ラインである画素列の位置であってもよいし、一画素の位置であってもよい。画素列または一画素の単位でそれぞれいずれかのフレームから対応するデータを読み出して合成してもよい。「合成」は、画像の重ね合わせ、混合、入替、接着のいずれでもよい。

本発明のさらに別の態様は、画像生成装置に関する。この装置は、画像メモリと画像変換部と画像データ出力部とを有する。画像メモリは、原動画のデータをフレームごとに順次記録する。画像変換部は、注目するフレームに含まれる画像の画面内位置ごとに、メモリに記録されたいずれかのフレームから画面内位置に対応するデータを読み出してこれを合成する。画像データ出力部は、合成により再構成されたフレームを順次出力する。画像メモリは、原動画に含まれるフレームを新たなフレームに変換し終わり、そのフレームが使用されることがなくなるまで、一定期間内の複数フレームを一時的に格納するバッファとして機能する。「画素」は、画面に表示される画像を構成するドットであり、ＲＧＢの集合により色表現される一つのピクセルであってもよい。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、斬新な映像を得ることができる。

（第１実施形態）
本実施形態においては、原動画に含まれる複数のフレームを順次リングバッファに格納し、走査ラインごとに異なるフレームからデータを読み出して一つの新たなフレームとして画面に表示する。具体的には、画面上部の走査ライン上のピクセルは時間的により新しいフレームからデータを読み出し、画面下部ほど時間的により古いフレームからデータを読み出す。画面には実際の被写体と異なる不思議な映像が表示される。

図１は、原動画のフレームが時間軸に沿って連続する状態を仮想的に表現した図である。原動画は時間軸に沿って変化する二次元画像として把握される。直方体空間１０は、二次元画像と時間軸によって形成される仮想空間である。直方体空間１０は時間経過とともに時間軸ｔの方向に延伸する。その時間軸ｔに垂直な断面は１枚のフレームを表す。フレームはｘ軸およびｙ軸がなす平面の座標により示されるピクセルの集合である。この直方体空間１０を所望の形状の曲面で切断する。本実施形態では、図１のように時間ｔ_０から時間ｔ_２にかけて上から下へｘ軸に平行な斜面で直方体空間１０を切断する。その切断面１４に現れる画像を時間軸方向に投影したときに、時間軸上の平面に映し出されるべき画像が最新フレーム１２の代わりに実際のフレームとして出力される。

切断面１４は、時間の経過とともに時間軸ｔに沿って移動する。切断面１４は、時間軸ｔの方向において連続的な幅を有するよう定義される。この幅に含まれる画像を合成した結果が実際に画面に表示されるフレームとなる。

最新フレーム１２は、通常の表示方法であれば現在走査されるべきタイミングのフレームに相当する。最新フレーム１２が置かれている時間軸ｔ上の現在の位置を時間ｔ_０とする。時間ｔ_０よりも古いフレーム、例えば時間ｔ_１、ｔ_２、ｔ_３、ｔ_４に位置する各フレームは、通常の表示方法ではタイミング的にすでに表示が済んでいるべきフレームに相当するが、本実施形態では遅れて表示される。各フレームに含まれるピクセルのデータは、水平方向のピクセル列ごとに順次遅れてデータ出力される。一つのピクセル列に含まれる各ピクセルのデータは同じ走査タイミングで順次読み出されて表示される。

最上部のピクセル列は本来の走査タイミングで出力され、その一つ下のピクセル列は１フレーム分遅れて出力される。ピクセル列が下位であるほどその分遅れた走査タイミングで出力される。

画面上の各ピクセルのデータがどれだけ過去に遡ったフレームから読み出すかについては、ｔ＝ｔ_０−ｙのようにピクセルの座標の関数で示される。これはピクセル列の座標ｙのみの関数であり、ピクセル行の座標ｘに依存しない。

最新フレーム１２の解像度が７２０×４８０の場合、左上のピクセルの座標を（０，０）とし、右下のピクセルの座標を（７１９，４７９）とする。座標ｙの最大値は４７９であり、最も下位のピクセル列の走査タイミングは４７９フレーム分遅延する。直方体空間１０において、時間ｔ_０から時間ｔ_２の間に４８０フレームが並んでいる。

図２は、撮像される被写体と実際に表示される画面を比較した図である。図２（ａ）は撮像される被写体を表すとともに、この被写体の写った画像が最新フレーム１２に等しい。ここでは手１６を左右にゆっくりと振っている人物が被写体である。図２（ｂ）は図１の切断面１４に現れる画像であるとともに、図２（ａ）の被写体が実際に画面に映し出されたときの画像を表す。この画面には被写体が本来とは異なる形状で画面に映し出されている。すなわち、過去のフレームから最新のフレームにかけて、手１６の位置が左側、中間、右側、中間、左側と変動しているため、走査ラインごとに異なる過去のフレームからデータを読み出すことにより、手１６が左側に位置している画像と右側に位置している画像とが交互に現れる。同じ走査ライン上のデータは時間的に同じ走査タイミングのフレームから読み出されているので水平方向の湾曲や乱れは生じないが、垂直方向においては手１６の形状が蛇行したように左右に湾曲した形で映し出される。

一方、この人物は振っている手１６以外はほとんど動かしていないため、時間的に異なるフレームから読み出された画像を合成しても、表示位置に差がないので湾曲や乱れはほとんど生じない。

図３は、本実施形態における画像生成装置の機能ブロック図である。画像生成装置５０は、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子で実現でき、ソフトウェア的にはデータ保持機能、画像処理機能、描画機能のあるプログラムなどによって実現されるが、以下説明する図３ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できる。

画像生成装置５０は、カメラで撮像された画像を原動画として取得してその原動画に含まれるフレームを画像メモリへ送る画像入力部５２と、原動画を時間軸に沿って順次格納する画像メモリとしてのリングバッファ５６と、リングバッファ５６に対するフレームの読み書きを制御するバッファ制御部５４と、リングバッファ５６に格納されたフレームを表示用のフレームに変換する画像変換部６０と、フレーム変換の際に参照される関数を保持する関数記憶部７０と、表示用フレームを格納する表示バッファ７４と、を有する。

画像入力部５２は、デジタル画像を撮像するＣＣＤを含んでもよいし、ＡＤ変換によりデジタル画像を得る変換ユニットを含んでもよい。画像入力部５２は、外付けで画像生成装置５０に取り付ける装置として実現してもよい。バッファ制御部５４は、画像入力部５２によって入力された原動画のフレームをリングバッファ５６の書込ポインタに示される領域に順次記録する。

画像変換部６０は、最新フレーム１２に含まれるピクセルごとに、リングバッファ５６に記録されたいずれかのフレームからそのピクセルに対応するデータを読み出してこれを合成する。画像変換部６０は、ピクセルごとにどのフレームからデータを読み出すべきかを決定する決定処理部６２と、決定されたフレームからデータを読み出すデータ取得部６４と、読み出されたピクセル列ごとのデータを合成して一つのフレームを構築する画像構成部６６と、を含む。

決定処理部６２において、どのフレームからデータを読み出すべきかは次式（１）に定義される。
Ｐ_Fr（x，y，t₀）＝Ｐ（x，y，t₀−y）・・・（１）
ここで、ｘ、ｙ、ｔ_０は図１に示される最新フレーム１２上のピクセル座標および時間軸ｔ上の時間値である。Ｐ_Ｆｒは、実際に出力されるフレームにおける各ピクセルの画素値である。式（１）に示される通り、出力されるフレームの時間値は、座標ｙのみの関数である。したがって、リングバッファ５６に格納された複数のフレームのうち、いずれのフレームからデータを読み出すべきかはピクセル列ごとに定まり、座標ｘに依存しない。

式（１）の関数は関数記憶部７０に記憶される。関数記憶部７０にはオプションとして他の関数も記憶されている。ユーザは指示取得部７２を介してどの関数を採用するかを設定できる。

データ取得部６４により読み出されたピクセルごとのデータは、描画回路としての機能をもつ画像構成部６６により表示バッファ７４に順次書き込まれ、一つのフレームが構成される。

画像生成装置５０は、ユーザからの指示を受け付ける指示取得部７２と、表示バッファ７４に格納されたフレームを出力する画像データ出力部７６と、出力されたフレームを画面表示するモニタ７８と、をさらに有する。モニタ７８は、画像生成装置５０に外付けされるディスプレイであってもよい。

画像データ出力部７６は、１フレーム分の画像データが格納された表示バッファ７４から画像データを読み出してアナログ信号に変換し、これをモニタ７８へ送出する。画像データ出力部７６は、表示バッファ７４に格納されるフレームを順次出力することによって新たな動画を出力する。

図４は、本実施形態において原動画を新たな動画に変換する過程を示すフローチャートである。まず、リングバッファ５６における次の書込位置を示す書込ポインタｔを初期化してｔ＝０とし（Ｓ１０）、リングバッファ５６の先頭領域からフレームが保存されるようにする。原動画に含まれるフレームをリングバッファ５６のｔ番目の領域に記録する（Ｓ１２）。リングバッファ５６には、１フレーム分の領域がＴ_０個設けられている。

表示バッファ７４におけるピクセルの列番号ｎを初期化してｎ＝０とし（Ｓ１４）、画面の一番上の列に対応するデータから順次表示バッファ７４へコピーされるようにする。列番号ｎに対応するデータの読出位置として、リングバッファ５６における読出ポインタＴを算出する（Ｓ１６）。ここでは、Ｔ＝ｔ−ｎで求める。列番号ｎが大きいほど読出ポインタは過去のフレームにさかのぼる。初期的にはＴ＝０−０＝０となり、読出ポインタＴは０番目の領域を示す。

読出ポインタＴがゼロより小さい場合（Ｓ１８Ｙ）、実際にはそのような読出ポインタは存在しないので、リングバッファ５６の末尾側へ読み出しポインタを移動させる（Ｓ２０）。具体的には、読出ポインタＴにリングバッファ５６の領域数Ｔ_０を加算する。データ取得部６４は、リングバッファ５６において読出ポインタＴの領域に格納されたフレームから列番号ｎのデータを読み出し、これを画像構成部６６が表示バッファ７４の列番号ｎの領域にコピーする（Ｓ２２）。

列番号ｎがまだ表示バッファ７４における最終列でなければ（Ｓ２４Ｎ）、列番号ｎに１を加算する（Ｓ２６）。列番号ｎが表示バッファ７４における最終列になるまで列番号ｎをインクリメントしながらＳ１６〜Ｓ２４の処理を繰り返す。列番号ｎが最終列になったところで１フレーム分の画像データが表示バッファ７４に格納され（Ｓ２４Ｙ）、書込ポインタｔに１を加算する（Ｓ２８）。書込ポインタｔがリングバッファ５６の末尾領域を示したとき（Ｓ３０Ｙ）、書込ポインタｔをリングバッファ５６の先頭領域に戻す（Ｓ３２）。

画像データ出力部７６は表示バッファ７４からフレームを読み出して映像データとして出力し、モニタ７８の画面に表示させる（Ｓ３４）。表示終了の指示があるまで（Ｓ３６）、Ｓ１２〜Ｓ３４の処理を繰り返す。このようにピクセル列を単位にして同じフレームからデータを読み出して表示バッファに書き込むが、ピクセル列はそもそも走査ラインと同じ水平方向に並ぶ複数の画素集合であり、本来同じ走査タイミングで読み出されるべきデータである。したがって、走査の過程で効率よく読出および書込が処理され、本実施形態の画像変換の処理に伴う負荷の過度な増加を防止できる。

なお、本実施形態の変形例として、決定処理部６２は座標ｘに応じて読出元フレームを決定してもよい。例えば、画面左端のピクセル行は最新フレーム１２の左端ピクセル行からデータを読み出し、画面右端のピクセル行は図１の時間ｔ_２におけるフレームの右端ピクセル行からデータを読み出す。その切断面は、時間ｔ_０からｔ_２にかけて斜めに切断した面となり、その面はｙ軸と平行になる。

別の変形例として、決定処理部６２は座標ｘおよびｙの双方に応じて読出元フレームを決定してもよい。例えば、画面左上端のピクセルは最新フレーム１２の左上端からデータを読み出し、画面右下端のピクセルは図１の時間ｔ_２におけるフレームの右下端ピクセル行からデータを読み出す。

さらに別の変形例として、走査ラインは画面の水平方向ではなく垂直方向であってもよい。その場合、座標ｘに応じて読出元フレームを決定すれば、より効率のよい画像変換を実現できる。

（第２実施形態）
本実施形態においては、ピクセルごとに特定される奥行き値（Ｚ値）に応じて異なるフレームからデータを読み出す。この点で、ピクセルのｙ座標に応じてフレームが決定される第１実施形態とは処理が異なる。例えば、原動画に映し出される被写体のうち、カメラに近い物体ほど時間的により古いフレームからデータが読み出される。したがって、カメラに近い物体ほどタイミングが遅れて表示される。

図５は、本実施形態における原動画を直方体空間として仮想的に表現した図である。最新フレーム１２に映し出された被写体のうち、第１の画像２０のＺ値を「１２０」とし、第２の画像２４のＺ値を「６０」とする。Ｚ値が大きいほどカメラに近いことを意味し、表示タイミングの遅れもＺ値に比例して増加する。画面に実際に表示されるフレームの各ピクセルは次式（２）で定義される。
Ｐ_Ｆｒ（x，y，t_０）＝Ｐ（x，y，t_０−Ｚ（x，y，t_０））・・・（２）

ここで、Ｚ（x，y，t_０）は、現在時刻におけるピクセル単位のＺ値である。Ｚ値が大きいほどそのピクセルのデータを読み出すフレームは、時間軸ｔ上でｔ_０からｔ_１、ｔ_２の方向へ遡る。第１の画像２０に対応するデータは、時間ｔ_２上のフレームにおいて第３の画像２２として示される領域から読み出される。第２の画像２４に対応するデータは、時間ｔ_１上のフレームにおいて第４の画像２６として示される領域から読み出される。

直方体空間１０における切断面は、第３の画像２２の領域がｔ_２の時間値をとり、第４の画像２６の領域はｔ_１の時間値をとる。他の領域はｔ_０の時間値をとる。したがって、切断面に含まれる点はｔ_０、ｔ_１、ｔ_２に散在しているので、その切断面は時間軸方向に離散的な幅をもつこととなる。

第１の画像２０を構成するピクセルは、第２の画像２４よりもＺ値が大きく、時間的により古いフレームからデータを読み出す。第２の画像２４を構成するピクセルは、第１の画像２０よりもＺ値が小さいので古いフレームへ遡る時間も小さい。

図６は、撮像される被写体と実際に表示される画面を比較した図である。図６（ａ）は撮像される被写体を表し、手を挙げて左右にゆっくりと振りはじめたばかりの人物３０とその後方に走っている自動車３２が被写体である。図６（ｂ）は図６（ａ）の被写体が実際に画面に映し出されたときの画像を表す。この画面には被写体が本来とは異なる状態にて画面に映し出される。すなわち、カメラに近い部位ほど表示タイミングが遅延する。人物３０はカメラに最も近い被写体であり、特に遅延が大きい。動きの少ない部位はそのピクセルに古い画像が表示されてもほぼ同じ被写体が映し出される。一方、上下または左右に動きの多い部位の画像は、フレーム上の表示位置が移動しているので、古いフレームから図６（ａ）に対応する座標でデータを読み出しても図６（ｂ）のように透過してしまう。図６（ｂ）では、動きの多い部位である手の部分が欠けた状態で映し出される。後方の自動車３２は比較的遠くに位置しＺ値が小さいので図６（ａ）と図６（ｂ）で自動車３２の表示状態にほどんど差が出ていない。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。本実施形態の決定処理部６２は、上記の式（２）にしたがい、ピクセルごとのＺ値に応じて遡るべき時間を算出し、データ読出元のフレームをピクセルごとに決定する。本実施形態の画像入力部５２は測距センサを含み、その測距センサによってピクセルごとのＺ値を検出する。測距方法は、レーザ式や赤外線投光式であってもよいし、位相検出方式であってもよい。

図７は、本実施形態においてＺ値に応じたフレームからデータを読み出して新たな動画像を生成する過程を示すフローチャートである。まず、リングバッファ５６における次の書込位置を示す書込ポインタｔを初期化してｔ＝０とし（Ｓ１００）、リングバッファ５６の先頭領域からフレームが保存されるようにする。原動画に含まれるフレームをリングバッファ５６のｔ番目の領域に記録する（Ｓ１０２）。

表示バッファ７４において注目するピクセル位置ｘ，ｙを初期化してｘ＝０，ｙ＝０とし（Ｓ１０４）、画面の左上端のピクセルから順次表示バッファ７４にコピーされるようにする。ピクセルｘ，ｙに対応するデータの読出位置として、リングバッファ５６における読出ポインタＴを算出する（Ｓ１０６）。読出ポインタＴは、ピクセルごとのＺ値に応じて決定処理部６２が算出する。データ取得部６４はリングバッファ５６において読出ポインタＴの領域に格納されたフレームからピクセルＰ_ｘ，ｙのデータを読み出し、これを画像構成部６６が表示バッファ７４のピクセルＰ_ｘ，ｙの領域にコピーする（Ｓ１０８）。

ピクセルＰ_ｘ，ｙがまだ表示バッファ７４における最終ピクセル、すなわち画面右下端のピクセルでなければ（Ｓ１１０Ｎ）、ピクセルＰ_ｘ，ｙを次のピクセルに移動させる（Ｓ１１２）。ピクセルＰ_ｘ，ｙが表示バッファ７４における最終ピクセルになるまでＳ１０６〜Ｓ１１２の処理を繰り返す。ピクセルＰ_ｘ，ｙが最終ピクセルになったところで１フレーム分の画像が表示バッファ７４に書き込まれ（Ｓ１１０Ｙ）、これを画像構成部６６が描画する（Ｓ１１４）。

書込ポインタｔに１を加算し（Ｓ１１６）、リングバッファ５６の末尾領域を示したとき（Ｓ１１８Ｙ）、書込ポインタｔをリングバッファ５６の先頭領域に戻す（Ｓ１２０）。画像データ出力部７６は描画された画像をモニタ７８へ出力する（Ｓ１２２）。表示終了の指示があるまで（Ｓ１２４）、Ｓ１０２〜Ｓ１２２の処理を繰り返す。このようにピクセル単位で別個のフレームからデータを読み出して表示バッファ７４に書き込む。

（第３実施形態）
本実施形態は、複数のフレームのそれぞれから所望の属性値をもつピクセルのデータを読み出して合成する点で第１、２実施形態と異なる。ここでいう属性値は画素値であり、例えば赤色成分の画素値だけを読み出して合成すると、所望の色だけが残像のように尾を引いた不思議な映像が得られる。

図８は、本実施形態において原動画を直方体空間として仮想的に表現した図である。直方体空間１０において、時間ｔ_０、ｔ_１、ｔ_２、ｔ_３のそれぞれのフレームに映った人物３０は、赤色の物体を持ってその手をゆっくり左右に振っている被写体である。それぞれのフレームに映し出された赤色の物体画像３４、３５、３６、３７は表示される位置が異なる。

本実施形態においては、リングバッファ５６に格納された複数の古いフレームのうち、合成に利用されるフレームがあらかじめ決められる。図８においては、時間ｔ_０、ｔ_１、ｔ_２、ｔ_３における４フレームが合成に利用される。これらは一定の時間間隔をもって直方体空間１０内に並べられた複数の面である。

図９は、撮像される被写体と実際に表示される画面を比較した図である。図９（ａ）は撮像される被写体を表す。図９（ｂ）は図９（ａ）の被写体が実際に画面に映し出されたときの画像を表す。この画面には赤色成分だけが抽出されて合成されているので、赤色の物体画像３４、３５、３６、３７しか映っておらず、その背景は白または黒になる。

画面に実際に表示されるフレームの各ピクセルは次式（３）で定義される。

・・・（３）
ここで、合成の割合を示すα（アルファ値）は次式（４）に示される。
α＝Ｐ_Ｒ（x，y，t_０−const＊i） ・・・（４）
Ｐ_Ｒはピクセルの赤色成分の画素値である。

データ取得部６４は、式（３）に基づいてピクセルごとにデータを読み出して合成するか否かを判断する。こうして色によるピクセル抽出が実現される。式（４）ではアルファ値に赤色成分の画素値を設定したが、これをＰ_ＧやＰ_Ｂに設定すれば緑色成分や青色成分のみを抽出して合成させることもできる。このように指定された色成分が被写体に含まれると、その部分だけが尾を引いた残像のように映し出される。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。本実施形態の決定処理部６２は、上記の式（３）（４）にしたがい、一定時間間隔で複数のフレームを選択する。データ取得部６４および画像構成部６６は、読み出したデータをピクセルごとの画素値に応じた割合で合成する。

図１０は、本実施形態において原動画から所望の色成分を抽出した動画像を生成する過程を示すフローチャートである。まず、リングバッファ５６における次の書込位置を示す書込ポインタｔを初期化してｔ＝０とし（Ｓ５０）、フレームの合成回数ｉを初期化してｉ＝０とする（Ｓ５１）。リングバッファ５６の先頭領域からフレームが保存されるようにする。原動画に含まれるフレームをリングバッファ５６のｔ番目の領域に記録する（Ｓ５２）。

表示バッファ７４において注目するピクセル位置ｘ，ｙを初期化してｘ＝０，ｙ＝０とし（Ｓ５４）、画面の左上端のピクセルから順次表示バッファ７４にコピーされるようにする。ピクセルｘ，ｙに対応するデータの読出位置として、リングバッファ５６における読出ポインタＴを算出する（Ｓ５６）。この読出ポインタＴは、Ｔ＝ｔ_０−const＊ｉで求められる時間値であり、一定の時間間隔で遡った過去における複数のフレームを示す。データ取得部６４はリングバッファ５６において読出ポインタＴの領域に格納されたフレームからピクセルＰ_ｘ，ｙのデータを読み出し、これを画像構成部６６が表示バッファ７４のピクセルＰ_ｘ，ｙの位置にコピーする（Ｓ５８）。

ピクセルＰ_ｘ，ｙのアルファ値α_ｘ，ｙを算出してこれを設定する（Ｓ６０）。ピクセルＰ_ｘ，ｙがまだ表示バッファ７４における最終ピクセル、すなわち画面右下端のピクセルでなければ（Ｓ６２Ｎ）、ピクセルＰ_ｘ，ｙを次のピクセルに移動させる（Ｓ６４）。ピクセルＰ_ｘ，ｙが表示バッファ７４における最終ピクセルになるまでＳ５６〜Ｓ６２の処理を繰り返す。ピクセルＰ_ｘ，ｙが最終ピクセルになったところで１フレーム分の画像が表示バッファ７４に書き込まれ（Ｓ６２Ｙ）、これを画像構成部６６が描画する（Ｓ６６）。

フレームの合成回数ｉが設定回数Ｉに達していなければ（Ｓ６８Ｎ）、合成回数ｉに１を加算して（Ｓ６９）、Ｓ５４〜Ｓ６６の処理を繰り返す。本実施形態における設定回数Ｉは３であり、合成回数ｉが０から３になるまで４回の合成が繰り返される。合成回数ｉが設定回数Ｉに達したとき（Ｓ６８Ｙ）、書込ポインタｔに１を加算する（Ｓ７０）。書込ポインタｔがリングバッファ５６の末尾領域を示したとき（Ｓ７２Ｙ）、書込ポインタｔをリングバッファ５６の先頭領域に戻す（Ｓ７４）。画像データ出力部７６は描画した画像データをモニタ７８へ出力する（Ｓ７６）。表示終了の指示があるまで（Ｓ７８）、Ｓ５２〜Ｓ７６の処理を繰り返す。このようにピクセル単位で所望の色成分のみ過去のフレームからデータを読み出して表示バッファに書き込む。

本実施形態の変形例として、例えば合成回数ｉ＝０のときのフレーム、すなわち最新フレーム１２に対するアルファ値をＰ_ＲではなくＰに設定してもよい。この場合、ＲＧＢ３色ともに抽出されるので、図９（ｂ）において赤色の物体画像３４〜３７だけでなく人物３０も同時に映し出される。

（第４実施形態）
本実施形態における属性値は所望の画像パターンとの近似度を示す数値である点で第３実施形態と異なる。パターンマッチングの結果、所望の画像パターンに近似する画像ほど、より古いフレームからデータを読み出すことにより、原動画に含まれる所望の部分画像のみその表示を遅延させることができる。

図１１は、本実施形態において原動画を直方体空間として仮想的に表現した図である。直方体空間１０に含まれる最新フレーム１２には第１の画像４０が含まれる。いま、第１の画像４０に近似する画像パターンによってマッチングがとられた場合、第１の画像４０を構成するピクセルは他の領域に比べて画像パターンとの近似度が大きく、その分過去のフレームに遡って対応するデータが読み出される。ここでは時間ｔ_２まで遡り、時間値ｔ_２のフレームにおいて第２の画像４２の位置からデータを読み出す。直方体空間１０における切断面は、第２の画像４２の領域だけｔ_２の時間値をとり、他の領域はｔ_０の時間値をとる。したがって、切断面は時間軸方向に離散的な幅をもつこととなる。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。ユーザは指示取得部７２を介して画像パターンを指定し、決定処理部６２は、その画像パターンとフレームの画像との間でパターンマッチングを処理する。その結果として、ピクセルごとに画像パターンとの近似度を検出する。決定処理部６２は、その近似度に応じてデータを読み出すべきフレームをピクセルごとに決定する。

本実施形態における処理の流れを図７に沿って説明する。まずＳ１００に先立ち、マッチング対象として画像パターンがユーザから指定され、最新フレーム１２との間でマッチングがとられ、ピクセルごとの近似度ｓが検出される。すなわち、画像パターンに近似する画像領域内のピクセルについて、その画像領域の近似度が設定される。Ｓ１００〜Ｓ１０４は第２実施形態と同様である。Ｓ１０６において、読出ポインタＴは近似度ｓに応じて定まる。例えば、Ｔ＝ｔ−ｓ（ｘ，ｙ）で求められる。以降のステップもまた第２実施形態と同様である。

（第５実施形態）
本実施形態もまたピクセルの属性値に応じて異なるフレームから対応するデータを読み出して合成する。この属性値は、画像領域の時間的な変化の度合いを示す数値である点で第３、４実施形態と異なる。例えば、被写体のうち動きの速い部位や動きの大きい部位は画像領域の時間的な変化が大きいため、より古いフレームからデータが読み出される。これにより、原動画に含まれる変化の大きな部位ほどその表示を遅延させることができる。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。本実施形態の決定処理部６２は、注目するフレームとその一つ直前のフレームとの間で時間的な変化の度合いをピクセルごとに検出する。決定処理部６２は、その度合いに応じてデータを読み出すべきフレームを決定する。

本実施形態における処理の流れを図７に沿って説明する。Ｓ１０６において、リングバッファ５６のＴ番目フレームと（Ｔ−１）番目フレームをピクセル単位で比較し、変化の度合いｃを検出する。その変化の度合いｃに応じて読出ポインタＴが定まる。例えば、Ｔ＝ｔ−ｃ（ｘ，ｙ）で求められる。変化の度合いｃが大きいほど遡る時間値も大きくなる。

（第６実施形態）
本実施形態においては、走査ラインごとにどのフレームから読み出すかについてユーザが自由に画面上のインタフェイスを用いて定義することができる点で第１実施形態と異なる。以下、第１実施形態との相違点を中心に説明する。

図１２は、画像生成装置の構成を示す機能ブロック図である。本図に示される画像生成装置５０は、主に設定入力部８０を含む点で図３に示される第１実施形態の画像生成装置５０と異なる。設定入力部８０は、図１の切断面１４を定義するために用いられる設定値の入力を、ユーザによる指示取得部７２の操作を介して取得する。本実施形態においては、各ピクセル列のデータをどれだけ過去に遡ったフレームから読み出すかを定める関数として、ｔ＝ｔ_０−ｙを初期的な設定値とする。設定入力部８０は、ｔ＝ｔ_０−ｙにおける時間値ｔとピクセル列の座標ｙの関係をグラフで示した画像を表示バッファ７４へ送る。画像データ出力部７６は、設定入力部８０によって生成された時間値ｔと座標ｙの関係を示すグラフをモニタ７８へ表示する。ユーザは、モニタ７８に表示されたグラフを見ながら、指示取得部７２を操作し、ｔ＝ｔ_０−ｙの関数を他の関数に変更するためにグラフ形状を変化させる。指示取得部７２は、例えばモニタ７８の画面に装着されるタッチパネルでもよい。その場合、ユーザによって押圧されたタッチパネル上の地点を示す座標の値が操作内容として入力される。

指示取得部７２は、モニタ７８に表示されたグラフを変化させるためのユーザの操作内容を設定入力部８０へ送る。設定入力部８０は、指示取得部７２から取得した操作内容に基づいてｔ＝ｔ_０−ｙの関数を変更して新たな他の関数を設定し、その設定した関数を関数記憶部７０に記録する。決定処理部６２は、設定入力部８０で設定された関数を関数記憶部７０から読み出し、その関数に基づいてピクセル列ごとにどのフレームからデータを読み出すべきかを決定する。その結果、設定入力部８０により設定された関数で定義される曲面で図１の直方体空間１０を切断し、その切断面である曲面に現れる画像が最新フレーム１２の代わりに実際のフレームとして出力される。以上の構成により、ユーザは画像生成装置５０をオーサリングツールとして利用でき、画面上のグラフを自由に変化させて不思議な画像を生成することができる。

図１３は、設定入力部により定める関数のグラフを表示したモニタの画面例を示す。初期的には、ｔ＝ｔ_０−ｙの関数における時間値ｔと座標ｙの関係を示す直線８４が設定画面８２に表示される。ユーザは、設定画面８２上を操作することにより直線８４をベジェ曲線８６に変化させることができる。ベジェ曲線８６は、第１端点８８と第２端点９０を結ぶ曲線であり、第１制御点９６と第２制御点９８の位置によってその曲線形状が決定される。第１制御点９６と第２制御点９８の位置は、ユーザが第１ハンドル９２または第２ハンドル９４の位置および長さを変化させることにより決定される。設定入力部８０により設定する関数をベジェ曲線８６で指定する場合、より現在に近いフレームから読み出されるデータと、より過去に遡ったフレームから読み出されるデータとが各ピクセル列に混在した画像が得られる。例えば、ユーザは設定入力部８０に対して正弦波曲線のような周期的な線をベジェ曲線８６によって指定することもできる。本実施形態では関数をベジェ曲線８６によって指定するが、変形例としては関数をＢスプライン曲線などの他形式の曲線で指定する構成としてもよい。

（第７実施形態）
本実施形態においては、設定入力部８０が最新フレーム１２における特徴点の座標を設定値の一つとして取得し、この特徴点の座標に基づいて関数を定義する点で第６実施形態と異なる。以下、第６実施形態との相違点を中心に説明する。

本実施形態における指示取得部７２もまた、モニタ７８の画面に装着されるタッチパネルである。ユーザはタッチパネル上で所望の地点を押圧するとともに、円形状を描くようにその押圧点を移動させると、複数の押圧点座標の連続した値が設定入力部８０へ送られる。設定入力部８０は、取得した座標の値に基づいて複数の押圧点により囲まれた包囲領域を認識するとともに、その包囲領域を求めるための関数を生成して関数記憶部７０に記録する。決定処理部６２は、関数記憶部７０から読み出した関数に基づき、包囲領域に含まれるピクセルについて過去のフレームからデータを読み出し、包囲領域外のピクセルについては最新フレーム１２からデータを読み出す。その結果、設定入力部８０が取得した座標の関数で定義される曲面で図１の直方体空間１０を切断し、その切断面である曲面に現れる画像が最新フレーム１２の代わりに実際のフレームとして出力される。以上の構成により、ユーザは画像生成装置５０をオーサリングツールとして利用でき、タッチパネル上で任意の領域を指定することにより不思議な画像を生成することができる。

（第８実施形態）
本実施形態においては、所定の変化する形状が画面上に浮かび上がるようにあらかじめ関数を定義しておき、その関数に基づいて定まるフレームからデータを読み出す点で他の実施形態と異なる。本実施形態では、水紋などの変化する波の形状が画面上に浮かび上がるようにあらかじめ関数を定義しておく。

決定処理部６２は、最新フレーム１２における特徴点を決定する。特徴点は、第６、７実施形態のように指示取得部７２としてモニタ７８の画面に装着されたタッチパネルを介してユーザに指定させる。決定処理部６２は、特徴点の位置を中心とする水紋の波形状が浮かび上がるようにデータ読出元のフレームおよびピクセル座標を決定する。例えば、水紋の立体感を表現するために、決定処理部６２は、特徴点から放射円を表示させることを想定し、放射円ごとに段階的に異なる時間値でデータ読出元となるフレームを決定する。その段階的な時間値の変化を周期的な変化となるよう定義することにより水紋のような凹凸が表現される。さらに決定処理部６２は、読出元として決定したフレームから、その読出対象となるピクセル座標を所定方向へ所定ピクセル分シフトさせる。これにより、水紋による光の屈折を表現することができる。

（第９実施形態）
本実施形態においては、特徴点を最新フレーム１２に含まれる情報に基づいて決定する点で、特徴点を入力するための指示取得部７２としてタッチパネルを用いる第７、８実施形態と異なる。

本実施形態の決定処理部６２は、最新フレーム１２に含まれる各ピクセルの画素値に基づいて特徴点を決定する。例えば、高速点滅するＬＥＤを被写体の一部に含めさせ、決定処理部６２は、刻々と入力される最新フレーム１２において画素値が２値間を高速に間欠変化する領域を特定することにより点滅位置を認識する。決定処理部６２は、その点滅位置を特徴点の座標として決定する。変形例として、決定処理部６２は固定的な座標で特徴点を決定してもよい。他の変形例として、決定処理部６２は最新フレーム１２において画素値、Ｚ値、所望の画像パターンとの近似度、画素値の変化のいずれかが所定範囲の値に該当したピクセルを特徴点として決定してもよい。

（第１０実施形態）
本実施形態においては、画像入力部５２が原動画とともに音声データをさらに取得する点で他の実施形態と異なる。画像入力部５２が取得する音声データは原動画と同期して入力され、リングバッファ５６へ送られる。決定処理部６２は、音声データの周波数分布や音量変化に基づいて、データ読出元となるフレーム、読出タイミング、アルファ値、および特徴点のうち少なくともいずれかを決定する。例えば、音声データの音量変化が閾値を超えたときに、決定処理部６２は第８実施形態のような形状が画面に浮かび上がるよう読出元フレームや読出ピクセルを決定してもよい。例えば、決定処理部６２は音声データの周波数分布に応じて画面に浮かび上がる形状を変形させてもよい。例えば、決定処理部６２は一部の周波数領域において音量変化が閾値を超えた場合に、その周波数領域に応じて第８、９実施形態における特徴点を決定してもよい。

（第１１実施形態）
本実施形態においては、注目するフレームに含まれるピクセルの属性値に応じてそのピクセル位置近傍に所定の図形を合成する。ここでいう属性値は、画像領域の時間的な変化の度合いを示す数値である。例えば、被写体のうち動きの速い部位や動きの大きな部位など、時間的な変化が大きいピクセルからその周辺へ向けて拡散するよう粒子形状の演出的なオブジェクトを変形をさせながら連続的に表示する。これにより、動きのある部位など原動画において注目すべき中心的な被写体の周囲に紙吹雪のような表示上の演出的効果を施すことができる。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。本実施形態の決定処理部６２は、最新フレーム１２とそのフレームより時間的に前のフレームとの間で、フレームを構成する画像領域の画素値の時間的な変化の度合いをピクセルごとに検出する。決定処理部６２は、変化の度合いが所定の閾値を超えたピクセルを演出的オブジェクト表示の中心位置とする。このとき、変化の度合いが閾値を超えたピクセルが複数隣接する場合は、その隣接するピクセルのうち最も変化の大きいピクセルを中心位置に決定し、その位置の周辺に複数の演出的オブジェクトを拡散表示させてもよい。また、決定処理部６２は、最新フレーム１２と前のフレームとの間で、それぞれにおける最も変化の大きいピクセルの位置差に基づいて演出的オブジェクトの移動方向を決定してもよい。

図１４は、演出的オブジェクトを生成表示させる過程を示すフローチャートである。まず最新フレーム１２を処理対象として入力し（Ｓ１５０）、その入力の開始直後でない場合は（Ｓ１５２Ｎ）、時間的に一つ前のフレームとの間で画素値の変化を抽出し（Ｓ１５４）、画素値変化が最大となる位置を検出し（Ｓ１５６）、一つ前のフレームと最新フレーム１２の間で、それぞれの画素値変化が最大である位置間のベクトルを演出的オブジェクトの移動方向と定める（Ｓ１５８）。最新フレーム１２の入力開始直後の場合は、一つ前のフレームが存在しないのでＳ１５４からＳ１５８までの処理をスキップする（Ｓ１５２Ｙ）。最新フレーム１２を次のフレームとの比較のために別途保存しておき（Ｓ１６０）、Ｓ１５６で検出した位置を中心とするその周囲に表示すべき演出的オブジェクトの画像を生成し（Ｓ１６２）、生成した演出的オブジェクトと最新フレーム１２とを重ね合わせて表示するための描画を処理する（Ｓ１６４）。以上、Ｓ１５０からＳ１６４までの処理を表示終了（Ｓ１６６Ｙ）まで繰り返すことにより、演出的オブジェクトをＳ１５８で決定する移動方向へ移動させながら表示する（Ｓ１６６Ｎ）。

なお、上記の例では演出的オブジェクトを表示すべき位置を一つ前のフレームとの画素値変化に応じて決定する構成を説明したが、別の例として、決定処理部６２は色成分、輪郭、輝度、Ｚ値、動きの軌跡などに応じて演出的効果を施す位置を決定してもよい。例えば、「画像の中で最も赤い部分」のように画素値の大きさに応じて演出的効果を施す位置を決定してもよいし、一つのフレーム内で隣接する画素値の差が最大となる輪郭を演出的効果を施す位置に決定してもよい。また、「赤い輪郭」のように隣接する画素値の差が閾値以上であって、その色成分が閾値以上である部分を演出的効果を施す位置に決定してもよい。さらに、輝度が閾値以上である部分を演出的効果を施す位置に決定してもよいし、特定範囲のＺ値をもつ部分を演出的効果を施す位置に決定してもよい。さらに、過去のフレームを一定期間を限度で複数保存しておくことにより、何らかの基準で抽出された特徴点の軌跡を検出することができるので、そのような軌跡に沿って演出的効果を施してもよい。決定処理部６２は、演出的効果として、輝くような色彩等の彩色を施した線状のオブジェクトや文字、記号等のオブジェクトを表示させてもよいし、決定処理部６２が最新フレーム１２から抽出した特徴的な領域の透明度を半透明に変化させる演出的効果を施して過去のフレームと重ね合わせてもよい。

決定処理部６２は、各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化の大きさなどの属性値に応じて、表示する演出的オブジェクトの大きさや移動速度を決定してもよい。演出的オブジェクトを合成するときのアルファ値は、固定値であってもよいし、ピクセルごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化の度合いなどの属性値に応じて設定してもよい。

図１５は、最新フレーム１２に演出的効果を施す過程を示すフローチャートである。まず決定処理部６２はユーザの指示に基づいて、最新フレーム１２に施すべき演出的効果の種類を決定し（Ｓ２００）、演出的効果を施す対象として最新フレーム１２を入力し（Ｓ２０２）、その最新フレーム１２内で隣接する画素値の差が閾値以上である部分を輪郭として抽出し（Ｓ２０４）、その画素値の差が最大である位置を演出的効果を施すべき位置として決定し（Ｓ２０６）、決定した位置に演出的効果を施し（Ｓ２０８）、演出的効果を施した画像を表示するための描画を処理する（Ｓ２１０）。以上、Ｓ２０２からＳ２１０までの処理を表示終了（Ｓ２１２Ｙ）まで、最新フレーム１２に繰り返し演出的効果を施す（Ｓ２１２Ｎ）。

（第１２実施形態）
本実施形態においては、注目するフレームに含まれるピクセルの属性値の変化に応じて局所的に再生フレームレートを変化させる。すなわち、二次元画像を構成する画像領域の属性値に応じてその画像領域ごとに異なる速度で切断面１４を時間変化させることにより、画像データ出力部７６が出力すべき新たな動画のフレームレートを部分的に変化させる。例えば、画素値の時間的な変化の度合いが閾値を超えた部位に関して、フレームからデータを読み出す時間間隔を長くすることにより再生フレームレートを低くする。これにより、速く動く部位ほど動きが遅く見えるような、動画内のオブジェクトが部分的に本来の速度と異なる速度で動く不思議な映像を得ることができる。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。本実施形態の決定処理部６２は、ピクセル単位でフレームレートを変化させてもよいし、画素値に基づいて抽出されるオブジェクト単位でフレームレートを変化させてもよい。決定処理部６２は、周囲の数ピクセルを範囲の一部に含める形でオブジェクトを抽出してもよい。例えば人間の顔から口の部分とその周囲数ピクセルを抽出してもよい。この場合、オブジェクトのエッジのように画素値が徐々に変化する部分もオブジェクトの一部に含めて処理することができる。

決定処理部６２は、フレームレートを変化させるべき部位についてその変化後のフレームレートを決定する。例えば、その部位の画素値の時間的な変化の度合いに応じたフレームレートを設定し、変化が大きい部位ほどフレームレートをより低く設定してもよい。決定処理部６２は、決定したフレームレートに応じてピクセルごとにデータ読出元のフレームと次に読み出すべきフレームまでの時間間隔を決定する。決定処理部６２は、フレームレートを最初に低くしてから徐々に高めて最後に周囲の表示タイミングに追いつかせるなど、フレームレートを時間の経過に沿って変化させてもよい。

変形例としては、オブジェクトのエッジをそのオブジェクトの範囲の一部に含める形で処理するか否かを、図１２における指示取得部７２を介してユーザが設定できる構成としてもよい。また、最新フレーム１２において所定範囲のＺ値をもつピクセル位置のフレームレートを変化させてもよいし、最新フレーム１２において所定範囲の画素値をもつピクセル位置のフレームレートを変化させてもよい。また、最新フレーム１２において所望の画像パターンとの近似度が所定範囲にあるピクセル位置のフレームレートを変化させてもよい。

（第１３実施形態）
本実施形態では、注目するフレームにおいて所定の属性値をもつピクセルのデータを、注目するフレームからではなく時間的に前のフレームからデータを読み出す。例えば、黒色に相当する画素値をもつピクセルのデータを古いフレームから読み出すことにより、抜き型のような形状の窓から部分的な過去の映像を覗き見るような演出を施すことができる。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。本実施形態の決定処理部６２は、最新フレーム１２から所定範囲の画素値をもつ領域を抽出するとともに、その領域のデータの読出元となるフレームを決定する。読出元のフレームは、一定時間遡った位置のフレームに定めてもよいし、各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化の大きさなどの属性値に応じて決定してもよい。

変形例としては、より古いフレームほどガウス処理でぼかすことにより、時間的な古さを演出してもよい。決定処理部６２は、周囲の数ピクセルを含めて領域を抽出してもよい。例えば人間の顔から口の部分とその周囲数ピクセルを抽出するように、オブジェクトのエッジのように画素値が徐々に変化する部分をより確実に抽出する。また、上記の実施形態では時間的に前のフレームから読み出すこととしたが、読出元のフレームとして時間的に先のフレームもあらかじめリングバッファ５６に格納される場合には、時間的に先のフレーム、すなわち未来のフレームからデータを読み出してもよい。

（第１４実施形態）
本実施形態においては、注目するフレームに含まれるピクセルの属性値の変化に応じてそのピクセルに画素値を付加し、色彩を変化させる。例えば、被写体の中で動きの大きな部位を赤く表示させるなどの演出を原動画に施すことができる。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。本実施形態の決定処理部６２は、最新フレーム１２において変化の度合いが大きいピクセルが赤色に表示されるようそのピクセルの画素値に所定値を付加する。その後、所定値を付加したピクセルについて、付加する画素値を時間経過とともに減少させることにより、赤く尾を引いた残像のような映像を表示させることができる。

変形例における画像生成装置５０は、時間的な変化が大きいピクセルについて、一度表示した後にそのまま画面内に残存するようそのピクセルのデータを最新フレーム１２へ所定のアルファ値にて合成してもよい。合成するデータにさらに画素値を付加して所望の色彩にて表示させてもよい。その後、合成するデータのアルファ値を時間経過とともに減少させることにより、尾を引いた残像のような映像を表示させることもできる。別の変形例においては、全ピクセルについてアルファ値をゼロにした画面に、変化の度合いが大きいピクセルのデータを所定のアルファ値にて合成して画面全体を徐々に表示させる構成としてもよい。さらに別の変形例においては、各ピクセルに付加する画素値を変化させてもよいし、画素値を累積的に付加していくことによりそのピクセルの色彩を時間経過とともに変化させてもよい。

（第１５実施形態）
本実施形態においては、未来のフレームに含まれるピクセルの属性値に応じて注目するフレームに所定のオブジェクトを合成する。すなわち、あらかじめ格納された原動画に含まれるフレームのうち、時間的に後で表示されるべきフレームにおいて所望の画像パターンと近似する領域に第１１実施形態のような粒子形状のオブジェクトを表示させる。これにより、例えば被写体である主役の人物が登場する前に紙吹雪の画像を表示させるなど、事前に予告的な演出的効果を施すことができる。

本実施形態の画像生成装置５０は、図３に示される装置と基本的に同様の構成を有する。本実施形態の決定処理部６２は、リングバッファ５６にあらかじめ格納された原動画に含まれるフレームのうち、時間的に後で表示されるべきフレームにおいて所望の画像パターンとの近似度が所定範囲にある領域を検出する。決定処理部６２は、検出した領域近傍に粒子形状のオブジェクトを合成する。合成の手法は第１１実施形態と同様である。

変形例としては、オブジェクトの合成を、現在再生と並行して撮影が進行中のリアルタイム動画に適用してもよい。すなわち、撮影直後の動画をバッファに一時的に蓄積し、撮影タイミングから遅延させたタイミングで各フレームを再生する。撮影直後の最新フレームから所望の画像パターンを抽出するとともに、そのフレームを撮影タイミングから遅延させたタイミングで再生することにより、事前の予告的な演出的効果が可能となる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。

第２実施形態においては、Ｚ値に応じてデータを読み出すフレームを決定していた。変形例においては、第３実施形態と同様に、データを読み出すフレームとして一定時間間隔で複数のフレームを設定しておき、それら複数のフレームをＺ値に応じた割合で合成してもよい。この場合、Ｚ値に応じてアルファ値が定められる。被写体のうちＺ値が大きい部位、すなわちカメラに近い部位ほどアルファ値も大きくなるよう設定してもよい。その場合カメラに近い部位ほどより鮮明に映し出されるとともに、動きが大きければ残像のように尾を引いて映し出される。

第３実施形態においては、画素値に応じてアルファ値を設定していた。変形例においては、画素値に応じてデータを読み出すフレームを決定してもよい。例えば、赤色成分の画素値を抽出した場合、赤色成分を含む部位ほど、より古いフレームからデータが読み出され、結果として赤い部分ほど遅れて表示される。

第４実施形態においては、所望の画像パターンとの近似度に応じてデータを読み出すフレームを決定していた。変形例においては、近似度に応じてアルファ値を設定してもよい。この場合、画像パターンに近似する部位ほど、より鮮明に映し出されるとともに、動きが速いまたは動きが大きければ、その分残像のように尾を引いて映し出される。また、複数の画像パターンを用意しておき、どの画像パターンに近似するかに応じてデータを読み出すフレームを決定してもよいし、どの画像パターンに近似するかに応じてアルファ値を設定してもよい。画像の認識は、１フレームごとの認識のみならず、複数フレームにわたるゼスチャの認識でもよい。

第５実施形態においては、画像領域の時間的な変化の度合いに応じてデータを読み出すフレームを決定していた。変形例においては、変化の度合いに応じてアルファ値を設定してもよい。この場合、変化の度合いが大きい部位ほど、より鮮明に映し出されるとともに、残像のように尾を引いて映し出される。

各実施形態において、複数のフレーム間におけるピクセルの対応関係は同じ座標（ｘ，ｙ）を基準に判断した。変形例においては、特定のピクセル分シフトさせて対応関係を判断してもよいし、ピクセルの属性に応じてシフトの要否やシフトの幅を判断してもよい。

第２〜５実施形態において、それぞれ単一の属性値に応じていずれかのフレームを決定し、またはアルファ値を決定した。変形例においては、Ｚ値、画素値、近似度、および変化の度合いのうち複数の属性値に基づいてフレームまたはアルファ値を決定してもよい。例えば、あるピクセルについてそのＺ値に応じていずれかのフレームを決定した後、そのフレームと最新フレーム１２の間でパターンマッチングをとり、その近似度に応じたアルファ値にて複数のフレームを合成してもよい。その場合、カメラに近い物体ほど過去のフレームに遡ってデータが読み出される上、動きのある部位は残像のように尾を引いて映し出される。

各実施形態においては、原動画に含まれる一定期間のフレームをあらかじめリングバッファ５６に格納する構成を説明した。変形例において、ＭＰＥＧ形式に圧縮された原動画から、決定処理部６２により決定されたフレームを画像入力部５２が読み出し、これをバッファ制御部５４がリングバッファ５６に格納してもよい。その格納するフレームをバッファ制御部５４が復号してもよい。復号に当たってバッファ制御部５４は前後のフレームを参照してもよい。

以下、その他の変形例を挙げる。
１−１．第１実施形態においてはピクセル列ごとにすべて異なるフレームからデータを読み出す構成とした。変形例においては、データの読出元となる過去のフレームをいくつか設定し、ピクセル列ごとにそのいくつかの読出元フレームのうちいずれかからデータを読み出す構成としてもよい。例えば読出元フレームにＡとＢの二つのフレームを設定しておき、偶数番目のピクセル列であるか奇数番目のピクセル列であるかに応じてフレームＡとフレームＢのいずれかからデータを読み出す構成であってもよい。例えば読出元フレームにＡ〜Ｆの６個のフレームを設定しておき、０番目から７９番目のピクセル列はフレームＡから読み出し、８０番目から１５９番目のピクセル列はフレームＢから読み出すなど、ピクセル列を８０列単位で分けてそれぞれ異なる過去のフレームからデータを読み出す構成としてもよい。画面上では５０列おきにそれぞれ異なるフレームからデータが読み出される結果、動きのある部位に関して横縞状の模様が浮かび上がる。

１−２．第２実施形態においてはＺ値に応じて異なるフレームからデータを読み出す構成とした。変形例においては、所定の範囲内のＺ値をもつピクセルについてのみ過去のフレームからデータを読み出す構成としてもよい。例えば、Ｚ値の上限値および下限値のうち少なくともいずれかをあらかじめ設定しておき、また、データの読出元となる過去のフレームを１つ以上あらかじめ設定しておく。設定された上限値と下限値の範囲に収まるＺ値をもつピクセルに関しては、設定された過去のフレームからデータを読み出し、範囲に収まらないＺ値をもつピクセルに関しては最新フレーム１２からデータを読み出す。データ読出元のフレームは固定的に１つ以上を設定しておいてもよいし、読出対象のピクセルの座標に応じた過去のフレームであってもよい。

１−３．第３実施形態においては過去の複数のフレームから所定の画素値をもつピクセルのデータを読み出して最新フレーム１２に合成する構成とした。変形例においては最新フレーム１２において所定の画素値をもつピクセルについては所定の過去のフレームからデータを読み出し、それ以外のピクセルについては最新フレーム１２からデータを読み出す構成としてもよい。また、データ読出元となる過去のフレームは、あらかじめ固定的に設定しておいてもよいし、画素値に応じて過去に遡ったフレームを読出元としてもよい。

１−４．第４実施形態においては所望の画像パターンとの近似度に応じた過去のフレームからデータを読み出す構成とした。変形例においては所望の画像パターンとの近似度が所定の範囲内にあるピクセルについてのみ過去のフレームからデータを読み出し、その他のピクセルについては最新フレーム１２からデータを読み出す構成としてもよい。近似度の範囲として、あらかじめ上限値と下限値のうち少なくともいずれかを設定しておいてもよい。データ読出元となる過去のフレームは、あらかじめ固定的に設定しておいてもよいし、近似度に応じて過去に遡ったフレームを読出元としてもよい。

１−５．第５実施形態においては画素値の変化に応じて過去に遡ったフレームからデータを読み出す構成とした。変形例においては画素値の変化が所定範囲にあるピクセルについてのみ過去のフレームからデータを読み出し、その他のピクセルについては最新フレーム１２からデータを読み出す構成としてもよい。データ読出元となる過去のフレームは、あらかじめ固定的に設定しておいてもよいし、画素値の変化に応じて過去に遡ったフレームを読出元としてもよい。

１−６．第１実施形態においては時間値ｔとピクセル座標ｙの関係としてｔ＝ｔ_０−ｙの関数を定義した。変形例においては、時間値ｔとピクセル座標ｙの関係をｔ＝sin ｙのように三角関数を用いて定義してもよい。図１２に記載したグラフに記載した場合、より過去に遡ったフレームからデータを読み出すピクセル列と、より最近のフレームからデータを読み出すピクセル列とが周期的に混在する。また、変形例１−１のように、あらかじめ設定されたいくつかの読出元フレームのうちピクセル列ごとに時間値ｔに応じたいずれかのフレームからデータを読み出す構成としてもよい。

２−１．第１実施形態においてはピクセル列ごとに過去のフレームからデータを読み出し、これらのデータを垂直方向に並べて一つのフレームを組み立てる構成とした。変形例においてはピクセル列ごとに過去のフレームから読み出したデータを最新フレーム１２と合成して一つのフレームを形成させる構成としてもよい。この場合のアルファ値は、固定値であってもよいし、ピクセル列ごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化などに応じて設定してもよい。

２−２．第２実施形態においてはＺ値に応じて異なるフレームからデータを読み出す構成とした。変形例においては、Ｚ値に応じて異なるフレームから読み出したデータを最新フレーム１２と合成して一つのフレームを形成させる構成としてもよい。または、最新フレーム１２において所定の範囲内のＺ値をもつピクセルについてのみ過去のフレームからデータを読み出し、これを最新フレーム１２と合成して一つのフレームを形成させる構成としてもよい。これらの場合のアルファ値は、固定値であってもよいし、ピクセル列ごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化などに応じて設定してもよい。

２−３．第３実施形態においては過去の複数のフレームから所定の画素値をもつピクセルのデータを読み出して最新フレーム１２に合成する構成とした。変形例においては最新フレーム１２において所定の画素値をもつピクセルについて所定の過去のフレームからデータを読み出し、これを最新フレーム１２と合成する構成としてもよい。この場合のアルファ値は、固定値であってもよいし、ピクセル列ごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化などに応じて設定してもよい。

２−４．第４実施形態においては所望の画像パターンとの近似度に応じた過去のフレームからデータを読み出す構成とした。変形例においては所望の画像パターンとの近似度に応じた過去のフレームから読み出したデータを最新フレーム１２と合成する構成としてもよい。または、所望の画像パターンとの近似度が所定の範囲内にあるピクセルについてのみ過去のフレームからデータを読み出し、これを最新フレーム１２と合成する構成としてもよい。これらの場合のアルファ値は、固定値であってもよいし、ピクセル列ごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化などに応じて設定してもよい。

２−５．第５実施形態においては画素値の変化に応じて過去に遡ったフレームからデータを読み出す構成とした。変形例においては画素値の変化に応じて過去に遡ったフレームから読み出したデータを最新フレーム１２と合成する構成としてもよい。または、画素値の変化が所定範囲にあるピクセルについてのみ過去のフレームからデータを読み出し、これを最新フレーム１２と合成する構成としてもよい。これらの場合のアルファ値は、固定値であってもよいし、ピクセル列ごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化などに応じて設定してもよい。

２−６．変形例１−６においては時間値ｔとピクセル座標ｙの関係としてｔ＝sin ｙのように三角関数を用いて関数を定義した。さらなる変形例においては、ｔ＝sin ｙのように三角関数を用いて定義された関数に基づいて現在から過去までのフレームから読み出されるデータを最新フレーム１２と合成する構成としてもよい。この場合のアルファ値は、固定値であってもよいし、ピクセル列ごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化などに応じて設定してもよい。

２−７．第６実施形態においてはユーザが設定画面８２上で設定したベジェ曲線８６に基づくフレームからデータを読み出す構成とした。変形例においては、ユーザが設定画面８２上で設定したベジェ曲線８６に基づいてフレームから読み出されたデータを最新フレーム１２と合成する構成としてもよい。この場合のアルファ値は、固定値であってもよいし、ピクセル列ごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化などに応じて設定してもよい。

３−１．第１〜１５実施形態、１−１から１−６までの変形例、２−１から２−７までの変形例のうち少なくとも２つ以上の実施形態または変形例においてそれぞれピクセルごとに読み出される２つ以上のデータを合成するさらなる変形例を構成してもよい。この場合のアルファ値は、固定値であってもよいし、ピクセル列ごとに異なる値であってもよい。例えば、アルファ値を各ピクセルの座標、Ｚ値、画素値、所望の画像パターンとの近似度、画素値の変化などに応じて設定してもよい。

原動画のフレームが時間軸に沿って連続する状態を仮想的に表現した図である。 撮像される被写体と実際に表示される画面を比較した図である。 本実施形態における画像生成装置の機能ブロック図である。 本実施形態において原動画を新たな動画に変換する過程を示すフローチャートである。 本実施形態における原動画を直方体空間として仮想的に表現した図である。 撮像される被写体と実際に表示される画面を比較した図である。 本実施形態においてＺ値に応じたフレームからデータを読み出して新たな動画像を生成する過程を示すフローチャートである。 本実施形態において原動画を直方体空間として仮想的に表現した図である。 撮像される被写体と実際に表示される画面を比較した図である。 本実施形態において原動画から所望の色成分を抽出した動画像を生成する過程を示すフローチャートである。 本実施形態において原動画を直方体空間として仮想的に表現した図である。 画像生成装置の構成を示す機能ブロック図である。 設定入力部により定める関数のグラフを表示したモニタの画面例を示す図である。 演出的オブジェクトを生成表示させる過程を示すフローチャートである。 最新フレームに演出的効果を施す過程を示すフローチャートである。

符号の説明

１０ 直方体、 １２ 最新フレーム、 １４ 切断面、 ５０ 画像生成装置、 ５２ 画像入力部、 ５４ バッファ制御部、 ５６ リングバッファ、 ６０ 画像変換部、 ７４ 表示バッファ、 ７６ 画像データ出力部。

Claims (37)

1. 入力される原動画を時間軸に沿って画像メモリに順次格納し、
   コンピュータのＣＰＵが実行する処理として、原動画を時間軸に沿って変化する二次元画像と把握し、その原動画を前記二次元画像と前記時間軸によって形成される直方体空間として仮想的に表現したとき、この直方体空間を時間値の異なる複数の点を含んだ曲面で切断し、その切断面に現れる画像を前記時間軸の方向に平面へ投影する処理と、前記切断面を時間変化させることにより、前記平面に刻々現れる画像を新たな動画のフレームに設定する処理とを前記コンピュータのＣＰＵが実行し、前記コンピュータの画面に出力することを特徴とする画像生成方法。
2. 前記切断面の時間変化は、前記曲面を前記時間軸に沿って移動させることで実現することを特徴とする請求項１に記載の画像生成方法。
3. 前記曲面は、前記二次元画像に含まれる点の座標の関数で定義されることを特徴とする請求項１または２に記載の画像生成方法。
4. 原動画を時間軸に沿って順次格納する画像メモリと、
   前記画像メモリに格納された原動画を時間軸に沿って変化する二次元画像と把握し、その原動画を前記二次元画像と前記時間軸によって形成される直方体空間として仮想的に表現したとき、この直方体空間を時間値の異なる複数の点を含んだ曲面で切断し、その切断面に現れる画像を前記時間軸の方向に平面へ投影する画像変換部と、
   前記画像変換部が前記切断面を時間変化させることによって得られた、前記平面に刻々現れる画像を新たな動画のフレームに設定する画像データ出力部と、
   を含むことを特徴とする画像生成装置。
5. 前記画像変換部は、前記曲面を前記時間軸に沿って移動させることにより前記切断面の時間変化を実現することを特徴とする請求項４に記載の画像生成装置。
6. 前記曲面は前記時間軸の方向において連続的または離散的な幅を有するよう定義され、その幅に含まれる画像を前記画像変換部が合成することを特徴とする請求項４または５に記載の画像生成装置。
7. 前記画像変換部は、前記二次元画像を構成する画像領域の座標の関数で定義される曲面で前記直方体空間を切断することを特徴とする請求項４から６のいずれかに記載の画像生成装置。
8. 前記曲面は、前記二次元画像の水平方向の座標に依存しない関数で定義されることを特徴とする請求項７に記載の画像生成装置。
9. 前記画像変換部は、前記二次元画像に含まれる点ごとの属性値の関数で定義される曲面で前記直方体空間を切断することを特徴とする請求項４から６のいずれかに記載の画像生成装置。
10. 前記曲面を定義するために用いられる設定値の入力をユーザによる操作を介して取得する設定入力部をさらに含み、
    前記画像変換部は、前記設定入力部が取得する設定値の関数で定義される曲面で前記直方体空間を切断することを特徴とする請求項４から９のいずれかに記載の画像生成装置。
11. 前記設定入力部が取得する設定値の関数は、その変数と関数の関係を画面上に表示した場合に、前記二次元画像に含まれる点の座標と時間値の関係を示す曲線で表されることを特徴とする請求項１０に記載の画像生成装置。
12. 前記設定入力部は、前記設定値として前記二次元画像において所定の処理を介して指定される点である特徴点の座標を取得し、
    前記画像変換部は、前記特徴点の座標の関数で定義される曲面で前記直方体空間を切断することを特徴とする請求項１０に記載の画像生成装置。
13. 前記画像変換部は、前記二次元画像に含まれる点ごとの属性値に応じてその点ごとに異なる速度で前記切断面を時間変化させることにより、前記画像データ出力部が出力すべき前記新たな動画のフレームレートを部分的に変化させることを特徴とする請求項４から９のいずれかに記載の画像生成装置。
14. 前記曲面を定義する時間値は、注目するフレームの時間値を基準として過去および未来のうち少なくとも一方を含むことを特徴とする請求項４から１３のいずれかに記載の画像生成装置。
15. 原動画において注目するフレームに含まれる画像の画面内位置ごとに、前記原動画に含まれる複数のフレームのうち少なくともいずれかから前記画面内位置に対応するデータを読み出し、
    前記読み出したデータをアルファブレンドし、
    前記アルファブレンドによって形成されるフレームを順次出力することにより新たな動画を構成することを特徴とする画像生成方法。
16. 前記複数のフレームのうちいずれから前記データを読み出すかについて前記画面内位置ごとにその座標に応じて決定することを特徴とする請求項１５に記載の画像生成方法。
17. 原動画において注目するフレームに含まれる画像の画面内位置ごとに、前記原動画に含まれる複数のフレームのうち少なくともいずれかから前記画面内位置に対応するデータを読み出し、
    前記読み出したデータを前記複数のフレームのうち少なくともいずれかのフレームに含まれる画像の属性値に応じた割合で合成させ、
    前記合成によって形成されるフレームを順次出力することにより新たな動画を構成することを特徴とする画像生成方法。
18. 画像メモリと画像変換部と画像データ出力部とを有し、
    前記画像メモリは、原動画のデータをフレームごとに順次記録し、
    前記画像変換部は、注目するフレームに含まれる画像の画面内位置ごとに、前記メモリに記録されたいずれかのフレームから前記画面内位置に対応するデータを読み出してこれをアルファブレンドし、
    前記画像データ出力部は、前記アルファブレンドにより再構成されたフレームを順次出力することを特徴とする画像生成装置。
19. 前記画像変換部は、前記画面内位置ごとにその座標に応じて前記いずれかのフレームを決定することを特徴とする請求項１８に記載の画像生成装置。
20. 前記座標は走査ラインに対して垂直方向の座標であることを特徴とする請求項１９に記載の画像生成装置。
21. 前記画像変換部は、前記画面内位置ごとにその属性値に応じて前記いずれかのフレームを決定することを特徴とする請求項１８に記載の画像生成装置。
22. 画像メモリと画像変換部と画像データ出力部とを有し、
    前記画像メモリは、原動画のデータをフレームごとに順次記録し、
    前記画像変換部は、注目するフレームに含まれる画像の画面内位置ごとに、前記画像メモリに記録されたフレームとして所定の時間間隔で複数のフレームを決定してその複数のフレームから前記画面内位置に対応するデータを読み出すとともに、その複数のフレームを前記画面内位置ごとにその属性値に応じた割合で合成し、
    前記画像データ出力部は、前記合成により再構成されたフレームを順次出力することを特徴とする画像生成装置。
23. 前記画像変換部は、前記注目するフレームに含まれる画像の画面内位置ごとに、その位置の属性値に応じて演出的なオブジェクトを表示することを特徴とする請求項１８に記載の画像生成装置。
24. 前記画像変換部は、前記決定するフレームの時間間隔を前記画面内位置ごとにその属性値に応じて個別の時間間隔に設定することを特徴とする請求項２１に記載の画像生成装置。
25. 前記注目するフレームまたは前記いずれかのフレームは、前記画像メモリから前記画像データ出力部により本来出力されるべきフレームを基準として時間的に前のフレームおよび時間的に後のフレームのうち少なくともいずれかであることを特徴とする請求項１８から２４のいずれかに記載の画像生成装置。
26. 前記画像変換部は、前記注目するフレームに含まれる画像の画面内位置ごとに、その属性値に応じて所定量の画素値を付加することを特徴とする請求項１８から２５のいずれかに記載の画像生成装置。
27. 前記属性値は奥行き値であることを特徴とする請求項９、２１〜２６のいずれかに記載の画像生成装置。
28. 前記属性値は所望の画像パターンとの近似度を示す数値であることを特徴とする請求項９、２１〜２６のいずれかに記載の画像生成装置。
29. 前記属性値は画像領域の時間的な変化の度合いを示す数値であることを特徴とする請求項９、２１〜２６のいずれかに記載の画像生成装置。
30. 前記属性値は画素値であることを特徴とする請求項９、２１〜２６のいずれかに記載の画像生成装置。
31. 前記原動画としてカメラで撮像された画像を取得してこれを前記画像メモリへ送る画像入力部をさらに含むことを特徴とする請求項４〜９、１８〜２６のいずれかに記載の画像生成装置。
32. 前記いずれかのフレームを決定するために用いられる設定値の入力をユーザによる操作を介して取得する設定入力部をさらに含み、
    前記画像変換部は、前記設定入力部が取得する設定値に応じて前記いずれかのフレームを決定することを特徴とする請求項１８に記載の画像生成装置。
33. 前記設定入力部が取得する設定値は、これを画面上に表示した場合に、前記二次元画像に含まれる点の座標と時間値の関係を示す曲線で表されることを特徴とする請求項３２に記載の画像生成装置。
34. 前記設定入力部は、前記設定値として前記二次元画像において所定の処理を介して指定される点である特徴点の座標を取得し、
    前記画像変換部は、前記特徴点の座標に応じて前記いずれかのフレームを決定することを特徴とする請求項３２に記載の画像生成装置。
35. 時間軸に沿って画像メモリから原動画を読み出す処理と、
    前記原動画を時間軸に沿って変化する二次元画像と把握し、その原動画を前記二次元画像と前記時間軸によって形成される直方体空間として仮想的に表現したとき、この直方体空間を時間値の異なる複数の点を含んだ曲面で切断し、その切断面に現れる画像を前記時間軸の方向に平面へ投影する処理と
    前記切断面を時間変化させることにより、前記平面に刻々現れる画像を新たな動画として設定する処理と、
    前記コンピュータの画面に出力する処理と、
    をコンピュータに実行させることを特徴とするコンピュータプログラム。
36. 原動画のデータをフレームごとに順次メモリへ記録する機能と、
    出力すべきフレームに含まれる画像の画面内位置ごとに、前記メモリに記録されたいずれかのフレームから前記画面内位置に対応するデータを読み出する機能と、
    前記読み出したデータを前記出力すべきフレームにアルファブレンドする機能と、
    前記アルファブレンドがなされたフレームを順次出力することにより新たな動画を構成する機能と、
    をコンピュータに発揮させることを特徴とするコンピュータプログラム。
37. 原動画において注目するフレームに含まれる画像の画面内位置ごとに、前記原動画に含まれる複数のフレームのうち少なくともいずれかから前記画面内位置に対応するデータを読み出す機能と、
    前記読み出したデータをアルファブレンドする機能と、
    前記アルファブレンドによって形成されるフレームを順次出力することにより新たな動画を構成する機能と、
    をコンピュータに発揮させることを特徴とするプログラムを格納したコンピュータにて読取可能な記録媒体。

Images