JP5750864B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法、プログラムに関し、特に被写体の動作推移を表現する動作推移画像を得る技術に関する。

特開２０１０−４５７２７号公報

上記特許文献１に記載されているように、多数のフレーム画像を用いて十分な動作表現及び動被写体の動作範囲を的確に表現する手法が公知である。例えば図３２に示すような動作推移画像を生成することができる。

このような動作推移画像は、動作を行う人または物（動被写体）をある特徴的な時間（キーフレーム）で切り出し、それを空間的に並べることで動作の推移を容易に認識することができるようにする。これは、動被写体が空間的に移動していなくても、空間的に移動させた画像を敢えて生成するところに特徴がある。
この図３２の場合、ゴルフのスイングを行っている被写体人物を動被写体として動画撮像し、多数のフレーム画像データを得る。その一連のフレーム画像データのうちからいくつかのキーフレームを取り出し、各キーフレームの動被写体の画像が順次所定の方向に並ぶように画像合成を行う。これにより、ゴルフのスイングフォームが一目でわかるような画像を得ることができる。

このような動作推移画像は、ゴルフをはじめとして、野球、サッカー、テニスなどのフォーム確認などの用途に有用である。
しかしながら、フォーム確認には適するものの、その動作推移に応じて移動する移動体の表現は困難であった。

例えば図３２のゴルフのスイングフォームの動作推移画像の場合、ゴルフクラブのヘッドにボールが当たったインパクトの瞬間までは、ゴルフボールが写し込まれているが、インパクト後のボールは写されておらず画像から消えている。
動作推移画像は、単にフォーム確認の用途のためだけでなく、面白みがありユーザが楽しめる画像として用いることも考えられるが、そのような観点からは、被写体人物によって放たれたボールが画像上で表現されていると、より好適である。

図３２の例でインパクト後にボールが見えないのは、インパクト直後にボールが高速で飛び立ち、撮像時の画面内から瞬間的にフレームアウトして、ボールが写されないためである。
そこで、ボールを少しでも画像に残そうとするのであれば、撮像した一連のフレーム画像データのうちで、インパクト直後のフレームを多数抽出して合成を行うことが考えられる。すると、インパクト直後の数フレームの画像部分で、まだフレームアウトしていないボールが写し込まれているため、図３３の例のように、ある程度、動き出したボールを動作推移画像内に含めることができる。

しかしながらこの図３３のような動作推移画像は、逆に動被写体の動作推移がわかりにくいものとなってしまう。特にインパクト直後の動被写体がむやみに多い画像となり、スムースな動作推移を表現できないおそれが大きい。
さらに、ボールは多少写し込まれているとしても、打球が速く、ボールが存在するフレーム画像データが少ないことから、画像的に明らかにボール軌道が見えるような明確なものとはなりにくく、ボールの表現として不十分である。

そこで本発明では、動被写体の動作推移を良好に表現しつつ、さらに動被写体の動作推移に応じて移動する移動体（例えばボール）を十分に表現し、より有用な画像、娯楽性の高い画像を生成できるようにすることを目的とする。

本発明の画像処理装置は、複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、複数の上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するとともに、上記複数のフレーム画像データの画像解析を行い、画像上で移動体が初期位置から移動していると判断された場合、上記動被写体画像の動作推移に応じて移動する上記移動体を表現する移動体画像データとして、上記移動体の軌道判定処理に基づいて移動体軌道画像データを生成し、上記移動体軌道画像データを上記動作推移画像データと合成することで、上記移動体の画像を含む移動体画像付き動作推移画像データを生成する合成処理を行う合成処理部を備える。
また上記合成処理部は、順次所定の方向に並んで配置された複数の動被写体画像の最後の動被写体画像に続く画像領域に、上記移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う。

上記移動体の軌道判定処理は、フレーム画像データ内に存在する移動体画像の位置を用いて、そのフレーム画像データで表現される時点以降における上記移動体の位置を予測し、上記移動体の移動軌道を判定する処理を含む。
或いは上記移動体の軌道判定処理は、移動体軌道情報により上記移動体の移動軌道を判定する処理である。
或いは上記移動体の軌道判定処理は、動作推移画像データで表現される動被写体の動作を解析して、フレーム画像データ内には画像として存在しない移動体の移動軌道を判定する処理である。
また、上記合成処理部で生成した上記移動体画像付き動作推移画像データを出力する画像出力部をさらに備える。

また上記合成処理部は、上記移動体の画像が配置される画像領域の背景画像として、上記フレーム画像データに含まれる背景画像を用いて上記合成処理を行う。
或いは上記合成処理部は、上記移動体の画像が配置される画像領域の背景画像として、上記フレーム画像データに存在しない画像を用いて上記合成処理を行う。
また、順次所定の方向に並んで配置される複数の動被写体画像の最後の動被写体画像を指定する指定部をさらに備え、上記合成処理部は、上記指定部で指定された最後の動被写体画像までの動作推移画像データを生成するとともに、上記最後の動被写体画像に続く画像領域に、上記移動体画像データによる移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う。
また移動体の画像が配置される画像領域を指定する指定部をさらに備え、上記合成処理部は、上記指定部で指定された画像領域に至るまでの画像領域に、複数の動被写体画像が並んで配置され、その最後の動被写体画像に続く上記指定された画像領域に、上記移動体画像データによる移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う。

また上記合成処理部は、順次所定の方向に並んで配置された複数の動被写体画像に重畳して上記移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う。
この場合、上記合成処理部は、上記合成処理で、上記移動体軌道画像データによる画像が、上記動作推移画像データの画像よりも優先して表示される、移動体画像付き動作推移画像データを生成する。

また順次所定の方向に並んで配置された複数の動被写体画像のうちで一の動被写体画像を指定する指定部をさらに備え、上記合成処理部は、上記指定部で指定された動被写体画像の拡大画像と、上記移動体軌道画像データとの合成処理を行う。
また上記合成処理部は、フレーム画像データに含まれる移動体の画像を用いて、上記移動体軌道画像データを生成する。
また上記合成処理部は、フレーム画像データに含まれる移動体の実写画像以外の画像を用いて、上記移動体軌道画像データを生成する。
また上記合成処理部は、フレーム画像データからキーフレームを選択し、選択した複数のキーフレームから抽出した動被写体画像を、順次所定の方向に並べて配置して上記動作推移画像データを生成する。
また上記合成処理部は、最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、最新のフレーム画像データの背景レイヤーを第３に優先し、前回の合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態で合成処理を行うことで、上記動作推移画像データを生成する。

本発明の画像処理方法は、複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するステップと、上記複数のフレーム画像データの画像解析を行い、画像上で移動体が初期位置から移動していると判断された場合、上記動被写体画像の動作推移に応じて移動する上記移動体を表現する移動体画像として、上記移動体の軌道判定処理に基づいて移動体軌道画像を生成するステップと、順次所定の方向に並んで配置された複数の動被写体画像の最後の動被写体画像に続く画像領域に、上記移動体の画像が配置されるように、上記移動体軌道画像を上記動作推移画像データと合成することで、移動体画像を含む移動体画像付き動作推移画像データを生成する合成処理を行うステップとを備える。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。

このような本発明では、まず、複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成する。これによって動被写体の動作推移を的確に表現する。これに加えて、動被写体画像の動作推移に応じて移動する移動体（例えば動被写体の動作で放たれるボール等）を表現する移動体画像を生成する。この移動体画像は、例えば移動体の軌道を推定してそれを表現する移動体軌道画像などとする。これは実際にはフレーム画像データ内に存在しない画像も用いて、明確に移動体の挙動がわかるような画像とすることができる。
そして、このような移動体画像を動作推移画像データと合成することで、移動体画像付き動作推移画像データを生成するが、これは、動被写体の動作推移と、移動体の挙動がそれぞれ十分に表現されたものとなる。

本発明によれば、動被写体の動作推移を良好に表現しつつ、さらに動被写体の動作推移に応じて移動する移動体（例えばボール）を十分に表現し、より有用な画像、或いは娯楽性の高い画像を生成できるという効果がある。

本発明の実施の形態の画像処理装置の基本構成のブロック図である。 実施の形態の画像処理方法のフローチャートである。 第１の実施の形態の移動体画像付き動作推移画像の説明図である。 第１の実施の形態の画像処理装置の構成のブロック図である。 実施の形態の動作推移画像生成処理の説明図である。 実施の形態のレイヤー分離処理の説明図である。 実施の形態の入力画像の領域設定例の説明図である。 実施の形態の推移動作有効領域及び残存背景領域の説明図である。 実施の形態の４レイヤーのレイヤー合成処理及びボール軌道レイヤの合成処理の説明図である。 実施の形態の動作推移画像の合成処理の説明図である。 第１の実施の形態の移動体画像付き動作推移画像の生成処理のフローチャートである。 実施の形態のレイヤー分離処理のフローチャートである。 実施の形態のボール軌道画像の背景画像の説明図である。 第２の実施の形態の移動体画像付き動作推移画像の説明図である。 第３の実施の形態の移動体画像付き動作推移画像の説明図である。 第４の実施の形態の移動体画像付き動作推移画像の生成処理のフローチャートである。 第５の実施の形態の移動体画像付き動作推移画像の説明図である。 第５の実施の形態の移動体画像付き動作推移画像の生成処理のフローチャートである。 第５の実施の形態の変形例の移動体画像付き動作推移画像の説明図である。 第６の実施の形態における動被写体画像の指定の説明図である。 第６の実施の形態の合成画像の説明図である。 第６の実施の形態の画像処理装置の構成のブロック図である。 第６の実施の形態の合成処理のフローチャートである。 第７の実施の形態の画像処理装置の構成のブロック図である。 第７の実施の形態の合成処理のフローチャートである。 第７の実施の形態の終点選択の説明図である。 第７の実施の形態のボール軌道始点選択の説明図である。 第７の実施の形態の移動体画像付き動作推移画像の説明図である。 第７の実施の形態の動被写体画像数の調整の説明図である。 第８の実施の形態の画像処理装置の構成のブロック図である。 第８の実施の形態の移動体画像付き動作推移画像の生成処理のフローチャートである。 従来の合成画像の説明図である。 ボール表示を行う合成画像の説明図である。

以下、本発明の実施の形態を次の順序で説明する。
＜１．実施の形態の基本構成及び動作＞
＜２．第１の実施の形態＞
［２−１：画像処理装置構成］
［２−２：移動体付き動作推移画像の生成］
［２−３：処理例］
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．第５の実施の形態＞
＜７．第６の実施の形態＞
＜８．第７の実施の形態＞
＜９．第８の実施の形態＞
＜１０．変形例＞
＜１１．プログラム＞

＜１．実施の形態の基本構成及び動作＞

まず、本発明の実施の形態の画像処理装置、画像処理方法としての基本構成及び動作について説明する。
実施の形態の画像処理装置は、例えばデジタルスチルカメラ、ビデオカメラ、画像編集装置、画像再生装置、画像記録装置、コンピュータなどの情報処理装置等の各種機器に搭載可能である。
また実施の形態の画像処理装置は、ハードウエアで形成することも、コンピュータ等にインストールするソフトウエア、或いは各種機器に実装されるファームウエアなどの形態で実現することもできる。もちろん、構成の一部をハードウエア、一部をソフトウエアとすることも可能である。ソフトウエアとする場合、各種機器内の演算処理装置に、実施の形態の画像処理方法のステップを実行させるプログラムとし、このプログラム自体を提供、販売することも可能である。

実施の形態の画像処理装置としては、図１の構成を有する。図１は、ハードウエアもしくはソフトウエアで実現される機能構成をブロック図として示したものである。
画像処理装置１は、画像入力部１０１と、合成処理部１０２を有する。

画像入力部１０１は、フレーム画像データを入力する機能部位としている。
フレーム画像データとは、動画を構成する各フレームの１つであったり、例えば連写撮像された静止画の１枚１枚の画像などのことである。即ち１枚の画像を構成する画像データのことを広く示すものとして、「フレーム画像データ」という用語を用いる。
この画像入力部１０１は、例えばデジタルスチルカメラやビデオカメラ等で撮像されているフレーム画像データ、即ち動画撮像画像の各フレームとして得られる画像データを順次入力するものとしてもよい。或いは画像入力部１０１は、動画撮像によってＲＡＭ(Random Access Memory)、不揮発性メモリ、メモリカード、光ディスク、ＨＤＤ（Hard Disk Drive）等の記録媒体に記録されたフレーム画像データが読み出されて、入力される機能部位としてもよい。
即ち、画像入力部１０１は、或る時間幅での一連のフレーム画像データが入力される部位であればよい。複数のフレーム画像データは、例えば所定のフレームレートに応じた時間間隔で順次入力されてもよいし、より高速に入力されてもよい。

この画像入力部１０１に取り込まれたフレーム画像データは、一例としては、フレーム画像データの本来のフレームレートに応じた時間間隔で、或いは合成処理部１０２の処理能力に応じて、より高速な時間間隔で、順次、合成処理部１０２での処理が行われる。

合成処理部１０２は、動作推移画像生成機能１０２ａ、移動体画像生成機能１０２ｂ、移動体付き動作推移画像生成機能１０２ｃを備える。

動作推移画像生成機能１０２ａは、画像入力部１０１で入力された複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、複数の動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成する。例えばゴルフスイングを撮像した複数のフレーム画像データの場合、ゴルフスイングをしている人の画像を動被写体として認識することになり、この動被写体が図３２で示したように順次所定の方向に並んで配置された動作推移画像データを生成する。

移動体画像生成機能１０２ｂは、動被写体画像の動作推移に応じて移動する移動体を表現する移動体画像データを生成する。この動被写体の動作推移に応じて移動する移動体とは、ゴルフスイングの例でいえば、ゴルフボール（以下、単にボールという）となる。つまり動被写体の動作の経過に応じて画像上での位置が移動する第２の動被写体である。
実際の動作では、ボールは、ゴルフスイングのインパクトの瞬間から高速に放たれて移動していく。このため、ボールの画像は、インパクトの瞬間からのわずかなフレームのみに写し込まれるのみである。
このため例えば移動体画像生成機能１０２ｂは、実際には、わずかな数のフレーム画像データに含まれるボールの画像の位置から、ボールの軌道を推定し、ボールの軌道を表現する画像を生成する。
また、一連のフレーム画像データにおいてボールが全く移っていない場合に、スイングフォームからボールの軌道を推定してボールの軌道を表現する画像を生成することも可能である。

移動体付き動作推移画像生成機能１０２ｃは、動作推移画像生成機能１０２ａで生成された動作推移画像と、移動体画像生成機能１０２ｂで生成された移動体画像、例えばボール軌道を表現する移動体軌道画像を合成して、移動体の画像を含む動作推移画像、即ち移動体画像付き動作推移画像データを生成する。

このような実施の形態の画像処理装置１では、動作推移画像生成機能１０２ａが、入力された複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行って動作推移画像データを生成する。これによって動被写体の動作推移を的確に表現する。
これに加えて、移動体画像生成機能１０２ｂが、動被写体画像の動作推移に応じて移動する移動体（例えば動被写体の動作で放たれるボール等）を表現する移動体画像を生成する。この移動体画像は、例えば移動体の軌道を推定してそれを表現する移動体軌道画像などとする。これは実際にはフレーム画像データ内に存在しない画像をも用いて、明確に移動体の挙動がわかるような画像とする。
そして、移動体付き動作推移画像生成機能１０２ｃが、このような移動体画像を動作推移画像データと合成することで、移動体画像付き動作推移画像データを生成するが、これは、動被写体の動作推移と、移動体の挙動がそれぞれ十分に表現されたものとなる。

図２に画像処理装置１が実行する画像処理方法の手順を示す。
画像処理装置１はステップＦ１で、画像入力部１０１の機能によりフレーム画像データを入力する。
ステップＦ２で、合成処理部１０２は、入力された一連のフレーム画像データを元に、動作推移画像生成機能１０２ａにより、動作推移画像データを生成する。
ステップＦ３で、合成処理部１０２は、例えば入力された一連のフレーム画像データにおけるボール画像を元に、移動体画像生成機能１０２ｂにより、移動体画像データを生成する。なお、ステップＦ２，Ｆ３の処理の順序は逆でも良いし、同時でもよい。
ステップＦ４で、合成処理部１０２は移動体付き動作推移画像生成機能１０２ｃにより、ステップＦ２で生成した動作推移画像データと、ステップＦ３で生成した移動体画像データを合成して移動体付き動作推移画像生成機能１０２ｃ生成する。
そして画像処理装置１はステップＦ５で、移動体付き動作推移画像を出力する。例えば動作推移画像と移動体画像が合成された静止画データとして出力する。

＜２．第１の実施の形態＞
［２−１：画像処理装置構成］

以下、第１〜第８の実施の形態として、より具体的な構成及び動作を説明していく。
まず第１の実施の形態は、図３に示すような移動体付き動作推移静止画を生成する例で説明していく。

図３の移動体付き動作推移静止画は、ゴルフスイングする人（及びゴルフクラブ）の画像が動被写体として認識されたものである。画面上は２段構成とされ、まず上段の左から右に向かって、順次動被写体画像が並んで配置される。さらに上段右端に続いては、下段左端が連続され、下段でも左から右に向かって、順次動被写体画像が並んで配置される。

なお、後述する各実施の形態でも、動被写体が順次並んで配置される所定の方向とは、この図３のように、２段構成の画面で、上段左→上段右→下段左→下段右の方向として説明する。所定の方向とは、この例に限られないが、他の例については変形例として後述する。

図３の第１の実施の形態の場合、画面上で当該方向性をもって動被写体画像が配置されるが、配置される動被写体画像は、ゴルフクラブのボールへのインパクトの瞬間までとしている。
そして、画面下段の大部分は、ボールの軌道を示す画像としている。つまり、例えば被写体人物のゴルフスイングの画像は、スイング前半のインパクトまでとし、その後は放たれたボールを表現する。
即ちインパクト直後の数フレームからボール軌道を予測、合成することでインパクトまでのスイングフォームとボール弾道を同時に表現する。

例えばこのような移動体付き動作推移静止画を実現するための画像処理装置１のより具体的な構成を、以下説明していく。
図４は実施の形態の画像処理装置１の構成例を示している。
画像処理装置１は、入力画選択部２，レイヤー処理部３，画像出力部４、合成画像更新保持部５、ボール軌道画像生成部６、画像入力部１０、動被写体情報生成部１１、動被写体情報入力部１２、ボール情報生成部１３、ボール情報入力部１４、出力デバイス４０を有する。

これらの各部は必ずしも同一筐体内の構成部位とされるものには限らない。例えば画像入力部１０、動被写体情報生成部１１、動被写体情報入力部１２、ボール移動情報生成部１３、ボール移動情報入力部１４、出力デバイス４０は、別体の構成部位とすることも考えられる。
また動被写体情報生成部１１と動被写体情報入力部１２については一方を設けるのみでもよい。
同様に、ボール移動情報生成部１３とボール移動情報入力部１４については一方を設けるのみでもよい。

また入力画選択部２，レイヤー処理部３，画像出力部４，合成画像更新保持部５、ボール軌道画像生成部６については、それぞれがハードウエアブロックとして構成されてもよいが、マイクロコンピュータ等の演算処理装置において、ソフトウエアプログラムによって実現される機能ブロックとして実現することもできる。
このような構成の画像処理装置１は、例えば撮像装置（ビデオカメラ等）や映像再生装置等の機器の内部に設けられても良いし、１つの画像処理専用機器として構成されてもよい。さらにパーソナルコンピュータ等においてソフトウエア及びハードウエアの連係によって実現される画像処理機能を実行するものとして構成されてもよい。

画像入力部１０では、生成する動作推移画像の元となるフレーム画像データ群の入力を行う。
この画像入力部１０は、当該画像処理装置１が撮像装置に搭載されるのであれば、レンズ系や受光素子を有し、画像信号処理を行って撮像画像信号を得る撮像系から、フレーム画像データを受け取る部位として構成できる。
また外部の撮像装置で得られた撮像画像を取り込むのであれば、画像入力部１０は、外部機器から転送・送信・ダウンロード等されてくる画像信号の受信処理系から、フレーム画像データを受け取る部位として構成できる。受信処理系としては、例えば放送波に対するチューナ部や、ＵＳＢ（Universal Serial Bus）インターフェース等の外部機器インターフェース部、さらには有線又は無線のネットワーク通信部などが想定される。
また、撮像画像データ等の画像信号がメモリカード（固体メモリ）、光ディスク等の記録媒体に記録されている場合は、画像入力部１０は、これらの記録媒体に対して再生を行う再生系部位から、フレーム画像データを受け取る部位として構成できる。

画像入力部１０によっては、動画としての各フレーム画像データや、静止画連写撮像などによって得られた複数のフレーム画像データが入力され、画像入力部１０はこれらのフレーム画像データを入力画選択部２、ボール軌道画像生成部６、動被写体情報生成部１１、ボール情報生成部１３に供給する。
なお、画像入力部１０は前処理を行うこともある。動画像のファイルを受け取った場合に各フレームに展開したり、インターレース画像を受け取った場合にプログレッシブ化を行うなど処理に必要な形へ適切な変換を行う。また、拡大縮小を行うこともある。

動被写体情報生成部１１は、画像入力部１０から受け取った元画像群（フレーム画像データ群）や他の外部情報（深度情報など）を用いて、動被写体情報を生成する。
動被写体情報とは、少なくとも入力されたフレーム画像データのうち、どの部分が動被写体であり、どの部分が背景であるかを判別することが可能な情報である。
動被写体情報生成部１１は、入力されたそれぞれのフレーム画像データに対応する動被写体情報を生成し、入力画選択部２に供給する。

動被写体情報は、動被写体画像として表現されることもあり、この場合は各画素が動被写体であるか、背景であるかを画素値として表す。また、各同被写体の場所を表す情報を式やベクトルで表す場合もある。
動被写体情報生成部１１は、動被写体と背景の分離のほか、複数の動被写体が存在する場合、それぞれを分離し、かつ深度別に分離することもある。この場合、動被写体情報を画像で表すときは動被写体か背景かの２値画像ではなく、各画素がどの深度にあるかを表す多値画像（または多チャンネル画像）となる。

また、動被写体情報の生成は本例の画像処理装置１の装置内でなくともよく、他の装置やプログラムで生成された動被写体情報を受け取ることもできる。動被写体情報入力部１２は、画像入力部１０で入力される各フレーム画像データについての動被写体情報を外部から受け取る部位として示している。動被写体情報入力部１２は、入力されたそれぞれのフレーム画像データに対応する動被写体情報を外部から入力し、入力画選択部２に供給する。
なお、従って動被写体情報生成部１１と動被写体情報入力部１２は、少なくとも一方が設けられればよい。但し、動被写体情報生成部１１で生成される動被写体情報と、動被写体情報入力部１２で入力される動被写体情報を併用することもでき、その意味で、動被写体情報生成部１１と動被写体情報入力部１２が両方設けられることも有用である。

ボール情報生成部１３は、画像入力部１０から受け取った元画像群（フレーム画像データ群）を用いて、ボール情報（移動体情報）を生成する。
ボール情報とは、少なくとも入力されたフレーム画像データのうち、どの部分が移動体としてのボール画像であるかを判別することが可能な情報である。例えばフレーム画像データの各画素について、ボール画像部分とその他の部分を画素値で表す。
ボール情報生成部１３は、入力されたそれぞれのフレーム画像データの画像解析を行ったボール画像の物体認識を行い、その結果としてボール画像の位置を示すボール情報を生成し、ボール軌道画像生成部６に供給する。

また、ボール情報の生成は本例の画像処理装置１の装置内でなくともよく、他の装置やプログラムで生成されたボール情報を受け取ることもできる。ボール情報入力部１４は、画像入力部１０で入力される各フレーム画像データについてのボール情報を外部から受け取る部位として示している。ボール情報入力部１４は、入力されたそれぞれのフレーム画像データに対応するボール情報を外部から入力し、ボール軌道画像生成部６に供給する。
なお、従ってボール情報生成部１３とボール情報入力部１４は、少なくとも一方が設けられればよい。但し、ボール情報生成部１３で生成されるボール情報と、ボール情報入力部１４で入力されるボール情報を併用することもでき、その意味で、ボール情報生成部１３とボール情報入力部１４が両方設けられることも有用である。
また、ボール情報としては、外部から供給されるボールの軌道情報自体が、ボール情報入力部１４から入力されるようにしてもよい。

入力画選択部２は、画像入力部１０から順次供給されるフレーム画像データについて、動作推移画像の生成のための処理を行う。即ちレイヤー処理部３での合成処理に用いる必要な画像データを選択し、適切な画像の組み合わせをレイヤー処理部３に出力する。また入力画選択部２は、レイヤー処理部３に出力するフレーム画像データに対応する動被写体情報や、合成のための座標情報など合成処理に必要な情報をレイヤー処理部３に出力する。
図４では、入力画選択部２内にキーフレーム判定部２１と座標計算部２２を示している。キーフレーム判定部２１は、キーフレームの判定処理や、それに基づくレイヤー処理部３に出力するフレーム画像データの選定を行う。また座標計算部２２は、合成処理のための座標計算を行う。

キーフレームとは、動作推移画像としての最終出力画において、動作推移の軌跡として同一の静止画に残される時間軸の異なる複数の画像のことである。例えば時間的に連続するフレーム画像データ群のうちで、適切な単位時間あたりの等間隔で撮像されたフレームがキーフレームとされることが一般的に想定されるが、必ずしも等間隔の時間である必要はなく、撮像対象の動作推移を視認するのに適した間隔に変化させることもある。
キーフレーム判定部２１は、画像入力部１０から順次供給されるフレーム画像データのうちで、キーフレームとなるフレーム画像データを選定する処理を行う。後述するが、動作推移静止画を生成する場合は、選定したキーフレームのみをレイヤー処理部３の処理に供することになる。

ボール軌道画像生成部６は、入力されたフレーム画像データやボール情報を用いた処理を行って、ボール軌道画像を生成する。
この図４ではボール軌道画像生成部６内に、ボール座標計算部６１，ボール軌道予測部６２、画像合成部６３、ボール軌道画像保持部６４、ボール背景抽出保持部６５を示している。

ボール座標計算部６１は、各フレーム画像データ内のボール画像の位置としての座標を計算する。
ボール軌道予測部６２は、各フレーム画像データのボール座標からボール軌道を予測する。例えば今回のフレーム画像データと１つ前のフレーム画像データのボール位置座標によって、ボールの移動が確認でき軌道が推定できる。ボールがフレームアウトした後の軌道については、ボールが写されているフレームにおけるボール座標による移動距離と、撮像時のフレーム間隔時間から推定できる。

画像合成部６３は、ボール軌道画像データを生成する。各フレーム画像データのボール座標に応じて、ボール画像を順次合成していくことでボール軌道画像が生成できる。またボールが写されていないフレームでは、例えばボール画像を、ボール軌道予測部６２で予測したボール軌道に合わせて合成していくことで、ボール軌道画像を生成できる。
あるいは画像合成部６３は、抽象的な画像としてボールを表現する画像を用いて、推定されたボール軌道を示す画像を生成することもできる。なお、ここで「抽象的」というのは、実際のボールの撮像画像（ボール自体の実写画像）ではない画像という意味であって、ボールを示すマーク画像、ボールのアニメーション画像、ボール軌道のイメージ画像など、多様な画像を示すものである。

ボール軌道画像保持部６４は、画像合成部６３が生成したボール軌道画像を記憶保持する。
ボール背景抽出保持部６５は、ボール軌道画像の背景とする画像を例えばフレーム画像データから抽出し、保持する。あるいは抽象的な背景画像を保持している。なお、ここで「抽象的」というのは、実際の撮像画像（撮像時の背景の実写画像）における背景画像以外の画像という意味であって、モノトーン画像、アニメーション画像、イメージ画像など、多様な画像を示すものである。

レイヤー処理部３は、レイヤー分離部３１，レイヤー加工部３２，レイヤー合成部３３を備え、動作推移画像の生成処理、及び移動体付き動作推移画像の生成を行う。

動作推移画像の生成に関して、レイヤー分離部３１は、動被写体情報を用いて、入力されたフレーム画像データのレイヤー分離を行う。レイヤーとは、１つのフレーム画像データにつき、動被写体部分と背景部分等で分離させたそれぞれをいう。レイヤー分離部３１はレイヤー合成を行う該当範囲を、例えば動被写体情報を元に入力画像と前回キーフレーム画像を背景と動被写体に分離して各レイヤーの画像を生成する。複数の動被写体が存在し、それらの深度がわかる場合はそれぞれの動被写体の数＋背景の数のレイヤーに分離する。

レイヤー加工部３２は、分離された各レイヤーの切り取り、拡大縮小、座標移動などの加工を行う。即ちレイヤー分離された各レイヤーに対して様々な処理を行い、合成できる形に加工する。レイヤー加工部３２が行う処理は「拡大縮小」「回転」「平行移動」など、幾何学的な演算が行われることが多いが、動作部分の強調などの画像処理が行われることもある。拡大縮小はキーフレームの枚数、出力画像サイズなどによって決定される。

レイヤー合成部３３は、加工されたレイヤーや前回以前の合成画像を用いた合成処理を行う。即ちレイヤー加工部３２によって加工された画像、前回以前の合成画像、動被写体情報等を元に、出力する画像の合成を行う。ここでいう合成とは動被写体情報を元に、どのレイヤーの画素を出力画像に反映するかの判定を行い、出力画像を生成することとなる。単一レイヤーの画素から選択することもあるが、複数レイヤーの画素を混合して出力する場合もある。
また移動体付き動作推移画像の生成のために、レイヤー合成部３３は、動作推移画像とボール軌道画像の合成処理を行う。この場合、例えばボール軌道画像生成部６から供給されるボール軌道画像を最も優先するレイヤーとして、動作推移画像に合成する。

画像出力部４は、レイヤー処理部３で合成された合成画像（移動体付き動作推移画像）を出力デバイス４０に出力する。
出力デバイス４０とは、モニタ装置、記憶装置など、動作推移画像の出力先となり得る各種の機器を示すものである。画像出力部４による動作推移画像の具体的な出力先については、表示出力、メモリへの展開、ハードディスクやフラッシュメモリ、ネットワーク先など外部の記憶メディアへの書き込みなど、システムによって異なることとなる。
移動体付き動作推移静止画を生成する場合は、画像出力部４は、所定数のキーフレームとされたフレーム画像データについての動作推移画像の合成処理が完了し、さらにボール軌道画像を合成することで完成される移動体付き動作推移静止画としての１フレームの画像データを出力デバイス４０に出力することになる。

また画像出力部４は、動作推移静止画生成過程において、今回の合成画像データを、次のフレーム画像データについての処理時に既存の前回の合成画像データとして使用できるようにするため、合成画像更新保持部５に出力して更新記憶させる。

合成画像更新保持部５は、動作推移静止画の生成過程において、各時点の合成画像データを保持する。
例えば動作推移静止画生成時については、画像出力部４から出力される各時点の合成画像を更新しながら保持していく。例えば前回、前々回などとして、合成処理過程で必要とされる過去の合成画像データを更新しながら保持する。また、各合成画像の生成時のキーフレームの情報や、キーフレームの動被写体情報等も記憶保持する。

以上の図４の構成においては、図１に示した画像入力部１０１に対応する部位が、画像入力部１０となる。
また図１の合成処理部１０２における動作推移画像生成機能１０２ａは、入力画選択部２，レイヤー処理部３、合成画像更新保持部５の処理で実現される。
移動体画像生成機能１０２ｂは、ボール軌道画像生成部６の処理で実現される。
移動体付き動作推移画像生成機能１０２ｃは、レイヤー処理部３の処理で実現される。

［２−２：移動体付き動作推移画像の生成］

ここで、主に入力画選択部２、レイヤー処理部３、画像出力部４、合成画像更新保持部５、ボール軌道画像生成部６により実行される移動体付き動作推移画像の生成処理例を説明する。

先に図３に示したように、本実施の形態の画像処理装置１で生成される移動体付き動作推移静止画は、例えばゴルフスイングを行っている人を被写体として動画撮像もしくは静止画連写撮像を行って得られた複数のフレーム画像データを元に生成される。
図３の動作推移静止画は、多数のフレーム画像データを用い、連続するゴルフスイングの期間の中で多数の時点の画像が表現されている。また、ゴルフスイングする人物としての動被写体画像は、例えばゴルフクラブの先端が欠けてしまうことなどがなく、左右の画像で一部重複しながらも、各フレームの動被写体（人とゴルフクラブ）の全体が表現されている。つまり、動作推移画像として、多数のフレーム画像を用いて十分な動作表現を可能とすることと、動被写体の動作範囲を適切に表現することを両立した画像となっている。
その上で、移動体（ボール）の軌道も表現している。
以下説明する処理により、このような移動体付き動作推移画像を実現する。

図５により、移動体付き動作推移静止画の生成処理のイメージを示す。
図５（ａ）は入力画選択部２に入力される画像データを模式的に示している。例えば動画データであり、図のＦＲ１，ＦＲ２，ＦＲ３・・・が、それぞれ１つのフレーム画像データを示しているとする。
入力画選択部２は、このような動画として時間的に連続するフレームから、キーフレームを選択する。例えば５フレーム置きのフレームをキーフレームとするとした場合、○を付したフレームＦＲ１，ＦＲ６，ＦＲ１１，ＦＲ１６，ＦＲ２１・・・がキーフレームとなる。図５（ｂ）には、これら各キーフレームの動被写体の画像内容を図形で示している。

動作推移静止画を生成する場合は、キーフレームのみが合成処理に用いられる。
この場合、入力画選択部２は、このキーフレームのみを抽出してレイヤー処理部３に受け渡すことになる。
レイヤー処理部３は、後述する処理により、各キーフレームＦＲ１，ＦＲ６，ＦＲ１１，ＦＲ１６，ＦＲ２１・・・の画像が、順次入力画選択部２から供給されるたびに、順次合成処理していくことで、図５（ｃ）のような動作推移静止画を生成する。このときに、今回合成するキーフレームの動被写体の画像が、それまでの合成済の画像に重複して表現されるようにレイヤー合成処理を行うことになる。

さらに図５（ｄ）（ｅ）には、ボール軌道画像生成部６の処理のイメージを示している。例えばフレームＦＲ２１が、ボールがゴルフクラブに当たったインパクトの瞬間の画像であるとする。
このフレームＦＲ２１から数フレームは、画像上にボールが存在する。今、フレームＦＲ２５は、既にボールがフレームアウトしているとすると、フレームＦＲ２１〜ＦＲ２４の画像上は、例えば図５（ｄ）に示すようにボール画像が存在することになる。
ボール軌道画像生成部６のボール座標計算部６１は、これらのフレームＦＲ２１〜ＦＲ２４の画像上におけるボール画像の座標を計算する。
そしてボール軌道予測部６２は、各フレームのボール座標から、ボール軌道を推定する。そして画像合成部６３は、ボール軌道の予測に従って、ボール画像の合成処理などを行い、図５（ｅ）のようなボール軌道画像データを生成する。

このボール軌道画像データは、ボール軌道レイヤーのデータとしてレイヤ処理部３に受け渡される。
レイヤー処理部３は、図５（ｃ）のような動作推移画像データに対して、最優先レイヤーとして、ボール軌道レイヤーのデータ（ボール軌道画像データ）を合成する。これにより、図５（ｆ）のように、移動体付き動作推移画像として、ボール軌道を含む動作推移静止画が生成される。

なお、図３のような第１の実施の形態の画像例の場合、動被写体の動作推移画像はインパクトの瞬間までとしているため、この図５の説明でいえば、キーフレームＦＲ２１までの画像が動作推移画像に反映される。後述する実施の形態では、インパクト後のキーフレーム（例えばＦＲ２６，ＦＲ３１）の移動体画像も動作推移画像に含める例もある。

このような画像合成を行うレイヤー処理部３の処理として、まず動作推移画像生成のための処理は次のようになる。
レイヤー分離部３１は、レイヤー合成の該当範囲を、動被写体情報を元に入力画像と前回キーフレーム画像を背景と動被写体に分離して各レイヤーの画像を生成する。
図６（ａ）は、入力画像（或る１つのフレーム画像データ）と、そのフレーム画像データについての動被写体情報を示している。
上述のように入力画選択部２は、画像入力部１０から順次供給されるフレーム画像データＦＲ１，ＦＲ２，ＦＲ３・・・のうち、キーフレームとするフレーム画像データ（例えばＦ１）をレイヤー処理部３に出力する。
また、入力画選択部２には、動被写体情報生成部１１又は動被写体情報入力部１２から、各フレーム画像データに対応した動被写体情報が供給されている。入力画選択部２は、キーフレームとしてのフレーム画像データをレイヤー処理部３に供給する際には、そのフレーム画像データに対応する動被写体情報もレイヤー処理部３に供給する。

図６（ａ）の上段及び下段に示すのは、そのようにしてレイヤー処理部３に与えられるフレーム画像データと、その動被写体情報である。ここでは動被写体情報は、２値の値で表現されているものとしている。つまり動被写体とされる画素について「１」、動被写体以外の背景となっている画素について「０」のなどとした情報である。図６（ａ）下段では白抜き部分が「１」つまり動被写体を表し、黒部分は「０」つまり背景を表すものとしている。

レイヤー分離部３１は、このような動被写体情報を用いて、入力されたフレーム画像データをレイヤー分離する。
図６（ｂ）には、分離後の動被写体レイヤーと背景レイヤーを示している。図６（ｂ）上段の動被写体レイヤーは、図６（ａ）の入力画像のうちで動被写体部分（つまり動被写体情報＝「１」の画素のみ）を抜き出した画像となる。
また図６（ｂ）下段の背景レイヤーは、図６（ａ）の入力画像のうちで背景部分（つまり動被写体情報＝「０」の画素のみ）を抜き出した画像となる。

なお、複数の動被写体が存在する場合を想定し、３値以上の多値の動被写体情報を用いるようにすることもできる。その場合、動被写体情報生成部１１又は動被写体情報入力部１２では、複数の動被写体の深度（画像上での奥行き方向の前後関係）に応じて異なる値とした動被写体情報を生成（又は取得）する。
そのような場合は、レイヤー分離部３１は、動被写体の数＋背景の数のレイヤーに分離することができる。

レイヤー加工部３２は、上述のように、レイヤー分離された各レイヤーに対して様々な処理を行い、合成できる形に加工する。
動作推移画像は通常、入力されたフレーム画像データの全領域を対象とするのではなく、一部を切り出す形で行われる。
さらに、動被写体が有効となる範囲と、最終画像に残される背景の領域も異なる。
入力されるフレーム画像データとしての画像の幅と高さを（Ｗｉｍｇ，Ｈｉｍｇ）、推移動作有効領域の幅と高さを（Ｗｍｏｖ，Ｈｍｏｖ）、残存背景領域の幅と高さを（Ｗｂａｃｋ，Ｈｂａｃｋ）とすると、例えば図７（ａ）（ｂ）（ｃ）のような領域態様が想定される。なお、図７（ａ）（ｂ）（ｃ）はそれぞれ一例であり、これらに限られない。
図７（ａ）（ｂ）（ｃ）に示す推移動作有効領域とは、主たる動被写体を切り出す範囲となる。また残存背景領域とは、合成処理において背景画像として用いる領域である。

これらの推移動作有効領域の値（Ｗｍｏｖ，Ｈｍｏｖ）や残存背景領域の値（Ｗｂａｃｋ，Ｈｂａｃｋ）は、被写体の推移方向、つまり動作推移画像として表現する際に画像が時間的に進行していく方向によって、幅が同じになったり高さが同じになったりする。
図３に示した動作推移画像のように、各動被写体画像を横方向に推移させる場合は、図７（ｂ）の例のように高さ（Ｈｍｏｖ、Ｈｂａｃｋ）が、元のフレーム画像データの高さ（Ｈｉｍｇ）と同じ値とすることが好適な場合が多い。
また、各動被写体画像を縦方向に推移させる場合は、図７（ｃ）の例のように幅（Ｗｍｏｖ、Ｗｂａｃｋ）が、元のフレーム画像データの幅（Ｗｉｍｇ）と同じ値とすることが好適な場合が多い。
スポーツのフォーム確認など、動作対象が人物であり、かつ立っている場合は横推移となることが多いが、動作の移動が主に縦方向の場合は縦推移となる可能性が高い。このように推移方向と、それに伴う各画像の大きさは撮像対象に強く依存する。

図８は、実際のフレーム画像データについての、図７（ｂ）の例による、推移動作有効領域と残存背景領域の設定例を示している。
図８（ａ）は、元の入力されたフレーム画像データであり、例えばフレーム画像データのサイズはＶＧＡ（６４０×４８０）であるとする。推移動作有効領域と残存背景領域の中心は入力画像であるフレーム画像データの中心と一致するものとする。
推移動作有効領域は、図８（ｂ）のように、幅Ｗｍｏｖ＝３２０，高さＨｍｏｖ＝４８０の領域とする。
残存背景領域は、図８（ｃ）のように、幅Ｗｂａｃｋ＝１６０，高さＨｂａｃｋ＝４８０の領域とする。
もちろんこれは一例にすぎず、実際には被写体の大きさや、動きに応じて適切な設定がされて、合成処理に用いる画像が切り出されればよい。

レイヤー合成部３３は例えば、レイヤー加工部３２によって加工された入力画像（今回のキーフレームとされたフレーム画像データ）、前回のキーフレーム画像、動被写体情報、及びその時点で既存の合成画像データを元に、出力する画像の合成を行う。
なお、前回のキーフレーム画像は、前回に入力画選択部２から入力されて合成処理に用いられた画像であるが、これは、今回の処理時点までレイヤー処理部３内に保存しているようにしてもよいし、合成画像更新保持部５で保存しておき、合成処理の際に合成画像更新保持部５から、それまでの合成画像データとともに読み出しても良い。

図９を用いて、入力画像（今回のキーフレーム）と前回のキーフレームについての合成時の考え方を説明する。
上述したレイヤー分離部３１の処理により、入力された今回のキーフレームは、動被写体レイヤーと残存背景レイヤーに分離されている。
また前回のキーフレームについても、動被写体レイヤーと残存背景レイヤーに分離されている。
図９は、これらの４つのレイヤーについての合成の様子を示している。
図９（ａ）に示すように、入力された最新のフレーム画像データ（今回のキーフレーム）の動被写体レイヤーを第１に優先する。
また、前回の合成処理に係るフレーム画像データ（前回のキーフレーム）の動被写体レイヤーを第２に優先する。
また、入力された最新のフレーム画像データ（今回のキーフレーム）の残存背景レイヤーを第３に優先する。
また前回の合成処理に係るフレーム画像データ（前回のキーフレーム）の残存背景レイヤーを第４に優先する。
そしてこれらの優先順位に基づいて、４つのレイヤー画像を合成することで、図９（ｂ）のような合成画を得る。
そしてこのような合成画を、その時点で既存の合成画像データの所定領域に合成することで、それまでの多数のキーフレームを用いた合成画像に、新たに１つ動被写体画像を追加する。

例えば図１０には、動作推移静止画が最終的に生成されるまでの間の、ある時点での合成状態を示している。即ち、今回入力されたキーフレームＦＲｘについての合成処理が行われた時点である。
今回入力されたキーフレームＦＲｘの推移動作有効領域と、前回のキーフレームの入力の際に合成された、今回の処理時点で既存の合成画像データの範囲が、それぞれ図示する範囲であるとする。
今回のキーフレームＦＲｘの画像を合成処理により加える際には、図中のＢ領域については、今回のキーフレームＦＲｘの推移動作有効領域の画素をそのまま新たな合成画像データ上にコピーすればよい。
またＣ領域については、その時点で既存の合成画像データ、つまり前回のキーフレームまでの合成処理後の時点の合成画像データの画素をそのまま新たな合成画像データ上にコピーすればよい。
この場合、Ａ領域が問題となる。即ちＡ領域は、今回のキーフレームＦＲｘの動被写体ＦＲｘＤと、前回のキーフレームの動被写体ＦＲ（ｘ−１）Ｄの画像が一部重なることになる。この領域Ａにおいて、上記図９（ａ）のような優先順位で各レイヤーを合成することが必要となる。

即ちレイヤー合成部３３は、今回のキーフレームＦＲｘと、前回のキーフレームを用い、Ａ領域については、図９のレイヤー合成を行って合成画像を生成する。またＢ領域は、今回のキーフレームＦＲｘのＢ領域相当部分をそのまま用いる。これによって、今回と前回のキーフレームの画像からＡ＋Ｂ領域の合成画像を得る。そして、このようなＡ＋Ｂ領域の合成画像を、合成画像更新保持部５から読み出した、この時点で既存の合成画像データに合成する。即ち既存の合成画像データのＣ領域に続いて、今回生成したＡ＋Ｂ領域を貼り付ける処理を行う。
以上により、この図１０に示した状態の合成画像データが得られる。
この合成画像データは、合成画像更新保持部５に記憶され、次のキーフレームＦＲ（ｘ＋１）に係る合成処理の際に、同様に用いられることになる。

このように、合成の際に重複部分となるＡ領域において、図９のレイヤー合成を行うことで、動被写体ＦＲｘＤの一部が欠損することなく、それまでの合成画像データに加えられる状態となる。従って、図３に示したように、多数のキーフレームを用いても、動被写体の動作が適切に表現された動作推移画像が生成されることになる。

以上のように動作推移画像を合成したら、図９（ｃ）に示すように、さらに、ボール軌道画像データを合成する。この場合、ボール軌道画像の部分をボール軌道レイヤーとして、動作推移画像に合成する。
なお、図３のような第１の実施の形態の合成画像の場合は、動作推移画像部分とボール軌道画像の部分は重複しないため、レイヤーの優先度は問題にならない。ところが後述する第５の実施の形態の図１７のように、動作推移画像部分とボール軌道画像を重複させる場合もある。このような場合は、ボール軌道レイヤーを、上記動作推移画像の各レイヤーよりもさらに高い優先度で合成することが考えられる。

［２−３：処理例］

図１１，図１２により、画像処理装置１の具体的な処理例を説明する。
図１１は、移動体付き動作推移静止画を生成する際の、入力画選択部２、レイヤー処理部３、画像出力部４、合成画像更新保持部５、ボール軌道画像生成部６によって実行される処理を示している。

ステップＦ１０１では、入力画選択部２がフレーム画像データ及びそのフレームの動被写体情報を取り込む。また、ボール軌道画像生成部６がフレーム画像データ及びそのフレームについてのボール情報を取り込む。
上述したように入力画選択部２には、画像入力部１０から時間的に連続するフレーム画像データが供給される。入力画選択部２は、１枚のフレーム画像データが供給されるたびにステップＦ１０１で、そのフレーム画像データと、動被写体情報生成部１１（又は動被写体情報入力部１２）からフレーム画像データに対応する動被写体情報を取り込む処理を行う。また同時に、ボール軌道画像生成部６は、フレーム画像データと、ボール移動情報生成部１３（またはボール移動情報入力部１４）からフレーム画像データに対応するボールの移動情報を取り込む処理を行う。

ステップＦ１０２では、現在の入力フレームが、ボールインパクト済み（移動体の移動開始後）のフレームであるかの判断を行う。この判断はボール情報生成部１３またはボール情報入力部１４からのボール情報により可能である。即ちボール情報から、画像上でボールが初期位置から移動していると判断されれば、インパクト済みと判断できる。又は入力画選択部２が、入力したフレーム画像データの画像解析を行い、例えばゴルフクラブヘッド画像とボール画像が接触しているか否かを判断し、接触しているフレームの次のフレーム以降を、インパクト済みのフレームと判断しても良い。
インパクト前、つまりボールが打ち出されたと判断される前までの各フレーム画像データの取り込み時点では、ステップＦ１０３〜Ｆ１１０の処理で動作推移画像生成を行う。

入力画選択部２は、ステップＦ１０１でフレーム画像データ及び動被写体情報を取り込み、それがまだインパクト前のフレームである場合は、ステップＦ１０３で、当該フレーム画像データをキーフレームとするか否かを選定する。例えば図５のようにキーフレーム選定を行うとすると、１番目、６番目、１１番目・・・という５フレーム置きのフレームをキーフレームとする。

入力されたフレーム画像データがキーフレームである場合は、入力画選択部２は、処理をステップＦ１０４に進める。入力されたフレーム画像データがキーフレームではない場合は、入力画選択部２は、処理をステップＦ１０１に戻し、次のフレーム画像データの入力の処理を行うことになる。つまり動作推移静止画の生成処理では、キーフレーム以外は合成処理に用いないようにする。

入力画選択部２は、ステップＦ１０２で取り込んだフレーム画像データがキーフレームであった場合、当該フレーム画像データを合成処理に用いるための処理を行う。このためステップＦ１０４では座標計算部２２による座標計算を行う。
この座標計算は、今回のフレーム画像データを合成画像に反映させる画素位置を計算するものとなる。即ち最終的な合成画像のサイズ（動作推移静止画のサイズ）の中で、今回のフレーム画像データを当てはめる画素範囲の算出処理である。
入力画選択部２は、このステップＦ１０４で算出した座標を、今回のフレーム画像データ（今回のキーフレーム画像）及び動被写体情報と共に、レイヤー処理部３に出力する。

レイヤー処理部３においては、まずステップＦ１０５で、レイヤー分離部３１が、入力されたフレーム画像データ（今回のキーフレーム画像）と動被写体情報、さらには前回キーフレーム画像、前回キーフレーム画像の動被写体情報を使用して４レイヤーに分割する。つまり図６で説明したように動被写体情報を用いて動被写体レイヤーと背景レイヤーに分割し、図９（ａ）のように今回キーフレームの動被写体レイヤー、前回キーフレームの動被写体レイヤー、今回キーフレームの背景レイヤー、前回キーフレームの背景レイヤーに分割する。
なお、前回キーフレームの動被写体レイヤー、前回キーフレームの背景レイヤーについては、前回のキーフレームが入力された際にステップＦ１０５で行われたレイヤー分離結果を今回の処理に用いるために記憶しておけばよい。或いは前回入力されたキーフレームの画像データと動被写体情報を、今回の処理に用いるために記憶しておいてもよい。

４レイヤーの分割は、図９（ａ）のそれぞれのレイヤー画像を作成してメモリ領域上に記憶しても良いが、ここでは「レイヤー分離情報」を作成することでレイヤー分離を行う例を説明する。
このレイヤー分離情報は、前回キーフレーム画像と今回キーフレーム画像の推移動作有効領域の重なる部分、即ち図１０で説明した合成対象領域における各画素として、どのレイヤーが最終的に有効であるかを画素値で表現するものである。

この処理を図１２に示す。図１２の処理は、今回キーフレームの推移動作有効領域の全画素について１つづつ判定していく処理となる。
まず、レイヤー処理部３はステップＦ５００において、今回キーフレームの推移動作有効領域の最初の画素を判定対象とする。そして当該判定対象の画素について、ステップＦ５０１〜Ｆ５１０の判定処理を行う。
ステップＦ５１１で、今回キーフレームの推移動作有効領域の全画素について判定処理を終えるまでは、ステップＦ５１２で判定対象を次の画素に変更しながら、ステップＦ５０１〜Ｆ５１０の判定処理を繰り返すことになる。

ステップＦ５０１では、レイヤー処理部３は判定対象の１つの画素について、その画素が合成対象領域内の画素であるか否かを判定する。
合成対象領域内でない場合は、ステップＦ５０２に進み、レイヤー処理部３は、その今回キーフレームにおける当該判定対象の画素を、合成結果画像（レイヤー合成画像）にコピーする画素とする。例えば当該判定対象の画素について、レイヤー分離情報に、画素値「０」を格納する。そしてステップＦ５１１に進む。
例えば図１０のＢ領域に相当する画素については、このステップＦ５０１→Ｆ５０２の処理が行われることになる。

判定対象の画素が合成対象領域内である場合は、レイヤー処理部３はステップＦ５０３に進み、判定対象の画素が、今回キーフレームの動被写体領域の画素か否かを判定する。判定対象の画素が、今回キーフレームの動被写体領域の画素である場合は、ステップＦ５０４で、当該判定対象の画素について、レイヤー分離情報に、画素値「１」を格納する。そしてステップＦ５１１に進む。画素値「１」とは、図９（ａ）の「第１優先」を示す値である。
例えば図１０のＡ領域（合成対象領域内）であって、今回キーフレームの動被写体領域の画素、例えばゴルフクラブの先端部分の画素などについては、このステップＦ５０３→Ｆ５０４の処理が行われることになる。

判定対象の画素が、ステップＦ５０３で今回キーフレームの動被写体領域の画素ではないと判定された場合は、レイヤー処理部３はステップＦ５０５で、判定対象の画素が前回キーフレームの動被写体領域に相当するか否かを判定する。これに該当する場合、レイヤー処理部３はステップＦ５０６に進み、当該判定対象の画素について、レイヤー分離情報に、画素値「２」を格納する。そしてステップＦ５１１に進む。画素値「２」とは、図９（ａ）の「第２優先」を示す値である。
例えば図１０のＡ領域（合成対象領域内）であって、前回キーフレームの動被写体領域の画素、例えば動被写体Ｆ（ｘ−１）Ｄを構成する画素などについては、このステップＦ５０５→Ｆ５０６の処理が行われることになる。

判定対象の画素が、ステップＦ５０５で前回キーフレームの動被写体領域の画素ではないと判定された場合は、レイヤー処理部３はステップＦ５０７で、判定対象の画素が今回キーフレームの背景領域に相当するか否かを判定する。これに該当する場合、レイヤー処理部３はステップＦ５０８に進み、当該判定対象の画素について、レイヤー分離情報に、画素値「３」を格納する。そしてステップＦ５１１に進む。画素値「３」とは、図９（ａ）の「第３優先」を示す値である。
また判定対象の画素が、ステップＦ５０７で今回キーフレームの背景領域の画素ではないと判定された場合は、レイヤー処理部３はステップＦ５０９で、判定対象の画素が前回キーフレームの背景領域に相当するか否かを判定する。これに該当する場合、レイヤー処理部３はステップＦ５１０に進み、当該判定対象の画素について、レイヤー分離情報に、画素値「４」を格納する。そしてステップＦ５１１に進む。画素値「４」とは、図９（ａ）の「第４優先」を示す値である。

以上の処理を、ステップＦ５１１で、今回キーフレームの推移動作有効領域の全画素について判定が終わったとされるまで行う。
合成対象領域における、図９（ａ）に示したような４つのレイヤーは、下から順に「前回キーフレーム画像の背景レイヤー（第４優先）」「今回キーフレームの残存背景レイヤー（第３優先）」「前回キーフレーム画像の動被写体レイヤー（第２優先）」「今回キーフレームの動被写体レイヤー（第１優先）」となっている。これらを下から順番に重ね、上から見たものが出力画像となる。すなわち上のレイヤーが優先され、自己レイヤーの上にあるレイヤーに有効画素がある場合は自己レイヤーの画素が有効であっても無効であっても、またどんな画素値であっても関係がない。

上記図１２の処理が行われることで、レイヤー分離情報には、合成対象領域内の各画素について、有効レイヤーの番号を保持することになる。
例えばレイヤー分離情報の或る画素値が「１」であれば、結果画像におけるその画素位置には、第１優先である今回キーフレーム画像の動被写体レイヤーから抽出する画素を用いるべきことが示される。
また例えばレイヤー分離情報の或る画素値が「２」であれば、その画素位置は第２優先である前回キーフレーム画像の動被写体レイヤーから抽出する画素を用いることが示される。
つまりレイヤー分離情報によって、図９（ａ）で説明した各レイヤーが表現される。

続いてレイヤー処理部３は、図１１のステップＦ１０６として、レイヤー加工部３２による加工処理を行う。即ちレイヤー合成に必要な加工を行う。なお、この加工処理としては、入力画像のサイズと合成結果の画像上での入力画像を反映させるサイズなどに応じて拡大縮小を行ったり、画像の回転などを行う。特にそのまま入力画像の各画素を合成結果に反映させる場合などは、拡大縮小や回転の処理は不要な場合もある。

続いてレイヤー処理部３はステップＦ１０７として、レイヤー合成を行い、今回キーフレームと前回キーフレームでのレイヤー合成画像を生成する。なお、ここでいうレイヤー合成画像とは、図１０でのＡ＋Ｂ領域の画像のことである。

まず、上記図１２のステップＦ５０２で画素値「０」と判定された画素、つまり図１０でいえばＢ領域内の画素については、そのまま今回キーフレームから抽出した画素をレイヤー合成画像にコピーして当てはめる。
レイヤー合成は合成対象領域（Ａ領域）内の各画素について行うことになる。
この場合、各画素についてレイヤー分離情報を参照し、画素値「１」とされている画素位置には、今回キーフレームから該当画素を抽出してレイヤー合成画像に当てはめる。また画素値「２」であれば前回キーフレームから該当画素を抽出してレイヤー合成画像に当てはめる。
画素値「３」とされている画素位置には、今回キーフレームから該当画素を抽出してレイヤー合成画像に当てはめる。また画素値「４」であれば前回キーフレームから該当画素を抽出してレイヤー合成画像に当てはめる。
上述のように、レイヤー分離情報には４つのレイヤーのどの画素を有効とするかの情報が各画素位置に対して保持されている。従って各画素位置について、レイヤー分離情報の画素値に応じて今回キーフレーム又は前回キーフレームから画素を抽出して貼り付けることで、図１０の合成対象領域について、図９の優先順位に沿った合成が行われることになる。

以上の処理で、図１０でのＡ＋Ｂ領域に相当するレイヤー合成画像が生成され、このレイヤー合成画像では、図１０のように、今回のキーフレームＦＲｘの動被写体ＦＲｘＤと、前回のキーフレームの動被写体ＦＲ（ｘ−１）Ｄの画像が一部重なりながら、今回のキーフレームＦＲｘの動被写体ＦＲｘＤは、欠けずに表現されている。
なお、レイヤー合成処理では、今回キーフレームの動被写体レイヤーが第１優先となるので、動被写体画像が今回と前回で重なった部分は、常に、今回、つまりその時点で最新のフレームの動被写体画像が優先されることになる。

続いてレイヤー処理部３はステップＦ１０８として、レイヤー合成画像を、その時点で既存の前回合成画像に合成する。既存の前回合成画像データは、合成画像更新保持部５に保存されているため、レイヤー処理部３は、合成画像更新保持部５から読み出した前回合成画像データに、ステップＦ１０７で生成したレイヤー合成画像を合成する。
図１０の例で言えば、この時点で既存の合成画像データは、Ｃ領域＋Ａ領域までの各キーフレーム画像が合成された状態となっている。このような合成画像データに対して、Ａ＋Ｂ領域のレイヤー合成画像をコピーする。Ａ領域については、レイヤー合成画像によって上書きされることになる。これによって図１０に示しているような状態の合成画像データが生成される。

このように生成された今回の合成画像データは、ステップＦ１０９でレイヤー処理部３から画像出力部４に転送される保持される。画像出力部４は、この合成画像データを取り込んだ後、合成画像更新保持部５に供給する。
合成画像更新保持部５はステップＦ１１０で、供給された合成画像データを、次回の合成処理に用いる既存の合成画像データとして記憶保持する。つまり既存の合成画像データの内容を今回生成された合成画像データに更新する。
そして、ステップＦ１０１に戻り、次のフレーム画像データの入力に対する処理に移る。

なお、ここまでの説明では、ステップＦ１０７でレイヤー合成を行い、ステップＦ１０８でレイヤー合成画像を既存の合成画像データに合成するとしたが、一番最初のキーフレームが入力された際の処理は、特に合成処理は不要であることは言うまでもない。当然この時点では既存の合成画像データも存在しない。
この場合は、ステップＦ１０７〜Ｆ１０８で、最初のキーフレームの画像の各画素が図８のようなサイズの合成画像データの右上部分の領域にコピーされて最初の合成画像データが生成され、ステップＦ１１０で合成画像更新保持部５に保存されることになる。
２番目のキーフレームが入力された以降は、前回キーフレームや、その時点で既存の合成画像データが存在することになるため、上記同様の処理が行われることになる。

また、合成画像データの生成処理は、ステップＦ１０７、Ｆ１０８の処理以外にも各種考えられる。例えば、Ｂ領域の画素については、既存の合成画像データに先にコピーしてしまい、その後、Ａ領域についてのレイヤー合成画像を生成し、当該レイヤー合成画像を、既存の合成画像データのＡ領域に上書きコピーするようにしてもよい。

以上のステップＦ１０１〜Ｆ１１０の処理が、キーフレーム入力毎に繰り返されることで、動作推移画像が形成されていく。
その過程で、ある時点で、入力画選択部２に入力されたフレーム画像データがボールインパクトタイミング以後の画像となる。
第１の実施の形態の場合、動作推移画像は図３のようにインパクトタイミングまでとしているので、それ以降のフレーム画像データの入力時点では、ステップＦ１０３〜Ｆ１１０の処理は行われない。
その場合、ステップＦ１０１でのフレーム画像データの入力毎に、処理はステップＦ１０２からＦ１１１に進み、ステップＦ１１１〜Ｆ１１８の処理を繰り返し行うことになる。

ステップＦ１１１では、ボール軌道画像生成部６のボール座標計算部６１が、今回のフレーム画像データにおけるボール情報を参照してボール画像の座標を計算する。
ステップＦ１１２では、ボール軌道予測部６２が、ボール軌道予測を行う。このボール軌道は、今回のステップＦ１１１で計算された座標を、前回のフレーム画像データについてステップＦ１１１で計算された座標とをあわせることで予測できる。また、現在のフレーム画像データが、既にボール画像がフレームアウトした後の画像である場合は、それまでのボール軌道を用いて、ボール軌道情報を予測生成する。

ステップＦ１１３では、画像合成部６３が、座標値もしくは予測値としての位置が決定された今回のボール画像を、それまでのボール軌道画像に合成する。
ステップＦ１１４では、合成結果としてのボール軌道画像データをボール軌道画像保持部６４に記憶保持する。
ステップＦ１１５では、ボール軌道画像保持部６４に記憶されたボール軌道画像をレイヤー処理部３に受け渡し、レイヤー合成部３３で、ボール軌道画像を動作推移画像に合成する。合成する動作推移画像は、その時点で合成画像更新保持部５に記憶されている合成画像である。
そしてレイヤー処理部３は、合成した画像データを画像出力部４に転送する。
ステップＦ１１６では、ボール軌道画像が合成された動作推移画像を、最新の合成画像として保持する。またその合成画像を合成画像更新保持部５に供給する。
ステップＦ１１７では、合成画像更新保持部５は、供給された合成画像を最新の動作推移画像として更新保持する。

以上の処理を、ステップＦ１１８で、ボールがフレームアウトした後１フレームを経過済みと判断されるまで行う。
従って、ステップＦ１１１〜Ｆ１１７で実行される処理を図５の入力画像データの各フレームの時系列で述べると次のようになる。

例えばフレームＦＲ２１がインパクトタイミングの画像で、インパクト直後のフレーム画像データ、つまりボールが所期位置から移動した画像は、フレームＦＲ２２であるとする。
フレームＦＲ１〜フレームＦＲ２１までのフレーム画像データが入力される時点では、それぞれ上述のステップＦ１０３〜Ｆ１１０の処理が行われる。
フレームＦＲ２２が入力された時点で、処理はステップＦ１１１に進む。この場合、まずボール座標計算部６１でフレームＦＲ２２内のボール座標が計算される。この場合のボール軌道は、フレームＦＲ２１以前までの静止していた位置座標と、今回のボール位置座標を結ぶ軌道となる。
この軌道に応じた画像がステップＦ１１３，Ｆ１１４で生成、保持され、ステップＦ１１５で、ボール軌道画像がそれまでの動作推移画像と合成される。

次にフレームＦＲ２３が入力された際も、ステップＦ１１１でボール位置の座標が計算され、ステップＦ１１２で先のボール軌道と、今回の座標により、ボール軌道が予測される。そして軌道に応じた画像がステップＦ１１３，Ｆ１１４で生成、保持され、ステップＦ１１５で、ボール軌道画像がその時点で最新の動作推移画像と合成される。
このような処理をフレームＦＲ２４が入力された際も行う。

その後、フレームＦＲ２５として、既にボールがフレームアウトした画像が入力されたときも、ステップＦ１１１〜Ｆ１１７は実行される。但しこのときはボール画像は存在しないことがボール情報から判定され、ステップＦ１１１の座標計算は行われない。そしてこの場合、ステップＦ１１２では、前回までに判定したボール起動から、以降のボール起動を推定する。
この推定は、それまでのボール軌道を直線的に延長させるようにすればよい。また例えばフレームＦＲ２１，ＦＲ２２間や、ＦＲ２２，ＦＲ２３間でのボールの座標値と、各フレーム間隔の時間から、ボールの速度を推定できるから、ボールの速度を考慮して、速度に応じた放物線上の軌道を推定しても良い。
さらに、インパクト時点の画像から、クラブヘッドとボールのあたり具合を解析して、ボール軌道を推定することも可能である。

このように、ボールがフレームアウトした後のフレーム画像データの入力が検知された場合は、過去の座標等に基づいてボール軌道を推定する。そして推定した軌道に応じたボール軌道画像データがステップＦ１１３，Ｆ１１４で生成、保持される。例えば前回のフレーム画像データに含まれていたボール画像を、推定したボール軌道に沿って配置していくことでボール軌道画像データを生成する。
そしてステップＦ１１５で、ボール軌道画像データがレイヤー処理部３に受け渡され、それまでの動作推移画像と合成される。
この時点で合成された画像は、例えば図３に示したように、最終的にボール軌道が表現された動作推移画像となる。

そしてこの時点で、ステップＦ１１８で、ボールがフレームアウトした後１フレーム経過済みと判断されるため、処理はステップＦ１１９に進む。
ステップＦ１１９では、画像出力部４は、その時点で保持している合成画像データ（即ち図３の状態の合成画像データ）を、移動体付き動作推移静止画データとして出力デバイス４０に出力する。
これにより本例の画像処理装置１によって、１枚の移動体付き動作推移静止画データが生成され、出力されたことになる。

ところで、図３の例では、ボール軌道画像データの背景も表現している。この背景画像は、ステップＦ１１５でボール軌道画像データをレイヤー処理部３に受け渡すときに、ボール背景抽出保持部６５が、同時にレイヤー処理部３に受け渡して、合成処理に供する。
この、ボールの背景画像は次のように抽出すればよい。
まず図１３（ａ）のように、入力画像の左右の端で、且つ推移動作有効領域外の領域ＡＲ１を用いる方法が考えられる。
また、図１３（ｂ）のように、推移動作有効領域の左右の端の領域ＡＲ２の情報を用いることも考えられる。但しこの場合、インパクトの瞬間のフレーム情報を用いる。これは、インパクトの瞬間は推移動作有効領域の左右の端までは動被写体の体が入っていないことが想定されるためである。

ボール背景抽出保持部６５は、この図１３（ａ）（ｂ）に示す背景画像を、入力されたフレーム画像データから抽出して保持しておく。そしてこの背景データをレイヤー処理部３に受け渡し、ボール軌道画像の合成の際に、共に合成されるようにする。
なおレイヤー処理部３は、合成時に、背景画像の優先度は、ボール軌道画像データの優先度よりも低くして合成処理を行えばよい。

以上の本実施の形態によれば、動作推移画像の自動生成において、動作可能範囲の拡大による動被写体の的確な表現と、多数の動被写体を並べることでの時間方向に精細な動作推移の表現の両立を実現することができる。
特にレイヤー合成により、各動被写体画像が、例えばゴルフクラブの先端等が欠けずに的確に表現され、しかも多数の動被写体画像を並べることができ、時間的に細かい間隔で動作推移を表現できる。
そしてさらに、動作推移に応じて移動する移動体の動作軌道を同時に表現でき、よりスポーツの動作を的確に表現できる画像、或いはおもしろみのある画像など、ユーザにとって価値の高い画像を容易に実現できることとなる。

また、この第１の実施の形態の場合、図３のように、ゴルフスイング等の動作推移画像部分とボール軌道画像の部分は重複していない画像とされる。
即ち、順次所定の方向に並んで配置された複数の動被写体画像の最後の動被写体画像に続く画像領域に、移動体（ボール）の画像が配置されるように、ボール軌道画像データと動作推移画像データの合成処理が行われる。
これによって動作推移とボール軌道の両方が見やすい画像となる。

また、ボール軌道画像の背景については、フレーム画像データに含まれる背景画像を用いるようにすることで、スイングフォームの動作推移画像とボール軌道画像の部分で背景がほぼ同様となり、一枚の静止画像としての統一感が得られる。

また本実施の形態の画像処理装置１は、連続静止画または動画像が撮像できる撮像装置によって撮像された複数のフレーム画像データを取得できるものであればよい。例えば撮像装置に内蔵してもよいし、撮像された複数のフレーム画像データを再生する再生装置に内蔵されてもよい。さらには撮像された複数のフレーム画像データを受信／転送入力される機器に内蔵されてもよい。
従って、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、ビデオ再生装置、ビデオ編集装置などに広く適用できる。

＜３．第２の実施の形態＞

第２の実施の形態を説明する。なお、第２の実施の形態の画像処理装置１の構成や処理は、上記第１の実施の形態のものとほぼ同様であるため、異なる点のみ述べる。

図１４は第２の実施の形態で生成される移動体付き動作推移静止画の例を示している。
この第２の実施の形態は、ボール軌道画像の背景として、フレーム画像データに存在しない画像、例えば抽象画像を用いる例である。

先に、ボール軌道画像生成部６におけるボール背景抽出保持部６５は、ボール軌道画像の背景とする画像として、フレーム画像データには存在しない抽象的な背景画像を保持してもよいと述べた。例えばモノトーン画像、アニメーション画像、イメージ画像などである。図１４は、ボール軌道画像の背景を抽象的な画像の一種として、グラデーション画像とした例である。即ちボール軌道画像の背景には、特に意味のある画像を配置せず、単に濃淡が横方向に変化していくのみの画像としている。

ボール背景抽出保持部６５では、例えばこのグラデーション背景データのような抽象的な背景画像を保持しておき、ボール軌道画像の合成時に、背景画像データとしてレイヤー処理部３に受け渡すようにすることで、多様な合成画像を得ることができる。
当然図１４の例は一例に過ぎず、グラデーションの濃淡方向が異なる背景画像、モノトーン画像、赤色、青色などの一色の画像、多様な色や形状で形成した幾何学模様の画像などをボール軌道画像の背景に用いても良い。
また雨、雪、晴天のイメージ画像や実写画像、宇宙空間、海、山の画像などのイメージを示すアニメーション画像或いは実写画像、多数の観客のアニメーション画像や実写画像など、現実の撮像時には見られない背景画像を合成するようにしてもよい。

即ち実際のゴルフスイングの撮像時には得られない画像をボール軌道画像の背景として用いて移動体付き動作推移画像を生成する。
これにより、移動体付き動作推移画像として、娯楽性の高いおもしろみのある画像を生成することができる。
また背景にモノトーンやグラデーションなどの表現を用いることによっては、ボール軌道画像の視認性を向上させるという効果もある。

なお、抽象的な背景画像は、予め各種の抽象画像をボール背景抽出保持部にプリセットさせておき、どの画像を背景として用いるかユーザが選択できるようにするとよい。
またユーザが任意の画像を入力し、ボール背景抽出保持部に記憶させることで、ユーザが任意の画像をボール軌道画像の背景に利用できるようにしてもよい。
また、図１４の例はボール軌道画像の背景について、実際の撮像時の背景と異なる画像を用いるようにしたが、動作推移画像の部分、即ちゴルフスイングを行っている被写体人物の背景についても、上記のようなフレーム画像データに存在しない抽象的な背景画像を用いることも考えられる。

＜４．第３の実施の形態＞

第３の実施の形態を説明する。第３の実施の形態の画像処理装置１の構成や処理も、上記第１の実施の形態のものとほぼ同様であるため、異なる点のみ述べる。

図１５は第３の実施の形態で生成される移動体付き動作推移静止画の例を示している。
この第３の実施の形態は、ボール軌道画像自体を、フレーム画像データに存在するボールの実写画像以外の画像、例えば抽象画像を用いて生成する例である。

ボール軌道画像生成部６における画像合成部６３は、ボール軌道予測部６２で推定されたボール軌道に基づいてボール軌道画像データを生成する。
上記第１の実施の形態の例では、例えばボールの実写画像を、ボール軌道に沿って配置していくことで、多数のボール画像でボール軌道を表現した。
これに対して第３の実施の形態は、ボールの実写画像を用いず、或いは一部のみ用いても良いが、実際のボール画像以外の画像でボール軌道を表現する。例えばボールを示すシンボルマーク画像、ボールのアニメーション画像、ボール軌道自体のイメージ画像などである。
例えば図１５の例は、ボールを示す画像（実写或いはアニメーションのボール画像）が、空間を切り裂いて炎を上げながら飛んでいくような画像とした例である。
これ以外に、例えばレーザビームのような画像、虹色の線、波線、円を描きながら進む線の画像などでボール軌道画像データを生成してもよい。
またボールとして、星形、三角形、四角形などの図形、或いはボール以外の物の画像を用い、これがボール軌道に沿って配置されるような画像も考えられる。

これらのように、画像合成部６３は、抽象的な画像を用いてボール軌道画像データを生成する。これをレイヤー処理部３に受け渡して、動作推移画像と合成することで図１５のような移動体付き動作推移画像が生成できる。
このように抽象的な画像でボール軌道画像データを生成することで、おもしろみのある画像、迫力の或る画像など、娯楽性の高い多様な合成画像を生成できる。ボール軌道を強調することで軌道が分かりやすい画像とすることもできる。

なお、ボール軌道表現のための抽象的な画像は、画像合成部６３が予め各種の抽象画像を保持しておき、どの画像を用いるかユーザが選択できるようにするとよい。
またユーザが任意の画像を入力し、画像合成部６３に記憶させることで、ユーザがボール軌道表現のために任意の画像を利用できるようにしてもよい。
また、上述した第２の実施の形態の抽象的な背景画像と、抽象的なボール軌道画像をセットとして保持し、ユーザが任意のセットを指定できるようにしてもよい。

＜５．第４の実施の形態＞

第４の実施の形態を説明する。
この第４の実施の形態は、ボール軌道情報が外部から画像処理装置１に入力されるようにした例である。
例えば図４に示したボール情報入力部１４が、フレーム画像データ内のボール位置ではなく、ボール軌道情報が入力される部位となる

例えば既に撮像された一連のフレーム画像データについて、画像解析や軌道予測処理が図１の画像処理装置１の外部で実行される場合、画像処理装置１で合成を実行する際に、当該一連のフレーム画像データに対応するボール軌道情報が既に得られている場合が考えられる。その場合、ボール軌道情報が、ボール情報入力部１４から入力されるようにすればよい。
また、娯楽性を考えた場合は、必ずしも本来のボール軌道を示さなければならないものでもない。例えばボール軌道として、ボール軌道が波打っていたり、円を描きながら進むようなボール軌道を表現することも考えられる。そのように実際にはあり得ないようなボール軌道情報を、外部から画像処理装置１に入力できるようにしてもよい。

これらのように、ボール軌道情報がボール情報入力部１４から入力される場合、ボール軌道画像生成部６では、ボール座標計算やボール軌道の推定は行わず、その入力されるボール軌道情報によりボール（移動体）の移動軌道を判定し、それに応じてボール軌道画像データを生成すればよい。

そこで、図１６のような処理例が考えられる。
図１６において、ステップＦ１０２〜Ｆ１１０は、図１１のステップＦ１０２〜Ｆ１１０と同様であるため、これらの各ステップの説明は省略する。
この図１６の場合、ステップＦ１０１Ａでは、入力画選択部２がフレーム画像データと動被写体情報の取り込みを行う。なお、図１１のステップＦ１０１の場合のように、フレーム画像データの入力毎にボール情報を取り込むという処理は必要はない。

ステップＦ１０２でボールインパクト済みのフレームと判断されるまでの各フレーム画像データの取り込みに応じては、ステップＦ１０３〜Ｆ１１０の処理で、図１１で説明したとおり、動作推移画像データを生成していく。

ステップＦ１０１Ａで取り込んだフレーム画像データが、ステップＦ１０２で、ボールインパクト済みのフレームであると判断されたら、処理はステップＦ１２０に進む。
ステップＦ１２０では、ボール軌道画像生成部６が、ボール情報入力部１４からボール軌道情報を取り込む。
そしてステップＦ１２１で、ボール軌道画像生成部６の画像合成部６３が、入力されたボール軌道情報に基づいて、ボール軌道画像データを生成する。
ステップＦ１２２では、画像合成部６３で生成したボール軌道画像をレイヤー処理部３に受け渡し、その時点で合成画像更新保持部５に保持されている動作推移画像データに合成する。
そしてステップＦ１２３で、レイヤー処理部３で生成された合成画像、即ち移動体付き動作推移静止画が、画像出力部４で保持され、ステップＦ１１９で、当該移動体付き動作推移画像静止画が出力デバイス４０で出力される。

このように、外部から入力されるボール軌道情報を用いてボール軌道画像データを生成し、動作推移画像データと合成するようにしても良い。
この場合のボール軌道画像データでは、第１の実施の形態のように、フレーム画像データに存在するボール画像をボール軌道情報に応じて配置してボール軌道画像データを生成し、図３のような合成画像が生成されるようにすれば良い。また第３の実施の形態のように抽象的なボール軌道画像を生成して図１５のような合成画像を生成してもよい。
なお、図３のようにフレーム画像データから抽出したボール画像を用いる場合は、ステップＦ１０１Ａを図１１のステップＦ１０１の処理に代え、ボール軌道画像生成部６がフレーム画像データに対応するボール情報を入力するようにし、そのボール情報に基づいて或るフレーム画像データからボール画像を抽出するようにするとよい。

＜６．第５の実施の形態＞

第５の実施の形態を説明する。先の第１の実施の形態では、動作推移画像は、一連のスイングフォームにおけるインパクトまでの動被写体画像を並べたものであった。
第５の実施の形態は、インパクト後の動被写体画像も並べて、例えばスイングのフォロースルーまでをも表現できるようにする。そしてその上で、ボール軌道画像も表現するものである。

移動体付き動作推移画像の例を図１７に示す。図示のように画面の上段左から下段右までの全域を用いて、スイングフォームを表現する。
その上で、例えばインパクトの瞬間の画像におけるボール位置を起点として、ボール軌道画像を重畳する。

このような移動体付き動作推移静止画を生成するための処理を図１８で説明する。なお、画像処理装置１の構成は図４と同様である。
ステップＦ２０１は、入力画選択部２が、合成処理の対象とする一連のフレーム画像データの全ての取り込みが終了したか否かを判断する。
最初のフレーム画像データの取り込みから、最後のフレーム画像データの取り込みまでの、各フレーム画像データの取り込み時点では、ステップＦ２０１からＦ２０２に進んで、入力画選択部２がフレーム画像データの取り込みを行うこととなる。
入力画選択部２には、画像入力部１０から時間的に連続するフレーム画像データが供給される。入力画選択部２は、１枚のフレーム画像データが供給されるたびにステップＦ２０２で、そのフレーム画像データと、動被写体情報生成部１１（又は動被写体情報入力部１２）からフレーム画像データに対応する動被写体情報を取り込む処理を行う。また同時に、ボール軌道画像生成部６は、フレーム画像データと、ボール移動情報生成部１３（またはボール移動情報入力部１４）からフレーム画像データに対応するボールの移動情報を取り込む処理を行う。

ステップＦ２０３では、今回取り込んだフレーム画像データが、ボールインパクト済みの画像のフレームであるか否かを判断する。つまり移動体（ボール）が移動を開始した後の画像であるか否かの判断である。
そしてボールインパクト済みのフレームでなければ、ステップＦ２０９に進む。
ステップＦ２０９〜Ｆ２１６の処理は、上記図１１のステップＦ１０３〜Ｆ１１０と同様であり、各ステップの重複説明は避ける。この図１８の場合、まず、ゴルフクラブヘッドがボールに当たるインパクトの瞬間までの画像の各フレーム画像データの取り込み時点では、ステップＦ２０９〜Ｆ２１６でキーフレームの動被写体画像や背景を用いた動作推移画像が生成されていく。

ある時点で、入力画選択部２に入力されたフレーム画像データがボールインパクトタイミング以後の画像となる。その場合は、処理はステップＦ２０３からＦ２０４に進む。ステップＦ２０４では、現在取り込んだフレーム画像データが、ボールがフレームアウトした後１フレーム経過済みのフレーム画像データであるか否かを判断する。
例えば図５の例で説明すれば、ボールインパクト直後からフレームアウトした最初のフレームとして、フレームＦＲ２２〜ＦＲ２５までの取り込みの際に、ステップＦ２０５〜Ｆ２０８の処理が行われることになる。

ステップＦ２０５〜Ｆ２０８の処理は、図１１のステップＦ１１１〜Ｆ１１４と同様である。
従って、例えば図５でいうフレームＦＲ２２〜ＦＲ２５までの取り込みの際には、次のように処理が行われる。
例えばインパクト直後のフレーム画像データとしてフレームＦＲ２２が入力された時点で、処理はステップＦ２０５に進む。この場合、まずボール座標計算部６１でフレームＦ２２内のボール座標が計算される。この場合のボール軌道は、フレームＦＲ２１以前までの静止していた位置座標と、今回のボール位置座標を結ぶ軌道がステップＦ２０６でボール軌道情報とされる。
そしてこの軌道情報に応じた画像がステップＦ２０７で画像合成部６３で生成され、ステップＦ２０８で、ボール軌道画像保持部６４で保持される。
その後ステップＦ２０９に進む。
この場合、当該フレームＦＲ２２がキーフレームとされるのであれば、このフレームＦ２２の動被写体画像を用いてステップＦ２１０〜Ｆ２１６の処理が行われる。つまり引き続き動作推移画像の合成が進められていく。当該フレームＦＲ２２がキーフレームとされなければ、ステップＦ２０１に戻って、次のフレーム画像データの取り込みを行う。

次のフレーム画像データとしてフレームＦＲ２３が取り込まれた場合も、同様に処理が進む。
即ちステップＦ２０５でボール位置の座標が計算され、ステップＦ２０６で先のボール軌道と、今回の座標により、ボール軌道が予測される。そして軌道に応じた画像がステップＦ２０７，Ｆ２０８で生成、保持される。そしてステップＦ２０９に進む。フレームＦＲ２３がキーフレームであれば、ステップＦ２１０〜Ｆ２１６も行われる。
さらに次のフレームＦＲ２４が入力された際も同様である。

その後、フレームＦＲ２５として、既にボールがフレームアウトした画像が入力されたときも、ステップＦ２０５〜Ｆ２０８は実行される。但しこのときはボール画像は存在しないことがボール情報から判定され、ステップＦ２０５の座標計算は行われない。そしてこの場合、ステップＦ２０６では、前回までに判定したボール起動から、以降のボール起動を推定する。
この推定は、それまでのボール軌道を直線的に延長させるようにすればよい。また例えばフレームＦＲ２１，ＦＲ２２間や、ＦＲ２２，ＦＲ２３間でのボールの座標値と、各フレーム間隔の時間から、ボールの速度を推定できるから、ボールの速度を考慮して、速度に応じた放物線上の軌道を推定しても良い。
さらに、インパクト時点の画像から、クラブヘッドとボールのあたり具合を解析して、ボール軌道を推定することも可能である。

このように、ボールがフレームアウトした後のフレーム画像データの入力が検知された場合は、過去の座標等に基づいてボール軌道を推定する。そして推定した軌道に応じたボール軌道画像データがステップＦ２０７，Ｆ２０８で生成、保持される。例えば前回のフレーム画像データに含まれていたボール画像を、推定したボール軌道に沿って配置していくことでボール軌道画像データを生成する。
そしてステップＦ２０９に進む。フレームＦＲ２５がキーフレームであれば、ステップＦ２１０〜Ｆ２１６も行われる。

続いて、フレームＦＲ２６が入力された際も、処理はステップＦ２０３からＦ２０４に進むが、この時点で、ボールがフレームアウトした後１フレーム経過済みと判断されるため、ステップＦ２０５〜Ｆ２０８は行われずにステップＦ２０９に進む。フレームＦＲ２６がキーフレームであれば、ステップＦ２１０〜Ｆ２１６も行われる。
その後の、フレームＦＲ２７以降の入力の際も、同様となる。

その後、一連のフレーム画像データの全ての取り込みが終了したら、処理はステップＦ２０１からＦ２１７に進む。
この時点で、一連のフレーム画像データの各キーフレームを用いた動作推移画像は合成されている。例えば図１７におけるテイクバックからインパクトを経てフォロースルーまでのスイング過程の画像が並べられた動作推移画像である。これが画像出力部４及び合成画像更新保持部５に保持されている状態である。
但しこの時点では、まだ動作推移画像に対してボール軌道画像は合成されていない。
そこでステップＦ２１７では、動作推移画像にボール軌道画像を合成する処理を行う。即ち先にステップＦ２０５〜Ｆ２０８の処理で生成され、ボール軌道画像保持部６４に保持されているボール軌道画像データを、レイヤー処理部３に受け渡す。レイヤー処理部３では、合成画像更新保持部５に保持している最新の動作推移画像データと、ボール軌道画像データの合成処理を行う。
なお、このときボール軌道画像が、動作推移画像よりも優先して表示されるように合成を行う。
これによって例えば図１７に示すような移動体付き動作推移静止画のデータが形成される。

合成された画像データはステップＦ２１８で画像出力部４に転送され、記憶保持される。そしてステップＦ２１９で画像出力部４は、その時点で保持している合成画像データ（即ち図１７の状態の合成画像データ）を、移動体付き動作推移静止画データとして出力デバイス４０に出力する。
これにより本例の画像処理装置１によって、１枚の移動体付き動作推移静止画データが生成され、出力されたことになる。

このように第５の実施の形態では、画像処理装置１は、順次所定の方向に並んで配置された複数の動被写体画像に重畳して、移動体（ボール）の画像が配置されるように、ボール軌道画像データと動作推移画像データの合成処理を行う。
これによって、図１７のように、動被写体画像の数が多く、スイングフォーム等がより広い時間幅で表現された動作推移画像を得ると共に、それに応じたボール軌道を表現する画像が得られることとなる。
これによって動作推移画像の的確詳細な表現と、ボール軌道画像による表現、さらにはおもしろみのある表現の画像を実現できる。
なお、この場合も、第３の実施の形態のように、ボール軌道画像を抽象的な画像で表現することで、娯楽性の高い合成画像を作成することも可能である。

一方、この第５の実施の形態の場合、動作推移画像とボール軌道画像が重複するため、場合によっては、双方の画像が見づらくなることもあり得る。
そこで、重畳部分で一方の画像を目立たなくするようにしてもよい。
例えば図１９では、インパクト以降の動被写体及び背景の画像を破線で示しているが、例えばこの破線部分は、実際にはモノクロ画像、グレーアウト画像などとする。即ちインパクト以降のキーフレームについては、例えばステップＦ２１２のレイヤー加工の処理で、モノクロ画像やグレーアウト画像などに加工したうえで、ステップＦ２１３のレイヤー合成処理を行う。
このようにすることで、重複による見にくさを解消し、ボール軌道が明確にわかるような移動体付き動作推移静止画とすることもできる。

＜７．第６の実施の形態＞

第６の実施の形態を説明する。この第６の実施の形態は、上記第５の実施の形態と同様に移動体付き動作推移静止画を出力した後のユーザの操作に応じた処理として説明する。但し、第１の実施の形態で移動体付き動作推移静止画を出力した後のユーザの操作に応じた処理としても適用できる。

例えば先に図１７に示したような移動体付き動作推移静止画が生成され、出力デバイス４０としての表示装置に表示されたとする。
これに対してユーザが、図２０に示すように、或る特定のフレームの移動体画像を指定する操作入力を行う。この操作は、表示装置にタッチパネル機能があれば、指等によるタッチ入力とすればよい。また画面上で移動させるカーソル、マウスポインタなどを操作して指定入力するものとしてもよい。またリモートコントローラ、ハードウェアキーなどの操作手段を用いて指定できるようにしても良い。いずれにしてもユーザが、表示された動作推移画像において並んで表示されている任意の動被写体画像を指定できるものであればよい。
ユーザが或る動被写体画像を指定したら、図２１のように、その動被写体画像を拡大し、かつボール軌道画像を合成した合成画像を生成して出力する。

このような動作を実現するため、画像処理装置１は図２２の構成とする。なお、図４と同一部分は同一符号を付し、説明を省略する。図２２において図４と異なるのは、任意フレーム指定部７が設けられている点である。
任意フレーム指定部７は、ユーザの操作入力を検知し、指定された動被写体を特定してレイヤー処理部３に通知する。
この任意フレーム指定部７は、上記のタッチパネル入力、マウスポインタ入力、リモートコントローラ入力等を検知し、ユーザの指定した動被写体画像を判定する部位とされる。

画像処理装置１は、このような構成において、図２３の処理を実行する。
なお図２３のステップＦ２０１〜Ｆ２１９は第５の実施の形態の図１８の処理と同様としている。この第６の実施の形態では、ステップＦ２２０以降で、上記のような拡大表示を行う。
ステップＦ２０１〜Ｆ２１９の処理により、例えば図１７のような移動体付き動作推移静止画が生成され、表示出力される。
この表示に対して、図２０のようにユーザは例えばタッチ操作で指定操作を行うことができる。ステップＦ２２０では、任意フレーム指定部７がユーザの指定入力を検知する。例えば画面上の指定位置の座標を、移動体付き動作推移静止画の座標に対応させ、どのフレーム画像データ（キーフレーム）の動被写体画像を配置した領域が指定されたかを判定する。そして任意フレーム指定部７は、判定したキーフレームのナンバをレイヤー処理部３に通知する。

レイヤー処理部３はステップＦ２２１の処理として、指定されたフレームナンバの画像の拡大処理を行う。
即ちレイヤー処理部３は、合成画像更新保持部５に保持されている動作推移画像のうちで、指定されたフレームの動被写体画像を切り出し、レイヤー加工部３２で拡大処理を行う。
さらにステップＦ２２２でレイヤー処理部３はボール軌道画像の合成処理を行う。即ち、ボール軌道画像保持部６４に保持されているボール軌道画像データを受け取り、このボール軌道画像データと、レイヤー加工部３２で拡大処理した指定フレームの動被写体画像をレイヤー合成部３３で合成する。そして合成した画像データを画像出力部４に供給する。
画像出力部４は、ステップＦ２２３で、供給された合成画像を記憶保持する。そしてステップＦ２２４で当該合成画像を出力デバイス４０、例えば表示装置に供給し、表示出力させる。これによって図２１のような、拡大されたキーフレームとボール軌道画像が合成された合成画像が表示されることになる。

このように第６の実施の形態では、順次所定の方向に並んで配置された複数の動被写体画像のうちで一の動被写体画像を指定する指定部として任意フレーム指定部７を備えるようにする。そしてレイヤー処理部３では、そのフレームの動被写体画像を拡大した上で、ボール軌道画像と合成する。この合成画像を出力することで、ユーザは、任意の動被写体画像とボール軌道画像が表現された画像を得ることができる。
これによって、動作推移画像のうちで気に入ったタイミング（ポーズ）の画像と、ボール軌道画像をあわせて、新たな画像を作成することができ、動作推移画像の利用可能性を高めることができる。例えばユーザにとって、最も好ましいポーズでボールを打ち出しているような画像が容易に作成できるものとなる。

なお、拡大する際の背景画像については指定されたフレームの背景画像をそのまま用いてもよい。即ち指定されたフレームについては、動被写体部分だけでなく背景部分も含めて拡大し、その上にボール軌道画像が重畳されるように合成すればよい。
また、背景画像はフレームから抽出せず、第２の実施の形態で説明したような抽象的な背景を用いて図２１の合成画像を生成してもよい。

また、以上の説明では、図２３のステップＦ２１９では、図１７のように動作推移画像とボール軌道画像が重複して合成された合成画像をユーザに提示して、ステップＦ２２０でユーザが任意のフレームを指定できるようにした。これ以外に、第１の実施の形態における図３のように、動作推移画像とボール軌道画像が重複していない合成画像をユーザに提示した状態で、ユーザが任意のフレームを指定し、それに応じて指定されたフレームの拡大画像とボール軌道画像を合成して図２１のような合成画像を生成、出力することも当然可能である。
また、例えばステップＦ２１９の段階では、ボール軌道画像がまだ合成されていない状態の動作推移画像を提示し、ユーザに任意のフレームを選択させ、その後、ステップＦ２２１〜Ｆ２２４の処理で、図２１のような合成画像を生成、出力することも考えられる。

＜８．第７の実施の形態＞

第７の実施の形態を説明する。第７の実施の形態は、移動体付き動作推移静止画のレイアウトをユーザが調整したり、或いは好適なレイアウトに自動調整されるようにする例である。なお、この実施の形態の場合、前提として動被写体画像とボール軌道画像は重複されず、第１の実施の形態のように、順次所定の方向に並んで配置された複数の動被写体画像の最後の動被写体画像に続く画像領域に、ボール軌道画像が配置されるようにするものである。

画像処理装置１の構成を図２４に示す。なお、図４と同一部分は同一符号を付し、説明を省略する。図２４において図４と異なるのは、図４の構成に加えて、動被写体表示終点指定部８１、ボール軌道表示始点指定部８２、予備キーフレーム保持部９、予備キーフレーム判定部２３が設けられている点である。

動被写体表示終点指定部８１は、ユーザの操作入力を検知し、指定された動被写体を特定して入力画選択部２に通知する。
この動被写体表示終点指定部８１は、例えばタッチパネル入力、マウスポインタ入力、リモートコントローラ入力、ハードウエアキー入力、通信入力等を検知し、ユーザの指定した動被写体画像を判定する部位とされる。

ボール軌道表示始点指定部８２は、ユーザの操作入力を検知し、指定された画像上の領域を特定して入力画選択部２に通知する。
このボール軌道表示始点指定部８２も、例えばタッチパネル入力、マウスポインタ入力、リモートコントローラ入力、ハードウエアキー入力、通信入力等を検知し、ユーザの指定した画像上の位置を判定する部位とされる。

これらの動被写体表示終点指定部８１とボール軌道表示始点指定部８２は、最終的に動作推移画像とボール軌道画像が合成された画像出力をする際に、画面の何分の一の領域をボール軌道表現に用いるかを設定（ボール軌道表示始点選択部８２）することや、スイングフォーム全体のうち、どこまでのスイング動作を表現するかを設定（動被写体表示終点選択部８１）することを可能とする。

予備キーフレーム判定部２３は、入力画選択部２の機能として設けられる。この予備キーフレーム判定部２３は、例えばキーフレーム判定部２１で判定されるキーフレームを含め、より多数のフレームを予備キーフレームとして判定する処理を行う。
予備キーフレーム保持部９は、予備キーフレーム判定部２３で予備キーフレームと判定されたフレーム画像データを、記憶保持する。
この予備キーフレーム判定部２３と予備キーフレーム保持部９は、動被写体表示終点指定部８１とボール軌道表示始点指定部８２に対するユーザーの入力に基づき、ボール軌道を含む動作推移静止画を再構成する際に、予備的な画像フレームが必要になることがあるため、あらかじめ候補となる予備キーフレームを判定、保存しておく機能である。
例えば後に図２８や図２９を用いて説明するが、例えばスイングフォームの比較的早い段階の時点までの動作推移を適切に配列して表現する際などに対応するために、予備キーフレーム判定は通常のキーフレーム判定よりも頻度は高い。

図２５のフローチャートを用いて一連の処理の流れを説明する。
なお、図２５のステップＦ２０１〜Ｆ２１９における各ステップの基本的な処理は図１８のステップＦ２０１〜Ｆ２１９と同様であるため、詳細な説明は避ける。但しこの図２５の場合、ステップＦ２０９の前にステップＦ２３０，Ｆ２３１が加わることや、図１８のステップＦ２１７、Ｆ２１８が必要ない（但し実行してもよい）ことが異なる。この点を踏まえて図２５の処理を説明する。

入力画選択部２には、画像入力部１０から時間的に連続するフレーム画像データが供給される。入力画選択部２は、処理対象とする一連のフレーム画像データの全ての取り込みが終了したとステップＦ２０１で判断するまでは、１枚のフレーム画像データが供給されるたびにステップＦ２０２でそのフレーム画像データと、動被写体情報生成部１１（または動被写体情報入力部１２）からフレーム画像データに対応する動被写体情報を取り込む処理を行う。また同時に、ボール軌道画像生成部６は、ボール情報生成部１３（またはボール情報入力部１４）からフレーム画像データに対応するボール情報を取り込む処理を行う。

ステップＦ２０３とステップＦ２０４において、ボールが打ち出されたと判断され、且つボールがフレームアウト後１フレーム経過済みではないと判断されている間においては、ステップＦ２０５〜Ｆ２０８においてボール座標計算、ボール軌道予測、前回のボール軌道画像に合成、ボール軌道画像保持が行われる。

ステップＦ２０９〜Ｆ２１６においては、動作推移画像生成を行うが、先に説明した図１８等の処理との処理の違いは、ステップＦ２３０で予備キーフレーム判定を行う、ステップＦ２３１で予備キーフレーム保持を行うことである。
予備キーフレーム判定部２３は、通常のキーフレームを含め、それ以外のフレームも予備キーフレームと判断する。一例として、キーフレーム判定部２１が例えば４フレームおきのフレーム画像データをキーフレームとする場合、予備キーフレーム判定部２３は、２フレームおきのフレーム画像データを予備キーフレームと判定するなどとなる。

予備キーフレームは通常のキーフレームを包含しているので、ステップＦ２３０で予備キーフレームでないと判定されたフレームが取り込まれた際の処理では、自動的にキーフレームでないとされ、ステップＦ２３１だけでなく、ステップＦ２０９〜Ｆ２１６もスキップしてステップＦ２０１に戻ることとなる。

ステップＦ２３０で予備キーフレームと判定された場合、ステップＦ２３１で予備キーフレーム保持部９で、現在のフレーム画像データが予備キーフレームとして保持される。
その後、ステップＦ２０９でキーフレーム判定がされ、キーフレームであると判別された場合はステップＦ２１０〜Ｆ２１６で、図１８等の場合と同様に動作推移画像生成を行う。

その後、ステップＦ２０１において全フレームが取り込み終了したと判断されたら、ステップＦ２１９に進み、画像出力部４がその時点で保持している動作推移静止画の出力を行う。
この場合は、例えば図２６（ａ）のように、まだボール軌道画像が合成されていない合成画像を出力する。例えばフレームＦＲ１〜ＦＲ（ｎ）としての各キーフレームから抽出された動被写体画像が並べられた動作推移画像である。

但し、ステップＦ２１９の時点で、ボール軌道画像が合成された動作推移画像を出力するようにしてもよい。例えばボールがフレームアウトしたフレームの処理の時点でステップＦ２０７で生成され、ステップＦ２０８で保持されているボール軌道画像データを、レイヤー処理部３に転送し、ステップＦ２１３で合成してもよい。或いは図１８の場合と同様に、ステップＦ２１９の直前に、図１８のステップＦ２１７，Ｆ２１８を実行して、ボール軌道画像を動作推移画像に合成してもよい。
いずれにしても本実施の形態の場合は、ステップＦ２１９では、少なくともキーフレームの合成により生成された動作推移画像が含まれていればよい。

また、この実施の形態の場合、ステップＦ２１９での出力時点では、図２６に示すように、例えば「終点とする画像を選択して下さい」というようなユーザに対するメッセージを表示させることが好適である。

画像処理装置１はステップＦ２４０では、動被写体表示終点指定部８１、ボール軌道表示始点指定部８２によるユーザ入力の検知を行う。
例えば図２６（ａ）のような表示出力において、ユーザの入力を待機する。
これに対して、図２６（ｂ）に示すように、ユーザがタッチパネル操作等により、或る動被写体（フレームＦＲ（Ｐ１））を指定したとする。
動被写体表示終点指定部８１は、この指定入力を検知し、入力画選択部２に、動作推移画像の終点としてフレームＦＲ（Ｐ１）が指定されたことを伝える。

また、続いて画像出力部４は、図２７（ａ）のように、ボール軌道表示の始点の指定を求める画像を、出力デバイス４０（表示装置）に表示させる。
図２７（ａ）では、合成画像の２段の枠を示す画像と「ボール軌道表示の始点を指定して下さい」というメッセージ表示を含む画像を示している。例えば入力画選択部２は、動被写体表示終点指定部８１からの終点指定の情報を受け取ったら、画像出力部４に、この図２７（ａ）のような画像を出力するように指示し、これに応じて画像出力部４が当該指定のための画像データを出力デバイス４０に供給する。
なお、ボール軌道表示始点指定のための画像は図２７（ａ）のような態様に限られるものではない。例えば図２６（ａ）の動作推移画像を表示したまま、メッセージ文字のみを変更するものであってもよい。

例えばこの図２７（ａ）のような表示に対して、ユーザは、タッチパネル操作等により、画像上の領域を指定する。図２７（ｂ）はユーザが下段の左端に近い部分（下段の横方向に１／３あたりの位置）を指定した例、図２７（ｃ）にはユーザが下段の右端に近い部分（下段の横方向に３／４あたりの位置）を指定した例を示している。
ユーザが位置を指定する入力を行ったら、ボール軌道表示始点指定部８２がそれを検知し、指定した画像内の位置の情報（例えば座標、或いはその位置に配置された被写体画像のフレームのナンバ）を入力画選択部２に伝える。
以上の例のように、ユーザによる動被写体表示終点と、ボール軌道表示始点のユーザ指定を検知する処理が、ステップＦ２４０で実行される。

ステップＦ２４１では、入力画選択部２のキーフレーム判定部２３が、動作推移画像として表示するキーフレームを自動選択する。これは今回指定された動被写体表示終点と、ボール軌道表示始点を考慮して、予備キーフレーム保持部９に保持されている予備キーフレームの中から、必要数のフレームをキーフレームとして再選択する処理である。自動選択の具体例は後述する。

そしてキーフレームを自動選択したら、ステップＦ２４２〜Ｆ２４９で、選択したキーフレームを用いて動作推移画像の再合成を行う。
ステップＦ２４３の座標計算、ステップＦ２４４のレイヤー分離、ステップＦ２４５のレイヤー加工、ステップＦ２４６のレイヤー合成、ステップＦ２４７の前回合成画像に合成、ステップＦ２４８の合成画像保持、ステップＦ２４９の前回合成画像更新は、ステップＦ２１０〜Ｆ２１６と同様の処理である。
即ちこの場合は、再選択した複数のキーフレームを、順次、予備キーフレーム保持部９から１フレームづつ読み出してステップＦ２４２〜Ｆ２４９の処理を実行し、動作推移画像を生成していくこととなる。
従って、新たに自動選択したキーフレームの全てについてステップＦ２４２〜Ｆ２４９の処理を行い、ステップＦ２４２で自動選択キーフレームの合成が完了したと判断される時点で、新たに自動選択キーフレームによる動作推移画像が生成され、画像出力部４及び合成画像更新保持部５に保持されていることとなる。

そこで処理をステップＦ２５０に進め、その時点の動作推移画像にボール軌道画像を合成する。この場合、ボール軌道画像保持部６４に保持されているボール軌道画像データをレイヤー処理部３に受け渡す。レイヤー処理部３は、合成画像更新保持部５に保持されている最新の動作推移画像データと、供給されたボール軌道画像データを用いて合成処理を行い、移動体付き動作推移静止画を生成する。
なお、この場合、ボール軌道画像は、ユーザが指定したボール軌道表示始点から配置されるようにする。このためボール軌道画像の長さも調整することとなる。

ボール軌道画像を合成し、移動体付き動作推移静止画が生成されたら、ステップＦ２５２で、移動体付き動作推移静止画データが画像出力部４で保持される。そしてステップＦ２５２で、画像出力部４が出力デバイス４０に移動体付き動作推移静止画データを供給し、出力させる。
例えば図２８（ａ）や図２８（ｂ）のようなボール軌道画像とスイングフォームの動作推移画像が合成された合成画像が出力される。

ここでステップＦ２４１におけるキーフレーム自動選択について具体例を説明する。
まず、結果として図２８（ａ）のような合成画像が出力される場合について述べる。これは、ユーザが図２６（ｂ）のように終点とする画像としてフレームＦＲ（Ｐ１）を指定し、かつ図２７（ｂ）のように、ボール軌道始点として下段の約１／３の位置を指定した場合となる。

例えば当初は一連のフレーム画像データのうちで、２２個のキーフレームが選択されることで、ステップＦ２１９の段階で図２６（ａ）のように２２個の動被写体が並べられた動作推移画像が表示される。即ち図２６のフレームＦＲ（ｎ）は、一連のフレームの中から２２番目のキーフレームとして選択されたフレームである。
これは、図示のように、上段、下段にそれぞれ１１個づつ動被写体が配置される場合の例である。

ここで図２６（ｂ）のようにユーザが表示最終フレームとして指定したフレームＦＲ（Ｐ１）は、この図２６（ｂ）の動作推移画像においては、１９番目のキーフレームである。
一方、図２７（ｂ）のように、ボール軌道始点として下段の約１／３の位置をユーザが指定した場合、その位置からボール軌道画像を配置する。そして本実施の形態の場合、前述したように、動作推移画像とボール軌道画像は重複させない。
すると、ボール軌道画像の始点位置のあたりに表示最終フレームとして指定されたフレームＦＲ（Ｐ１）を配置することとなる。この始点位置は、図２６（ａ）の画像でいえば１５番目のキーフレームＦＲ（ＳＰ１）の配置位置に相当する。
つまり、当初１９番目のキーフレームとしたフレームＦＲ（Ｐ１）を、最終的に生成される図２８（ａ）では１５番目のキーフレームとして動作推移画像を生成することとなる。
従ってこの場合、ステップＦ２４１でキーフレームを再選択する際には、当初１９番目に選択したキーフレームが、今度は１５番目に選択されるように、キーフレーム数を調整してキーフレームを選択するものとなる。
この例の場合は、最初にステップＦ２０９〜Ｆ２１０の処理でキーフレームとして用いた２２個のフレームうちの、さらにフレームＦＲ１〜ＦＲ（Ｐ１）までの１９個のキーフレームのうちで、フレームＦＲ（Ｐ１）を含めて１５個のフレームを選択することとなる。これは、フレームＦＲ１〜ＦＲ（Ｐ１）までの１９個のキーフレームのうちで４フレームを間引いても良いし、或いは、予備キーフレーム保持部９で保持されている多数のフレームを用いて、フレームＦＲ（Ｐ１）に至る１５個のフレームを選択してもよい。

このように再選択した１５個のキーフレームに対してステップＦ２４３〜Ｆ２４９の処理を行うことで、図２８（ａ）の画像における動作推移画像の部分が生成できる。
そして１５個のキーフレームについて合成処理を終えたら、ステップＦ２５０でボール軌道画像を合成する。この場合、画像上の残りの下段約２／３の領域にボール軌道画像が配置されるように合成する。
結果として、図２８（ａ）のように、ユーザの動被写体表示終点、ボール軌道表示始点の指定応じたレイアウトの移動体付き動作推移静止画が生成されることとなる。

次に、結果として図２８（ｂ）のような合成画像が出力される場合について述べる。これは、ユーザが図２６（ｂ）のように終点とする画像としてフレームＦＲ（Ｐ１）を指定し、かつ図２７（ｃ）のように、ボール軌道始点として下段の約３／４の位置を指定した場合となる。

この場合も、図２６（ｂ）のようにユーザが表示最終フレームとして指定したフレームＦＲ（Ｐ１）は、この図２６の動作推移画像においては、１９番目のキーフレームである。
一方、図２７（ｃ）のように、ボール軌道始点として下段の約３／４の位置をユーザが指定した場合、その位置からボール軌道画像を配置する。このため、ボール軌道画像の始点位置のあたりに表示最終フレームとして指定されたフレームＦＲ（Ｐ１）を配置することとなるが、この始点位置は、図２６（ａ）の画像でいえば２０番目のキーフレームＦＲ（ＳＰ２）の配置位置に相当する。
つまり、当初１９番目のキーフレームとしたフレームＦＲ（Ｐ１）を、最終的に生成される図２８（ｂ）では２０番目のキーフレームとして動作推移画像を生成することとなる。
従ってこの場合、ステップＦ２４１でキーフレームを再選択する際には、当初１９番目に選択したキーフレームが、今度は２０番目に選択されるように、キーフレーム数を調整してキーフレームを選択するものとなる。
この例の場合は、フレームＦＲ（Ｐ１）に至るキーフレームとして２０個のキーフレームを選択することとなる。これは、当初のキーフレームのみでは１フレーム足りない。そこで予備キーフレーム保持部９で保持されているフレームを用いて、フレームＦＲ（Ｐ１）に至る２０個のフレームを選択する。

このように再選択した２０個のキーフレームに対してステップＦ２４３〜Ｆ２４９の処理を行うことで、図２８（ｂ）の画像における動作推移画像の部分が生成できる。
そして２０個のキーフレームについて合成処理を終えたら、ステップＦ２５０でボール軌道画像を合成する。この場合、画像上の残りの下段約１／４の領域にボール軌道画像が配置されるように合成する。
結果として、図２８（ｂ）のように、ユーザの動被写体表示終点、ボール軌道表示始点の指定応じたレイアウトの移動体付き動作推移静止画が生成されることとなる。

以上のように、この第７の実施の形態の場合、順次所定の方向に並んで配置される複数の動被写体画像の最後の動被写体画像を指定する指定部として動被写体表示終点指定部８１を備える。
また、移動体の画像が配置される画像領域を指定する指定部として、ボール軌道表示始点指定部８２を備える。
そして、動被写体表示終点指定部８１で検知したユーザ指定による最後の動被写体画像までの動作推移画像データを生成するとともに、その最後の動被写体画像に続く画像領域に、移動体画像データによる移動体の画像が配置されるように合成処理を行う。
また、ボール軌道表示の始点は、ボール軌道表示始点指定部８２で検知したユーザ指定の位置とする。合成処理の際には、当該位置まで、複数の動被写体画像が並んで配置され、その最後の動被写体画像に続く画像領域に、ボール軌道画像が配置されるようにする。

このような実施の形態の動作によれば、ユーザが好みや目的に応じて、動作推移画像で表現する動作範囲や、ボール軌道画像の表示範囲を指定でき、ユーザの好み等に応じたレイアウトの合成画像が提供できる。
また、動作推移画像とボール軌道画像のレイアウトによって、よりバランスの良好な画像を実現できることにもなる。

なお、ユーザの指定入力の方式は多様に考えられる。図２６，図２７のような画面上のタッチ操作でも良いし、マウス、リモートコントローラによる操作でも良い。
また、画面上でフレームや位置を指定するのではなく、メニュー方式の指定も考えられる。
例えば動被写体表示終点の指定メニューとして、「テークバック」「インパクト」「フォロースルー」等の項目を選択できるようにし、ユーザに指定させる。入力画選択部２は、該当するフレームを判断して、それを動被写体表示終点のフレームとしても良い。
また、ボール軌道表示始点では、「下段左側」「下段中央」「下段右側」などの項目で選択可能としたり、画面上で位置に応じた数値を表示し、その数値を入力するような指定方式でも良い。或いは表示するボール画像の数、ボール軌道の長さなどを指定入力する方式でも良い。

また、動作推移画像とする動被写体の範囲の指定として、終点フレームだけでなく、始点フレームも指定できるようにしてもよい。
同様に、ボール軌道表示の範囲として始点位置だけでなく終点位置も指定できるようにしても良い。
また、動被写体範囲やボール軌道表示範囲の各種設定をプリセットしておき、ユーザがプリセット設定から選択するという方式も考えられる。

ところで、ユーザの指定に加えて、好適な画像を実現するための自動調整が行われるようにしても良い。
例えば、ユーザが図２６（ｂ）の上段右端のフレームＦＲ（Ｐ２）を動被写体表示終点として指定したとする。さらに、図示しないがボール軌道表示始点を下段左端を指定したとする。
そのままでは、上記処理によれば、図２９（ａ）のような合成画像が生成されることとなる。ユーザが敢えてこのような画像を欲したのであればよいが、そうでないことも多々ある。例えばユーザが操作に詳しくない場合や、深く考えずに指定操作したような場合などである。その場合、動作推移画像とボール軌道画像が上段下段に分かれ、バランスの悪い画像や迫力のない画像としてなってしまう。
そこで、ある程度バランスの良い配置を予め設定しておき、配置レイアウトを自動調整する機能を持つようにしても良い。
例えば下段１／３までの領域を動作推移画像、下段の残りの２／３の領域でボール軌道画像などを、適切なレイアウトの例として設定しておく。そして、図２９のような画像が生成されることとなる指定操作が行われた場合は、当該設定に応じてボール軌道表示始点を下段１／３の位置に自動的に変更する。そして、それに応じて、指定されたフレームＦＲ（Ｐ２）が、その変更後のボール軌道表示始点近辺となるように、ステップＦ２４１でのキーフレーム選択を行う。
すると、図２９（ｂ）のような、動作推移画像とボール軌道画像のバランスの良い合成画像を生成できることとなる。

このようなレイアウト自動調整を行う機能を備えることで、比較的不慣れなユーザでも使いやすいものとできる。
実際には、ユーザの指定を受け付けた時点で、その指定のとおりに合成処理を行うと、バランスの悪い画像となると画像処理装置１が判断した場合に、当該自動調整機能を実行することが考えられる。
或いは、いったんはユーザの指定のとおりに画像合成処理を行って合成画像を提示する。ユーザーが、その合成画像を気に入らないと思って、調整の指示を行った場合に、当該自動調整機能が発動されて、再度調整された合成画像が生成されるようにすることも考えられる。

＜９．第８の実施の形態＞

第８の実施の形態を説明する。ここまで説明してきた実施の形態では、被写体人物が実際にゴルフスイングでボールを打った場面を撮像した一連のフレーム画像データに基づいて合成処理を行った例を述べた。つまり撮像画像のフレーム画像データにボールが被写体として存在する場合である。
一方で、被写体人物が実際にはボールを打たずに、素振りを行った場面を撮像した一連のフレーム画像データを用いて、ボール軌道画像を合成した移動体付き動作推移静止画を生成することも可能である。第８の実施の形態としては、このように素振り画像としてのフレーム画像データを用いた合成処理について述べる。

図３０に画像処理装置１の構成例を示す。図４と異なるのは、ボール情報生成部１３，ボール情報入力部１４が設けられないことと、ボール軌道画像生成部６内に、ボール座標計算部６１に代えて、画像解析部６６が設けられている点である。
画像解析部６６は、合成画像更新保持部５に保持されている動作推移画像を入力して、動被写体の動作を解析する。

図３１に、画像処理装置１の処理例を示している。
入力される一連のフレーム画像データは、被写体人物が素振りをしたときの画像である。
ステップＦ２０１では、入力画選択部２が、一連のフレーム画像データの取り込み終了を判断する。
一連のフレーム画像データが順次入力される時点では、入力画選択部２はステップＦ２０２Ａで、そのフレーム画像データの取り込み、及び動被写体情報の取り込みを行う。
そしてステップＦ２０９で、取り込んだフレーム画像データがキーフレームであるか否かを判断する。
キーフレームであった場合は、ステップＦ２１０〜Ｆ２１６で動作推移画像の合成処理を行う。この処理は、図１８等のステップＦ２１０〜Ｆ２１６と同様である。

対象とする一連のフレーム画像データの取り込みを終了したら、処理はステップＦ２６０に進む。ステップＦ２６０では、ボール軌道画像生成部６の画像解析部６６で、その時点で合成画像更新保持部５に保持されている動被写体画像の解析を行う。例えばゴルフクラブヘッドの移動軌跡や、移動速度を解析する。移動速度は、各キーフレームの間隔の時間と画像上の位置変化で推定できる。また、インパクトタイミングに相当する画像での、クラブヘッドの角度も判定する。
そしてゴルフクラブヘッドの移動軌跡と速度や、インパクトタイミングのヘッド角度などが解析されたら、ボール軌道予測部６２でボール軌道を推定する。つまり解析したゴルフクラブヘッドの状況から、実際には撮像時に存在しないボールの軌道を推定する。

そしてステップＦ２６１では、推定したボール軌道情報に応じて、画像合成部６３でボール軌道画像データを生成し、ボール軌道画像保持部６４でボール軌道画像データを保持する。

ステップＦ２６２では、ステップＦ２０９〜Ｆ２１６で生成した動作推移画像にボール軌道画像を合成する処理を行う。即ちボール軌道画像保持部６４に保持されているボール軌道画像データを、レイヤー処理部３に受け渡す。レイヤー処理部３では、合成画像更新保持部５に保持している最新の動作推移画像データと、ボール軌道画像データの合成処理を行う。

合成された画像データはステップＦ２６３で画像出力部４に転送され、記憶保持される。そしてステップＦ２６４で画像出力部４は、その時点で保持している合成画像データ、即ちボール軌道画像が合成された動作推移画像を、移動体付き動作推移静止画データとして出力デバイス４０に出力する。
これにより本例の画像処理装置１によって、１枚の移動体付き動作推移静止画データが生成され、出力されたことになる。

このような第８の実施の形態によれば、実際にはボールを打たない素振りを撮像したフレーム画像データからでも、ボール軌道が表現された合成画像を得ることができ、フォーム確認のための画像や、娯楽性の高い画像を実現できる。

＜１０．変形例＞

以上、各種実施の形態について説明してきたが、本発明は上記各例に限定されず、多様な変形例が考えられる。
まず、第１〜第８の実施の形態のうちで複数の実施の形態で述べた処理を組み合わせても良いことは言うまでもない。

実施の形態では、移動体付きの動作推移静止画を出力する例としたが、動作推移動画を出力することも可能である。
例えば図１１の処理例において、ステップＦ１０９の段階で画像出力部４が、その時点の合成画像データを出力デバイス４０としての表示装置に供給するようにすれば、動被写体画像が順次現れてくるような動画を表示することができる。
動画をより精細に表現するのであれば、キーフレーム以外のフレーム画像データについても暫定的に合成して、各合成画像データをそれぞれ動画を構成するフレームとして出力デバイス４０に供給すればよい。

実施の形態では、ゴルフスイングを行う被写体画像を例に挙げたが、もちろん被写体は限られない。例えば野球のバットスイング、投球フォーム、テニスのラケットのスイング、バレーボールのサーブやスパイク、バスケットのシュート、ボーリングの投球など、各種の動作を被写体として撮像したフレーム画像データを用いて、その動被写体の動作推移画像を生成できる。その場合、野球のボール、テニスボール、バレーのボールなどが、移動体として表現されることで、有意義な合成画像を生成できる。

もちろん移動体は球体としてのボールに限られない。
動被写体の一連の動作に応じて位置が変化する移動体として、フリスビー、やり投げのヤリ、砲丸投げの砲丸、バドミントンのシャトル、ラグビーのボール等の移動体も想定される。
また、スポーツ以外に、各種の遊技や、通常の生活動作などでも多様な被写体での合成画像が考えられる。

上記実施の形態では合成画像の画面例として、上下２段で、動作推移画左から右に進行する例を挙げたが、これに限られない。
画面は１段構成でも、或いは３段以外でも良い。また縦に分割して複数列としてもよい。
動作の時間的な流れに応じて動被写体を配置する方向性は、左から右でも、右から左でも良いし、上から下、下から上でもよい。斜め方向もあり得る。被写体の種類によって選択できるようにしてもよい。

＜１１．プログラム＞

以上の実施の形態は、画像処理装置１として説明したが、本発明の画像処理装置１は動作推移画像を生成する専用装置とする他、画像処理を行う各種機器に適用できる。例えば画像再生装置、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、画像処理装置１を実現することも当然想定される。
例えば図１１（及び図１２）、図１８、図２３、図２５、図３１の各処理を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。

即ち画像処理装置１の画像処理を実現するプログラムとは次の各ステップを演算処理装置に実行させるプログラムである。
即ち、入力された複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するステップを演算処理装置に実行させる。
また動被写体画像の動作推移に応じて移動する移動体を表現する移動体画像を生成するステップを演算処理装置に実行させる。
また移動体画像を動作推移画像データと合成することで、移動体画像を含む移動体画像付き動作推移画像データを生成する合成処理を演算処理に実行させる。

このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。

なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

１ 画像処理装置、２ 入力画選択部、３ レイヤー処理部、４ 画像出力部、５ 合成画像更新保持部、６ ボール軌道画像生成部、７ 任意フレーム指定部、９ 予備キーフレーム保持部、１０ 画像入力部、１１ 動被写体情報生成部、１２ 動被写体情報入力部、１３ ボール情報生成部、１４ ボール情報入力部、２１ キーフレーム判定部、２２ 座標計算部、２３ 予備キーフレーム判定部、３１ レイヤー分離部、３２ レイヤー加工部、３３ レイヤー合成部、４０ 出力デバイス、６１ ボール座標計算部、６２ ボール軌道予測部、６３ 画像合成部、６４ ボール軌道画像保持部、６５ ボール背景抽出保持部、６６ 画像解析部、８１ 動被写体表示終点指定部、８２ ボール軌道表示始点指定部、１０１ 画像入力部、１０２ 合成処理部、１０２ａ 動作推移画像生成機能、１０２ｂ 移動体画像生成機能、１０２ｃ 移動体付き動作推移画像生成機能

Claims (18)

1. 複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、複数の上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するとともに、
   上記複数のフレーム画像データの画像解析を行い、画像上で移動体が初期位置から移動していると判断された場合、上記動被写体画像の動作推移に応じて移動する上記移動体を表現する移動体画像データとして、上記移動体の軌道判定処理に基づいて移動体軌道画像データを生成し、
   上記移動体軌道画像データを上記動作推移画像データと合成することで、上記移動体の画像を含む移動体画像付き動作推移画像データを生成する合成処理を行う合成処理部を備え、
   上記合成処理部は、順次所定の方向に並んで配置された複数の動被写体画像の最後の動被写体画像に続く画像領域に、上記移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う
   画像処理装置。
2. 上記移動体の軌道判定処理は、
   フレーム画像データ内に存在する移動体画像の位置を用いて、そのフレーム画像データで表現される時点以降における上記移動体の位置を予測し、上記移動体の移動軌道を判定する処理を含む請求項１に記載の画像処理装置。
3. 上記移動体の軌道判定処理は、
   移動体軌道情報により上記移動体の移動軌道を判定する処理である請求項１に記載の画像処理装置。
4. 上記移動体の軌道判定処理は、
   動作推移画像データで表現される動被写体の動作を解析して、フレーム画像データ内には画像として存在しない移動体の移動軌道を判定する処理である請求項１に記載の画像処理装置。
5. 上記合成処理部で生成した上記移動体画像付き動作推移画像データを出力する画像出力部をさらに備えた請求項１に記載の画像処理装置。
6. 上記合成処理部は、上記移動体の画像が配置される画像領域の背景画像として、上記フレーム画像データに含まれる背景画像を用いて上記合成処理を行う請求項１に記載の画像処理装置。
7. 上記合成処理部は、上記移動体の画像が配置される画像領域の背景画像として、上記フレーム画像データに存在しない画像を用いて上記合成処理を行う請求項１に記載の画像処理装置。
8. 順次所定の方向に並んで配置される複数の動被写体画像の最後の動被写体画像を指定する指定部をさらに備え、
   上記合成処理部は、上記指定部で指定された最後の動被写体画像までの動作推移画像データを生成するとともに、上記最後の動被写体画像に続く画像領域に、上記移動体画像データによる移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う請求項１に記載の画像処理装置。
9. 移動体の画像が配置される画像領域を指定する指定部をさらに備え、
   上記合成処理部は、上記指定部で指定された画像領域に至るまでの画像領域に、複数の動被写体画像が並んで配置され、その最後の動被写体画像に続く上記指定された画像領域に、上記移動体画像データによる移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う請求項１に記載の画像処理装置。
10. 上記合成処理部は、順次所定の方向に並んで配置された複数の動被写体画像に重畳して上記移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う請求項１に記載の画像処理装置。
11. 上記合成処理部は、上記合成処理で、上記移動体軌道画像データによる画像が、上記動作推移画像データの画像よりも優先して表示される、上記移動体画像付き動作推移画像データを生成する請求項１０に記載の画像処理装置。
12. 順次所定の方向に並んで配置された複数の動被写体画像のうちで一の動被写体画像を指定する指定部をさらに備え、
    上記合成処理部は、上記指定部で指定された動被写体画像の拡大画像と、上記移動体軌道画像データとの合成処理を行う請求項１に記載の画像処理装置。
13. 上記合成処理部は、フレーム画像データに含まれる移動体の画像を用いて、上記移動体軌道画像データを生成する請求項１に記載の画像処理装置。
14. 上記合成処理部は、フレーム画像データに含まれる移動体の実写画像以外の画像を用いて、上記移動体軌道画像データを生成する請求項１に記載の画像処理装置。
15. 上記合成処理部は、フレーム画像データからキーフレームを選択し、選択した複数のキーフレームから抽出した動被写体画像を、順次所定の方向に並べて配置して上記動作推移画像データを生成する請求項１に記載の画像処理装置。
16. 上記合成処理部は、
    最新のフレーム画像データの動被写体レイヤーを第１に優先し、
    前回の合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、
    最新のフレーム画像データの背景レイヤーを第３に優先し、
    前回の合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態で合成処理を行うことで、上記動作推移画像データを生成する請求項１に記載の画像処理装置。
17. 複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するステップと、
    上記複数のフレーム画像データの画像解析を行い、画像上で移動体が初期位置から移動していると判断された場合、上記動被写体画像の動作推移に応じて移動する上記移動体を表現する移動体画像として、上記移動体の軌道判定処理に基づいて移動体軌道画像を生成するステップと、
    順次所定の方向に並んで配置された複数の動被写体画像の最後の動被写体画像に続く画像領域に、上記移動体の画像が配置されるように、上記移動体軌道画像を上記動作推移画像データと合成することで、移動体画像を含む移動体画像付き動作推移画像データを生成する合成処理を行うステップと、
    を備えた画像処理方法。
18. 複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するステップと、
    上記複数のフレーム画像データの画像解析を行い、画像上で移動体が初期位置から移動していると判断された場合、上記動被写体画像の動作推移に応じて移動する上記移動体を表現する移動体画像として、上記移動体の軌道判定処理に基づいて移動体軌道画像を生成するステップと、
    順次所定の方向に並んで配置された複数の動被写体画像の最後の動被写体画像に続く画像領域に、上記移動体の画像が配置されるように、上記移動体軌道画像を上記動作推移画像データと合成することで、上記移動体画像を含む移動体画像付き動作推移画像データを生成する合成処理を行うステップと、
    を演算処理装置に実行させるプログラム。