JP4735693B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、画像について画像処理を行う画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。このため、例えば、子供が通園している幼稚園のイベントにおいて、このイベントの様子が撮像された撮像動画を父母等により撮像装置で撮影されることが広く行われている。このようなイベントにおいて、父母等により撮影が行われる場合には、自分の子供を中心にして撮影されることが多いものの、そのイベントの様子が分かるように、そのイベントの風景等も適宜撮影されることが多い。また、幼稚園のイベント毎に撮影が行われると、撮影された動画の数が多くなる。

このように撮影された動画については、例えば、家庭内において、動画再生装置を用いてそのディスプレイで再生することができる。このように、動画再生装置を用いて再生する場合において、例えば、複数のイベントにおいて撮影された動画全体を最初から再生すると、再生時間が長くなってしまう。そこで、これらの動画全体から所望する動画を視聴者が検索して、検索された動画を順次再生することができれば、動画を効率的に楽しむことができると考えられる。

そこで、動画の各部におけるサムネイル画像を生成して、この生成されたサムネイル画像を用いて所望の記録位置から動画を再生させる技術が提案されている。例えば、記録媒体に記録されている複数の動画のシーンから各シーンを示す画面のサムネイル画像を複数形成し、これらのサムネイル画像を表示する。そして、表示されているサムネイル画像から所望のサムネイル画像を選択することにより、選択されたサムネイル画像に対応するシーンの先頭から動画の再生を開始する再生装置が提案されている（例えば、特許文献１参照。）。
特開平１１−２８９５１７号公報（図７）

上述の従来技術によれば、幼稚園等の複数のイベントで撮影された動画を視聴する場合において、これらの動画について表示されるサムネイル画像を用いて、所望するシーンの先頭から動画の再生を開始させることができる。

ここで、例えば、幼稚園の複数のイベントにおいて自分の子供を中心にして撮影された動画を閲覧する場合には、イベントが異なる場合でも、自分の子供が主に含まれている、似ているシーンが多く再生されることが考えられる。この場合には、生成されるサムネイル画像も似ていることが多い。また、撮影された動画の数が多い場合には、生成されるサムネイル画像の数が多くなる。このように、互いに似ているサムネイル画像が表示される場合や多数のサムネイル画像が表示される場合には、適切な検索を迅速に行うことができないと考えられる。

例えば、撮影の中心となる人物が同じである場合でも、撮影が行われた場所や周りの雰囲気等によって検索の対象である動画であるか否かを容易に判断することができる場合がある。そこで、例えば、幼稚園等の複数のイベントで撮影された動画を視聴する場合において、これらのイベントが行われた場所や周りの雰囲気等を容易に参照することができれば、動画の内容を容易に把握することができる。この場合には、所望の動画を迅速に検索することができる。また、これらのイベントが行われた場所や周りの雰囲気等を参照しつつ、動画に対するユーザの興味を高めることができれば、さらに動画を効率的に楽しむことができる。

本発明はこのような状況に鑑みてなされたものであり、撮像装置により撮影された動画の内容を容易に把握して、その興味を高めることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、上記撮像動画の時間軸において上記第１の撮像画像よりも後に位置する撮像画像を上記第２の撮像画像とし上記第１の撮像画像よりも前に位置する撮像画像を上記第３の撮像画像として、上記第３の撮像画像を基準として上記第１の撮像画像を変換するための変換情報を第１変換情報とし、上記第３の撮像画像を基準として上記第２の撮像画像を変換するための変換情報を第２変換情報とし、上記第３の撮像画像を基準として上記第１変換情報に基づいて変換された上記第１の撮像画像に上記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、上記第３の撮像画像を含む第２の履歴画像を保持する第２の画像保持部と、上記第２の画像保持部に保持されている上記第２の履歴画像に含まれる上記第３の撮像画像を基準として上記第２変換情報に基づいて上記第２の撮像画像を変換する画像変換部と、上記変換された第２の撮像画像を上記第２の画像保持部に保持されている上記第２の履歴画像に上書き合成して第３の履歴画像として保持させ、上記第１の履歴画像に含まれる上記第３の撮像画像の領域と上記第３の履歴画像に含まれる上記第３の撮像画像の領域とが一致するように上記第１の画像保持部に保持されている上記第１の履歴画像を上記第２の画像保持部に保持されている上記第３の履歴画像に上書き合成する画像合成部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第２の撮像画像を変換し、この変換された第２の撮像画像を第２の画像保持部に保持されている第２の履歴画像に上書き合成して第３の履歴画像として保持させ、第１の画像保持部に保持されている第１の履歴画像を第２の画像保持部に保持されている第３の履歴画像に上書きして合成するという作用をもたらす。

また、この第１の側面において、上記画像合成部による上記第１の履歴画像の上書き合成が終了した後に上記第２の画像保持部には上記第１の履歴画像が上記第３の履歴画像に上書き合成された第４の履歴画像が保持され、上記時間軸において上記第２の撮像画像の後に位置する上記撮像動画を構成する撮像画像を第４の撮像画像とし、上記第３の撮像画像を基準として上記第４の撮像画像を変換するための変換情報を第３変換情報とし、上記画像変換部は、上記第１の画像保持部に保持されている上記第１の履歴画像に含まれる上記第３の撮像画像を基準として上記第３変換情報に基づいて上記第４の撮像画像を変換し、上記画像合成部は、上記変換された第４の撮像画像を上記第１の画像保持部に保持されている上記第１の履歴画像に上書き合成して第５の履歴画像として保持させ、上記第５の履歴画像に含まれる上記第３の撮像画像の領域と上記第４の履歴画像に含まれる上記第３の撮像画像の領域とが一致するように上記第２の画像保持部に保持されている上記第４の履歴画像を上記第１の画像保持部に保持されている上記第５の履歴画像に上書き合成するようにしてもよい。これにより、第４の撮像画像を変換し、この変換された第４の撮像画像を第１の画像保持部に保持されている第１の履歴画像に上書き合成して第５の履歴画像として保持させ、第２の画像保持部に保持されている第４の履歴画像を第１の画像保持部に保持されている第５の履歴画像に上書きして合成するという作用をもたらす。

また、本発明の第２の側面は、撮像動画を構成する撮像画像を第１乃至第４の撮像画像とし、上記撮像動画の時間軸において上記第１の撮像画像よりも後に位置する撮像画像を上記第２の撮像画像とし上記第１の撮像画像よりも前に位置する撮像画像を上記第３の撮像画像とし上記第３の撮像画像よりも前に位置する撮像画像を上記第４の撮像画像として、上記第３の撮像画像を基準として上記第１の撮像画像を変換するための変換情報を第１変換情報とし、上記第３の撮像画像を基準として上記第２の撮像画像を変換するための変換情報を第２変換情報とし、上記第３の撮像画像を基準として上記第１変換情報に基づいて変換された上記第１の撮像画像に上記第３の撮像画像が上書き合成された画像に、上記第４の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、上記第３の撮像画像を含む第２の履歴画像を保持する第２の画像保持部と、上記第２の画像保持部に保持されている上記第２の履歴画像に含まれる上記第３の撮像画像を基準として上記第２変換情報に基づいて上記第２の撮像画像を変換する画像変換部と、上記変換された第２の撮像画像を上記第２の画像保持部に保持されている上記第２の履歴画像に上書き合成して第３の履歴画像として保持させ、上記第１の画像保持部に保持されている上記第１の履歴画像のうち上記第３の撮像画像および上記第１の撮像画像を含む領域内の画像を対象画像として、上記対象画像に含まれる上記第３の撮像画像の領域と上記第３の履歴画像に含まれる上記第３の撮像画像の領域とが一致するように上記第１の画像保持部に保持されている上記対象画像を上記第２の画像保持部に保持されている上記第３の履歴画像に上書き合成する画像合成部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第２の撮像画像を変換し、この変換された第２の撮像画像を第２の画像保持部に保持されている第２の履歴画像に上書き合成して第３の履歴画像として保持させ、第１の画像保持部に保持されている対象画像を第２の画像保持部に保持されている第３の履歴画像に上書きして合成するという作用をもたらす。

また、本発明の第３の側面は、撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、上記撮像動画の時間軸において上記第１の撮像画像よりも後に位置する撮像画像を上記第２の撮像画像とし上記第１の撮像画像よりも前に位置する撮像画像を上記第３の撮像画像として、上記第３の撮像画像を基準として上記第１の撮像画像を変換するための変換情報を第１変換情報とし、上記第３の撮像画像を基準として上記第２の撮像画像を変換するための変換情報を第２変換情報とし、上記第３の撮像画像を基準として上記第１変換情報に基づいて変換された上記第１の撮像画像に上記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、第２の画像保持部において上記第３の撮像画像を保持すべき領域である所定領域を基準として上記第２変換情報に基づいて上記第２の撮像画像を変換する画像変換部と、上記変換された第２の撮像画像を上記第２の画像保持部に保持させ、上記第１の履歴画像に含まれる上記第３の撮像画像の領域と上記第２の画像保持部における上記所定領域とが一致するように上記第１の画像保持部に保持されている上記第１の履歴画像を上記第２の画像保持部に保持された上記第２の撮像画像に上書き合成して上記第１の画像保持部における上記第１の履歴画像を消去する画像合成部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第２の撮像画像を変換し、この変換された第２の撮像画像を第２の画像保持部に保持させ、第１の画像保持部に保持されている第１の履歴画像を第２の画像保持部に保持された第２の撮像画像に上書き合成して、第１の画像保持部における第１の履歴画像を消去するという作用をもたらす。

また、この第３の側面において、上記画像合成部による上記第１の履歴画像の消去が終了した後に上記第２の画像保持部には上記第１の履歴画像が上記第２の撮像画像に上書き合成された第２の履歴画像が保持され、上記時間軸において上記第２の撮像画像の後に位置する上記撮像動画を構成する撮像画像を第４の撮像画像とし、上記第３の撮像画像を基準として上記第４の撮像画像を変換するための変換情報を第３変換情報とし、上記画像変換部は、上記第１の画像保持部に保持されていた上記第１の履歴画像に含まれていた上記第３の撮像画像の保持領域を基準として上記第３変換情報に基づいて上記第４の撮像画像を変換し、上記画像合成部は、上記変換された第４の撮像画像を上記第１の画像保持部に保持させ、上記第１の画像保持部における上記保持領域と上記第２の履歴画像に含まれる上記第３の撮像画像の領域とが一致するように上記第２の画像保持部に保持されている上記第２の履歴画像を上記第１の画像保持部に保持された上記第４の撮像画像に上書き合成して上記第２の画像保持部における上記第２の履歴画像を消去するようにしてもよい。これにより、第４の撮像画像を変換し、この変換された第４の撮像画像を第１の画像保持部に保持させ、第２の画像保持部に保持されている第２の履歴画像を第１の画像保持部に保持された第４の撮像画像に上書き合成して、第２の画像保持部における第２の履歴画像を消去するという作用をもたらす。

また、本発明の第４の側面は、撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、上記撮像動画の時間軸において上記第１の撮像画像よりも後に位置する撮像画像を上記第２の撮像画像とし上記第１の撮像画像よりも前に位置する撮像画像を上記第３の撮像画像として、上記第３の撮像画像を基準として上記第１の撮像画像を変換するための変換情報を第１変換情報とし、上記第３の撮像画像を基準として上記第２の撮像画像を変換するための変換情報を第２変換情報とし、上記第３の撮像画像を基準として上記第１変換情報に基づいて変換された上記第１の撮像画像に上記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、第２の画像保持部における所定領域を基準として上記第２変換情報に基づいて上記第２の撮像画像を変換する画像変換部と、上記変換された第２の撮像画像を上記第２の画像保持部に保持させ、上記第１の画像保持部に保持されている上記第１の履歴画像のうち上記第１の履歴画像に含まれる上記第３の撮像画像を基準として上記第２変換情報に基づいて上記第２の撮像画像が変換された場合における当該変換後の第２の撮像画像に対応する領域を含む対象領域内の画像を対象画像として、上記対象画像における当該変換後の第２の撮像画像に対応する領域と上記第２の画像保持部に保持された上記第２の撮像画像の領域とが一致するように上記第１の画像保持部に保持されている上記対象画像を上記第２の画像保持部に保持された上記第２の撮像画像に上書き合成し、当該合成された画像を上記第１の画像保持部における上記対象領域に上書き合成して上記第２の画像保持部に保持された画像を消去する画像合成部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第２の撮像画像を変換し、この変換された第２の撮像画像を第２の画像保持部に保持させ、第１の画像保持部に保持されている第１の履歴画像のうちその変換された第２の撮像画像を含む領域に対応する対象領域内の画像を第２の画像保持部に保持された第２の撮像画像に上書き合成して、この合成された画像を第１の画像保持部における対象領域に保持させて、第２の画像保持部に保持された画像を消去するという作用をもたらす。

また、この第１乃至第４の側面において、上記第１の撮像画像および上記第３の撮像画像は、上記撮像動画を構成する連続する２つのフレームに対応する画像であり、上記第１の撮像画像を構成する各画素に基づいて上記第１の撮像画像における特徴点を抽出する特徴点抽出部と、上記抽出された各特徴点に基づいて上記第１の撮像画像の上記第３の撮像画像に対する動き量を算出する動き量算出部と、上記算出された動き量に基づいて上記第１変換情報を算出する変換情報算出部とをさらに具備するようにしてもよい。これにより、各撮像画像における特徴点を抽出し、この抽出された各特徴点に基づいて各撮像画像の直前の撮像画像に対する動き量を算出し、この算出された動き量に基づいて変換情報を算出するという作用をもたらす。

また、この第１乃至第４の側面において、上記画像合成部による合成処理により生成された合成画像を上記撮像動画を表す代表画像として表示させる表示制御部をさらに具備するようにしてもよい。これにより、画像合成部による合成処理により生成された合成画像を、撮像動画を表す代表画像として表示させるという作用をもたらす。

また、本発明の第５の側面は、被写体を撮像して撮像動画を生成する撮像部と、上記撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、上記撮像動画の時間軸において上記第１の撮像画像よりも後に位置する撮像画像を上記第２の撮像画像とし上記第１の撮像画像よりも前に位置する撮像画像を上記第３の撮像画像として、上記第１の撮像画像および上記第３の撮像画像に基づいて、上記第３の撮像画像を基準として上記第１の撮像画像を変換するための変換情報を第１変換情報として算出し、上記第２の撮像画像および上記第３の撮像画像に基づいて、上記第３の撮像画像を基準として上記第２の撮像画像を変換するための変換情報を第２変換情報として算出する変換情報算出部と、上記第３の撮像画像を基準として上記第１変換情報に基づいて変換された上記第１の撮像画像に上記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、上記第３の撮像画像を含む第２の履歴画像を保持する第２の画像保持部と、上記第２の画像保持部に保持されている上記第２の履歴画像に含まれる上記第３の撮像画像を基準として上記第２変換情報に基づいて上記第２の撮像画像を変換する画像変換部と、上記変換された第２の撮像画像を上記第２の画像保持部に保持されている上記第２の履歴画像に上書き合成して第３の履歴画像として保持させ、上記第１の履歴画像に含まれる上記第３の撮像画像の領域と上記第３の履歴画像に含まれる上記第３の撮像画像の領域とが一致するように上記第１の画像保持部に保持されている上記第１の履歴画像を上記第２の画像保持部に保持されている上記第３の履歴画像に上書き合成する画像合成部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第２の撮像画像を変換し、この変換された第２の撮像画像を第２の画像保持部に保持されている第２の履歴画像に上書き合成して第３の履歴画像として保持させ、第１の画像保持部に保持されている第１の履歴画像を第２の画像保持部に保持されている第３の履歴画像に上書きして合成するという作用をもたらす。

本発明によれば、撮像装置により撮影された動画の内容を容易に把握して、その興味を高めることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（合成画像作成制御：現フレームの１つ前および２つ前のフレームを含む矩形領域に含まれる画像を上書き合成する例）
２．第２の実施の形態（合成画像作成制御：現フレームよりも前の各フレームを含む合成画像を上書き合成する例）
３．第３の実施の形態（合成画像作成制御：現フレームよりも前の各フレームを含む合成画像のうち、現フレームを含む矩形領域に含まれる画像を上書き合成する例）
４．第４の実施の形態（合成画像作成制御：撮像装置例）

＜１．第１の実施の形態＞
［画像処理装置の機能構成例］
図１は、本発明の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００は、動画入力部１１０と、カメラワーク検出部１２０と、記録制御部１３０と、動画記憶部２００と、メタデータ記憶部２１０とを備える。また、画像処理装置１００は、ファイル取得部１４０と、シーンチェンジ判定部１５０と、変換情報補正部１６０と、合成画像分割判定部１７０と、画像変換部１８０と、画像合成部１９０と、第１の画像メモリ２２０と、第２の画像メモリ２３０とを備える。また、画像処理装置１００は、表示制御部２５０と、表示部２６０と、操作受付部２７０とを備える。画像処理装置１００は、例えば、デジタルビデオカメラ等の撮像装置により記録された撮像動画について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。

動画入力部１１０は、デジタルビデオカメラ等の撮像装置（以下では、単に「カメラ」と称する。）により撮像された動画（撮像動画）を入力する動画入力部であり、入力された動画をカメラワーク検出部１２０に出力する。

カメラワーク検出部１２０は、動画入力部１１０から出力された動画を解析して、撮影時におけるカメラの動き情報（カメラワーク）を検出し、このカメラの動き情報に基づいてアフィン変換パラメータ（カメラワークパラメータ）を算出するものである。そして、算出されたアフィン変換パラメータを記録制御部１３０に出力する。具体的には、カメラワーク検出部１２０は、動画を構成する各画像から特徴点を抽出するとともに、この特徴点に対するオプティカルフロー（動きベクトル）を抽出する。そして、この抽出された特徴点に対するオプティカルフローを解析して支配的な動きを見せた特徴点を選択し、この支配的な動きを見せた特徴点に対するオプティカルフローに基づいてカメラの動きを推定する。ここで、支配的な動きとは、複数の特徴点に対するオプティカルフローの中で、比較的多数のオプティカルフローが示す規則的な動きを意味する。なお、カメラワーク検出部１２０の内部構成については、図２を参照して詳細に説明する。

記録制御部１３０は、動画記憶部２００およびメタデータ記憶部２１０に対する記録制御を行うものである。すなわち、記録制御部１３０は、動画入力部１１０から出力された動画を動画ファイルとして動画記憶部２００に記録する。また、記録制御部１３０は、カメラワーク検出部１２０から出力されたアフィン変換パラメータを、動画およびフレームに関連付けてメタデータファイルとしてメタデータ記憶部２１０に記録する。

動画記憶部２００は、記録制御部１３０の制御に基づいて動画入力部１１０から出力された動画を動画ファイルとして記憶するものである。また、動画記憶部２００は、ファイル取得部１４０からの要求に応じて動画ファイルをファイル取得部１４０に供給する。なお、動画記憶部２００に記憶される動画ファイルについては、図３を参照して詳細に説明する。

メタデータ記憶部２１０は、記録制御部１３０の制御に基づいてカメラワーク検出部１２０から出力されたアフィン変換パラメータをメタデータファイルとして記憶するものである。また、メタデータ記憶部２１０は、ファイル取得部１４０からの要求に応じてメタデータファイルをファイル取得部１４０に供給する。なお、メタデータ記憶部２１０に記憶されるメタデータファイルについては、図３を参照して詳細に説明する。

ファイル取得部１４０は、操作受付部２７０により受け付けられた操作入力に応じて、動画記憶部２００およびメタデータ記憶部２１０に記憶されている各ファイルの少なくとも１つを取得し、取得された各ファイルの情報を各部に供給するものである。具体的には、ファイル取得部１４０は、画像合成処理を行う指示操作が操作受付部２７０により受け付けられた場合には、動画記憶部２００から動画ファイルを取得して、この動画ファイルに対応するメタデータファイルをメタデータ記憶部２１０から取得する。そして、取得された動画ファイルをシーンチェンジ判定部１５０および画像変換部１８０に出力し、取得されたメタデータファイルを変換情報補正部１６０に出力する。また、ファイル取得部１４０は、動画再生を行う指示操作が操作受付部２７０により受け付けられた場合には、動画記憶部２００から動画ファイルを取得し、この動画ファイルを表示制御部２５０に出力する。

シーンチェンジ判定部１５０は、ファイル取得部１４０から出力された動画ファイルを構成する各画像における特徴量を抽出し、この特徴量に基づいて画像間におけるシーンチェンジ点を検出してシーンチェンジを判定するものである。そして、判定結果を合成画像分割判定部１７０に出力する。例えば、撮影された時刻および場所が異なる複数のシーンが１つの動画ファイルに含まれている場合には、これらのシーンが切り換わるフレームで被写体の構図や色等が瞬間的に変化する。そこで、画像における特徴量として、例えば、色や輝度の変化の程度を用いてシーンチェンジ点を検出することができる。このシーンチェンジ点は、例えば、動画において撮影場面が瞬間的に変化する場合におけるその境界点を示す位置であり、その境界点の直後の画像をシーンチェンジ点に該当する画像とする。例えば、シーンチェンジ判定部１５０は、ファイル取得部１４０から出力された動画を構成する画像における画面全体のカラーヒストグラムをフレーム毎に抽出し、連続する２フレーム間におけるカラーヒストグラムの色分布の差分値を算出する。そして、算出された２フレーム間に関する差分値に基づいてシーンチェンジスコアを算出し、このシーンチェンジスコアに基づいて画像間におけるシーンチェンジ点を検出する。例えば、被写体の構図や色等が瞬間的に変化して、連続する２フレーム間におけるヒストグラム差分値が閾値以上となった場合には、その連続する２フレーム間がシーンチェンジ点として検出される。

変換情報補正部１６０は、ファイル取得部１４０から出力されたメタデータファイルに含まれるアフィン変換パラメータに基づいて、このアフィン変換パラメータを補正するものであり、補正されたアフィン変換パラメータを画像変換部１８０に出力する。具体的には、変換情報補正部１６０は、ファイル取得部１４０から出力された現フレームに対応するアフィン変換パラメータに基づいてカメラワークの各成分（Ｘ方向およびＹ方向のズーム成分、並進成分、回転成分）を算出する。そして、これらの各成分の少なくとも１つの値が閾値以上であるか否かを判断し、これらの各成分の少なくとも１つの値が閾値以上である場合には、このアフィン変換パラメータを単位行列のアフィン変換パラメータに補正して画像変換部１８０に出力する。一方、カメラワークの各成分の全ての値が閾値以上でない場合には、アフィン変換パラメータを補正せずに、ファイル取得部１４０から出力されたアフィン変換パラメータを画像変換部１８０に出力する。また、変換情報補正部１６０は、算出されたカメラワークの各成分を合成画像分割判定部１７０に出力する。

合成画像分割判定部１７０は、ファイル取得部１４０から出力された動画ファイルを構成する現フレームに対応する画像について、現在作成されている合成画像から分割するか否かを判定するものである。そして、分割すると判定した場合には、合成画像の分割指示を画像変換部１８０および画像合成部１９０に出力する。すなわち、現在作成されている合成画像に、現フレームに対応する画像をさらに合成することにより、一定の大きさ（例えば、第１の画像メモリ２２０および第２の画像メモリ２３０の大きさ）を超えるか否かに応じて分割の要否が判定される。具体的には、合成画像分割判定部１７０は、変換情報補正部１６０から出力された先頭のフレームから現フレームまでの各フレームに関するカメラワークの各成分を順次加算し、この加算値が閾値を超えるか否かに基づいて分割の要否を判定する。また、分割すると判定された場合には、直前のフレームまでに算出されたカメラワーク成分の加算値を消去して、その判定がされた次のフレーム以降についてカメラワーク成分の加算を行う。また、合成画像分割判定部１７０は、シーンチェンジ判定部１５０からシーンチェンジ点を検出した旨の判定結果が出力された場合にも、合成画像の分割指示を画像変換部１８０および画像合成部１９０に出力する。

画像変換部１８０は、ファイル取得部１４０から出力された動画ファイルを構成する画像について、この画像に対応するアフィン変換パラメータを用いてフレーム毎にアフィン変換を施すものである。そして、アフィン変換された画像を画像合成部１９０に出力する。具体的には、画像変換部１８０は、１つの画像の位置を基準として他の画像を順次アフィン変換する。この基準となる画像として、例えば、先頭のフレームに対応する画像を設定する。そして、画像変換部１８０は、現フレームおよび現フレームよりも前の各フレームに関連付けられているアフィン変換パラメータにより特定されるアフィン行列を順次乗算することにより、現フレームに対応する画像をアフィン変換する。また、画像変換部１８０は、合成画像の分割指示が合成画像分割判定部１７０から出力された場合には、現フレームに対応する画像を基準位置に設定し、現フレームに対応する画像を単位行列によりアフィン変換して画像合成部１９０に出力する。なお、これらの画像変換については、図９乃至図１９等を参照して詳細に説明する。

画像合成部１９０は、操作受付部２７０により受け付けられた操作入力の内容に応じて、第１の画像メモリ２２０および第２の画像メモリ２３０を用いて、画像変換部１８０によりアフィン変換された画像を合成して合成画像を作成するものである。そして、作成された合成画像を合成画像記憶部２４０に記憶させる。また、画像合成部１９０は、合成画像の分割指示が合成画像分割判定部１７０から出力された場合には、第１の画像メモリ２２０または第２の画像メモリ２３０に保持されている直前までの各フレームにより作成された合成画像を合成画像記憶部２４０に記憶させる。そして、その合成画像を第１の画像メモリ２２０または第２の画像メモリ２３０から消去し、新たな合成画像を作成する。なお、操作受付部２７０により受け付けられた操作入力の内容に応じて、作成されている合成画像を画像合成部１９０が表示制御部２５０に順次出力し、表示部２６０に表示させるようにしてもよい。これらの画像合成については、図２３乃至図２５等を参照して詳細に説明する。

第１の画像メモリ２２０および第２の画像メモリ２３０は、画像合成部１９０により合成画像が作成される際に用いられるワークバッファであり、画像変換部１８０によりアフィン変換された画像を含む履歴画像を保持する。そして、保持されている履歴画像を画像合成部１９０に供給する。なお、第１の画像メモリ２２０および第２の画像メモリ２３０は、画像データを記憶する１面分のメモリに相当するキャンバスと称される。なお、第１の画像メモリ２２０または第２の画像メモリ２３０は、特許請求の範囲に記載の第１の画像保持部または第２の画像保持部の一例である。

合成画像記憶部２４０は、画像合成部１９０により作成された合成画像を記憶するものであり、記憶されている合成画像を表示制御部２５０に供給する。なお、合成画像記憶部２４０に記憶される合成画像については、図４を参照して詳細に説明する。

表示制御部２５０は、操作受付部２７０により受け付けられた操作入力の内容に応じて、各画像を表示部２６０に表示させるものである。例えば、動画記憶部２００に記憶されている各動画を表す標識（例えば、アイコン）として、合成画像記憶部２４０に記憶されている合成画像を表示部２６０に表示させる。また、表示部２６０に表示されているアイコンを選択する選択操作が操作受付部２７０により受け付けられた場合には、その選択された動画を表示部２６０に表示させる。

表示部２６０は、表示制御部２５０の制御に基づいて各画像を表示するものである。例えば、パーソナルコンピュータやテレビジョンのディスプレイにより実現することができる。なお、合成画像の表示例については、図２９等を参照して詳細に説明する。

操作受付部２７０は、各種入力キーからなるキーボードやマウス（ポインティングデバイス）等からの操作入力を受け付けるものであり、受け付けられた操作入力の内容をファイル取得部１４０、画像合成部１９０または表示制御部２５０に出力する。

図２は、本発明の第１の実施の形態におけるカメラワーク検出部１２０の機能構成例を示すブロック図である。カメラワーク検出部１２０は、特徴点抽出部１２１と、オプティカルフロー算出部１２２と、カメラワークパラメータ算出部１２３とを備える。

特徴点抽出部１２１は、動画入力部１１０から出力された動画を構成するフレームに対応する画像全体から特徴点を抽出するものであり、抽出された特徴点をオプティカルフロー算出部１２２に出力する。なお、特徴点として、例えば、縦方向または横方向にエッジの勾配が強い点（一般に「コーナー点」と呼ばれている。以下では、「コーナー点」と称する。）を抽出することができる。このコーナー点は、オプティカルフローの計算に強い特徴点であり、エッジ検出を用いて求めることができる。なお、このコーナー点の抽出については、図５および図６を参照して詳細に説明する。また、特徴点抽出部１２１は、動画を構成する各フレームのうちの先頭のフレームについては画像全体から特徴点を抽出し、先頭以外のフレームについては直前の画像と比較して新しく撮像された領域部分からのみ特徴点を抽出するようにしてもよい。

オプティカルフロー算出部１２２は、特徴点抽出部１２１から出力された各特徴点に対するオプティカルフローを算出するものであり、算出されたオプティカルフローをカメラワークパラメータ算出部１２３に出力する。具体的には、オプティカルフロー算出部１２２は、動画入力部１１０から出力された動画を構成する連続する２つのフレーム（現フレームおよび直前のフレーム）に対応する各画像を比較することにより、現フレームのオプティカルフローを算出する。すなわち、オプティカルフロー算出部１２２は、現フレームに対応する画像全体から抽出された各特徴点について、直前のフレームに対応する画像に対するオプティカルフローを算出する。このオプティカルフローは、動画を構成するフレーム毎に算出される。なお、オプティカルフローを検出する検出方法として、勾配法やブロックマッチング方法等の検出方法を用いることができる。なお、このオプティカルフローの計算については、図５および図６を参照して詳細に説明する。また、オプティカルフロー算出部１２２は、特許請求の範囲に記載の動き量算出部の一例である。

カメラワークパラメータ算出部１２３は、オプティカルフロー算出部１２２から出力された各特徴点に対応するオプティカルフローを用いて、カメラワークパラメータを算出するカメラワークパラメータ算出処理を行うものである。そして、算出されたカメラワークパラメータを記録制御部１３０に出力する。このカメラワークパラメータは、連続する２つのフレーム（現フレームおよび直前のフレーム）に関する変換情報である。

ここで、本発明の第１の実施の形態では、再生の対象となる動画を構成する各画像をカメラの動きに合わせてそれぞれ変換して合成する。この画像の変換を行うため、オプティカルフロー算出部１２２により計算されたオプティカルフローを用いてカメラの動きが抽出され、この抽出された動きに基づいて、カメラワークパラメータ（変換パラメータ）が計算される。

また、本発明の第１の実施の形態では、再生の対象となる動画を構成する画像を変換する画像変換方法として、アフィン変換を用いる例について説明する。また、カメラワークパラメータとして、オプティカルフローに基づいて算出されたアフィン変換パラメータの行列の逆行列に対応するアフィン変換パラメータを用いる例について説明する。なお、カメラワークパラメータとして、射影変換等の他の画像変換方法を用いるようにしてもよい。また、アフィン変換パラメータは、３点のベクトルを用いて計算して求めることができる。また、射影変換パラメータは、４点のベクトルを用いて計算して求めることができる。ここで、カメラワークパラメータは、撮像動画を構成する撮像画像のうちの少なくとも１つの撮像画像を基準にして他の撮像画像を変換するための変換情報であり、少なくともカメラの座標系で記述される位置情報および姿勢情報を含むものである。すなわち、カメラワークパラメータは、撮影者により撮影されている場合におけるカメラの位置や姿勢に関する情報を含むものである。また、カメラワークパラメータ算出部１２３により算出されたアフィン変換パラメータに基づいて、例えば、ズームイン、ズームアウト、パン、チルト、ローテーション等の撮影者の操作によるカメラの動きを推定することができる。なお、アフィン変換パラメータの計算については、図５および図６を参照して詳細に説明する。また、カメラワークパラメータ算出部１２３は、特許請求の範囲に記載の変換情報算出部の一例である。

図３は、本発明の第１の実施の形態における動画記憶部２００およびメタデータ記憶部２１０に記録されている各ファイルを模式的に示す図である。図３（ａ）では、動画記憶部２００に記憶されている動画ファイル２０１乃至２０３と、動画ファイル２０１乃至２０３に関連付けてメタデータ記憶部２１０に記憶されているメタデータファイル２１１乃至２１３とを示す。ここで、動画記憶部２００に記憶されている各動画ファイルを識別するための識別情報である動画ＩＤが、各動画ファイルに付与されているものとする。例えば、動画ファイル２０１には「＃１」が付与され、動画ファイル２０２には「＃２」が付与され、動画ファイル２０３には「＃ｎ」が付与されている。

図３（ｂ）では、動画記憶部２００に記憶されている動画ファイル２０１と、動画ファイル２０１に関連付けてメタデータ記憶部２１０に記憶されているメタデータファイル２１１とを模式的に示す。ここで、動画ファイル２０１は、ｍ枚のフレームで構成された動画のファイルであり、これらのｍ枚のフレームをフレーム「１」２０５乃至「ｍ」２０７として示す。

また、メタデータファイル２１１には、動画ＩＤ２１４と、フレーム番号２１５と、アフィン変換パラメータ２１６とが関連付けて記憶されている。

動画ＩＤ２１４は、対応する動画ファイルに付与されている動画ＩＤであり、例えば、動画ファイル２０１に付与されている「＃１」が格納される。

フレーム番号２１５は、対応する動画ファイルの動画を構成する各フレームの通し番号であり、例えば、動画ファイル２０１の動画を構成するフレーム「１」２０５乃至「ｍ」２０７に対応する「１」乃至「ｍ」が格納される。

アフィン変換パラメータ２１６は、フレーム番号２１５に対応する動画の各フレームについて算出されたアフィン変換パラメータである。なお、フレーム番号２１５の「１」に対応するアフィン変換パラメータ２１６「ａ１，ｂ１，ｃ１，ｄ１，ｅ１，ｆ１」は、単位行列のアフィン変換パラメータである。また、フレーム番号２１５の「ｍ（ｍは２以上の整数）」に対応するアフィン変換パラメータ２１６の「ａｍ，ｂｍ，ｃｍ，ｄｍ，ｅｍ，ｆｍ」は、フレーム「ｍ」の直前フレーム「ｍ−１」に対するアフィン変換パラメータである。

図４は、本発明の第１の実施の形態における合成画像記憶部２４０に記憶されている内容を概略的に示す図である。合成画像記憶部２４０には、動画記憶部２００に記憶されている各動画ファイルについて画像合成部１９０により作成された合成画像が記憶されている。具体的には、合成画像記憶部２４０には、動画ＩＤ２４１と、フレーム番号２４２と、合成画像２４３とが関連付けて記憶されている。合成画像記憶部２４０には、例えば、１つの動画ファイルについて１または複数の合成画像が記憶される。例えば、合成画像分割判定部１７０により合成画像の分割が判定された動画ファイルについては、合成画像が分割して作成されるため、その動画ファイルについて複数の合成画像が合成画像記憶部２４０に記憶される。

動画ＩＤ２４１は、動画記憶部２００に記憶されている各動画ファイルに対応するＩＤであり、例えば、動画ファイル２０１、２０２に付与されている「＃１」、「＃２」が格納される。

フレーム番号２４２は、動画記憶部２００に記憶されている各動画ファイルについて画像合成部１９０により作成された合成画像に対応する各フレームの番号である。例えば、動画を構成する全てのフレームを用いて作成された合成画像が記憶されている場合には、その全てのフレーム番号が格納される。また、例えば、動画を構成する各フレームの一部が分割して作成された合成画像が記憶されている場合には、作成対象となったフレーム番号が合成画像に関連付けて格納される。例えば、動画ファイル２０１の動画を構成するフレーム「１」２０５乃至「ｍ」２０７の全てを用いて合成画像が作成されている場合には、図４に示すように、動画ＩＤ２４１の「＃１」に関連付けて「１」乃至「ｍ」が記憶される。また、例えば、動画ファイル２０２の動画を構成する各フレームの一部を分割して合成画像が作成されている場合には、図４に示すように、作成対象となったフレームの集合毎に動画ＩＤ２４１の「＃２」に関連付けてフレーム番号が記憶される。

合成画像２４３は、動画記憶部２００に記憶されている各動画ファイルについて画像合成部１９０により合成された合成画像であり、合成画像の作成対象となったフレームに応じて動画ＩＤ２４１およびフレーム番号２４２に関連付けて記憶される。なお、図４では、合成画像記憶部２４０に記憶されている各パノラマ画像について、その輪郭のみを図形化して模式的に示す。これらの合成画像については、例えば、再生すべき動画を選択するためのアイコンとして表示させることができる。なお、合成画像については、図９乃至図１９、図２３乃至図２５等を参照して詳細に説明する。

［カメラワークパラメータ検出例］
次に、画像変換に用いられるカメラワークパラメータ（アフィン変換パラメータ）を検出する検出方法について図面を参照して詳細に説明する。

図５は、動画を構成する画像の一例を示す図である。図６は、動画を構成する画像について背景等を省略して簡略化した画像を示す図である。図５（ａ）乃至（ｃ）には、動画を構成する画像の一例として画像３００を示す。また、図６（ａ）には、画像３００の直後のフレームに対応する画像について背景等を省略して簡略化した画像３２０を示す。また、図６（ｂ）および（ｃ）には、画像３００について背景等を省略して簡略化した画像３３０を示す。

図５および図６に示す画像３００、３２０、３３０には、人が跨っている馬の像３０１、３２１、３３１と、馬の像３０１、３２１、３３１の手前に設置されている蛇の像３０２、３２２、３３２とが含まれている。また、図５に示すように、これらの像の背景には旗や椅子等が存在し、この旗が風になびいている。

図６（ａ）に示す画像３２０は、図５（ａ）乃至（ｃ）および図６（ｂ）および（ｃ）に示す画像３００、３３０に対応するフレームの直後のフレームに対応する画像を簡略化した画像である。また、２つの連続するフレームに対応する画像３２０および３３０は、画面内の被写体がしだいに小さくなる場合における遷移を示す画像である。すなわち、この撮影時には、画面内の被写体をしだいに小さくする操作であるズームアウト操作がされている。

本発明の第１の実施の形態では、動画を構成する画像全体から特徴点を検出し、この特徴点に対応するオプティカルフローを用いてアフィン変換パラメータを計算する方法を例にして説明する。例えば、動画を構成する現フレームに対応する画像を画像ｔとし、画像ｔの直前の画像を画像ｔ−１とする。すなわち、画像ｔ−１および画像ｔは、動画を構成する連続する画像である。そして、画像ｔ−１および画像ｔに関するアフィン変換パラメータを算出する場合には、画像ｔの画面全体における特徴点を抽出し、これらの各特徴点に対する画像ｔから画像ｔ−１へのオプティカルフローを算出する。また、この例では、特徴点としてコーナー点を用いる場合について説明する。

例えば、図６（ａ）乃至（ｃ）において、現フレームに対応する画像を画像３２０とし、画像３２０の直前フレームに対応する画像を画像３３０とする。また、図６（ａ）乃至（ｃ）では、画像３２０から検出された３つのコーナー点に対応するオプティカルフローを用いてアフィン変換パラメータを計算する方法を例にして説明する。

例えば、図６（ａ）に示す画像３２０において、特徴点として、馬の像３２１における口付近のコーナー点３２３と、馬の像３２１における人のお尻付近のコーナー点３２４と、蛇の像３２２の口付近のコーナー点３２５とが検出されたものとする。この場合において、図６（ｂ）に示す画像３３０において、勾配法やブロックマッチング法等により、画像３２０におけるコーナー点３２３、３２４および３２５に対するオプティカルフロー３３７、３３８および３３９が検出される。そして、この検出されたオプティカルフロー３３７、３３８および３３９に基づいて、画像３２０におけるコーナー点３２３、３２４および３２５に対応するコーナー点３３３、３３４および３３５が検出される。

ここで、例えば、図６（ａ）および（ｂ）に示す画像３２０および３３０に含まれる馬の像３２１、３３１や蛇の像３２２、３３２は、地面に設置されているものであるため、カメラの動きとは無関係に動くものではない。このため、馬の像３２１、３３１や蛇の像３２２、３３２について検出されたコーナー点に対して求められたオプティカルフローに基づいて、カメラの動きを正確に推定することができる。例えば、図６（ｃ）に示すように、画像３２０の画像３３０に対する３つのオプティカルフロー３３７乃至３３９に基づいて、画像３２０が、点３３６を中心にして画像３３０を縮小したものであることを推定することができる。これにより、画像３２０の撮影時におけるカメラの動きは、点３３６を中心とするズームアウト動作であると判断することができる。このように、カメラの動きとは無関係に動くものではない物体についてコーナー点を検出し、このコーナー点に対して求められたオプティカルフローに基づいて、一定の規則性を備えるカメラの動きを正確に検出することができる。このため、これらのコーナー点に対して求められたオプティカルフローを用いて、アフィン変換パラメータを計算して求めることができる。

しかしながら、風になびいている旗等のように、カメラの動きとは無関係に動く物体が画像内に含まれる場合が考えられる。例えば、図５に示す画像３００には、風になびいている旗が含まれている。このようなカメラの動きとは無関係に動く物体についてコーナー点が検出され、このコーナー点に対して求められたオプティカルフローを用いてカメラの動きを推定する場合には、カメラの動きを正確に推定することができない。

例えば、図５（ｂ）に示す画像３００について検出されたオプティカルフローを矢印で示すとともに、このオプティカルフローにより検出されたコーナー点を矢印の先端に白抜きの丸で示す。ここで、コーナー点３０３乃至３０５は、図６（ｂ）および（ｃ）に示すコーナー点３３３乃至３３５に対応するコーナー点である。また、コーナー点３０６乃至３１１は、馬の像３０１の背景に存在する旗について検出されたコーナー点である。そして、これらの旗が風になびいているため、風の影響による旗の動きがオプティカルフローとして検出されている。すなわち、コーナー点３０６乃至３１１に対応する各オプティカルフローは、カメラの動きとは無関係に動く旗について検出されたものである。このため、アフィン変換パラメータを計算する場合に用いられる３つのオプティカルフローに、コーナー点３０６乃至３１１のうちの少なくとも１つのコーナー点に対応するオプティカルフローが含まれている場合には、正確なカメラの動きを検出することができない。この場合には、正確なアフィン変換パラメータを計算することができない。

以上で示したように、例えば、カメラの動きとは無関係に動く物体に対するオプティカルフローと、カメラの動きとの関係で一定の規則性を備えるオプティカルフローとが、撮影画像から検出されることがある。ここで、カメラの動きとは無関係に動く物体に対するオプティカルフローは、例えば、図５（ｂ）に示すコーナー点３０６乃至３１１に対応する各オプティカルフローである。また、カメラの動きとの関係で一定の規則性を備えるオプティカルフローは、例えば、図５（ｂ）に示すコーナー点３０６乃至３１１に対応する各オプティカルフロー以外のオプティカルフローである。

このように、カメラの動きとは無関係に動く物体に対するオプティカルフローが検出されることがあるため、本発明の第１の実施の形態では、３個のオプティカルフローに基づいてアフィン変換パラメータを計算するアフィン変換パラメータ計算処理を複数回行う。このアフィン変換パラメータ計算処理により、複数のアフィン変換パラメータを算出し、これらの複数のアフィン変換パラメータの中から最適なアフィン変換パラメータを選択する。なお、この例では、動画を構成する各画像に含まれている動物体の大きさが、画像の面積に対して比較的小さいものとする。

ここで、アフィン変換について説明する。２次元座標上において、移動元の位置を（ｘ，ｙ）とし、アフィン変換後の移動先の位置を（ｘ´，ｙ´）とした場合に、アフィン変換の行列式は、式１で表すことができる。なお、式１の右辺の３×３の行列はアフィン行列である。

ここで、ａ乃至ｆは、アフィン変換パラメータである。また、このアフィン変換パラメータを行列ＡＭとして次式で表すことができる。なお、Ｘ方向のズーム成分ＸＺ、Ｙ方向のズーム成分ＹＺ、Ｘ方向の並進成分ＸＴ、Ｙ方向の並進成分ＹＴ、Ｘ方向の回転成分θｘ、Ｙ方向の回転成分θｙについては、それぞれ次の式で求めることができる。なお、単位行列の場合には、ａ＝ｅ＝１、ｂ＝ｃ＝ｄ＝ｆ＝０となる。

このように、アフィン変換パラメータから、カメラワークの各成分（Ｘ方向およびＹ方向のズーム成分、並進成分、回転成分）を求めることができる。なお、回転成分については、図７を参照して説明する。

図７は、アフィン変換パラメータを用いて矩形３４０が変換された場合を示す図である。図７に示すように、矩形３４０の１つの頂点を原点とし、この原点に対応する頂点に接する矩形３４０の２辺のそれぞれをｘ軸およびｙ軸とするｘｙ座標において、所定のアフィン変換パラメータを用いて矩形３４０が変換された後の矩形を矩形３４１とする。この場合に、矩形３４０および３４１のｘ軸側の辺により形成される角度を回転成分θｘとし、矩形３４０および３４１のｙ軸側の辺により形成される角度を回転成分θｙとする。

次に、カメラワーク成分の加算値の算出方法について説明する。

カメラワーク成分の加算値は、先頭のフレームから現フレームまでの各フレームに対応するカメラワークの各成分を加算した値である。例えば、先頭のフレームから現フレームまでの各フレームをフレーム１乃至５とし、これらのフレーム１乃至５のカメラワーク成分のＸ方向の並進成分をそれぞれＸＴ１乃至ＸＴ５とする。この場合において、カメラワーク成分のＸ方向の並進成分の加算値は、「ＸＴ１＋ＸＴ２＋ＸＴ３＋ＸＴ４＋ＸＴ５」により算出することができる。

次に、アフィン変換パラメータの計算方法について説明する。

最初に、動画を構成するフレームの中の１つのフレームである現フレームに対応する画像において、オプティカルフローが検出された特徴点の中から３個の特徴点が選択される。例えば、図５（ｂ）に示す画像３００において検出されたコーナー点（白抜きの丸で示す）の中からランダムに３個のコーナー点が選択される。なお、カメラワークパラメータとして、射影変換パラメータを用いる場合には、４個の特徴点がランダムに選択される。

続いて、選択された３個の特徴点に対応する３個のオプティカルフローを用いてアフィン変換パラメータが計算される。例えば、図５（ｂ）に示す画像３００におけるコーナー点（白抜きの丸で示す）の中から選択された３個のコーナー点に対応するオプティカルフロー（白抜きの丸に接続される矢印で示す）を用いてアフィン変換パラメータが計算される。このアフィン変換パラメータは、式１を用いて求めることができる。

続いて、求められたアフィン変換パラメータに基づいて、アフィン変換パラメータのスコアが計算される。具体的には、求められたアフィン変換パラメータを用いて、現フレームの直前のフレームに対応する画像における全ての特徴点の移動先の位置を求める。そして、このアフィン変換パラメータを用いて求められた特徴点の位置と、直前のフレームにおいて検出された特徴点の位置とを比較して、互いに対応する２つの特徴点の位置の差分値が特徴点毎に計算される。差分値として、例えば、互いに対応する２つの特徴点の位置間の絶対距離が計算される。続いて、計算された差分値と、予め設定されている閾値とを特徴点毎に比較して、その差分値が閾値よりも小さい特徴点の個数をアフィン変換パラメータのスコアとして求める。このように、オプティカルフローが検出された特徴点の中から３個の特徴点をランダムに選択する。そして、これらの特徴点に対応するオプティカルフローに基づいてアフィン変換パラメータのスコアを算出する処理を所定回数繰り返し、アフィン変換パラメータのスコアを複数算出する。この所定回数は、比較の対象となる画像の種類や画像処理装置１００の処理能力等に応じて適宜設定するようにしてもよく、固定値を用いるようにしてもよい。この所定回数として、例えば、画像処理装置１００の処理能力を考慮して２０回程度と設定することができる。

例えば、図５（ｂ）に示す画像３００において検出されたコーナー点の中から、コーナー点３０６乃至３１１以外のコーナー点が３個選択された場合を考える。このように選択された３個のコーナー点に対応する３個のオプティカルフローを用いてアフィン変換パラメータが計算されると、上述したように、この３個のオプティカルフローは一定の規則性を備えている。このため、現フレームに対応する画像を一定の規則に従って変換させるアフィン変換パラメータが求められる。また、アフィン変換パラメータを用いて求められたコーナー点の位置と、直前のフレームにおいて検出されたコーナー点の位置とについて、コーナー点３０６乃至３１１以外のコーナー点に関して求められる差分値は、比較的小さい値が算出される。このため、アフィン変換パラメータのスコアは、大きい値になる。

一方、図５（ｂ）に示す画像３００において検出されたコーナー点の中から、コーナー点３０６乃至３１１のうちの少なくとも１個を含む３個のコーナー点が選択された場合を考える。このように選択された３個のコーナー点に対応する３個のオプティカルフローを用いてアフィン変換パラメータが計算されると、上述したように、この３個のオプティカルフローには、一定の規則性を備えていないオプティカルフローが含まれる。このため、現フレームに対応する画像を一定の規則に従って変換させるものではないアフィン変換パラメータが求められる。また、アフィン変換パラメータを用いて求められたコーナー点の位置と、直前のフレームにおいて検出されたコーナー点の位置とについて求められる差分値は、任意のコーナー点で比較的大きい値が算出される。このため、アフィン変換パラメータのスコアは、小さい値になる。

続いて、求められた複数のアフィン変換パラメータのスコアの中で、スコアの値が最も大きいアフィン変換パラメータを代表アフィン変換パラメータとして選択する。そして、選択された代表アフィン変換パラメータの行列に対する逆行列を算出して、この逆行列のアフィン変換パラメータを現フレームに関連付けてメタデータ記憶部２１０に記録する。これにより、動画を構成する画像をアフィン変換する場合に、最適なアフィン変換パラメータを用いてアフィン変換することができる。

以上で示したように、動画を構成する各画像に人物や車等の動いている物体（動物体）が含まれている場合でも、画像の面積に対するその動物体の大きさが比較的小さい場合には、動物体の影響を受けずにカメラの動きを抽出することができる。

また、カメラの動きを抽出することによって、ズームイン、ズームアウト、パン、チルト、ローテーション等の意図的に撮影者が移動させたと思われる動きを推定することができる。なお、式１において、ａ＝ｅ、ｄ＝−ｂとして、２個のオプティカルフローに基づいてアフィン変換パラメータを算出することができる。例えば、３個のオプティカルフローに基づいて計算されたアフィン変換パラメータを用いて、画像をアフィン変換する場合には、長方形の画像が平行四辺形に変形される場合がある。これに対して、２個のオプティカルフローに基づいて計算されたアフィン変換パラメータを用いて、画像をアフィン変換する場合には、並進移動、回転、ズーム（ｘｙ方向のズーム率が同じもの）の少なくとも１つの変換を長方形の画像の状態で行うことができる。本発明の第１の実施の形態では、３個のオプティカルフローに基づいて計算されたアフィン変換パラメータを用いて画像を変換する例について説明する。ただし、２個のオプティカルフローに基づいて計算されたアフィン変換パラメータを用いて画像を変換する場合についても同様に適用することができる。

次に、本発明の第１の実施の形態における画像処理装置１００の動作について図面を参照して説明する。

図８は、本発明の第１の実施の形態における画像処理装置１００によるアフィン変換パラメータ検出処理の処理手順を示すフローチャートである。

最初に、動画入力部１１０に動画ファイルが入力され（ステップＳ９０１）、変数ｔが「０」に初期化される（ステップＳ９０２）。続いて、動画入力部１１０に入力された動画ファイルがデコードされ、時系列の順序で１つのフレームの画像が取得される（ステップＳ９０３）。続いて、取得された１つのフレーム（以下では、「フレームｔ」と称する。）が動画入力部１１０に入力された動画ファイルの先頭のフレーム（すなわち、ｔ＝０）であるか否かが判断される（ステップＳ９０４）。フレームｔが先頭のフレームである場合には（ステップＳ９０４）、アフィン変換パラメータとして単位行列のアフィン変換パラメータが選択され（ステップＳ９０５）、ステップＳ９１５に進む。一方、フレームｔが先頭のフレームではない場合（すなわち、ｔ＝０でない場合）には（ステップＳ９０４）、フレームｔに対応する画像全体から特徴点が抽出される（ステップＳ９０６）。

続いて、フレームｔに対応する画像全体から抽出された各特徴点について、時間軸における直前のフレーム（以下では、「フレームｔ−１」と称する。）に対するオプティカルフローが算出される（ステップＳ９０７）。すなわち、図５（ｂ）に示すように、各コーナー点に対するオプティカルフローが算出される。また、この算出されたオプティカルフローにより、フレームｔ−１に対応する画像における特徴点が検出される。

続いて、変数ｉが「０」に初期化される（ステップＳ９０８）。続いて、オプティカルフローが検出された特徴点の中から、Ｍ個の特徴点が選択される（ステップＳ９０９）。例えば、カメラワークパラメータとして、アフィン変換パラメータを用いる場合には、３個の特徴点がランダムに選択される。また、カメラワークパラメータとして、射影変換パラメータを用いる場合には、４個の特徴点がランダムに選択される。続いて、選択されたＭ個の特徴点に対応して計算されたＭ個のオプティカルフローに基づいて、アフィン変換パラメータが算出される（ステップＳ９１０）。

続いて、算出されたアフィン変換パラメータに基づいて、アフィン変換パラメータのスコアが算出される（ステップＳ９１１）。具体的には、算出されたアフィン変換パラメータを用いて、フレームｔに対応する画像における全ての特徴点の移動先の位置（すなわち、フレームｔ−１に対する画像における位置）が求められる。そして、このアフィン変換パラメータを用いて求められた特徴点の位置と、ステップＳ９０７でオプティカルフローを算出した際に求められたフレームｔ−１に対応する画像における特徴点の位置とが比較される。この比較により、互いに対応する２つの特徴点の位置の差分値が特徴点毎に算出される。この差分値として、例えば、互いに対応する２つの位置間の絶対距離が計算される。続いて、算出された差分値と、予め設定されている閾値とが特徴点毎に比較され、その差分値が閾値よりも小さい特徴点の個数がアフィン変換パラメータのスコアとして算出される。

続いて、変数ｉに「１」が加算され（ステップＳ９１２）、変数ｉが、定数Ｎよりも大きいか否かが判断される（ステップＳ９１３）。変数ｉが、定数Ｎ以下である場合には（ステップＳ９１３）、ステップＳ９０９に戻り、アフィン変換パラメータのスコア算出処理を繰り返す（ステップＳ９０９乃至Ｓ９１１）。例えば、定数Ｎとして、２０を用いることができる。

一方、変数ｉが定数Ｎよりも大きい場合には（ステップＳ９１３）、算出されたアフィン変換パラメータのスコアのうちで、スコアの値が最も大きいアフィン変換パラメータが代表アフィン変換パラメータとして選択される（ステップＳ９１４）。続いて、選択された代表アフィン変換パラメータのアフィン行列に対する逆行列が算出され（ステップＳ９１５）、この逆行列のアフィン変換パラメータが、フレームｔに関連付けてメタデータ記憶部２１０に記録される（ステップＳ９１６）。なお、フレームｔが先頭のフレームである場合には、単位行列のアフィン変換パラメータが、先頭のフレームに関連付けてメタデータ記憶部２１０に記録される（ステップＳ９１６）。続いて、フレームｔに対応する画像が上書き保存される（ステップＳ９１７）。

続いて、フレームｔが、動画入力部１１０に入力された動画ファイルの最後のフレームであるか否かが判断される（ステップＳ９１８）。フレームｔが、最後のフレームではない場合には（ステップＳ９１８）、変数ｔに「１」が加算され（ステップＳ９１９）、ステップＳ９０３に戻り、アフィン変換パラメータ検出処理を繰り返す（ステップＳ９０３乃至Ｓ９１７）。一方、フレームｔが、最後のフレームである場合には（ステップＳ９１８）、アフィン変換パラメータ検出処理を終了する。

本発明の第１の実施の形態では、カメラワークパラメータの検出として、動画を構成する画像において検出されたオプティカルフローに基づいてアフィン変換パラメータを検出する例について説明した。しかしながら、加速度センサやジャイロセンサ等のセンサやズーム操作をする際に用いられるズームボタンをカメラに設け、このセンサやズームボタンを用いてカメラワークパラメータを求めるようにしてもよい。すなわち、このセンサやズームボタンにより撮影時におけるカメラの移動量を検出し、このカメラの移動量に基づいてカメラワークパラメータを求めることができる。また、例えば、画像ｔ−１の画面全体における各特徴点について算出された画像ｔ−１から画像ｔへのオプティカルフローを用いて、画像ｔ−１および画像ｔに関するアフィン変換パラメータを算出するようにしてもよい。

［画像合成例］
次に、カメラワーク検出部１２０により算出されたアフィン変換パラメータを用いて、動画を構成する画像を合成して合成画像を作成する場合について図面を参照して詳細に説明する。なお、図９乃至図１７に示す各画像は、説明のため、簡略化するとともに、連続する２つのフレーム間の移動量を大きくして示している。また、図９乃至図１７に示す例では、時間軸において前のフレームに対応する画像に後のフレームに対応する画像を順次上書きして合成する場合を例にして示す。

最初に、カメラの撮影時において、倍率が変更されないものの、カメラの位置を中心として、カメラのレンズの方向が上下左右の何れかに移動されている場合について説明する。

図９は、カメラにより撮影された動画の遷移の一例を示す図である。図９には、山を背景にして人４００を撮影した場合における動画に含まれる連続するフレームに対応する画像４０１乃至４０３を示す。この例では、カメラのレンズの方向を右および上側に移動しながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人４００が、その動画を構成する画像において右側から左側に移動するとともに下側に移動する。

図１０は、本発明の第１の実施の形態におけるオプティカルフロー算出部１２２によりオプティカルフローを算出する場合におけるオプティカルフロー算出例を示す図である。なお、図１０（ｂ）および（ｃ）に示す画像４０２および４０３において、直前のフレームに対応する画像を破線で示す。図１０（ａ）に示す画像４０１は、図９（ａ）に示す画像４０１と同じものである。また、図１０（ｂ）に示す画像４０２のうちの実線の部分は、図９（ｂ）に示す画像４０２と同じものであり、図１０（ｂ）に示す画像４０２のうちの破線の部分は、図１０（ａ）に示す画像４０１の実線の部分と同じものである。また、図１０（ｂ）に示す画像４０２における矢印４０４乃至４０６は、画像４０２から検出されたオプティカルフローの一例を示す。同様に、図１０（ｃ）に示す画像４０３のうちの実線の部分は、図９（ｃ）に示す画像４０３と同じものであり、図１０（ｃ）に示す画像４０３のうちの破線の部分は、図１０（ｂ）に示す画像４０２の実線の部分と同じものである。また、図１０（ｃ）に示す画像４０３における矢印４０７乃至４０９は、画像４０３から検出されたオプティカルフローの一例を示す。

図１０（ｂ）および（ｃ）に示すように、カメラの移動に合わせて、画像に含まれる人４００および背景の山が移動する。この移動により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。

図１１は、本発明の第１の実施の形態における画像合成部１９０により動画を構成する画像を合成する場合における画像合成例を示す図である。この例では、画像４０１が先頭のフレームに対応する画像であるものとする。

例えば、画像４０１に関連付けられているアフィン変換パラメータのアフィン行列をＡ１とする場合に、画像変換部１８０が、先頭のフレームの画像４０１の位置および大きさを基準にして、Ａ１の行列により画像４０１をアフィン変換する。ここで、画像４０１は先頭のフレームに対応する画像であるため、Ａ１は単位行列である。このため、画像４０１の位置および大きさは変換されない。また、画像４０１をアフィン変換したアフィン変換パラメータが画像変換部１８０に保持される。

続いて、次のフレームに対応する画像４０２が合成される場合には、画像変換部１８０が、画像４０２に関連付けられているアフィン変換パラメータを用いて画像４０２をアフィン変換する。例えば、画像４０２に関連付けられているアフィン変換パラメータの行列をＡ２とし、画像４０１に関連付けられているアフィン変換パラメータの行列をＡ１とする。この場合において、画像変換部１８０が、Ａ１×Ａ２の値を算出し、先頭のフレームの画像４０１の位置および大きさを基準にして、算出されたＡ１×Ａ２の行列により画像４０２をアフィン変換する。なお、図１１（ｂ）に示す例では、矢印４１５および４１６に示すように、画像４０２の位置のみが変換される。続いて、画像合成部１９０が、画像変換部１８０によりアフィン変換された画像４０２を、直前のフレームに対応する画像４０１に重なるように上書きして合成する。すなわち、画像４０１の領域のうちで、画像４０２と重複する領域４１０については、画像４０２の画像が上書きされる。また、画像４０１の領域のうちで、画像４０２と重複しない領域４１１については、画像４０２の画像が上書きされない。すなわち、２つ目のフレームに対応する画像４０２が合成される場合には、図１１（ｂ）に示すように、画像４０２の全体部分と、画像４０１のうちの領域４１１に対応する部分とが合成された画像が作成される。また、画像４０２をアフィン変換したアフィン変換パラメータが画像変換部１８０に保持される。

続いて、次のフレームに対応する画像４０３が表示される場合には、画像変換部１８０が、画像４０３に関連付けられているアフィン変換パラメータを用いて画像４０３をアフィン変換する。すなわち、画像４０１乃至４０３に対応するアフィン変換パラメータの各アフィン行列を用いて画像４０３がアフィン変換される。例えば、画像４０３に対応するアフィン変換パラメータの行列をＡ３とし、画像４０２に対応するアフィン変換パラメータの行列をＡ２とし、画像４０１に対応するアフィン変換パラメータの行列をＡ１とする。この場合において、画像変換部１８０が、Ａ１×Ａ２×Ａ３の値を算出し、先頭のフレームの画像４０１の位置および大きさを基準にして、算出されたＡ１×Ａ２×Ａ３の行列により画像４０３をアフィン変換する。なお、図１１（ｃ）に示す画像においては、矢印４１７および４１８に示すように、画像４０３の位置のみが変換される。続いて、画像合成部１９０が、画像変換部１８０によりアフィン変換された画像４０３を、前のフレームに対応する画像４０１および４０２の合成画像に重なるように上書きして合成する。すなわち、画像４０１および４０２の合成画像の領域のうちで、画像４０３と重複する領域４１３および４１４については、画像４０３の画像が上書きされる。また、画像４０１および４０２の合成画像の領域のうちで、画像４０３と重複しない領域４１１および４１２については、画像４０１および４０２の合成画像が合成される。すなわち、３つ目のフレームに対応する画像４０３が合成される場合には、図１１（ｃ）に示すように、画像４０３の全体部分と、画像４０１のうちの領域４１１に対応する部分と、画像４０２のうちの領域４１２に対応する部分とが合成された画像が作成される。また、画像４０３をアフィン変換したアフィン変換パラメータが画像変換部１８０に保持される。このように、現フレームに対応する画像をアフィン変換する場合には、先頭のフレームから現フレームまでの各フレームに対応するアフィン変換パラメータのアフィン行列を用いて、現フレームに対応する画像がアフィン変換される。このアフィン変換の際に求められたアフィン変換パラメータが画像変換部１８０に保持され、次のアフィン変換で用いられる。また、図１４および図１７の場合についても同様である。

次に、カメラの撮影時において、カメラのレンズの方向は移動されないものの、倍率が変更されている場合について説明する。

図１２は、カメラにより撮影された動画の遷移の一例を示す図である。図１２には、山を背景にして人４２０を撮影した場合における動画に含まれる連続するフレームに対応する画像４２１乃至４２３を示す。この例では、カメラのレンズの倍率を上げながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人４２０が、その動画を構成する画像において次第に大きくなる。なお、倍率を上げる際にカメラの位置が多少移動する場合があるものの、この例では、カメラの位置の移動については考慮せずに説明する。

図１３は、本発明の第１の実施の形態におけるオプティカルフロー算出部１２２によりオプティカルフローを算出する場合におけるオプティカルフロー算出例を示す図である。なお、図１３（ｂ）および（ｃ）に示す画像４２２および４２３において、直前のフレームに対応する画像を破線で示す。図１３（ａ）に示す画像４２１は、図１２（ａ）に示す画像４２１と同じものである。また、図１３（ｂ）に示す画像４２２のうちの実線の部分は、図１２（ｂ）に示す画像４２２と同じものであり、図１３（ｂ）に示す画像４２２のうちの破線の部分は、図１２（ａ）に示す画像４２１の実線の部分と同じものである。また、図１３（ｂ）に示す画像４２２における矢印４２４乃至４２６は、画像４２２から検出されたオプティカルフローの一例を示す。同様に、図１３（ｃ）に示す画像４２３のうちの実線の部分は、図１２（ｃ）に示す画像４２３と同じものであり、図１３（ｃ）に示す画像４２３のうちの破線の部分は、図１２（ｂ）に示す画像４２２の実線の部分と同じものである。また、図１３（ｃ）に示す画像４２３における矢印４２７乃至４２９は、画像４２３から検出されたオプティカルフローの一例を示す。

図１３（ｂ）および（ｃ）に示すように、倍率の変更に合わせて、画像に含まれる人４２０および背景の山の大きさが変更する。この変更により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。

図１４は、本発明の第１の実施の形態における画像合成部１９０により動画を構成する画像を合成する場合における画像合成例を示す図である。この例では、画像４２１が先頭のフレームに対応する画像であるものとする。

例えば、画像４２２が合成される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像４２２がアフィン変換される。図１４（ｂ）に示す例では、矢印で示すように、画像４２２の大きさのみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像４２２が、直前のフレームに対応する画像４２１に重なるように上書きされる。すなわち、画像４２１の領域のうちで、画像４２２と重複する領域については、画像４２２の画像が上書きされる。この場合には、画像４２１は、画像４２２の全ての領域と重複しているため、画像４２１に画像４２２の全ての画像が上書きされる。また、画像４２１の領域のうちで、画像４２２と重複しない領域４３１については、画像４２１の画像が合成される。すなわち、２つ目のフレームに対応する画像４２２が合成される場合には、図１４（ｂ）に示すように、画像４２２の全体部分と、画像４２１のうちの領域４３１に対応する部分とが合成される。また、画像４２２をアフィン変換したアフィン変換パラメータが画像変換部１８０に保持される。

続いて、次のフレームに対応する画像４２３が合成される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像４２３がアフィン変換される。すなわち、画像４２１乃至４２３に対応するアフィン変換パラメータの各アフィン行列を乗算して求められたアフィン変換パラメータにより画像４２３がアフィン変換される。図１４（ｃ）に示す例では、矢印で示すように、画像４２３の大きさのみが変換される。そして、アフィン変換された画像４２３が、前のフレームに対応する画像４２１および４２２の合成画像に重なるように上書きされる。すなわち、画像４２１および４２２の合成画像の領域のうちで、画像４２３と重複する領域については、画像４２３の画像が上書きされる。この場合には、画像４２３は、画像４２１および４２２の全ての領域と重複しているため、画像４２１および４２２の合成画像に画像４２３の全ての画像が上書きされる。また、画像４２１および４２２の合成画像の領域のうちで、画像４２３と重複しない領域４３２および４３３については、画像４２１および４２２の合成画像が合成される。すなわち、３つ目のフレームに対応する画像４２３が合成される場合には、図１４（ｃ）に示すように、画像４２３の全体部分と、画像４２１のうちの領域４３２に対応する部分と、画像４２２のうちの領域４３３に対応する部分とが合成される。また、画像４２３をアフィン変換したアフィン変換パラメータが画像変換部１８０に保持される。すなわち、画像４２１乃至４２３のそれぞれに対応するアフィン変換パラメータを用いて求められたアフィン変換パラメータが画像変換部１８０に保持される。

次に、カメラの撮影時において、カメラのレンズの方向や倍率は変更されないものの、光軸方向を回転中心にしてカメラが回転されている場合について説明する。

図１５は、カメラにより撮影された動画の遷移の一例を示す図である。図１５には、山を背景にして人４４０を撮影した場合における動画に含まれる連続するフレームに対応する画像４４１乃至４４３を示す。この例では、光軸方向を回転中心にしてカメラを回転しながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人４４０が、その動画を構成する画像において回転していく。なお、カメラの回転によりカメラの位置が多少移動する場合があるものの、この例では、カメラの位置の移動については考慮せずに説明する。

図１６は、本発明の第１の実施の形態におけるオプティカルフロー算出部１２２によりオプティカルフローを算出する場合におけるオプティカルフロー算出例を示す図である。なお、図１６（ｂ）および（ｃ）に示す画像４４２および４４３において、直前のフレームに対応する画像を破線で示す。図１６（ａ）に示す画像４４１は、図１５（ａ）に示す画像４４１と同じものである。また、図１６（ｂ）に示す画像４４２のうちの実線の部分は、図１５（ｂ）に示す画像４４２と同じものであり、図１６（ｂ）に示す画像４４２のうちの破線の部分は、図１５（ａ）に示す画像４４１の実線の部分と同じものである。また、図１６（ｂ）に示す画像４４２における矢印４４４乃至４４６は、画像４４２から検出されたオプティカルフローの一例を示す。同様に、図１６（ｃ）に示す画像４４３のうちの実線の部分は、図１５（ｃ）に示す画像４４３と同じものであり、図１６（ｃ）に示す画像４４３のうちの破線の部分は、図１５（ｂ）に示す画像４４２の実線の部分と同じものである。また、図１６（ｃ）に示す画像４４３における矢印４４７乃至４４９は、画像４４３から検出されたオプティカルフローの一例を示す。

図１６（ｂ）および（ｃ）に示すように、カメラの回転に合わせて、画像に含まれる人４４０および背景の山が回転移動する。この回転移動により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。

図１７は、本発明の第１の実施の形態における画像合成部１９０により動画を構成する画像を合成する場合における画像合成例を示す図である。この例では、画像４４１が先頭のフレームに対応する画像であるものとする。

例えば、画像４４２が合成される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像４４２がアフィン変換される。図１７（ｂ）に示す例では、矢印で示すように、画像４４２の角度のみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像４４２が、直前のフレームに対応する画像４４１に重なるように上書きされる。すなわち、画像４４１の領域のうちで、画像４４２と重複する領域４５０については、画像４４２の画像が上書きされる。また、画像４４１の領域のうちで、画像４４２と重複しない領域４５１および４５２については、画像４４１の画像が合成される。すなわち、２つ目のフレームに対応する画像４４２が合成される場合には、図１７（ｂ）に示すように、画像４４２の全体部分と、画像４４１のうちの領域４５１および４５２に対応する部分とが合成される。また、画像４４２をアフィン変換したアフィン変換パラメータが画像変換部１８０に保持される。

続いて、次のフレームに対応する画像４４３が合成される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像４４３がアフィン変換される。すなわち、画像４４１乃至４４３に対応するアフィン変換パラメータの各アフィン行列を乗算して求められたアフィン変換パラメータにより画像４２３がアフィン変換される。図１７（ｃ）に示す例では、矢印で示すように、画像４４３の角度のみが変換される。そして、アフィン変換された画像４４３が、前のフレームに対応する画像４４１および４４２の合成画像に重なるように上書きされる。すなわち、画像４４１および４４２の合成画像の領域のうちで、画像４４３と重複する領域４５３乃至４５７については、画像４４３の画像が上書きされる。また、画像４４１および４４２の合成画像の領域のうちで、画像４４３と重複しない領域４５８乃至４６１については、画像４４１および４４２の合成画像がさらに合成される。すなわち、３つ目のフレームに対応する画像４４３が合成される場合には、図１７（ｃ）に示すように、画像４４３の全体部分と、画像４４１のうちの領域４５９に対応する部分と、画像４４２のうちの領域４５８および４６０に対応する部分とが合成される。また、画像４４３をアフィン変換したアフィン変換パラメータが画像変換部１８０に保持される。すなわち、画像４４１乃至４４３のそれぞれに対応するアフィン変換パラメータを用いて求められたアフィン変換パラメータが画像変換部１８０に保持される。

次に、実際にカメラにより撮影された動画を合成する場合における合成例を示す。

図１８および図１９は、カメラにより撮影された動画を構成する画像を合成する際の遷移の一例を示す図である。同図では、公園の広場で遊んでいる家族を、カメラを移動させながら撮影された場合における動画について合成画像を作成する例を示す。また、同図では、黒くした矩形領域７６０乃至７６５内に合成画像を順次表す例を示す。すなわち、矩形領域７６０乃至７６５には、現フレームおよび前の各フレームに対応する画像が合成された領域のみに合成画像を描画し、その他の領域を黒くする。また、現フレームに対応する画像の周りには枠を示す。なお、同図では、動画が合成されている途中からの合成例を示す。また、実際ではフレーム毎に画像が順次合成されるが、同図では、所定数のフレーム間隔毎の合成の遷移を示し、このフレーム間に合成される合成画像の図示を省略する。このため、現フレームに対応する枠の移動が、同図では大きいものとなっている。同図に示すように、撮影された画像に含まれる撮影対象物（公園の広場等）が画面に固定され、現フレームに対応する画像がカメラの動きに合わせて矩形領域上を移動しながら、画像が合成される。

このように、カメラワーク検出部１２０により算出されたアフィン変換パラメータを用いて、動画を構成する各画像を順次合成して合成画像を作成することができる。ここで、図９乃至図１７に示すように、例えば、静止している人を撮像した動画について合成画像を作成する場合には、その人と背景とが含まれるパノラマ状の合成画像を作成することができる。ここで、例えば、移動している人を中心にして撮影した動画について、上述した画像合成方法により合成画像を作成する場合を想定する。この場合には、時間軸における前半部分の画像に含まれる人の領域に後半部分の画像が上書きされることにより、前半部分の画像に含まれる人が消えてしまう可能性がある。そこで、以下では、移動している人を中心にして撮影した動画について、上述した画像合成方法により合成画像を作成する場合について図面を参照して詳細に説明する。

図２０および図２１は、雪山の斜面をスノーボードで滑走する人（スノーボーダー）を撮像した場合における一定間隔毎の撮像範囲を概略的に示す図である。図２０および図２１では、一定間隔毎の撮像範囲４５１乃至４５５を時系列で示す。すなわち、図２０（ａ）に示す撮像範囲４５１は撮像動作の開始時における撮像範囲であり、図２１（ｂ）に示す撮像範囲４５５は撮像動作の終了時における撮像範囲である。また、撮像範囲４５１から撮像範囲４５５までの一定間隔毎の撮像範囲を時系列で、撮像範囲４５２乃至４５４として示す。なお、図２０（ｂ）および（ｃ）、図２１（ａ）および（ｂ）では、現フレームの前の各フレームに対応する各撮像範囲を破線で示す。

例えば、図２０（ｂ）に示すように、撮像範囲４５２が撮像範囲４５１を含む場合に、撮像範囲４５２に対応する画像を撮像範囲４５１に対応する画像に上書きすると、撮像範囲４５１に含まれる人が消えてしまう。同様に、例えば、図２０（ｃ）に示すように、撮像範囲４５３が撮像範囲４５２の一部を含む場合に、撮像範囲４５３に対応する画像を撮像範囲４５２に対応する画像に上書きすると、撮像範囲４５２に含まれる人の一部が消えてしまう。ここで、図２０および図２１では、一定間隔毎の撮像範囲のみを示すため、撮像範囲４５２乃至４５４に含まれる人は、他の撮像範囲と全部が重複していない。しかしながら、動画を構成する全ての画像を合成する場合には、撮像範囲４５１乃至４５４に含まれる人が完全に消えてしまう可能性が高い。

図２２は、図２０および図２１に示す撮像範囲４５１乃至４５５に対応する撮像画像４６１乃至４６５と、撮像画像４６１乃至４６５を含む動画により作成される合成画像４６６とを概略的に示す図である。図２２（ａ）には、図２０および図２１に示す撮像範囲４５１乃至４５５に対応する撮像画像４６１乃至４６５を時系列で示す。また、図２２（ｂ）には、撮像画像４６１乃至４６５を含む動画４６０を時系列で模式的に示す。なお、図２２（ｂ）に示す動画４６０の時間軸において、撮像画像４６１乃至４６５に対応する位置に、撮像画像４６１乃至４６５と同一の符号を付す。図２２（ｃ）には、撮像画像４６１乃至４６５を含む動画４６０により作成される合成画像４６６を概略的に示す。なお、合成画像４６６において、図２２（ａ）に示す撮像画像４６１乃至４６５に対応する位置を破線で示し、同一の符号を付す。

例えば、画像４６１乃至４６５を含む動画４６０について合成画像を作成する場合には、図２２（ｃ）に示すように、撮像動作の最終時の撮像範囲に含まれる人のみが含まれる合成画像４６６が作成されることが想定される。このように、前半部分の画像に含まれる人が消えるとともに、後半部分の画像の被写体が多く含まれる合成画像が作成される可能性がある。例えば、再生すべき動画を選択するためのアイコンとして合成画像を表示する場合を考える。このように、アイコンとして合成画像を表示する場合には、動画の後半部分の画像に含まれる被写体が合成画像に多く含まれることになるため、その動画の後半部分をユーザが容易に把握することができる。しかしながら、例えば、動画４６０の最終時における撮像画像４６５に含まれるスノーボーダーの歓喜の姿のように、ユーザが最も高い興味をもつと考えられるシーンを、動画の再生前に見せられるため、興味が低減してしまうおそれがある。すなわち、最終フレームに対応する画像が合成画像に含まれることになるため、動画の再生前にそのストーリーの最後が理解できてしまうため、興味が低減してしまうおそれがある。

そこで、移動している人が撮像された動画について合成画像を作成する場合に、その動画に対する興味を低減させないように、例えば、動画を構成する各画像のうち、時間軸において後の画像に前の画像を上書きして合成することが考えられる。例えば、時間軸において後のフレームから先頭のフレームに向かって画像合成を行うことが考えられる。ここで、例えば、ＭＰＥＧ−２形式のようにフレーム間情報を用いてエンコードされている動画について、後のフレームから先頭のフレームに向かって画像合成を行う場合を考える。例えば、後ろのフレームからデコードするためには、ＧＯＰ（Group Of Picture）内で時刻順に全てデコードし、このデコードされた各フレームをメモリに記録しておき、このメモリに記録された後のフレームから順次取得する必要がある。このため、時間軸において後のフレームから先頭のフレームに向かって画像合成を行う場合には、合成画像処理に要する時間が長くなる。しかしながら、再生すべき動画を選択するためのアイコンとして合成画像を表示する場合において、例えば、対象となる動画が多数である場合には処理時間を短縮させることが重要となる。

そこで、以下では、時間軸において先頭のフレームから後のフレームに向かって合成処理を行うとともに、後の画像に前の画像を上書きして合成する例について図面を参照して詳細に説明する。

図２３乃至図２５は、本発明の第１の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。ここで、図２３および図２４では、動画を構成する各画像を示す矩形内に、各画像を識別するための識別番号を付して説明する。また、現フレームに対応する画像の枠を太線で示す。なお、図２３乃至図２５に示す第１の画像メモリ２２０および第２の画像メモリ２３０において、画像を示す矩形が存在する領域以外の領域は、α値として０が設定された領域とする。ここで、α値は、透明度を表す数値であり、ＲＧＢ（赤（Red）、緑（Green）、青（Blue））の透明度を０〜２５５の範囲内で変更するものである。

最初に、図２３（ａ）に示すように、画像合成部１９０が、動画を構成する先頭のフレームに対応する画像（＃０）４７０を第１の画像メモリ２２０に保持させる。ここで、先頭のフレームに対応する画像を保持させる位置およびその大きさは、予め設定された位置および大きさとすることができる。また、例えば、合成処理の対象となる動画を構成する各画像に関連付けられているアフィン変換パラメータを用いて合成画像の大きさを予め算出し、この大きさに基づいて、先頭の画像を保持させる位置およびその大きさを決定するようにしてもよい。

続いて、図２３（ｂ）に示すように、画像合成部１９０が、動画を構成する２番目のフレームに対応する画像（＃１）４７１を第２の画像メモリ２３０に保持させる。具体的には、画像変換部１８０が、画像（＃０）４７０を基準画像として、画像（＃０）４７０および（＃１）４７１に関連付けられているアフィン変換パラメータを用いて、画像（＃１）４７１をアフィン変換する。そして、画像合成部１９０が、アフィン変換後の画像（＃１）４７１を第２の画像メモリ２３０に保持させる。ここで、図２３（ｂ）に示す第２の画像メモリ２３０における破線の矩形４８０は、第１の画像メモリ２２０に保持されている画像（＃０）４７０の位置および大きさを示す領域である。

続いて、図２３（ｃ）に示すように、画像合成部１９０が、第１の画像メモリ２２０に保持されている画像（＃０）４７０を取り出し、取り出された画像（＃０）４７０を第２の画像メモリ２３０に保持させる。この場合に、画像（＃０）４７０が第２の画像メモリ２３０に貼り付けられる位置および大きさは、第１の画像メモリ２２０に保持されている位置および大きさと同じとする。また、画像（＃０）４７０は、第２の画像メモリ２３０に保持されるとともに、第１の画像メモリ２２０にも保持された状態とする。

続いて、画像合成部１９０が、現フレームに対応する画像（＃１）４７１と、直前のフレームに対応する画像（＃０）４７０とを含む上書画像取出領域４８１の位置および大きさを算出する。この上書画像取出領域の算出方法については、図２６および図２７を参照して詳細に説明する。

続いて、図２４（ａ）に示すように、画像合成部１９０が、動画を構成する３番目のフレームに対応する画像（＃２）４７２を第１の画像メモリ２２０に保持させる。具体的には、画像変換部１８０が、画像（＃０）４７０を基準画像として、画像（＃０）４７０乃至（＃２）４７２に関連付けられているアフィン変換パラメータを用いて、画像（＃２）４７２をアフィン変換する。そして、画像合成部１９０が、アフィン変換後の画像（＃２）４７２を第１の画像メモリ２２０に保持させる。

続いて、図２４（ｂ）に示すように、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像のうち、上書画像取出領域４８１に含まれる画像を取り出し、取り出された画像を第１の画像メモリ２２０に保持させる。図２４（ｂ）に示す例では、画像（＃０）４７０および（＃１）４７１からなる合成画像のみが上書画像取出領域４８１に含まれるため、画像（＃０）４７０および（＃１）４７１からなる合成画像が取り出される。そして、第１の画像メモリ２２０に保持される。ここで、画像（＃０）４７０および（＃１）４７１からなる合成画像が第１の画像メモリ２２０に貼り付けられる位置および大きさは、第２の画像メモリ２３０に保持されている位置および大きさと同じとする。また、画像（＃０）４７０および（＃１）４７１を含む合成画像は、第１の画像メモリ２２０に保持されるとともに、第２の画像メモリ２３０にも保持された状態とする。

続いて、図２４（ｃ）に示すように、画像合成部１９０が、現フレームに対応する画像（＃２）４７２と、直前のフレームに対応する画像（＃１）４７１とを含む上書画像取出領域４８２の位置および大きさを算出する。

続いて、図２５（ａ）に示すように、画像合成部１９０が、動画を構成する４番目のフレームに対応する画像（＃３）４７３を第２の画像メモリ２３０に保持させる。具体的には、画像変換部１８０が、画像（＃０）４７０を基準画像として、画像（＃０）４７０乃至（＃３）４７３に関連付けられているアフィン変換パラメータを用いて、画像（＃３）４７３をアフィン変換する。そして、画像合成部１９０が、アフィン変換後の画像（＃３）４７３を第２の画像メモリ２３０に保持させる。

続いて、図２５（ｂ）に示すように、画像合成部１９０が、第１の画像メモリ２２０に保持されている画像のうち、上書画像取出領域４８２に含まれる画像を取り出し、取り出された画像を第２の画像メモリ２３０に保持させる。図２５（ｂ）に示す例では、画像（＃０）４７０乃至（＃２）４７２からなる合成画像のうちの一部が上書画像取出領域４８２に含まれる。すなわち、画像（＃１）４７１および（＃２）４７２からなる合成画像の全部と、画像（＃０）４７０の一部とが上書画像取出領域４８２に含まれる。この上書画像取出領域４８２に含まれる合成画像が取り出され、第２の画像メモリ２３０に保持される。ここで、上書画像取出領域４８２に含まれる合成画像が第２の画像メモリ２３０に貼り付けられる位置および大きさは、第１の画像メモリ２２０に保持されている位置および大きさと同じとする。また、上書画像取出領域４８２に含まれる合成画像は、第２の画像メモリ２３０に保持されるとともに、第１の画像メモリ２２０にも保持された状態とする。

続いて、図２５（ｃ）に示すように、画像合成部１９０が、現フレームに対応する画像（＃３）４７３と、直前のフレームに対応する画像（＃２）４７２とを含む上書画像取出領域４８３の位置および大きさを算出する。

続いて、動画を構成する５番目以降のフレームについても、同様に、第１の画像メモリ２２０および第２の画像メモリ２３０を用いて合成画像が作成される。このように、現フレームに対応する画像が１つの画像メモリに貼り付けられた後に、他の画像メモリにおける上書画像取出領域に含まれる合成画像が取り出される。そして、取り出された合成画像が、現フレームに対応する画像が貼り付けられた画像メモリに貼り付けられる。このため、時間軸において先頭のフレームから後のフレームに向かって合成処理を行うとともに、後の画像に前の画像を上書きして合成することができる。

ここで、合成画像記憶部２４０に記憶させる合成画像は、例えば、合成対象となる最後のフレームに対応する画像が貼り付けられた画像メモリ上に作成された合成画像とする。例えば、図２４（ｃ）に示すように、画像（＃２）４７２が第１の画像メモリ２２０に貼り付けられた場合において、画像（＃２）４７２が最後のフレームである場合を想定する。この場合には、第１の画像メモリ２２０上に作成された合成画像（画像（＃０）４７０乃至（＃２）４７２からなる合成画像）が合成画像記憶部２４０に記憶させる合成画像として設定される。また、例えば、図２５（ｃ）に示すように、画像（＃３）４７３が第２の画像メモリ２３０に貼り付けられた場合において、画像（＃３）４７３が最後のフレームである場合を想定する。この場合には、第２の画像メモリ２３０上に作成された合成画像（画像（＃０）４７０乃至（＃３）４７３からなる合成画像）が合成画像記憶部２４０に記憶させる合成画像として設定される。

また、合成画像の分割指示が合成画像分割判定部１７０から画像合成部１９０に出力された場合には、同一の動画について新たな合成画像が作成される。この場合には、合成画像記憶部２４０に記憶させる合成画像は、例えば、分割の直前に画像が貼り付けられた画像メモリ上に作成された合成画像とする。

また、この例では、上書画像取出領域の範囲を現フレームおよび直前のフレームの２つのフレームを含む範囲とする場合について説明した。しかしながら、例えば、現フレームおよび直前の２つ以上のフレームを含む範囲を上書画像取出領域の範囲とするようにしてもよい。

次に、上書画像取出領域の位置および大きさを算出する算出方法について図面を参照して詳細に説明する。

図２６および図２７は、本発明の第１の実施の形態における画像合成部１９０による上書画像取出領域の位置および大きさを算出する場合における算出方法の概略を示す図である。この算出方法では、現フレームおよび直前のフレームを含む矩形領域を上書画像取出領域とする例について説明する。また、図２６および図２７に示す矩形４７０乃至４７３は、図２３乃至図２５に示す画像（＃０）４７０の４つの頂点がアフィン変換された後の各点により形成される矩形である。また、これらの矩形４７０乃至４７３の大きさは、図２３乃至図２５に示す画像（＃０）４７０乃至（＃３）４７３と同様であるため、これらの矩形には画像（＃０）４７０乃至（＃３）４７３と同一の符号を付して説明する。

最初に、図２３乃至図２５に示す動画を構成する先頭のフレームに対応する画像（＃０）４７０を基準画像とする場合に、図２４（ｃ）に示す上書画像取出領域４８２を算出する場合について説明する。例えば、図２６（ａ）に示すように、画像（＃０）４７０の左上の頂点６０１を原点とするｘｙ座標を設定する。また、画像（＃０）４７０の他の頂点を頂点６０２乃至６０４とする。例えば、画像（＃０）４７０の解像度が６４０画素×４８０画素の場合には、頂点６０１の座標は（０，０）とされ、頂点６０２の座標は（６４０，０）とされ、頂点６０３の座標は（６４０，４８０）とされ、頂点６０４の座標は（０，４８０）とされる。この場合に、ｘ軸方向の最大値は「６４０」であり、ｘ軸方向の最小値は「０」であり、ｙ軸方向の最大値は「４８０」であり、ｙ軸方向の最小値は「０」である。なお、図２６および図２７に示すｘｙ座標では、ｙ軸方向の下側を正とする。

画像変換部１８０により画像（＃１）４７１がアフィン変換された場合には、図２６（ｂ）に示すように、ｘｙ座標上において、画像（＃０）４７０の頂点６０１乃至６０４が画像（＃１）４７１の頂点６０５乃至６０８の位置に変換される。また、画像変換部１８０により画像（＃２）４７２がアフィン変換された場合には、図２６（ｃ）に示すように、ｘｙ座標上において、画像（＃０）４７０の頂点６０１乃至６０４が画像（＃２）４７２の頂点６０９乃至６１２の位置に変換される。

続いて、画像（＃１）４７１の頂点６０５乃至６０８、画像（＃２）４７２の頂点６０９乃至６１２に基づいて、ｘ軸方向およびｙ軸方向の最大値および最小値が算出される。例えば、図２６（ｄ）に示すように、頂点６０５乃至６１２のうちで、頂点６０６が一番上側に存在する点となるため、ｙ軸方向の最小値として頂点６０６のｙ軸の値が算出される。また、頂点６０５乃至６１２のうちで、頂点６１１が一番下側に存在する点となるため、ｙ軸方向の最大値として頂点６１１のｙ軸の値が算出される。また、同様に、頂点６０５が一番左側に存在する点となるため、ｘ軸方向の最小値として頂点６０５のｘ軸の値が算出され、頂点６１０が一番右側に存在する点となるため、ｘ軸方向の最大値として頂点６１０のｘ軸の値が算出される。このように算出されたｘ軸方向およびｙ軸方向の最大値および最小値により特定される矩形が、画像（＃１）４７１および画像（＃２）４７２を含む上書画像取出領域として算出される。例えば、図２６（ｄ）に示すように、合成画像表示範囲４８２が決定される。

次に、図２５（ｃ）に示す上書画像取出領域４８３を算出する場合について説明する。画像変換部１８０により画像（＃２）４７２がアフィン変換された場合には、図２７（ａ）に示すように、ｘｙ座標上において、画像（＃０）４７０の頂点６０１乃至６０４が画像（＃２）４７２の頂点６０９乃至６１２の位置に変換される。なお、図２７（ａ）に示す画像（＃２）４７２の頂点６０９乃至６１２の位置は、図２６（ｃ）に示す画像（＃２）４７２の頂点６０９乃至６１２の位置と同一である。また、画像変換部１８０により画像（＃３）４７３がアフィン変換された場合には、図２７（ｂ）に示すように、ｘｙ座標上において、画像（画像（＃０）４７０）の頂点６０１乃至６０４が画像（＃３）４７３の頂点６１３乃至６１６の位置に変換される。

続いて、画像（＃２）４７２の頂点６０９乃至６１２、画像（＃３）４７３の頂点６１３乃至６１６に基づいて、ｘ軸方向およびｙ軸方向の最大値および最小値が算出される。例えば、図２７（ｃ）に示すように、頂点６０９乃至６１６のうちで、頂点６０９が一番上側に存在する点となるため、ｙ軸方向の最小値として頂点６０９のｙ軸の値が算出される。また、頂点６０９乃至６１６のうちで、頂点６１５が一番下側に存在する点となるため、ｙ軸方向の最大値として頂点６１５のｙ軸の値が算出される。また、同様に、頂点６１２が一番左側に存在する点となるため、ｘ軸方向の最小値として頂点６１２のｘ軸の値が算出され、頂点６１４が一番右側に存在する点となるため、ｘ軸方向の最大値として頂点６１４のｘ軸の値が算出される。このように算出されたｘ軸方向およびｙ軸方向の最大値および最小値により特定される矩形が、画像（＃２）４７２および画像（＃３）４７３を含む上書画像取出領域として算出される。例えば、図２７（ｃ）に示すように、合成画像表示範囲４８３が決定される。

図２８は、本発明の第１の実施の形態における画像合成部１９０により作成された合成画像の例を示す図である。図２８（ａ）には、図２３乃至図２５で示した画像合成方法により作成された合成画像を示し、図２８（ｂ）には、時間軸において前のフレームに対応する画像から順次上書き合成することにより作成された合成画像を示す。ここで、図２８（ａ）および（ｂ）に示す合成画像の作成対象となった動画は、雪山の斜面をスノーボードで滑走するスノーボーダーを主な被写体として撮像された動画である。すなわち、図２８（ａ）および（ｂ）に示す合成画像の作成対象となった動画は、この合成画像上において、左上部分から右側に滑走するスノーボーダーの姿が各画像に記録された撮像動画である。また、図２８（ａ）に示す合成画像に含まれる領域６５１は、この合成画像の動画を構成する先頭のフレームに対応する撮像範囲を示す。また、図２８（ｂ）に示す合成画像に含まれる領域６５２は、この合成画像の動画を構成する最後のフレームに対応する撮像範囲を示す。

図２８（ｂ）に示すように、時間軸において前のフレームに対応する画像から順次上書き合成して合成画像を作成する場合には、最後のフレームに対応する画像に含まれるスノーボーダーの姿のみが合成画像に表示され、その前の姿は消えてしまう。このように、動画に登場する中心人物が最後に登場する場面を、最初に見てしまうと、その動画に対する興味が低減してしまうおそれがある。例えば、図２８（ｂ）に示す合成画像を見ることにより、その動画を最初から再生して閲覧しなくても、領域６５２に含まれるスノーボーダーの滑走終了時の歓喜のポーズを見ることができる。このように、動画の結末が容易に把握することができる場合には、その動画に対する興味が低減してしまうことが考えられる。すなわち、ユーザに対して興味を高めたコンテンツを提供することができないおそれがある。

これに対して、図２８（ａ）に示すように、時間軸において前のフレームが上になるように順次合成して合成画像を作成する場合には、先頭のフレームに対応する画像に含まれるスノーボーダーの姿のみが合成画像に表示される。そして、後のフレームに含まれるスノーボーダーの姿は消えてしまう。この場合には、領域６５１に含まれるスノーボーダーの姿は容易に認識することができない程度の大きさであり、動画の被写体となった背景画像（雪山の斜面）が主に表示される。このため、動画のおおよその内容を把握することができるとともに、雪山の斜面でこれから何が始まるのかという期待をユーザに与えることができ、その動画に対する興味を高めることができる。また、動画に登場する中心人物は、合成画像上では容易に認識することができない程度の大きさとして表示されているため、その中心人物に対する興味を高めることができ、その中心人物がどのような滑りをして登場するのかを期待することができる。

これらの合成画像は、例えば、動画記憶部２００に記憶されている動画の再生を指示する場合に、各動画を表すアイコンとして表示部２６０に表示させることができる。また、時間軸において後の画像に前の画像を上書きして合成する画像合成処理と、前の画像に後の画像を上書きして合成する画像合成処理とについては、操作受付部２７０からのユーザ選択に応じて変更するようにしてもよい。そして、ユーザ選択に応じて作成された合成画像を表示部２６０に表示させることができる。また、１つの動画について、これらの２つの合成画像を順次作成して、各動画を表す標識として表示部２６０に同時に表示させるようにしてもよい。以下では、各動画を表すアイコンとして合成画像を表示する場合における表示例を示す。

図２９は、本発明の第１の実施の形態における表示部２６０に表示される合成画像の表示例を示す図である。図２９に示す再生動画選択領域７１０、７２０、７３０は、表示制御部２５０の制御に基づいて表示部２６０に表示される領域であり、動画記憶部２００に記憶されている動画を再生する場合に、再生の対象となる動画を選択する際に用いられる領域である。図２９では、動画記憶部２００に記憶されている動画＃１１および動画＃１２を表すアイコンとして合成画像が表示されている例を示す。ここで、動画＃１１は、図２８に示す合成画像の作成対象となった動画である。また、動画＃１２は、結婚式場において、カメラを左右に移動させながら撮影された動画であり、動いている被写体を含まないものである。

図２９（ａ）に示す再生動画選択領域７１０には、後の画像に前の画像を上書きして合成する画像合成処理がユーザにより選択された場合に、表示部２６０に表示される合成画像の表示例を示す。例えば、表示領域７１１には、動画＃１１を表す合成画像がアイコンとして表示されるとともに、「動画＃１１」の文字が表示される。また、表示領域７１２には、動画＃１２を表す合成画像がアイコンとして表示されるとともに、「動画＃１２」の文字が表示される。このように再生動画選択領域７１０が表示されている場合において、カーソル７１３を用いて、所望の動画に対応するアイコンまたは動画を示す文字をクリック操作することにより、所望の動画を再生させることができる。

図２９（ｂ）に示す再生動画選択領域７２０には、前の画像に後の画像を上書きして合成する画像合成処理がユーザにより選択された場合に、表示部２６０に表示される合成画像の表示例を示す。なお、表示領域７２１および表示領域７２２に含まれる合成画像以外は、図２９（ａ）に示す再生動画選択領域７１０と同様であるため、ここでの説明を省略する。

図２９（ｃ）に示す再生動画選択領域７３０には、後の画像に前の画像を上書きして合成する画像合成処理と、前の画像に後の画像を上書きして合成する画像合成処理とがユーザにより選択された場合に、表示部２６０に表示される合成画像の表示例を示す。すなわち、１つの動画について、これらの２つの合成画像を順次作成して、１つの動画を表す２つの合成画像がアイコンとして表示されるとともに、動画を示す文字が表示される。例えば、表示領域７３１には、図２８（ａ）に示す合成画像と、図２８（ｂ）に示す合成画像とを同時に表示させることができる。なお、表示領域７３１および表示領域７３２に２つの合成画像が含まれる点以外は、図２９（ａ）に示す再生動画選択領域７１０と同様であるため、ここでの説明を省略する。例えば、動画記憶部２００に記憶されている動画が多数の場合に、１つの動画について２種類の合成画像を同時に表示することにより、各動画の全体内容および最初と最後を迅速に把握することができる。このように、ユーザの好みに応じて、適宜合成画像の作成方法を設定することができる。

［画像処理装置の動作例］
次に、本発明の第１の実施の形態における画像処理装置１００の動作について図面を参照して説明する。

図３０は、本発明の第１の実施の形態における画像処理装置１００による合成画像作成処理の処理手順を示すフローチャートである。この例では、時間軸において後の画像に前の画像を上書きして合成する画像合成処理が操作受付部２７０により選択された場合を例にして説明する。また、この例では、合成画像の分割指示が合成画像分割判定部１７０から出力された場合には、現フレーム以降のフレームに対応する各画像について新たな合成画像を作成する例について説明する。

最初に、ファイル取得部１４０が、動画記憶部２００に記憶されている動画ファイルを取得するとともに、この動画ファイルに関連付けられているメタデータファイルをメタデータ記憶部２１０から取得する（ステップＳ９２１）。続いて、変数ｔが「０」に初期化される（ステップＳ９２２）。

続いて、ファイル取得部１４０が、動画ファイルをデコードし、動画ファイルを構成する１つのフレームである現フレームを取得する（ステップＳ９２３）。続いて、ファイル取得部１４０が、取得された現フレームに対応するアフィン変換パラメータをメタデータファイルから取得する（ステップＳ９２４）。ここで、現フレームが先頭フレームである場合には、単位行列のアフィン変換パラメータが取得される。

続いて、シーンチェンジ判定部１５０が、現フレームに対応する画像がシーンチェンジ点に該当する画像であるか否かを判定する（ステップＳ９２５）。現フレームに対応する画像がシーンチェンジ点に該当する画像である場合には（ステップＳ９２５）、ステップＳ９３１に進む。一方、現フレームに対応する画像がシーンチェンジ点に該当する画像でない場合には（ステップＳ９２５）、変換情報補正部１６０が、現フレームに対応するアフィン変換パラメータから、カメラワークの各成分を算出する（ステップＳ９２６）。続いて、変換情報補正部１６０が、カメラワークの各成分の少なくとも１つの値が閾値以上であるか否かを判断する（ステップＳ９２７）。カメラワークの各成分の少なくとも１つの値が閾値以上である場合には（ステップＳ９２７）、変換情報補正部１６０が、アフィン変換パラメータを単位行列のアフィン変換パラメータに補正する（ステップＳ９２８）。一方、カメラワークの各成分の全ての値が閾値以上でない場合には（ステップＳ９２７）、合成画像分割判定部１７０が、先頭のフレームから現フレームまでの各フレームに関するカメラワークの各成分の加算値を算出する（ステップＳ９２９）。続いて、合成画像分割判定部１７０が、カメラワークの各成分の加算値に基づいて、現フレームに対応する画像の合成により、現在の合成画像が画像メモリからはみ出すか否かを判断する（ステップＳ９３０）。すなわち、合成画像の分割の要否が判断される。現在の合成画像が画像メモリからはみ出すと判断された場合には（ステップＳ９３０）、画像合成部１９０が、現フレームの直前のフレームが貼り付けられた画像メモリに保持されている合成画像を合成画像記憶部２４０に記憶させる（ステップＳ９３１）。続いて、画像合成部１９０が、第１の画像メモリ２２０および第２の画像メモリ２３０に保持されている合成画像を消去する（ステップＳ９３２）。続いて、変数ｔが「０」が初期化され（ステップＳ９３３）、ステップＳ９４０に進む。

現在の合成画像が画像メモリからはみ出すと判断されない場合には（ステップＳ９３０）、画像合成部１９０が画像合成処理を行う（ステップＳ９４０）。この画像合成処理については、図３１を参照して詳細に説明する。

続いて、取得された動画ファイルを構成するフレームの中で、現フレームが最後のフレームであるか否かが判断される（ステップＳ９３４）。現フレームが最後のフレームではない場合には（ステップＳ９３４）、変数ｔに「１」が加算され（ステップＳ９３５）、ステップＳ９２３に戻り、画像合成処理を繰り返す（ステップＳ９２３乃至Ｓ９４０）。一方、現フレームが最後のフレームである場合には（ステップＳ９３４）、画像合成部１９０が、現フレームが貼り付けられた画像メモリに保持されている合成画像を合成画像記憶部２４０に記憶させ（ステップＳ９３６）、合成画像作成処理を終了する。

図３１は、本発明の第１の実施の形態における画像処理装置１００による合成画像作成処理の処理手順のうちの画像合成処理手順（図３０に示すステップＳ９４０の処理手順）を示すフローチャートである。

最初に、変数ｔが「０」であるか否かが判断され（ステップＳ９４１）、変数ｔが「０」である場合には、画像合成部１９０が、現フレームに対応する画像をアフィン変換せずに、第１の画像メモリ２２０に保持させる（ステップＳ９４２）。この場合には、現フレームに対応する画像が、先頭のフレームに対応する画像を保持させる位置に保持される。続いて、画像合成部１９０が、上書画像取出領域を算出する（ステップＳ９４３）。この場合には、現フレームに対応する画像の領域が、上書画像取出領域として算出される。続いて、第１の画像メモリ２２０に保持されている画像が、合成画像記憶部２４０に記憶すべき合成画像（記憶対象合成画像）として設定される（ステップＳ９４４）。変数ｔが「０」でない場合には（ステップＳ９４１）、画像変換部１８０が、現フレームに対応するアフィン変換パラメータを用いて現フレームに対応する画像をアフィン変換する（ステップＳ９４５）。

続いて、変数ｔが２の倍数であるか否かが判断される（ステップＳ９４６）。すなわち、ｔ＝２ｎ（ｎは正の整数）であるか否かが判断される。変数ｔが２の倍数である場合には（ステップＳ９４６）、アフィン変換された現フレームに対応する画像を、第１の画像メモリ２２０に保持されている合成画像に上書き合成する（ステップＳ９４７）。続いて、画像合成部１９０が、第２の画像メモリ２３０における上書画像取出領域に含まれる画像を取り出し、上書画像取出領域に含まれる画像を、第１の画像メモリ２２０に保持されている合成画像に上書き合成する（ステップＳ９４８）。続いて、画像合成部１９０が、第１の画像メモリ２２０における上書画像取出領域を算出する（ステップＳ９４９）。この場合には、第１の画像メモリ２２０に保持されている合成画像のうち、現フレームおよび直前のフレームに対応する画像を含む領域が上書画像取出領域として算出される。続いて、第１の画像メモリ２２０に保持されている合成画像が記憶対象合成画像として設定される（ステップＳ９５０）。

一方、変数ｔが２の倍数でない場合には（ステップＳ９４６）、アフィン変換された現フレームに対応する画像を、第２の画像メモリ２３０に保持されている合成画像に上書き合成する（ステップＳ９５１）。なお、ｔ＝１の場合には、第２の画像メモリ２３０に保持されている画像が存在しないため、アフィン変換された現フレームに対応する画像のみが第２の画像メモリ２３０に保持される。続いて、画像合成部１９０が、第１の画像メモリ２２０における上書画像取出領域に含まれる画像を取り出し、上書画像取出領域に含まれる画像を、第２の画像メモリ２３０に保持されている合成画像に上書き合成する（ステップＳ９５２）。続いて、画像合成部１９０が、第２の画像メモリ２３０における上書画像取出領域を算出する（ステップＳ９５３）。この場合には、第２の画像メモリ２３０に保持されている合成画像のうち、現フレームおよび直前のフレームに対応する画像を含む領域が上書画像取出領域として算出される。なお、ｔ＝１の場合には、第２の画像メモリ２３０に保持されている画像が存在しないため、現フレームに対応する画像の領域が、上書画像取出領域として算出される。続いて、第２の画像メモリ２３０に保持されている合成画像が記憶対象合成画像として設定される（ステップＳ９５４）。なお、ステップＳ９４５は、特許請求の範囲に記載の画像変換手順の一例である。また、ステップＳ９４７、Ｓ９４８、Ｓ９５１、Ｓ９５２は、特許請求の範囲に記載の画像合成手順の一例である。

＜２．第２の実施の形態＞
［画像合成例］
本発明の第１の実施の形態では、第１の画像メモリ２２０および第２の画像メモリ２３０を用いて、上書画像取出領域に含まれる画像を他の画像メモリに貼り付けながら画像を合成する例について説明した。以下では、上書画像取出領域を算出せずに、第１の画像メモリ２２０および第２の画像メモリ２３０を用いて合成画像を作成する例について図面を参照して詳細に説明する。ここで、本発明の第２の実施の形態における機能構成は、図１に示す画像処理装置１００が備える画像合成部１９０の機能が異なる以外は画像処理装置１００と同一である。このため、本発明の第１の実施の形態で示す符号と同一の符号を付して、機能が異なるものについてのみ説明し、他の説明を省略する。

図３２および図３３は、本発明の第２の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。なお、図３２および図３３に示す各画像については、図２３乃至図２５に示す各画像と同一のアフィン変換がされるため、同一の符号を付して説明する。また、現フレームに対応する画像の枠を太線で示す。さらに、図３２および図３３に示す第１の画像メモリ２２０および第２の画像メモリ２３０において、画像を示す矩形が存在する領域以外の領域は、α値として０が設定された領域とする。

最初に、図３２（ａ）に示すように、画像合成部１９０が、動画を構成する先頭のフレームに対応する画像（＃０）４７０を第１の画像メモリ２２０に保持させる。なお、第１の画像メモリ２２０に画像（＃０）４７０を保持させる位置および大きさについては、図２３乃至図２５と同様であるため、ここでの説明を省略する。

続いて、図３２（ｂ）に示すように、画像合成部１９０が、動画を構成する２番目のフレームに対応する画像（＃１）４７１を第２の画像メモリ２３０に保持させる。なお、この例で示す各画像のアフィン変換については、図２３乃至図２５に示す場合と同様であるため、ここでの説明を省略する。ここで、図３２（ｂ）に示す第２の画像メモリ２３０における破線の矩形４８０は、第１の画像メモリ２２０に保持されている画像（＃０）４７０の位置および大きさを示す領域である。

続いて、図３２（ｃ）に示すように、画像合成部１９０が、第１の画像メモリ２２０に保持されている画像（＃０）４７０を取り出し、取り出された画像（＃０）４７０を第２の画像メモリ２３０に保持させる。この場合に、画像（＃０）４７０が第２の画像メモリ２３０に貼り付けられる位置および大きさは、第１の画像メモリ２２０に保持されている位置および大きさと同じとする。また、この例では、図２３（ｃ）に示す場合と異なり、画像（＃０）４７０は、第１の画像メモリ２２０から消去される。図３２（ｃ）では、消去後の画像（＃０）４７０の位置および大きさを破線の矩形４７０で示す。

続いて、図３３（ａ）に示すように、画像合成部１９０が、動画を構成する３番目のフレームに対応する画像（＃２）４７２を第１の画像メモリ２２０に保持させる。続いて、図３３（ｂ）に示すように、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像（画像（＃０）４７０および（＃１）４７１からなる合成画像）を取り出し、取り出された画像を第１の画像メモリ２２０に保持させる。ここで、取り出された画像が第１の画像メモリ２２０に貼り付けられる位置および大きさは、第２の画像メモリ２３０に保持されている位置および大きさと同じとする。また、取り出された画像は、第２の画像メモリ２３０から消去される。図３３（ｂ）では、消去後の画像の位置および大きさを破線の矩形４７０および４７１で示す。

続いて、図３３（ｃ）に示すように、画像合成部１９０が、動画を構成する４番目のフレームに対応する画像（＃３）４７３を第２の画像メモリ２３０に保持させる。続いて、図３３（ｄ）に示すように、画像合成部１９０が、第１の画像メモリ２２０に保持されている画像（画像（＃０）４７０乃至（＃２）４７２からなる合成画像）を取り出し、取り出された画像を第２の画像メモリ２３０に保持させる。ここで、取り出された画像が第２の画像メモリ２３０に貼り付けられる位置および大きさは、第１の画像メモリ２２０に保持されている位置および大きさと同じとする。また、取り出された画像は、第１の画像メモリ２２０から消去される。図３３（ｄ）では、消去後の画像の位置および大きさを破線の矩形４７０乃至４７２で示す。

続いて、動画を構成する５番目以降のフレームについても、同様に、第１の画像メモリ２２０および第２の画像メモリ２３０を用いて合成画像が作成される。このように、現フレームに対応する画像が１つの画像メモリに貼り付けられた後に、他の画像メモリに貼り付けられている合成画像が取り出される。そして、取り出された合成画像が、現フレームに対応する画像が貼り付けられた画像メモリに貼り付けられる。このため、時間軸において先頭のフレームから後のフレームに向かって合成処理を行うとともに、後の画像に前の画像を上書きして合成することができる。また、上書画像取出領域をフレーム毎に算出しなくてもよい。また、合成画像記憶部２４０に記憶させる合成画像は、例えば、合成対象となる最後のフレームに対応する画像が貼り付けられた画像メモリ上に作成された合成画像とする。また、合成画像の分割指示が合成画像分割判定部１７０から画像合成部１９０に出力された場合には、合成画像記憶部２４０に記憶させる合成画像は、例えば、分割の直前に画像が貼り付けられた画像メモリ上に作成された合成画像とする。

［画像処理装置の動作例］
図３４は、本発明の第２の実施の形態における画像処理装置１００による画像合成処理手順の処理手順を示すフローチャートである。この例は、本発明の第１の実施の形態における合成画像作成処理（図３０に示すステップＳ９４０の処理手順）の変形例である。

最初に、変数ｔが「０」であるか否かが判断され（ステップＳ９６１）、変数ｔが「０」である場合には、画像合成部１９０が、現フレームに対応する画像をアフィン変換せずに、第１の画像メモリ２２０に保持させる（ステップＳ９６２）。この場合には、現フレームに対応する画像が、先頭のフレームに対応する画像を保持させる位置に保持される。続いて、第１の画像メモリ２２０に保持されている画像が記憶対象合成画像として設定される（ステップＳ９６３）。一方、変数ｔが「０」でない場合には（ステップＳ９６１）、画像変換部１８０が、現フレームに対応するアフィン変換パラメータを用いて現フレームに対応する画像をアフィン変換する（ステップＳ９６４）。

続いて、変数ｔが２の倍数であるか否かが判断される（ステップＳ９６５）。変数ｔが２の倍数である場合には（ステップＳ９６５）、画像合成部１９０が、アフィン変換された現フレームに対応する画像を第１の画像メモリ２２０に保持させる（ステップＳ９６６）。続いて、画像合成部１９０が、第２の画像メモリ２３０に保持されている合成画像を取り出し、第１の画像メモリ２２０に保持されている画像に上書き合成する（ステップＳ９６７）。この場合に、第２の画像メモリ２３０から取り出された合成画像は消去される。続いて、第１の画像メモリ２２０に保持されている合成画像が記憶対象合成画像として設定される（ステップＳ９６８）。

一方、変数ｔが２の倍数でない場合には（ステップＳ９６５）、画像合成部１９０が、アフィン変換された現フレームに対応する画像を第２の画像メモリ２３０に保持させる（ステップＳ９６９）。続いて、画像合成部１９０が、第１の画像メモリ２２０に保持されている合成画像を取り出し、第２の画像メモリ２３０に保持されている画像に上書き合成する（ステップＳ９７０）。この場合に、第１の画像メモリ２２０から取り出された合成画像は消去される。続いて、第２の画像メモリ２３０に保持されている合成画像が記憶対象合成画像として設定される（ステップＳ９７１）。なお、ステップＳ９６４は、特許請求の範囲に記載の画像変換手順の一例である。また、ステップＳ９６６、Ｓ９６７、Ｓ９６９、Ｓ９７０は、特許請求の範囲に記載の画像合成手順の一例である。

＜３．第３の実施の形態＞
［画像合成例］
本発明の第２の実施の形態では、現フレームの直前のフレームに対応する画像が貼り付けられた画像メモリにおける全ての合成画像を取り出す。そして、この合成画像を、現フレームに対応する画像が貼り付けられた画像メモリに貼り付けながら画像を合成する例について説明した。以下では、現フレームの直前のフレームに対応する画像が貼り付けられた画像メモリにおける全ての合成画像を取り出さずに、第１の画像メモリ２２０および第２の画像メモリ２３０を用いて合成画像を作成する例について図面を参照して詳細に説明する。ここで、本発明の第３の実施の形態における機能構成は、図１に示す画像処理装置１００が備える画像合成部１９０の機能が異なる以外は画像処理装置１００と同一である。このため、本発明の第１の実施の形態で示す符号と同一の符号を付して、機能が異なるものについてのみ説明し、他の説明を省略する。

図３５乃至図３７は、本発明の第３の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。なお、図３５乃至図３７に示す各画像については、図２３乃至図２５に示す各画像と同一のアフィン変換がされるため、同一の符号を付して説明する。また、現フレームに対応する画像の枠を太線で示す。さらに、図３５乃至図３７に示す第１の画像メモリ２２０および第２の画像メモリ２３０において、画像を示す矩形が存在する領域以外の領域は、α値として０が設定された領域とする。

最初に、図３５（ａ）に示すように、画像合成部１９０が、動画を構成する先頭のフレームに対応する画像（＃０）４７０を第１の画像メモリ２２０に保持させる。なお、第１の画像メモリ２２０に画像（＃０）４７０を保持させる位置および大きさについては、図２３乃至図２５と同様であるため、ここでの説明を省略する。

続いて、図３５（ｂ）に示すように、画像合成部１９０が、動画を構成する２番目のフレームに対応する画像（＃１）４７１を第２の画像メモリ２３０に保持させる。なお、この例で示す各画像のアフィン変換については、図２３乃至図２５に示す場合と同様であるため、ここでの説明を省略する。ここで、図３５（ｂ）に示す第２の画像メモリ２３０における破線の矩形４８０は、第１の画像メモリ２２０に保持されている画像（＃０）４７０の位置および大きさを示す領域である。

続いて、図３５（ｃ）に示すように、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像（＃１）４７１を取り出す。また、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像（＃１）４７１を含む対象領域４９１を算出する。この対象領域は、現フレームに対応する画像の４つの頂点により特定される矩形の領域である。続いて、画像合成部１９０が、第１の画像メモリ２２０に保持されている画像（＃０）４７０のうち、対象領域４９１に含まれる画像を取り出す。ここで、第１の画像メモリ２２０および第２の画像メモリ２３０における対象領域の位置および大きさは同じものとする。続いて、画像合成部１９０が、第１の画像メモリ２２０から取り出された対象領域４９１に含まれる画像を、第２の画像メモリ２３０から取り出された画像（＃１）４７１に上書き合成する。続いて、画像合成部１９０が、対象領域４９１に含まれる画像が画像（＃１）４７１に上書き合成された画像を、第１の画像メモリ２２０における対象領域４９１の位置に保持させる。また、画像（＃１）４７１は、第２の画像メモリ２３０から消去される。

続いて、図３６（ａ）に示すように、画像合成部１９０が、動画を構成する３番目のフレームに対応する画像（＃２）４７２を第２の画像メモリ２３０に保持させる。続いて、図３６（ｂ）に示すように、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像（＃２）４７２を取り出す。また、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像（＃２）４７２を含む対象領域４９２を算出する。続いて、画像合成部１９０が、第１の画像メモリ２２０に保持されている画像（＃０）４７０および画像（＃１）４７１からなる合成画像のうち、対象領域４９２に含まれる画像を取り出す。続いて、画像合成部１９０が、第１の画像メモリ２２０から取り出された対象領域４９２に含まれる画像を、第２の画像メモリ２３０から取り出された画像（＃２）４７２に上書き合成する。続いて、画像合成部１９０が、対象領域４９２に含まれる画像が画像（＃２）４７２に上書き合成された画像を、第１の画像メモリ２２０における対象領域４９２の位置に保持させる。また、画像（＃２）４７２は、第２の画像メモリ２３０から消去される。

続いて、図３７（ａ）に示すように、画像合成部１９０が、動画を構成する４番目のフレームに対応する画像（＃３）４７３を第２の画像メモリ２３０に保持させる。続いて、図３７（ｂ）に示すように、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像（＃３）４７３を取り出す。また、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像（＃３）４７３を含む対象領域４９３を算出する。続いて、画像合成部１９０が、第１の画像メモリ２２０に保持されている画像（＃０）４７０乃至画像（＃２）４７２からなる合成画像のうち、対象領域４９３に含まれる画像を取り出す。続いて、画像合成部１９０が、第１の画像メモリ２２０から取り出された対象領域４９３に含まれる画像を、第２の画像メモリ２３０から取り出された画像（＃３）４７３に上書き合成する。続いて、画像合成部１９０が、対象領域４９３に含まれる画像が画像（＃３）４７３に上書き合成された画像を、第１の画像メモリ２２０における対象領域４９３の位置に保持させる。また、画像（＃３）４７３は、第２の画像メモリ２３０から消去される。

続いて、動画を構成する５番目以降のフレームについても、同様に、第１の画像メモリ２２０および第２の画像メモリ２３０を用いて合成画像が作成される。このように、現フレームに対応する画像が第２の画像メモリ２３０に貼り付けられた後に、第１の画像メモリ２２０に貼り付けられている対象領域に含まれる画像が取り出される。そして、取り出された画像が、現フレームに対応する画像に上書き合成され、この上書き合成された対象領域に含まれる画像が第１の画像メモリ２２０の対象領域に貼り付けられる。このため、時間軸において先頭のフレームから後のフレームに向かって合成処理を行うとともに、後の画像に前の画像を上書きして合成することができる。また、現フレームの直前のフレームに対応する画像が貼り付けられた画像メモリにおける全ての合成画像を取り出さずに、画像合成処理を行うことができる。このため、貼り付け処理に要する時間を短縮させることができ、メモリコピー量を削減することができる。また、合成画像記憶部２４０に記憶させる合成画像は、第１の画像メモリ２２０に保持されている合成画像とする。

［画像処理装置の動作例］
図３８は、本発明の第３の実施の形態における画像処理装置１００による画像合成処理手順の処理手順を示すフローチャートである。この例は、本発明の第１の実施の形態における合成画像作成処理（図３０に示すステップＳ９４０の処理手順）の変形例である。

最初に、変数ｔが「０」であるか否かが判断され（ステップＳ９８１）、変数ｔが「０」である場合には、画像合成部１９０が、現フレームに対応する画像をアフィン変換せずに、第１の画像メモリ２２０に保持させる（ステップＳ９８２）。この場合には、現フレームに対応する画像が、先頭のフレームに対応する画像を保持させる位置に保持される。一方、変数ｔが「０」でない場合には（ステップＳ９８１）、画像変換部１８０が、現フレームに対応するアフィン変換パラメータを用いて現フレームに対応する画像をアフィン変換する（ステップＳ９８３）。

続いて、画像合成部１９０が、アフィン変換された現フレームに対応する画像を、第２の画像メモリ２３０に保持させる（ステップＳ９８４）。続いて、画像合成部１９０が、第２の画像メモリ２３０に保持されている画像（この画像を含む対象領域内の画像）を取り出す（ステップＳ９８５）。続いて、画像合成部１９０が、第１の画像メモリ２２０に保持されている合成画像のうち、対象領域に含まれる画像を取り出す（ステップＳ９８６）。続いて、画像合成部１９０が、第１の画像メモリ２２０から取り出された対象領域に含まれる画像を、第２の画像メモリ２３０から取り出された画像に上書き合成する（ステップＳ９８７）。続いて、画像合成部１９０が、対象領域に含まれる画像が上書き合成された画像を、第１の画像メモリ２２０における対象領域の位置に保持させる（ステップＳ９８８）。なお、第２の画像メモリ２３０から取り出された画像は、第２の画像メモリ２３０から消去される。また、ステップＳ９８３は、特許請求の範囲に記載の画像変換手順の一例である。また、ステップＳ９８４乃至Ｓ９８８は、特許請求の範囲に記載の画像合成手順の一例である。

＜４．第４の実施の形態＞
［撮像装置の機能構成例］
上述した本発明の各実施の形態については、被写体を撮像して撮像動画を生成することが可能なデジタルビデオカメラ等の撮像装置に適用することができる。以下では、撮像部を備えた撮像装置について図面を参照して詳細に説明する。

図３９は、本発明の第４の実施の形態における撮像装置８００の機能構成例を示すブロック図である。ここで、撮像装置８００の機能構成は、図１に示す画像処理装置１００における動画入力部１１０の代わりに、撮像部８１０を設けた点以外の構成は、画像処理装置１００と同一である。このため、画像処理装置１００の機能構成と同一のものについては同一の符号を付して、これらの構成についての説明を省略する。撮像装置８００は撮像部８１０を備える。

撮像部８１０は、撮像素子（図示せず）と、この撮像素子の出力信号を処理して撮像画像（画像データ）を生成する信号処理部（図示せず）とを備える。すなわち、撮像部８１０において、レンズ（図示せず）を介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより、撮像動画が生成される。そして、生成された撮像動画がカメラワーク検出部１２０に出力される。

以上で示したように、本発明の各実施の形態によれば、撮像装置により撮影された動画を閲覧する場合に、動画を表すアイコンとして合成画像を表示することができるため、各動画の内容を容易に把握することができる。また、ユーザの好みに応じて、後の画像に前の画像が上書き合成された合成画像と、前の画像に後の画像が上書き合成された合成画像との少なくとも１つを表示させることができるため、動画の興味を高めることができる。また、動画の内容に応じた適切な合成画像をアイコンとして表示させることができる。

また、本発明の各実施の形態では、動画ファイルを構成する全てのフレームについて合成画像作成処理を繰り返して合成画像を作成する例について説明した。しかしながら、動画ファイルを構成するフレームの中の少なくとも一定数のフレームについて合成画像作成処理を繰り返して合成画像を作成するようにしてもよい。

また、本発明の各実施の形態では、複数の動画ファイルを動画記憶部２００に記憶するとともに、この動画に対応するメタデータファイルをメタデータ記憶部２１０に記憶する例について説明した。しかし、動画と、この動画に対応するアフィン変換パラメータとを関連付けて動画ファイルとして記憶しておき、再生時には、動画ファイルからアフィン変換パラメータを抽出して用いるようにしてもよい。

また、本発明の各実施の形態では、合成画像を表示部２６０に表示する例を示したが、合成画像を表示させるための画像情報を他の画像表示装置に出力し、その画像表示装置において合成画像を表示させるようにしてもよい。また、合成画像を記録媒体等に記録しておき、他の再生表示等に用いるようにしてもよい。また、動画を再生することが可能なテレビジョン等の動画再生装置や映像視聴装置等の画像処理装置に本発明の各実施の形態を適用することができる

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

本発明の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態におけるカメラワーク検出部１２０の機能構成例を示すブロック図である。 本発明の第１の実施の形態における動画記憶部２００およびメタデータ記憶部２１０に記録されている各ファイルを模式的に示す図である。 本発明の第１の実施の形態における合成画像記憶部２４０に記憶されている内容を概略的に示す図である。 動画を構成する画像の一例を示す図である。 動画を構成する画像について背景等を省略して簡略化した画像を示す図である。 アフィン変換パラメータを用いて矩形３４０が変換された場合を示す図である。 本発明の第１の実施の形態における画像処理装置１００によるアフィン変換パラメータ検出処理の処理手順を示すフローチャートである。 カメラにより撮影された動画の遷移の一例を示す図である。 本発明の第１の実施の形態におけるオプティカルフロー算出部１２２によりオプティカルフローを算出する場合におけるオプティカルフロー算出例を示す図である。 本発明の第１の実施の形態における画像合成部１９０により動画を構成する画像を合成する場合における画像合成例を示す図である。 カメラにより撮影された動画の遷移の一例を示す図である。 本発明の第１の実施の形態におけるオプティカルフロー算出部１２２によりオプティカルフローを算出する場合におけるオプティカルフロー算出例を示す図である。 本発明の第１の実施の形態における画像合成部１９０により動画を構成する画像を合成する場合における画像合成例を示す図である。 カメラにより撮影された動画の遷移の一例を示す図である。 本発明の第１の実施の形態におけるオプティカルフロー算出部１２２によりオプティカルフローを算出する場合におけるオプティカルフロー算出例を示す図である。 本発明の第１の実施の形態における画像合成部１９０により動画を構成する画像を合成する場合における画像合成例を示す図である。 カメラにより撮影された動画を構成する画像を合成する際の遷移の一例を示す図である。 カメラにより撮影された動画を構成する画像を合成する際の遷移の一例を示す図である。 雪山の斜面をスノーボードで滑走する人を撮像した場合における一定間隔毎の撮像範囲を概略的に示す図である。 雪山の斜面をスノーボードで滑走する人を撮像した場合における一定間隔毎の撮像範囲を概略的に示す図である。 図２０および図２１に示す撮像範囲４５１乃至４５５に対応する撮像画像４６１乃至４６５と、撮像画像４６１乃至４６５を含む動画により作成される合成画像４６６とを概略的に示す図である。 本発明の第１の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。 本発明の第１の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。 本発明の第１の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。 本発明の第１の実施の形態における画像合成部１９０による上書画像取出領域の位置および大きさを算出する場合における算出方法の概略を示す図である。 本発明の第１の実施の形態における画像合成部１９０による上書画像取出領域の位置および大きさを算出する場合における算出方法の概略を示す図である。 本発明の第１の実施の形態における画像合成部１９０により作成された合成画像の例を示す図である。 本発明の第１の実施の形態における表示部２６０に表示される合成画像の表示例を示す図である。 本発明の第１の実施の形態における画像処理装置１００による合成画像作成処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における画像処理装置１００による合成画像作成処理の処理手順のうちの画像合成処理手順を示すフローチャートである。 本発明の第２の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。 本発明の第２の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。 本発明の第２の実施の形態における画像処理装置１００による画像合成処理手順の処理手順を示すフローチャートである。 本発明の第３の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。 本発明の第３の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。 本発明の第３の実施の形態における第１の画像メモリ２２０および第２の画像メモリ２３０を用いて作成される合成画像の遷移を示す図である。 本発明の第３の実施の形態における画像処理装置１００による画像合成処理手順の処理手順を示すフローチャートである。 本発明の第４の実施の形態における撮像装置８００の機能構成例を示すブロック図である。

符号の説明

１００ 画像処理装置
１１０ 動画入力部
１２０ カメラワーク検出部
１２１ 特徴点抽出部
１２２ オプティカルフロー算出部
１２３ カメラワークパラメータ算出部
１３０ 記録制御部
１４０ ファイル取得部
１５０ シーンチェンジ判定部
１６０ 変換情報補正部
１７０ 合成画像分割判定部
１８０ 画像変換部
１９０ 画像合成部
２００ 動画記憶部
２１０ メタデータ記憶部
２２０ 第１の画像メモリ
２３０ 第２の画像メモリ
２４０ 合成画像記憶部
２５０ 表示制御部
２６０ 表示部
２７０ 操作受付部
８００ 撮像装置
８１０ 撮像部

Claims (11)

1. 撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、前記撮像動画の時間軸において前記第１の撮像画像よりも後に位置する撮像画像を前記第２の撮像画像とし前記第１の撮像画像よりも前に位置する撮像画像を前記第３の撮像画像として、前記第３の撮像画像を基準として前記第１の撮像画像を変換するための変換情報を第１変換情報とし、前記第３の撮像画像を基準として前記第２の撮像画像を変換するための変換情報を第２変換情報とし、前記第３の撮像画像を基準として前記第１変換情報に基づいて変換された前記第１の撮像画像に前記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、
   前記第３の撮像画像を含む第２の履歴画像を保持する第２の画像保持部と、
   前記第２の画像保持部に保持されている前記第２の履歴画像に含まれる前記第３の撮像画像を基準として前記第２変換情報に基づいて前記第２の撮像画像を変換する画像変換部と、
   前記変換された第２の撮像画像を前記第２の画像保持部に保持されている前記第２の履歴画像に上書き合成して第３の履歴画像として保持させ、前記第１の履歴画像に含まれる前記第３の撮像画像の領域と前記第３の履歴画像に含まれる前記第３の撮像画像の領域とが一致するように前記第１の画像保持部に保持されている前記第１の履歴画像を前記第２の画像保持部に保持されている前記第３の履歴画像に上書き合成する画像合成部と
   を具備する画像処理装置。
2. 前記画像合成部による前記第１の履歴画像の上書き合成が終了した後に前記第２の画像保持部には前記第１の履歴画像が前記第３の履歴画像に上書き合成された第４の履歴画像が保持され、
   前記時間軸において前記第２の撮像画像の後に位置する前記撮像動画を構成する撮像画像を第４の撮像画像とし、前記第３の撮像画像を基準として前記第４の撮像画像を変換するための変換情報を第３変換情報とし、
   前記画像変換部は、前記第１の画像保持部に保持されている前記第１の履歴画像に含まれる前記第３の撮像画像を基準として前記第３変換情報に基づいて前記第４の撮像画像を変換し、
   前記画像合成部は、前記変換された第４の撮像画像を前記第１の画像保持部に保持されている前記第１の履歴画像に上書き合成して第５の履歴画像として保持させ、前記第５の履歴画像に含まれる前記第３の撮像画像の領域と前記第４の履歴画像に含まれる前記第３の撮像画像の領域とが一致するように前記第２の画像保持部に保持されている前記第４の履歴画像を前記第１の画像保持部に保持されている前記第５の履歴画像に上書き合成する
   請求項１記載の画像処理装置。
3. 撮像動画を構成する撮像画像を第１乃至第４の撮像画像とし、前記撮像動画の時間軸において前記第１の撮像画像よりも後に位置する撮像画像を前記第２の撮像画像とし前記第１の撮像画像よりも前に位置する撮像画像を前記第３の撮像画像とし前記第３の撮像画像よりも前に位置する撮像画像を前記第４の撮像画像として、前記第３の撮像画像を基準として前記第１の撮像画像を変換するための変換情報を第１変換情報とし、前記第３の撮像画像を基準として前記第２の撮像画像を変換するための変換情報を第２変換情報とし、前記第３の撮像画像を基準として前記第１変換情報に基づいて変換された前記第１の撮像画像に前記第３の撮像画像が上書き合成された画像に、前記第４の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、
   前記第３の撮像画像を含む第２の履歴画像を保持する第２の画像保持部と、
   前記第２の画像保持部に保持されている前記第２の履歴画像に含まれる前記第３の撮像画像を基準として前記第２変換情報に基づいて前記第２の撮像画像を変換する画像変換部と、
   前記変換された第２の撮像画像を前記第２の画像保持部に保持されている前記第２の履歴画像に上書き合成して第３の履歴画像として保持させ、前記第１の画像保持部に保持されている前記第１の履歴画像のうち前記第３の撮像画像および前記第１の撮像画像を含む領域内の画像を対象画像として、前記対象画像に含まれる前記第３の撮像画像の領域と前記第３の履歴画像に含まれる前記第３の撮像画像の領域とが一致するように前記第１の画像保持部に保持されている前記対象画像を前記第２の画像保持部に保持されている前記第３の履歴画像に上書き合成する画像合成部と
   を具備する画像処理装置。
4. 撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、前記撮像動画の時間軸において前記第１の撮像画像よりも後に位置する撮像画像を前記第２の撮像画像とし前記第１の撮像画像よりも前に位置する撮像画像を前記第３の撮像画像として、前記第３の撮像画像を基準として前記第１の撮像画像を変換するための変換情報を第１変換情報とし、前記第３の撮像画像を基準として前記第２の撮像画像を変換するための変換情報を第２変換情報とし、前記第３の撮像画像を基準として前記第１変換情報に基づいて変換された前記第１の撮像画像に前記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、
   第２の画像保持部において前記第３の撮像画像を保持すべき領域である所定領域を基準として前記第２変換情報に基づいて前記第２の撮像画像を変換する画像変換部と、
   前記変換された第２の撮像画像を前記第２の画像保持部に保持させ、前記第１の履歴画像に含まれる前記第３の撮像画像の領域と前記第２の画像保持部における前記所定領域とが一致するように前記第１の画像保持部に保持されている前記第１の履歴画像を前記第２の画像保持部に保持された前記第２の撮像画像に上書き合成して前記第１の画像保持部における前記第１の履歴画像を消去する画像合成部と
   を具備する画像処理装置。
5. 前記画像合成部による前記第１の履歴画像の消去が終了した後に前記第２の画像保持部には前記第１の履歴画像が前記第２の撮像画像に上書き合成された第２の履歴画像が保持され、
   前記時間軸において前記第２の撮像画像の後に位置する前記撮像動画を構成する撮像画像を第４の撮像画像とし、前記第３の撮像画像を基準として前記第４の撮像画像を変換するための変換情報を第３変換情報とし、
   前記画像変換部は、前記第１の画像保持部に保持されていた前記第１の履歴画像に含まれていた前記第３の撮像画像の保持領域を基準として前記第３変換情報に基づいて前記第４の撮像画像を変換し、
   前記画像合成部は、前記変換された第４の撮像画像を前記第１の画像保持部に保持させ、前記第１の画像保持部における前記保持領域と前記第２の履歴画像に含まれる前記第３の撮像画像の領域とが一致するように前記第２の画像保持部に保持されている前記第２の履歴画像を前記第１の画像保持部に保持された前記第４の撮像画像に上書き合成して前記第２の画像保持部における前記第２の履歴画像を消去する
   請求項４記載の画像処理装置。
6. 撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、前記撮像動画の時間軸において前記第１の撮像画像よりも後に位置する撮像画像を前記第２の撮像画像とし前記第１の撮像画像よりも前に位置する撮像画像を前記第３の撮像画像として、前記第３の撮像画像を基準として前記第１の撮像画像を変換するための変換情報を第１変換情報とし、前記第３の撮像画像を基準として前記第２の撮像画像を変換するための変換情報を第２変換情報とし、前記第３の撮像画像を基準として前記第１変換情報に基づいて変換された前記第１の撮像画像に前記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、
   第２の画像保持部における所定領域を基準として前記第２変換情報に基づいて前記第２の撮像画像を変換する画像変換部と、
   前記変換された第２の撮像画像を前記第２の画像保持部に保持させ、前記第１の画像保持部に保持されている前記第１の履歴画像のうち前記第１の履歴画像に含まれる前記第３の撮像画像を基準として前記第２変換情報に基づいて前記第２の撮像画像が変換された場合における当該変換後の第２の撮像画像に対応する領域を含む対象領域内の画像を対象画像として、前記対象画像における当該変換後の第２の撮像画像に対応する領域と前記第２の画像保持部に保持された前記第２の撮像画像の領域とが一致するように前記第１の画像保持部に保持されている前記対象画像を前記第２の画像保持部に保持された前記第２の撮像画像に上書き合成し、当該合成された画像を前記第１の画像保持部における前記対象領域に上書き合成して前記第２の画像保持部に保持された画像を消去する画像合成部と
   を具備する画像処理装置。
7. 前記第１の撮像画像および前記第３の撮像画像は、前記撮像動画を構成する連続する２つのフレームに対応する画像であり、
   前記第１の撮像画像を構成する各画素に基づいて前記第１の撮像画像における特徴点を抽出する特徴点抽出部と、
   前記抽出された各特徴点に基づいて前記第１の撮像画像の前記第３の撮像画像に対する動き量を算出する動き量算出部と、
   前記算出された動き量に基づいて前記第１変換情報を算出する変換情報算出部と
   をさらに具備する請求項１、３、４および６の何れかに記載の画像処理装置。
8. 前記画像合成部による合成処理により生成された合成画像を前記撮像動画を表す代表画像として表示させる表示制御部をさらに具備する請求項１乃至６の何れかに記載の画像処理装置。
9. 被写体を撮像して撮像動画を生成する撮像部と、
   前記撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、前記撮像動画の時間軸において前記第１の撮像画像よりも後に位置する撮像画像を前記第２の撮像画像とし前記第１の撮像画像よりも前に位置する撮像画像を前記第３の撮像画像として、前記第１の撮像画像および前記第３の撮像画像に基づいて、前記第３の撮像画像を基準として前記第１の撮像画像を変換するための変換情報を第１変換情報として算出し、前記第２の撮像画像および前記第３の撮像画像に基づいて、前記第３の撮像画像を基準として前記第２の撮像画像を変換するための変換情報を第２変換情報として算出する変換情報算出部と、
   前記第３の撮像画像を基準として前記第１変換情報に基づいて変換された前記第１の撮像画像に前記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部と、
   前記第３の撮像画像を含む第２の履歴画像を保持する第２の画像保持部と、
   前記第２の画像保持部に保持されている前記第２の履歴画像に含まれる前記第３の撮像画像を基準として前記第２変換情報に基づいて前記第２の撮像画像を変換する画像変換部と、
   前記変換された第２の撮像画像を前記第２の画像保持部に保持されている前記第２の履歴画像に上書き合成して第３の履歴画像として保持させ、前記第１の履歴画像に含まれる前記第３の撮像画像の領域と前記第３の履歴画像に含まれる前記第３の撮像画像の領域とが一致するように前記第１の画像保持部に保持されている前記第１の履歴画像を前記第２の画像保持部に保持されている前記第３の履歴画像に上書き合成する画像合成部と
   を具備する撮像装置。
10. 撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、前記撮像動画の時間軸において前記第１の撮像画像よりも後に位置する撮像画像を前記第２の撮像画像とし前記第１の撮像画像よりも前に位置する撮像画像を前記第３の撮像画像として、前記第３の撮像画像を基準として前記第１の撮像画像を変換するための変換情報を第１変換情報とし、前記第３の撮像画像を基準として前記第２の撮像画像を変換するための変換情報を第２変換情報とし、前記第３の撮像画像を含む第２の履歴画像を保持する第２の画像保持部に保持されている前記第２の履歴画像に含まれる前記第３の撮像画像を基準として前記第２変換情報に基づいて前記第２の撮像画像を変換する画像変換手順と、
    前記変換された第２の撮像画像を前記第２の画像保持部に保持されている前記第２の履歴画像に上書き合成して第３の履歴画像として保持させ、前記第３の撮像画像を基準として前記第１変換情報に基づいて変換された前記第１の撮像画像に前記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部に保持されている前記第１の履歴画像に含まれる前記第３の撮像画像の領域と前記第３の履歴画像に含まれる前記第３の撮像画像の領域とが一致するように前記第１の画像保持部に保持されている前記第１の履歴画像を前記第２の画像保持部に保持されている前記第３の履歴画像に上書き合成する画像合成手順と
    を具備する画像処理方法。
11. 撮像動画を構成する撮像画像を第１乃至第３の撮像画像とし、前記撮像動画の時間軸において前記第１の撮像画像よりも後に位置する撮像画像を前記第２の撮像画像とし前記第１の撮像画像よりも前に位置する撮像画像を前記第３の撮像画像として、前記第３の撮像画像を基準として前記第１の撮像画像を変換するための変換情報を第１変換情報とし、前記第３の撮像画像を基準として前記第２の撮像画像を変換するための変換情報を第２変換情報とし、前記第３の撮像画像を含む第２の履歴画像を保持する第２の画像保持部に保持されている前記第２の履歴画像に含まれる前記第３の撮像画像を基準として前記第２変換情報に基づいて前記第２の撮像画像を変換する画像変換手順と、
    前記変換された第２の撮像画像を前記第２の画像保持部に保持されている前記第２の履歴画像に上書き合成して第３の履歴画像として保持させ、前記第３の撮像画像を基準として前記第１変換情報に基づいて変換された前記第１の撮像画像に前記第３の撮像画像が上書き合成された第１の履歴画像を保持する第１の画像保持部に保持されている前記第１の履歴画像に含まれる前記第３の撮像画像の領域と前記第３の履歴画像に含まれる前記第３の撮像画像の領域とが一致するように前記第１の画像保持部に保持されている前記第１の履歴画像を前記第２の画像保持部に保持されている前記第３の履歴画像に上書き合成する画像合成手順と
    をコンピュータに実行させるプログラム。