JP6552309B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

動画像の一部を静止画像に置き換えるシネマグラフでは、静止画像に対して数秒ほどの動画像を合成する。このため、繰り返し再生時には、開始及び終了フレームを通過する頻度が高く、開始及び終了フレームの差異による違和感が問題となる。この問題を解決するため、動画像から自動的に類似度の高い開始及び終了フレームを選択する手法が知られている。

例えば、特許文献１では、動画像を複数のセグメントに分割し、セグメント毎に類似度の高いフレームを開始及び終了フレームとして選択し、類似度の高いフレームが存在しなければ、一つのフレームを選択する技術が開示されている。

特開２０１２−１９９６１３号公報

しかし、特許文献１のように、セグメント毎に類似度の高いフレームを開始及び終了フレームとして選択すると、セグメント間に関連があったとしても、セグメント間で異なる開始及び終了フレームを選択することになる。関連があるセグメント間で異なる開始及び終了フレームを選択すると、セグメント間で動作が食い違うことで、違和感が生じるシネマグラフとなる。

本発明の目的は、関連のある移動体間で動作が食い違うことによる違和感を低減することができる画像処理装置、画像処理方法及びプログラムを提供することである。

本発明の画像処理装置は、入力動画像から少なくとも第１の移動体及び第２の移動体を抽出する移動体抽出部と、前記入力動画像を基に前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定する関連判定部と、前記第１の移動体及び前記第２の移動体の間に関連がないと判定された場合には、前記入力動画像を基に前記第１の移動体の再生フレーム区間の動画像及び前記第２の移動体の再生フレーム区間の動画像を別々に生成し、前記第１の移動体及び前記第２の移動体の間に関連があると判定された場合には、前記入力動画像を基に前記第１の移動体及び前記第２の移動体を含む共通の１個の再生フレーム区間の動画像を生成する再生区間生成部と、前記入力動画像を基に静止画像を生成する静止画像生成部と、前記再生区間生成部により生成された前記再生フレーム区間の動画像及び前記静止画像生成部により生成された静止画像を合成する合成部とを有することを特徴とする。

本発明によれば、関連のある移動体間で動作が食い違うことによる違和感を低減することができる。

撮像装置の構成例を示すブロック図である。 シネマグラフを生成する画像処理方法を示すフローチャートである。 移動体の再生区間を特定する動画像の一例を示す図である。 違和感を低減する処理を示すフローチャートである。 移動体間の関連度を算出する処理を示すフローチャートである。 関連度算出の準備を行う処理を示すフローチャートである。 関連度を算出する処理を示すフローチャートである。 関連度を算出する別の処理を示すフローチャートである。 再生区間の候補を選出する処理を示すフローチャートである。 画像処理装置が算出した関連度の一例を示す図である。 画像処理装置が判定した関連の一例を示す図である。 画像処理装置が選出した再生区間の候補の一例を示す図である。 画像処理装置が生成した移動体の二値画像の一例を示す図である。 画像処理装置が求めた中心座標の軌跡の一例を示す図である。 画像処理装置が求めた中心座標の移動速度の一例を示す図である。 画像処理装置が生成した二値画像の一例を示す図である。 画像処理装置が生成した二値画像の一例を示す図である。 画像処理装置が生成した画像の一例を示す図である。 違和感が生じたシネマグラフの一例を示す図である。

図１は、本発明の実施形態による撮像装置１００の構成例を示すブロック図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラ、カメラ機能付き携帯電話、カメラ付きコンピュータなどのカメラ機能を備える電子機器である。撮像装置１００は、光学系１０１、撮像素子１０２、ＣＰＵ１０３、一次記憶装置１０４、画像処理装置１０５、記録媒体１０６、二次記憶装置１０７、表示部１０８及び操作部１０９を有する。

光学系１０１は、レンズ、シャッタ及び絞りを有し、ＣＰＵ１０３の制御によって被写体の光を撮像素子１０２に結像させる。撮像素子１０２は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどであり、光学系１０１を通って結像した光を電気信号に変換する。撮像素子１０２は、光を電気信号に変換する複数の光電変換素子によって構成されており、１つの光電変換素子に対応する電気信号を画素と呼ぶ。

ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することにより、撮像装置１００の機能を実現する。一次記憶装置１０４は、例えばＲＡＭのような揮発性メモリであり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０５で利用されたり、記録媒体１０６へ記録されたりもする。

画像処理装置１０５は、撮像素子１０２で変換された電気信号を処理することにより、撮影画像を生成する。画像処理装置１０５は、電気信号を連続的に処理して複数枚の撮影画像を生成し、これら撮影画像の一枚を１フレームとして複数フレームにより構成される入力動画像を生成することができる。

記録媒体１０６は、一次記憶装置１０４に記憶されている撮影画像のデータなどを記録する。なお、記録媒体１０６は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。二次記憶装置１０７は、例えばＥＥＰＲＯＭのような不揮発性メモリであり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。

表示部１０８は、撮影時のビューファインダ画像の表示、撮影画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等、又は音声や視線などを用いた入力機器である。

撮像装置１００は、画像処理装置１０５が撮影画像又は動画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０９から設定可能である。画像処理装置１０５は、いわゆる現像処理と呼ばれる画像処理、撮影モードに応じた色調の調整なども行う。なお、画像処理装置１０５の機能の少なくとも一部は、ＣＰＵ１０３がプログラムを実行することにより実現してもよい。また、ＣＰＵ１０３、一次記憶装置１０４、画像処理装置１０５、記録媒体１０６、二次記憶装置１０７を備えた情報処理装置が、撮像装置１００が撮影した画像を取得して、現像処理及び撮影モードに応じた色調の調整などを行ってもよい。

図２は、シネマグラフを生成する画像処理方法の流れを示すフローチャートである。まず、ステップＳ１０１では、画像処理装置（移動体抽出部）１０５は、撮像素子１０２により生成された入力動画像から移動体を抽出する。具体的には、画像処理装置１０５は、動画像とは別にあらかじめ撮影された撮影画像と動画像の各フレームとの差分を算出し、差分が閾値を超える画素を差分画素とし、近接する差分画素のうち色や輝度が類似する周囲の画素を移動体として抽出する。つまり、移動体とは、色や輝度が類似する近接した画素の集合であり、動画像に記録された物体の一部である。動画像に記録された移動体は一つ又は複数であってもよく、動画像の一部又は全部のフレームに含まれていてもよい。ユーザが動画像から選択した１つのフレーム又は画像処理装置１０５が自動的に選択した１つのフレームを用いて、動画像の各フレームとの差分を算出しても構わない。

次に、ステップＳ１０２では、画像処理装置１０５は、ステップＳ１０１で抽出した複数の移動体のうち、シネマグラフにおいて動画像として再生する対象を移動体として選択する。移動体の選択は、表示部１０８に対して複数の移動体を順次又は同時に表示して、操作部１０９によりユーザが選択することにより行われる。画像処理装置１０５は、ユーザが選択した移動体と近接する移動体を選択結果に加えると、選択操作が難しい小さな移動体やユーザが見落とした移動体を含めることができる。

次に、ステップＳ１０３では、画像処理装置１０５は、ステップＳ１０２で選択された一つ又は複数の移動体に対して、動画像として再生するフレーム区間を選択する。再生するフレーム区間の選択は、表示部１０８に対して複数のフレームを順次又は同時に表示して、操作部１０９によりユーザが選択することにより行われる。画像処理装置１０５は、ユーザが選択したフレームと近接するフレームを選択結果に加えたり、フレームを合成又は編集したものを加えたりすることで、繰り返し再生時に、再生区間の終了フレームと開始フレームとの差分による違和感を低減できる。再生するフレーム区間は、移動体毎に異なってもよい。ただし、移動体毎に異なるフレーム区間を選択すると、移動体間で動作が食い違い、違和感のあるシネマグラフとなる場合がある。

図１９（ａ）及び（ｂ）は、移動体毎に異なるフレーム区間を選択することより、移動体間で動作が食い違うことで違和感が生じるシネマグラフの一例を示す。影３０２は、テーブル３０１の影である。ボール３０３は、テーブル３０１上で弾んでいる。影３０４は、ボール３０３の影である。図１９（ａ）において、フレームＦ１からフレームＦ７は、動画像の一部である。ボール３０３及びボールの影３０４は、離れているため、異なる移動体として処理される。ボール３０３は、フレームＦ１及びＦ５の類似度が高いので、フレームＦ１が開始フレーム、フレームＦ５が終了フレームとして選択される。一方、ボールの影３０４は、フレームＦ３及びＦ７の類似度が高いので、フレームＦ３が開始フレーム、フレームＦ７が終了フレームとして選択される。図１９（ｂ）は、その選択されたフレームＦ１〜Ｆ５のボール３０３の動画像とフレームＦ３〜Ｆ７のボールの影３０４の動画像を合成したシネマグラフである。このシネマグラフでは、ボール３０３の動きとホールの影３０４の動きとが合っていないため違和感が生じる。例えば、フレームＦ１では、ボール３０３は下方に位置するのに、ボールの影３０４はボール３０３が上方に位置する時の影である。また、フレームＦ３では、ボール３０３は上方に位置するのに、ボールの影３０４はボール３０３が下方に位置する時の影である。このように、関連のある移動体間で異なる開始フレーム及び終了フレームを選択すると、移動体間の動作の不整合による違和感を生じる場合がある。本実施形態では、このような違和感を画像処理装置１０５により低減する処理を図４に示し、詳細を後述する。

図２に戻り、次に、ステップＳ１０４では、画像処理装置（静止画像生成部）１０５は、入力動画像を基に、静止させる背景又は前景を代表静止画像として生成する。代表静止画像の生成は、表示部１０８に対して複数のフレームを順次又は同時に表示して、操作部１０９によりユーザが選択することにより行われる。代表静止画像は一つ又は複数のレイヤによって構成され、各レイヤは一部又は全部の画素によって構成される。画像処理装置１０５は、ユーザが選択したフレームと近接するフレームに変更したり、フレームを合成又は編集したものを生成したりすることで、不要な移動体を除去したり、ノイズを低減することができる。

次に、ステップＳ１０５では、画像処理装置（合成部）１０５は、ステップＳ１０３で選択又は生成された再生フレーム区間の動画像と、ステップＳ１０４で生成された代表静止画像を合成する。それぞれの移動体は、代表静止画像のレイヤの前面、背面又は途中に配置されてもよい。

図３は、図２の処理を説明するためのフレームＦ１〜Ｆ１２の動画像の一例を示す図である。レール２０１は、ループを含むレールである。影２０２は、ループ２０１の影である。フレームＦ３において、移動体２０３及び２０４が存在し、移動体２０５は、移動体２０３の影であり、移動体２０３との関連度が高い。移動体２０６は、移動体２０４の影であり、移動体２０４との関連度が高い。フレームＦ５において、移動体２０７は、移動体２０３の影であり、移動体２０３との関連度が高い。移動体２０８は、移動体２０４の影であり、移動体２０４との関連度が高い。フレームＦ７において、移動体２０９は、移動体２０３の影であり、移動体２０３との関連度が高い。移動体２１０は、移動体２０４の影であり、移動体２０４との関連度が高い。フレームＦ９において、移動体２１１は、移動体２０３の影であり、移動体２０３との関連度が高い。移動体２１２は、移動体２０４の影であり、移動体２０４との関連度が高い。

フレームＦ３では、移動体２０５は移動体２０３の影であり、移動体２０６は移動体２０４の影である。フレームＦ４では、移動体２０５及び２０６が交差し、移動体２０５及び２０６の面積、形状、色及び輝度の差異が小さい場合には、移動体２０５及び２０６の区別がつかなくなる。そのため、フレームＦ５の移動体２０７及び２０８は、フレームＦ３の移動体２０５及び２０６とは別の移動体として認識されてしまう。

同様に、フレームＦ６では、移動体２０７及び２０８が交差し、移動体２０７及び２０８の面積、形状、色及び輝度の差異が小さい場合には、移動体２０７及び２０８の区別がつかなくなる。そのため、フレームＦ７の移動体２０９及び２１０は、フレームＦ５の移動体２０７及び２０８とは別の移動体として認識されてしまう。

同様に、フレームＦ８では、移動体２０９及び２１０が交差し、移動体２０１及び２１０の面積、形状、色及び輝度の差異が小さい場合には、移動体２０９及び２１０の区別がつかなくなる。そのため、フレームＦ９の移動体２１１及び２１２は、フレームＦ７の移動体２０９及び２１０とは別の移動体として認識されてしまう。

したがって、図２のステップＳ１０１では、画像処理装置１０５は、１０個の移動体２０３〜２１２を別の移動体として抽出する。ステップＳ１０２では、画像処理装置１０５は、移動体２０３〜２１２から合成に利用する移動体を選択する。

図４は、図２のステップＳ１０３の処理の詳細を示すフローチャートであり、移動体間で動作が食い違うことにより起こる違和感を低減するための処理を示す。ステップＳ２０１では、画像処理装置１０５は、ステップＳ１０２で選択された移動体間の関連度を算出する。関連度の算出は、一つ又は複数のフレームを利用して行われる。画像処理装置１０５は、関連する移動体間の関連度が高く、関連しない移動体間の関連度が低くなるように関連度を算出することで、移動体間で異なるフレーム区間を再生した場合に起こる違和感を予測することができる。つまり、移動体間の関連度が高ければ違和感が強く、移動体間の関連度が低ければ違和感が弱い。

図１０は、図３の例に対して、図４のステップＳ２０１で算出する移動体間の関連度の一例を示す。関連度として、移動体２０３〜２１２間の移動体交差ｏ、移動体接触ｔ、軌跡交差ｐ、奥行交差ｃ、座標極値ｄ、速度極値ｓが算出される。画像処理装置１０５がこのような関連度を算出する手順を、図５〜図８を参照しながら後述する。

図４に戻り、ステップＳ２０２では、画像処理装置（関連判定部）１０５は、移動体間の関連度が閾値よりも高ければそれらの移動体が関連する移動体であると判定し、移動体間の関連度が閾値よりも低ければそれらの移動体が関連しない移動体であると判定する。関連する移動体と判定された場合には、以降の処理において、関連する移動体が１つの移動体として取り扱われる。関連する移動体は、近接していても離れていても構わない。また、ある移動体が複数の移動体と関連する場合には、関連する全ての移動体を１つの移動体として取り扱う。

図１１は、ステップＳ２０２で、図１０の関連度を基に判定された関連の判定結果の一例を示す。“ＴＲＵＥ”は、第１の移動体及び第２の移動体の間に関連ありの判定結果を示し、“ＦＡＬＳＥ”は、第１の移動体及び第２の移動体の間に関連なしの判定結果を示す。図１１の例では、移動体２０３は、全ての移動体との関連が“ＴＲＵＥ”（関連あり）と判定されており、１０個の移動体２０３〜２１２の全てが１つの移動体として取り扱われる。

図４に戻り、ステップＳ２０３では、画像処理装置１０５は、それぞれの移動体に対して、動画像として再生する開始フレームから終了フレームまでを指す再生区間の候補を選出する。具体的には、画像処理装置（再生区間生成部）１０５は、第１の移動体及び第２の移動体の間に関連がないと判定された場合には、入力動画像を基に第１の移動体の再生フレーム区間の動画像及び第２の移動体の再生フレーム区間の動画像を別々に生成する。これに対し、第１の移動体及び第２の移動体の間に関連があると判定された場合には、画像処理装置（再生区間生成部）１０５は、入力動画像を基に第１の移動体及び第２の移動体を含む共通の１個の再生フレーム区間の動画像を生成する。

図１２は、ステップＳ２０３で、図３の例に対して、画像処理装置１０５が選出した再生区間の候補の一例を示す。図１２の例では、フレームＦ１〜Ｆ１１の再生区間、フレームＦ２〜Ｆ１０の再生区間、フレームＦ３〜Ｆ９の再生区間、フレームＦ４〜Ｆ８の再生区間、フレームＦ５〜Ｆ７の再生区間が候補として選出されている。ステップＳ２０３の処理の詳細は、図９を参照しながら後述する。

図４に戻り、ステップＳ２０４では、画像処理装置１０５は、移動体毎に再生区間を選択する。具体的には、画像処理装置１０５は、ステップＳ２０３において複数の再生区間の候補が選出された場合には、表示部１０８に対して再生区間を順次又は同時に再生させ、操作部１０９によるユーザの選択により、再生区間を選択する。画像処理装置１０５は、ユーザが選択した再生区間と近接する再生区間に変更したり、再生区間を合成又は編集したものを、再生区間として選択してもよい。

また、画像処理装置１０５は、再生区間の長さや他の移動体との関連度に応じて、再生区間の候補を除外した上で、表示部１０８に表示すれば、ユーザが再生区間を選択する手間を軽減できる。例えば、２つ以上の再生区間の候補を直接内包する再生区間の候補を除外した上で、他の再生区間の候補に直接内包される再生区間の候補を除外する方法が挙げられる。図１２において、フレームＦ１〜Ｆ１１の再生区間の候補は、フレームＦ２〜Ｆ１０の再生区間の候補を直接内包しており、フレームＦ２〜Ｆ１０の再生区間の候補は、フレームＦ３〜Ｆ９の再生区間の候補を直接内包している。そのため、フレームＦ２〜Ｆ１０の再生区間の候補及びフレームＦ３〜Ｆ９の再生区間の候補が除外される。同様の除外処理により、残る再生区間の候補は、フレームＦ１〜Ｆ１１の再生区間の候補のみとなる。

また、フレームＦ１２以降にフレームＦ２〜Ｆ１１が繰り返された場合、フレームＦ１〜Ｆ２１が再生区間の候補として選出される。一方、フレームＦ１〜Ｆ２１は、フレームＦ１〜Ｆ１１とフレームＦ１１〜Ｆ２１を直接内包するため除外され、フレームＦ１〜Ｆ１１とフレームＦ１１〜Ｆ２１が再生区間の候補として選出される。

図５は、図４のステップＳ２０１において移動体間の関連度を算出する処理を示すフローチャートである。ステップＳ３０１では、画像処理装置１０５は、関連度算出の準備を行う。ステップＳ３０１の処理の詳細は、図６を参照しながら後述する。

次に、ステップＳ３０２では、画像処理装置１０５は、第１の移動体を示すインデックスｉｄＳを０に初期化する。次に、ステップＳ３０３では、画像処理装置１０５は、第２の移動体を示すインデックスｉｄＤをｉｄＳ＋１に設定する。次に、ステップＳ３０４では、画像処理装置１０５は、第１の移動体ｉｄＳ及び第２の移動体ｉｄＤの関連度を算出する。ステップＳ３０４の処理の詳細は、図７及び図８を参照しながら後述する。

次に、ステップＳ３０５では、画像処理装置１０５は、第２の移動体を示すインデックスｉｄＤをインクリメントする。次に、ステップＳ３０６では、画像処理装置１０５は、第２の移動体ｉｄＤの候補が最後の候補であるか否かを判定する。最後の候補でない場合には、ステップＳ３０４に戻り、関連度の算出を行う。最後の候補である場合には、ステップＳ３０７へ進む。

ステップＳ３０７では、画像処理装置１０５は、第１の移動体を示すインデックスｉｄＳをインクリメントする。次に、ステップＳ３０８では、画像処理装置１０５は、第１の移動体ｉｄＳの候補が最後の候補であるか否かを判定する。最後の候補でない場合には、ステップＳ３０３に戻り、第２の移動体を示すインデックスｉｄＤをｉｄＳ＋１に設定する。最後の候補である場合には、処理を終了する。

画像処理装置１０５は、上記のステップＳ３０１〜Ｓ３０８の処理により、図３の例に対して、図１０に示した関連度の一例を算出することができる。

図６は、図５のステップＳ３０１の関連度算出準備処理の詳細を示すフローチャートである。ステップＳ４０１では、画像処理装置１０５は、フレームを示すインデックスｆ及び移動体を示すインデックスｉｄを０に初期化する。

次に、ステップＳ４０２では、画像処理装置１０５は、ステップＳ１０１で抽出された移動体の画像から、移動体ｉｄであれば‘１’、移動体ｉｄでなければ‘０’を示すフレームｆ毎の二値画像Ｂ（ｉｄ，ｆ）を生成する。この時、画像処理装置１０５は、二値画像Ｂ（ｉｄ，ｆ）に対して膨張処理及び収縮処理を繰り返すことで、移動体の一部が移動体として抽出されない中抜けを補うとともに移動体の境界を広げる。画像処理装置１０５は、移動体の境界を広げることで、同一フレームにおいてある移動体と別の移動体との交差を判定することができる。

図１３（ａ）〜（ｈ）は、図３に対応し、ステップＳ４０２において画像処理装置１０５が生成した移動体の二値画像Ｂ（ｉｄ，ｆ）の一例を示す。図１３（ａ）は、フレームＦ３における移動体２０３の二値画像を示す。図１３（ｂ）は、フレームＦ３における移動体２０４の二値画像を示す。図１３（ｃ）は、フレームＦ３における移動体２０５の二値画像を示す。図１３（ｄ）は、フレームＦ３における移動体２０６の二値画像を示す。

図１３（ｅ）は、フレームＦ４における移動体２０３の二値画像を示す。図１３（ｆ）は、フレームＦ４における移動体２０４の二値画像を示す。図１３（ｇ）は、フレームＦ４における移動体２０５の二値画像を示す。図１３（ｈ）は、フレームＦ４における移動体２０６の二値画像を示す。なお、各二値画像の移動体の中央に示された白丸は、各移動体の中心座標を示しており、実際の画素値は‘１’である。

図３のフレームＦ４に示すように、移動体２０５及び２０６が交差している。したがって、フレームＦ４において、移動体２０５と移動体２０６の区別がつかないため、ステップＳ４０２で生成した図１３（ｇ）の二値画像及び図１３（ｈ）の二値画像には、移動体２０５及び２０６の両方を含めている。また、図３のフレームＦ６の移動体２０７及び２０８も区別がつかないため、同様の二値画像が生成される。

図６に戻り、ステップＳ４０３では、画像処理装置１０５は、移動体ｉｄの二値画像の中心座標（位置）Ｌ（ｉｄ，ｆ）をフレームｆ毎に求める。図１４（ａ）〜（ｄ）は、ステップＳ４０３において画像処理装置１０５が求めた中心座標の軌跡の一例を示す。図１４（ａ）は、移動体２０３の中心座標の軌跡を示す。図１４（ｂ）は、移動体２０４の中心座標の軌跡を示す。図１４（ｃ）は、移動体２０５の中心座標の軌跡を示す。図１４（ｄ）は、移動体２０６の中心座標の軌跡を示す。

ステップＳ４０４では、画像処理装置１０５は、移動体ｉｄの中心座標の移動速度Ｖ（ｉｄ，ｆ）をフレームｆ毎に算出する。図１５（ａ）〜（ｄ）は、ステップＳ４０４において画像処理装置１０５が算出した中心座標の移動速度Ｖ（ｉｄ，ｆ）の一例を示す。図１５（ａ）は、移動体２０３の移動速度を示す。図１５（ｂ）は、移動体２０４の移動速度を示す。図１５（ｃ）は、移動体２０５の移動速度を示す。図１５（ｄ）は、移動体２０６の移動速度を示す。図１５（ｃ）及び（ｄ）には、移動体２０７〜２１２の移動速度を合わせて示したが、移動体２０７〜２１２の移動速度はそれぞれ独立した線分となっている。

ステップＳ４０５では、画像処理装置１０５は、移動体ｉｄまでの距離を奥行Ｄ（ｉｄ，ｆ）としてフレームｆ毎に算出する。画像処理装置１０５は、二枚の撮影画像を基に各画素の視差を求めることで、奥行Ｄ（ｉｄ，ｆ）を算出することができる。視差が小さければ奥行Ｄ（ｉｄ，ｆ）が浅く、視差が大きければ奥行Ｄ（ｉｄ，ｆ）が深い。

ステップＳ４０６では、画像処理装置１０５は、移動体を示すインデックスｉｄをインクリメントする。次に、ステップＳ４０７では、画像処理装置１０５は、移動体ｉｄの候補が最後の候補であるか否かを判定する。最後の候補でない場合には、ステップＳ４０２に戻り、二値画像を生成する。最後の候補である場合には、ステップＳ４０８に進む。

ステップＳ４０８では、画像処理装置１０５は、フレームを示すインデックスｆをインクリメントする。次に、ステップＳ４０９では、画像処理装置１０５は、フレームｆが最後のフレームであるか否かを判定する。最後のフレームでない場合には、ステップＳ４０２に戻り、二値画像を生成する。最後のフレームである場合には、処理を終了する。

図７は、図５のステップＳ３０４の処理の詳細を示すフローチャートである。ステップＳ５０１では、画像処理装置１０５は、フレームを示すインデックスｆ、第１及び第２の移動体が交差したフレーム数ｏ、第１及び第２の移動体が接触したフレーム数ｔ、第１及び第２の移動体の軌跡が交差したことを示すパラメータｐを０に初期化する。

次に、ステップＳ５０２では、画像処理装置１０５は、ステップＳ４０２で生成した二値画像から、第１の移動体の軌跡を示す二値画像Ｐ１、第２の移動体の軌跡を示す二値画像Ｐ２、フレームｆにおける第１の移動体又は第２の移動体を示す二値画像Ｍを生成する。画像処理装置１０５は、二つの二値画像を基に、画素毎に論理和を算出することで、移動体が通過したか否か、又は移動体が存在するか否かを二値画像として示すことができる。

図１６（ａ）及び（ｂ）は、ステップＳ５０２において画像処理装置１０５が生成した二値画像Ｍの一例を示す。図１６（ａ）は、フレームＦ３における二値画像Ｍを示し、移動体２０３及び２０４を含む。図１６（ｂ）は、フレームＦ４における二値画像Ｍを示し、移動体２０３及び２０４を含む。

図７に戻り、ステップＳ５０３では、画像処理装置１０５は、第１の移動体の二値画像Ｂ（ｉｄＳ，ｆ）から第１の移動体が存在する座標の数ｂ１を算出する。同様に、画像処理装置１０５は、第２の移動体の二値画像Ｂ（ｉｄＤ，ｆ）から第２の移動体が存在する座標の数ｂ２、第１の移動体又は第２の移動体を示す二値画像Ｍから第１の移動体又は第２の移動体の存在する座標の数ｍを算出する。

同一フレームの各画素に存在する移動体は、第１の移動体又は第２の移動体であり、ステップＳ４０２で行う膨張処理によって移動体の境界が広がった領域でのみ交差を判定できる。ステップＳ５０２及びＳ５０３では、フレームｆにおける第１の移動体の二値画像及びフレームｆ＋１における第２の移動体の二値画像を利用したり、フレームｆ＋１における第１の移動体の二値画像及びフレームｆにおける第２の移動体の二値画像を利用できる。これにより、交差の検出精度を高めることができる。

次に、ステップＳ５０４では、画像処理装置１０５は、座標数ｂ１と座標数ｂ２の和が座標数ｍと等しいか否かを判定する。等しい場合には、ステップＳ５０８に進み、等しくない場合には、ステップＳ５０５に進む。

図１６（ａ）において、二値画像Ｍを示す座標の数ｍは、図１３（ａ）における移動体２０３を示す座標数ｂ１と図１３（ｂ）における移動体２０４を示す座標数ｂ２の和と等しい。これは、フレームＦ３において移動体２０３と移動体２０４は交差していないことを示している。この場合、ステップＳ５０４からステップＳ５０８に進む。

一方、図１６（ｂ）において、二値画像Ｍを示す座標の数ｍは、図１３（ｅ）における移動体２０３を示す座標数ｂ１と図１３（ｆ）における移動体２０４を示す座標数ｂ２の和より小さい。これは、フレームＦ４において、移動体２０３と移動体２０４が交差していることを示している。この場合、ステップＳ５０４からステップＳ５０５に進む。

ステップＳ５０５では、画像処理装置１０５は、移動体が交差したフレーム数ｏをインクリメントし、第１の移動体の奥行Ｄ（ｉｄＳ，ｆ）と第２の移動体の奥行Ｄ（ｉｄＤ，ｆ）の差分の絶対値ｈを算出する。

次に、ステップＳ５０６では、画像処理装置１０５は、奥行の差分の絶対値ｈが閾値ＴＨよりも大きいか判定する。大きい場合には、第１及び第２の移動体が接触していないと判定し、ステップＳ５０８へ進み、大きくない場合には、第１及び第２の移動体が接触していると判定し、ステップＳ５０７に進む。ステップＳ５０７では、画像処理装置１０５は、移動体が接触したフレーム数ｔをインクリメントする。その後、ステップＳ５０８へ進む。

ステップＳ５０８では、画像処理装置１０５は、フレームを示すインデックスｆをインクリメントする。次に、ステップＳ５０９では、画像処理装置１０５は、フレームｆが最後のフレームであるか否かを判定する。最後のフレームでない場合には、ステップＳ５０２に戻る。最後のフレームである場合には、ステップＳ５１０に進む。

ステップＳ５１０では、画像処理装置１０５は、第１の移動体の軌跡を示す二値画像Ｐ１及び第２の移動体の軌跡を示す二値画像Ｐ２の論理和により、第１の移動体又は第２の移動体の軌跡を示す二値画像Ｎを生成する。

図１７（ａ）〜（ｃ）は、ステップＳ５１０において画像処理装置１０５が生成した二値画像Ｎの一例を示す。図１７（ａ）は、ステップＳ５０２で生成した移動体２０３の軌跡を示す二値画像Ｐ１を示す。図１７（ｂ）は、ステップＳ５０２で生成した移動体２０４の軌跡を示す二値画像Ｐ２を示す。図１７（ｃ）は、ステップＳ５１０で生成した二値画像Ｎを示す。二値画像Ｎは、二値画像Ｐ１及び二値画像Ｐ２の論理和の画像である。

図７に戻り、ステップＳ５１１では、画像処理装置１０５は、第１の移動体の軌跡を示す二値画像Ｐ１を基に第１の移動体が存在する座標の数ｐ１を算出する。同様に、画像処理装置１０５は、第２の移動体の軌跡を示す二値画像Ｐ２を基に第２の移動体が存在する座標の数ｐ２を算出し、第１の移動体又は第２の移動体の軌跡を示す二値画像Ｎを基に第１の移動体又は第２の移動体が存在する座標の数ｎを算出する。

次に、ステップＳ５１２では、画像処理装置１０５は、座標数ｐ１と座標数ｐ２の和が座標数ｎと等しいか否かを判定する。等しい場合には、処理を終了し、等しくない場合には、ステップＳ５１３に進む。ステップＳ５１３では、画像処理装置１０５は、移動体の軌跡が交差したことを示すパラメータｐに１を設定し、処理を終了する。

図１７（ｃ）の二値画像Ｎを示す座標の数ｎは、図１７（ａ）の移動体２０３を示す座標数ｐ１と図１７（ｂ）の移動体２０４を示す座標数ｐ２の和より小さい。これは、フレームＦ１〜Ｆ１２において、移動体２０３と移動体２０４の軌跡が交差していることを示している。この場合、ステップＳ５１２からステップＳ５１３に進む。

図８は、図５のステップＳ３０４の別の処理を示すフローチャートである。ステップＳ６０１では、画像処理装置１０５は、フレームを示すインデックスｆ、第１及び第２の移動体までの奥行が交差したフレーム数ｃを０に初期化する。さらに、画像処理装置１０５は、第１及び第２の移動体の座標が極値をとるフレームが一致するフレーム数ｄ、第１及び第２の移動体の移動速度が極値をとるフレームが一致するフレーム数ｓを０に初期化する。

次に、ステップＳ６０２では、画像処理装置１０５は、第１の移動体までの奥行及び第２の移動体までの奥行が交差したか否かを判定する。具体的には、画像処理装置１０５は、フレームｆ及びフレームｆ＋１における第１の移動体の奥行Ｄ（ｉｄＳ，ｆ），Ｄ（ｉｄＳ，ｆ＋１）とフレームｆ及びフレームｆ＋１における第２の移動体の奥行Ｄ（ｉｄＤ，ｆ），Ｄ（ｉｄＤ，ｆ＋１）を基に判定する。

次に、ステップＳ６０３では、画像処理装置１０５は、第１の移動体及び第２の移動体までの奥行の交差の有無を確認する。交差した場合には、ステップＳ６０４に進み、交差していない場合には、ステップＳ６０５に進む。ステップＳ６０４では、画像処理装置１０５は、奥行が交差したフレーム数ｃをインクリメントする。その後、ステップＳ６０５に進む。

ステップＳ６０５では、画像処理装置１０５は、フレームｆ＋１の第１の移動体の中心座標Ｌ（ｉｄＳ，ｆ＋１）からフレームｆの第１の移動体の中心座標Ｌ（ｉｄＳ，ｆ）を減算した第１の減算値を算出する。そして、画像処理装置１０５は、フレームｆの第１の移動体の中心座標Ｌ（ｉｄＳ，ｆ）からフレームｆ−１の第１の移動体の中心座標Ｌ（ｉｄＳ，ｆ−１）を減算した第２の減算値を算出する。そして、画像処理装置１０５は、第１の減算値及び第２の減算値を基に、第１の移動体の座標に関する極値判定値Ｌ１を算出する。

次に、ステップＳ６０６では、画像処理装置１０５は、フレームｆ＋１の第２の移動体の中心座標Ｌ（ｉｄＤ，ｆ＋１）からフレームｆの第２の移動体の中心座標Ｌ（ｉｄＤ，ｆ）を減算した第３の減算値を算出する。そして、画像処理装置１０５は、フレームｆの第２の移動体の中心座標Ｌ（ｉｄＤ，ｆ）からフレームｆ−１の第２の移動体の中心座標Ｌ（ｉｄＤ，ｆ−１）を減算した第４の減算値を算出する。そして、画像処理装置１０５は、第３の減算値及び第４の減算値を基に、第２の移動体の座標に関する極値判定値Ｌ２を算出する。

次に、ステップＳ６０７では、画像処理装置１０５は、極値判定値Ｌ１が０より小さく、かつ極値判定値Ｌ２が０より小さいかの条件を満たすか否かを判定する。すなわち、画像処理装置１０５は、同一フレームで第１の移動体及び第２の移動体の座標が極値をとっているか否かを判定する。条件を満たす場合には、同一フレームで第１の移動体及び第２の移動体の座標が極値をとっていない場合であるので、ステップＳ６０９へ進む。条件を満たしていない場合には、同一フレームで第１の移動体及び第２の移動体の座標が極値をとっている場合であるので、ステップＳ６０８へ進む。ステップＳ６０８では、画像処理装置１０５は、第１及び第２の移動体の座標の極値が一致したフレーム数ｄをインクリメントする。その後、ステップＳ６０９へ進む。なお、移動体の座標は、二次元により表されるため、いずれかの座標軸又は両方の座標軸を用いて極値の判定を行ってもよい。

ステップＳ６０９では、画像処理装置１０５は、フレームｆ＋１の第１の移動体の移動速度Ｖ（ｉｄＳ，ｆ＋１）からフレームｆの第１の移動体の移動速度Ｖ（ｉｄＳ，ｆ）を減算した第５の減算値を算出する。そして、画像処理装置１０５は、フレームｆの第１の移動体の移動速度Ｖ（ｉｄＳ，ｆ）からフレームｆ−１の第１の移動体の移動速度Ｖ（ｉｄＳ，ｆ−１）を減算した第６の減算値を算出する。そして、画像処理装置１０５は、第５の減算値及び第６の減算値を基に、第１の移動体の移動速度に関する極値判定値Ｖ１を算出する。

次に、ステップＳ６１０では、画像処理装置１０５は、フレームｆ＋１の第２の移動体の移動速度Ｖ（ｉｄＤ，ｆ＋１）からフレームｆの第２の移動体の移動速度Ｖ（ｉｄＤ，ｆ）を減算した第７の減算値を算出する。そして、画像処理装置１０５は、フレームｆの第２の移動体の移動速度Ｖ（ｉｄＤ，ｆ）からフレームｆ−１の第２の移動体の移動速度Ｖ（ｉｄＤ，ｆ−１）を減算した第８の減算値を算出する。そして、画像処理装置１０５は、第７の減算値及び第８の減算値を基に、第２の移動体の移動速度に関する極値判定値Ｖ２を算出する。

次に、ステップＳ６１１では、画像処理装置１０５は、極値判定値Ｖ１が０より小さく、かつ極値判定値Ｖ２が０より小さいかの条件を満たすか否かを判定する。すなわち、画像処理装置１０５は、第１の移動体及び第２の移動体の移動速度が極値をとっているか否かを判定する。条件を満たす場合には、第１の移動体及び第２の移動体の移動速度が極値をとっていない場合であるので、ステップＳ６１３へ進む。条件を満たしていない場合には、第１の移動体及び第２の移動体の移動速度が極値をとっている場合であるので、ステップＳ６１２へ進む。ステップＳ６１２では、画像処理装置１０５は、第１及び第２の移動体の移動速度の極値が一致したフレーム数ｓをインクリメントする。その後、ステップＳ６１３へ進む。

図１５（ａ）の移動体２０３の移動速度は、フレームＦ１、フレームＦ４、フレームＦ６、フレームＦ８、フレームＦ１１で極値をとっている。図１５（ｂ）の移動体２０４の移動速度は、フレームＦ４、フレームＦ６、フレームＦ８で極値をとっている。このため、移動体２０３と移動体２０４の移動速度の極値が一致したフレーム数ｓは３となる。

また、図１５（ｃ）の移動体２０５の移動速度及び図１５（ｄ）の移動体２０６の移動速度は、フレームＦ４で極値をとっている。移動体２０５と移動体２０３、２０４、２０６の移動速度の極値が一致したフレーム数ｓは１となる。移動体２０６と移動体２０３、２０４、２０５の移動速度の極値が一致したフレーム数ｓは１となる。

図８に戻り、ステップＳ６１３では、画像処理装置１０５は、フレームを示すインデックスｆをインクリメントする。次に、ステップＳ６１４では、画像処理装置１０５は、フレームｆが最後のフレームであるか否かを判定する。最後のフレームでない場合には、ステップＳ６０２に戻り、最後のフレームである場合には、処理を終了する。

以上のように、図７の処理では、移動体が交差したフレーム数ｏ、移動体が接触したフレーム数ｔ、移動体の軌跡が交差したことを示すパラメータｐが算出される。また、図８の処理では、奥行が交差したフレーム数ｃ、移動体の座標の極値が一致したフレーム数ｄ、移動体の移動速度の極値が一致したフレーム数ｓが算出される。

画像処理装置１０５は、移動体が交差したフレーム数ｏを利用することで、同一フレームにおける第１及び第２の移動体の交差の有無を検出することができる。つまり、画像処理装置１０５は、交差する第１の移動体と第２の移動体の間に関連がないと判定できる。

また、画像処理装置１０５は、移動体が接触したフレーム数ｔを利用することで、同一フレームにおける第１及び第２の移動体の接触の有無を検出することができる。また、画像処理装置１０５は、奥行が交差したフレーム数ｃを利用することで、第１の移動体までの奥行及び第２の移動体までの奥行の交差の有無を判定し、同一フレームにおける第１及び第２の移動体までの奥行が同じか異なるかを判定できる。この場合、画像処理装置１０５は、同一フレームで第１及び第２の移動体が接触するが、奥行が異なる場合には、第１の移動体が第２の移動体を遮蔽するだけであり、第１及び第２の移動体間に関連がないと判定できる。

また、画像処理装置１０５は、移動体の軌跡が交差したことを示すパラメータｐを利用することで、第１及び第２の移動体の軌跡の交差を検出することができる。この場合、画像処理装置１０５は、軌跡が交差する第１の移動体と第２の移動体の間に関連があると判定できる。

また、画像処理装置１０５は、移動体の座標の極値が一致したフレーム数ｄを利用することで、第１の移動体及び第２の移動体の座標が極値をとるフレームの一致の有無を判定し、離れた場所に位置する第１の移動体と第２の移動体の間の関連を判定できる。例えば、画像処理装置１０５は、移動体の座標の極値が一致したフレーム数ｄが１以上である場合には、第１の移動体及び第２の移動体の座標が極値をとるフレームの一致がありと判定され、第１及び第２の移動体の間に関連ありと判定できる。

また、画像処理装置１０５は、移動体の移動速度の極値が一致したフレーム数ｓを利用することで、第１の移動体及び第２の移動体の移動速度が極値をとるフレームの一致の有無を判定し、離れた場所に位置する第１及び第２の移動体の間の関連を判定できる。例えば、画像処理装置１０５は、移動体の移動速度の極値が一致したフレーム数ｓが１以上である場合には、第１の移動体及び第２の移動体の移動速度が極値をとるフレームの一致がありと判定され、第１及び第２の移動体の間に関連ありと判定できる。

図４のステップＳ２０２では、画像処理装置１０５は、上記の関連度のうちの一つ又は複数を用いて、第１の移動体と第２の移動体との間の関連の有無を判定する。例えば、いずれかの関連度が０より大きい場合に、第１の移動体及び第２の移動体が関連していると判定できる。画像処理装置１０５は、このような判定方法により、図１０の関連度を基に図１１の判定結果を生成する。

図９は、図４のステップＳ２０３の処理の詳細を示すフローチャートであり、移動体に対して動画像として再生する開始フレームから終了フレームまでの再生区間の候補を選出する手順を示す。

まず、ステップＳ７０１では、画像処理装置１０５は、フレームを示すインデックスｆ及び移動体を示すインデックスｉｄを０に初期化する。次に、ステップＳ７０２では、画像処理装置１０５は、移動体ｉｄの二値画像Ｂ（ｉｄ，ｆ）とフレームｆの画像Ｉ（ｆ）とを乗算することにより、移動体ｉｄの画像Ｉ（ｉｄ，ｆ）を生成する。

図１８（ａ）及び（ｂ）は、ステップＳ７０２において画像処理装置１０５が生成した移動体２０３〜２１２の画像の一例を示す。図１８（ａ）はフレームＦ３における画像を示し、図１８（ｂ）はフレームＦ４における画像を示している。図４のステップＳ２０２では、画像処理装置１０５は、移動体２０３〜２１２に関連があると判定される。そのため、図９のステップＳ７０２では、画像処理装置１０５は、移動体２０３〜２１２を一つの移動体として扱っている。

図９に戻り、ステップＳ７０３では、画像処理装置１０５は、フレームを示すインデックスをインクリメントする。次に、ステップＳ７０４では、画像処理装置１０５は、フレームｆが最後のフレームか否かを判定する。最後のフレームでない場合には、ステップＳ７０２に戻り、最後のフレームである場合には、ステップＳ７０５に進む。

ステップＳ７０５では、画像処理装置１０５は、フレームを示すインデックスｆを０に初期化する。次に、ステップＳ７０６では、画像処理装置１０５は、フレームを示すインデックスｇをｆ＋１に設定する。次に、ステップＳ７０７では、画像処理装置１０５は、フレームｆにおける移動体ｉｄの画像Ｉ（ｉｄ，ｆ）とフレームｇにおける移動体ｉｄの画像Ｉ（ｉｄ，ｇ）の類似度を算出する。例えば、画像処理装置１０５は、画像Ｉ（ｉｄ，ｆ）及びＩ（ｉｄ，ｇ）について、画素毎に輝度の差分絶対値を算出し、移動体ｉｄが存在する画素数で平均値を求めることにより、画像Ｉ（ｉｄ，ｆ）及びＩ（ｉｄ，ｇ）の類似度を算出する。このように求めた類似度は、数値が小さいほど類似している。

図１８（ａ）のフレームＦ３における画像と同様の結果が、フレームＦ９において得られる。このため、ステップＳ７０７では、フレームＦ３及びＦ９の画像の類似度が小さくなり、図１２に示すように、開始フレームＦ３と終了フレームＦ９の再生区間が候補として選出される。

図９に戻り、ステップＳ７０８では、画像処理装置１０５は、フレームを示すインデックスｇをインクリメントする。次に、ステップＳ７０９では、画像処理装置１０５は、フレームｇが最後のフレームであるか否かを判定する。最後のフレームでない場合には、ステップＳ７０６に戻り、最後のフレームである場合には、ステップＳ７１０に進む。

ステップＳ７１０では、画像処理装置１０５は、フレームを示すインデックスｆをインクリメントする。次に、ステップＳ７１１では、画像処理装置１０５は、フレームｆが最後のフレームであるか否かを判定する。最後のフレームでない場合には、ステップＳ７０６に戻り、最後のフレームである場合には、ステップＳ７１２に進む。

ステップＳ７１２では、画像処理装置１０５は、移動体を示すインデックスｉｄをインクリメントする。次に、ステップＳ７１３では、画像処理装置１０５は、移動体ｉｄの候補が最後の候補であるか否かを判定する。最後の候補でない場合には、ステップＳ７０２に戻り、最後の候補である場合には、処理を終了する。このように選択した再生フレーム区間の候補から、図４のステップＳ２０４により移動体毎に再生フレーム区間を選択する。

本実施形態によれば、複数の移動体の動画像と静止画像を合成する際に、関連のある移動体間で動作が食い違うことによる違和感を低減することができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

上記の実施の形態では、画像処理装置の一例として撮像装置（カメラ）を挙げたが、画像処理装置は、例えば、パソコン、タブレット端末、スマートフォン、モニタ、スキャナ、又はプリンタなどであってもよい。

また、上記の実施の形態の機能を制御方法（画像処理方法）として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００ 撮像装置、１０１ 光学系、１０２ 撮像素子、１０３ ＣＰＵ、１０４ 一次記憶装置、１０５ 画像処理装置、１０６ 記録媒体、１０７ 二次記憶装置、１０８ 表示部、１０９ 操作部

Claims (9)

1. 入力動画像から少なくとも第１の移動体及び第２の移動体を抽出する移動体抽出部と、
   前記入力動画像を基に前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定する関連判定部と、
   前記第１の移動体及び前記第２の移動体の間に関連がないと判定された場合には、前記入力動画像を基に前記第１の移動体の再生フレーム区間の動画像及び前記第２の移動体の再生フレーム区間の動画像を別々に生成し、前記第１の移動体及び前記第２の移動体の間に関連があると判定された場合には、前記入力動画像を基に前記第１の移動体及び前記第２の移動体を含む共通の１個の再生フレーム区間の動画像を生成する再生区間生成部と、
   前記入力動画像を基に静止画像を生成する静止画像生成部と、
   前記再生区間生成部により生成された前記再生フレーム区間の動画像及び前記静止画像生成部により生成された静止画像を合成する合成部と
   を有することを特徴とする画像処理装置。
2. 前記関連判定部は、前記第１の移動体及び前記第２の移動体の交差の有無を基に、前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定することを特徴とする請求項１記載の画像処理装置。
3. 前記関連判定部は、前記第１の移動体及び前記第２の移動体の接触の有無を基に、前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記関連判定部は、前記第１の移動体及び前記第２の移動体の軌跡の交差の有無を基に、前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記関連判定部は、前記第１の移動体までの奥行及び前記第２の移動体までの奥行の交差の有無を基に、前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記関連判定部は、前記第１の移動体及び前記第２の移動体の座標が極値をとるフレームの一致の有無を基に、前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記関連判定部は、前記第１の移動体及び前記第２の移動体の移動速度が極値をとるフレームの一致の有無を基に、前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
8. 関連判定部により、入力動画像から少なくとも第１の移動体及び第２の移動体を抽出する移動体抽出ステップと、
   関連判定部により、前記入力動画像を基に前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定する関連判定ステップと、
   再生区間生成部により、前記第１の移動体及び前記第２の移動体の間に関連がないと判定された場合には、前記入力動画像を基に前記第１の移動体の再生フレーム区間の動画像及び前記第２の移動体の再生フレーム区間の動画像を別々に生成し、前記第１の移動体及び前記第２の移動体の間に関連があると判定された場合には、前記入力動画像を基に前記第１の移動体及び前記第２の移動体を含む共通の１個の再生フレーム区間の動画像を生成する再生区間生成ステップと、
   静止画像生成部により、前記入力動画像を基に静止画像を生成する静止画像生成ステップと、
   合成部により、前記再生区間生成ステップで生成された前記再生フレーム区間の動画像及び前記静止画像生成ステップで生成された静止画像を合成する合成ステップと
   を有することを特徴とする画像処理方法。
9. 入力動画像から少なくとも第１の移動体及び第２の移動体を抽出する移動体抽出ステップと、
   前記入力動画像を基に前記第１の移動体及び前記第２の移動体の間に関連があるか否かを判定する関連判定ステップと、
   前記第１の移動体及び前記第２の移動体の間に関連がないと判定された場合には、前記入力動画像を基に前記第１の移動体の再生フレーム区間の動画像及び前記第２の移動体の再生フレーム区間の動画像を別々に生成し、前記第１の移動体及び前記第２の移動体の間に関連があると判定された場合には、前記入力動画像を基に前記第１の移動体及び前記第２の移動体を含む共通の１個の再生フレーム区間の動画像を生成する再生区間生成ステップと、
   前記入力動画像を基に静止画像を生成する静止画像生成ステップと、
   前記再生区間生成ステップで生成された前記再生フレーム区間の動画像及び前記静止画像生成ステップで生成された静止画像を合成する合成ステップと
   をコンピュータに実行させるためのプログラム。

Images