JP7280493B2

JP7280493B2 - 画像処理プログラム及び画像処理装置

Info

Publication number: JP7280493B2
Application number: JP2019062699A
Authority: JP
Inventors: 一希小林; 真木村
Original assignee: 株式会社Mixi
Priority date: 2019-03-28
Filing date: 2019-03-28
Publication date: 2023-05-24
Anticipated expiration: 2039-03-28
Also published as: JP2020161053A; JP2023095940A

Description

本発明は、画像処理プログラム及び画像処理装置に関する。特に、本発明は、二次元空間又は拡張現実（以下、ＡＲとも称する。）により実現される空間に配置されたオブジェクトに適用する画像処理プログラム及び画像処理装置に関する。

ソーシャルネットワークサービス（以下、ＳＮＳとも称する。）の普及とともに、キャラクターや撮影した画像を利用したコミュニケーションツールが普及している。また、スマートフォンやタブレット端末を利用して、これらの画像を手軽に加工することへの要望が高まりを見せている。

スマートフォンやタブレット端末を利用した新しい技術として、ＡＲ技術が一般化しつつある。また、ＡＲ技術を利用したゲームアプリケーションも広く利用されている。例えば、特許文献１には、ＡＲ技術をゲームなどの情報処理に利用することが記載されている。

特開２０１５－４１１２６号公報

画像の加工技術の一つとして、画像に特定の効果を付与するフィルタが知られている。ＡＲ技術においても、ＡＲ空間に配置されたオブジェクト、例えば、ヒトの顔を認識して、その動きに合わせた装飾を付与する技術が知られているが、オブジェクトの動きに特定の効果を付与するモーションフィルタのような画像処理方法については、これまで知られていない。

一実施形態において、二次元空間又は三次元空間に配置されたオブジェクトの動きを制御する画像処理プログラムを提供する。また、一実施形態において、二次元空間又は三次元空間に配置されたオブジェクトの動きを制御する画像処理装置を提供する。

本発明の一実施形態によると、第１の動画像データを生成するための所与のオブジェクトのデータから、オブジェクトの第１の時点での第１の状態の位置座標と、オブジェクトの第２の時点での第２の状態の位置座標とを取得し、第１の時点から第２の時点までの第１の期間を、第１の期間とは異なる第２の期間に変更し、第１の状態の位置座標から第２の状態の位置座標までのオブジェクトの変位を第２の期間で行う第２の動画像データを生成することを情報処理装置に実行させるための画像処理プログラムが提供される。

第１の動画像データに基づいて第２の動画像データを作成するための、モーション変更データの指定を受け付け、第２の期間は、モーション変更データに基づいて設定されてもよい。

第１の動画像データに含まれる所定の第１条件を満たす動きに基づいて、第１の状態と第２の状態とを決定してもよい。

第１の動画像データと同期再生される音声データのうち、所定の第２条件を満たす音声の再生時点に基づいて、第１の状態と第２の状態とを決定してもよい。

第１の動画像データにおける第１の時点と第２の時点との間に、音声データのうち所定の波形の再生期間の少なくとも一部が含まれてもよい。

第１の動画像データと前記第２の動画像データはそれぞれ情報処理装置で再生可能であってもよい。

また、本発明の一実施形態によると、所与のオブジェクトの第１の動画像データを格納する格納部と、所与のオブジェクトの第１の動画像データから、オブジェクトの第１の時点での第１の状態の位置座標と、オブジェクトの第２の時点での第２の状態の位置座標とを取得し、第１の時点から第２の時点までの第１の期間を、第１の期間とは異なる第２の期間に変更し、第１の状態の位置座標から第２の状態の位置座標までのオブジェクトの変位を第２の期間で行う第２の動画像データを作成する画像処理部と、を備える画像処理装置が提供される。

一実施形態において、二次元空間又は三次元空間に配置されたオブジェクトの動きを制御する画像処理プログラムが提供される。また、一実施形態において、二次元空間又は三次元空間に配置されたオブジェクトの動きを制御する画像処理装置が提供される。

本発明の一実施形態に係る画像処理プログラム提供システム１を示す模式図である。本発明の一実施形態に係る端末１０を説明するブロック構成図である。本発明の一実施形態に係るサーバ３０を示す模式図である。本発明の一実施形態に係るオブジェクト９０を含む動画像データ（第１の動画像データ）の一例を説明する模式図である。（ａ）は本発明の一実施形態に係る右手９１のＸ軸方向の座標を第１の動画像データの時間軸に対してプロットした模式図を示し、（ｂ）は第１の動画像データにモーション変更データを適用して生成された第２の動画像データにおける右手９１のＸ軸座標を時間軸に対してプロットした模式図を示す。本発明の一実施形態に係る画像処理プログラムの処理を示すフロー図である。（ａ）は本発明の一実施形態に係るモーション変更データを適用する画像処理プログラムにより生成された第２の動画像データにおける右手９１のＸ軸座標を時間軸に対してプロットした模式図を示し、（ｂ）はオブジェクト９０のパンチの動きを加速度的に変化させるモーション変更データ１１ｃを適用する画像処理プログラムにより生成された第２の動画像データにおける右手９１のＸ軸座標を時間軸に対してプロットした模式図を示す。本発明の一実施形態に係る画像処理プログラムの画像処理のフローを示す。本発明の一実施形態に係る画像処理プログラムの画像処理のフローを示す。本発明の一実施形態に係る第１の画像データと同期再生される音声データを時間軸に対してプロットした模式図を示す。

以下、本発明に係る画像処理プログラム及び画像処理装置について説明する。但し、本発明の画像処理プログラム及び画像処理装置は、以下に示す実施の形態及び実施例の記載内容に限定して解釈されるものではない。

［画像処理プログラム提供システム］
図１は、本発明の一実施形態に係る画像処理プログラム提供システム１を示す模式図である。画像処理プログラム提供システム１は、例えば、ネットワーク２０を介して接続される端末１０（情報処理装置の一例）及び画像処理プログラム提供サーバ（以下、サーバとも称する。）３０を備える。ネットワーク２０は、いわゆるインターネットを利用することができ、サーバ３０は、光ファイバ等の高速な通信回線を用いた有線接続２１を介して、ネットワーク２０に接続する。また、端末１０には、例えば、スマートフォン等の携帯電話端末１０Ａやタブレット端末等の携帯型データ端末１０Ｂ及びパーソナルコンピュータ（以下、ＰＣとも称する。）１０Ｃが含まれる。携帯電話端末１０Ａや携帯型データ端末１０Ｂは、移動体通信網や無線ＬＡＮ等の無線通信２３を介して、ネットワーク２０に接続する。また、ＰＣ１０Ｃには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、ノート型ＰＣ及びタブレット型ＰＣ等が含まれ、有線接続２１又は無線通信２３を介して、ネットワーク２０に接続する。

［端末（画像処理装置）］
図２を参照して、端末１０について、更に説明する。図２は、本発明の一実施形態に係る端末１０を説明するブロック構成図である。端末１０は、例えば、制御部１１、格納部１３、入力部１５、表示部１７、通信部１８及び電源部１９を備える。

制御部１１は、端末１０を制御する制御装置であり、例えば、中央処理装置（ＣＰＵ）を含み、半導体メモリ等の主記憶装置を更に含む。また、制御部１１は、端末１０を制御するプログラムを含む。なお、端末１０を制御するプログラムは、格納部１３に格納され、制御部１１で実行される。また、一実施形態において、制御部１１は、端末１０を制御するオペレーティングシステム（以下、ＯＳとも称する。）と、画像処理を実行する画像処理部１１ａを含む。画像処理部１１ａは、画像処理のためのアプリケーションプログラム又はモジュールを含む。端末１０は、画像処理部１１ａを備えることにより、画像処理装置としても機能することができる。また、後述するように、一実施形態において、画像処理部１１ａは、条件検出部１１ｂ及びモーション変更データ１１ｃを含むことができる。

格納部１３は、ハードディスクやソリッドステートディスク（ＳＳＤ）等の補助記憶装置であり、制御部１１で実行されるＯＳや、画像処理部１１ａを構成する画像処理のためのアプリケーションプログラム又はモジュールを格納する。画像処理部１１ａが画像処理を実行する場合、制御部１１は、格納部１３から画像処理のためのアプリケーションプログラム又はモジュールを読み込む。

入力部１５には、一般的な入力装置を用いることができ、例えば、キーボードやマウス、タッチパネル等を用いることができる。表示部１７は、画像処理部１１ａにより処理された画像を表示するための表示装置であり、例えば、液晶ディスプレイや有機ＥＬディスプレイ等を用いることができるが、これらに限定されるものではない。通信部１８は、有線接続２１又は無線通信２３を介して、ネットワーク２０に接続するための通信装置である。例えば、通信部１８は、有線接続２１を行うための有線ＬＡＮアダプタ、又は無線通信２３を行うためのＷｉ－Ｆｉ（登録商標）（ＩＥＥＥ８０２．１１規格を使用する通信手段）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信規格に適合した通信手段を備える。電源部１９は、外部電源に接続する電源装置であり、公知の電源装置を用いることができる。

［サーバ］
次に、サーバ３０について、図３を参照して説明する。図３は、本発明の一実施形態に係るサーバ３０を示す模式図である。サーバ３０は、例えば、制御部３１、格納部３３、入力部３５、表示部３７、通信部３８及び電源部３９を備える。

制御部３１は、サーバ３０を制御する制御装置であり、例えば、中央処理装置（ＣＰＵ）を含み、半導体メモリ等の主記憶装置を更に含む。また、制御部３１は、サーバ３０を制御するプログラムを含む。なお、サーバ３０を制御するプログラムは、格納部３３に格納され、制御部３１で実行される。また、一実施形態において、制御部３１は、サーバ３０を制御するオペレーティングシステム（以下、ＯＳとも称する。）と、画像処理プログラムを端末１０に提供する画像処理プログラム提供部３１ａ、及び画像処理のために端末１０で利用されるモーション変更データを端末１０に提供するモーション変更データ提供部３１ｂを含む。画像処理プログラム提供部３１ａは、画像処理プログラムを端末１０に提供するためのアプリケーションプログラム又はモジュールで構成される。また、モーション変更データ提供部３１ｂは、モーション変更データを端末１０に提供するためのアプリケーションプログラム又はモジュールで構成される。一実施形態において、制御部３１は、オブジェクトのデータを端末１０に提供するオブジェクトデータ提供部３１ｃを更に備えてもよい。

格納部３３は、ハードディスクやソリッドステートディスク（ＳＳＤ）等の補助記憶装置であり、制御部３１で実行されるＯＳ、画像処理プログラム及びモーション変更データを格納する。画像処理プログラム提供部３１ａが画像処理プログラムを端末１０に提供する場合、画像処理プログラム提供部３１ａは、格納部３３から画像処理プログラムを読み込む。また、モーション変更データ提供部３１ｂがモーション変更データを端末１０に提供する場合、モーション変更データ提供部３１ｂは、格納部３３からモーション変更データを読み込む。

入力部３５には、一般的な入力装置を用いることができ、例えば、キーボードやマウス等を用いることができる。表示部３７は、サーバ３０を操作するためのユーザインタフェースを表示するための表示装置であり、例えば、液晶ディスプレイや有機ＥＬディスプレイ等を用いることができるが、これらに限定されるものではない。通信部３８は、有線接続２１を介して、ネットワーク２０に接続するための通信装置である。例えば、通信部３８は、高速な有線接続２１を行うためのネットワークアダプタ又はネットワークインターフェイスカードであり、オンボードのネットワークコントローラであってもよい。通信部３８は、ギガビットイーサネット（登録商標）、好ましくは１０ギガビットイーサネット（登録商標）の規格に準拠した通信装置である。電源部３９は、外部電源に接続する電源装置であり、公知の電源装置を用いることができる。

画像処理プログラム提供部３１ａは、端末１０の要求に応じて、格納部３３から画像処理プログラムを読み込む。画像処理プログラム提供部３１ａは、通信部３８からネットワーク２０を介して、端末１０に画像処理プログラムを提供する。端末１０は、サーバ３０から通信部１８を介して受信した画像処理プログラムを、格納部１３に格納してもよく、制御部１１が画像処理プログラムを読み込んでもよい。制御部１１で読み込まれた画像処理プログラムは、画像処理部１１ａを構成し、端末１０において画像処理を実行する。

また、モーション変更データ提供部３１ｂは、端末１０の要求に応じて、格納部３３からモーション変更データを読み込む。モーション変更データ提供部３１ｂは、通信部３８からネットワーク２０を介して、端末１０にモーション変更データを提供する。端末１０は、サーバ３０から通信部１８を介して受信したモーション変更データを、格納部１３に格納してもよく、制御部１１がモーション変更データを読み込んでもよい。制御部１１で読み込まれたモーション変更データは、画像処理部１１ａでの画像処理のフィルタとして機能する。

［画像処理プログラム］
図４を参照し、本発明の一実施形態に係る画像処理プログラムについて説明する。図４は、オブジェクト９０を含む動画像データ（第１の動画像データ）の一例を説明する模式図である。図４には、動画像データにおける代表的な４枚の画像を示す。図４においては、説明を簡略化するため、二次元の画像を示したが、本発明に係る画像処理プログラムは、三次元の画像に対して画像処理を行うこともできる。ここで説明する二次元座標での画像処理を三次元座標において行うことにより、三次元の画像に対する画像処理が実施可能であることは当業者にとって自明である。

図４において、画像Ｐ_１は、ヒトの形状のオブジェクト９０が直立した状態を示す。図４においては、オブジェクト９０の右手９１に特に着目して動きを説明する。オブジェクト９０が直立した方向をＹ軸方向、Ｙ軸方向に直交する方向をＸ軸方向とする。図５（ａ）は、右手９１のＸ軸方向の座標を第１の動画像データの時間軸に対してプロットした模式図を示す。画像Ｐ_２は、オブジェクト９０がパンチをするために、右手９１をＹ軸方向及びＸ軸方向に移動させた状態を示す。画像Ｐ_３は、オブジェクト９０がパンチをして、右手９１をＹ軸座標がほぼ一定のまま、Ｘ軸方向にさらに移動させた状態を示す。画像Ｐ_４は、オブジェクト９０がパンチをした状態からパンチをするために身構えた状態に戻った状態を示し、右手９１をＹ軸座標がほぼ一定のまま、Ｘ軸座標を戻した状態を示す。すなわち、画像Ｐ_１～Ｐ_４は、オブジェクト９０の４つの状態（第１の状態～第４の状態）を示す。

第１の動画像データは、端末１０がネットワーク２０を介して取得した動画像データであってもよく、端末１０が生成した動画像データであってもよい。端末１０で第１の動画像データを生成する場合、オブジェクト９０のデータを端末１０がネットワーク２０を介して取得してもよい。例えば、サーバ３０からオブジェクト９０のデータが提供されてもよい。例えば、サーバ３０の制御部３１がオブジェクトデータ提供部３１ｃを更に備え、端末１０の要求に応じて、格納部３３に格納されたオブジェクトのデータを、通信部３８からネットワーク２０を介して、端末１０に提供してもよい。一実施形態において、オブジェクト９０のデータは、サーバ３０以外のサーバ５０から提供されてもよい。すなわち、本発明に係る画像処理プログラムは、他のサーバ５０から提供されたオブジェクト９０のデータを用いて生成した動画像データの画像を処理してもよく、他のサーバ５０から提供された動画像データの画像を処理してもよい。

例えば、オブジェクト９０のデータは、オブジェクト９０の骨格を規定するデータとしてオブジェクト９０を構成する各パーツの長さ、可動範囲、各パーツ間の距離を座標データとして有し、オブジェクト９０の表面を規定する幅や色等のスキンデータを有する。第１の動画像データは、例えば、図４に示した４枚の画像Ｐ_１からＰ_４に基づいて、それぞれの画像の間を補完する画像をオブジェクト９０のデータを用いて動画像データに必要な枚数で生成することにより、生成することができる。

このようにして生成された第１の動画像データは、図５（ａ）に示したように、オブジェクト９０の第１の状態～第４の状態が時間軸に対して、第１の時点～第４の時点（Ｔ_１からＴ_４）に均等に配置された動画像データである。第１の動画像データを端末１０で再生した場合、オブジェクト９０がパンチをした動きが単調になり、迫力がない動画像になってしまう。本発明の一実施形態に係る画像処理プログラムは、第１の動画像データにモーション変更データ（モーションフィルタ）を適用することにより、オブジェクト９０の動きをモーションフィルタに応じて変化させた動画像データの作製を行うことが可能となる。

図５（ｂ）は、本発明の一実施形態に係る画像処理プログラムにより、第１の動画像データにモーション変更データを適用して生成された第２の動画像データにおける右手９１のＸ軸座標を時間軸に対してプロットした模式図を示す。また、図６は、本発明の一実施形態に係る画像処理プログラムの処理を示すフロー図である。画像処理部１１ａは、制御部１１に格納された第１の動画像データを生成するための所与のオブジェクト９０のデータを読み込む（Ｓ１０１）。

画像処理部１１ａは、読み込んだオブジェクト９０のデータから、オブジェクト９０が直立した状態の画像Ｐ_１の第１の時点Ｔ_１での第１の状態の位置座標、オブジェクト９０がパンチをするために身構えている画像Ｐ_２の第２の時点Ｔ_２での第２の状態の位置座標、オブジェクト９０がパンチをした画像Ｐ_３の第３の時点での第３の状態の位置座標、及びオブジェクト９０がパンチをした状態からパンチをするために身構えた状態に戻った画像Ｐ_４の第４の時点での第４の状態の位置座標を取得する（Ｓ１０３）。

例えば、画像処理部１１ａは、第１の状態の位置座標と第２の状態の位置座標の距離Ｄ_１と、第２の状態の位置座標と第３の状態の位置座標の距離Ｄ_２とを比較し、距離Ｄ_２が距離Ｄ_１より大きいこと、第２の状態の位置座標と第３の状態の位置座標を比較して、右手９１のＹ軸座標がほぼ一定のまま、Ｘ軸座標が大きく移動していることから、オブジェクト９０がパンチをしたことを検出することができる。

画像処理部１１ａは、「パンチ」の動きに対応するモーション変更データ１１ｃを格納部１３から読み込む（Ｓ１０５）。例えば、モーション変更データ１１ｃには、パンチをする動きの時間を短くすることが規定されており、第２の時点Ｔ_２から第３の時点Ｔ_３までの第１の期間を、第１の期間とは異なる（短い）第２の期間に変更する。すなわち、第３の時点Ｔ_３を第３の時点Ｔ_３’に変更する（Ｓ１０７）。また、画像処理部１１ａは、オブジェクト９０がパンチをした画像Ｐ_３の第３の時点Ｔ_３からオブジェクト９０がパンチをした状態からパンチをするために身構えた状態に戻った画像Ｐ_４の第４の時点Ｔ_４までの期間の長さは変更しないように、第４の時点Ｔ_４を第４の時点Ｔ_４’に変更してもよい。

画像処理部１１ａは、第１の状態の位置座標から第２の状態の位置座標までのオブジェクトの変位を第２の期間で行う第２の動画像データを作成する。本発明の一実施形態に係る画像処理プログラムは、これらの画像処理を端末１０に実行させることができる。このようにして、画像処理プログラムは、迫力のある第２の動画像データを生成することができる。

［モーション変更データの変形例］
上述した実施形態においては、オブジェクト９０の動きの時間を短くすることによりオブジェクト９０の動きにメリハリをつける例を示したが、本発明に係るモーション変更データは、これに限定されない。以下では、スローモーションをかける又は動きを滑らかにする例について説明する。

第１の動画像における右手９１のＸ軸方向の座標を第１の動画像データの時間軸に対してプロットした模式図は、図５（ａ）を参照する。図７（ａ）は、本発明の変形例に係るモーション変更データを適用する画像処理プログラムにより生成された第２の動画像データにおける右手９１のＸ軸座標を時間軸に対してプロットした模式図を示す。画像処理のフローについては、図６を参照する。画像処理部１１ａは、制御部１１に格納された第１の動画像データを生成するための所与のオブジェクト９０のデータを読み込む（Ｓ１０１）。

画像処理部１１ａは、「パンチ」の動きに対応するモーション変更データ１１ｃを格納部１３から読み込む（Ｓ１０５）。モーション変更データ１１ｃには、パンチをする動きの時間を長くすることによりスローモーションを実行することが規定されており、第２の時点Ｔ_２から第３の時点Ｔ_３までの第１の期間を、第１の期間とは異なる（長い）第２の期間に変更する。すなわち、第３の時点Ｔ_３を第３の時点Ｔ_３’に変更する（Ｓ１０７）。また、画像処理部１１ａは、オブジェクト９０がパンチをした画像Ｐ_３の第３の時点Ｔ_３からオブジェクト９０がパンチをした状態からパンチをするために身構えた状態に戻った画像Ｐ_４の第４の時点Ｔ_４までの期間の長さは変更しないように、第４の時点Ｔ_４を第４の時点Ｔ_４’に変更してもよい。

画像処理部１１ａは、第１の状態の位置座標から第２の状態の位置座標までのオブジェクトの変位を第２の期間で行う第２の動画像データを作成する。本変形例に係る画像処理プログラムは、これらの画像処理を端末１０に実行させることができる。このようにして、画像処理プログラムは、スローモーションをかけた又は動きを滑らかにした第２の動画像データを生成することができる。

さらなる変形例を図７（ｂ）に示す。図７（ｂ）は、オブジェクト９０のパンチの動きを加速度的に変化させるモーション変更データ１１ｃを適用する画像処理プログラムにより生成された第２の動画像データにおける右手９１のＸ軸座標を時間軸に対してプロットした模式図を示す。図５（ｂ）に示した第２の時点Ｔ_２から第３の時点Ｔ_３’までの第２の期間の線形的なＸ軸座標の変化を、図７（ｂ）に示した第２の時点Ｔ_２から第３の時点Ｔ_３’までの第２の期間の非線形的なＸ軸座標の変化に変更したこと以外は、上述した画像処理方法と同じであるため、詳細な説明は省略する。本発明に係る画像処理プログラムは、モーション変更データ１１ｃを適用して第２の動画像データを生成することにより、再生した動画像データにおけるオブジェクト９０の動きに様々な効果を付与することができる。

［フィルタをかけるタイミングの検出］
上述したように、本発明に係る画像処理プログラムは、第１の動画像データから、オブジェクト９０の動きを検出して、モーション変更データ１１ｃを選択して、モーション変更データ１１ｃに規定された動きを端末１０で実行することができる。以下に、フィルタをかけるタイミングの検出方法について、更に説明する。

図８は、本発明の一実施形態に係る画像処理プログラムの画像処理のフローを示す。例えば、画像処理部１１ａは、格納部３３に格納された第１の動画像データを読み込む（Ｓ２０１）。画像処理部１１ａは、読み込んだオブジェクト９０のデータから、オブジェクト９０が直立した状態の画像Ｐ_１の第１の時点Ｔ_１での第１の状態の位置座標、オブジェクト９０がパンチをするために身構えている画像Ｐ_２の第２の時点Ｔ_２での第２の状態の位置座標、オブジェクト９０がパンチをした画像Ｐ_３の第３の時点での第３の状態の位置座標、及びオブジェクト９０がパンチをした状態からパンチをするために身構えた状態に戻った画像Ｐ_４の第４の時点での第４の状態の位置座標を取得する。

画像処理部１１ａは、第１の動画像データに含まれるオブジェクト９０の動きが所定の条件（第１条件）を満たすか判断する（Ｓ２０３）。第１条件は、例えば、オブジェクト９０の第１の状態の位置座標と第２の状態の距離Ｄ_１と、第２の状態の位置座標と第３の状態の位置座標の距離Ｄ_２との差が所定の閾値を超える又は下回ることであってもよい。また、三次元座標においては、距離の変化だけではなく、角速度を指標として第１条件を設定してもよい。

画像処理部１１ａは、第１の動画像データにおいて第１条件を満たす期間を決定する。画像処理部１１ａは、第１の動画像データに含まれる第１条件を満たす動きに基づいて、第１の状態と第２の状態とを決定する（Ｓ２０５）。第２の状態を画像処理する動き開始時点として決定し、第３の状態を画像処理する動き終了時点として決定することができる。なお、第１の状態と第２の状態は、第１の動画像データにおける始点と終点の動き以外から選択するようにしてもよい。

画像処理部１１ａは、格納部１３に格納されたモーション変更データの中から、検出した動きに対応するモーション変更データ１１ｃを選択する（Ｓ２０７）。画像処理部１１ａは、第１の動画像データに基づいて第２の動画像を作成するための、モーション変更データ１１ｃの指定を受け付ける（Ｓ２０９）。

画像処理部１１ａは、モーション変更データ１１ｃに基づいて第２の期間を設定して、第１の動画像データから第２の動画像データを生成することができる（Ｓ２１１）。以上説明したように、本発明に係る画像処理プログラムは、第１の動画像データからオブジェクト９０の動きを検出し、検出した動きに適したフィルタを選択して、第２の動画像データを生成することができる。これにより、再生した動画像データにおけるオブジェクト９０の動きに様々な効果を付与することができる。

［フィルタをかけるタイミングの検出の変形例］
上述した実施形態においては、第１の動画像データに含まれるオブジェクト９０の動きに基づいて、フィルタをかけるタイミングを検出する例を説明した。本発明に係る画像処理プログラムは、第１の画像データと同期再生される音声データに基づいてフィルタをかけるタイミングを検出してもよい。図９は、本発明の一実施形態に係る画像処理プログラムの画像処理のフローを示す。また、図１０に、右手９１のＸ軸方向の座標を第１の動画像データの時間軸に対してプロットした模式図を再掲するとともに、第１の画像データと同期再生される音声データを時間軸に対してプロットした模式図を示す。

例えば、画像処理部１１ａは、格納部３３に格納された第１の動画像データと、第１の画像データと同期再生される音声データを読み込む（Ｓ３０１）。画像処理部１１ａは、読み込んだオブジェクト９０のデータから、オブジェクト９０が直立した状態の画像Ｐ_１の第１の時点Ｔ_１での第１の状態の位置座標、オブジェクト９０がパンチをするために身構えている画像Ｐ_２の第２の時点Ｔ_２での第２の状態の位置座標、オブジェクト９０がパンチをした画像Ｐ_３の第３の時点での第３の状態の位置座標、及びオブジェクト９０がパンチをした状態からパンチをするために身構えた状態に戻った画像Ｐ_４の第４の時点での第４の状態の位置座標を取得する。

画像処理部１１ａは、音声データが所定の条件（第２条件）を満たす音声データを含むか判断する（Ｓ３０３）。図１０においては、オブジェクト９０がパンチをした画像Ｐ_３に対応する第３の時点Ｔ_３において、音声データに効果音が付与されている。特定の波長の音声データに、ベースラインＳ_０からピークＳ_１が現れる。音声データにおける所定の閾値を超えることを第２条件として、画像処理部１１ａはピークＳ_１を検出することができる。また、一実施形態において、図１０に示したように、第１の動画像データにおける第２の時点Ｔ_２と第３の時点Ｔ_３との間に、音声データのうち所定の波形の再生期間（ピークＳ_１の再生期間）の少なくとも一部が含まれる。

画像処理部１１ａは、第１の画像データと同期再生される音声データのうち、第２条件を満たす音声の再生時点に基づいて、第１の状態と第２の状態とを決定する（Ｓ３０５）。

画像処理部１１ａは、格納部１３に格納されたモーション変更データの中から、検出した動きに対応するモーション変更データ１１ｃを選択する（Ｓ３０７）。画像処理部１１ａは、第１の動画像データに基づいて第２の動画像を作成するための、モーション変更データ１１ｃの指定を受け付ける（Ｓ３０９）。

画像処理部１１ａは、モーション変更データ１１ｃに基づいて第２の期間を設定して、第１の動画像データから第２の動画像データを生成することができる（Ｓ３１１）。以上説明したように、本発明に係る画像処理プログラムは、第１の画像データと同期再生される音声データから動きとタイミングを検出し、検出した動きとタイミングに適したフィルタを選択して、第２の動画像データを生成することができる。また、端末１０はユーザの操作に基づいて、複数のフィルタの中から適用させるフィルタを選択し、選択したフィルタに基づいて上記の第２の動画像データを生成可能である。これにより、再生した動画像データにおけるオブジェクト９０の動きに様々な効果を付与することができる。

［ＡＲ空間へオブジェクトの配置］
一実施形態において、上述した画像処理プログラムは、三次元座標を有するオブジェクトを含む動画像データにも適用することができる。端末１０が撮像部を更に備え、画像処理プログラムにより生成された第２の同画像データを、撮像部により撮影された実画像と組合せることにより、ＡＲ空間へのオブジェクト１の配置が可能である。例えば、実画像に基準点を設定し、基準点に第２の同画像データの三次元座標を対応付けることにより、ＡＲ空間へのオブジェクト１の配置を実現することができる。

１画像処理プログラム提供システム、１０端末、１０Ａ携帯電話端末、１０Ｂ携帯型データ端末、１０Ｃパーソナルコンピュータ、１１制御部、１１ａ画像処理部
１１ｂ条件検出部、１１ｃモーション変更データ、１１Ｃモーション変更データ、１３格納部、１５入力部、１７表示部、１８通信部、１９電源部、２０ネットワーク、２１有線接続、２３無線通信、３０画像処理プログラム提供サーバ、３１制御部、３１ａ画像処理プログラム提供部、３１ｂモーション変更データ提供部、３１ｃオブジェクトデータ提供部、３３格納部、３５入力部、３７表示部、３８通信部、３９電源部、５０サーバ、９０オブジェクト、９１右手

Claims

第１の動画像データを生成するための所与のオブジェクトのデータから、前記オブジェクトの第１の時点での第１の状態の位置座標と、前記オブジェクトの第２の時点での第２の状態の位置座標とを取得し、
前記第１の時点から前記第２の時点までの第１の期間を、前記第１の期間とは異なる第２の期間に変更し、
前記第１の状態の位置座標から前記第２の状態の位置座標までの前記オブジェクトの変位を前記第２の期間で行う第２の動画像データを生成し、
前記第１の動画像データと同期再生される音声データのうち、音量が所定の閾値を超える音声の再生時点に基づいて、前記第１の状態と前記第２の状態とを決定することを情報処理装置に実行させるための画像処理プログラム。
前記第１の動画像データに基づいて前記第２の動画像データを作成するための、モーション変更データの指定を受け付け、
前記第２の期間は、前記モーション変更データに基づいて設定される請求項１に記載の画像処理プログラム。
前記第１の動画像データと前記第２の動画像データはそれぞれ情報処理装置で再生可能である請求項１又は２に記載の画像処理プログラム。
所与のオブジェクトの第１の動画像データを格納する格納部と、
前記所与のオブジェクトの第１の動画像データから、前記オブジェクトの第１の時点での第１の状態の位置座標と、前記オブジェクトの第２の時点での第２の状態の位置座標とを取得し、前記第１の時点から前記第２の時点までの第１の期間を、前記第１の期間とは異なる第２の期間に変更し、前記第１の状態の位置座標から前記第２の状態の位置座標までの前記オブジェクトの変位を前記第２の期間で行う第２の動画像データを生成し、前記第１の動画像データと同期再生される音声データのうち、音量が所定の閾値を超える音声の再生時点に基づいて、前記第１の状態と前記第２の状態とを決定する画像処理部と、を備える画像処理装置。