JP7321464B2

JP7321464B2 - 抽出プログラム、画像生成プログラム、抽出方法、画像生成方法、抽出装置、および画像生成装置

Info

Publication number: JP7321464B2
Application number: JP2021067008A
Authority: JP
Inventors: 起揚銭
Original assignee: モリカトロン株式会社
Priority date: 2021-04-12
Filing date: 2021-04-12
Publication date: 2023-08-07
Anticipated expiration: 2041-04-12
Also published as: JP2022162268A

Description

特許法第３０条第２項適用（１）ウェブサイトの掲載アドレスｈｔｔｐｓ：／／ｔｅｃｈ．ｍｏｒｉｋａｔｒｏｎ．ａｉ／ｅｎｔｒｙ／２０２０／０５／１３／１０００００掲載日令和２年５月１３日（２）ウェブサイトの掲載アドレスｈｔｔｐｓ：／／ｔｅｃｈ．ｍｏｒｉｋａｔｒｏｎ．ａｉ／ｅｎｔｒｙ／２０２０／０６／０１／１０００００掲載日令和２年５月１３日

本開示は、抽出プログラム、画像生成プログラム、抽出方法、画像生成方法、抽出装置、および画像生成装置に関する。

一般的に、動画像は、複数の静止画像で構成される。動画像を構成する各静止画像は、フレームと呼ばれる。複数のフレームに、あるオブジェクトの一連の動きが描かれている場合、複数のフレームを時間の経過に伴って切り替えることで、動画像は、オブジェクトの動きを表現することができる。

種々の目的で、動画像を構成する複数のフレームのうちの一部を間引いて新たな動画像を生成することが行われている。特許文献１には、仮想空間上に表現された３Ｄアニメーションのデータ容量を削減するため、一部のフレームを間引く技術が開示されている。特許文献１に開示された技術では、対象のフレームを直前のキーフレームと比較して、アニメーションデータのボーンの速度値が所定値以上変化した場合にそのフレームがキーフレームとして設定され、その速度値が所定値以上変化していない場合にそのフレームが間引かれる。

特開２０１９－１０２０２５号公報

３Ｄアニメーションでは、オブジェクトの滑らかな動きを表現することができる。このような３Ｄアニメーションにおいて、２Ｄアニメーションのように、メリハリのある動きを表現したいという要望がある。しかしながら、特許文献１に開示された技術は、オブジェクトにメリハリのある動きを与えるために開発されたものではなく、このような要望に十分に応えることができるものではない。

本開示は、３Ｄアニメーションをメリハリのある２Ｄアニメーション風に変換することができる抽出プログラム、画像生成プログラム、抽出方法、画像生成方法、抽出装置、および画像生成装置を提供することを目的とする。

本開示の抽出プログラムは、コンピュータに、複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する手順と、前記フレーム毎の前記動きデータに基づいて、前記複数フレームのそれぞれにおいて補間された前記三次元モデルの動きを評価する評価値に基づいて、前記動きを特徴付ける特徴フレームを抽出する手順と、を実行させ、前記特徴フレームを抽出する手順において、前記複数フレームのうち所定数のフレームが間引かれる場合に、前記評価値が最小となるように間引かれるフレームの組み合わせを決定し、前記組み合わせに含まれるフレーム以外のフレームを前記特徴フレームとして抽出する。

本開示の抽出プログラムは、コンピュータに、複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する手順と、前記フレーム毎の前記動きデータに基づいて、前記三次元モデルに含まれる特定の点または領域毎に、前記複数フレームにおける最初のフレームから特定のフレームまでの間で、フレーム間の前記動きの変化量を累積し、累積した前記変化量が閾値を超えたフレームまたはその１つ前のフレームを、前記動きを特徴付ける特徴フレームとして抽出する手順と、を実行させる。

本開示の画像生成プログラムは、上記した抽出プログラムにより抽出された前記特徴フレームに基づいて、動画像を生成する手順を前記コンピュータに実行させる。

本開示の抽出方法は、コンピュータが、複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する手順と、前記フレーム毎の前記動きデータに基づいて、前記複数フレームのそれぞれにおいて補間された前記三次元モデルの動きを評価する評価値に基づいて、前記動きを特徴付ける特徴フレームを抽出する手順と、を実行し、前記特徴フレームを抽出する手順において、前記複数フレームのうち所定数のフレームが間引かれる場合に、前記評価値が最小となるように間引かれるフレームの組み合わせを決定し、前記組み合わせに含まれるフレーム以外のフレームを前記特徴フレームとして抽出する。

本開示の抽出方法は、コンピュータが、複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する手順と、前記フレーム毎の前記動きデータに基づいて、前記三次元モデルに含まれる特定の点または領域毎に、前記複数フレームにおける最初のフレームから特定のフレームまでの間で、フレーム間の前記動きの変化量を累積し、累積した前記変化量が閾値を超えたフレームまたはその１つ前のフレームを、前記動きを特徴付ける特徴フレームとして抽出する手順と、を実行する。

本開示の画像生成方法は、上記した抽出方法により抽出された前記特徴フレームに基づいて、動画像を生成する。

本開示の抽出装置は、複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する取得部と、前記フレーム毎の前記動きデータに基づいて、前記複数フレームのそれぞれにおいて補間された前記三次元モデルの動きを評価する評価値に基づいて、前記動きを特徴付ける特徴フレームを抽出する抽出部と、を備え、前記抽出部は、前記複数フレームのうち所定数のフレームが間引かれる場合に、前記評価値が最小となるように間引かれるフレームの組み合わせを決定し、前記組み合わせに含まれるフレーム以外のフレームを前記特徴フレームとして抽出する。

本開示の抽出装置は、複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する取得部と、前記フレーム毎の前記動きデータに基づいて、前記三次元モデルに含まれる特定の点または領域毎に、前記複数フレームにおける最初のフレームから特定のフレームまでの間で、フレーム間の前記動きの変化量を累積し、累積した前記変化量が閾値を超えたフレームまたはその１つ前のフレームを、前記動きを特徴付ける特徴フレームとして抽出する抽出部と、を備える。

本開示の画像生成装置は、上記した抽出装置により抽出された前記特徴フレームに基づいて、動画像を生成する画像生成部を備える。

本開示によれば、３Ｄアニメーションをメリハリのある２Ｄアニメーション風に変換することができる。

画像生成装置の構成について説明するための図特徴フレームについて説明するための図特徴フレームについて説明するための図画像生成装置の動作について説明するための図図３のステップＳ２における特徴フレームの抽出処理の詳細を示す図補間処理について説明するための図補間処理について説明するための図補間処理について説明するための図評価値算出処理について説明するための図評価値算出処理について説明するための図

以下、本開示の各実施の形態について図面を参照して詳細に説明する。ただし、必要以上に詳細な説明、例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明等は省略する場合がある。また、以下の説明および参照される図面は、当業者が本開示を理解するために提供されるものであって、本開示の請求の範囲を限定するためのものではない。

＜発明に至る経緯＞
３次元モデル（以下、３Ｄモデルと記載する）を用いたアニメーション（以下、３Ｄアニメーションと記載する）が普及している。３Ｄアニメーションは、例えば、現実の人物や物体の動きをデジタルに記録してその動きの通りに３Ｄモデルを動かしたり、特定のフレーム（キーフレーム）における３Ｄモデルの位置や形状を指定してキーフレーム間を補間したりすることで生成される。

一方、２次元平面上に描かれた絵を用いたアニメーション（以下、２Ｄアニメーションと記載する）も普及している。２Ｄアニメーションは、例えば、互いに異なる複数枚の絵を、時間の経過に伴って切り替えることで生成される。

一般的な２Ｄアニメーションは、所定時間内に複数枚の絵、例えば１秒間に２４枚の絵が、次々と切り替えられることで生成されている。これらの複数枚の絵は、描かれたオブジェクトの動きを表すため、僅かに異なる箇所が存在する。これらの複数枚の絵は全て異なっていてもよいが、あえて全く同じ絵を連続して用いることで動きにメリハリを付けることができる。このような手法は、コマ打ち等と呼ばれる。複数の絵が全て異なる場合、１コマ打ちと呼ばれ、全く同じ絵が２コマ連続して用いられる場合は２コマ打ち、３コマ連続して用いられる場合は３コマ打ちと呼ばれる。作品全体で同じコマ数のコマ打ちが用いられてもよいし、場面に合わせて異なるコマ数のコマ打ちが用いられることもある。

ところで、近年では２Ｄアニメーション作品が製作される際に、コスト低減や表現力向上のため、３Ｄモデルが利用される場合がある。例えば２Ｄアニメーションで複数のキャラクターのダンスシーンを表現しようとした場合、それぞれのコマ（フレーム）における複数のキャラクターのポーズを１つ１つ描くには多大な労力とコストが掛かる。一方、キャラクター毎に３Ｄモデルを作成しておけば、複数のキャラクターの３Ｄモデルにそれぞれ指定した動きをさせ、指定した視点からこれらのキャラクターを見た場合の３Ｄアニメーションを作成することで、比較的容易にダンスシーンを表現することができる。このため、例えば複数のオブジェクトが同じような動きをする場面では、あらかじめ３Ｄアニメーションを作成し、これをもとに２Ｄアニメーションを作成する手法が有効である。

３Ｄアニメーションは、一般的に、２Ｄアニメーションと比較して、動きにメリハリはないが、なめらかな動きを表現する（「ぬるぬる動く」等と形容される）ように製作されることが多い。

滑らかな動きを表現する３Ｄアニメーションを元に、動きにメリハリがある２Ｄアニメーションを製作したいという要望がある。この要望に応える手法として、３Ｄアニメーションを構成するフレームのうち、３Ｄモデルの特徴的な動きを表現するフレームのみを抽出してつなげる手法がある。

例えば人間が各フレームにおける３Ｄモデルの動きを見ながら、特徴的な動きを表現するフレームを抽出する場合、多大な労力と時間とが掛かってしまう。このため、特徴的な動きを表現するフレームを抽出する工程を自動化することが要望されている。

自動化の手法の１つの例として、３Ｄアニメーションが有するフレームから時間的に均一にフレームを抽出する方法がある。しかしながら、均一にフレーム抽出を行った場合、抽出されたフレームをつなげたアニメーションは、メリハリがなく、のっぺりとした動きに見えてしまう可能性が高いだけでなく、特徴的な動きを表現する特定のフレームが含まれない場合があるため、違和感がある動きに見えてしまう可能性がある。

このような事情に鑑み、以下では、３Ｄモデルを含む動画像から特徴的な動きを表現するフレームを自動的に抽出し、つなげることで、視覚的に違和感がなく、かつ動きにメリハリがある動画像を生成することができる画像生成装置１について詳細に説明する。

＜構成＞
図１は、本開示の実施の形態に係る画像生成装置１の構成について説明するための図である。

図１に示すように、画像生成装置１は、操作部１１と、表示部１２と、記憶部１３と、通信部１４と、制御部２と、を備える。制御部２は、取得部２１と、抽出部２２と、補間部２３と、差分算出部２４と、画像生成部２５と、を備えている。画像生成装置１は、例えばパーソナルコンピュータ（ＰＣ）、ワークステーション、タブレット端末等のコンピュータである。なお、画像生成装置１は、本開示の画像生成装置の一例であり、その一部が、本開示の抽出装置の一例である。

操作部１１は、キーボード、マウス等の入力デバイスである。なお、操作部１１は、表示部１２に設けられたタッチパネルで構成されてもよい。

表示部１２は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示デバイスである。

記憶部１３は、画像生成装置１が行う各種処理に必要な情報や、画像生成装置１が生成した情報や、画像生成装置１の外部から取得した情報等を記憶する記憶デバイスである。記憶部１３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等で構成される。

通信部１４は、有線通信または無線通信により画像生成装置１の外部と通信を行う通信デバイスである。

制御部２は、例えばＣＰＵ（Central Proccessing Unit）で構成されており、画像生成装置１の各種処理の制御を行う。

取得部２１は、例えば通信部１４を介して、画像生成装置１の外部から処理対象の第１の動画像を取得する。画像生成装置１の外部とは、例えば３Ｄアニメーションを生成する他のコンピュータである。本実施の形態において、第１の動画像には、少なくとも１つのオブジェクトが含まれている。なお、本実施の形態では、画像生成装置１に第１の動画像が入力され、画像生成装置１は入力された動画像に基づいて新たな動画像（後述する第２の動画像）を生成する例について説明するが、本開示はこれに限定されない。画像生成装置１には、オブジェクトを含む第１の動画像の代わりに、例えば所定の座標系における、フレーム毎のオブジェクトの座標値が入力されてもよい。または、画像生成装置１には、オブジェクトの位置、速度、各部位が画面において占める領域等、オブジェクトの動きを示す各種のパラメータが入力されてもよい。第１の動画像、所定の座標系における、フレーム毎のオブジェクトの座標値、オブジェクトの位置、速度、各部位が画面において占める領域等、オブジェクトの動きを示す各種のパラメータは、本開示の動きデータの一例である。

抽出部２２は、複数フレームのそれぞれにおけるオブジェクトの動きを評価する評価値（後述の情報量損失を評価する評価値）に基づいて、オブジェクトの動きを特徴づける特徴フレームを抽出する。本実施の形態において、オブジェクトとは、３Ｄアニメーションに含まれる３Ｄモデルである。

図２Ａおよび図２Ｂは、特徴フレームについて説明するための図である。図２Ａは、第１の動画像に含まれるフレーム毎のオブジェクトの軌跡を示したものである。図２Ａでは、１フレーム目（ｆｒａｍｅ１）から９フレーム目（ｆｒａｍｅ９）までのオブジェクトの位置がそれぞれ示されている。

図２Ａに示す例では、１フレーム目から９フレーム目にかけて、オブジェクトは山なりの軌跡を描いて移動している。頂点付近（４フレーム目から６フレーム目）では移動速度が遅くなっており、オブジェクトのフレーム間の移動距離が比較的短いが、オブジェクトが下方に進む（６フレーム目から９フレーム目）につれて移動速度が速く、フレーム間の移動距離が比較的長くなっている。

図２Ｂは、図２Ａに示す複数のフレームから抽出部２２が抽出した特徴フレームの例を示す図である。図２Ｂに示す例では、１フレーム目、４フレーム目、６フレーム目、および９フレーム目が特徴フレームとして抽出されている。

図２Ｂにおいて特徴フレームとして抽出されているフレームは、オブジェクトの動きを効果的に表現することができるフレームである。１フレーム目は、オブジェクトの動きの始点を表すフレームである。９フレーム目は、オブジェクトの動きの終点を表すフレームである。図２Ａに示すように、オブジェクトは、１フレーム目から４フレーム目まで比較的速く、４フレーム目から６フレーム目まで比較的遅く、６フレーム目から９フレーム目まではさらに速く移動している。このため、図２Ｂに示す例では、速度が大きく変化する４フレーム目と６フレーム目が残りの特徴フレームとして抽出されている。

そのため、図２Ｂにおいて抽出されている特徴フレームのみを用いて新たに動画像を生成した場合、新たに生成された動画像におけるオブジェクトの動きは、人の目に違和感なく映るだけでなく、メリハリのある動きに見えることが期待される。

なお、図２Ａおよび図２Ｂに示す例では、第１の動画像に登場する１つのオブジェクトについて示した。しかしながら、第１の動画像に複数のオブジェクトが登場する場合、抽出部２２は、複数のオブジェクト全て、または画像生成装置１の使用者によって選択されたいずれかのオブジェクト全ての動きを特徴づけるように、特徴フレームを抽出すればよい。抽出部２２が特徴フレームを抽出する抽出処理の詳細については、後述する。

補間部２３は、第１の動画像を構成する複数のフレームのうち、いずれか特定のフレームが間引かれたと仮定した場合に、特定のフレームに含まれるオブジェクトの動きを、特定のフレームの前後の少なくともいずれかに基づいて補間する。なお、オブジェクトの動きとは、オブジェクトに含まれる点または領域の、複数のフレームに亘る位置、速度、面積変化、または形状の変化を意味する。また、特定のフレームは１フレームには限られず、２以上のフレームであってもよい。補間部２３が、特定フレームにおけるオブジェクトの動きを補間する補間処理の詳細については、後述する。

差分算出部２４は、間引かれると仮定した特定のフレームにおけるオブジェクトの動きと、補間部２３が生成した補間フレームにおける同じオブジェクトの動きとの差分に関する評価値を算出する。この評価値は、特定のフレームを間引いた時の情報量損失を評価するものである。オブジェクトの動きの差分とは、オブジェクトに含まれる点または領域毎の、補間フレームと特定のフレームとの間の位置、速度、面積変化のいずれかの差分である。差分算出部２４が評価値を算出する評価値算出処理の詳細については、後述する。

画像生成部２５は、抽出部２２が抽出した特徴フレームに基づいて、第２の動画像を生成する。第２の動画像のフレームレートは、例えば２４ｆｐｓである。

＜動作＞
次に、画像生成装置１の動作について説明する。図３は、画像生成装置１の動作について説明するための図である。

図３に示すように、取得部２１は、通信部１４を介して、画像生成装置１の外部から第１の動画像を取得する（ステップＳ１）。抽出部２２は、第１の動画像を構成する複数のフレームの中から、特徴フレームを抽出する（ステップＳ２）。画像生成部２５は、特徴フレームに基づいて、第２の動画像を生成する（ステップＳ３）。

図４は、図３のステップＳ２における特徴フレームの抽出処理の詳細を示す図である。抽出処理において、まず、補間部２３は、特定のフレームに含まれるオブジェクトの動きを、特定のフレームの前後の少なくともいずれかに基づいて補間する補間処理を行う（ステップＳ１１）。

次に、差分算出部２４は、あるフレームが間引かれた場合のオブジェクトの動きと、補間部２３が生成した補間フレームを考慮した場合のオブジェクトの動きとの差分に関する評価値を算出する評価値算出処理を行う（ステップＳ１２）。評価値算出処理の詳細については、後述する。上述したように、オブジェクトの動きの差分とは、オブジェクトに含まれる点または領域毎の、補間フレームと特定のフレームとの間の位置、速度、加速度、面積変化のいずれかの差分である。

そして、抽出部２２は、評価値に基づき、特徴フレームを抽出する（ステップＳ１３）。

［補間処理］
図５Ａ、図５Ｂ、および図６は、補間処理について説明するための図である。図５Ａは、第１の動画像に含まれるオブジェクトの一例として、各フレームにおけるキャラクターの関節点を示している。図５Ｂは、図５Ａに示す複数の関節点のうち、一例として左足に相当する関節点の動きを示している。言い換えると、図５Ｂは、複数のフレームにおいて関節点が移動する軌跡を示している。

図５Ｂには、５つのフレームにおける関節点Ｊ１～Ｊ５が示されている。関節点Ｊ１～Ｊ５は、同じ関節点であるが、フレームが進むにつれオブジェクトが動いているため、フレーム毎に異なる位置にある。関節点Ｊ１の位置は、１フレーム目における関節点の位置である。関節点Ｊ２の位置は、２フレーム目における関節点の位置である。関節点Ｊ３の位置は、３フレーム目における関節点の位置である。関節点Ｊ４の位置は、４フレーム目における関節点の位置である。関節点Ｊ５の位置は、５フレーム目における関節点の位置である。

図５Ｂにおいて、これらの５フレームのうち、２フレーム目と４フレーム目が間引かれると仮定する。この場合、間引かれた結果残るフレームは、１フレーム目、３フレーム目、および５フレーム目である。補間部２３は、間引かれたと仮定された２フレーム目および４フレーム目における関節点の位置を、その前後のいずれかのフレームにおける関節点の位置に基づいて推定する。

図５Ｂに破線で示す関節点ＪＢ２、ＪＢ４の位置は、補間部２３により補間されている。図５Ｂに示す例では、補間部２３は、前後のフレームの関節点を用いて線形補間によって補間された関節点（前後のフレームの関節点を結ぶ線分の中点）の位置を決定している。すなわち、補間された関節点ＪＢ２は、関節点Ｊ１とＪ３とを結ぶ線上に、関節点ＪＢ４は、関節点Ｊ３とＪ５とを結ぶ線上にある。

図５Ａおよび図５Ｂでは、オブジェクトの関節点の位置を補間する例について説明した。図６では、オブジェクトの一部を構成する領域の位置を補間する例について説明する。図６に示される領域は、例えばキャラクターがそれぞれ異なる複数の色の領域によって構成されている場合における、１つの色の領域である。

図６には、２つのフレームにおける領域Ａ１、Ａ３が示されている。図６における領域Ａ１、Ａ３の位置は、同じ領域の異なるフレームにおける位置に対応する。

図６では、領域Ａ１に対応するフレームを１フレーム目、領域Ａ３に対応するフレームを３フレーム目として、２フレーム目が間引かれたと仮定したときの、間引かれる前の２フレーム目における領域の位置をオプティカルフロー（変位ベクトル）を用いて推定する様子を示している。図６における矢印は、各領域の一部の画素におけるオプティカルフローを例示している。実際には、領域に含まれる全ての画素についてオプティカルフローが計算される。領域Ａ１からＡ３への変位に関するオプティカルフローは、例えば既存のオプティカルフロー予測ＡＩ等を用いて算出されればよい。

図６に破線で示す領域ＡＢ２の位置は、１フレーム目から３フレーム目への領域のオプティカルフローに基づいて、２フレーム目が間引かれたと仮定した場合の領域の位置に対応する。領域ＡＢ２の位置は、１フレーム目から３フレーム目への領域のオプティカルフローの中間位置に設定される。これにより、２フレーム目が間引かれた場合の、２フレーム目における領域の位置を補間することができる。

なお、補間部２３による補間の方法はオプティカルフローを用いた方法には限定されず、例えば各フレームにおける領域の位置矢速度を用いた線形補間、または多項式補間が採用されてもよい。また、図５Ａ，図５Ｂ，および図６に示す例では、２次元平面上での動きの補間を行っていたが、入力される第１の動画像が３Ｄアニメーションである場合は、３次元空間内での動きの補間を行い、その後にレンダリングして２次元平面上での関節点または領域の位置や速度を導出してもよい。

補間部２３は、上述した補間処理を、第１の動画像に含まれる全てのオブジェクト、または、画像生成装置１の使用者が指定したオブジェクト（１または複数）に対して行う。

［評価値算出処理］
図７Ａおよび図７Ｂは、評価値算出処理について説明するための図である。図７Ａは関節点同士の速度に関する評価値を算出する様子を示しており、図７Ｂは領域同士のオプティカルフローに関する評価値を算出する様子を示している。

図７Ａには、５つのフレームにおける関節点Ｊ６～Ｊ１０が示されている。また、図７Ａには、２フレーム目から４フレーム目が間引かれたと仮定した場合の、補間部２３によって補間された関節点ＪＢ７，ＪＢ８，ＪＢ９が示されている。図７Ａの各関節点から延びる矢印は、各関節点の速度ベクトル、すなわち各関節点の速度の向きと大きさを示している。

図７Ａに一例を示すように、差分算出部２４は、フレーム毎に、間引かれていない場合の各関節点の速度ｖ_Ｔi＝（ｖ_ｘｔｉ，ｖ_ｙｔｉ）と、７フレーム目から９フレーム目が間引かれたと仮定した場合の各関節点の速度ｖ_ｉ＝（ｖ_ｘｉ，ｖ_ｙｉ）との差分ε_i＝（ｖ_ｘｉ―ｖ_ｘｔｉ，ｖ_ｙｉ―ｖ_ｙｔｉ）を関節点毎に算出する。ｉはフレームの順番に対応する。そして、差分算出部２４は、処理対象のフレームに含まれるオブジェクトの全ての関節点における速度の平均二乗誤差ＭＳＥを以下の式により評価値として算出する。なお、間引かれたと仮定したフレーム以外のフレーム（図７Ａの例では、６フレーム目、および１０フレーム目）についても差分を算出する理由は、図７Ａの関節点Ｊ６における速度ベクトルを示す矢印のように、後のフレームが間引かれたか否かで速度ベクトルが変化するからである。

一方、図７Ｂには、１フレーム目における領域Ａ４、および、３フレーム目における領域Ａ６が示されている。また、図７Ｂには、２フレーム目が間引かれたと仮定した場合の、補間部２３によって補間された領域ＡＢ５が示されている。

このような場合、差分算出部２４は、処理対象のフレームに含まれるオブジェクトにおける領域の全ての画素におけるオプティカルフローの平均値に基づいて、上記の式により平均二乗誤差ＭＳＥを評価値として算出する。オプティカルフローは変位ベクトルであるため、領域内の全画素の平均値を上記の式の速度ｖ_Ｔi＝（ｖ_ｘｔｉ，ｖ_ｙｔｉ）に代入すればよい。

なお、上述の説明では、差分算出部２４は、フレーム毎に、当該フレームが間引かれていない場合と間引かれたと仮定した場合とについて、オブジェクトの関節点の速度、または領域の全画素におけるオプティカルフローの平均の差分を算出している。しかしながら、本開示はこれには限定されず、例えば差分算出部２４は、オブジェクトを構成する画素毎に、速度または位置の差分を算出してもよい。また、差分算出部２４は、オブジェクトの画素、関節点、または領域の速度または位置だけでなく、例えば加速度、面積変化または形状の変化についての差分を算出してもよい。

また、差分算出部２４は、オプティカルフローを用いて回転ベクトルを算出し、回転ベクトルの差分と算出するようにしてもよい。さらに、差分算出部２４は、領域におけるオプティカルフローの平均の差分とともに、当該領域の面積の差分を算出するようにしてもよい。この際、アースムーバー距離（Earth Mover's Distance）を用いて領域間の形状を考慮した位置差分を算出するようにしてもよい。

また、上述の説明では、単に全ての関節点または全ての領域の平均二乗誤差を評価値とする例について説明した。ここで、関節点または領域ごとに重み付けを行い、平均二乗誤差を算出するようにしてもよい。重み付けの例としては、関節点または領域の面積の大きさやコントラスト等に基づいて行うようにすればよい。

また、上述の説明では、差分算出部２４は、平均二乗誤差を評価値として算出していたが、他の誤差計算方法を採用してもよい。

［特徴フレームの抽出］
抽出部２２は、差分算出部２４が算出した評価値に基づき、第１の動画像を構成する複数のフレームの中から、画像生成装置１の使用者が指定したフレーム数だけ、オブジェクトの動きを特徴づける特徴フレームを抽出する。

具体的には、抽出部２２は、第１の動画像がＮ枚のフレームで構成されており、使用者がここからｎ枚のフレームを抽出すると指定した場合、Ｎ枚のうちどのｎ枚を抽出したときに残りの（Ｎ－ｎ）枚のフレーム分の評価値が最小となるか、という組み合わせ最適化問題を解くことにより、特徴フレームを抽出する。

抽出部２２が組み合わせ最適化問題を解く手法として、例えば焼きなまし法（シミュレーテッド・アニーリング法）や、累積和法等が挙げられる。

焼きなまし法は、値が小さくなる方向へ解の探索を進めていくアルゴリズムにおいて、大きな値から小さな値へ次第に変化する温度変数を導入し、温度変数の大きさに応じて値が大きくなる方向へも探索を進めることで、大域的最適解に辿り着くことを可能とするアルゴリズムである。

累積和法とは、対象のフレームまでの、オブジェクトの評価値を計算して加算し、加算した評価値が所定のしきい値を超えているか否かによって近似解を求める手法である。すなわち、累積和法では、最初のフレームから対象のフレームまでの、オブジェクトの全ての関節点または全ての領域の評価値を加算し、加算した評価値が所定のしきい値を超えている場合にその対象フレームの１つ前のフレームを特徴フレームに決定する。それ以降は、特徴フレームの次のフレームを対象フレームとし、０から新たに評価値の加算を行う。なお、０から新たに加算を行うのではなく、累積和と閾値との差分値を初期値として、次フレームの評価値を新たに加算するようにしてもよい。所定のしきい値は、抽出される特徴フレームの数が、画像生成装置１の使用者が指定した数となるように設定されればよい。

焼きなまし法を採用した場合、時間はかかるが必ず最適解を得られるという利点がある。一方、累積和法を採用した場合、計算時間は早いが、得られる結果が最適解ではなく、近似解である。したがって、求められる第２の動画像の品質によって、焼きなまし法と累積和法のいずれを採用するかが選択可能であってもよい。また、焼きなまし法と累積和法とを併用することにより、処理時間と品質とのバランスを制御できるようにしてもよい。具体的には、累積和法で得られた結果に対して焼きなまし法を行うことで、結果の最適性を向上させるような手法が考えられる。

以上のようにして、抽出部２２は、画像生成装置１の使用者が指定した数の特徴フレームを抽出する。このようにして抽出した特徴フレームは、図２Ｂに示したように、３Ｄモデルのメリハリのある動きを表現できるフレームである。

なお、抽出部２２が特徴フレームを抽出する方法については、上述した方法に限定されない。例えば、人工知能（Artificial Intelligence：ＡＩ）を用いて、どのようなフレームが特徴フレームにふさわしいかを学習させることにより、特徴フレームを抽出するようにしてもよい。この場合、補間部２３による、間引かれると仮定したフレームにおけるオブジェクトの動きの補間や、差分算出部２４による評価値の算出は必要ない。具体的には、複数の動画像と、各動画像から抽出された特徴フレームとを教師データとして学習を行わせることにより、新たに入力した第１の動画像から特徴フレームを抽出するＡＩを作成してもよい。なお、別途評価値を算出し、算出した評価値をＡＩの報酬信号に用いることにより、学習を行うようにしてもよい。

また、間引かれると仮定したフレームにおけるオブジェクトの動きの補間や、差分算出部２４による評価値の算出を行わずに、累積和法を用いて特徴フレームの抽出を行うことも可能である。例えば、オプティカルフロー等を用いてフレーム毎の動きの変化量（加速度等）を算出し、その変化量をフレーム毎に加算して、各フレームの重要性を量的に評価することで、特徴フレームを抽出し、特徴フレーム以外のフレームを間引くようにしてもよい。

以上、本発明に係る実施の形態について図面を参照して詳述してきたが、上述した画像生成装置１の各機能は、コンピュータプログラムにより実現され得る。

画像生成装置１の各機能を実現するコンピュータは、キーボードやマウス、タッチパッド等の入力装置、ディスプレイやスピーカ等の出力装置、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク装置やＳＳＤ（Solid State Drive）等の記憶装置、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリ等の記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカード等を備え、各部はバスにより接続される。

そして、読取装置は、上記各装置の機能を実現するためのプログラムを記録した記録媒
体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。

そして、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。

＜作用、効果＞
本開示の画像生成装置によれば、複数フレームで構成されており、所定の三次元モデルの動きを表す３Ｄアニメーションに基づいて、複数フレームのそれぞれにおける三次元モデルの動きを評価する評価値を算出し、動きを特徴付ける特徴フレームを抽出し、特徴フレームを用いて３Ｄアニメーションの一部のフレームを間引いて第２の動画像を生成する。

すなわち、本開示の画像生成装置では、第２の動画像を、オブジェクトの動きを特徴づける特徴フレームを用いて構成するため、動きにメリハリがある、２Ｄアニメーション風の動画像とすることができる。

本開示は、動画像を生成することができる画像生成装置に有用である。

１画像生成装置
１１操作部
１２表示部
１３記憶部
１４通信部
２制御部
２１取得部
２２抽出部
２３補間部
２４差分算出部
２５画像生成部

Claims

コンピュータに、
複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する手順と、
前記フレーム毎の前記動きデータに基づいて、前記複数フレームのそれぞれにおいて補間された前記三次元モデルの動きを評価する評価値に基づいて、前記動きを特徴付ける特徴フレームを抽出する手順と、
を実行させ、
前記特徴フレームを抽出する手順において、前記複数フレームのうち所定数のフレームが間引かれる場合に、前記評価値が最小となるように間引かれるフレームの組み合わせを決定し、前記組み合わせに含まれるフレーム以外のフレームを前記特徴フレームとして抽出する、
抽出プログラム。
前記複数フレームのうち、いずれか特定のフレームが間引かれたと仮定した場合に、前記特定のフレームに含まれる前記三次元モデルの動きを、前記特定のフレームの前後の少なくともいずれかに基づいて補間する手順と、
前記特定のフレームにおける前記三次元モデルの動きと、補間された前記三次元モデルの動きとの差分に関する前記評価値を算出する手順と、
をさらに実行させる、
請求項１に記載の抽出プログラム。
前記三次元モデルの動きを補間する手順において、前記三次元モデルに含まれる特定の点または領域毎に、線形補間または多項式補間を行うことにより、間引かれた前記特定のフレームにおける前記三次元モデルの動きを補間する、
請求項２に記載の抽出プログラム。
前記三次元モデルの動きを補間する手順において、前記三次元モデルに含まれる特定の領域毎に算出したオプティカルフローを用いて、間引かれた前記特定のフレームにおける前記三次元モデルの動きを補間する、
請求項２に記載の抽出プログラム。
前記三次元モデルの動きを補間する手順において、前記三次元モデルに含まれる同色の領域を、前記特定の領域とする、
請求項３または４に記載の抽出プログラム。
前記評価値を算出する手順において、前記三次元モデルの動きと、補間された前記三次元モデルの動きとの差分の平均二乗誤差を前記評価値として算出する、
請求項３から５のいずれか一項に記載の抽出プログラム。
前記評価値を算出する手順において、前記三次元モデルと、補間された前記三次元モデルとの位置、速度、または面積変化について前記差分の前記平均二乗誤差を算出する、
請求項６に記載の抽出プログラム。
前記特徴フレームを抽出する手順において、焼きなまし法を用いて、前記評価値が最小となる前記組み合わせを決定する、
請求項１から７のいずれか一項に記載の抽出プログラム。
前記特徴フレームを抽出する手順において、前記三次元モデルに含まれる特定の点または領域毎に、前記複数フレームにおける最初のフレームから前記特定のフレームまでの間で、フレーム間の前記評価値を累積し、累積した前記評価値が閾値を超えたフレームまたはその１つ前のフレームを前記特徴フレームとする、
請求項２から５のいずれか一項に記載の抽出プログラム。
コンピュータに、
複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する手順と、
前記フレーム毎の前記動きデータに基づいて、前記三次元モデルに含まれる特定の点または領域毎に、前記複数フレームにおける最初のフレームから特定のフレームまでの間で、フレーム間の前記動きの変化量を累積し、累積した前記変化量が閾値を超えたフレームまたはその１つ前のフレームを、前記動きを特徴付ける特徴フレームとして抽出する手順と、
を実行させる、抽出プログラム。
請求項１から１０のいずれか一項に記載の抽出プログラムにより抽出された前記特徴フレームに基づいて、動画像を生成する手順を前記コンピュータに実行させる、
画像生成プログラム。
コンピュータが、
複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する手順と、
前記フレーム毎の前記動きデータに基づいて、前記複数フレームのそれぞれにおいて補間された前記三次元モデルの動きを評価する評価値に基づいて、前記動きを特徴付ける特徴フレームを抽出する手順と、
を実行し、
前記特徴フレームを抽出する手順において、前記複数フレームのうち所定数のフレームが間引かれる場合に、前記評価値が最小となるように間引かれるフレームの組み合わせを決定し、前記組み合わせに含まれるフレーム以外のフレームを前記特徴フレームとして抽出する、
抽出方法。
コンピュータが、
複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する手順と、
前記フレーム毎の前記動きデータに基づいて、前記三次元モデルに含まれる特定の点または領域毎に、前記複数フレームにおける最初のフレームから特定のフレームまでの間で、フレーム間の前記動きの変化量を累積し、累積した前記変化量が閾値を超えたフレームまたはその１つ前のフレームを、前記動きを特徴付ける特徴フレームとして抽出する手順と、
を実行する、抽出方法。
請求項１２または１３に記載の抽出方法により抽出された前記特徴フレームに基づいて、動画像を生成する、
画像生成方法。
複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する取得部と、
前記フレーム毎の前記動きデータに基づいて、前記複数フレームのそれぞれにおいて補間された前記三次元モデルの動きを評価する評価値に基づいて、前記動きを特徴付ける特徴フレームを抽出する抽出部と、
を備え、
前記抽出部は、前記複数フレームのうち所定数のフレームが間引かれる場合に、前記評価値が最小となるように間引かれるフレームの組み合わせを決定し、前記組み合わせに含まれるフレーム以外のフレームを前記特徴フレームとして抽出する、
抽出装置。
複数フレームで構成されており、所定の三次元モデルの動きに関する動きデータを取得する取得部と、
前記フレーム毎の前記動きデータに基づいて、前記三次元モデルに含まれる特定の点または領域毎に、前記複数フレームにおける最初のフレームから特定のフレームまでの間で、フレーム間の前記動きの変化量を加算し、累積した前記変化量が閾値を超えたフレームまたはその１つ前のフレームを、前記動きを特徴付ける特徴フレームとして抽出する抽出部と、
を備える、抽出装置。
請求項１５または１６に記載の抽出装置により抽出された前記特徴フレームに基づいて、動画像を生成する画像生成部を備える、
画像生成装置。