JP7426602B2 - 映像生成装置、映像生成方法およびプログラム - Google Patents

映像生成装置、映像生成方法およびプログラム Download PDF

Info

Publication number
JP7426602B2
JP7426602B2 JP2019201846A JP2019201846A JP7426602B2 JP 7426602 B2 JP7426602 B2 JP 7426602B2 JP 2019201846 A JP2019201846 A JP 2019201846A JP 2019201846 A JP2019201846 A JP 2019201846A JP 7426602 B2 JP7426602 B2 JP 7426602B2
Authority
JP
Japan
Prior art keywords
video
parameter
score
image
likelihood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019201846A
Other languages
English (en)
Other versions
JP2021076992A (ja
Inventor
尚毅 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019201846A priority Critical patent/JP7426602B2/ja
Publication of JP2021076992A publication Critical patent/JP2021076992A/ja
Application granted granted Critical
Publication of JP7426602B2 publication Critical patent/JP7426602B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

本開示は、CG(computer graphics)データを用いて映像を生成する装置、方法およびプログラムに関する。
近年、車両の自動運転を実現するための自動運転支援システムが提供されている。この自動運転支援システムは、自動運転の制御対象とされる車両に搭載されたカメラの映像から、他の車両、歩行者、信号機などのオブジェクトを検知し、その検知結果に応じてその制御対象の車両の走行を制御する。
映像に写し出されているオブジェクトの検知には、検知処理系が用いられる。この検知処理系の一例は、ディープラーニングなどの機械学習によって構築された学習モデルである。この検知処理系によるオブジェクトの検知精度を向上させるためには、多くのカメラの映像(すなわち多くの実写映像)を収集し、これらの多くの実写映像の中から検知処理系にとって間違い易い映像をリストアップする必要がある。間違い易い映像は、例えば、人でないオブジェクトが写し出されている映像であって、検知処理系がそのオブジェクトを人であると判断する可能性が高い映像である。つまり、間違い易い映像は、検知処理系にとって苦手な映像である。このような間違い易い映像に対するオブジェクトの検知を検知処理系にさせて、間違わないように検知処理系を設定することは重要である。
しかし、多くの実写映像を収集するコストは膨大であって、長い時間を要する。さらに、どれだけ実写映像を収集すれば十分であるかは不明である。また、天候または光の差し込む方向などが少し異なる複数の実写映像を収集することも困難である。
そこで、このような実写映像の代わりにCG映像を用いたシミュレーションシステムが提案されている(例えば、特許文献1参照)。このようなCGでは、天候または光の差し込む方向などを示すパラメータを任意に設定することができる。したがって、天候または光の差し込む方向などが少し異なる複数のCG映像を容易に、かつ大量に収集することができる。さらに、多くのCG映像を、コストを抑えて短期間に収集することができる。その結果、このようなCG映像を用いることによって、上述の検知処理系によるオブジェクトの検知精度を向上することができる。
国際公開第2018-066351号
しかしながら、上記特許文献1のシミュレーションシステムでは、映像を効率的に生成することが難しいという課題がある。
そこで、本開示は、映像を効率的に生成することができる映像生成装置などを提供する。
本開示の一態様に係る映像生成装置は、少なくとも1つのパラメータからなる第1パラメータ群をCG(computer graphics)データに設定することによって、オブジェクトが
第1種別の物体として描かれた第1映像を生成する第1映像生成処理を行うCG映像生成部と、予め定められた少なくとも1つの種別の物体を、映像から検知する検知処理系を用いて、前記第1映像のスコアを導出する処理であって、当該第1映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度に応じたスコアを導出する第1スコア導出処理を行うスコア処理部と、前記第1パラメータ群に含まれる少なくとも1つのパラメータの数値を複数通りに変更することによって、それぞれ互いに異なる複数の第2パラメータ群を生成するパラメータ調整処理を行うパラメータ調整部と、複数の映像から少なくとも1つの映像を抽出する抽出処理を行う映像抽出部とを備え、前記CG映像生成部は、さらに、複数の前記第2パラメータ群のそれぞれについて、当該第2パラメータ群を前記CGデータに設定することによって、オブジェクトが前記第1種別の物体として描かれた第2映像を生成する第2映像生成処理を行い、前記スコア処理部は、さらに、生成された複数の前記第2映像のそれぞれについて、前記検知処理系を用いて当該第2映像のスコアを導出する処理であって、当該第2映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度に応じたスコアを導出する第2スコア導出処理を行い、前記映像抽出部は、複数の前記第2映像および前記第1映像のそれぞれのスコアに基づいて、複数の前記第2映像から少なくとも1つの第2映像を抽出する処理を、前記抽出処理として行い、抽出される前記少なくとも1つの第2映像のそれぞれに描かれている前記オブジェクトが前記第1種別の物体であることの尤度は、前記第1映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度よりも低い
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の映像生成装置は、映像を効率的に生成することができる。
図1は、実施の形態における映像生成装置の機能構成の一例を示すブロック図である。 図2は、実施の形態における検知処理系の処理を説明するための図である。 図3は、実施の形態におけるパラメータ調整部によって調整されるパラメータ群の一例を示す図である。 図4は、実施の形態における映像生成装置の全体的な処理動作を示すフローチャートである。 図5は、実施の形態におけるステップ1の処理を説明するための図である。 図6は、実施の形態におけるステップ1の処理を示すフローチャートである。 図7は、実施の形態におけるステップ2の処理を説明するための図である。 図8は、実施の形態におけるステップ2の処理を示すフローチャートである。 図9は、実施の形態におけるステップ3の処理を説明するための図である。 図10は、実施の形態におけるステップ3の処理を示すフローチャートである。 図11は、実施の形態における映像生成装置の機能構成の他の例を示すブロック図である。
(本開示の基礎となった知見)
本発明者は、「背景技術」の欄において記載した上記特許文献1に関し、以下の問題が生じることを見出した。
上記特許文献1のシミュレーションシステムは、多くのCG映像を生成することができるが、そのCG映像の数は無限の可能性があり、有限時間にそれらのCG映像を生成することが難しい場合がある。また、CG映像を生成するためのCGデータに用いられるパラメータの種類は多く、異質なパラメータも多く用いられる。さらに、オブジェクトの位置、サイズ、天候などを少しずつ変化させて互いに異なる複数のCG映像を生成する場合には、それらを示すパラメータの数値の変化量をどの程にすればよいのか不明である。言い換えれば、その変化量をどの程度にすれば、検知処理系の十分な検知精度を得るための全てのCG映像を生成し尽したことになるかが分からない。
例えば、CG映像の生成に100個のパラメータが用いられ、1つのパラメータの取り得る数値が100通りある場合、生成されるCG映像の数は、100の100条になる。また、そのパラメータの数値をより細かい単位(例えば、1mm単位または1度単位など)で変化させることによって、そのパラメータの取り得る数値を100通り以上にすれば、このようなCG映像の数は無限に生成され、処理しきれない状態になる。
そこで、本開示の一態様に係る映像生成装置は、少なくとも1つのパラメータからなる第1パラメータ群をCG(computer graphics)データに設定することによって、オブジェクトが第1種別の物体として描かれた第1映像を生成する第1映像生成処理を行うCG映像生成部と、予め定められた少なくとも1つの種別の物体を、映像から検知する検知処理系を用いて、前記第1映像のスコアを導出する処理であって、当該第1映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度に応じたスコアを導出する第1スコア導出処理を行うスコア処理部と、前記第1パラメータ群に含まれる少なくとも1つのパラメータの数値を複数通りに変更することによって、それぞれ互いに異なる複数の第2パラメータ群を生成するパラメータ調整処理を行うパラメータ調整部と、複数の映像から少なくとも1つの映像を抽出する抽出処理を行う映像抽出部とを備え、前記CG映像生成部は、さらに、複数の前記第2パラメータ群のそれぞれについて、当該第2パラメータ群を前記CGデータに設定することによって、オブジェクトが前記第1種別の物体として描かれた第2映像を生成する第2映像生成処理を行い、前記スコア処理部は、さらに、生成された複数の前記第2映像のそれぞれについて、前記検知処理系を用いて当該第2映像のスコアを導出する処理であって、当該第2映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度に応じたスコアを導出する第2スコア導出処理を行い、前記映像抽出部は、複数の前記第2映像および前記第1映像のそれぞれのスコアに基づいて、複数の前記第2映像から前記第1映像よりも尤度が低い少なくとも1つの第2映像を抽出する処理を、前記抽出処理として行う。
これにより、オブジェクトが第1種別の物体として描かれた第1映像が生成され、その第1映像から、さらに、第1種別の物体の尤度が第1映像よりも低い第2映像が生成される。例えば、木が描かれた第1映像から、木の尤度が第1映像よりも低い第2映像が生成される。したがって、検知処理系にとって間違い易い第2映像を効率的に生成することができる。
また、前記スコア処理部は、前記第1スコア導出処理では、前記第1種別とは異なる第2種別の物体を検知する前記検知処理系を用いて、前記第1映像に描かれている前記オブジェクトが前記第2種別の物体であることの尤度を、前記第1映像のスコアとして導出し、前記第2スコア導出処理では、前記第2映像に描かれている前記オブジェクトが前記第2種別の物体であることの尤度を、前記検知処理系を用いて前記第2映像のスコアとして導出し、前記映像抽出部は、前記抽出処理では、複数の前記第2映像から前記第1映像よりもスコアが高い前記少なくとも1つの第2映像を抽出してもよい。
これにより、第2種別の物体を検知する検知処理系にとって、第2種別の物体と間違って検知してしまい易い第1種別の物体が描かれている第2映像を、効率的に生成することができる。例えば、第1種別の物体は木であり、第2種別の物体は人である。この場合、人と間違って検知してしまい易い木が描かれている第2映像を効率的に生成することができる。
また、前記CG映像生成部は、前記第1映像生成処理では、互いに異なる複数の前記第1パラメータ群のそれぞれを前記CGデータに設定することによって、複数の前記第1映像を生成し、前記スコア処理部は、前記第1スコア導出処理では、生成された複数の前記第1映像のそれぞれのスコアを導出し、前記映像抽出部は、さらに、生成された複数の前記第1映像から、前記スコアの高い順で上位M枚(Mは2以上の整数)の前記第1映像を抽出し、前記パラメータ調整部は、前記パラメータ調整処理では、M枚の前記第1映像の生成に用いられたM個の前記第1パラメータ群のそれぞれから複数の前記第2パラメータ群を生成し、前記CG映像生成部は、前記第2映像生成処理では、M枚の前記第1映像のそれぞれについて、当該第1映像の前記第1パラメータ群から生成された複数の前記第2パラメータ群を用いて、複数の前記第2映像を生成してもよい。例えば、前記パラメータ調整部は、前記パラメータ調整処理では、M個の前記第1パラメータ群のそれぞれについて、当該第1パラメータ群に含まれる少なくとも1つのパラメータの数値を、複数の前記第1パラメータ群の間での数値の差よりも小さい変化量だけ変更してもよい。
これにより、検知処理系にとって間違い易いM枚の第1映像が大雑把に抽出され、そのM枚の第1映像のそれぞれのパラメータが細かく調整されることによって、検知処理系にとってより間違い易い第2映像を効率的に生成することができる。つまり、その間違い易いCG映像を探し出すために、無限にCG映像を生成する手間を省くことができる。
また、前記CG映像生成部、前記スコア処理部、前記パラメータ調整部および前記映像抽出部は、繰り返し処理を行い、前記繰り返し処理では、抽出された前記少なくとも1つの第2映像のそれぞれについて、当該第2映像を前記第1映像として扱い、当該第2映像の生成に用いられた前記第2パラメータ群を、前記第1パラメータ群として扱うことによって、前記パラメータ調整処理、前記第2映像生成処理、前記第2スコア導出処理、および前記抽出処理からなる一連の処理が繰り返し行われてもよい。
これにより、上記一連の処理が繰り返し行われるたびに、映像抽出部によって抽出される第2映像を、検知処理系にとって間違い易い映像に近づけることができる。
また、前記パラメータ調整部は、前記パラメータ調整処理では、前記第1パラメータ群に含まれる複数のパラメータのそれぞれの数値を複数通りに変更する複数パラメータ調整処理によって、複数の前記第2パラメータ群を生成してもよい。例えば、その数値の変更はランダムに行われる。
これにより、検知処理系にとって間違い易い第2映像を大まかに見つけ出すことができる。
また、前記パラメータ調整部は、前記パラメータ調整処理では、前記第1パラメータ群に含まれるパラメータごとに、前記第1パラメータ群の中で当該パラメータの数値のみを複数通りに変更する個別パラメータ調整処理によって、複数の前記第2パラメータ群を生成してもよい。
これにより、検知処理系にとって間違い易い第2映像をより細かく見つけ出すことができる。
また、前記繰り返し処理は、前記一連の処理が繰り返し行われる第1繰り返し処理と、前記第1繰り返し処理の後に前記一連の処理が繰り返し行われる第2繰り返し処理とを含み、前記パラメータ調整部は、前記第1繰り返し処理に含まれる前記パラメータ調整処理では、前記第1パラメータ群に含まれる複数のパラメータのそれぞれの数値を複数通りに変更する複数パラメータ調整処理によって、複数の前記第2パラメータ群を生成し、前記第2繰り返し処理に含まれる前記パラメータ調整処理では、前記パラメータ調整部は、前記第1パラメータ群に含まれるパラメータごとに、前記第1パラメータ群の中で当該パラメータの数値のみを複数通りに変更する個別パラメータ調整処理によって、複数の前記第2パラメータ群を生成してもよい。
これにより、検知処理系にとって間違い易い第2映像を大まかに見つけ出した後に、その第2映像をより間違い易い映像に細かく近づけることができる。
また、前記パラメータ調整部は、前記第1繰り返し処理において導出されたスコアであって、前記少なくとも1つの第2映像のうちの何れか1つの前記第2映像のスコアが閾値以上である場合には、次に行われる前記一連の処理に含まれる前記パラメータ調整処理を、前記個別パラメータ調整処理として行うことによって、前記第1繰り返し処理を前記第2繰り返し処理に切り替えてもよい。
これにより、第1繰り返し処理によって大まかに見つけ出された複数の間違い易い第2映像の中から特に間違い易い第2映像を抽出し、その第2映像をさらにより間違い易い映像に細かく近づけることができる。
また、前記スコア処理部は、前記第1スコア導出処理では、前記第1映像を前記検知処理系に入力することによって得られる、前記予め定められた少なくとも1つの種別の物体のそれぞれの尤度に基づいて、前記第1映像のスコアを導出し、前記第2スコア導出処理では、複数の前記第2映像のそれぞれについて、当該第2映像を前記検知処理系に入力することによって得られる、前記予め定められた少なくとも1つの種別の物体のそれぞれの尤度に基づいて、当該第2映像のスコアを導出してもよい。
これにより、第1映像および第2映像のそれぞれの検知処理系による間違い易さをスコアとして適切に導出することができる。
また、前記映像生成装置は、さらに、前記抽出処理によって抽出された前記少なくとも1つの第2映像を用いて前記検知処理系の学習を行う学習処理部を備えてもよい。
これにより、検知処理系の検知精度を向上することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
(実施の形態)
<システム構成>
図1は、本実施の形態における映像生成装置の機能構成の一例を示すブロック図である。
本実施の形態における映像生成装置10は、CG映像生成部11と、スコア処理部12と、映像抽出部13と、パラメータ調整部14とを備える。
CG映像生成部11は、少なくとも1つのパラメータからなるパラメータ群をCG(computer graphics)データに設定することによって、オブジェクトが第1種別の物体として描かれたCG映像を生成する。例えば、第1種別の物体は木、人、車両などである。つまり、CG映像生成部11は、木、人、車両などが描かれたCG映像を生成する。また、そのパラメータ群が複数あれば、CG映像生成部11は、それらの複数のパラメータ群のそれぞれについて、そのパラメータ群に対応するCG映像を生成する。
スコア処理部12は、CG映像生成部11によって生成されたCG映像のスコアを、検知処理系20を用いて導出する。検知処理系20は、予め定められた少なくとも1つの種別の物体を、CG映像生成部11によって生成されたCG映像から検知する装置またはシステムである。例えば、検知処理系20は、ニューラルネットワークなどの学習モデルであってもよい。
映像抽出部13は、CG映像生成部11によって生成された複数のCG映像のそれぞれのスコアに基づいて、その複数のCG映像から少なくとも1つのCG映像を抽出する。
パラメータ調整部14は、映像抽出部13によって抽出された少なくとも1つのCG映像のそれぞれについて、そのCG映像の生成に用いられたパラメータ群を複数通りに変更することによって、それぞれ互に異なる新たな複数のパラメータ群を生成する。本実施の形態では、変更前のパラメータ群を、第1パラメータ群ともいい、変更後のパラメータ群を、第2パラメータ群ともいう。また、第1パラメータ群を用いて生成されるCG映像を、第1CG映像ともいい、第2パラメータ群を用いて生成されるCG映像を、第2CG映像ともいう。
CG映像生成部11、スコア処理部12、映像抽出部13、およびパラメータ調整部14は、第2パラメータ群の生成と、第2CG映像の生成および抽出とを行うと、その第2パラメータ群および第2CG映像を、新たな第1パラメータ群および第1CG映像としてそれぞれ用いて、上述の処理を繰り返す。
図2は、検知処理系20の処理を説明するための図である。
検知処理系20は、CG映像に対して例えば検知枠を設定し、その設定された検知枠内に存在する予め定められた種別の物体を検知する。予め定められた種別の物体は、例えば、木、人、車両、および自転車などである。
例えば、図2の(a)および(b)に示すように、検知処理系20は、CG映像の検知枠内の領域に対して、木の尤度、人の尤度、車両の尤度、および自転車の尤度を導出する。つまり、検知処理系20は、その領域にあるオブジェクトが木であることの尤もらしさを木の尤度として導出する。同様に、検知処理系20は、その領域にあるオブジェクトが、人であることの尤もらしさを人の尤度として導出し、車両であることの尤もらしさを車両の尤度として導出し、自転車であることの尤もらしさを自転車の尤度として導出する。これらの尤度は、例えば0~1までの連続的な数値範囲から選ばれる数値であって、高い尤度ほど、尤もらしさ、言い換えれば確からしさが高く、低い尤度ほど、尤もらしさ、言い換えれば確からしさが低い。例えば、木の尤度=0は、そのオブジェクトが木であることはないことを示し、逆に、木の尤度=1は、そのオブジェクトが木であることを示す。
より具体的には、図2の(a)に示す例では、CG映像の検知枠内の領域に存在するオブジェクトは人である。このような場合に検知処理系20の検知精度が十分であれば、検知処理系20は、その人のCG映像に対して高い人の尤度を導出する。つまり、検知処理系20は、人のCG映像に対して、木の尤度、車両の尤度、および自転車の尤度のそれぞれよりも優位に高い人の尤度を導出する。これにより、検知処理系20は、そのCG映像の検知枠内から人を検知することができる。
また、図2の(b)に示す例では、CG映像の検知枠内の領域に存在するオブジェクトは木である。このような場合に検知処理系20の検知精度が十分であれば、検知処理系20は、その木のCG映像に対して高い木の尤度を導出する。しかし、検知処理系20の検知精度が不十分であれば、検知処理系20は、例えば互いに殆ど等しい木の尤度と人の尤度とを導出する可能性がある。つまり、検知処理系20は、木のCG映像に対して、人の尤度よりも優位に高い木の尤度を導出しない。このような場合には、検知処理系20は、そのCG映像の検知枠内から木を検知すること難しい。つまり、このような場合には、検知処理系20は、そのCG映像が苦手であると言える。また、そのCG映像は、検知処理系20にとって間違い易い映像とも言える。
本実施の形態におけるスコア処理部12は、CG映像生成部11によって生成されたCG映像のスコアであって、検知処理系20にとってそのCG映像が苦手である度合い、または間違い易さの度合いを示すスコアを導出する。具体的には、スコア処理部12は、CG映像生成部11によって生成されたCG映像を検知処理系20に入力する。そして、スコア処理部12は、そのCG映像を検知処理系20に入力することによって得られる尤度に基づいて、そのCG映像のスコアを導出する。このスコアは、例えば、人のCG映像に対して、人の尤度が低いほど高い数値を示し、木の尤度が高いほど高い数値を示す。同様に、そのスコアは、例えば、木のCG映像に対して、木の尤度が低いほど高い数値を示し、人の尤度が高いほど高い数値を示す。
つまり、スコアは、CG映像に描かれているオブジェクトと同じ種別の物体の尤度が低いほど高い数値を示す。言い換えれば、スコアは、CG映像に描かれているオブジェクトとは異なる種別の物体の尤度であってもよい。
図3は、パラメータ調整部14によって調整されるパラメータ群の一例を示す図である。
例えば、木が描かれているCG映像を生成するためのパラメータ群は、例えば、その木に関するパラメータセットと、天候に関するパラメータセットと、時間帯に関するパラメータセットと、緯度に関するパラメータセットと、季節に関するパラメータセットとを含む。
木に関するパラメータセットは、例えば、木の本数を示すパラメータと、複数のパラメータサブセットとを含む。複数のパラメータサブセットは、例えば、1本目の木に関するパラメータサブセットと、その木の1本目の枝に関するパラメータサブセット、その枝からの1本目の2次枝に関するパラメータサブセットと、その2次枝からの1本目の3次枝に関するパラメータサブセットと、その2次枝からの2本目の3次枝に関するパラメータサブセットとを含む。
1本目の木に関するパラメータサブセットは、その木の種類を示すパラメータと、その木の位置を示すパラメータと、向きを示すパラメータと、花の有無を示すパラメータと、実の有無を示すパラメータと、枝の数を示すパラメータとを含む。1本目の枝に関するパラメータサブセットは、その枝の位置を示すパラメータと、向きを示すパラメータと、太さを示すパラメータと、長さを示すパラメータと、2次枝の数を示すパラメータとを含む。
このように、木のCG映像を生成するためのパラメータ群は、多くのパラメータを含む。木以外の他のオブジェクトが描かれたCG映像を生成するためのパラメータ群も、図3に示す例と同様に、多くのパラメータを含む。なお、図3に示すパラメータ群は、一例であって、他のパラメータを含んでいてもよく、図3に示す幾つかのパラメータを含んでいてなくてもよい。
ここで、検知処理系20の検知精度を向上させるためには、その検知処理系20に対する学習において、その検知処理系20にとって間違い易いCG映像が必要である。しかし、図3に示すようにCG映像の生成には多くのパラメータが用いられるため、それらのパラメータの数値をどのようにすれば間違い易いCG映像が得られるかは不明であって、手当たり次第にその数値を決めていくことが考えられる。しかし、このような場合には、処理負担および処理時間が膨大になる。
そこで、本実施の形態における映像生成装置10は、検知処理系20によって得られる尤度を用いて間違い易いCG映像を生成する。
以下、本実施の形態における映像生成装置10によって木のCG映像が生成される例について説明する。また、以下の説明では、検知処理系20は、木のCG映像から人を検知するために人の尤度を算出する。そして、本実施の形態におけるスコア処理部12は、その検知処理系20から出力される人の尤度をスコアとして導出する。
<全体の処理>
図4は、本実施の形態における映像生成装置10の全体的な処理動作を示すフローチャートである。
映像生成装置10は、ステップ1、ステップ2、ステップ3の順に、その3つのステップの処理を実行することによって、検知処理系20にとって苦手なCG映像を生成する。
まず、ステップ1では、映像生成装置10は、例えば図3に示すパラメータ群である第1パラメータ群に含まれるN個(Nは1以上の整数)のパラメータのそれぞれの数値をランダムに決定することによって、複数の第1CG映像を生成する。例えば、その複数の第1CG映像のそれぞれには木がオブジェクトとして描かれている。
次に、ステップ2では、映像生成装置10は、その複数の第1CG映像から、一部の第1CG映像、すなわちスコアの高い複数の第1CG映像を抽出する。例えば、そのスコアは人の尤度である。そして、映像生成装置10は、その抽出されたスコアの高い複数の第1CGのそれぞれについて、その第1CG映像のN個のパラメータの数値をランダムに変更することによって、その第1CG映像から第2CG映像を生成する。そして、映像生成装置10は、その複数の第2CG映像から、一部の第2CG映像、すなわちスコアの高い複数の第2CG映像を抽出する。さらに、映像生成装置10は、ステップ2の処理を繰り返し実行する。このとき、抽出された第2CG映像は、第1CG映像として扱われる。また、閾値以上のスコアを有する少なくとも1つの第2CG映像が抽出されると、映像生成装置10は、その少なくとも1つの第2CG映像のそれぞれに対してステップ3の処理を行う。
ステップ3では、ステップ2で抽出された、閾値以上の少なくとも1つの第2CG映像がそれぞれ第1CG映像として扱われる。そして、映像生成装置10は、その閾値以上のスコアを有する少なくとも1つの第1CG映像のそれぞれについて、パラメータごとに、そのパラメータの数値を2K(Kは1以上の整数)通り変更する。その結果、映像生成装置10は、パラメータがN個あるため、1枚の第1CG映像から(N×2K)枚の第2CG映像を生成する。そして、映像生成装置10は、その(N×2K)枚の第2CG映像からスコアが高い第2CG映像を抽出する。そして、映像生成装置10は、ステップ3の処理を繰り返し実行する。このとき、抽出された第2CG映像は、第1CG映像として扱われる。
なお、ステップ2および3で行われるパラメータの数値の変更は、変更前のパラメータの数値を中心に、変更後の各数値が分布するように行われる。
このようなステップ1~3の処理によって、より高いスコアを有する第2CG映像、すなわち検知処理系20にとってより苦手な第2CG映像を効率的に生成することができる。
<ステップ1>
図5は、ステップ1の処理を説明するための図である。
ステップ1では、まず、パラメータ調整部14は、例えば図3に示すパラメータ群である第1パラメータ群に含まれるN個のパラメータのそれぞれの数値をランダムに決定する。パラメータ調整部14は、このような第1パラメータ群に対する数値の決定を例えば1000通り行う。その結果、互に異なる数値を示す1000個の第1パラメータ群が生成される。
次に、CG映像生成部11は、それらの1000個の第1パラメータ群のそれぞれについて、その第1パラメータ群をCGデータに設定することによって第1CG映像を生成する。その結果、それぞれ木が描かれた1000枚の第1CG映像が生成される。そして、スコア処理部12は、CG映像生成部11によって生成された1000枚の第1CG映像のそれぞれのスコアを導出する。このスコアは、第1CG映像に対する人の尤度である。
このように、本実施の形態では、CG映像生成部11は、少なくとも1つのパラメータからなる第1パラメータ群をCGデータに設定することによって、オブジェクトが第1種別の物体(例えば木)として描かれた第1CG映像を生成する第1映像生成処理を行う。図5に示す例では、CG映像生成部11は、互いに異なる1000個の第1パラメータ群のそれぞれをCGデータに設定することによって、1000枚の第1CG映像を生成する。
そして、本実施の形態では、スコア処理部12は、その生成された第1CG映像のスコアであって、その第1CG映像に描かれているオブジェクトが第1種別の物体(すなわち木)であることの尤度に応じたスコアを導出する第1スコア導出処理を行う。この第1スコア導出処理には、上述のように検知処理系20が用いられる。つまり、スコア処理部12は、第1CG映像を検知処理系20に入力することによって得られる、予め定められた少なくとも1つの種別の物体のそれぞれの尤度に基づいて、第1CG映像のスコアを導出する。本実施の形態では、その予め定められた少なくとも1つの種別の物体は、上述の第1種別の物体である木ではなく、人である。そして、本実施の形態におけるその第1CG映像のスコアは、人の尤度である。つまり、第1CG映像のスコアは、第1CG映像に描かれているオブジェクトが第1種別の物体とは異なる第2種別の物体(すなわち人)であることの尤度である。また、この第1スコア導出処理では、このようなスコアが、生成された1000枚の第1CG映像のそれぞれに対して導出される。
なお、本実施の形態では、ステップ1において生成される第1パラメータ群および第1CG映像のそれぞれの数は1000であるが、その数は1000に限らず、どのような数であってもよい。
図6は、ステップ1の処理を示すフローチャートである。
まず、パラメータ調整部14は、N個のパラメータのそれぞれの数値を1000通りに、かつランダムに決定することによって、互に異なる数値を示す1000個の第1パラメータ群を生成する(ステップS11)。
そして、CG映像生成部11は、互いに異なる数値を示す1000個の第1パラメータ群のそれぞれをCGデータに設定することによって、それぞれ例えば木が描かれた1000枚の第1CG映像を生成する(ステップS12)。
次に、スコア処理部12は、そのステップS12で生成された1000枚の第1CG映像のそれぞれに対して人の尤度であるスコアを算出する(ステップS13)。
<ステップ2>
図7は、ステップ2の処理を説明するための図である。
ステップ2では、まず、映像抽出部13は、ステップ1で生成された1000枚の第1CG映像のそれぞれのスコアに基づいて、その1000枚の第1CG映像から、スコアの高い順で上位M枚(Mは2以上の整数)の第1CG映像を抽出する。例えば、上位M枚は10枚である。なお、本実施の形態では、このときに抽出される第1CG映像の枚数は10枚であるが、10枚に限らず、2枚以上であればどのような枚数であってもよい。
そして、パラメータ調整部14は、パラメータ調整処理を行う。つまり、パラメータ調整部14は、上位10枚の第1CG映像の生成に用いられた10個の第1パラメータ群のそれぞれから複数の第2パラメータ群を生成する。具体的には、パラメータ調整部14は、10個の第1パラメータ群のそれぞれについて、その第1パラメータ群に含まれる少なくとも1つのパラメータの数値を複数通りに変更することによって、それぞれ互いに異なる複数の第2パラメータ群を生成する。図7に示す例では、パラメータ調整部14は、1つの第1パラメータ群から1000個の第2パラメータ群を生成する。なお、本実施の形態において生成される第2パラメータ群の数は1000であるが、その数は1000に限らず、2以上の数であればどのような数であってもよい。
また、ステップ2におけるパラメータ調整処理は、複数パラメータ調整処理である。つまり、パラメータ調整部14は、この複数パラメータ調整処理では、第1パラメータ群に含まれる1つのパラメータだけなく複数のパラメータのそれぞれの数値を1000通りに変更することによって、1000個の第2パラメータ群を生成する。その複数のパラメータは、第1パラメータ群に含まれるN個のパラメータ、すなわち全てのパラメータであってもよい。
さらに、この複数パラメータ調整処理では、パラメータ調整部14は、第1パラメータ群に含まれる複数のパラメータの数値をランダムに少量だけ、すなわち細かく変更する。つまり、パラメータ調整部14は、10個の第1パラメータ群のそれぞれについて、その第1パラメータ群に含まれるパラメータの数値を、小さい変化量だけ変更する。その小さい変化量は、例えば、ステップ1で生成された1000個の第1パラメータ群の間での数値の差よりも小さい数値である。例えば、1000個の第1パラメータ群のそれぞれに第1パラメータがあれば、パラメータ調整部14は、それらの第1パラメータ間の数値の差のうち最小の差を選択し、その最小の差よりも小さい数値を変化量としてランダムに決定する。そして、パラメータ調整部14は、第1パラメータの数値からその変化量を減算したり、第1パラメータの数値にその変化量を加算したりすることによって、第2パラメータ群に含まれる第1パラメータの数値を導出する。
このように、パラメータ調整部14によって複数の第2パラメータ群が生成された場合には、CG映像生成部11は、さらに、第2映像生成処理を行う。例えば図7に示す例では、CG映像生成部11は、1000個の第2パラメータ群のそれぞれについて、その第2パラメータ群をCGデータに設定することによって、オブジェクトが第1種別の物体(すなわち木)として描かれた第2CG映像を生成する。つまり、CG映像生成部11は、その第2映像生成処理では、10枚の第1CG映像のそれぞれについて、その第1CG映像の第1パラメータ群から生成された1000個の第2パラメータ群を用いて、1000枚の第2CG映像を生成する。これによって、図7に示す例では、1枚の第1CG映像から、その第1CG映像に似ている1000枚の第2CG映像からなる映像群が生成される。第1CG映像が10枚あれば、10個の映像群、すなわち10×1000枚の第2CG映像が生成される。
次に、スコア処理部12は、検知処理系20を用いて第2スコア導出処理を行う。つまり、スコア処理部12は、生成された10×1000枚の第2CG映像のそれぞれについて、その第2CG映像のスコアを導出する。そのスコアは、第2CG映像に描かれているオブジェクトが第1種別の物体(すなわち木)であることの尤度に応じたスコアである。この第2スコア導出処理でも、第1スコア導出処理と同様、検知処理系20が用いられる。つまり、スコア処理部12は、第2CG映像を検知処理系20に入力することによって得られる、予め定められた少なくとも1つの種別の物体のそれぞれの尤度に基づいて、第2CG映像のスコアを導出する。本実施の形態では、その予め定められた少なくとも1つの種別の物体は、上述の第1種別の物体である木ではなく、人である。そして、本実施の形態におけるその第2CG映像のスコアは、人の尤度である。つまり、第2CG映像のスコアは、第2CG映像に描かれているオブジェクトが第1種別の物体とは異なる第2種別の物体(すなわち人)であることの尤度である。その結果、スコア処理部12は、10×1000枚の第2CG映像のそれぞれに対して、人の尤度をスコアとして導出する。
次に、映像抽出部13は、抽出処理を行う。具体的には、映像抽出部13は、上述の映像群ごとに、その映像群に含まれる1000枚の第2CG映像のスコアに基づいて、その1000枚の第2CG映像から、スコアの高い順で上位10枚の第2CG映像を抽出する。さらに、映像抽出部13は、その上位10枚の第2CG映像から、元の第1CG映像よりもスコアの高い少なくとも1つの第2CG映像を抽出する。つまり、映像抽出部13は、上位10枚の第2CG映像および第1CG映像のそれぞれのスコアに基づいて、上位10枚の第2CG映像から第1CG映像よりも木の尤度が低い少なくとも1つの第2CG映像を抽出する。言い換えれば、映像抽出部13は、上位10枚の第2CG映像から第1CG映像よりも人の尤度が高い、すなわちスコアが高い少なくとも1つの第2CG映像を抽出する。
なお、第1CG映像よりもスコアの高い第2CG映像がなければ、映像抽出部13は、その上位10枚の第2CG映像からの抽出を行わなくてもよい。
ここで、パラメータ調整部14は、映像抽出部13によって抽出された第2CG映像のスコアが閾値以上であるか否かを判定する。そして、閾値以上であるとパラメータ調整部14によって判定される場合には、映像生成装置10は、その第2CG映像に対してステップ3の処理を実行する。
一方、閾値未満であるとパラメータ調整部14によって判定される場合には、映像生成装置10は、その第2CG映像に対してステップ2の処理を繰り返し実行する。つまり、CG映像生成部11、スコア処理部12、パラメータ調整部14および映像抽出部13は、繰り返し処理を行う。この繰り返し処理では、抽出された少なくとも1つの第2CG映像のそれぞれについて、その第2CG映像が第1CG映像として扱われ、その第2CG映像の生成に用いられた第2パラメータ群が、第1パラメータ群として扱われる。これにより、上述のパラメータ調整処理、第2映像生成処理、第2スコア導出処理、および抽出処理からなる一連の処理が繰り返し行われる。
このような繰り返し処理によって、すなわち、第2CG映像の生成と抽出とを繰り返し行うことによって、より高いスコアの第2CG映像を生成することができる。
図8は、ステップ2の処理を示すフローチャートである。
まず、映像抽出部13は、ステップ1で生成された1000枚の第1CG映像からスコア上位10枚の第1CG映像を抽出する(ステップS21)。
次に、CG映像生成部11は、ステップS21で抽出された第1CG映像ごとに、パラメータ調整部14によるパラメータ調整処理によって生成された1000個の第2パラメータ群を用いて、1000枚の第2CG映像を生成する第2映像生成処理を行う。具体的には、そのパラメータ調整処理は、上述の複数パラメータ調整処理である。つまり、パラメータ調整部14は、ステップS21で抽出された第1CG映像ごとに、その第1CG映像の生成に用いられた第1パラメータ群に含まれるN個のパラメータのそれぞれの数値を1000通りにランダムに細かく変更する。言い換えれば、パラメータの数値が小さい変化量だけ変更される。これによって、ステップS21で抽出された第1CG映像ごとに、それぞれ互いに異なる1000個の第2パラメータ群が生成される。そして、CG映像生成部11は、ステップS21で抽出された第1CG映像ごとに、その第1CG映像に対して生成された1000個の第2パラメータ群を用いて、その第1CG映像に似ている1000枚の第2CG映像からなる映像群を生成する(ステップS22)。
次に、スコア処理部12は、検知処理系20を用いて第2スコア導出処理を行う。つまり、スコア処理部12は、生成された映像群ごとに、その映像群に含まれる1000枚の第2CG映像のそれぞれのスコアを算出する(ステップS23)。
次に、映像抽出部13は、抽出処理を行う。つまり、映像抽出部13は、その映像群ごとに、その映像群に含まれる1000枚の第2CG映像からスコア上位10枚の第2CG映像を抽出する(ステップS24)。さらに、映像抽出部13は、ステップS24で抽出された複数の第2CG映像から、スコアが増加している第2CG映像を抽出する(ステップS25)。つまり、映像抽出部13は、複数の第2CG映像から、元の第1CG映像よりもスコアが高い第2CG映像を抽出する。
そして、パラメータ調整部14は、そのステップS25で抽出された第2CG映像のスコアが閾値以上であるか否かを判定する(ステップS26)。ここで、そのスコアが閾値以上であると判定されると(ステップS26のYes)、映像生成装置10は、その閾値以上のスコアを有する第2CG映像に対してステップ3の処理を行う。一方、そのスコアが閾値未満であると判定されると(ステップS26のNo)、映像生成装置10は、ステップS22~S25の処理を繰り返す。つまり、映像生成装置10は、ステップ2における上述の繰り返し処理を行う。この繰り返し処理では、そのステップS25で抽出された第2CG映像は、第1CG映像として扱われ、その第2CG映像の生成に用いられた第2パラメータ群は、第1パラメータ群として扱われる。
このようにステップ2では、映像生成装置10は、ステップ1で生成された第1CG映像からスコア上位10枚の第1CG映像を抽出する。つまり、検知処理系20にとって苦手そうな第1CG映像がピックアップまたはリストアップされる。そして、映像生成装置10は、その第1CG映像のパラメータをランダムに細かく変更することによって、その第1CG映像に似た複数の第2CG映像を生成する。これにより、スコアの高い第2CG映像を効率的に生成することができる。
また、ステップ2における繰り返し処理では、繰り返しが行われるたびに、ステップS22においてランダムに決定されるパラメータの変化量を、前のステップS22でランダムに決定された変化量よりも小さくしてもよい。これにより、生成される第2CG映像のスコアを適切に最大に近づけることができる。
<ステップ3>
図9は、ステップ3の処理を説明するための図である。
ステップ3では、ステップ2で抽出された閾値以上のスコアを有する第2CG映像が、第1CG映像として扱われ、その第1CG映像から新たな複数の第2CG映像が生成される。
具体的には、パラメータ調整部14は、第1CG映像の生成に用いられた第1パラメータ群に含まれるパラメータの数値を調整するパラメータ調整処理を行う。この第1CG映像は、ステップ2で抽出された閾値以上のスコアを有する第2CG映像である。また、ステップ3で行われるパラメータ調整処理は、個別パラメータ調整処理である。つまり、パラメータ調整部14は、第1パラメータ群に含まれるパラメータごとに、第1パラメータ群の中でそのパラメータの数値のみを2K通り(Kは1以上の整数)に変更する。
図9に示す例では、第1CG映像の生成に用いられた第1パラメータ群は、N個のパラメータP1~Pnを含む。パラメータ調整部14は、その第1パラメータ群のうちのパラメータP1の数値だけを2K通りに変更することによって、2K個の第2パラメータ群を生成する。具体的には、パラメータ調整部14は、パラメータP1の数値「P1」を「P1+α」、「P1-α」、「P1+2α」、「P1-2α」、・・・、「P1+Kα」、および「P1-Kα」のそれぞれに変更する。なお、αは、パラメータの刻み幅であって微少量である。また、αは、予め定められていてもよく、ランダムに決定されてもよく、微少量であればどのような数値であってもよい。また、微少量は、ステップ2での少量または小さい変化量よりもさらに少ない量であってもよい。これにより、パラメータP1の数値は、その数値を中心にして2K通りに微少量だけ変更され、2K個の第2パラメータ群が生成される。CG映像生成部11は、その2K個の第2パラメータ群のそれぞれをCGデータに設定することによって、第1CG映像から、互いにパラメータP1の数値だけが微少量だけ異なる2K枚の第2CG映像を生成する。
同様に、パラメータ調整部14は、その第1パラメータ群のうちのパラメータP2の数値だけを2K通りに変更することによって、2K個の第2パラメータ群を生成する。具体的には、パラメータ調整部14は、パラメータP2の数値「P2」を「P2+α」、「P2-α」、「P2+2α」、「P2-2α」、・・・、「P2+Kα」、および「P2-Kα」のそれぞれに変更する。これにより、パラメータP2の数値は、その数値を中心にして2K通りに微少量だけ変更され、2K個の第2パラメータ群が生成される。CG映像生成部11は、その2K個の第2パラメータ群のそれぞれをCGデータに設定することによって、第1CG映像から、互いにパラメータP2の数値だけが微少量だけ異なる2K枚の第2CG映像を生成する。
パラメータ調整部14およびCG映像生成部11は、パラメータP3~Pnのそれぞれに対しても同様の処理を行う。その結果、パラメータP1~Pnの変更によって、(N×2K)個の第2パラメータ群が生成され、それらの第2パラメータ群から(N×2K)枚の第2CG映像が生成される。
スコア処理部12は、それらの(N×2K)枚の第2CG映像のそれぞれのスコアを算出する第2スコア導出処理を、検知処理系20を用いて行う。
そして、映像抽出部13は、(N×2K)枚の第2CG映像に対して抽出処理を行う。具体的には、映像抽出部13は、パラメータごとに、そのパラメータの変更によって生成された2K枚の第2CG映像から最大スコアの第2CG映像を抽出する。例えば、映像抽出部13は、パラメータP1の変更によって生成された2K枚の第2CG映像から最大スコアの第2CG映像を抽出し、パラメータP2の変更によって生成された2K枚の第2CG映像から最大スコアの第2CG映像を抽出する。映像抽出部13は、パラメータP3~Pnのそれぞれに対しても、最大スコアの第2CG映像を抽出する。これにより、N枚の第2CG映像が抽出される。そして、映像抽出部13は、そのN枚の第2CG映像から、スコア上位3枚の第2CG映像を抽出する。さらに、映像抽出部13は、その上位3枚の第2CG映像から、元の第1CG映像からスコアが増加している第2CG映像を抽出する。上位3枚の第2CG映像の何れのスコアも元の第1CG映像のスコアよりも増加していれば、映像抽出部13は、その上位3枚の第2CG映像を抽出する。逆に、上位3枚の第2CG映像の何れのスコアも元の第1CG映像のスコアよりも増加していなければ、映像抽出部13は、何れの第2CG映像も抽出しない。
映像生成装置10は、映像抽出部13による抽出処理によって最終的に抽出された第2CG映像に対してステップ3の処理を繰り返し実行する。つまり、ステップ3においても、ステップ2と同様に、CG映像生成部11、スコア処理部12、パラメータ調整部14および映像抽出部13は、繰り返し処理を行う。この繰り返し処理では、抽出された少なくとも1つの第2CG映像のそれぞれについて、その第2CG映像が第1CG映像として扱われ、その第2CG映像の生成に用いられた第2パラメータ群が、第1パラメータ群として扱われる。これにより、上述のパラメータ調整処理、第2映像生成処理、第2スコア導出処理、および抽出処理からなる一連の処理が繰り返し行われる。
このような繰り返し処理によって、すなわち、第2CG映像の生成と抽出とを繰り返し行うことによって、より高いスコアの第2CG映像を生成することができる。
図10は、ステップ3の処理を示すフローチャートである。
まず、パラメータ調整部14は、ステップ2で抽出された、閾値以上のスコアを有する少なくとも1枚の第2CG映像から1枚の第2CG映像を、第1CG映像として選択する(ステップS31)。さらに、パラメータ調整部14は、その第1CG映像の生成に用いられた第1パラメータ群に含まれるN個のパラメータから何れか1つのパラメータを選択する(ステップS32)。
そして、CG映像生成部11は、ステップS32で選択されたパラメータに対するパラメータ調整処理によって生成された2K個の第2パラメータ群を用いて、2K枚の第2CG映像を生成する第2映像生成処理を行う(ステップS33)。具体的には、そのパラメータ調整処理は、上述の個別パラメータ調整処理である。つまり、パラメータ調整部14は、ステップS32で選択されたパラメータの数値を2K通りに変更することによって、ステップS31で選択された第1CG映像の第1パラメータ群から2K個の第2パラメータ群を生成する。そして、CG映像生成部11は、2K個の第2パラメータ群のそれぞれをCGデータに設定することによって、2K枚の第2CG映像を生成する。
次に、スコア処理部12は、ステップS33で生成された2K枚の第2CG映像のそれぞれのスコアを導出する第2スコア導出処理を行う(ステップS34)。そして、映像抽出部13は、その2K枚の第2CG映像から最大スコアを有する第2CG映像を抽出する(ステップS35)。
次に、パラメータ調整部14は、上述のN個のパラメータの全てを選択したか否かを判定する(ステップS36)。ここで、パラメータ調整部14は、N個のパラメータの全てを選択していないと判定すると(ステップS36のNo)、ステップS32からの処理を繰り返し実行する。一方、N個のパラメータの全てが選択されたと判定されると(ステップS36のYes)、映像抽出部13は、N回のステップS35の処理によって抽出されたN枚の第2CG映像から、さらに、スコア上位3枚の第2CG映像を抽出する(ステップS37)。
そして、映像抽出部13は、ステップS37で抽出された上位3枚の第2CG映像のうち、元の第1CG映像よりもスコアが増加している第2CG映像があるか否かを判定する(ステップS38)。ここで、映像抽出部13は、スコアが増加している第2CG映像があると判定すると(ステップS38のYes)、上位3枚の第2CG映像から、そのスコアが増加している第2CG映像を第1CG映像として選択する(ステップS39)。そして、パラメータ調整部14は、ステップS32からの処理を繰り返し実行する。一方、映像抽出部13は、スコアが増加している第2CG映像がないと判定すると(ステップS38のNo)、さらに、ステップ2で抽出された全ての第2CG映像がステップS31で選択されたか否かを判定する(ステップS40)。ここで、全ての第2CG映像が選択されていないと判定されると(ステップS40のNo)、パラメータ調整部14は、ステップS31からの処理を繰り返し実行する。一方、全ての第2CG映像が選択されたと判定されると(ステップS40のYes)、映像生成装置10は、CG映像を生成する処理を終了する。
このようにステップ3では、映像生成装置10は、N個のパラメータのそれぞれの数値を単独に微少量だけ変更することによって、そのパラメータの数値だけが微少量だけ異なる複数の第2CG映像を生成することができる。そして、映像生成装置10は、それらの第2CG映像のスコアを算出し、高いスコアの第2CG映像を探し出すことができる。
また、ステップ3における繰り返し処理では、繰り返しが行われるたびに、ステップS33においてパラメータを変化させるための数値αを、前のステップS33で用いられた数値αよりも小さくしてもよい。これにより、生成される第2CG映像のスコアを適切に最大に近づけることができる。
また、ステップ3では、統計結果を利用してもよい。例えば、映像生成装置10は、ステップ3における繰り返し処理では、繰り返しが行われるたびに、ステップS37において抽出されるスコア上位3枚の第2CG映像の統計を取る。具体的には、映像生成装置10は、そのスコア上位3枚の第2CG映像のそれぞれの生成のために変更されたパラメータを、パラメータP1~Pnの中から特定する。また、映像生成装置10は、そのスコア上位3枚の第2CG映像のそれぞれの生成のために用いられたパラメータの刻み幅、すなわち上述の数値αを特定する。これにより、映像生成装置10は、パラメータP1~Pnのうち、スコアの増加に寄与するパラメータと、スコアの増加に殆ど寄与しないパラメータとを見つけることができる。また、映像生成装置10は、スコアの増加に寄与するパラメータの刻み幅を見つけることができる。例えば、映像生成装置10は、木の位置を示すパラメータの数値を100mだけずらすよりも、その数値を10cmの刻み幅で変更した方がスコアの増加に寄与することを見つけることができる。あるいは、映像生成装置10は、木の葉の色を示すパラメータ、枝の向きを示すパラメータ、木の向きを示すパラメータ、および木の位置を示すパラメータのうちの何れのパラメータが、スコアの増加に寄与するのかを見つけることができる。
そこで、映像生成装置10は、その統計結果から、スコアの増加に寄与するパラメータを有効パラメータとして見つけると、その後のステップS31において選択されるパラメータを、その有効パラメータに限定してもよい。つまり、ステップS36では、映像生成装置10は、N個のパラメータの全てを選択したか否かを判定することなく、少なくとも1つの有効パラメータの全てを選択したか否かを判定する。同様に、映像生成装置10は、その統計結果から、スコアの増加に寄与するパラメータの刻み幅を有効刻み幅として見つけると、その後のステップS33において用いられる刻み幅を、その有効刻み幅にしてもよい。これにより、最大のスコアを有する第2CG映像の生成にかかる処理を効率的に、さらに迅速に行うことができる。つまり、高速化を図ることができる。
さらに、映像生成装置10は、上述のような統計結果を利用したステップS31~S38の処理が繰り返し行われた後には、再び、統計結果を利用することなく、N個のパラメータの全てについて、それらのパラメータを単独に変更してもよい。
<ステップ1~3>
上述のステップ1~3の処理によって、本実施の形態における映像生成装置10は、検知処理系20にとって苦手な映像を効率的に生成することができる。検知処理系20にとって苦手な映像は、検知処理系20が間違い易い映像であって、描かれているオブジェクトの種別を適切に検知することが難しい映像である。
つまり、本実施の形態における映像生成装置10は、CG映像生成部11と、スコア処理部12と、パラメータ調整部14と、映像抽出部13とを備える。CG映像生成部11は、少なくとも1つのパラメータからなる第1パラメータ群をCGデータに設定することによって、オブジェクトが第1種別の物体として描かれた第1CG映像を生成する第1映像生成処理を行う。スコア処理部12は、生成された第1CG映像のスコアを、検知処理系20を用いて導出する処理であって、その第1CG映像に描かれているオブジェクトが第1種別の物体であることの尤度に応じたスコアを導出する第1スコア導出処理を行う。パラメータ調整部14は、その第1パラメータ群に含まれる少なくとも1つのパラメータの数値を複数通りに変更することによって、それぞれ互いに異なる複数の第2パラメータ群を生成するパラメータ調整処理を行う。ここで、CG映像生成部11は、さらに、複数の第2パラメータ群のそれぞれについて、その第2パラメータ群をCGデータに設定することによって、オブジェクトが第1種別の物体として描かれた第2CG映像を生成する第2映像生成処理を行う。また、スコア処理部12は、さらに、生成された複数の第2CG映像のそれぞれについて、検知処理系20を用いてその第2CG映像のスコアを導出する処理であって、その第2CG映像に描かれているオブジェクトが第1種別の物体であることの尤度に応じたスコアを導出する第2スコア導出処理を行う。そして、映像抽出部13は、複数の第2CG映像および第1CG映像のそれぞれのスコアに基づいて、複数の第2CG映像から第1CG映像よりも尤度が低い少なくとも1つの第2CG映像を抽出する抽出処理を行う。
これにより、本実施の形態では、オブジェクトが第1種別の物体として描かれた第1CG映像が生成され、その第1CG映像から、さらに、第1種別の物体の尤度が第1CG映像よりも低い第2CG映像が生成される。例えば、木が描かれた第1CG映像から、木の尤度が第1CG映像よりも低い第2CG映像が生成される。したがって、検知処理系20にとって間違い易い第2CG映像を効率的に生成することができる。
また、本実施の形態では、スコア処理部12は、上述の第1スコア導出処理では、第1種別とは異なる第2種別の物体を検知する検知処理系20を用いて、第1CG映像に描かれているオブジェクトが第2種別の物体であることの尤度を、第1CG映像のスコアとして導出する。また、スコア処理部12は、上述の第2スコア導出処理では、第2CG映像に描かれているオブジェクトが第2種別の物体であることの尤度を、検知処理系20を用いて第2CG映像のスコアとして導出する。そして、映像抽出部13は、上述の抽出処理では、複数の第2CG映像から第1CG映像よりもスコアが高い少なくとも1つの第2CG映像を抽出する。
これにより、第2種別の物体を検知する検知処理系20にとって、第2種別の物体と間違って検知してしまい易い第1種別の物体が描かれている第2CG映像を、効率的に生成することができる。例えば、第1種別の物体は木であり、第2種別の物体は人である。この場合、人と間違って検知してしまい易い木が描かれている第2CG映像を効率的に生成することができる。
また、本実施の形態では、図5に示すように、CG映像生成部11は、上述の第1映像生成処理では、互いに異なる複数の第1パラメータ群のそれぞれをCGデータに設定することによって、複数の第1CG映像を生成する。そして、スコア処理部12は、上述の第1スコア導出処理では、生成された複数の第1CG映像のそれぞれのスコアを導出する。そして、図7に示すように、映像抽出部13は、生成された複数の第1CG映像から、スコアの高い順で上位M枚(例えば10枚)の第1CG映像を抽出する。次に、パラメータ調整部14は、上述のパラメータ調整処理では、M枚の第1CG映像の生成に用いられたM個の第1パラメータ群のそれぞれから複数の第2パラメータ群を生成する。CG映像生成部11は、上述の第2映像生成処理では、M枚の第1CG映像のそれぞれについて、その第1CG映像の第1パラメータ群から生成された複数の第2パラメータ群を用いて、複数の第2CG映像を生成する。
ここで、パラメータ調整部14は、上述のパラメータ調整処理では、M個の第1パラメータ群のそれぞれについて、その第1パラメータ群に含まれる少なくとも1つのパラメータの数値を、複数の第1パラメータ群の間での数値の差よりも小さい変化量だけ変更する。つまり、第1パラメータ群に含まれる少なくとも1つのパラメータの数値が細かく変更される。
これにより、検知処理系20にとって間違い易いM枚の第1CG映像が大雑把に抽出され、そのM枚の第1CG映像のそれぞれのパラメータが細かく調整されることによって、検知処理系20にとってより間違い易い第2CG映像を効率的に生成することができる。つまり、その間違い易いCG映像を探し出すために、無限にCG映像を生成する手間を省くことができる。
また、本実施の形態では、ステップ2およびステップ3のように、CG映像生成部11、スコア処理部12、パラメータ調整部14および映像抽出部13は、繰り返し処理を行う。この繰り返し処理では、抽出された少なくとも1つの第2CG映像のそれぞれについて、その第2CG映像を第1CG映像として扱い、その第2CG映像の生成に用いられた第2パラメータ群を、第1パラメータ群として扱うことによって、上述のパラメータ調整処理、第2映像生成処理、第2スコア導出処理、および抽出処理からなる一連の処理が繰り返し行われる。
これにより、上記一連の処理が繰り返し行われるたびに、映像抽出部13によって抽出される第2CG映像を、検知処理系20にとって間違い易いCG映像に近づけることができる。
また、本実施の形態では、パラメータ調整部14は、上述のパラメータ調整処理では、ステップ2のように、第1パラメータ群に含まれる複数のパラメータのそれぞれの数値を複数通りに変更する複数パラメータ調整処理によって、複数の第2パラメータ群を生成する。例えば、その数値の変更はランダムに行われる。
これにより、検知処理系20にとって間違い易い第2CG映像を大まかに見つけ出すことができる。
また、本実施の形態では、パラメータ調整部14は、上述のパラメータ調整処理では、ステップ3のように、第1パラメータ群に含まれるパラメータごとに、第1パラメータ群の中でそのパラメータの数値のみを複数通りに変更する個別パラメータ調整処理によって、複数の第2パラメータ群を生成する。
これにより、検知処理系20にとって間違い易い第2CG映像をより細かく見つけ出すことができる。
また、本実施の形態では、図7~図10に示すように、ステップ2およびステップ3のそれぞれで繰り返し処理が行われる。つまり、本実施の形態では、上述の繰り返し処理は、一連の処理が繰り返し行われる第1繰り返し処理と、その第1繰り返し処理の後にその一連の処理が繰り返し行われる第2繰り返し処理とを含む。パラメータ調整部14は、第1繰り返し処理に含まれるパラメータ調整処理では、ステップ2のように複数パラメータ調整処理を行う。つまり、パラメータ調整部14は、第1パラメータ群に含まれる複数のパラメータのそれぞれの数値を複数通りに変更することによって、複数の第2パラメータ群を生成する。また、パラメータ調整部14は、第2繰り返し処理に含まれるパラメータ調整処理では、ステップ3のように個別パラメータ調整処理を行う。つまり、パラメータ調整部14は、第1パラメータ群に含まれるパラメータごとに、第1パラメータ群の中でそのパラメータの数値のみを複数通りに変更することによって、複数の第2パラメータ群を生成する。
これにより、検知処理系20にとって間違い易い第2CG映像を大まかに見つけ出した後に、その第2CG映像をより間違い易いCG映像に細かく近づけることができる。
また、本実施の形態では、パラメータ調整部14は、第1繰り返し処理において導出されたスコアであって、少なくとも1つの第2CG映像のうちの何れか1つの第2CG映像のスコアが閾値以上である場合には、次に行われる上述の一連の処理に含まれるパラメータ調整処理を、個別パラメータ調整処理として行うことによって、その第1繰り返し処理を第2繰り返し処理に切り替える。つまり、ステップ2からステップ3に切り替えられる。
これにより、第1繰り返し処理によって見つけ出された複数の間違い易い第2CG映像の中から特に間違い易い第2CG映像を抽出し、その第2CG映像をさらにより間違い易いCG映像に細かく近づけることができる。
また、本実施の形態では、スコア処理部12は、上述の第1スコア導出処理では、第1CG映像を検知処理系20に入力することによって得られる、予め定められた少なくとも1つの種別の物体のそれぞれの尤度に基づいて、第1CG映像のスコアを導出する。同様に、スコア処理部12は、上述の第2スコア導出処理では、複数の第2CG映像のそれぞれについて、その第2CG映像を検知処理系20に入力することによって得られる、予め定められた少なくとも1つの種別の物体のそれぞれの尤度に基づいて、その第2映像のスコアを導出する。
これにより、第1CG映像および第2CG映像のそれぞれの検知処理系20による間違い易さをスコアとして適切に導出することができる。
<学習>
図11は、本実施の形態における映像生成装置10の機能構成の他の例を示すブロック図である。
本実施の形態における映像生成装置10は、図11に示すように、学習処理部15を備えていてもよい。学習処理部15は、映像抽出部13によって抽出された少なくとも1つの第2CG映像を用いて検知処理系20の学習を行う。
例えば、人を検知する検知処理系20は、映像抽出部13によって抽出された第2CG映像であって、人と間違って検知され易い木が描かれた第2CG映像から、人を検知しないように学習される。また、検知処理系20が人および木を検知する場合には、その検知処理系20は、人と間違って検知され易い木が描かれた第2CG映像から、人ではなく木を検知するように学習される。
これにより、検知処理系20の検知精度を向上することができる。
(変形例)
上記実施の形態では、パラメータ調整部14は、第1CG映像の全体の生成に用いられた各パラメータに対してパラメータ調整処理を行う。しかし、パラメータ調整部14は、第1CG映像の検知枠内の領域のみの生成に用いられた各パラメータに対してパラメータ調整処理を行ってもよい。この検知枠は、例えば、検知処理系20による第1CG映像のスコアの算出に用いられた検知枠である。これにより、検知処理系20の苦手なCG映像を効率的に生成することができる。
また、上記実施の形態では、映像生成装置10は、それぞれ木がオブジェクトとして描かれた第1CG映像および第2CG映像を生成する。しかし、木はオブジェクトの一例であって、他の種別の物体がオブジェクトとして描かれていてもよい。つまり、そのオブジェクトは木に限らずどのような物体であってもよい。
また、上記実施の形態では、所定の物体を検知する検知処理系20は、その所定の物体とは異なる他の物体が描かれたCG映像に対して、その所定の物体の尤度をスコアとして導出する。つまり、上記実施の形態では、人を検知する検知処理系20は、木のCG映像に対して人の尤度をスコアとして導出する。
しかし、所定の物体を検知する検知処理系20は、その所定の物体が描かれたCG映像に対して、その所定の物体の尤度をスコアとして導出してもよい。つまり、木を検知する検知処理系20は、木のCG映像に対して木の尤度をスコアとして導出する。同様に、人を検知する検知処理系20は、人のCG映像に対して人の尤度をスコアとして導出する。この場合には、映像抽出部13は、スコアの低いCG映像を抽出する。その結果、例えば、人を検知する検知処理系20が間違い易そうな姿勢の人が描かれた第2CG映像が生成される。同様に、人を検知する検知処理系20が間違い易そうな服装または照明条件の人が描かれた第2CG映像が生成される。学習処理部15は、このような第2CG映像を検知処理系20の学習に用いてもよい。この場合であっても、検知処理系20は、間違った検知を行わないように学習される。つまり、人を検知する検知処理系20は、間違い易そうな姿勢、服装または照明条件の人が描かれた第2CG映像から、人を適切に検知するように学習される。
また、上記実施の形態では、映像生成装置10によって生成される全てのCG映像には木がオブジェクトとして描かれている。しかし、映像生成装置10によって生成される一部のCG映像には木が描かれ、他の一部のCG映像には人が描かれていてもよい。
このような場合には、映像抽出部13は、木が描かれている複数の第2CG映像から、木の尤度が低い第2CG映像を抽出する。言い換えれば、映像抽出部13は、木が描かれている複数の第2CG映像から、人の尤度が高い第2CG映像を抽出する。したがって、繰り返し処理が行われる場合には、第2CG映像に描かれる木が人と間違われるようにパラメータが調整される。つまり、人と間違われ易い木が描かれた第2CG映像が生成される。同様に、映像抽出部13は、人が描かれている複数の第2CG映像から、人の尤度が低い第2CG映像を抽出する。言い換えれば、映像抽出部13は、人が描かれている複数の第2CG映像から、木の尤度が高い第2CG映像を抽出する。したがって、繰り返し処理が行われる場合には、第2CG映像に描かれる人が木と間違われるようにパラメータが調整される。つまり、木と間違われ易い人が描かれた第2CG映像が生成される。
このような相互に間違われ易い2つの第2CG映像を用いて、検知処理系20の検知精度を評価してもよく、それらの第2CG映像を検知処理系20の学習に用いてもよい。
以上、本開示の1つまたは複数の態様に係る映像生成装置について、実施の形態およびその変形例に基づいて説明したが、本開示は、その実施の形態および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態および変形例に施したものも本開示に含まれてもよい。また、実施の形態と変形例のそれぞれの構成要素を組み合わせて構築される形態も本開示に含まれてもよい。
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および変形例の映像生成装置などを実現するソフトウェアは、次のようなプログラムである。すなわち、このプログラムは、図4、図6、図8および図10のそれぞれのフローチャートに示される処理をコンピュータに実行させる。
なお、以下のような場合も本開示に含まれる。
(1)上記の少なくとも1つの装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのRAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも1つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の少なくとも1つの装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の少なくとも1つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD(Compact Disc)-ROM、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
本開示は、例えば自動運転支援システムの学習に用いられる映像を生成するための装置などに利用可能である。
10 映像生成装置
11 CG映像生成部
12 スコア処理部
13 映像抽出部
14 パラメータ調整部
15 学習処理部
20 検知処理系

Claims (13)

  1. 少なくとも1つのパラメータからなる第1パラメータ群をCG(computer graphics)
    データに設定することによって、オブジェクトが第1種別の物体として描かれた第1映像を生成する第1映像生成処理を行うCG映像生成部と、
    予め定められた少なくとも1つの種別の物体を、映像から検知する検知処理系を用いて、前記第1映像のスコアを導出する処理であって、当該第1映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度に応じたスコアを導出する第1スコア導出処理を行うスコア処理部と、
    前記第1パラメータ群に含まれる少なくとも1つのパラメータの数値を複数通りに変更することによって、それぞれ互いに異なる複数の第2パラメータ群を生成するパラメータ調整処理を行うパラメータ調整部と、
    複数の映像から少なくとも1つの映像を抽出する抽出処理を行う映像抽出部とを備え、
    前記CG映像生成部は、さらに、
    複数の前記第2パラメータ群のそれぞれについて、当該第2パラメータ群を前記CGデータに設定することによって、オブジェクトが前記第1種別の物体として描かれた第2映像を生成する第2映像生成処理を行い、
    前記スコア処理部は、さらに、
    生成された複数の前記第2映像のそれぞれについて、前記検知処理系を用いて当該第2映像のスコアを導出する処理であって、当該第2映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度に応じたスコアを導出する第2スコア導出処理を行い、
    前記映像抽出部は、
    複数の前記第2映像および前記第1映像のそれぞれのスコアに基づいて、複数の前記第2映像から少なくとも1つの第2映像を抽出する処理を、前記抽出処理として行い、
    抽出される前記少なくとも1つの第2映像のそれぞれに描かれている前記オブジェクトが前記第1種別の物体であることの尤度は、前記第1映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度よりも低い、
    映像生成装置。
  2. 前記スコア処理部は、
    前記第1スコア導出処理では、
    前記第1種別とは異なる第2種別の物体を検知する前記検知処理系を用いて、前記第1映像に描かれている前記オブジェクトが前記第2種別の物体であることの尤度を、前記第1映像のスコアとして導出し、
    前記第2スコア導出処理では、
    前記第2映像に描かれている前記オブジェクトが前記第2種別の物体であることの尤度を、前記検知処理系を用いて前記第2映像のスコアとして導出し、
    前記映像抽出部は、
    前記抽出処理では、複数の前記第2映像から前記第1映像よりもスコアが高い前記少なくとも1つの第2映像を抽出する、
    請求項1に記載の映像生成装置。
  3. 前記CG映像生成部は、
    前記第1映像生成処理では、互いに異なる複数の前記第1パラメータ群のそれぞれを前記CGデータに設定することによって、複数の前記第1映像を生成し、
    前記スコア処理部は、
    前記第1スコア導出処理では、生成された複数の前記第1映像のそれぞれのスコアを導出し、
    前記映像抽出部は、さらに、
    生成された複数の前記第1映像から、前記スコアの高い順で上位M枚(Mは2以上の整数)の前記第1映像を抽出し、
    前記パラメータ調整部は、
    前記パラメータ調整処理では、M枚の前記第1映像の生成に用いられたM個の前記第1パラメータ群のそれぞれから複数の前記第2パラメータ群を生成し、
    前記CG映像生成部は、
    前記第2映像生成処理では、M枚の前記第1映像のそれぞれについて、当該第1映像の前記第1パラメータ群から生成された複数の前記第2パラメータ群を用いて、複数の前記第2映像を生成する、
    請求項2に記載の映像生成装置。
  4. 前記パラメータ調整部は、
    前記パラメータ調整処理では、M個の前記第1パラメータ群のそれぞれについて、当該第1パラメータ群に含まれる少なくとも1つのパラメータの数値を、複数の前記第1パラメータ群の間での数値の差よりも小さい変化量だけ変更する、
    請求項3に記載の映像生成装置。
  5. 前記CG映像生成部、前記スコア処理部、前記パラメータ調整部および前記映像抽出部は、繰り返し処理を行い、
    前記繰り返し処理では、
    抽出された前記少なくとも1つの第2映像のそれぞれについて、当該第2映像を前記第1映像として扱い、当該第2映像の生成に用いられた前記第2パラメータ群を、前記第1パラメータ群として扱うことによって、前記パラメータ調整処理、前記第2映像生成処理、前記第2スコア導出処理、および前記抽出処理からなる一連の処理が繰り返し行われる、
    請求項1~4の何れか1項に記載の映像生成装置。
  6. 前記パラメータ調整部は、
    前記パラメータ調整処理では、前記第1パラメータ群に含まれる複数のパラメータのそれぞれの数値を複数通りに変更する複数パラメータ調整処理によって、複数の前記第2パラメータ群を生成する、
    請求項5に記載の映像生成装置。
  7. 前記パラメータ調整部は、
    前記パラメータ調整処理では、前記第1パラメータ群に含まれるパラメータごとに、前記第1パラメータ群の中で当該パラメータの数値のみを複数通りに変更する個別パラメータ調整処理によって、複数の前記第2パラメータ群を生成する、
    請求項5に記載の映像生成装置。
  8. 前記繰り返し処理は、
    前記一連の処理が繰り返し行われる第1繰り返し処理と、
    前記第1繰り返し処理の後に前記一連の処理が繰り返し行われる第2繰り返し処理とを含み、
    前記パラメータ調整部は、
    前記第1繰り返し処理に含まれる前記パラメータ調整処理では、前記第1パラメータ群に含まれる複数のパラメータのそれぞれの数値を複数通りに変更する複数パラメータ調整処理によって、複数の前記第2パラメータ群を生成し、
    前記第2繰り返し処理に含まれる前記パラメータ調整処理では、前記パラメータ調整部は、前記第1パラメータ群に含まれるパラメータごとに、前記第1パラメータ群の中で当該パラメータの数値のみを複数通りに変更する個別パラメータ調整処理によって、複数の前記第2パラメータ群を生成する、
    請求項5に記載の映像生成装置。
  9. 前記パラメータ調整部は、
    前記第1繰り返し処理において導出されたスコアであって、前記少なくとも1つの第2映像のうちの何れか1つの前記第2映像のスコアが閾値以上である場合には、次に行われる前記一連の処理に含まれる前記パラメータ調整処理を、前記個別パラメータ調整処理として行うことによって、前記第1繰り返し処理を前記第2繰り返し処理に切り替える、
    請求項8に記載の映像生成装置。
  10. 前記スコア処理部は、
    前記第1スコア導出処理では、前記第1映像を前記検知処理系に入力することによって得られる、前記予め定められた少なくとも1つの種別の物体のそれぞれの尤度に基づいて、前記第1映像のスコアを導出し、
    前記第2スコア導出処理では、複数の前記第2映像のそれぞれについて、当該第2映像を前記検知処理系に入力することによって得られる、前記予め定められた少なくとも1つの種別の物体のそれぞれの尤度に基づいて、当該第2映像のスコアを導出する、
    請求項1~9の何れか1項に記載の映像生成装置。
  11. 前記映像生成装置は、さらに、
    前記抽出処理によって抽出された前記少なくとも1つの第2映像を用いて前記検知処理系の学習を行う学習処理部を備える、
    請求項10に記載の映像生成装置。
  12. 少なくとも1つのパラメータからなる第1パラメータ群をCG(computer graphics)
    データに設定することによって、オブジェクトが第1種別の物体として描かれた第1映像を生成し、
    予め定められた少なくとも1つの種別の物体を、映像から検知する検知処理系を用いて、前記第1映像のスコアを導出する処理であって、当該第1映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度に応じたスコアを導出する第1スコア導出処理を行い、
    前記第1パラメータ群に含まれる少なくとも1つのパラメータの数値を複数通りに変更することによって、それぞれ互いに異なる複数の第2パラメータ群を生成し、
    複数の前記第2パラメータ群のそれぞれについて、当該第2パラメータ群を前記CGデータに設定することによって、オブジェクトが前記第1種別の物体として描かれた第2映像を生成し、
    生成された複数の前記第2映像のそれぞれについて、前記検知処理系を用いて当該第2映像のスコアを導出する処理であって、当該第2映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度に応じたスコアを導出する第2スコア導出処理を行い、
    複数の前記第2映像および前記第1映像のそれぞれのスコアに基づいて、複数の前記第2映像から少なくとも1つの第2映像を抽出し、
    抽出される前記少なくとも1つの第2映像のそれぞれに描かれている前記オブジェクトが前記第1種別の物体であることの尤度は、前記第1映像に描かれている前記オブジェクトが前記第1種別の物体であることの尤度よりも低い、
    映像生成方法。
  13. 請求項12に記載の映像生成方法をコンピュータに実行させるプログラム。
JP2019201846A 2019-11-06 2019-11-06 映像生成装置、映像生成方法およびプログラム Active JP7426602B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019201846A JP7426602B2 (ja) 2019-11-06 2019-11-06 映像生成装置、映像生成方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019201846A JP7426602B2 (ja) 2019-11-06 2019-11-06 映像生成装置、映像生成方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021076992A JP2021076992A (ja) 2021-05-20
JP7426602B2 true JP7426602B2 (ja) 2024-02-02

Family

ID=75897587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019201846A Active JP7426602B2 (ja) 2019-11-06 2019-11-06 映像生成装置、映像生成方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7426602B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062225A (ja) 2014-09-17 2016-04-25 大日本印刷株式会社 画像生成装置、画像検出システム及び画像生成方法
JP2018067294A (ja) 2016-10-14 2018-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 学習データ作成支援方法、学習データ作成支援装置、およびプログラム
JP2018163554A (ja) 2017-03-27 2018-10-18 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2018163444A (ja) 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062225A (ja) 2014-09-17 2016-04-25 大日本印刷株式会社 画像生成装置、画像検出システム及び画像生成方法
JP2018067294A (ja) 2016-10-14 2018-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 学習データ作成支援方法、学習データ作成支援装置、およびプログラム
JP2018163444A (ja) 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2018163554A (ja) 2017-03-27 2018-10-18 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法

Also Published As

Publication number Publication date
JP2021076992A (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
Huang et al. Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications
Su et al. Pixel difference networks for efficient edge detection
Zeng et al. Leveraging video descriptions to learn video question answering
Khan et al. Skin detection: A random forest approach
CN106570453B (zh) 用于行人检测的方法、装置和系统
US11061687B2 (en) Apparatus and method for program generation
JP6779641B2 (ja) 画像分類装置、画像分類システム及び画像分類方法
EP3473016B1 (en) Method and system for automatically producing video highlights
US20150235079A1 (en) Learning device, learning method, and program
CN111416991B (zh) 特效处理方法和设备,及存储介质
US10489710B2 (en) Program generation apparatus and program generation method
US20100290700A1 (en) Information processing device and method, learning device and method, programs, and information processing system
Komorowski et al. Footandball: Integrated player and ball detector
JP6282045B2 (ja) 情報処理装置および方法、プログラム、記憶媒体
CN105898135A (zh) 相机成像方法及相机装置
CN109598301B (zh) 检测区域去除方法、装置、终端和存储介质
Bak et al. Two-stream convolutional networks for dynamic saliency prediction
CN114937232A (zh) 医废处理人员防护用具穿戴检测方法、系统和设备
Ganesh et al. A novel framework for fine grained action recognition in soccer
JP7426602B2 (ja) 映像生成装置、映像生成方法およびプログラム
Xu et al. Robust seed localization and growing with deep convolutional features for scene text detection
KR20190056873A (ko) 다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법
KR102646430B1 (ko) 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치
Marée et al. Decision trees and random subwindows for object recognition
KR102179591B1 (ko) 동영상 내 인물 영역 추출 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240111

R151 Written notification of patent or utility model registration

Ref document number: 7426602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151