JP7269515B2 - 映像生成装置、映像生成方法、及び映像生成プログラム - Google Patents

Description

本発明は、映像を生成する技術に関する。

奥行感のある映像を生成するためには、入力された映像を奥行位置に応じて加工する必要がある。映像を奥行位置に応じて加工する手法としては、当該映像に対して視点変換を行う方法がある（例えば、非特許文献１）。

井阪、外２名、"2D空中像における被写体の空間位置を再現可能な視点変換手法の提案と実装"、2018年映像情報メディア学会冬季大会講演予稿集、24D-3、2018年12月

奥行感のある映像を生成する場合、まず、カメラで被写体を撮影するとともに、当該カメラに併設された空間形状計測装置で当該被写体の３次元空間位置を計測する。続いて、撮影した映像から被写体領域を抽出して被写体抽出映像を生成する。その後、当該被写体抽出映像に対して計測した３次元空間位置を関連付ける。そして、非特許文献１の方法を用いて被写体の奥行位置に応じた視点変換を行うことにより、当該被写体抽出映像及び当該被写体抽出映像の位置を調整する。これにより、奥行表現映像を生成する。

しかしながら、例えば、被写体の３次元空間位置の計測時にノイズが混入した場合、当該ノイズの影響により被写体の位置にズレが発生する可能性があるため、奥行表現映像内の被写体領域の位置が実際の位置に反してブレてしまうという課題がある。

本発明は、上記事情を鑑みてなされたものであり、奥行感のある映像において被写体のブレを改善することを目的とする。

本発明の一実施態様に係る映像生成装置は、所定パラメータを用いて所定空間内の撮影映像から被写体領域を抽出する抽出部と、所定パラメータを用いて前記所定空間内の３次元位置計測データから物体を検出し、前記物体に識別情報を付与するとともに、前記３次元位置計測データを用いて前記物体の３次元空間位置を算出する検出部と、前記被写体領域と前記物体の識別情報とを対応付けることにより、前記被写体領域に対して前記３次元空間位置を関連付ける統合部と、所定パラメータを用いて映像の奥行度を調整可能であり、前記３次元空間位置が関連付けられた前記被写体領域のみの奥行表現映像を生成する生成部と、前記奥行表現映像の前記被写体領域に生じたブレの低減方法を示す情報を前記抽出部、前記検出部、前記生成部のうちいずれか１つ以上に送信する送信部と、を備え、前記抽出部、前記検出部、及び前記生成部は、前記低減方法を示す情報を受信した場合、前記低減方法に基づき前記所定パラメータの値を変更することを特徴とする。

本発明の一実施態様に係る映像生成方法は、映像生成装置で行う映像生成方法において、前記映像生成装置は、抽出部と、検出部と、統合部と、生成部と、送信部と、を備え、前記抽出部は、所定パラメータを用いて所定空間内の撮影映像から被写体領域を抽出する抽出ステップを行い、前記検出部は、所定パラメータを用いて前記所定空間内の３次元位置計測データから物体を検出し、前記物体に識別情報を付与するとともに、前記３次元位置計測データを用いて前記物体の３次元空間位置を算出する検出ステップを行い、前記統合部は、前記被写体領域と前記物体の識別情報とを対応付けることにより、前記被写体領域に対して前記３次元空間位置を関連付ける統合ステップを行い、前記生成部は、所定パラメータを用いて映像の奥行度を調整可能であり、前記３次元空間位置が関連付けられた前記被写体領域のみの奥行表現映像を生成する生成ステップを行い、前記送信部は、前記奥行表現映像の前記被写体領域に生じたブレの低減方法を示す情報を前記抽出部、前記検出部、前記生成部のうちいずれか１つ以上に送信する送信ステップを行い、前記抽出ステップ、前記検出ステップ、及び前記生成ステップでは、前記低減方法を示す情報を受信した場合、前記低減方法に基づき前記所定パラメータの値を変更することを特徴とする。

本発明の一実施態様に係る映像生成プログラムは、上記映像生成方法をコンピュータに実行させることを特徴とする。

本発明によれば、奥行感のある映像において被写体のブレを低減できる。

映像生成装置の機能ブロックの構成例を示す図である。 手法１のラベリング例を示す図である。 手法２のラベリング例を示す図である。 映像生成装置の処理フローを示す図である。

上記課題で説明した被写体領域のズレの原因は、被写体の３次元空間位置の計測においては、被写体の位置、被写体の動き、計測の解像度等によってノイズの混入が不可避であるためである。

そこで、本実施形態では、映像生成装置を構成する複数の既存機能部にフィードバック部を新規導入する。奥行感のある映像のブレは、複数の既存機能部がそれぞれのパラメータを用いて個別に動作し、各既存機能部の出力が複雑に影響しあって動作して発生しており、既存機能部を単純に組み合わせるだけでは当該映像のブレを軽減することは困難である。それ故、新規導入するフィードバック部において、奥行表現映像内の被写体のブレを評価し、各既存機能部に当該ブレの低減方法をフィードバックして、各既存機能部で用いる各パラメータを調整させる。これにより、個々の既存機能部の単純改良では実現困難な協調動作を実現でき、３次元空間位置の計測時にノイズが混入した場合であっても、奥行感のある映像をブレを少なく表示できる。

以下、本発明を実施する一実施形態について図を参照して説明する。

［システム構成］
図１は、本実施形態に係る映像生成装置１の機能ブロックの構成例を示す図である。当該映像生成装置１は、主として、被写体抽出部（抽出部）１１と、空間位置追跡部（検出部）１２と、位置情報統合部（統合部）１３と、奥行表現部（生成部）１４と、フィードバック部（送信部）１５と、を備える。

［被写体抽出部］
被写体抽出部１１は、カメラと、被写体抽出装置（例えば、PC；Personal Computer）と、を備えて構成される。被写体抽出部１１は、所定パラメータを用いて、当該カメラで所定空間内を撮影した映像から被写体領域を抽出する。

被写体抽出部１１は、撮影された映像を複製し、一方の映像について、当該映像の被写体領域以外を指定色Ｃ１（例えば、黒）で塗りつぶし、被写体領域のみをカラーで残した被写体抽出映像を生成する。

被写体抽出部１１は、他方の映像について、当該映像の被写体領域を指定色Ｃ２（例えば、白）で塗りつぶし、被写体領域以外を指定色Ｃ３（例えば、黒）で塗りつぶした画像位置情報を生成する。

被写体抽出部１１は、上記被写体抽出映像を奥行表現部１４に出力し、上記画像位置情報を位置情報統合部１３とフィードバック部１５にそれぞれ出力する。

被写体抽出部１１は、フィードバック部１５から後述のフィードバック情報を受信した場合、上記所定パラメータの値を調整（変更）する。

被写体抽出部１１が被写体抽出時に用いる所定パラメータは、例えば、閾値パラメータ、エッジ量パラメータである。被写体抽出部１１は、閾値パラメータによって、被写体領域の過抽出・未抽出のトレードオフを調整可能である。被写体抽出部１１は、エッジ量パラメータによって、被写体領域を複数に分割したり、複数の被写体領域を１つの被写体領域として抽出したりする、いわゆる分割され易さを調整可能である。

［空間位置追跡部］
空間位置追跡部１２は、レーザー光によって物体表面上の複数の点の３次元位置を点群として計測する空間形状計測装置（例えば、LiDAR；Light Detection and Ranging）と、空間形状計測装置によって計測された点群から物体を追跡するトラッキング装置（例えば、PC；Personal Computer）と、を備えて構成される。空間形状計測装置は、被写体抽出部１１のカメラに併設又は隣接設置され、当該カメラが撮影する所定空間内の被写体を物体として計測する。

空間位置追跡部１２は、所定パラメータを用いて、空間形状計測装置によって計測された点群の３次元位置計測データをトラッキング装置によってクラスタリングすることで物体を検出・追跡（トラッキング）し、当該物体にラベル（識別情報）を付与する。

空間位置追跡部１２は、点群の３次元位置計測データを用いて、当該物体の３次元位置情報（例えば、重心位置、奥行位置）と３次元形状情報（例えば、３次元空間中の外接矩形の頂点の座標）を算出する。当該３次元位置情報及び当該３次元形状情報は、当該物体の３次元空間位置を示す。

空間位置追跡部１２は、追跡した物体の位置座標を変換することで、被写体抽出部１１の画像座標上における当該物体の２次元位置情報（例えば、画像上での外接矩形の頂点の座標）を算出する。

空間位置追跡部１２は、上記ラベル、上記３次元位置情報、上記３次元形状情報、上記２次元位置情報を、空間位置情報として、位置情報統合部１３とフィードバック部１５にそれぞれ出力する。

空間位置追跡部１２は、フィードバック部１５から後述のフィードバック情報を受信した場合、上記所定パラメータの値を調整（変更）する。

空間位置追跡部１２が物体の空間位置追跡時に用いる所定パラメータは、例えば、ノイズ除去パラメータ、クラスタリングパラメータである。空間位置追跡部１２は、ノイズ除去パラメータによって、ノイズ除去の強度を調整可能である。空間位置追跡部１２は、クラスタリングパラメータによって、物体として検出する点群の密集度、点の数、外れ値の除去等の度合いを調整可能である。

尚、ノイズ除去パラメータを用いて行うノイズ除去の方法としては、例えば、移動平均を用いた方法がある。当該方法の場合、ノイズ除去パラメータは、移動平均フレーム数である。具体的な移動平均の処理方法は、まず、過去のノイズ除去前の空間位置情報を記憶しておく。所定フレームにおいて、指定された移動平均フレーム数分の過去のノイズ除去前の空間位置情報の平均を計算し、計算した値を当該所定フレームにおけるノイズ除去後の空間位置情報とする。

［位置情報統合部］
位置情報統合部１３は、位置情報統合装置（例えば、PC；Personal Computer）を備えて構成される。

位置情報統合部１３は、後述の手法１－手法３のうちいずれかを用いて、被写体抽出部１１からの画像位置情報と、空間位置追跡部１２からの空間位置情報（ラベル、３次元位置情報、３次元形状情報、２次元位置情報）と、を統合する。

具体的には、位置情報統合部１３は、画像位置情報と空間位置情報内の２次元位置情報との重なり具合から、画像位置情報内の被写体領域と空間位置情報内のラベルとを対応付ける。これにより、位置情報統合部１３は、画像位置情報内の被写体領域に対して、空間位置情報内の２次元位置情報、３次元位置情報、３次元形状情報を関連付ける。

ここで、画像位置情報内の被写体領域と空間位置情報内の２次元位置情報とを関連付けることで、被写体（物体）の位置の精度を向上できるという効果がある。通常、奥行感のある映像において、被写体の位置は、空間位置追跡部１２の空間形状計測装置で計測された３次元位置計測データが用いられる。しかし、当該３次元位置計測データより得られる空間位置情報内の２次元位置情報にはノイズが混入し易く、当該ノイズの影響により被写体の位置にズレが発生する可能性がある。

そこで、ノイズが混入しやすい空間位置情報内の２次元位置情報に対して、ノイズが混入しにくい画像位置情報内の被写体領域を関連付け、奥行感のある映像において当該画像位置情報内の被写体領域の位置を用いることで、空間位置情報のみを使用する場合に比べて被写体（物体）の位置の精度を向上可能となり、奥行表現映像のブレをより確実に低減可能となる。

位置情報統合部１３は、後述の手法１－手法３に記載するように、画像位置情報内の被写体領域と空間位置情報内の２次元位置情報に基づく物体の２次元領域との重畳度に応じて、ラベルを対応付ける被写体領域を決定する。

位置情報統合部１３は、画像位置情報と空間位置情報とを統合した統合位置情報を奥行表現部１４とフィードバック部１５にそれぞれ出力する。

［位置情報統合の手法］
位置情報統合部１３は、画像位置情報と空間位置情報内の２次元位置情報とが互いに重なる領域の割合を基準とする手法１を用いる。また、位置情報統合部１３は、人物以外のノイズの混入に対処するため、互いに重なる領域の面積を基準とする手法２を用いる。位置情報統合部１３は、手法３として、設定ファイルを用いて手法１と手法２を手動で切り替えて用いてもよいし、手法１と手法２を自動で切り替えて用いてもよい。

（手法１）
手法１は、空間位置情報内の２次元位置情報に対して、最も重なるエリアの割合が大きな被写体領域にラベルを紐付ける手法である。

まず、位置情報統合部１３は、画像位置情報に含まれる被写体の輪郭の座標群を検出し、当該輪郭内の面積ｓを計算する。例えば、同一ラベルにラベリングされる候補として２つの被写体領域が検出された場合、位置情報統合部１３は、当該２つの候補被写体領域の面積ｓ１，ｓ２をそれぞれ計算する。

次に、位置情報統合部１３は、当該画像位置情報に対応する空間位置情報に含まれるラベル領域に対して、当該２つの候補被写体領域がそれぞれ重なる各重複エリアの重複面積ｓ１’，ｓ２’をそれぞれ算出する。

最後に、位置情報統合部１３は、当該２つの候補被写体領域について、各重複エリアの重複面積ｓ１’，ｓ２’を各候補被写体領域の面積ｓ１，ｓ２でそれぞれ除算することにより、各候補被写体領域の面積ｓに対する重複面積ｓ’の割合（ｓ１’／ｓ１，ｓ２’／ｓ２）を求め、最も大きい割合の候補被写体領域に対して空間位置情報のラベルを割り当てる。

これにより、図２（ａ）に示すように、例えば、候補被写体領域１（ａｒｅａ１）の重複面積ｓ’の割合が２０％、候補被写体領域２（ａｒｅａ２）の重複面積ｓ’の割合が５０％の場合、ラベル１（ｌａｂｅｌ１）は候補被写体領域２に対してのみ紐付けられる。

一方、図２（ｂ）に示すように、ｓ１’／ｓ１＝ｓ２’／ｓ２の場合、位置情報統合部１３は、２つの候補被写体領域１，２を同一被写体領域１２として扱い、当該同一被写体領域１２に対してラベル１を割り当てる。

その他、図２（ｃ）に示すように、１つの候補被写体領域１が２つの矩形２次元領域の各領域に含まれる場合、位置情報統合部１３は、当該１つの候補被写体領域１を別々の被写体領域１として当該別々の被写体領域１に各矩形２次元領域のラベル１，２をそれぞれ割り当てる。

手法１によれば、画像位置情報と空間位置情報において、１つのラベルに対して複数の候補被写体領域が対応する場合、最も重なる領域の割合が大きな候補被写体領域にラベルを紐付けるので、画像位置情報の被写体領域に対して空間位置情報のラベルを正しく関連付けることができ、画像位置情報での被写体の位置情報と空間位置情報の被写体の位置情報を正しく組み合わせることができる。その結果、正しい組み合わせの位置情報を統合することが可能となり、被写体の３次元位置情報の精度を向上できる。

（手法２）
次に、手法２の動作について説明する。手法２は、空間位置情報内の２次元位置情報に対して、最も重なるエリアの面積が大きな被写体領域にラベルを紐付ける手法である。

まず、位置情報統合部１３は、画像位置情報に含まれる被写体の輪郭の座標群を検出する。そして、位置情報統合部１３は、当該画像位置情報に対応する空間位置情報を取得し、検出していた被写体の輪郭の座標群を用いて、取得した空間位置情報に含まれる枠線内の矩形２次元領域に対して、２つの候補被写体領域がそれぞれ重なる各重複エリアの重複面積ｓ１’，ｓ２’をそれぞれ算出する。

次に、位置情報統合部１３は、当該２つの候補被写体領域について、図３（ａ）に示すように、ｓ１’，ｓ２’で最も大きい面積の候補被写体領域に対して空間位置情報のラベルを割り当てる。一方、ｓ１’＝ｓ２’の場合、位置情報統合部１３は、２つの候補被写体領域１，２を統合した被写体領域１２に対してラベル１を割り当てる。

その他、図３（ｂ）に示すように、２つの候補被写体領域１，２の各全エリアが２つの矩形２次元領域の各領域に含まれ、ｓ１’／ｓ１＝ｓ２’／ｓ２＝１００％となる場合にも、位置情報統合部１３は、当該２つの候補被写体領域１，２を同一被写体領域１２として扱い、当該同一被写体領域１２に対して各矩形２次元領域のラベル１，２をそれぞれ割り当てる。

その他、図３（ｃ）に示すように、１つの候補被写体領域１が２つの矩形２次元領域の各領域に含まれる場合、位置情報統合部１３は、当該１つの候補被写体領域１を別々の被写体領域１として当該別々の被写体領域１に各矩形２次元領域のラベル１，２をそれぞれ割り当てる。

以上より、手法２によれば、画像位置情報と空間位置情報において、１つのラベルに対して複数の候補被写体領域が対応する場合、最も重なるエリアの面積が大きな候補被写体領域にラベルを紐付けるので、画像位置情報の被写体領域に対して空間位置情報のラベルを正しく関連付けることができ、画像位置情報での被写体の位置情報と空間位置情報の被写体の位置情報を正しく組み合わせることができる。その結果、正しい組み合わせの位置情報を統合することが可能となり、被写体の３次元位置情報の精度を向上できる。

（手法３）
次に、手法３の動作について説明する。手法３は、手法１と手法２のラベリング手法を切り替える手法である。通常は手法１を用いてラベリングを行い、ノイズと思われるエリアが検出された場合に手法２に切り替え、ノイズと思われる被写体領域をラベリング対象から除去する。

まず、位置情報統合部１３は、画像位置情報に含まれる２つの候補被写体領域の輪郭の座標群をそれぞれ検出し、当該２つの候補被写体領域の面積ｓ１，ｓ２をそれぞれ計算する。

次に、位置情報統合部１３は、２つの候補被写体領域のうちいずれかの面積が閾値Ａ以下であるか否か、２つの候補被写体領域の面積差が閾値Ｂ以上であるか否かを判定する。そして、いずれの候補被写体領域の面積も閾値Ａ以下でない場合、かつ、２つの候補被写体領域の面積差が閾値Ｂ以上でない場合、位置情報統合部１３は、ステップＡへ進む。一方、いずれかの候補被写体領域の面積が閾値Ａ以下である場合、又は、２つの候補被写体領域の面積差が閾値Ｂ以上である場合、位置情報統合部１３は、ステップＢへ進む。

ステップＡ；
位置情報統合部１３は、２つの候補被写体領域をノイズ領域でないとみなし、重なる領域の割合を基準にした手法１を用いてラベリングする。

ステップＢ；
位置情報統合部１３は、閾値Ａ以下の面積を持つ候補被写体領域をノイズ領域とみなし、重なる領域の面積を基準とした手法２を用いてラベリングする。また、被写体領域同士の面積差を計算し、面積差の絶対値が閾値Ｂ以上である場合に小さい面積を持つ方の被写体領域をノイズ領域とみなしてもよい。被写体領域の大きさが他の被写体領域と比べて著しい差がある場合は、ノイズである可能性が高いからである。

以上より、手法３によれば、画像位置情報にノイズ領域が含まれる場合、重なる領域の割合を基準にした手法１から、重なる領域の面積を基準とした手法２に切り替えるので、画像位置情報の被写体領域に対して空間位置情報のラベルをより正しく関連付けることができ、被写体の３次元位置情報の精度を更に向上できる。

［奥行表現部］
奥行表現部１４は、奥行表現処理装置（例えば、PC；Personal Computer）と、表示装置と、を備えて構成される。当該表示装置は、例えば、参考文献１に記載のようなハーフミラーを用いた空中像表示装置である。参考文献１は、例えば、「井阪、外２名、“競技空間を取り囲んで観戦する“Kirari! for Arena””、NTT技術ジャーナル、Vol.30、No.10、2018年10月、p.21-p.24」である。

具体的には、奥行表現部１４は、位置情報統合部１３からの統合位置情報と、被写体抽出部１１からの被写体抽出映像とを用いて、非特許文献１に記載された方法によって当該被写体抽出映像を加工し、奥行表現映像を生成する。より具体的には、奥行表現部１４は、被写体の奥行位置に応じた視点変換を行うことにより、当該被写体抽出映像及び当該被写体抽出映像の位置を調整する。これにより、奥行表現部１４は、所定パラメータを用いて映像の奥行度を調整可能な奥行表現映像であって、統合位置情報（画像位置情報、空間位置情報（ラベル、３次元位置情報、３次元形状情報、２次元位置情報））が関連付けられた被写体領域のみの奥行表現映像を生成する。

奥行表現部（奥行表現処理装置）１４は、当該奥行表現映像を表示装置に表示するとともに、フィードバック部１５に出力する。

奥行表現部１４は、フィードバック部１５から後述のフィードバック情報を受信した場合、上記所定パラメータを調整（変更）する。

奥行表現部１４が奥行表現部に用いる所定パラメータは、例えば、奥行感パラメータである。奥行表現部１４は、奥行感パラメータによって、観察者が受ける奥行感の強さを調整可能である。

［フィードバック部］
フィードバック部１５は、奥行表現部１４からの奥行表現映像を用いて、当該奥行表現映像内の被写体領域のブレを検出・評価し、当該評価の結果に基づき当該ブレの原因を解析する。

フィードバック部１５は、被写体抽出部１１からの画像位置情報、空間位置追跡部１２からの空間位置情報（ラベル、３次元位置情報、３次元形状情報、２次元位置情報）、位置情報統合部１３からの統合位置情報を用いて、上記奥行表現映像の被写体領域に生じたブレを低減（解消・抑制）するための方法を示すフィードバック情報を生成し、当該フィードバック情報を被写体抽出部１１、空間位置追跡部１２、奥行表現部１４のうちいずれか１つ以上に送信する。

［ブレの検出・評価方法］
フィードバック部１５は、例えば、奥行表現映像の隣り合うフレーム間で被写体領域の対応付けを行い、当該対応位置の変化を測定してブレ候補量とする。対応付けの方法については、例えば、既存のパターンマッチング、特徴点抽出等を用いる方法がある。その他、１つの被写体領域に対して複数の対応点が取得される場合、ブレ候補量としては、例えば、重心（平均値）を使用する方法、最大値、最小値を使用する方法がある。

そして、フィードバック部１５は、ブレ候補量の変化の頻度、変化の幅、特定の変化の継続時間をもとに、被写体領域がブレている否かを判定する。判定方法については、例えば、変化の頻度、幅、継続時間がそれぞれ指定値以上の場合、ブレていると判定する方法がある。その他、変化の頻度、幅、継続時間を評価関数で評価して、例えば、頻度と幅が大きい場合、継続時間が短くてもブレていると判定する方法がある。

［フィードバック情報の生成方法］
フィードバック部１５は、奥行表現映像内の被写体領域がブレていると判断した場合、ブレの原因に応じたフィードバック情報を生成する。例えば、以下のようなフィードバック情報の生成方法がある。

空間位置情報では物体は静止しているが、統合位置情報では物体が振動している場合、被写体領域の輪郭の変化が頻繁だったり、大きかったりすることが原因と考えられる。そこで、この場合、フィードバック部１５は、閾値パラメータ及びエッジ量パラメータを変更するフィードバック情報を生成して被写体抽出部１１に送信する。

画像位置情報では被写体は静止しているが、奥行表現映像内の被写体領域の表示位置が緩やかに移動している場合、空間位置追跡部のノイズ除去の影響が原因考えられるため、フィードバック部１５は、ノイズ除去パラメータを変更するフィードバック情報を生成して空間位置追跡部１２に送信する。

画像位置情報では被写体は静止しているが、奥行表現映像内の被写体領域の表示位置がブレている場合、空間位置追跡部１２におけるクラスタリングの誤差が原因と考えられるため、フィードバック部１５は、クラスタリングパラメータを変更するフィードバック情報を生成して空間位置追跡部１２に送信する。

画像位置情報では被写体の外接矩形は一定であるが、空間位置情報内の外接矩形の頂点の値の変化が頻繁だったり、大きかったりする場合、空間位置追跡部１２におけるクラスタリングの誤差が原因と考えられるため、フィードバック部１５は、ノイズ除去パラメータ及びクラスタリングパラメータを変更するフィードバック情報を生成して空間位置追跡部１２に送信する。

被写体抽出部１１と空間位置追跡部１２のいずれのパラメータを変更してもブレを十分に抑制できない場合、フィードバック部１５は、奥行感パラメータを変更するフィードバック情報を生成して奥行表現部１４に送信する。

被写体の形状、色、位置、数等や、照明状態の変化等、環境が変化することで、ブレの原因が緩和された場合、フィードバック部１５は、変更していたパラメータを徐々に元に戻すフィードバック情報を生成して被写体抽出部１１、空間位置追跡部１２、奥行表現部１４にそれぞれ送信する。

［映像生成装置の動作］
次に、映像生成装置１の映像生成方法の動作について説明する。図４は、本実施形態に係る映像生成装置１の処理フローを示す図である。

ステップＳ１；
被写体抽出部１１は、閾値パラメータ、エッジ量パラメータを用いて、カメラで所定空間内を撮影した映像から被写体領域を抽出する。そして、被写体抽出部１１は、当該被写体領域以外を指定色Ｃ１で塗りつぶし、当該被写体領域のみをカラーで残した被写体抽出映像を生成し、当該被写体抽出映像を奥行表現部１４に出力する。また、被写体抽出部１１は、当該被写体領域を指定色Ｃ２で塗りつぶし、当該被写体領域以外を指定色Ｃ３で塗りつぶした画像位置情報を生成し、当該画像位置情報を位置情報統合部１３とフィードバック部１５にそれぞれ出力する。

ステップＳ２；
空間位置追跡部１２は、レーザー光によって所定空間内の物体表面上の複数の点の３次元位置を点群として計測し、ノイズ除去パラメータを用いて当該点群からノイズを除去するともに、クラスタリングパラメータを用いて当該点群をクラスタリングすることで物体を検出・追跡する。そして、空間位置追跡部１２は、当該物体にラベルを付与するとともに、当該物体の３次元位置情報及び３次元形状情報を算出する。また、空間位置追跡部１２は、当該物体の位置座標を変換することで、被写体抽出部１１の画像座標上における物体の２次元位置情報を算出する。その後、空間位置追跡部１２は、ラベル、３次元位置情報、３次元形状情報、２次元位置情報を、空間位置情報として、位置情報統合部１３とフィードバック部１５にそれぞれ出力する。

ステップＳ３；
位置情報統合部１３は、画像位置情報と空間位置情報内の２次元位置情報との重なり具合から、画像位置情報内の被写体領域と空間位置情報内のラベルとを対応付けることにより、画像位置情報内の被写体領域に対して、空間位置情報内の２次元位置情報、３次元位置情報、３次元形状情報を関連付ける。そして、位置情報統合部１３は、当該関連付けを行うことで画像位置情報と空間位置情報を統合した統合位置情報を生成し、当該統合位置情報を奥行表現部１４とフィードバック部１５にそれぞれ出力する。

ステップＳ４；
奥行表現部１４は、統合位置情報と被写体抽出映像を用いて、奥行感パラメータを用いて映像の奥行度を調整可能な奥行表現映像であって、統合位置情報（画像位置情報、空間位置情報（ラベル、３次元位置情報、３次元形状情報、２次元位置情報））が関連付けられた被写体領域のみの奥行表現映像を生成し、当該奥行表現映像をフィードバック部１５に出力する。

ステップＳ５；
フィードバック部１５は、奥行表現映像を用いて、当該奥行表現映像内の被写体領域のブレを検出・評価し、当該評価の結果に基づき当該ブレの原因を解析する。そして、フィードバック部１５は、画像位置情報、空間位置情報、統合位置情報を用いて、当該ブレを低減（解消・抑制）するための方法を示すフィードバック情報を生成し、当該フィードバック情報を被写体抽出部１１、空間位置追跡部１２、奥行表現部１４のうちいずれか１つ以上に送信する。フィードバック情報とは、例えば、閾値パラメータ、エッジ量パラメータ、ノイズ除去パラメータ、クラスタリングパラメータ、奥行感パラメータの変更後の値、又は変更後の値にするための加算値、減算値等である。

ステップＳ６；
被写体抽出部１１は、フィードバック部１５から上記フィードバック情報を受信した場合、閾値パラメータ、エッジ量パラメータの値を変更する。空間位置追跡部１２は、フィードバック部１５から上記フィードバック情報を受信した場合、ノイズ除去パラメータ、クラスタリングパラメータの値を変更する。奥行表現部１４は、フィードバック部１５から上記フィードバック情報を受信した場合、奥行感パラメータを変更する。

以降、映像生成装置１は、ステップＳ１－Ｓ６を繰り返し実行する。即ち、ステップＳ５において、フィードバック部１５は、“変更後のパラメータに基づく画像位置情報、空間位置情報、統合位置情報、奥行表現映像を用いてフィードバック情報を再生成し、当該再生成したフィードバック情報を被写体抽出部１１、空間位置追跡部１２、奥行表現部１４のうちいずれか１つ以上に再送信する”というサイクルを繰り返し実行する。

［効果］
本実施形態によれば、映像生成装置１において、フィードバック部１５が、奥行表現映像の被写体領域に生じたブレを低減（解消・抑制）するためのフィードバック情報を生成し、当該フィードバック情報を被写体抽出部１１、空間位置追跡部１２、奥行表現部１４のうちいずれか１つ以上に送信し、被写体抽出部１１、空間位置追跡部１２、奥行表現部１４は、上記フィードバック情報を受信した場合、ブレを抑制する方向へパラメータを調整するので、奥行感のある映像において被写体のブレを低減できる。

また、本実施形態によれば、映像生成装置１において、フィードバック部１５が、調整後のパラメータに基づく画像位置情報、空間位置情報、統合位置情報、奥行表現映像を用いてフィードバック情報を再生成するというサイクルを繰り返し実行するので、奥行感のある映像において被写体のブレを更に低減できる。

また、本実施形態によれば、映像生成装置１において、位置情報統合部１３が、被写体領域と物体の２次元領域との重畳度に応じて、ラベルを対応付ける被写体領域を決定するので、被写体領域に対してラベルを正しく関連付けることができ、奥行感のある映像において被写体のブレを更に低減できる。

［その他］
本実施形態に係る映像生成装置１は、ＣＰＵ、メモリ、ハードディスク、入出力インタフェース、通信インタフェース等を備えたコンピュータで実現可能である。映像生成装置１は、本実施形態で処理するデータをメモリ等の記憶部に記憶し、当該データを読み出して利用する。また、当該映像生成装置１としてコンピュータを機能させるための映像生成プログラム、当該映像生成プログラムの記憶媒体の作成も可能である。

１…映像生成装置
１１…被写体抽出部
１２…空間位置追跡部
１３…位置情報統合部
１４…奥行表現部
１５…フィードバック部

Claims (4)

1. 閾値パラメータ及びエッジ量パラメータを用いて所定空間内の撮影映像から被写体領域を抽出する抽出部と、
   物体の点に関するノイズ除去パラメータ及びクラスタリングパラメータを用いて前記所定空間内の３次元位置計測データから物体を検出し、前記物体に識別情報を付与するとともに、前記３次元位置計測データを用いて前記物体の３次元空間位置を算出する検出部と、
   前記被写体領域と前記物体の識別情報とを対応付けることにより、前記被写体領域に対して前記３次元空間位置を関連付ける統合部と、
   奥行感パラメータを用いて映像の奥行度を調整可能であり、前記３次元空間位置が関連付けられた前記被写体領域のみの奥行表現映像を生成する生成部と、
   前記奥行表現映像の前記被写体領域に生じたブレの低減方法を示す情報を前記抽出部、前記検出部、前記生成部のうちいずれか１つ以上に送信する送信部と、を備え、
   前記抽出部は、
   前記低減方法を示す情報を受信した場合、前記低減方法に基づき前記閾値パラメータ又は前記エッジ量パラメータの値を変更し、
   前記検出部は、
   前記低減方法を示す情報を受信した場合、前記低減方法に基づき前記ノイズ除去パラメータ又は前記クラスタリングパラメータの値を変更し、
   前記生成部は、
   前記低減方法を示す情報を受信した場合、前記低減方法に基づき前記奥行感パラメータの値を変更することを特徴とする映像生成装置。
2. 前記統合部は、
   前記被写体領域と前記物体の３次元空間位置を座標変換して得られた前記物体の２次元領域との重畳度に応じて、前記物体の識別情報を対応付ける被写体領域を決定することを特徴とする請求項１に記載の映像生成装置。
3. 映像生成装置で行う映像生成方法において、
   前記映像生成装置は、抽出部と、検出部と、統合部と、生成部と、送信部と、を備え、
   前記抽出部は、閾値パラメータ及びエッジ量パラメータを用いて所定空間内の撮影映像から被写体領域を抽出する抽出ステップを行い、
   前記検出部は、物体の点に関するノイズ除去パラメータ及びクラスタリングパラメータを用いて前記所定空間内の３次元位置計測データから物体を検出し、前記物体に識別情報を付与するとともに、前記３次元位置計測データを用いて前記物体の３次元空間位置を算出する検出ステップを行い、
   前記統合部は、前記被写体領域と前記物体の識別情報とを対応付けることにより、前記被写体領域に対して前記３次元空間位置を関連付ける統合ステップを行い、
   前記生成部は、奥行感パラメータを用いて映像の奥行度を調整可能であり、前記３次元空間位置が関連付けられた前記被写体領域のみの奥行表現映像を生成する生成ステップを行い、
   前記送信部は、前記奥行表現映像の前記被写体領域に生じたブレの低減方法を示す情報を前記抽出部、前記検出部、前記生成部のうちいずれか１つ以上に送信する送信ステップを行い、
   前記抽出ステップでは、
   前記低減方法を示す情報を受信した場合、前記低減方法に基づき前記閾値パラメータ又は前記エッジ量パラメータの値を変更し、
   前記検出ステップでは、
   前記低減方法を示す情報を受信した場合、前記低減方法に基づき前記ノイズ除去パラメータ又は前記クラスタリングパラメータの値を変更し、
   前記生成ステップでは、
   前記低減方法を示す情報を受信した場合、前記低減方法に基づき前記奥行感パラメータの値を変更することを特徴とする映像生成方法。
4. 請求項３に記載の映像生成方法をコンピュータに実行させることを特徴とする映像生成プログラム。

Images