JP7064144B2 - 情報統合方法、情報統合装置、及び情報統合プログラム - Google Patents

Description

本発明は、空間から空間へ伝送するオブジェクトの位置情報を統合する技術に関し、特に同一オブジェクトを計測したＤｅｐｔｈマップとトラッキングデータの位置情報を統合する。

現在、競技空間をまるごとリアルタイムに伝送する技術が研究開発されている。この技術は、現地会場で取得した複数のセンサ情報を利用用途に応じてリアルタイムに統合・加工しつつ、同会場で取得した映像・音声に同期させて伝送する技術である。

図９は、当該技術を実現するシステムの一例について、全体イメージを示す図である。伝送装置１００は、競技会場の被写界深度計測センサ３１と位置情報トラッキングセンサ３２からセンサ情報を受信して、被写体であるオブジェクトの３次元位置情報を取得して統合等するとともに、同会場の撮像装置３３と集音装置３４からメディア情報を受信し、時刻情報（タイムスタンプ）に基づきオブジェクトの３次元位置情報とメディア情報を同期して、遠隔会場の映像制御装置５１と音声制御装置５２に配信する。

そして、映像制御装置５１は、例えば、メディア情報の映像データを裸眼３Ｄ表示スクリーン５３に出力して虚像表示パネル５４に表示し、オブジェクトの３次元位置情報を用いて映像素材の位置・サイズを制御する。音声制御装置５２は、例えば、メディア情報の音声データを競技音用と歓声音用の各波面合成用スピーカアレイ５５，５６にそれぞれ出力し、オブジェクトの３次元位置情報を用いて音声素材の位置を制御する。

これにより、遠隔会場で再現する映像素材・音声素材の位置・サイズを競技会場のオブジェクトの動きに応じて制御すること、例えば利用用途に応じてリアルタイムにオブジェクトを加工・変換することが可能となり、奥行表現や音像定位等といった様々な再現表現を高臨場感で時間的・空間的に同期して行うことができる。

柿沼、外４名、"機械学習を用いた4Kリアルタイム被写体抽出フレームワーク"、映像情報メディア学会、冬季大会、2017年、15B-2 石井、外３名、"kirari! Tracker : LiDARと深層学習エンジンを用いたリアルタイム特定人物追跡システムの検討"、映像情報メディア学会、冬季大会、2017年、15B-3

上述したように、伝送装置１００は、複数のセンサからセンサ情報を受信し、オブジェクトの３次元位置情報を取得して、メディア情報に同期させて配信する。しかし、センサの種類により、複数のセンサでそれぞれ取得されるセンサ情報の精度に差がある。そこで、各センサ情報を組み合わせて統合することにより、オブジェクトの３次元位置情報の精度を向上させることが切望されている。

例えば、図１０に示すように、Ｄｅｐｔｈマップより求めたオブジェクトの画像座標上の位置情報（オブジェクトの輪郭の座標情報）と、トラッキングデータに含まれるラベル情報（選手Ａ，選手Ｂ）及びオブジェクトを囲う矩形枠の画像座標上の位置情報（座標情報）とを組み合わせることで、オブジェクト領域に対してラベルが付与されたオブジェクトの位置情報の精度を向上させることが考えられる。これは、Ｄｅｐｔｈマップはオブジェクトの輪郭情報の精度は高いが奥行情報の精度は低く、その一方でトラッキングデータは、輪郭情報の精度は低いが奥行情報の精度は高い、という特性を考慮している。

しかしながら、Ｄｅｐｔｈマップとトラッキングデータが共に正確でない場合、Ｄｅｐｔｈマップより求めたオブジェクトの位置情報と、トラッキングデータに含まれるオブジェクトの位置情報及びラベル情報とを、一意に組み合わせることは困難である。例えば、図１１に示すように、１つのラベルに対して２つのエリア（Ｄｅｐｔｈマップから切り出されたオブジェクト領域）が含まれる場合、１つのラベルに対してノイズに相当するエリアも含まれる場合には、１つのラベルに複数のエリアが対応している状態にあるので、ラベルに対応するエリアを特定することができない。

本発明は、上記事情を鑑みてなされたものであり、オブジェクトの位置情報の精度を向上することを目的とする。

本発明の情報統合方法は、第１空間内のオブジェクトに関するメディア情報とセンサ情報を同期して第２空間に伝送する伝送装置で行う情報統合方法において、情報統合装置が、前記センサ情報として、オブジェクトのＤｅｐｔｈマップと、画像中のオブジェクトの領域であるラベル領域及び当該オブジェクトを示すラベルを含むトラッキングデータと、を受信する第１のステップと、前記Ｄｅｐｔｈマップに含まれる複数のオブジェクト領域のうち、オブジェクト領域に対して前記トラッキングデータに含まれるラベル領域に重なる重複領域の割合が最も大きいオブジェクト領域、又は前記トラッキングデータに含まれるラベル領域に重なる重複領域の面積が最も大きいオブジェクト領域に、前記トラッキングデータに含まれるラベル領域に対応するラベルを紐付ける第２のステップと、を行うことを特徴とする。

上記情報統合方法において、前記第２のステップでは、比較する複数の前記重複領域の割合が同じ場合、又は比較する複数の前記重複領域の面積が同じ場合、前記複数のオブジェクト領域を包含する一つの領域に前記ラベルを紐付けることを特徴とする。

上記情報統合方法において、前記第２のステップでは、１つのオブジェクト領域が複数のラベル領域の各領域に含まれる場合、前記１つのオブジェクト領域と同一である複数のオブジェクト領域に各ラベル領域に対応するラベルをそれぞれ紐付けることを特徴とする。

上記情報統合方法において、前記第２のステップでは、前記複数のオブジェクト領域にノイズ領域が含まれない場合には前記重複領域の割合が最も大きいオブジェクト領域にラベルを紐付け、前記複数のオブジェクト領域にノイズ領域が含まれる場合には前記重複領域の面積が最も大きいオブジェクト領域にラベルを紐付けることを特徴とする。

本発明の情報統合装置は、第１空間内のオブジェクトに関するメディア情報とセンサ情報を同期して第２空間に伝送する伝送装置に含まれる情報統合装置において、前記センサ情報として、オブジェクトのＤｅｐｔｈマップと、画像中のオブジェクトの領域であるラベル領域及び当該オブジェクトを示すラベルを含むトラッキングデータと、を受信するセンサ情報受信部と、前記Ｄｅｐｔｈマップに含まれる複数のオブジェクト領域のうち、オブジェクト領域に対して前記トラッキングデータに含まれるラベル領域に重なる重複領域の割合が最も大きいオブジェクト領域、又は前記トラッキングデータに含まれるラベル領域に重なる重複領域の面積が最も大きいオブジェクト領域に、前記トラッキングデータに含まれるラベル領域に対応するラベルを紐付けるラベリング部と、を備えることを特徴とする。

本発明の情報統合プログラムは、上記情報統合方法をコンピュータに実行させることを特徴とする。

本発明によれば、オブジェクトの位置情報の精度を向上できる。

伝送装置の機能例を示す図である。 ラベリング手法を説明する際の参照図である。 情報統合装置の機能例を示す図である。 手法１の処理フロー例を示す図である。 手法１のラベリング例を示す図である。 手法２の処理フロー例を示す図である。 手法２のラベリング例を示す図である。 手法３の処理フロー例を示す図である。 伝送装置による同期伝送のイメージを示す図である。 課題を説明する際の参照図である。 課題を説明する際の参照図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

＜伝送装置の構成＞
まず、伝送装置の構成について説明する。図１は、伝送装置１００が備える機能の例を示す図である。伝送装置１００は、競技会場（第１空間）内のオブジェクトに関するセンサ情報とメディア情報を同期して遠隔会場（第２空間）に伝送する装置である。

伝送装置１００は、競技会場からセンサ情報とメディア情報を受ける受信側と、センサ情報に基づき求めたオブジェクト毎の３次元位置情報とメディア情報を遠隔会場に配信する配信側とで構成される。受信側と配信側の間は、伝送路により相互通信可能に接続されている。

受信側は、図１に示すように、オブジェクト位置情報配信機能１０１と、メディア情報エンコード機能１０２と、位置情報・メディア情報括り付け管理機能１０３と、で構成される。

オブジェクト位置情報配信機能１０１は、複数のセンサにより得た位置情報を受信し、これを統合して被写体の三次元位置を特定可能な位置情報を生成して、配信側に伝送する機能を備える。複数のセンサにより得た位置情報とは、例えば、被写界深度計測センサ３１で得た被写体の奥行き方向の位置データ（例えばＤｅｐｔｈマップ）と、位置情報トラッキングセンサ３２により得た被写体の二次元的な位置情報（トラッキングデータ）である。

Ｄｅｐｔｈマップとは、オブジェクト領域のみを切り出し、当該オブジェクト領域外をマスクしたデータである。また、Ｄｅｐｔｈマップとは、ステレオカメラで撮影した画像間のピクセル毎のズレの大きさであり、視差情報から３角測量法により距離情報に変換される。Ｄｅｐｔｈマップは、視差マップとも呼ばれ、距離情報に相当する。非特許文献１には、機械学習を用いた被写体抽出を行う方法が記載されており、その際に被写体とカメラとの視差・深度を計算した結果がＤｅｐｔｈマップとして得られる。

トラッキングデータとは、ラベルと当該ラベルに紐付いたオブジェクトの位置情報である。ラベルは、オブジェクトを識別するために用いられ、音源の特定やオブジェクトのプロファイルとの紐付けに活用される。非特許文献２には、ＬｉＤＡＲと深層学習エンジンを用いてオブジェクトのトラッキングを行う方法が記載されており、被写体の３次元位置が矩形で表されている。

メディア情報エンコード機能１０２は、撮像装置３３と集音装置３４が出力するメディア情報を受信し、メディア情報の映像データと音声データをそれぞれエンコード処理して配信側に伝送する機能を備える。

位置情報・メディア情報括り付け管理機能１０３は、時刻情報に基づき、オブジェクト位置情報配信機能１０１が処理したオブジェクトの位置情報と、メディア情報エンコード機能１０２が処理したメディア情報とを関連付けて管理する機能を備える。

配信側は、図１に示すように、オブジェクト位置情報受信機能１０４と、メディア情報デコード機能１０５と、オブジェクト位置情報統合機能１０６と、で構成される。

オブジェクト位置情報受信機能１０４は、オブジェクト位置情報配信機能１０１から伝送された位置情報を受信して保持し、映像制御装置５１又は音声制御装置５２からの位置情報取得要求に応じて保持した位置情報を配信する機能を備える。配信方法としては、例えば、Ｗｅｂｓｏｃｋｅｔインタフェイスによるｐｕｓｈ配信、ＭＩＤＩインタフェイスによるバッファリングを伴う配信を用いる。オブジェクト位置情報受信機能１０４は、位置情報取得要求の受付時にフレームレートの指定を受け、接続毎に要求された位置情報を指定フレームレートに変換して配信する。

メディア情報デコード機能１０５は、メディア情報エンコード機能１０２から伝送されたメディア情報を受信して、映像制御装置５１及び音声制御装置５２に配信する機能を備える。

オブジェクト位置情報統合機能１０６は、オブジェクトを複数の方向から計測することで得られた複数視点の位置情報を時刻情報で紐付けて管理し、複数視点の位置情報を結合することで精度の高い位置情報を生成して保持し、映像制御装置５１又は音声制御装置５２からの位置情報取得要求に応じて保持した高精度の位置情報を配信する機能を備える。オブジェクト位置情報統合機能１０６が用いている接続インタフェイスは、オブジェクト位置情報受信機能１０４と同一であり、ＷｅｂｓｏｃｋｅｔインタフェイスやＭＩＤＩインタフェイス等に対応する。

以上が伝送装置１００の備える機能の例である。センサ情報に着目すると、伝送装置１００は、次のように動作する。例えば、被写界深度計測センサ３１と位置情報トラッキングセンサ３２の組を４つ用意して競技会場の東西南北に配置した場合、オブジェクト位置情報配信機能１０１は、４つの組でそれぞれ計測されたセンサ情報を受信して、組毎に、Ｄｅｐｔｈマップの位置情報とトラッキングデータの位置情報を統合して伝送する。オブジェクト位置情報受信機能１０４は、組毎のオブジェクトの位置情報を受信して保持し、位置情報取得要求に応じて配信する。オブジェクト位置情報統合機能１０６は、各組の位置情報を結合することで精度の高い位置情報を生成し、位置情報取得要求に応じて配信する。

＜発明の概要＞
本実施形態では、本発明の課題を解決するため、図２に示すように、Ｄｅｐｔｈマップとトラッキングデータをラベルで対応付ける方式を提案する。ラベリングの手法は、Ｄｅｐｔｈマップの特性を考慮して、互いに重なる領域の割合を基準とする手法１を用いる。また、人物以外の被写体領域（ノイズ）の混入に対処するため、互いに重なる領域の面積を基準とする手法２を用いる。手法１と手法２は、設定ファイルにより手動で切り替えて使用可能であり、自動で切り替えて使用可能でもある（手法３）。

＜情報統合装置の構成＞
そこで、本実施形態では、オブジェクト位置情報配信機能１０１に情報統合装置１を搭載する。図３は、情報統合装置１の機能ブロックの例を示す図である。情報統合装置１は、センサ情報受信部１１と、センサ情報記憶部１２と、ラベリング部１３と、位置情報統合部１４と、を備えて構成される。

センサ情報受信部１１は、複数のセンサで取得した位置情報を受信する機能を備える。ここでは、センサ情報として、被写界深度計測センサ３１から出力されたオブジェクトのＤｅｐｔｈマップと、位置情報トラッキングセンサ３２から出力されたトラッキングデータと、を受信する場合を例に説明する。受信するＤｅｐｔｈマップとトラッキングデータは、同一オブジェクトを所定時間間隔で計測したデータである。Ｄｅｐｔｈマップには、オブジェクトの奥行情報を示す深度値（奥行き方向の位置を特定するデータ）が含まれている。ここで、Ｄｅｐｔｈマップにより特定される被写体の二次元領域をオブジェクト領域と呼ぶこととする。トラッキングデータには、オブジェクトを示すラベルと画像中で当該オブジェクトが占める領域（ラベル領域）を特定する情報が含まれている。

センサ情報記憶部１２は、センサ情報受信部１１が受信したＤｅｐｔｈマップとトラッキングデータを紐付けて読み出し可能に記憶する機能を備える。紐付けられるＤｅｐｔｈマップとトラッキングデータは、付与されたタイムスタンプの時刻が同一であることが望ましいが、互いの時刻差が閾値以下であるものを紐付けてもよい。

ラベリング部１３は、手法１として、Ｄｅｐｔｈマップに含まれる複数のオブジェクト領域のうち、オブジェクト領域に対してトラッキングデータに含まれるラベル領域に重なる重複領域の割合が最も大きいオブジェクト領域に、トラッキングデータに含まれるラベル領域に対応するラベルを紐付ける機能を備える。

また、ラベリング部１３は、手法２として、Ｄｅｐｔｈマップに含まれる複数のオブジェクト領域のうち、トラッキングデータに含まれるラベル領域に重なる重複領域の面積が最も大きいオブジェクト領域に、トラッキングデータに含まれるラベル領域に対応するラベルを紐付ける機能を備える。

また、ラベリング部１３は、手法３として、複数のオブジェクト領域にノイズ領域が含まれない場合には、ラベル領域との重複領域の割合が最も大きいオブジェクト領域にラベルを紐付ける手法１を行い、複数のオブジェクト領域にノイズ領域が含まれる場合には、ラベル領域との重複領域の面積が最も大きいオブジェクト領域にラベルを紐付ける手法２に切り替える機能を備える。なお、ノイズ領域か否かの判定は、例えば、領域の面積が所定の閾値よりも小さいオブジェクト領域をノイズ領域と判定する方法、あるいは、他のオブジェクト領域との面積の差の絶対値が所定の閾値より大きい場合にノイズ領域と判定する方法などがある。

更に、ラベリング部１３は、上記手法１や手法２で複数の紐付け候補がある場合（つまり、重複領域の割合や面積が等しいオブジェクト領域が複数ある場合）には、複数の候補を包含する統合された１つの領域を生成してその領域にラベルを紐付けるか、あるいは、所定の基準に基づき何れか１つのオブジェクト領域を選択してラベルを紐付ける等により、複数のオブジェクト領域に同じラベルが付されることがないようにする機能を備えてもよい。

更に、ラベリング部１３は、１つのオブジェクト領域が複数のラベル領域の各領域に含まれる場合、１つのオブジェクト領域と同一である複数のオブジェクト領域に各ラベル領域に対応するラベルをそれぞれ紐付ける機能を備える。

位置情報統合部１４は、ラベル付けにより組み合わせられたＤｅｐｔｈマップによるオブジェクトの位置情報とトラッキングデータの位置情報とを統合することにより、高精度なオブジェクトの３次元位置情報を算出する機能を備える。

上述した情報統合装置１は、ＣＰＵ、メモリ、入出力インタフェイス等を備えたコンピュータで実現できる。また、情報統合装置１としてコンピュータを機能させるための情報統合プログラム、情報統合プログラムの記憶媒体を作成することも可能である。

＜情報統合装置の動作（手法１）＞
次に、情報統合装置１の手法１の動作について説明する。図４は、ラベリング部１３で行う手法１の処理フローを示す図である。手法１は、トラッキングデータの２次元領域に対して、最も重なるエリアの割合が大きなオブジェクト領域にラベルを紐付ける手法である。

ステップＳ１０１；
まず、ラベリング部１３は、Ｄｅｐｔｈマップをセンサ情報記憶部１２から読み出し、読み出したＤｅｐｔｈマップに含まれる深度値を２値化する。２値化処理は、既存の方法を用いて実現可能であり、例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）のｉｎＲａｎｇｅ関数を用いて行う。

ステップＳ１０２；
次に、ラベリング部１３は、２値化後のＤｅｐｔｈマップに含まれるオブジェクトの輪郭の座標群を検出し、当該輪郭内の面積ｓを計算する。本実施形態では、同一ラベルにラベリングされる候補として２つのオブジェクト領域が検出されたと仮定し、ラベリング部１３は、２つの候補オブジェクト領域の面積ｓ１，ｓ２をそれぞれ計算する。

ステップＳ１０３；
次に、ラベリング部１３は、当該Ｄｅｐｔｈマップに対応するトラッキングデータをセンサ情報記憶部１２から読み出し、読み出したトラッキングデータに含まれるラベル領域に対して、２つの候補オブジェクト領域がそれぞれ重なる各重複エリアの重複面積ｓ１’，ｓ２’をそれぞれ算出する。同一時刻のトラッキングセンサがない場合、例えば、Ｄｅｐｔｈマップのタイムスタンプの近傍時刻のトラッキングデータを用いれば良い。例えば、Ｄｅｐｔｈマップのタイムスタンプの近傍時刻の複数のトラッキングデータを用いて線形補間することで、Ｄｅｐｔｈマップのタイムスタンプにおけるトラッキングデータを生成し、これを用いればよい。あるいは、原則としてＤｅｐｔｈマップのタイムスタンプの近傍時刻のトラッキングデータ（最も時刻が近いもの）を割り当てることとし、既にＤｅｐｔｈマップのタイムスタンプに割当済みのトラッキングデータがあれば割当をスキップし、まだ割り当てられていないＤｅｐｔｈマップのタイムスタンプがあれば、一つ前のタイムスタンプに割り当てたトラッキングデータを繰り返し割り当てるようにしてもよい。

以下では、トラッキングデータに含まれるラベル領域が画像中の被写体領域を表す矩形２次元領域である場合を例に説明する。

ステップＳ１０４；
最後に、ラベリング部１３は、２つの候補オブジェクト領域について、各重複エリアの重複面積ｓ１’，ｓ２’を各候補オブジェクト領域の面積ｓ１，ｓ２でそれぞれ除算することにより、各候補オブジェクト領域の面積ｓに対する重複面積ｓ’の割合（ｓ１’／ｓ１，ｓ２’／ｓ２）を求め、最も大きい割合の候補オブジェクト領域に対してトラッキングデータのラベルを割り当てる。これにより、図５（ａ）に示すように、例えば、候補オブジェクト領域１（ａｒｅａ１）の重複面積ｓ’の割合が２０％、候補オブジェクト領域２（ａｒｅａ２）の重複面積ｓ’の割合が５０％の場合、ラベル１（ｌａｂｅｌ１）は候補オブジェクト領域２に対してのみ紐付けられる。

一方、ｓ１’／ｓ１＝ｓ２’／ｓ２の場合、ラベリング部１３は、２つの候補オブジェクト領域１，２を同一オブジェクト領域１２として扱い、当該同一オブジェクト領域１２に対してラベル１を割り当てる。例えば、図５（ｂ）に示すように、２つの候補オブジェクト領域１，２の各全エリアが矩形２次元領域に含まれ、ｓ１’／ｓ１＝ｓ２’／ｓ２＝１００％となる場合が想定される。

その他、１つの候補オブジェクト領域１が２つの矩形２次元領域の各領域に含まれる場合、ラベリング部１３は、当該１つの候補オブジェクト領域１を別々のオブジェクト領域１として当該別々のオブジェクト領域１に各矩形２次元領域のラベル１，２をそれぞれ割り当てる。例えば、図５（ｃ）に示すように、１つの候補オブジェクト領域１の全エリアが２つの矩形２次元領域の各領域に含まれ、「矩形２次元領域１に対するｓ１’／ｓ１」＝「矩形２次元領域２に対するｓ１’／ｓ１」＝１００％となる場合が想定される。

以上より、手法１によれば、同期するＤｅｐｔｈマップとトラッキングデータにおいて、１つのラベルに対して複数の候補オブジェクト領域が対応する場合、最も重なる領域の割合が大きな候補オブジェクト領域にラベルを紐付けるので、Ｄｅｐｔｈマップのオブジェクト領域に対してトラッキングデータのラベルを正しく関連付けることができ、Ｄｅｐｔｈマップでのオブジェクトの位置情報とトラッキングデータのオブジェクトの位置情報を正しく組み合わせることができる。その結果、正しい組み合わせの位置情報を統合することが可能となり、オブジェクトの３次元位置情報の精度を向上できる。

＜情報統合装置の動作（手法２）＞
次に、情報統合装置１の手法２の動作について説明する。図６は、ラベリング部１３で行う手法２の処理フローを示す図である。手法２は、トラッキングの２次元領域に対して、最も重なるエリアの面積が大きなオブジェクト領域にラベルを紐付ける手法である。

ステップＳ２０１；
まず、ラベリング部１３は、Ｄｅｐｔｈマップをセンサ情報記憶部１２から読み出し、読み出したＤｅｐｔｈマップに含まれる深度値を２値化する。

ステップＳ２０２；
次に、ラベリング部１３は、２値化後のＤｅｐｔｈマップに含まれるオブジェクトの輪郭の座標群を検出する。そして、ラベリング部１３は、当該Ｄｅｐｔｈマップに対応するトラッキングデータをセンサ情報記憶部１２から読み出し、検出していたオブジェクトの輪郭の座標群を用いて、読み出したトラッキングデータに含まれる枠線内の矩形２次元領域に対して、２つの候補オブジェクト領域がそれぞれ重なる各重複エリアの重複面積ｓ１’，ｓ２’をそれぞれ算出する。

ステップＳ２０３；
最後に、ラベリング部１３は、２つの候補オブジェクト領域について、ｓ１’，ｓ２’で最も大きい面積の候補オブジェクト領域に対してトラッキングデータのラベルを割り当てる。これにより、図７（ａ）に示すように、例えば、候補オブジェクト領域１の重複面積ｓ’が３０、候補オブジェクト領域２の重複面積ｓ’が２０の場合、ラベル１は候補オブジェクト領域１に対してのみ紐付けられる。

一方、ｓ１’＝ｓ２’の場合、例えば、ラベリング部１３は、２つの候補オブジェクト領域１，２を統合したオブジェクト領域１２に対してラベル１を割り当てる。

その他、図７（ｂ）に示すように、２つの候補オブジェクト領域１，２の各全エリアが２つの矩形２次元領域の各領域に含まれ、ｓ１’／ｓ１＝ｓ２’／ｓ２＝１００％となる場合にも、ラベリング部１３は、当該２つの候補オブジェクト領域１，２を同一オブジェクト領域１２として扱い、当該同一オブジェクト領域１２に対して各矩形２次元領域のラベル１，２をそれぞれ割り当てる。

その他、１つの候補オブジェクト領域１が２つの矩形２次元領域の各領域に含まれる場合、ラベリング部１３は、当該１つの候補オブジェクト領域１を別々のオブジェクト領域１として当該別々のオブジェクト領域１に各矩形２次元領域のラベル１，２をそれぞれ割り当てる。例えば、図７（ｃ）に示すように、１つの候補オブジェクト領域１の全エリアが２つの矩形２次元領域の各領域に含まれ、「矩形２次元領域１に対するｓ１」＝「矩形２次元領域２に対するｓ１」となる場合が想定される。

以上より、手法２によれば、同期するＤｅｐｔｈマップとトラッキングデータにおいて、１つのラベルに対して複数の候補オブジェクト領域が対応する場合、最も重なるエリアの面積が大きな候補オブジェクト領域にラベルを紐付けるので、Ｄｅｐｔｈマップのオブジェクト領域に対してトラッキングデータのラベルを正しく関連付けることができ、Ｄｅｐｔｈマップでのオブジェクトの位置情報とトラッキングデータのオブジェクトの位置情報を正しく組み合わせることができる。その結果、正しい組み合わせの位置情報を統合することが可能となり、オブジェクトの３次元位置情報の精度を向上できる。

＜情報統合装置の動作（手法３）＞
次に、情報統合装置１の手法３の動作について説明する。図８は、ラベリング部１３で行う手法３の処理フローを示す図である。手法３は、手法１と手法２のラベリング手法を切り替える手法である。通常は手法１を用いてラベリングを行い、ノイズと思われるエリアが検出された場合には手法２に切り替え、ノイズと思われるオブジェクト領域をラベリング対象から除去する。

ステップＳ３０１；
まず、ラベリング部１３は、Ｄｅｐｔｈマップをセンサ情報記憶部１２から読み出し、読み出したＤｅｐｔｈマップに含まれる深度値を２値化する。

ステップＳ３０２；
次に、ラベリング部１３は、２値化後のＤｅｐｔｈマップに含まれる２つの候補オブジェクト領域の輪郭の座標群をそれぞれ検出し、当該２つの候補オブジェクト領域の面積ｓ１，ｓ２をそれぞれ計算する。

ステップＳ３０３；
次に、ラベリング部１３は、２つの候補オブジェクト領域のうちいずれかの面積が閾値Ａ以下であるか否か、２つの候補オブジェクト領域の面積差が閾値Ｂ以上であるか否かを判定する。そして、いずれの候補オブジェクト領域の面積も閾値Ａ以下でない場合、かつ、２つの候補オブジェクト領域の面積差が閾値Ｂ以上でない場合、ステップＳ３０４へ進む。一方、いずれかの候補オブジェクト領域の面積が閾値Ａ以下である場合、又は、２つの候補オブジェクト領域の面積差が閾値Ｂ以上である場合、ステップＳ３０５へ進む。

ステップＳ３０４；
ラベリング部１３は、２つの候補オブジェクト領域をノイズ領域でないとみなし、重なる領域の割合を基準にした手法１を用いてラベリングする。

ステップＳ３０５；
ラベリング部１３は、閾値Ａ以下の面積を持つ候補オブジェクト領域をノイズ領域とみなし、重なる領域の面積を基準とした手法２を用いてラベリングする。また、オブジェクト領域同士の面積差を計算し、面積差（の絶対値）が閾値Ｂ以上である場合に小さい面積を持つ方のオブジェクト領域をノイズ領域とみなしてもよい。オブジェクト領域の大きさが他のオブジェクト領域と比べて著しい差がある場合は、ノイズである可能性が高いからである。

以上より、手法３によれば、Ｄｅｐｔｈマップにノイズ領域が含まれる場合、重なる領域の割合を基準にした手法１から、重なる領域の面積を基準とした手法２に切り替えるので、Ｄｅｐｔｈマップのオブジェクト領域に対してトラッキングデータのラベルをより正しく関連付けることができ、オブジェクトの３次元位置情報の精度を更に向上できる。

＜ラベル付けを行う際の位置情報の算出方法＞
Ｄｅｐｔｈマップからオブジェクトの輪郭の座標群（位置情報）を検出する方法は、既存の方法を用いて実現可能である。例えば、Ｄｅｐｔｈマップの深度値の最大値及び最小値からＺ値（奥行）を求め、Ｄｅｐｔｈマップの輪郭，奥行，内部パラメータより、輪郭座標のＸ値（幅），Ｙ値（高さ）を算出する（Ｄｅｐｔｈマップの最大／最小値方式）。Ｚ値（奥行）については、Ｄｅｐｔｈマップの深度値の最頻値を用いてもよい（Ｄｅｐｔｈマップの最頻値方式）。Ｄｅｐｔｈマップの最大／最小値方式と最頻値方式は、選択可能である。

また、矩形２次元領域を把握するために用いるトラッキングデータの枠線の位置情報は、位置情報トラッキングセンサ３２から出力された位置情報を用いて新たに求めてもよい。例えば、トラッキングデータのローカル座標系をＺ値（奥行）として使用し、Ｄｅｐｔｈマップの輪郭，奥行，内部パラメータより、枠線座標のＸ値（幅），Ｙ値（高さ）を算出する（トラッキングデータ奥行方式）。また、トラッキングデータにのみに対して、ローカル座標系をグローバル座標系に変換し、矩形から重心点生成し、時間サブサンプリング処理した値を用いてもよい（トラッキングスルー方式）。トラッキングデータ奥行方式とトラッキングスルー方式は、選択可能である。

＜効果＞
本実施形態によれば、情報統合装置１が、Ｄｅｐｔｈマップに含まれる複数のオブジェクト領域のうち、オブジェクト領域に対してトラッキングデータに含まれるラベル領域に重なる重複領域の割合が最も大きいオブジェクト領域に、トラッキングデータに含まれるラベルを紐付けるので、Ｄｅｐｔｈマップでのオブジェクトの位置情報とトラッキングデータのオブジェクトの位置情報を正しく組み合わせ可能となり、オブジェクトの３次元位置情報の精度を向上できる。

また、本実施形態によれば、情報統合装置１が、Ｄｅｐｔｈマップに含まれる複数のオブジェクト領域のうち、トラッキングデータに含まれるラベル領域に重なる重複領域の面積が最も大きいオブジェクト領域に、トラッキングデータに含まれるラベルを紐付けるので、Ｄｅｐｔｈマップでのオブジェクトの位置情報とトラッキングデータのオブジェクトの位置情報を正しく組み合わせ可能となり、オブジェクトの３次元位置情報の精度を向上できる。

また、本実施形態によれば、情報統合装置１が、複数のオブジェクト領域にノイズ領域が含まれない場合、ラベル領域との重複領域の割合が最も大きいオブジェクト領域にラベルを紐付ける手法１を行い、複数のオブジェクト領域にノイズ領域が含まれる場合、ラベル領域との重複領域の面積が最も大きいオブジェクト領域にラベルを紐付ける手法２に切り替えるので、オブジェクトの３次元位置情報の精度を更に向上できる。

１…情報統合装置
１１…センサ情報受信部
１２…センサ情報記憶部
１３…ラベリング部
１４…位置情報統合部
３１…被写界深度計測センサ
３２…位置情報トラッキングセンサ
３３…撮像装置
３４…集音装置
５１…映像制御装置
５２…音声制御装置
５３…裸眼３Ｄ表示スクリーン
５４…虚像表示パネル
５５…波面合成用スピーカアレイ（競技音用）
５６…波面合成用スピーカアレイ（歓声音用）
１００…伝送装置
１０１…オブジェクト位置情報配信機能
１０２…メディア情報エンコード機能
１０３…位置情報・メディア情報括り付け管理機能
１０４…オブジェクト位置情報受信機能
１０５…メディア情報デコード機能
１０６…オブジェクト位置情報統合機能

Claims (6)

1. 第１空間内のオブジェクトに関するメディア情報とセンサ情報を同期して第２空間に伝送する伝送装置で行う情報統合方法において、
   情報統合装置が、
   前記センサ情報として、オブジェクトのＤｅｐｔｈマップと、画像中のオブジェクトの領域であるラベル領域及び当該オブジェクトを示すラベルを含むトラッキングデータと、を受信する第１のステップと、
   前記Ｄｅｐｔｈマップに含まれる複数のオブジェクト領域のうち、オブジェクト領域に対して前記トラッキングデータに含まれるラベル領域に重なる重複領域の割合が最も大きいオブジェクト領域、又は前記トラッキングデータに含まれるラベル領域に重なる重複領域の面積が最も大きいオブジェクト領域に、前記トラッキングデータに含まれるラベル領域に対応するラベルを紐付ける第２のステップと、
   を行うことを特徴とする情報統合方法。
2. 前記第２のステップでは、
   比較する複数の前記重複領域の割合が同じ場合、又は比較する複数の前記重複領域の面積が同じ場合、前記複数のオブジェクト領域を包含する一つの領域に前記ラベルを紐付けることを特徴とする請求項１に記載の情報統合方法。
3. 前記第２のステップでは、
   １つのオブジェクト領域が複数のラベル領域の各領域に含まれる場合、前記１つのオブジェクト領域と同一である複数のオブジェクト領域に各ラベル領域に対応するラベルをそれぞれ紐付けることを特徴とする請求項１又は２に記載の情報統合方法。
4. 前記第２のステップでは、
   前記複数のオブジェクト領域にノイズ領域が含まれない場合には前記重複領域の割合が最も大きいオブジェクト領域にラベルを紐付け、前記複数のオブジェクト領域にノイズ領域が含まれる場合には前記重複領域の面積が最も大きいオブジェクト領域にラベルを紐付けることを特徴とする請求項１乃至３のいずれかに記載の情報統合方法。
5. 第１空間内のオブジェクトに関するメディア情報とセンサ情報を同期して第２空間に伝送する伝送装置に含まれる情報統合装置において、
   前記センサ情報として、オブジェクトのＤｅｐｔｈマップと、画像中のオブジェクトの領域であるラベル領域及び当該オブジェクトを示すラベルを含むトラッキングデータと、を受信するセンサ情報受信部と、
   前記Ｄｅｐｔｈマップに含まれる複数のオブジェクト領域のうち、オブジェクト領域に対して前記トラッキングデータに含まれるラベル領域に重なる重複領域の割合が最も大きいオブジェクト領域、又は前記トラッキングデータに含まれるラベル領域に重なる重複領域の面積が最も大きいオブジェクト領域に、前記トラッキングデータに含まれるラベル領域に対応するラベルを紐付けるラベリング部と、
   を備えることを特徴とする情報統合装置。
6. 請求項１乃至４のいずれかに記載の情報統合方法をコンピュータに実行させることを特徴とする情報統合プログラム。

Images