JP5567942B2

JP5567942B2 - 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム

Info

Publication number: JP5567942B2
Application number: JP2010192412A
Authority: JP
Inventors: 彰夫石川
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2010-08-30
Filing date: 2010-08-30
Publication date: 2014-08-06
Anticipated expiration: 2030-08-30
Also published as: JP2012048639A

Description

本発明は、利用者が指定した視点における映像を提供する自由視点映像表示技術に関し、より詳しくは、利用者に提供する映像内に広告を表示する自由視点映像システムに関する。

例えば、特許文献１には、あらかじめ複数のカメラにより撮影したデータに基づき、利用者が指定した任意の視点からの映像を提供する自由視点映像システムのための構成が開示されている。

特許文献１に記載の構成を用いれば、例えば、サッカーといったスポーツの試合を複数のカメラにより撮影することで、利用者に対して、利用者があたかもフィールド内にいるかの様な映像を提供することが可能になる。

特開２００８−０１５７５６号公報

これら自由視点映像システムにおいて、その利用者に対して商品やサービスの宣伝を行うために、自由視点映像内の何らかの対象物上に広告を表示することを考える。例えば、広告を表示する対象物をあらかじめ固定的に決定しておくものとすると、利用者が指定する視点からは広告が見えない位置、例えば、広告が被写体の影となったり、生成する映像の範囲外となったりすることが生じる。また、広告は被写体を妨害しない様に表示することが必要である。

したがって、本発明は利用者が任意の視点を指定したとしても、提供する映像の被写体を妨害することなく、かつ、利用者が認識し易い位置に常に広告を表示する方法、自由視点映像生成装置及びプログラムを提供することを目的とする。

本発明における自由視点映像生成装置によれば、自由視点映像を生成するための被写体及び背景のデータを保持する保持手段と、前記保持手段に保持されているデータを使用して、受信した視点から見た映像を生成する生成手段と、前記生成手段が生成した映像の背景の領域から所望の広告を挿入する領域を決定する決定手段と、前記生成手段が生成した映像内の前記広告を挿入する領域に前記所望の広告を貼り付けた映像を生成する合成手段と、を備え、前記決定手段は、前記背景を示す画素の位置情報に基づき背景内の１つ以上の連続面を判定し、前記広告を挿入する領域については、複数の連続面を跨らない様に選択し、各連続面内の所定の誤差以下で平面に近似できる領域から、前記広告を挿入する領域を選択することを特徴とする。

本発明における自由視点映像生成装置と利用者端末とを含む自由視点映像システムにおいて、利用者端末に提供する自由視点映像に広告を挿入する方法によれば、利用者端末が自由視点映像生成装置に視点を通知するステップと、前記自由視点映像生成装置が、通知された視点から見た映像を生成するステップと、前記自由視点映像生成装置が、生成した映像の背景の領域から所望の広告を挿入する領域を決定するステップと、前記自由視点映像生成装置が、生成した映像内の前記広告を挿入する領域にある対象物上に前記所望の広告を貼り付けた映像を生成するステップと、前記自由視点映像生成装置が、前記広告を貼り付けた映像を利用者端末に送信するステップとを備え、前記広告を挿入する領域を決定するステップは、前記通知された視点から見た映像の背景を示す画素の位置情報に基づき背景内の１つ以上の連続面を判定し、前記広告を挿入する領域については、複数の連続面を跨らない様に選択し、各連続面内の所定の誤差以下で平面に近似できる領域から、前記広告を挿入する領域を選択することを特徴とする。

さらに、本発明の他の実施形態によると、
前記近似した平面の法線方向の、前記受信した視点の方向に対する角度差が所定値以下の領域から、前記広告を挿入する領域を選択することも好ましい。

本発明におけるプログラムによれば、
前記自由視点映像生成装置としてコンピュータを機能させることを特徴とする。

本発明によれば、利用者が視点を自由に操作しても、視野内の見易い位置と向きに目的の広告が表示されるよう調整されるため、目的の広告の宣伝効率が高まるという効果を得ることができる。

本発明による自由視点映像生成装置の構成図である。本発明による自由視点映像システムの構成図である。自由視点映像生成部が生成した自由視点映像を示す図である。本発明による広告表示方法では起こりえない広告の表示形態を説明する図である。広告挿入領域の選択を説明する図である。

本発明を実施するための形態について、以下では図面を用いて詳細に説明する。なお、以下の説明において、視点とは位置及び方向にて指定される値である。また、本発明において、例えば、サッカーの試合における選手、ボール、ゴール等、自由視点映像の利用者が注目する対象を被写体と呼び、壁や空等、それ以外の対象を背景と呼ぶものとする。

図２は、本発明による自由視点映像システムの構成図である。図２において、利用者が、利用者端末２０を操作して、ネットワーク経由で自由視点映像生成装置１０に視点及び視野を通知すると、自由視点映像生成装置１０は、受信した視点から見た、受信した視野に含まれる映像を生成し、生成した映像を表示するためのデータを含む合成映像信号を利用者端末２０に送信する。利用者端末２０は、合成映像信号に基づき映像をディスプレイに表示する。なお、視野、つまり、視点の方向を中心とした表示領域の大きさについては、利用者が指定するのではなく、システムで固定の値としても良い。

図１は、本発明による自由視点映像生成装置１０の構成図である。図１に示す様に、自由視点映像生成装置１０は、自由視点映像生成データ保持部１と、自由視点映像生成部２と、広告情報保持部３と、広告領域決定部４と、合成部５と、送信符号化部６とを備えている。

自由視点映像生成データ保持部１は、複数のカメラにより撮影した映像を基にあらかじめ生成した自由視点映像を生成するためのデータを保持している。これらデータの生成方法は、例えば、特許文献１に記載されている方法といった、公知の種々の方法を利用できる。なお、自由視点映像を生成するためのデータは、被写体の映像を生成するためのデータと、背景を生成するためのデータとが区別可能となっている。

広告情報保持部３は、自由視点映像中に追加する広告を示す情報、つまり、広告として表示する領域の形状、表示する文字列、図形、それらの色等を特定する情報を保持している。なお、広告として表示する領域の大きさは固定であっても、自由視点映像内の広告として使用できる大きさに合わせて縮小又は拡大する形態であっても良い。

自由視点映像生成部２は、利用者端末２０から受信する視点及び視野情報に基づき、受信した視点の位置及び方向を中心とし、受信した視野で特定される範囲の映像を生成する。なお、自由視点映像生成部２における自由視点映像の生成も公知の種々の方法を利用できる。なお、自由視点映像を生成するためには、指定された視点と、背景及び各被写体の位置関係を認識することが必要である。つまり、自由視点映像生成部２は、生成した映像の背景及び各被写体の位置を判定しており、これら位置情報、言い換えると、生成した映像の各画素の位置情報と、各画素が被写体に対応するものであるか背景に対応するものであるかを示す情報を広告領域決定部４に出力する。

広告領域決定部４は、後述する方法にて広告を挿入する領域を決定して合成部５に通知し、合成部５は、自由視点映像生成部２から入力される自由視点映像と広告情報保持部３から入力される広告を合成する。より具体的には、入力される自由視点映像内の広告領域決定部４から通知される領域を、広告情報保持部３から入力される広告に置き換えた映像を生成する。なお、自由視点映像に挿入する広告は、その位置にある対象物に貼り付ける様に挿入を行う。つまり、自由視点映像内の視点の方向に対して垂直な面に広告を挿入すると決定した場合、挿入される広告も視点の方向に垂直となるが、視点の方向に対してＸ°の角度を持つ面に広告を挿入すると決定した場合、挿入される広告も視点の方向に対してＸ°の傾きを持つことになる。また、曲面に対して広告を挿入すると決定した場合、広告も同じ曲面で表示を行う。最後に送信符号化部６は、合成部５が生成した映像を符号化して合成映像信号生成して利用者端末２０に送信する。

続いて、広告領域決定部４における広告挿入位置の決定方法について説明する。図３は、自由視点映像生成部２が生成した自由視点映像を示す図である。なお、図３において、符号５０及び５１は被写体である人を表しており、符号６０、６１及び６２は、それぞれ、背景である壁、建物及び道路を表しており、符号５０、５１、６０、６１及び６２以外の領域を示す符号６３は、背景である空を表しているものとする。なお、建物６１は、壁６０より遠い位置にあるものとする。

広告領域決定部４は、自由視点映像生成部２より各画素が被写体に対応するのか否かと、その画素が表す対象物の位置情報を受け取るが、まず、被写体以外の領域、つまり、背景の領域を広告挿入可能領域とする。つまり、図３においては、被写体５０及び５１以外の領域を広告挿入可能領域とする。

続いて、広告領域決定部４は、広告挿入可能領域から、広告を挿入可能な大きさの連続面を画素の位置情報に基づき探索し、任意の連続面を広告挿入領域に決定する。広告が連続面より広い場合は、広告を連続面に収まるように縮小、或いは、広告の一部分のみ連続面に貼り付け旗状にする。したがって、図４に示す様に、広告７１は、建物６１と空６３の領域の両方に貼り付けられることはなく、建物６１又は空６３の領域内でのみ貼り付けられることになる。同様に、広告７２は、図４に示す様に、壁６０と建物６１の２つの領域に跨ることはなく、壁６０又は建物６１の領域内のみで貼りついている様に挿入されることになる。

なお、広告領域決定部４は、広告挿入領域を選択するに当たり、以下の基準を用いることが好ましい。まず、凹凸の激しい表面に広告を挿入すると、その広告が読みにくくなるため、広告領域決定部４は、広告挿入可能領域内の平坦である領域から広告挿入領域を決定する。具体的には、ある領域を平面で近似したときに、近似した平面と元の面との誤差の総和が所定値以下となる領域から広告挿入領域を決定する。

また、広告領域決定部４は、広告挿入可能領域内のある領域の法線方向と、視点の方向との角度を求め、この角度が所定の値以下である領域から広告挿入領域を決定する。これは、広告を視点の方向に対して正対させて広告を見やすくするためである。なお、ある領域が曲面である場合、その曲面を誤差が最小となる平面で近似して法線を求める。

例えば、図３においては、壁６０、建物６１を表す面は視点の方向に対して垂直であり、したがって、壁６０、建物６１の法線方向と視点の方向との角度は零である。また、空６３に対応する画素の位置情報は無限遠であるため、その法線方向と視点の方向との角度も零となる。これに対して、道路６２を示す面の法線方向は、視点の方向に対して、ほぼ直角となる。したがって、広告領域決定部２は、広告挿入領域を道路６２内から選択することは行わず、壁６０、建物６１及び空６３を示す領域内から選択する。

また、図５に示す様に、ある背景に属する対象物８０の面が曲面の場合、近似した平面の法線方向より、符号８２で示す領域が、符号８１で示す領域より好ましい領域となる。

また、広告領域決定部２は、自由視点映像のより中央に位置する連続面から広告挿入位置を決定することが好ましい。これは、自由視点映像の利用者に対してより広告を認識させやすくするためである。

また、視点の移動に対しては、挿入した広告が自由視点映像の範囲外となるまで同じ位置に挿入しておく形態であっても良いが、例えば、図３の壁６０内のある領域に広告を挿入している場合等においては、視点が移動するに伴い広告の挿入位置を壁６０内において移動させて、常に、映像の中央付近に表示させる形態であっても良い。なお、いずれの場合においても広告が自由視点映像の範囲外となる場合、被写体の影になる場合、広告が被写体を妨害する状態となった場合には、広告挿入領域を再決定する。

なお、上述した実施形態においては自由視点映像装置１０において合成映像を生成して利用者端末２０に送信していたが、自由視点映像生成データ保持部１及び広告情報保持部３を有するサーバ装置が、利用者端末から受信した視点及び視野情報に基づき自由視点映像を生成するために必要なデータと広告情報を利用者端末２０に送信し、利用者端末２０にて自由視点映像の生成、広告挿入領域の決定及び合成処理を行う形態であっても良い。この場合、利用者端末２０が自由視点映像生成装置を組み込むことになる。つまり、利用者端末２０に図１の自由視点映像生成部２と、広告位置領域決定部４と、合成部５を設けることになる。

なお、本発明による自由視点映像生成装置１０は、コンピュータを図１の各部として機能させるプログラムにより実現することができる。このコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。

１自由視点映像生成データ保持部
２自由視点映像生成部
３広告情報保持部
４広告位置領域決定部
５合成部
６送信符号化部
１０自由視点映像生成装置
２０利用者端末
５０、５１被写体
６０、６１、６２、６３背景
７１、７２広告
８０対象物
８１、８２領域

Claims

自由視点映像を生成するための被写体及び背景のデータを保持する保持手段と、
前記保持手段に保持されているデータを使用して、受信した視点から見た映像を生成する生成手段と、
前記生成手段が生成した映像の背景の領域から所望の広告を挿入する領域を決定する決定手段と、
前記生成手段が生成した映像内の前記広告を挿入する領域に前記所望の広告を貼り付けた映像を生成する合成手段と、
を備え、
前記決定手段は、前記背景を示す画素の位置情報に基づき背景内の１つ以上の連続面を判定し、前記広告を挿入する領域については、複数の連続面を跨らない様に選択し、各連続面内の所定の誤差以下で平面に近似できる領域から、前記広告を挿入する領域を選択する自由視点映像生成装置。
前記決定手段は、前記近似した平面の法線方向の、前記受信した視点の方向に対する角度差が所定値以下の領域から、前記広告を挿入する領域を選択する、
請求項１に記載の装置。
自由視点映像生成装置と利用者端末とを含む自由視点映像システムにおいて、利用者端末に提供する自由視点映像に広告を挿入する方法であって、
利用者端末が自由視点映像生成装置に視点を通知するステップと、
前記自由視点映像生成装置が、通知された視点から見た映像を生成するステップと、
前記自由視点映像生成装置が、生成した映像の背景の領域から所望の広告を挿入する領域を決定するステップと、
前記自由視点映像生成装置が、生成した映像内の前記広告を挿入する領域にある対象物上に前記所望の広告を貼り付けた映像を生成するステップと、
前記自由視点映像生成装置が、前記広告を貼り付けた映像を利用者端末に送信するステップとを備え、
前記広告を挿入する領域を決定するステップは、前記通知された視点から見た映像の背景を示す画素の位置情報に基づき背景内の１つ以上の連続面を判定し、前記広告を挿入する領域については、複数の連続面を跨らない様に選択し、各連続面内の所定の誤差以下で平面に近似できる領域から、前記広告を挿入する領域を選択する方法。
前記自由視点映像生成装置は、前記近似した平面の法線方向の、前記通知された視点の方向に対する角度差が所定値以下の領域から、前記広告を挿入する領域を選択する、
請求項３に記載の方法。
請求項１または２に記載の自由視点映像生成装置としてコンピュータを機能させるプログラム。