JP6619686B2

JP6619686B2 - 視聴範囲推定方法及び視聴範囲推定装置

Info

Publication number: JP6619686B2
Application number: JP2016088816A
Authority: JP
Inventors: 聡一郎内田; 高田　英明; 英明高田; 麻衣子井元; 小川　克彦; 克彦小川
Original assignee: Nippon Telegraph and Telephone Corp; Keio University
Current assignee: Nippon Telegraph and Telephone Corp; Keio University
Priority date: 2016-04-27
Filing date: 2016-04-27
Publication date: 2019-12-11
Anticipated expiration: 2036-04-27
Also published as: JP2017199171A

Description

本発明は、撮影された映像から被写体を抽出し、別の時間、別の場所で投影して再現するテレプレゼンス技術に関する。

近年、映像の高精細化や投影技術の発達を背景として、撮影された映像から人物や物体を抽出し、別の時間、別の場所で自然な形で再現し、高い臨場感のあるコンテンツとして提供するためのシステムが検討されている。

人物や物体を任意の空間上に再現する手段の一つとして、ハーフミラーや透明スクリーン等を用い、２次元平面に投影する方法がある（例えば非特許文献１）。ハーフミラーや透明スクリーンに人物や物体を投影する方法は、音楽ライブなど大勢の観客を動員する商業コンテンツでも利用され始めている。

３次元の被写体を撮影して２次元平面上に投影した場合、見る位置によって被写体の見え方は異なるはずであるが、投影された映像を見る位置を変えても見え方は一定である。つまり、３次元空間上の人物や物体を２次元平面上に投影する方法では、視点の位置を変更することによって生まれる視差（運動視差）が表現されず、不自然に見えてしまう。

この問題に対して、非特許文献２では、観測者の顔情報から視点の位置を推定し、その位置から見えるべき映像を求めてリアルタイムに表示するシステムが提案されている。非特許文献２の手法を用いることで、観測者の運動視差も考慮した自然な映像を表示することが可能となる。

Hanyuool Kim, 他５名、"MARIO: Mid-Air Augmented Reality Interaction with Objects"、Entertainment Computing, December 2014, Volume 5, Issue 4, pp. 233-241 玉井康之、他４名、"運動視差提示による実画像３次元ディスプレイの提案"、第２５回ロボット学会学術講演会、２００７年

しかしながら、非特許文献２の手法は、観測者が単独であることを前提としており、大勢の聴衆に向けて提供される商業コンテンツには適さないという問題があった。

本発明は、上記に鑑みてなされたものであり、２次元平面に投影した被写体が自然に見える範囲を求めることを目的とする。

第１の本発明に係る視聴範囲推定方法は、コンピュータが実行する視聴範囲推定方法であって、被写体を撮影した映像から当該被写体が写っている被写体領域を抽出するステップと、前記被写体の３次元モデルを生成するステップと、前記３次元モデルに前記被写体領域を対応付けて前記３次元モデルにおいて前記映像に写っている部分を特定するステップと、各視点から前記３次元モデルを見た時に、当該視点から見えて前記映像にも写っている第１領域、当該視点から見えなくて前記映像に写っている第２領域、当該視点から見えて前記映像に写っていない第３領域を抽出するステップと、各視点の前記第１領域、前記第２領域、前記第３領域の割合に基づいて視聴範囲を決定するステップと、を有することを特徴とする。

第２の本発明に係る視聴範囲推定装置は、被写体を撮影した映像から当該被写体が写っている被写体領域を抽出する被写体抽出手段と、前記被写体の３次元モデルを生成する被写体測定手段と、前記３次元モデルに前記被写体領域を対応付けて前記３次元モデルにおいて前記映像に写っている部分を特定する対応付け手段と、各視点から前記３次元モデルを見た時に、当該視点から見えて前記映像にも写っている第１領域、当該視点から見えなくて前記映像に写っている第２領域、当該視点から見えて前記映像に写っていない第３領域を抽出する領域抽出手段と、各視点の前記第１領域、前記第２領域、前記第３領域の割合に基づいて視聴範囲を決定する視聴範囲決定手段と、を有することを特徴とする。

本発明によれば、２次元平面に投影した被写体が自然に見える範囲を求めることができる。

被写体を撮影して投影したときに、見る位置によって被写体の見える領域が異なることを説明するための図である。本実施の形態における視聴範囲推定装置の構成を示す機能ブロック図である。被写体の３次元モデルを各視点から見た様子を示す図である。被写体の横幅と奥行きと視点の角度から各領域の割合を出すことを説明する図である。本実施の形態における視聴範囲推定装置の処理の流れを示すフローチャートである。投影環境において映像を投影した様子を示す図である。視聴者の評価結果をもとに視聴範囲を決定することを説明する図である。投影環境に障害物が存在する場合に被写体の見える領域を抽出する様子を示す図である。垂直方向の視聴範囲を示す図である。

まず、本実施の形態の視聴範囲の推定の概要について説明する。

視点の位置によって３次元空間上の被写体の見える領域は異なる。被写体を撮影して２次元平面上に投影した場合、投影された映像を見る位置によっては、例えば映像に対して斜め方向から見た場合、その映像が不自然に見えることがある。

図１に示すように、円柱状の被写体を撮影してハーフミラーに投影したとき、投影環境において投影された被写体の映像を正面からずれた位置で見た場合、本来ならば、領域βは見えずに、領域γは見えるはずであるが、実際には、領域βが見えて、領域γが見えない映像を見ることになる。なお、図１に示した領域α，β，γは視点の移動の前後によって見える見えないが異なる領域であり、以下のような領域である。領域αは、移動後も見えていて良く、実際にも見えている領域である。領域βは、移動後は見えていては駄目だが、実際には見えてしまう領域である。領域γは、移動後は新しく見えなければならないが、実際には見えない領域である。

領域αに対する領域βや領域γの割合が増加するにつれて、投影された映像が本来見えるべき映像と乖離し、不自然になる。そこで、本実施の形態では、撮影された被写体の映像と被写体の形状から各視点での領域α，β，γを抽出し、投影環境において領域βや領域γの割合が一定以上にならない視聴範囲を決定する。

次に、本実施の形態における視聴範囲推定装置について説明する。

図２は、本実施の形態における視聴範囲推定装置の構成を示す機能ブロック図である。

同図に示す視聴範囲推定装置１は、領域抽出部１１、形状測定部１２、対応付け部１３、及び視聴範囲推定部１４を備える。視聴範囲推定装置１は、カメラ２及びデプスセンサ３Ａ〜３Ｎを接続する。視聴範囲推定装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは視聴範囲推定装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

領域抽出部１１は、カメラ２で撮影した映像から被写体１００の写っている領域を抽出する。領域の抽出は、例えばＫｉｎｅｃｔのようなデプスセンサを用いてカメラ２から被写体１００方向の撮影シーンのデプスマップを作成し、映像内の特徴点を抽出して実現することを想定する（参考文献：中島秀真、他５名、“Ｋｉｎｅｃｔによる安定な動物体領域抽出のためのカラー画像とデプスマップの時刻合わせ”、電子情報通信学会技術研究報告、２０１２年、第１１１巻、第３７８号、ｐｐ．１８３−１９０）。

形状測定部１２は、被写体１００の３次元空間上での形状を測定する。形状の測定は、デプスセンサ３Ａ〜３Ｎや超音波を用いて３次元モデルを生成することを想定する。例えば、被写体１００から等距離かつ複数箇所に配置されたデプスセンサ３Ａ〜３Ｎによって得られたデプスマップを結合して被写体１００の３次元モデルを生成する。

対応付け部１３は、被写体１００の領域（映像内での座標）と形状（３次元モデル）の情報から、映像内に写っている被写体１００と３次元モデルとを対応付けて、３次元モデルにおいて映像内に写っている部分を特定する。例えば、デプスセンサ３Ａ〜３Ｎを用いて３次元モデルを生成した場合、カメラ２と同じ位置のデプスセンサ３Ａによって得られたデプスマップに画素を貼り付けることで実現できる。

視聴範囲推定部１４は、被写体１００の映像と３次元モデルを対応つけた情報を用い、撮影した映像を投影したときに、投影した映像が自然に見える視聴範囲を推定する。

ここで、視聴範囲の推定方法について説明する。被写体１００を撮影したカメラ２の位置を基本位置とする。視点が基本位置から移動した位置から見える被写体１００を考える。

視聴範囲推定部１４は、被写体１００の映像と３次元モデルを対応つけた情報を用いて、基本位置から移動した位置において被写体１００の３次元モデルを見たとして、移動後も「引き続き見えていて良い領域α」、移動後は「見えていては駄目だが、実際は見えてしまう領域β」、移動後は「見えなければ駄目だが、実際は見えない領域γ」の各領域を抽出する。実際は見えてしまう領域は映像内に写っている領域であり、実際は見えない領域は映像内に写っていない領域である。

例えば、図３に示すように、立方体の被写体１００の３次元モデルの正面を視点Ｏ（基本位置）とし、基本位置から視点Ｋ、視点Ｎと視点を移動させた位置において３次元モデルを見たときの領域α，β，γを抽出する。視点Ｏでは、立方体の正面のみが見えており、正面のみが撮影される。対応付け部１３は、被写体１００の映像と立方体の３次元モデルを対応付けて、３次元モデルにおいて映像内に写っている部分を特定する。視点Ｋから３次元モデルを見ると、立方体の正面と側面が見える。立方体の正面は、視点Ｋの位置から見えて、映像内に写っている領域なので領域αである。立方体の側面は、視点Ｋの位置から見えるが、映像内に写っていないので領域γである。視点Ｋからさらに右側に移動した視点Ｎにおいても、領域α，β，γを抽出する。視点の位置は、例えば、被写体１００の３次元モデルの中心から等距離かつ等間隔に設定する。

視聴範囲推定部１４は、各視点において領域α，β，γを抽出すると、各視点における領域αの面積に対する領域β，γの面積が一定以上の割合にならない視点の範囲を視聴範囲として決定する。以下に、各領域の割合を算出する一例を示す。例えば、被写体１００が立方体の場合、図４に示すように、立方体の奥行きの長さをｄ、横幅の長さをｗ、基本位置である視点Ｏに対する視点Ｋの角度をθ_Ｋとすると、領域αの面積Ｓ_αと領域γの面積Ｓ_γの割合は次式（１）で表すことができる。

あるいは、視聴範囲推定部１４は、各視点から見た被写体１００の３次元モデルを平面上に投影し、各視点における投影図から領域α，β，γそれぞれの面積を求めて領域α，β，γの割合を算出してもよい。

なお、各領域の色調、模様、又は輝度を考慮して各領域の割合を補正してもよい。例えば、色調に関しては、各領域の平均値や最も多くの面積を占める色調値を算出し、色調の膨張性や収縮性による錯覚を加味して領域の割合を決定する。

視聴範囲内として許容する領域α，β，γの割合の条件は、目的や意図に応じて任意に指定できるものとする。例えば、領域αの割合が全体（領域α，β，γの合計）の７０％以上、領域βの割合が２０％未満であって領域γの割合が３０％未満、領域β，γの割合の合計が４０％未満、などがある。さらに、条件を段階的に設けて、視聴範囲を複数に分けてもよい。視聴範囲を複数に分けることで、サービス提供者は、投影環境での各視聴範囲の料金設定に用いることができる。

次に、本実施の形態における視聴範囲推定装置の動作について説明する。

図５は、本実施の形態における視聴範囲推定装置１の処理の流れを示すフローチャートである。

撮影環境において、被写体１００となる人物や物体をカメラ２で撮影する（ステップＳ１１）。

領域抽出部１１が撮影された映像から被写体１００が写っている領域を抽出し（ステップＳ１２）、形状測定部１２が被写体１００の三次元空間上での形状を測定する（ステップＳ１３）。

対応付け部１３が被写体１００の領域と３次元モデルとを対応付ける（ステップＳ１４）。

視聴範囲推定部１４が、カメラ２の位置と異なる各視点から被写体１００を見た時に、当該視点からは見えて映像にも写っている領域α、当該視点からは見えなくて映像に写っている領域β、及び当該視点からは見えて映像に写っていない領域γを抽出する（ステップＳ１５）。

各視点における領域α，β，γの割合に応じて、視聴範囲を決定する（ステップＳ１６）。

投影環境において、被写体１００の映像を投影し、ハーフミラー等で結像させる（ステップＳ１７）。

ステップＳ１６で決定した視聴範囲を投影環境における被写体１００の結像位置や投影環境の縮尺にあわせて補正し、最終的な視聴範囲を決定する（ステップＳ１８）。

図６は、投影環境において映像を投影した様子を示す図である。結像した被写体の映像２００の位置に合わせて、投影環境における最終的な視聴範囲３００を決定する。被写体が複数ある場合には、各被写体に対応する視聴範囲から最終的な視聴範囲を決定する。例えば、被写体ごとの視聴範囲の重複部分を抽出しても良いし、目的や意図におうじて各視聴範囲を重み付けし、特定の視聴範囲のみを採用してもよい。また、被写体の映像２００の結像位置や形状が変化する場合は、その変化に応じて最終的な視聴範囲３００を変える。

視聴範囲を被写体ごとに分けることにより、特定の被写体に特化した座席を作り、料金設定に用いることができる。例えば、アイドルグループのメンバーそれぞれを被写体としたとき、各メンバーごとに最も自然に見える座席を知ることができる。

結像した被写体の映像２００を人が見た時に受ける印象（自然に見えるか）は、機械的に算出した視聴範囲と一致しない可能性がある。また、何らかの理由により形状測定部１２が被写体１００の形状を測定できない可能性も考えられる。

そこで、投影環境において、視聴者に被写体１００の映像２００を見せ、その際の印象（自然さや整合性）を評価させて評価結果を集計し、評価結果をもとに視聴者の印象を考慮した視聴範囲を推定してもよい。評価方法は、アンケートを用いた感性的評価を想定する。

例えば、図７に示すように、視聴範囲３００内とされた地点でも、評価結果が悪ければ同地点付近を視聴範囲から除外する。各地点での評価結果をもとに、被写体の映像２００を中心とした扇型の範囲を算出し、未評価の地点も含めて視聴範囲３１０としても良い。

また、投影環境に支柱などの障害物がある場合、その位置や形状によっては、投影された被写体の映像の一部を視認することができない状況が想定される。そのため、障害物を考慮した次の処理を追加しても良い。

投影環境の形状を測定し、３次元モデルを生成する。３次元モデルは、平面の図面から作成しても良いし、投影環境に設置した複数のカメラの画像やデプスセンサの結果をもとに作成しても良い。

図５のステップＳ１５において領域α，β，γを抽出するとき、図８に示すように、被写体１００の３次元モデルと障害物１１０の３次元モデルを配置して、各視点から被写体１００を見たときの領域α，β，γを抽出する。このとき、被写体１００の一部が障害物１１０に重なる場合には、重なった部分を除外して領域を抽出する。図８の例では、視点Ｋにおいて、被写体１００の領域γに障害物１１０が重なっているので、障害物１１０が無い場合と比べて領域γの面積は小さくなる。なお、本処理は、各領域が連続している時にのみ適用する。

また、投影環境によっては、視点の高さが必ずしも一定でなく、例えば投影された映像から離れるにしたがい座席の位置が徐々に高くなる構造である場合が考えられる。このような環境では、水平方向だけでなく、垂直方向についても投影される映像の自然さを考慮する必要がある。垂直方向の自然さを考慮すべく、以下の処理を追加しても良い。

視聴範囲内の視点の座標に高さを追加する。視点の高さは、投影環境において高度計を用いて求めても良いし、投影環境の図面を参照して求めても良い。

図５のステップＳ１５において、高さの変化も含めた各視点から被写体１００の３次元モデルを見た状態で、領域α，β，γを抽出する。

図５のステップＳ１６では、高さも含めた視聴範囲を決定する。

図９は、垂直方向の視聴範囲を示す図である。被写体の映像２００の垂直方向にも視聴範囲３００が決められる。

以上説明したように、本実施の形態によれば、被写体１００の３次元モデルに映像内に写っている被写体１００を対応付けて３次元モデルにおいて映像内に写っている部分を特定し、各視点から前記３次元モデルを見た時に、当該視点から見えて映像にも写っている領域α、当該視点から見えなくて前記映像に写っている領域β、当該視点から見えて前記映像に写っていない領域γを抽出し、各視点の領域α、β、γの割合に基づいて視聴範囲を決定することにより、投影環境に投影した被写体１００の映像２００が自然に見える範囲が得られる。自然に見える範囲が得られるので、投影環境の広さや形状を適切に設定することが可能となる。

１…視聴範囲推定装置
１１…領域抽出部
１２…形状測定部
１３…対応付け部
１４…視聴範囲推定部
２…カメラ
３Ａ〜３Ｎ…デプスセンサ
１００…被写体
１１０…障害物
２００…映像
３００，３１０…視聴範囲

Claims

コンピュータが実行する視聴範囲推定方法であって、
被写体を撮影した映像から当該被写体が写っている被写体領域を抽出するステップと、
前記被写体の３次元モデルを生成するステップと、
前記３次元モデルに前記被写体領域を対応付けて前記３次元モデルにおいて前記映像に写っている部分を特定するステップと、
各視点から前記３次元モデルを見た時に、当該視点から見えて前記映像にも写っている第１領域、当該視点から見えなくて前記映像に写っている第２領域、当該視点から見えて前記映像に写っていない第３領域を抽出するステップと、
各視点の前記第１領域、前記第２領域、前記第３領域の割合に基づいて視聴範囲を決定するステップと、
を有することを特徴とする視聴範囲推定方法。
前記被写体領域を抽出するステップは、撮影シーンのデプスマップと前記映像から特徴点を抽出することを特徴とする請求項１に記載の視聴範囲推定方法。
前記視聴範囲を決定するステップは、前記第１領域、前記第２領域、前記第３領域それぞれの色調、模様、又は輝度を考慮して前記第１領域、前記第２領域、前記第３領域の割合を決定することを特徴とする請求項１又は２に記載の視聴範囲推定方法。
前記被写体の映像を投影環境において投影し、前記投影環境の各位置において前記映像を見た視聴者の評価結果を用いて前記視聴範囲を補正するステップを有することを特徴とする請求項１乃至３のいずれかに記載の視聴範囲推定方法。
前記第１領域、前記第２領域、前記第３領域を抽出するステップは、視点を垂直方向に移動したときの前記第１領域、前記第２領域、前記第３領域を抽出し、
前記視聴範囲を決定するステップは、垂直方向も含めた前記視聴範囲を決定することを特徴とする請求項１乃至４のいずれかに記載の視聴範囲推定方法。
被写体を撮影した映像から当該被写体が写っている被写体領域を抽出する被写体抽出手段と、
前記被写体の３次元モデルを生成する被写体測定手段と、
前記３次元モデルに前記被写体領域を対応付けて前記３次元モデルにおいて前記映像に写っている部分を特定する対応付け手段と、
各視点から前記３次元モデルを見た時に、当該視点から見えて前記映像にも写っている第１領域、当該視点から見えなくて前記映像に写っている第２領域、当該視点から見えて前記映像に写っていない第３領域を抽出する領域抽出手段と、
各視点の前記第１領域、前記第２領域、前記第３領域の割合に基づいて視聴範囲を決定する視聴範囲決定手段と、
を有することを特徴とする視聴範囲推定装置。