JPWO2019097639A1 - 情報処理装置および画像生成方法 - Google Patents

Abstract

画像取得部４０は、被写体が単一色の背景の前側に位置する被写体画像を取得する。視線情報決定部３２は、ＨＭＤを装着したユーザの視線方向および視点位置を決定して、表示制御部５０に提供する。表示制御部５０は、被写体画像に含まれる被写体が、背景画像の前景画像となるようにクロマキー合成を実施して、ユーザの視点位置に応じた表示画像を生成する。表示制御部５０は、ユーザの視点位置に変更があった場合に、ユーザの視点位置に対して被写体を正対させるように被写体の向きを定める。

Description

本発明は、被写体を撮影した被写体画像と背景画像とをクロマキー合成する技術に関する。

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの視野全体に画像を提供し、ユーザの映像世界への没入感を高める。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢や位置と連動して３次元空間の画像を提供することで、映像世界への没入感をさらに高めることができる。

従来より、被写体を撮影した被写体画像と背景画像とをクロマキー合成する技術がある。本発明者は、クロマキー合成技術の可能性を模索し、被写体画像の向きを調整することで、新たな体験をユーザに提供できる可能性に想到した。

本発明の目的は、被写体画像の向きを調整してクロマキー合成を実施する技術を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、被写体が単一色の背景の前側に位置する被写体画像を取得する画像取得部と、被写体画像に含まれる被写体が、背景画像の前景画像となるようにクロマキー合成を実施して、ユーザの視点位置に応じた表示画像を生成する表示制御部とを備え、表示制御部は、視点位置に変更があった場合に、ユーザの視点位置に対して被写体を正対させるように被写体の向きを定める。

本発明の別の態様は、画像生成方法である。この方法は、被写体が単一色の背景の前側に位置する被写体画像を取得するステップと、被写体画像に含まれる被写体が、背景画像の前景画像となるようにクロマキー合成を実施して、ユーザの視点位置に応じた表示画像を生成するステップと、ユーザの視点位置に変更があった場合に、ユーザの視点位置に対して被写体を正対させるように被写体の向きを動かして表示画像を生成するステップと、を有する。

本発明のさらに別の態様は、情報処理装置である。この装置は、空間の撮影画像から作成された３次元空間モデルを取得する３次元データ取得部と、被写体が単一色の背景の前側で移動する被写体画像を取得する画像取得部と、被写体画像に含まれる被写体の移動に合わせて動く仮想スクリーンに被写体画像を投影し、クロマキー処理を適用して被写体部分を抜き取る被写体レイヤー画像生成部と、３次元空間モデル内に被写体レイヤー画像を配置して、ユーザの視点位置に応じた表示画像を生成する表示処理部とを備える。

本発明のさらに別の態様は、画像生成方法である。この方法は、空間の撮影画像から作成された３次元空間モデルを取得するステップと、被写体が単一色の背景の前側で移動する被写体画像を取得するステップと、被写体画像に含まれる被写体の移動に合わせて動く仮想スクリーンに被写体画像を投影するステップと、被写体画像を投影した仮想スクリーンにクロマキー処理を適用して被写体部分を抜き取るステップと、３次元空間モデル内に被写体を配置して、ユーザの視点位置に応じた表示画像を生成するステップとを有する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、被写体画像の向きを調整してクロマキー合成を実施する技術を提供できる。

実施例１における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 実施例１における情報処理装置の機能ブロックを示す図である。 ＨＭＤに表示されるクロマキー合成画像の一例を示す図である。 （ａ）および（ｂ）は、視点位置、被写体画像、背景画像の位置関係を説明するための図である。 視点位置を動かしたときのクロマキー合成画像の一例を示す図である。 実施例２における情報処理装置の機能ブロックを示す図である。 ３次元空間モデルの一例を示す図である。 ３次元空間モデルに配置されるオブジェクトの例を示す図である。 被写体画像を説明するための図である。 被写体レイヤー画像を生成する処理を説明するための図である。 部屋内の壁と机の間のスペースを被写体が移動する様子を示す図である。

＜実施例１＞
図１は、実施例１における情報処理システム１の構成例を示す。情報処理システム１は、情報処理装置１０と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像を表示する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

情報処理装置１０は、ネットワーク２経由で、配信サーバ１８と接続する。配信サーバ１８は、撮影スタジオなどで撮影している画像をライブ中継するストリーミング配信装置である。実施例１で被写体はマイクを持ったレポーターであり、撮像装置１９に向かってニュースを読み上げている。撮像装置１９は、単一色で構成されるカラースクリーン５の前に立ち、撮像装置１９に対して正対しているレポーターを撮影する。カラースクリーン５は青色や緑色などの単一色のスクリーンであってよいが、他の色であってもよい。撮像装置１９で撮影された画像は、情報処理装置１０においてクロマキー処理を適用されて、背景画像とクロマキー合成される。

ＨＭＤ１００はユーザの頭部に装着されて映像世界をユーザに提供する。実施例１でＨＭＤ１００は、配信サーバ１８から提供される被写体画像をクロマキー合成した合成画像をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動してクロマキー合成画像を更新することで、ユーザは、好みの視線方向、視点位置から画像を見ることができる。

情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、配信サーバ１８から配信される被写体画像を背景画像とクロマキー合成し、クロマキー合成画像をＨＭＤ１００に提供する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例１の処理装置１１は、ＨＭＤ１００の位置情報および姿勢情報を、視線位置および視線方向を変更するためのユーザの操作情報として受け付けて、ＨＭＤ１００に表示する画像を更新する機能をもつ。出力制御装置１２は、処理装置１１で生成された画像データをＨＭＤ１００に出力する処理ユニットであり、出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。出力制御装置１２または処理装置１１は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。

出力制御装置１２による機能は、処理装置１１に組み込まれてよい。情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下、画像をＨＭＤ１００に提供する機能を、まとめて情報処理装置１０の機能として説明する。

情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。

情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢や位置を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０から出力された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

図４は、実施例１における情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサデータ受信部２０、カメラ画像受信部２２、入力データ受信部２４、画像取得部４０および画像提供部５２を備える。情報処理装置１０は、さらにＨＭＤ情報取得部３０、視線情報決定部３２、受付部３４、表示制御部５０および背景画像保持部５４を備える。

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

センサデータ受信部２０は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、ＨＭＤ情報取得部３０に供給する。カメラ画像受信部２２は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ＨＭＤ情報取得部３０に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、カメラ画像受信部２２は（１／６０）秒ごとにカメラ画像を受信する。実施例１においてＨＭＤ情報取得部３０は、センサデータおよび撮影画像から、ユーザの頭部に装着されたＨＭＤ１００の姿勢を示す姿勢情報および位置を示す位置情報を導出する。ＨＭＤ情報取得部３０は、導出した姿勢情報および位置情報を、視線情報決定部３２に供給する。

ＨＭＤ情報取得部３０は、姿勢センサ１２４のセンサデータから、ＨＭＤ１００の姿勢および位置の変化を検出する。このときＨＭＤ情報取得部３０は３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢変化を特定し、３軸加速度センサのセンサデータから位置変化を特定してよい。なおＨＭＤ情報取得部３０は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化および位置変化の検出精度を高めることが好ましい。視線情報決定部３２は、ＨＭＤ１００の姿勢情報および位置情報に応じてユーザの視線方向および視点位置を定める。視線情報決定部３２は、決定した視線方向および視点位置を、表示制御部５０に提供する。

入力データ受信部２４は入力装置１６から、ユーザが入力したキーデータを受信して、受付部３４に供給する。受付部３４は、入力装置１６に入力されたユーザ操作を受け付ける。

実施例１の情報処理装置１０は、単一色の背景の前側に被写体が位置する画像を配信サーバ１８から取得し、被写体画像に含まれる被写体が背景画像の前景画像となるようにクロマキー合成して、ＨＭＤ１００に提供する機能をもつ。この映像合成機能は、情報処理装置１０にインストールされたクロマキー合成アプリケーションにより実現される。ユーザはコンテンツサーバからクロマキー合成アプリケーションを情報処理装置１０に事前にダウンロードすることで、クロマキー合成アプリケーションを利用できるようになる。

ユーザがクロマキー合成アプリケーションを起動すると、画像取得部４０が、被写体画像の配信要求を配信サーバ１８に送信する。配信サーバ１８は、情報処理装置１０からの配信要求を受けて、撮像装置１９の撮影画像、ここではカラースクリーン５の前に立っていて、撮像装置１９に正対している被写体（レポーター）の撮影画像を、情報処理装置１０にストリーミング配信する。画像取得部４０は、ストリーミング配信される被写体画像を取得し、表示制御部５０に提供する。表示制御部５０は、被写体画像に含まれる被写体が、背景画像の前景画像となるようにクロマキー合成を実施して、ユーザの視点位置に応じた表示画像を生成する。

図５は、ＨＭＤ１００に表示されるクロマキー合成画像の一例を示す。背景画像保持部５４は、クロマキー合成処理において背景となる画像を保持する。背景画像保持部５４は様々な背景画像を保持してよい。表示制御部５０は、背景画像保持部５４から背景画像を読み出し、被写体画像に含まれる被写体が、読み出した背景画像の前景画像となるようにクロマキー合成を実施して、ユーザの視点位置に応じた表示画像を生成する。

図５に示す例では、表示制御部５０が、４階建ての建物の背景画像を背景画像保持部５４から読み出し、レポーターである被写体が、建物の前でニュースをレポートするクロマキー合成画像を生成している。なお背景画像保持部５４は、２次元画像である背景画像を保持するが、３次元画像である背景画像を保持していてもよい。情報処理装置１０のユーザは、利用する背景画像を背景画像保持部５４から任意に選択できてよい。

なお背景画像は、配信サーバ１８から提供されてもよい。特に実施例１のように、配信サーバ１８が、ニュースを伝えるレポーターの画像を配信する場合には、ニュースの内容に応じて、配信サーバ１８が適切な背景画像を情報処理装置１０に送信してもよい。このとき画像取得部４０は、被写体画像および背景画像を取得し、表示制御部５０が、被写体画像に含まれる被写体が背景画像の前景画像となるようにクロマキー合成を実施してよい。

上記した例では、配信サーバ１８がニュース番組を提供しているが、たとえば実施例１の技術は、友人同士が会話をするときにも利用できる。実施例１の技術によると、情報処理装置１０において背景画像を自由に設定でき、またＨＭＤ１００を利用することで非常に近距離で被写体を見ることができるようになる。そこでユーザは、友人との思い出の場所を背景画像に選択して、友人との会話を楽しむこともできる。また背景画像保持部５４は、実際にカメラで撮影された撮影画像を保持してよいが、コンピュータグラフィックスにより作成した画像を、背景画像として保持してもよい。

上記したように、視線情報決定部３２は、ＨＭＤ１００の姿勢情報および位置情報に応じて、ユーザの視線方向および視点位置を定め、表示制御部５０に提供する。表示制御部５０は、ユーザの視線方向および視点位置に応じて表示画像を生成する。

実施例１では、表示制御部５０が、被写体の向きを、ユーザの視点位置に対して正対するように制御する。
図６（ａ）および（ｂ）は、視点位置、被写体画像、背景画像の位置関係を説明するための図である。この説明図では、視点位置、被写体画像、背景画像を上方から俯瞰した様子を模式的に示している。ここで図６（ａ）は、視点位置移動前の位置関係を、図６（ｂ）は、視点位置移動後の位置関係を表現している。

表示制御部５０は、視点位置から被写体画像に引いた垂線が被写体画像の幅方向中央を通るように、被写体画像の向きおよび位置を定める。図６（ａ）は視点位置移動前の様子を示しているが、図６（ｂ）に示すように、ユーザが横方向に移動して視点位置を動かすと、表示制御部５０は、被写体画像の向きを変更して、視点位置から被写体画像に引いた垂線が被写体画像の幅方向中央を通るように制御する。これにより被写体画像は、ユーザに正対するようになる。なおユーザの視点移動に対して、被写体の向きを素早く追従させるとユーザが違和感を覚えることを、発明者は知見により得た。そこで表示制御部５０は、被写体をユーザの視点位置の変更に対して、僅かに遅れて正対させるように被写体の向きを変更させてもよい。

図７は、視点位置を動かしたときのクロマキー合成画像の一例を示す。図６（ｂ）に示すようにユーザが視点位置（ＨＭＤ１００の位置）を左方向にずらしてレポーターを見た場合、レポーターは、背景の建物に対して相対的に右方向に移動する。このときレポーターはユーザに正対して表示されることで、ユーザは、レポーターが自分に対して話しかけているような感覚をもつことができる。上記したように、この技術を友人同士のコミュニケーションに利用すると、お互いが正対した状態を維持できることで、親密感をもって会話できるようになる。

実施例１では、レポーターのライブ映像を配信することを説明したが、配信する画像はライブ画像でなくてよく、撮影済のものであってもよい。この場合、情報処理装置１０は、配信サーバ１８から被写体画像の提供を受けてもよく、またＤＶＤなどの記録媒体から被写体画像を提供されてもよい。

＜実施例２＞
実施例２では、背景画像に対して被写体が移動する表示画像を生成するケースを説明する。
図８は、実施例２における情報処理装置１０の機能ブロックを示す。情報処理装置１０は、表示制御部５０、３Ｄモデル保持部６０、３Ｄデータ取得部６２、被写体画像保持部６４および画像取得部６６を備える。なお図８において、図４に示した共通の構成であるセンサデータ受信部２０、カメラ画像受信部２２、入力データ受信部２４、ＨＭＤ情報取得部３０、視線情報決定部３２、受付部３４および画像提供部５２の図示は省略している。

図８において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

実施例２の情報処理装置１０は、３次元空間モデル内に被写体のレイヤー画像を配置した画像を生成して、ＨＭＤ１００に提供する機能をもつ。映像合成機能は、情報処理装置１０にインストールされたクロマキー合成アプリケーションにより実現される。ここで３次元空間モデルは、現実の空間を撮影した画像を解析して空間の形状モデルを定義し、定義した形状に撮影画像（テクスチャ画像）を貼り付けることで作成される。

実施例２では、空間の撮影画像から作成された３次元空間モデル、および被写体が単一色の背景の前側で移動する様子を撮影した被写体画像が、コンテンツ提供サーバである配信サーバ１８から情報処理装置１０に配信され、３Ｄモデル保持部６０および被写体画像保持部６４にそれぞれ保持される。情報処理装置１０は、３Ｄモデル保持部６０に保持された３次元空間モデル、および被写体画像保持部６４に保持された被写体画像から、ＨＭＤ１００に提供する表示画像を生成する。なお３次元空間画像および被写体画像は、ＤＶＤなどの記録媒体から情報処理装置１０に提供されてもよい。

図９は、３次元空間モデルの一例を示す。この３次元空間モデルは実際の部屋内部をモデリングしたものであり、ＨＭＤ１００を装着したユーザが部屋内を観察できるように構成される。上記したように３次元の部屋内部のモデリングは、部屋内をカメラで撮影した画像を用いて行われる。撮影作業は、部屋中央にカメラを配置して、隙間なく部屋内部を撮影し、その後、撮影画像を高精度につなぎ合わせて、壁、床、天井の境界を特定して、壁、床、天井の形状をモデリングする。モデリングした形状に対して、撮影画像をテクスチャ画像として貼り付け、これにより部屋内部を表現した３次元空間モデルが作成される。３次元空間モデルは、配信サーバ１８側で作成されて、情報処理装置１０に配信されてよい。

なお部屋の内部空間が直方体のような単純な形状であれば、部屋中央に配置したカメラの向きを変えて隙間なく撮影することで、モデリングに十分な撮影画像を用意できるが、たとえば部屋の形状によっては一つのカメラ位置からでは撮影できないような領域（死角）が存在することもある。そのような場合は、カメラ位置を動かして、死角を撮影し、撮影画像をつなぎ合わせることで、空間の形状モデリングを高精度に実施することが好ましい。

図１０は、３次元空間モデルに配置されるオブジェクト２００の例を示す。このオブジェクト２００は４脚の机であり、３次元空間モデルにおける位置情報を定義されたレイヤー画像として作成される。実施例２では、机のない状態で撮影した部屋内画像と、机を配置した状態で撮影した部屋内画像の差分から、机画像を抜き出して、部屋内における位置情報を属性情報として有するレイヤー画像が作成される。実施例２において、３Ｄモデル保持部６０は、３次元空間モデルに加えて、オブジェクト２００のレイヤー画像も保持するものとする。

図１１は、被写体画像を説明するための図である。被写体画像は、３次元空間モデルを作成するために撮影された同じ部屋の中を実際に移動する被写体を撮影した動画像である。図１１では、撮像装置１９が、奥側の壁に沿って一人の被写体が左から右に移動している様子を撮影している。撮像装置１９を３次元空間モデル作成用の部屋内画像を作成したときと同じ位置に配置することで、３次元空間モデルにおける被写体の位置情報の設定が容易となるが、別の位置から被写体を撮影して、３次元空間モデルにおける被写体の位置情報を別途定義してもよい。

被写体の撮影時、部屋からは実オブジェクトである机は取り除かれ、被写体は、机が配置される場所と、奥側の壁の間を移動し、机が配置されていた場所は歩かないようにする。なお被写体の背景を構成する奥側の壁には、クロマキー合成を行うために、青色や緑色などの単一色のシートが被せられており、したがって被写体画像は、クロマキー処理により被写体を抜き出せる画像となっている。被写体画像保持部６４は、被写体画像を保持する。

ユーザがクロマキー合成アプリケーションを起動すると、３Ｄデータ取得部６２が、３Ｄモデル保持部６０から３次元空間モデルを取得し、表示処理部７２に提供する。また画像取得部６６が、被写体画像保持部６４から動画像である被写体画像を取得し、被写体レイヤー画像生成部７０に提供する。表示処理部７２は、３次元空間モデルで構成される部屋の画像に、被写体が移動する様子を合成した表示画像を生成する。

まず被写体レイヤー画像生成部７０は、被写体画像に含まれる被写体の移動に合わせて動く仮想スクリーンを設定する。仮想スクリーンは、被写体画像の中で、被写体を少なくとも包含する大きさをもつ。被写体レイヤー画像生成部７０は、仮想スクリーンに被写体画像を投影し、クロマキー処理を適用して被写体部分を抜き取り、被写体レイヤー画像を生成する処理を行う。被写体レイヤー画像生成部７０は、被写体画像に含まれる被写体の位置に応じて、被写体画像を投影する仮想スクリーンの向きを定める。

図１２は、被写体レイヤー画像を生成する処理を説明するための図である。図１２には、被写体レイヤー画像生成部７０が被写体の位置に応じて、被写体画像を投影する仮想スクリーン２０２ａ、２０２ｂ、２０２ｃ（以下、代表する場合は「仮想スクリーン２０２」と呼ぶ）を設定する様子を示している。図１２に示す仮想スクリーン２０２は、鉛直方向に延びる平板（起立面）および足元で水平に広がる平板とを組み合わせているが、人の立体感を出すために起立面には凹凸が付与されてもよい。

被写体レイヤー画像生成部７０は、撮像装置１９の位置（カメラ位置）と被写体位置の関係に応じて、仮想スクリーン２０２の向きを定める。ここではカメラ位置と被写体を結ぶ線が仮想スクリーン２０２ａの起立面の垂線となるように、仮想スクリーン２０２の向きが定められている。実施例２では、ユーザには、３次元空間モデル内のカメラ位置近傍で部屋内を見渡すような画像が提供されるが、ユーザは、カメラ位置から移動して、異なる視点位置から被写体を見ることができる。カメラ位置に対して、被写体を投影された仮想スクリーン２０２を正対させることで、情報処理装置１０は、ユーザがカメラ位置から多少移動した場合であっても、違和感のない表示画像をＨＭＤ１００に提供できる。

表示処理部７２は、３Ｄデータ取得部６２から３次元空間モデルを提供され、被写体に対する背景画像を作成する。
図１３は、奥側の壁と机の間のスペースを、被写体が移動する様子を示す。表示処理部７２は、３次元空間モデルおよびオブジェクト２００のレイヤー画像を用いて、部屋内の画像を生成するとともに、仮想スクリーン２０２に被写体を投影して、仮想スクリーン２０２を３次元空間内で動かすことで、被写体が、机と奥の壁の間を移動する動画像を生成する。このとき表示処理部７２は、３次元空間モデル内に被写体レイヤー画像およびオブジェクトレイヤー画像を配置して、ユーザの視点位置に応じた表示画像を生成するが、オブジェクト２００のレイヤー画像を被写体レイヤー画像の手前に配置することで、被写体の一部が机で遮蔽される様子を表現できる。

視線情報決定部３２は、ＨＭＤ１００の姿勢情報および位置情報に応じて、ユーザの視線方向および視点位置を定め、表示処理部７２に提供する。表示処理部７２は、ユーザの視線方向および視点位置に応じて表示画像を生成する。表示処理部７２は、３次元空間におけるユーザの初期位置を、撮像装置１９を配置した位置に定めてよいが、視点位置の移動により、オブジェクト２００および被写体と３次元空間モデルとの相対的位置関係が変化する。このとき被写体の仮想スクリーン２０２が、基本的にはユーザの初期視点位置に正対しているため、そこから視点位置が若干動いた場合であっても、表示処理部７２は、違和感ない表示画像を生成することができる。

以上、本発明を複数の実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例１，２では、１人の被写体画像を背景画像に合成したが、複数の被写体画像を背景画像に合成してもよい。

１・・・情報処理システム、２０・・・センサデータ受信部、２２・・・カメラ画像受信部、２４・・・入力データ受信部、３０・・・ＨＭＤ情報取得部、３２・・・視線情報決定部、３４・・・受付部、４０・・・画像取得部、５０・・・表示制御部、５２・・・画像提供部、５４・・・背景画像保持部、６０・・・３Ｄモデル保持部、６２・・・３Ｄデータ取得部、６４・・・被写体画像保持部、６６・・・画像取得部、７０・・・被写体レイヤー画像生成部、７２・・・表示処理部、１００・・・ＨＭＤ。

本発明は、クロマキー合成画像を生成する技術に利用できる。

Claims (12)

1. 被写体が単一色の背景の前側に位置する被写体画像を取得する画像取得部と、
   被写体画像に含まれる被写体が、背景画像の前景画像となるようにクロマキー合成を実施して、ユーザの視点位置に応じた表示画像を生成する表示制御部と、を備え、
   前記表示制御部は、視点位置に変更があった場合に、ユーザの視点位置に対して被写体を正対させるように被写体の向きを定める、
   ことを特徴とする情報処理装置。
2. 前記表示制御部は、被写体をユーザの視点位置の変更に対して、僅かに遅れて正対させるように、被写体の向きを変更させる、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記画像取得部は、ストリーミング配信される被写体画像を取得する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢情報および位置情報を取得するＨＭＤ情報取得部と、
   ヘッドマウントディスプレイの姿勢情報および位置情報に応じて、視線方向および視点位置を定める視線情報決定部と、を備え、
   前記表示制御部は、視線方向および視点位置に応じて表示画像を生成する、
   ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 被写体が単一色の背景の前側に位置する被写体画像を取得するステップと、
   被写体画像に含まれる被写体が、背景画像の前景画像となるようにクロマキー合成を実施して、ユーザの視点位置に応じた表示画像を生成するステップと、
   ユーザの視点位置に変更があった場合に、ユーザの視点位置に対して被写体を正対させるように被写体の向きを動かして表示画像を生成するステップと、
   を有することを特徴とする画像生成方法。
6. コンピュータに、
   被写体が単一色の背景の前側に位置する被写体画像を取得する機能と、
   被写体画像に含まれる被写体が、背景画像の前景画像となるようにクロマキー合成を実施して、ユーザの視点位置に応じた表示画像を生成する機能と、
   ユーザの視点位置に変更があった場合に、ユーザの視点位置に対して被写体を正対させるように被写体の向きを動かして表示画像を生成する機能と、
   を実現させるためのプログラム。
7. 空間の撮影画像から作成された３次元空間モデルを取得する３次元データ取得部と、
   被写体が単一色の背景の前側で移動する被写体画像を取得する画像取得部と、
   被写体画像に含まれる被写体の移動に合わせて動く仮想スクリーンに被写体画像を投影し、クロマキー処理を適用して被写体部分を抜き取る被写体レイヤー画像生成部と、
   ３次元空間モデル内に被写体レイヤー画像を配置して、ユーザの視点位置に応じた表示画像を生成する表示処理部と、を備える、
   ことを特徴とする情報処理装置。
8. 被写体レイヤー画像生成部は、被写体画像に含まれる被写体の位置に応じて、被写体画像を投影する仮想スクリーンの向きを定める、
   ことを特徴とする請求項７に記載の情報処理装置。
9. 被写体画像は、３次元空間モデルを作成するために撮影された空間内を移動する被写体を撮影した画像である、
   ことを特徴とする請求項７または８に記載の情報処理装置。
10. ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢情報および位置情報を取得するＨＭＤ情報取得部と、
    ヘッドマウントディスプレイの姿勢情報および位置情報に応じて、視線方向および視点位置を定める視線情報決定部と、を備え、
    前記表示制御部は、視線方向および視点位置に応じて表示画像を生成する、
    ことを特徴とする請求項７から９のいずれかに記載の情報処理装置。
11. 空間の撮影画像から作成された３次元空間モデルを取得するステップと、
    被写体が単一色の背景の前側で移動する被写体画像を取得するステップと、
    被写体画像に含まれる被写体の移動に合わせて動く仮想スクリーンに被写体画像を投影するステップと、
    被写体画像を投影した仮想スクリーンにクロマキー処理を適用して被写体部分を抜き取るステップと、
    ３次元空間モデル内に被写体を配置して、ユーザの視点位置に応じた表示画像を生成するステップと、
    を有することを特徴とする画像生成方法。
12. コンピュータに、
    空間の撮影画像から作成された３次元空間モデルを取得する機能と、
    被写体が単一色の背景の前側で移動する被写体画像を取得する機能と、
    被写体画像に含まれる被写体の移動に合わせて動く仮想スクリーンに被写体画像を投影する機能と、
    被写体画像を投影した仮想スクリーンにクロマキー処理を適用して被写体部分を抜き取る機能と、
    ３次元空間モデル内に被写体を配置して、ユーザの視点位置に応じた表示画像を生成する機能と、
    を実現させるためのプログラム。

Images