JPWO2018074419A1

JPWO2018074419A1 - 情報処理装置

Info

Publication number: JPWO2018074419A1
Application number: JP2018546325A
Authority: JP
Inventors: 掛　智一; 智一掛; 中島　聡; 聡中島
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2016-10-21
Filing date: 2017-10-16
Publication date: 2019-06-27
Anticipated expiration: 2037-10-16
Also published as: JP6695997B2; WO2018074419A1; US11416975B2; US20190318462A1

Abstract

１又は複数の被写体が存在する現実空間を観測して得られる画像を取得し、当該取得された画像に写っている被写体に応じて決まる位置に複数の単位体積要素を配置することによって、被写体を表現する仮想空間を構築する情報処理装置であって、互いに大きさの異なる複数種類の単位体積要素を配置して仮想空間を構築する情報処理装置である。

Description

本発明は、現実空間から得られる情報に基づいて仮想空間を構築する情報処理装置、情報処理方法、及びプログラムに関する。

近年、拡張現実や仮想現実といった技術が研究されている。このような技術の一つとして、カメラで撮影した画像などの現実空間から得られる情報に基づいて仮想空間を構築して、ユーザーにその仮想空間内にいるかのような体験をさせるものがある。このような技術によれば、ユーザーは現実世界と関連する仮想空間内で現実世界では体験できないような体験をすることができる。

上記技術では、ボクセルやポイントクラウドなどと呼ばれる単位体積要素を仮想空間に積み重ねることによって、現実空間に存在する物体を表現することがある。単位体積要素を用いることで、予め物体の色や形状などの情報を準備せずとも、現実世界から得られる情報を用いて現実世界に存在する様々な物体を仮想空間内に再現することができる。

上述した技術では、単位体積要素の大きさを小さくすればするほど、現実空間の物体を細部まで正確に再現することができる。しかしながら、単位体積要素の大きさを小さくすると、同じ体積の物体を再現するために必要な単位体積要素の数が増えるので、処理対象となるデータ量や演算負荷の増大を招くことになる。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、比較的少ない数の単位体積要素によって、現実空間に対応する仮想空間を構築することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。

本発明に係る情報処理装置は、１又は複数の被写体が存在する現実空間を観測して得られる画像を取得する画像取得部と、複数の単位体積要素を、前記取得された画像に写っている被写体に応じて決まる位置に配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築部と、を含み、前記仮想空間構築部は、互いに大きさの異なる複数種類の単位体積要素を配置して前記仮想空間を構築することを特徴とする。

また、本発明に係る情報処理方法は、１又は複数の被写体が存在する現実空間を観測して得られる画像を取得する画像取得ステップと、複数の単位体積要素を、前記取得された画像に写っている被写体に応じて決まる位置に配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築ステップと、を含み、前記仮想空間構築ステップでは、互いに大きさの異なる複数種類の単位体積要素を配置して前記仮想空間を構築することを特徴とする。

また、本発明に係るプログラムは、１又は複数の被写体が存在する現実空間を観測して得られる画像を取得する画像取得部、及び、複数の単位体積要素を、前記取得された画像に写っている被写体に応じて決まる位置に配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築部、としてコンピュータを機能させるためのプログラムであって、前記仮想空間構築部は、互いに大きさの異なる複数種類の単位体積要素を配置して前記仮想空間を構築するプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の第１の実施形態に係る情報処理装置をユーザーが使用する様子を示す図である。本発明の第１の実施形態に係る情報処理装置の構成を示す構成ブロック図である。本発明の第１の実施形態に係る情報処理装置の機能を示す機能ブロック図である。複数種類のボクセルを仮想空間内に配置する第１の例について説明する図である。複数種類のボクセルを仮想空間内に配置する第５の例について説明する図である。本発明の第２の実施形態に係る情報処理装置の構成を示す構成ブロック図である。複数のタイミングのそれぞれにおける複数ユーザーの様子を示すボクセルが配置された仮想空間の例を示す図である。位置保持力のパラメータが設定されたボクセルの挙動を説明する図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る情報処理装置１をユーザーが使用する様子を示す図である。また、図２は情報処理装置１の構成を示す構成ブロック図である。情報処理装置１は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ、スマートホン等であって、図２に示すように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、情報処理装置１は、図２に示すように、表示装置１４、第１ステレオカメラ１５、及び第２ステレオカメラ１６と接続されている。

制御部１１は少なくとも一つのプロセッサーを含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部１３は、情報処理装置１が表示装置１４、第１ステレオカメラ１５、及び第２ステレオカメラ１６との間で各種の情報を授受するためのインタフェースである。

表示装置１４は、情報処理装置１から供給される映像信号に応じて映像を表示する。本実施形態において表示装置１４は、ヘッドマウントディスプレイ等、ユーザーが頭部に装着して使用する頭部装着型の表示装置であるものとする。表示装置１４はユーザーの左右それぞれの目の前に、互いに異なる左目用画像、右目用画像を閲覧させるものとする。これにより表示装置１４は、視差を利用した立体映像を表示することができる。

第１ステレオカメラ１５は、左右に並んで配置された複数のカメラによって構成されており、１又は複数の被写体が存在する現実空間を観測するために用いられる。情報処理装置１は、これら複数のカメラによる撮影画像の視差を利用することで、第１ステレオカメラ１５の撮影位置（観測点）から撮影画像内に写っている被写体までの距離を算出することができる。第１ステレオカメラ１５を構成する各カメラによって撮影された撮影画像は、インタフェース部１３経由で情報処理装置１に入力される。同様に、第２ステレオカメラ１６も左右に並んで配置された複数のカメラから構成され、視野範囲内の被写体までの距離の算出に用いられる。

本実施形態において第１ステレオカメラ１５は、ユーザーの前方に設置されており、ユーザー側に向けられた位置及び向きで固定されている。一方、第２ステレオカメラ１６は、表示装置１４に取り付けられており、その撮影方向は表示装置１４の前方に向けられている。すなわち、第１ステレオカメラ１５の観測点は現実空間内で固定されている。これに対して、第２ステレオカメラ１６の観測点はユーザーに対して固定されており、ユーザーが頭部を動かすとこれに連動して動くことになる。通常の使用状態では、第１ステレオカメラ１５と第２ステレオカメラ１６は互いに向き合う状態となり、第１ステレオカメラ１５の視野範囲にはユーザーの頭部、表示装置１４、及び第２ステレオカメラ１６が含まれることになる。また、ユーザーが正面を向いている際には、第２ステレオカメラ１６の視野範囲に第１ステレオカメラ１５が含まれることになる。

なお、ここでは第２ステレオカメラ１６は表示装置１４に取り付けられた別の装置であることとしたが、第２ステレオカメラ１６は表示装置１４と一体に構成されてもよい。また、第１ステレオカメラ１５は情報処理装置１と一体に構成されてもよい。

以下、情報処理装置１が実現する機能について、図３を用いて説明する。図３に示すように、情報処理装置１は、機能的に、距離画像取得部２１と、仮想空間構築部２２と、表示制御部２３と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

距離画像取得部２１は、第１ステレオカメラ１５、及び第２ステレオカメラ１６のそれぞれが現実空間を撮影することで得られる距離画像（デプスマップ）を取得する。以下では、第１ステレオカメラ１５の撮影画像に基づいて生成された距離画像を第１距離画像ＤＭ１と表記し、第２ステレオカメラ１６の撮影画像に基づいて生成された距離画像を第２距離画像ＤＭ２と表記する。また、これら２種類の距離画像を距離画像ＤＭと総称する。本実施形態において距離画像ＤＭは、画像内の複数の単位領域ごとに、少なくとも当該単位領域内に写っている物体の一部分（被写体部分）までの距離Ｄの情報を含んだ画像である。ここで単位領域は、画像内の一つ一つの画素であってもよいし、互いに隣接する複数の画素からなる画素ブロックであってもよい。距離画像ＤＭは、単位領域に写っている被写体の色成分の情報を含んでもよい。

また、距離画像取得部２１は、距離画像ＤＭの生成に用いる画像を撮影した時点におけるステレオカメラの位置、及び向きの情報を距離画像ＤＭとともに取得する。以下、距離画像ＤＭの生成に用いる画像を撮影した際のステレオカメラの位置、及び向きの情報を、観測点情報という。特に第２ステレオカメラ１６の位置、及び向きは、ユーザーの頭部の動きに合わせて変化する。そのため、第２距離画像ＤＭ２内に写っている物体の現実空間内における位置を特定するためには、対応する観測点情報が必要となる。距離画像ＤＭのデータと、距離画像ＤＭの生成に用いられた画像の観測点情報を用いることにより、距離画像ＤＭ内の各単位領域に写っている被写体の、現実空間内における位置を特定することができる。

具体的に、例えば距離画像取得部２１は、第１ステレオカメラ１５による撮影画像内に写っている第２ステレオカメラ１６の位置、及び向きを特定することによって、第２ステレオカメラ１６の現実空間内における位置、及び向きを特定してもよい。この場合、精度よく第２ステレオカメラ１６の位置を特定するために、第２ステレオカメラ１６，又は表示装置１４の所定位置に発光素子を取り付け、この発光素子を発光させてもよい。こうすれば、距離画像取得部２１は、第１ステレオカメラ１５の撮影画像内において発光素子からの光が写っている位置を特定することによって、第２ステレオカメラ１６の観測点情報を特定することができる。また、第２ステレオカメラ１６又は表示装置１４に複数の発光素子を配置し、その光の位置パターンを検出することによって、第１ステレオカメラ１５から見た第２ステレオカメラ１６の傾きの変化を特定することもできる。

また、距離画像取得部２１は、第２ステレオカメラ１６、又は表示装置１４が備えるモーションセンサーの検出結果を用いて、第２ステレオカメラ１６の位置、及び向きの変化を特定してもよい。具体的に距離画像取得部２１は、第２ステレオカメラ１６、又は表示装置１４が内蔵する加速度センサーやジャイロスコープ、地磁気センサー等のモーションセンサーの検出結果を利用することで、第２ステレオカメラ１６の観測点情報を特定できる。

また、距離画像取得部２１は、第２ステレオカメラ１６による撮影画像の時間変化を用いて、第２ステレオカメラ１６の位置、及び向きの変化を特定してもよい。このような撮影画像の時間変化に基づく位置推定は、公知のステレオＳＬＡＭ（Simultaneous Localization and Mapping）技術等により実現できる。このような技術によって第２ステレオカメラ１６の位置、及び向きの変化を監視し続けることで、監視開始時点の第２ステレオカメラ１６の位置及び向きを基準として、任意の時点における第２ステレオカメラ１６の観測点情報を特定することができる。この方法によれば、発光素子やモーションセンサー等のデバイスがなくとも、第２ステレオカメラ１６の撮影画像だけから観測点情報を特定できる。

なお、距離画像取得部２１は、以上説明した観測点情報を特定するための複数の方法を組み合わせて用いてもよい。これにより、より精度よく観測点情報を特定できる。また、以上説明したもの以外の方法で観測点情報を特定してもよい。

仮想空間構築部２２は、距離画像取得部２１が取得した第１距離画像ＤＭ１及び第２距離画像ＤＭ２に基づいて、仮想空間を構築する。具体的に仮想空間構築部２２は、各距離画像ＤＭに写っている１又は複数の被写体（すなわち、現実空間に存在している物体）のそれぞれを表現する複数のボクセルを生成し、仮想３次元空間内に配置していくことによって、これらの被写体を仮想空間内に再現する。ここでボクセルは、３次元空間を格子状に分割した際の各格子に対応付けられる単位体積要素である。例えばボクセルは、所定の大きさの立方体の形状を有するオブジェクトであってよい。さらに本実施形態において仮想空間構築部２２は、互いに性質の異なる複数種類のボクセルを仮想空間内に配置することとする。複数種類のボクセルを生成する処理の具体例については、後述する。現実空間に存在する様々な形状の物体は、仮想空間内において複数のボクセルの集合によって表現される。

具体的に、仮想空間構築部２２は、距離画像取得部２１が取得した第１距離画像ＤＭ１、及び第２距離画像ＤＭ２に含まれる単位領域のそれぞれに対応するボクセルを生成し、仮想空間内に配置する。ボクセルの配置位置は、対応する単位領域に写っている物体までのステレオカメラからの距離Ｄ、距離画像ＤＭ内における当該単位領域の位置、及びステレオカメラの観測点情報に基づいて決定される。また、ボクセルの表面の色は、対応する単位領域の色（画素値）に基づいて決定されてよい。原則として、各ボクセルの表面は模様のない単一の色で表現される。

第２距離画像ＤＭ２は、ユーザーの視点に近い位置から見た景色を含んでいる。そのため、第２距離画像ＤＭ２に基づいて生成されるボクセルは、ユーザーのいる部屋の中の壁や床、家具など、ユーザーの周囲に存在する物体に対応すると考えられる。すなわち、第２距離画像ＤＭ２に基づいてボクセルを生成、配置することによって、仮想空間構築部２２は、ユーザーがいる部屋の様子を仮想空間内に再現することができる。なお、距離画像取得部２１は複数回にわたって第２距離画像ＤＭ２を取得し、仮想空間構築部２２はこれら複数の第２距離画像ＤＭ２のそれぞれに基づいてボクセルを生成してもよい。第２ステレオカメラ１６が取り付けられた表示装置１４を装着した状態でユーザーに自分の周囲を見渡してもらい、その間に撮影された複数の撮影画像に基づいて生成された複数の第２距離画像ＤＭ２を用いてボクセルを配置することによって、仮想空間構築部２２は第２ステレオカメラ１６の視野角以上の広い範囲にわたって現実空間の様子を再現することができる。

一方、第１距離画像ＤＭ１には、ユーザー自身が写っていると想定される。そのため、第１距離画像ＤＭ１に基づいて生成されるボクセルにより、ユーザー自身の体が再現される。二つの距離画像ＤＭに基づいて生成されたボクセルを一つの仮想空間内に配置することによって、仮想空間構築部２２は、ユーザー自身とその周囲の空間の双方を再現した仮想空間を構築することができる。なお、仮想空間構築部２２は、第１距離画像ＤＭ１に基づいてボクセルを配置する際には、現実空間において第２ステレオカメラ１６の存在する位置を中心とした所定範囲内に存在する被写体部分のみを処理対象としてもよい。第２ステレオカメラ１６から離れた位置に存在する被写体は、ユーザー自身ではないと考えられるためである。逆に、第２距離画像ＤＭ２に基づいてボクセルを配置する際には、現実空間において第２ステレオカメラ１６の存在する位置を中心とした所定範囲の外に存在する被写体部分のみを処理対象としてもよい。

表示制御部２３は、仮想空間構築部２２が構築した仮想空間内の様子を示す空間画像を生成し、表示装置１４に表示させる。例えば表示制御部２３は、現実空間内における表示装置１４の現在位置に対応する仮想空間内の位置に視点を配置し、その視点から仮想空間内を見た様子を示す空間画像を生成する。このとき表示制御部２３は、ユーザーの左右の目に対応する２つの視点を仮想空間内に並べて配置し、この２つの視点のそれぞれから仮想空間内を見た様子を示す２つの空間画像を生成する。この２つの空間画像を左目用画像、右目用画像として表示装置１４に表示させることにより、ユーザーは仮想空間内の様子を立体的に認識することができる。

ここで、表示制御部２３は、第２ステレオカメラ１６の観測点情報を用いて、ユーザーの目の位置、及び視線方向を特定する。そして、このユーザーの目の位置と向きに対応する仮想空間内の位置及び向きに、空間画像を描画するための視点を設定する。これにより、ユーザーが現実空間を見るのと同じように仮想空間内のオブジェクトを見た様子を表示装置１４に表示させることができる。

また、表示制御部２３は、ユーザーの実際の目の位置とは異なる位置に視点を設定してもよい。例えば表示制御部２３は、ユーザーの操作デバイスに対する方向指示に応じて、視点の位置を仮想空間内で移動させてもよい。これによりユーザーは、自分の体を離れた空間内の任意の位置から、自分自身の体を含め自分がいる空間の様子を閲覧することができる。

以下、仮想空間構築部２２が複数種類のボクセルを仮想空間内に配置する処理の具体例について、説明する。まず、仮想空間構築部２２が互いに大きさの異なる複数種類のボクセルを仮想空間内に配置する複数の例について、第１から第６の例として説明する。これらの例では、大きさの異なるボクセルが同時期に仮想空間内に混在する状態になる。以下では説明の便宜のために、第２距離画像ＤＭ２に写っている被写体を複数種類のボクセルによって再現する場合を例として説明する。しかしながら仮想空間構築部２２は、これに限らず、第１距離画像ＤＭ１に写っている被写体を再現する場合にも同様の処理を実行してもよい。

第１の例として、第２距離画像ＤＭ２内に写っている各被写体の大きさに応じて、その被写体を構成するボクセルの大きさを変化させる例について説明する。この第１の例では、仮想空間構築部２２は、まず第２距離画像ＤＭ２に写っている各被写体の大きさを特定する。具体的に仮想空間構築部２２は、予め用意された推定器を用いて、第２距離画像ＤＭ２内に写っている個々の被写体を識別する。この推定器は、例えば公知の機械学習技術によって生成することができる。この推定によって各被写体を他の被写体と区別できれば、各被写体が第２距離画像ＤＭ２内において占める領域の大きさを特定できる。この第２距離画像ＤＭ２内における被写体の大きさと、被写体までの距離Ｄの情報とを用いることにより、各被写体の実際の大きさを特定することができる。

各被写体の大きさを特定すると、次に仮想空間構築部２２は、その大きさに応じてその被写体を再現するためのボクセルの大きさを特定する。例えば仮想空間構築部２２は、大きな被写体ほど大きなボクセルを用いて構成する。こうすれば、比較的少ない数のボクセルで大きな被写体を再現することができる。

図４は、この例における第２距離画像ＤＭ２の一例を示している。この図の例では、第２距離画像ＤＭ２内に写っている３つの被写体Ｏ１からＯ３が識別され、それぞれを構成するボクセルの大きさが被写体の大きさに応じて決定される。この図の例では、仮想空間構築部２２は、被写体Ｏ１を構成するボクセルの大きさを、他の被写体Ｏ２及びＯ３を構成するボクセルよりも大きくすることと決定している。これに応じて、第２距離画像ＤＭ２内の被写体Ｏ１が占める範囲については、被写体Ｏ２及びＯ３が占める範囲よりも単位領域を大きく設定し、この単位領域のそれぞれに対応するようにボクセルを仮想空間内に配置する。これにより、被写体Ｏ１を構成するボクセルを、被写体Ｏ２及びＯ３を構成するボクセルよりも大きくし、これに応じて各ボクセル間の距離も大きくすることができる。

第２の例として、各被写体の形状や外観に応じて、その被写体を構成するボクセルの大きさを変化させる例について説明する。この第２の例でも第１の例と同様に、まず仮想空間構築部２２は、推定器を用いて第２距離画像ＤＭ２内に写っている被写体のそれぞれを識別する。そして、その識別結果に応じて、個々の被写体の形状を特定する。

具体的に、例えば仮想空間構築部２２は、個々の被写体を構成する複数の単位領域それぞれの距離Ｄの値を用いて、その被写体の表面の凹凸の度合いを特定する。そして、凹凸の度合いが大きい被写体については小さなボクセルで構成し、凹凸の度合いが小さい被写体については大きなボクセルで構成する。凹凸の度合いが大きい場合、小さなボクセルを使うことで凹凸を再現することができる。逆に凹凸の度合いが小さい場合、比較的大きめのボクセルを使っても、その形状をある程度の精度で再現できる。

また、仮想空間構築部２２は、第２距離画像ＤＭ２に写っている各被写体の形状や外観の情報に基づいて、個々の被写体が予め定められた特定の物体であるか否かを判定し、特定の物体であると判定された場合には、その物体を構成するボクセルの大きさを大きくしてもよい。各被写体が特定の物体であるか否かの判定は、前述した被写体の識別処理と同様に、機械学習などによって生成した推定器を用いて実現できる。また、第２距離画像ＤＭ２に対して画像認識処理を実行することによって、被写体が特定の形状を有しているか否か、特定の色であるか否か、また特定のマークを含んでいるか否かなどを判定し、その判定結果に基づいて被写体が特定の物体か否かを判定してもよい。

ボクセルの大きさをある程度大きくすると、その物体の形状が粗くなり、あたかもモザイクがかかったように詳細な形状や外観をユーザーが把握することが困難になる。そこで、特定の物体が第２距離画像ＤＭ２内に写っていると判定された場合に、その物体を表現するボクセルを所定値以上の大きさにすることで、空間画像内におけるその物体の詳細を隠すことができる。これにより、表示することが好ましくない物体（例えば権利関係の問題で表示できないものなど）をユーザーが認識しにくい状態にすることができる。

第３の例として、各被写体間の距離に応じて、各被写体を構成するボクセルの大きさを変化させる例について説明する。この例でも、第１及び第２の例と同様、まず仮想空間構築部２２は、第２距離画像ＤＭ２内の個々の被写体を識別する。そして、各被写体の位置情報に基づいて、個々の被写体から他の被写体までの現実空間内における距離を算出し、その算出された距離に応じて各被写体を構成するボクセルの大きさを決定する。例えば仮想空間構築部２２は、他の被写体までの距離が近いと算出された被写体については、ボクセルの大きさを小さくし、逆に他の被写体までの距離が遠いと算出された被写体については、ボクセルの大きさを大きくする。これにより、物が密集している場所では個々の被写体を構成するボクセルを小さくし、まばらな場所ではボクセルを大きくすることができる。

第４の例として、各被写体の現実空間内における位置に応じて、その被写体を構成するボクセルの大きさを変化させる例について説明する。この第４の例では、表示制御部２３が設定する視点位置に対応する現実空間内の位置から、各被写体までの距離を算出する。そして、算出される距離に応じて、その被写体を構成するボクセルの大きさを決定する。具体的に、仮想空間構築部２２は、視点位置に近い場所に存在する物体を構成するボクセルを小さくし、視点位置から遠い場所に存在する物体を構成するボクセルは大きくする。これにより、空間画像内において手前に存在する物体は外観の詳細が分かるように表示され、ユーザーから離れた奥の方に存在する物体は粗く表示されることになる。

第５の例として、仮想空間内においてユーザーの注目する位置（注視点）を特定し、当該特定された注視点の周囲に配置されるボクセルの大きさを小さくする例について、説明する。この例では、まず仮想空間構築部２２は、ユーザーの視線方向を特定する。ユーザーの視線方向は、例えば表示装置１４に設けられたカメラでユーザーの目を撮影し、その瞳の位置を解析することによって特定することができる。あるいは仮想空間構築部２２は、空間画像の中心をユーザーが注視していると仮定してもよい。いずれにせよ仮想空間構築部２２は、ユーザーの視線方向に表示されている物体が存在する仮想空間内の位置を、ユーザーの注視点として特定する。そして、注視点に存在する物体、及び注視点に近い位置に存在する物体は小さなボクセルで表現し、注視点から離れた位置に存在する物体は大きなボクセルで表現する。

図５は、この例における注視点と物体との位置関係を説明する図であって、現実空間を上方から見た様子を示している。この図の例では、現実空間内に３つの被写体Ｏ４〜Ｏ６が存在しており、ユーザーは空間画像の中心を注視していると仮定している。視点位置から正面方向に向かう直線（図中の破線）は、点Ｎで被写体Ｏ４に到達している。そのため、注視点は点Ｎであって、この被写体Ｏ４にユーザーが注目していると想定される。そこで仮想空間構築部２２は、被写体Ｏ４を構成するボクセルの大きさを最も小さくし、次いで被写体Ｏ４に近い順に被写体Ｏ５、被写体Ｏ６の順でボクセルの大きさを大きくする。

なお、ここでは仮想空間内における被写体と注視点との距離に応じてボクセルの大きさを決定することとしたが、空間画像内における被写体と注視点との距離に応じてボクセルの大きさを決定してもよい。この場合、仮想空間構築部２２は、空間画像内において注視点に近い位置に表示されるボクセルほど、ボクセルの大きさを小さくする。

第６の例として、各被写体の現実空間内における移動速度に応じて、その被写体を構成するボクセルの大きさを変化させる例について説明する。距離画像取得部２１は、一定時間おきにその時点の現実空間の様子を示す第２距離画像ＤＭ２を取得する。そして、仮想空間構築部２２は、その中から個々の被写体を識別することによって、時間とともに移動する被写体を特定する。例えば時刻ｔにおける第２距離画像ＤＭ２（ｔ）と、時刻（ｔ＋Δｔ）における第２距離画像ＤＭ２（ｔ＋Δｔ）の二つの第２距離画像ＤＭ２が取得された場合において、第２距離画像ＤＭ２（ｔ）から特定されるある被写体Ｘの位置と第２距離画像ＤＭ２（ｔ＋Δｔ）から特定される同じ被写体Ｘの位置とが距離ｄだけ離れている場合、その物体Ｘは速度（ｄ／Δｔ）で移動していると推定できる。仮想空間構築部２２は、この推定結果を用いて、例えば速い速度で移動している被写体については大きなボクセルで表現し、遅い速度で移動している被写体（あるいは静止している被写体）については小さなボクセルで表現する。これにより、動きが遅くユーザーが視認しやすい物体については詳細に表示し、動きが速い物体についてはその概略だけを表示することができる。

以上説明した第１から第６の例では、仮想空間構築部２２は、いずれも第２距離画像ＤＭ２に写っている個々の被写体を識別し、被写体毎にその被写体を構成するボクセルの大きさを決定している。しかしながら、仮想空間構築部２２は、このような例に限られず、個々のボクセルのサイズをそのボクセルの配置位置等に応じて変化させてもよい。例えば前述した第４の例では、被写体毎にその位置に応じてボクセルの大きさを変化させることとしたが、これに限らず、個々のボクセルについて、視点位置からの距離に応じてその大きさを変化させてもよい。また、前述した第５の例において、仮想空間構築部２２は仮想空間内に配置する各ボクセルの注視点からの距離に応じて、各ボクセルの大きさを決定してもよい。

また、仮想空間構築部２２は、仮想空間内を複数の領域に分割し、その領域毎にボクセルの大きさを変化させてもよい。例えば第４の例では、視点位置から各領域までの距離に応じて、その領域内に配置するボクセルの大きさを決定する。また、第５の例において、注視点から各領域までの距離に応じて、その領域に配置するボクセルの大きさを決定してもよい。また、各領域内に配置される被写体の数に応じて、その領域に配置するボクセルの大きさを決定してもよい。これにより、第３の例と同様に、被写体が密集している場所ではボクセルを小さくし、まばらな場所ではボクセルを大きくすることができる。

次に、互いに異なるタイミングで取得された複数の距離画像ＤＭを用いて、時間とともに変化する仮想空間の様子を示す例について、説明する。以下の例では、距離画像取得部２１は、所定時間おきにその時点の現実空間を観測して得られる距離画像ＤＭを取得する。そして、仮想空間構築部２２は、この所定時間おきに得られる距離画像ＤＭに基づいて、距離画像ＤＭに写っている被写体を再現する仮想空間を構築するものとする。

第７の例として、時間経過とともにボクセルの大きさを変化させる例について説明する。この例では、仮想空間構築部２２は、所定時間おきに新たな第２距離画像ＤＭ２が取得されると、その都度、新たに取得された第２距離画像ＤＭ２に基づいてその第２距離画像ＤＭ２内に写っている被写体を表すボクセルを配置する。このとき仮想空間構築部２２は、新たに取得した第２距離画像ＤＭ２に写っている範囲がどの程度の時間観測され続けているかに応じて、ボクセルの大きさを決定する。具体的に、ユーザーが第２ステレオカメラ１６を同じ向きに向け続けていて、現実空間の同じ領域を観測し続けている場合、仮想空間構築部２２は、その領域に含まれる被写体を表すボクセルの大きさを徐々に小さくする。逆に、ユーザーが首を動かして第２ステレオカメラ１６の撮影範囲を変化させた結果、新たな領域が第２距離画像ＤＭ２の撮影範囲に含まれた場合、その領域に含まれる被写体を表すボクセルの大きさを大きくする。このような制御によれば、最初は大雑把に現実空間の様子を表示し、しばらく同じ場所を表示しているとその場所にある被写体の様子が詳細に表示されるようにすることができ、わずかな時間しか表示されない場所については少ないデータ量でボクセルの処理を実現することができる。

第８の例として、過去に取得された第１距離画像ＤＭ１に基づいてボクセルを配置する例について説明する。この第８の例では、これまでと異なり、仮想空間構築部２２は、第１距離画像ＤＭ１に基づいてボクセルを仮想空間内に配置することとする。第１距離画像ＤＭ１にはユーザーが写っていることが想定されるので、仮想空間構築部２２は、主としてユーザー自身を表現するボクセルを生成することになる。ただし、これに限らず仮想空間構築部２２は、第２距離画像ＤＭ２を用いて以下に説明する処理を実行してもよい。

この例では、時刻ｔのタイミングで距離画像取得部２１が取得した第１距離画像ＤＭ１に基づいて、仮想空間構築部２２は、これより所定時間遅れた時刻（ｔ＋ｔｐ）が到来したタイミングでボクセルを仮想空間内に配置する。このボクセルは、時間ｔｐ分だけ過去の被写体（ここでは特にユーザー）の様子を表していることになる。この仮想空間内の様子を表示制御部２３が表示することによって、ユーザーは、過去の自分の様子を閲覧することができる。また、仮想空間内で過去の自分を表すボクセルに触れたりして、自分自身と相互作用することもできる。

さらにこの例において、仮想空間構築部２２は、複数のタイミングで取得された複数の第１距離画像ＤＭ１に基づいて、一つの被写体の複数のタイミングにおける状態を表すボクセルを配置してもよい。具体的に、例えば仮想空間構築部２２は、時刻ｔ１に得られた第１距離画像ＤＭ１に基づいて決定される位置に第１のボクセル群Ｇ１を配置するとともに、時刻ｔ２に得られた第１距離画像ＤＭ１に基づいて第２のボクセル群Ｇ２を配置する。この第１のボクセル群Ｇ１は時刻ｔ１におけるユーザーの様子を表し、第２のボクセル群Ｇ２は時刻ｔ２におけるユーザーの様子を表す。これらのボクセル群を一つの仮想空間内に同時期に配置することによって、一人のユーザーが、あたかも同時期に複数の場所に存在しているかのような状態を表現することができる。

さらに、このように過去の被写体の様子を示すボクセルを仮想空間に配置する場合、各ボクセルの性質を、そのボクセルに対応する第１距離画像ＤＭ１が得られた時間に応じて変化させてもよい。具体的に、例えば仮想空間構築部２２は、第１距離画像ＤＭ１が得られた時間に応じて、その第１距離画像ＤＭ１に基づいて仮想空間内に配置するボクセルの大きさを変化させる。特に、第１距離画像ＤＭ１が得られた時間が過去になるほどその第１距離画像ＤＭ１に写っている被写体を表すボクセルの大きさを小さくすることで、過去の被写体ほど詳細に再現することができる。

以上説明したボクセルを配置する方法の各種の例は、組み合わせて用いられてもよい。例えば仮想空間構築部２２は、過去の距離画像ＤＭに基づいて配置するボクセルの大きさを、被写体ごとに各種の条件で変化させてもよい。また、仮想空間構築部２２は、各被写体を構成するボクセルの大きさを、その被写体の位置や大きさなど、複数の条件に基づいて決定してもよい。

［第２の実施形態］
次に、本発明の第２の実施形態として、複数のユーザーを観測して得られる距離画像ＤＭに基づいて、仮想空間を構築する例について、説明する。この例では、図６に示すように、前述した第１の実施形態に係る情報処理装置１の機能が、サーバ装置１ａ、並びにクライアント装置１ｂ及び１ｃによって実現される。

サーバ装置１ａは、サーバコンピュータ等であって、通信ネットワークを介してクライアント装置１ｂ及び１ｃと接続される。クライアント装置１ｂ及び１ｃは、それぞれ家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ、スマートホン等の情報処理装置であって、表示装置１４及び第１ステレオカメラ１５と接続されている。以下では、ユーザーＵ１がクライアント装置１ｂを使用し、ユーザーＵ２がクライアント装置１ｃを使用することとする。

表示装置１４は、第１の実施形態と同様に、ユーザーが頭部に装着するタイプの表示装置であるものとする。また、第１ステレオカメラ１５は、第１の実施形態と同様に、距離画像ＤＭの生成に必要な画像を撮影するためのステレオカメラであって、ユーザー自身を写す位置に固定配置されている。なお、ここでは説明を省略するが、第２ステレオカメラ１６も第１の実施形態と同様に接続され、距離画像ＤＭの生成、及び仮想空間の構築に利用されてもよい。

なお、ここでは２人のユーザーがそれぞれ１台のクライアント装置を使用することとしているが、各ユーザーが利用するクライアント装置は２台以上あってもよい。この場合、例えば第１ステレオカメラ１５の撮影画像を用いて距離画像ＤＭを生成する処理や、表示装置１４に空間画像を表示させる処理が複数のクライアント装置によって独立に実行されてよい。また、ここでは２人のユーザーを観測対象としているが、３人以上を観測対象とすることとし、サーバ装置１ａには３台以上のクライアント装置が同時に接続されてもよい。

本実施形態では、各クライアント装置が自身に接続された第１ステレオカメラ１５の撮影画像を用いて第１距離画像ＤＭ１を生成し、サーバ装置１ａに送信する。サーバ装置１ａは、クライアント装置１ｂ及び１ｃのそれぞれから送信された第１距離画像ＤＭ１を取得し、取得した複数の第１距離画像ＤＭ１に基づいて、それぞれの第１距離画像ＤＭ１に写っている被写体を再現するボクセルを配置する。すなわち、本実施形態では、サーバ装置１ａが前述した距離画像取得部２１及び仮想空間構築部２２の機能を実現する。サーバ装置１ａは、配置された各ボクセルの仮想空間内における位置、及び当該ボクセルの性質を示す情報をクライアント装置１ｂ及び１ｃに送信する。各クライアント装置は、サーバ装置１ａから受信したボクセル情報を用いて、仮想空間内の様子を示す空間画像を描画し、自身に接続された表示装置１４に表示する。これにより、各ユーザーは、自分と、離れた位置にいる他のユーザーの双方を表現するボクセルが配置された仮想空間内の様子を閲覧することができる。

本実施形態において、サーバ装置１ａの仮想空間構築部２２は、各クライアント装置から取得した第１距離画像ＤＭ１に基づいてボクセルを配置する際に、前述した第１の実施形態の場合と同様にして、各種の条件に応じて配置するボクセルの大きさを変化させてもよい。また、過去のタイミングで取得された第１距離画像ＤＭ１に基づいてボクセルを配置してもよい。

以下、本実施形態において仮想空間構築部２２が、複数のユーザーを表すボクセルを仮想空間内に配置する際に実行する処理の具体例について、説明する。

第１の例として、仮想空間構築部２２は、第１の実施形態における第８の例と同様に、複数のタイミングのそれぞれにおける各ユーザーの様子を示すボクセルを配置してもよい。図７はこの様子を示しており、ユーザーＵ１の現在の様子を表すボクセル群Ｕ１Ｃ、過去の様子を表すボクセル群Ｕ１Ｐ、ユーザーＵ２の現在の様子を表すボクセル群Ｕ２Ｃ、過去の様子を表すボクセル群Ｕ２Ｐが同時に仮想空間内に配置されている。このような制御によれば、一人のユーザーが、仮想空間内で同時に複数の場所に存在したり、過去の自分と重なる位置に移動したりといったことが可能になり、現実空間において一人ではできないような複雑な動作が可能になる。また、仮想空間構築部２２は、一人のユーザーの身体を表すボクセル群のうち、一部分のボクセル群だけを、過去のユーザーの体を表すボクセル群と入れ替えてもよい。例えば、体の左半身は現在の様子を表すボクセル群で構成し、右半身は過去の様子を表すボクセル群で構成するなどしてもよい。

さらにこの例において、仮想空間構築部２２は、現在の様子を表すボクセル群と、過去の様子を表すボクセル群とで、ボクセルの性質を変化させてもよい。具体的に、例えば仮想空間構築部２２は、現在の様子を表すボクセル群は大きな透明度で、過去の様子を表すボクセル群は不透明で表示することとする。こうすると、各ユーザーは、過去の相手ユーザーの状態ははっきり認識できるが、現在の状態は認識しにくくなる。これにより、両者が仮想空間内でゲームを行う場合などにおいて、各ユーザーに提示される相手ユーザーの情報を効果的に制限することができる。また、透明度を変化させる代わりに、仮想空間構築部２２は、ボクセルの大きさを変化させてもよい。前述したように、ユーザーを構成するボクセルの大きさを大きくすることで、その詳細な姿勢等が判別しにくくなり、相手ユーザーに伝わる情報を制限することができる。

第２の例として、仮想空間構築部２２は、仮想空間内の位置に応じてボクセルの性質を変化させてもよい。例えば各ユーザーが仮想空間内でそれぞれの陣地を持ち、相手の陣地を攻めるというゲームを行う場合、各ユーザーが自分の陣地にいる間は透明度を高くし、相手の陣地に進入した場合は透明度を低くすることとする。これにより、各ユーザーは自分の陣地にいる間は相手に自分の様子を知られずに済むが、相手の陣地に進入するとそのことが相手に認識されるようになる。この第２の例でも、透明度の代わりに、ユーザーを構成するボクセルの大きさを変化させてもよい。また、仮想空間構築部２２は、ユーザー同士の距離に応じてボクセルの性質を変化させてもよい。これにより、相手ユーザーに近づくと相手ユーザーを視認できるようになるなどの制御が実現できる。

第３の例として、仮想空間構築部２２は、ユーザーの移動速度に応じてボクセルの性質を変化させてもよい。この場合の移動速度は、前述した第１の実施形態における第６の例と同様にして特定できる。例えば移動速度が速いユーザーは透明度の低いボクセルで表現し、移動速度が遅い、又は止まっているユーザーは透明度の高いボクセルで表現することとする。これにより、ユーザーが動かなければ相手にその状況が伝わらないが、移動すると相手にそのことが伝わるようにすることができる。この第３の例でも、透明度の代わりに、ユーザーを構成するボクセルの大きさを変化させてもよい。

以上の説明では、ボクセルの透明度及び／又は大きさを各種の条件で変化させることとしたが、これに限らず、仮想空間構築部２２は、ボクセルの色や形状、その他のパラメータをボクセルの位置や移動速度、観測された時間などに応じて変化させてもよい。このような例の一つとして、以下、個々のボクセルに対して位置保持力を表すパラメータが設定される例について説明する。

この例では、仮想空間構築部２２は、仮想空間内に配置する各ボクセルに対して、位置保持力を表すパラメータの値を設定する。この位置保持力のパラメータは、ボクセルが距離画像ＤＭに基づいて決定される位置から変化しやすいか否かを示している。位置保持力が大きい場合、各ボクセルは距離画像ＤＭに基づいて決定される位置からずれ難くなる。また、仮想空間内に配置された他のオブジェクトと衝突するなど、外部からの力が加わってボクセルの位置がずれたとしても、元の位置に素早く復帰する。そのため、ボクセルの集合によって表される形状は、現実の被写体の形状に対して大きく変化しない。これに対して位置保持力が小さいと、仮想空間内で外部からの力が加わることによって、各ボクセルの位置が変動しやすくなる。そのため、ボクセルの集合によって表される形状が、現実の被写体の形状から変化しやすくなる。つまり、物体の形状が崩れやすくなる。図８は、複数ボクセルによって構成される物体が外力によって変形し、その後、この位置保持力によって復元する様子を示している。

位置保持力のパラメータは、例えば０．０〜１．０までの数値で表すこととする。この場合、１．０が全くボクセルの位置が変化しない状態を表し、０．０が外力を受けると変化してそのまま元に戻らない状態を表す。また、位置保持力のパラメータは、例えば周囲のボクセルとの結びつきの強さ（連結力）を表すものであってもよい。また、質量を表すものであってもよい。いずれの場合も、パラメータの値が大きいとボクセルの位置が変化しにくくなり、小さいと変化しやすくなる。

仮想空間構築部２２は、この位置保持力のパラメータの値を、以下のような各種の条件で決定することとする。例えば仮想空間構築部２２は、前述した第１の例のように過去のユーザーを表すボクセルを配置する場合に、より過去の距離画像ＤＭに基づいて配置されたボクセルほど、位置保持力を小さくする。また、ボクセルの配置位置や移動速度に応じて、位置保持力の大きさを決定してもよい。例えば移動速度が大きい場合に位置保持力を小さくすることで、移動中は形状を保ちにくくすることができる。また、仮想空間内で他の物体と衝突するなどして外部からの力が加わった場合に、その力の強さに応じて位置保持力を低下させてもよい。なお、位置保持力は、ボクセルごとに設定されてもよいし、被写体ごとに設定されてもよい。被写体ごとに設定される場合、前述した第１の実施形態における第１の例などと同様に、距離画像ＤＭ内に写っている被写体の識別がまず行われ、各被写体の位置や移動速度などに応じてその被写体を構成するボクセルの位置保持力が決定される。

また、ユーザーを表すボクセルについて、ユーザーの身体のどの部位を表しているかに応じて、位置保持力を変化させてもよい。具体的に仮想空間構築部２２は、距離画像ＤＭからユーザーの頭部や手足などの部位を特定し、部位毎に位置保持力を変化させる。一例として、頭部の位置保持力を大きくし、手足などの部位の位置保持力を小さくしてもよい。これにより、部位毎に形状の変化のしやすさを変えることができる。

以上説明したように、本発明の実施の形態によれば、仮想空間内に配置するボクセルの大きさや透明度、位置保持力などの各種の性質を、ボクセル毎に各種の条件で変化させることで、ボクセルによる多様な表現が可能になる。また、大きさの異なるボクセルを仮想空間内に混在させることで、重要度の高い場所や詳細に表示したい場所などは小さなボクセルで表現しつつ、重要度の低い場所や詳細を隠したい場所は大きなボクセルで表現して、全体のデータ量を低減することができる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば、以上の説明ではユーザーの前方に固定した第１ステレオカメラ１５、及び表示装置１４に固定された第２ステレオカメラ１６によって距離画像ＤＭを取得することとしたが、ユーザーの後方や天井など、これ以外の場所に設置したステレオカメラを用いて取得した距離画像ＤＭに基づいてボクセルを配置してもよい。また、表示装置１４に対しても、ユーザーの前方だけでなく、ユーザーの側方や後方などを撮影範囲とする別のステレオカメラを配置してもよい。これにより、ユーザーが自分の周囲を見渡す動きをせずとも、ユーザーの周囲の広い範囲に存在する物体の情報を一度に取得することができる。

また、以上の説明では表示装置１４はユーザーが頭部に装着するタイプのものであることとしたが、必ずしもこれに限るものではなく、表示装置１４は据え置き型の表示装置などであってもよい。この場合、第２ステレオカメラ１６は別途ユーザーに固定されてもよいし、なくともよい。

また、以上の説明では距離画像ＤＭは、ステレオカメラによって得られる複数の撮影画像を用いて生成されるものとした。しかしながらこれに限らず、距離画像ＤＭは、その内部の単位領域ごとに被写体までの距離Ｄの情報を含むものであれば、どのような方式で生成されたものであってもよい。具体的に情報処理装置１は、例えばＴＯＦ方式などで生成された距離画像ＤＭを用いて仮想空間を構築してもよい。

また、本発明の実施の形態に係る情報処理装置は、現実空間を観測して得られる画像として、距離画像ＤＭ以外の画像を取得してもよい。例えば情報処理装置は、熱の高い場所を検知する赤外線カメラやその他のカメラによって現実空間を撮影することで得られる画像を解析して、被写体の３次元空間内における位置を特定してもよい。特に天井に設置されたカメラから鉛直方向を撮影して得られる画像を用いることによって、床面に存在する各被写体の位置を推定できる。また、情報処理装置は、オプティカルフローなどと呼ばれる動き検知技術を用いて、撮影画像内に写っている被写体の位置を特定してもよい。情報処理装置は、この画像内に写っている被写体の位置に基づいて、仮想空間内におけるボクセルの配置位置を決定する。さらに情報処理装置は、機械学習等によって構築された推定器を用いて画像内に写っている物体の３次元形状を推定してもよい。また、被写体が所定方向に所定の厚みを持っていると推定して、ボクセルの配置位置を決定してもよい。このような手法によれば、距離画像ＤＭを取得できない場合でも、現実空間内に写っている被写体をボクセルで再現する仮想空間を構築することができる。

１情報処理装置、１１制御部、１２記憶部、１３インタフェース部、１４表示装置、１５第１ステレオカメラ、１６第２ステレオカメラ、２１距離画像取得部、２２仮想空間構築部、２３表示制御部。

Claims

１又は複数の被写体が存在する現実空間を観測して得られる画像を取得する画像取得部と、
複数の単位体積要素を、前記取得された画像に写っている被写体に応じて決まる位置に配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築部と、
を含み、
前記仮想空間構築部は、互いに大きさの異なる複数種類の単位体積要素を配置して前記仮想空間を構築する
ことを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記仮想空間構築部は、複数の被写体を表現する仮想空間を構築し、被写体ごとに当該被写体を構成する単位体積要素の大きさを変化させる
ことを特徴とする情報処理装置。
請求項２に記載の情報処理装置において、
前記仮想空間構築部は、前記被写体の形状に応じて、当該被写体を構成する単位体積要素の大きさを変化させる
ことを特徴とする情報処理装置。
請求項２に記載の情報処理装置において、
前記仮想空間構築部は、前記被写体の大きさに応じて、当該被写体を構成する単位体積要素の大きさを変化させる
ことを特徴とする情報処理装置。
請求項２に記載の情報処理装置において、
前記仮想空間構築部は、現実空間内における前記被写体の位置に応じて、当該被写体を構成する単位体積要素の大きさを変化させる
ことを特徴とする情報処理装置。
請求項２に記載の情報処理装置において、
前記仮想空間構築部は、現実空間内における前記被写体の移動速度に応じて、当該被写体を構成する単位体積要素の大きさを変化させる
ことを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記仮想空間構築部は、前記仮想空間内に設定され、前記仮想空間内の様子を示す画像を生成する際に用いられる視点位置から前記複数の単位体積要素それぞれまでの距離に応じて、当該単位体積要素の大きさを変化させる
ことを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記仮想空間構築部は、前記仮想空間内の様子を示す画像が表示されている際に前記仮想空間内でユーザーが注目する位置の情報を取得し、当該注目する位置に応じて前記単位体積要素の大きさを変化させる
ことを特徴とする情報処理装置。
１又は複数の被写体が存在する現実空間を観測して得られる画像を取得する画像取得ステップと、
複数の単位体積要素を、前記取得された画像に写っている被写体に応じて決まる位置に配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築ステップと、
を含み、
前記仮想空間構築ステップでは、互いに大きさの異なる複数種類の単位体積要素を配置して前記仮想空間を構築する
ことを特徴とする情報処理方法。
１又は複数の被写体が存在する現実空間を観測して得られる画像を取得する画像取得部、及び、
複数の単位体積要素を、前記取得された画像に写っている被写体に応じて決まる位置に配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築部、
としてコンピュータを機能させるためのプログラムであって、
前記仮想空間構築部は、互いに大きさの異なる複数種類の単位体積要素を配置して前記仮想空間を構築する
プログラム。