以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
<<1.第1の実施形態>>
<1−1.概要>
<1−2.構成>
<1−3.動作>
<1−4.境界表現の具体例>
<1−5.変形例>
<1−6.効果>
<<2.第2の実施形態>>
<2−1.概要>
<2−2.構成>
<2−3.動作>
<2−4.変形例>
<2−5.補足>
<<3.ハードウェア構成例>>
<<4.むすび>>
<<1.第1の実施形態>>
<1−1.概要>
まず、本開示の第1の実施形態による情報処理装置の概要について説明する。図1は、本実施形態による情報処理装置1の概要を説明する図である。図1に示すように、本実施形態による情報処理装置1は、例えばユーザUの頭部に装着されるメガネ型のヘッドマウントディスプレイ(HMD:Head Mounted Display)により実現される。装着時にユーザUの眼前に位置するメガネレンズ部分に相当する表示部13は、透過型または非透過型であってもよい。ここで述べる透過型の表示部13は、光学的透過性を有する表示部として定義される。情報処理装置1は、表示部13に仮想物体を表示することで、ユーザUの視界内に仮想物体を提示することができる。また、情報処理装置1の一例であるHMDは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。例えばHMDは、片方の眼に画像を提示する表示部13が設けられた片目タイプのものであってもよい。
また、情報処理装置1には、装着時にユーザUの視線方向、すなわちユーザの視界を撮像する外向きカメラ110が設けられている。さらに、図1に図示しないが、情報処理装置1には、装着時にユーザUの眼を撮像する内向きカメラやマイクロホン(以下、「マイク」と示す。)等の各種センサが設けられていてもよい。外向きカメラ110、および内向きカメラは、それぞれ複数設けられていてもよい。
なお情報処理装置1の形状は図1に示す例に限定されない。例えば情報処理装置1は、ヘッドバンド型(頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある)のHMDや、ヘルメットタイプ(ヘルメットのバイザー部分がディスプレイに相当する)のHMDであってもよい。
ここで、例えば表示部13が透過型である場合、表示部13に表示される仮想物体は、実空間に重なってユーザに視認される。また、仮想物体が実空間に存在するかのようにユーザに感じさせるため、外向きカメラ110の撮影により得られる実空間の情報に基づいて仮想物体の配置や形状、色等を制御することも可能である。
ここで、ユーザが仮想物体に対するインタラクション(操作等)を行うことを考えた場合、例えば手等の実物体を用いて、ユーザが仮想物体とのインタラクションを行うことが考えられる。係る場合、仮想物体と実物体との境界が適切に表現されないと、ユーザに違和感を与える恐れがある。図1に示したように、仮想物体を表示する表示部13は、ユーザの眼前に位置するため、仮想物体とユーザの眼との間に実物体が存在するかのように仮想物体を実空間に配置する場合、表示部13に表示される仮想物体の一部を適切に遮蔽することが望ましい。
図2は、仮想物体の遮蔽について説明するための説明図である。図2に示すような仮想物体V101を表示部13に表示させることを考える。仮想物体V101を表示部13にそのまま表示してしまうと、上述のように表示部13はユーザの眼前に位置するため、仮想物体V101とユーザの眼の間に存在する実物体であるユーザの手H101を覆うように仮想物体V101がユーザに視認される恐れがある。係る場合、ユーザは仮想物体V101が手H101の手前側(ユーザの眼側)に存在するのか奥側に存在するのかわからず、ユーザに違和感を与えてしまう。
そこで、仮想物体V101のうち、手H101と重なってユーザに視認される領域を遮蔽する。例えば、外向きカメラ110による手H101のセンシング(撮像)により得られた撮像画像に基づいて、仮想物体V101よりも手前側(ユーザの眼側)に存在する手領域の認識が行われ、手領域認識結果R101が得られる。なお、図2に示す手領域認識結果R101は、白色の手領域HR101が仮想物体V101よりも手前側に存在する実物体であると認識された領域を示す。そして、手領域認識結果R101を用いて、仮想物体V101を遮蔽するように描画を行うと、描画結果D101が得られる。なお、図2示す描画結果D101において、白色領域は描画されない領域を示し、描画結果D101では、手領域HR101に相当する遮蔽領域CR101の部分が遮蔽されて仮想物体領域VR101が描画され、遮蔽領域CR101には仮想物体が描画されていない。
描画結果D101に基づいて表示部13の表示が行われることで、表示部13を通したユーザの視界は、図2に示す視界F101のようになる。上記のように実物体のセンシングに基づく認識に応じた表示が行われることで、仮想物体V101と手H101の位置関係が適切にユーザに理解されやすくなる。
なお、上記では、ユーザが操作に用いるユーザ自身の手を実物体の例として説明したが、手以外の実物体や、操作に用いられる実物体以外の実物体に対しても同様の処理が可能であり、実物体と仮想物体の位置関係を適切にユーザに提示することが可能である。
しかし、実物体のセンシングに基づく認識の結果によっては、実物体と仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。例えば、認識に係る精度が低い場合に、仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。
図3は、認識に係る精度が低い場合の表示例を説明するための説明図である。図3に示す例では、手H102のセンシングに基づく認識の結果得られた手領域認識結果R102の精度が、図2に示した手領域認識結果R101の精度よりも低く、手領域HR102の境界にノイズが含まれている。精度低下の原因は様々であるが、例えば周辺環境の明るさや、実物体と外向きカメラ110との距離によって、認識に係る精度が低下し、例えば境界がギザギザであったり、むらがあったりする、といったノイズが発生する場合がある。
このような精度の低い手領域認識結果R102を用いて、仮想物体V102を遮蔽するように描画が行われると、得られた描画結果D102においても、仮想物体領域VR102と遮蔽領域CR102との境界にノイズが含まれる。そして、このような描画結果D102に基づいて表示が行われると、ユーザの視界F102においても、ノイズの影響が見られる。その結果、ユーザは仮想物体V102と実物体であるユーザの手H102との間の境界に違和感を覚える恐れがある。
また、実物体の移動によっても、実物体と仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。例えば、実物体の移動速度が大きい場合に、実物体と仮想物体との間の境界が適切に表現されないことがある。
図4は、実物体の移動速度が大きい場合の表示例を説明するための説明図である。図4に示す例では、手H103のセンシングに基づく認識の結果得られる手領域認識結果R103の精度には、特に問題がない。そして、手領域認識結果R103を用いて、仮想物体V103を遮蔽するように描画が行われると、遮蔽領域CR103で遮蔽された仮想物体領域VR103を含む描画結果D103が得られる。
ここで、実物体である手H103の移動速度が大きい場合、上記の認識や描画に係る処理が行われている間に手H103の位置が大きく移動し得る。その結果、描画結果D103に基づいて表示が行われた時点で、手H103がセンシング時点の位置から大きく移動しており、ユーザの視界F103において、仮想物体V103とユーザの手H102との間の境界が不自然になってしまっている。その結果、ユーザは仮想物体V103と実物体であるユーザの手H103との間の境界に違和感を覚える恐れがある。
図3に示したように認識精度の低下に伴うノイズの影響を受けたユーザの視界F102、及び図4に示したように手H103の移動の影響を受けたユーザの視界F103は、例えば以下の2つの点でユーザに違和感を与える恐れがある。1点目は本来ユーザの手(実物体)が見えているべき領域に仮想物体が見えてしまうことである。2点目は、本来仮想物体が見えているべき領域に何も表示されず、背景の実空間が見えてしまうことである。この2点の違和感について、図4に示したユーザの視界F103の場合を例に、図5を参照して具体的に説明する。
図5は、図4に示したユーザの視界F103における仮想物体V103とユーザの手H103との間の境界の不自然さについて説明するための説明図である。図5には、説明のための領域分けを図4に示したユーザの視界F103に対して行ったイメージ図IF103が示されている。イメージ図IF103では、領域HV103と領域VH103がそれぞれ異なるハッチング表現により示されている。領域HV103は、本来ユーザの手H103が見えているべきにもかかわらず、仮想物体V103が見えてしまっている領域を示している。一方、領域VH103は、本来仮想物体V103が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域を示している。なお、図5では、図4に示したユーザの視界F103を例に領域HV103と領域VH103とを示したが、図3に示したユーザの視界F102においても、同様に、理想的な視界とは異なってしまう2種類の領域が存在する
このような理想的な視界とは異なってしまう2種類の領域が存在することにより、ユーザは仮想物体と実物体との間の境界に違和感を覚える恐れがある。そこで、本実施形態に係る情報処理装置1は、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と前記実物体との間の境界表現が異なるように表示を制御することで、ユーザに与える違和感を軽減する。以下、このような効果を有する本実施形態に係る情報処理装置1の構成例について、より詳細に説明を行う。
<1−2.構成>
図6は、本実施形態に係る情報処理装置1の構成例を示すブロック図である。図6に示すように、情報処理装置1は、センサ部11、制御部12、表示部13、スピーカー14、通信部15、操作入力部16、および記憶部17を有する。
(センサ部11)
センサ部11は、ユーザまたは周辺環境に関する各種情報を取得(センシング)する機能を有する。例えばセンサ部11は、外向きカメラ110、内向きカメラ111、マイク112、ジャイロセンサ113、加速度センサ114、方位センサ115、位置測位部116、および生体センサ117を含む。なおここで挙げるセンサ部11の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
外向きカメラ110および内向きカメラ111は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
なお、本実施形態において、外向きカメラ110は、実空間におけるユーザの視界に相当する領域を撮像するように、画角、及び向きが設定されることが望ましい。また、外向きカメラ110は、複数設けられていてもよい。さらに、外向きカメラ110は、センシングによりデプスマップを取得可能なデプスカメラを含んでもよい。
マイク112は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部12に出力する。
ジャイロセンサ113は、例えば3軸ジャイロセンサにより実現され、角速度(回転速度)を検出する。
加速度センサ114は、例えば3軸加速度センサ(Gセンサとも称す)により実現され、移動時の加速度を検出する。
方位センサ115は、例えば3軸地磁気センサ(コンパス)により実現され、絶対方向(方位)を検出する。
位置測位部116は、外部からの取得信号に基づいて情報処理装置1の現在位置を検知する機能を有する。具体的には、例えば位置測位部116は、GPS(Global Positioning System)測位部により実現され、GPS衛星からの電波を受信して、情報処理装置1が存在している位置を検知し、検知した位置情報を制御部12に出力する。また、位置測位部116は、GPSの他、例えばWi−Fi(登録商標)、Bluetooth(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
生体センサ117は、ユーザの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、MV(マイクロバイブレーション)、筋電位、またはSPO2(血中酸素飽和度))などを検知し得る。
(制御部12)
制御部12は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。また、本実施形態による制御部12は、図6に示すように、認識部120、及び表示制御部127として機能する。
認識部120は、センサ部11によりセンシングされた各種センサ情報に基づいて、ユーザに関する情報、または周辺状況に関する情報の認識(検出を含む)を行う機能を有する。認識部120は多様な情報を認識し得るが、例えば、認識部120は、外向きカメラ110の撮像(センシングの一例)により得られる撮像画像に基づいて、ユーザ周囲の実空間を3次元的に認識し、さらに実空間に存在する実物体に関する認識を行ってもよい。実空間の3次元的な認識は、例えば外向きカメラ110が複数のカメラを含む場合には、複数のカメラで得られた複数の撮像画像に対してステレオマッチングを行って得られるデプスマップを用いて行われてもよい。また、実空間の3次元的な認識は、時系列的な撮像画像に基づいて、撮像画像から検出された特徴点をフレーム間で対応付けることにより行われてもよい。また、外向きカメラ110がデプスカメラを含む場合には、デプスカメラのセンシングにより得られる距離画像に基づいて実空間の3次元的な認識が行われてもよい。
上述したように認識部120は多様な情報を認識し得るが、特に本実施形態に係る認識部120は移動認識部121、形状認識部123、及び精度情報取得部125としての機能を有する。
移動認識部121は、実物体のセンシングに基づき、実物体の移動に関する移動認識を行う。例えば、移動認識部121は、実物体のセンシングにより得られた撮像画像に基づいて、実物体の重心位置、及び姿勢の移動を認識してもよい。
移動認識部121は、認識された重心位置、及び姿勢のフレーム間での移動を認識し、移動の認識により特定される実物体の移動速度の情報を、移動の認識に係る認識情報として、表示制御部127へ提供する。
形状認識部123は、実物体のセンシングに基づき、実物体の3次元形状を認識する形状認識を行う。また、形状認識部123は形状認識と同時に実物体の位置、及び姿勢を認識してもよい。本実施形態に係る移動認識部121と形状認識部123は、位置、及び姿勢の認識に関して、情報の共有を行ってもよく、いずれか一方により認識された結果が他方に提供されてもよい。例えば、形状認識部123により認識された実物体の位置、及び姿勢に基づいて、移動認識部121が実物体の移動の認識を行ってもよい。
形状認識部123は、認識した実物体の3次元形状に基づいて、3次元の頂点と辺の列で表現される3次元モデルを生成し、形状情報として表示制御部127へ提供する。後述するように、形状認識部123により生成された実物体の3次元モデルは、表示制御部127が仮想物体を遮蔽するように描画を行うために用いられる。そのため、以下では、係る3次元モデルを遮蔽モデルと呼称する場合がある。
なお、形状認識部123は、外向きカメラ110により取得されるセンシングデータ(例えば撮像画像や距離画像)の時系列的な変化に基づき、実物体の3次元形状の変化(移動)の予測を行ってもよい。そして、形状認識部123は、予測に基づいて実物体の3次元形状を補正し、補正された3次元モデルを生成してもよい。例えば、形状認識部123は、認識部120の認識や表示制御部127の描画等にかかる処理時間を考慮した予測を行うことで、センシングに基づく表示が行われる時点の実物体に対応する、補正された3次元モデルを生成し得る。係る構成により、補正された3次元モデルに基づいて表示を行うことで、図4,図5を参照して説明したような、実物体の移動に伴う違和感を軽減することが可能となる。
なお、実物体が手である場合、指の移動は手全体の移動に比べて早くないため、指だけが移動している場合にはこのような予測が当たりやすく、指の移動に伴う違和感を軽減することが可能である。一方、手全体が高速に移動している場合には、移動認識部121により取得された移動情報に基づく後述するような処理により、手全体の移動に伴う違和感が軽減され得る。なお、手と指の両方を同時に高速に動くことは少ない。
精度情報取得部125は、形状認識部123による形状認識に係る認識精度の情報を取得する。例えば、精度情報取得部125は、形状認識部123が行う認識における信頼度や、外向きカメラ110を含むセンサ部11により取得されるセンシングデータから推定されるセンシングデータに係る信頼度、誤差、または精度に基づいて認識精度を特定することで、認識精度を取得してもよい。
例えば、形状認識部123がステレオマッチングにより得られたデプスマップに基づいて形状認識を行う場合、ステレオマッチングにおけるマッチングスコアの情報が信頼度として用いられて、認識精度の情報が特定されてもよい。
また、外向きカメラ110がデプスカメラを含む場合、デプスカメラが出力するセンシングデータに係る信頼度に基づいて、認識精度の情報が取得されてもよい。
また、センシングデータの誤差、及び精度は様々な方法で推定され得る。例えば、精度情報取得部125は、過去所定時間分のセンシングデータの分散を算出し、当該分散が大きい場合、または分散に大きな変化があった場合に、誤差が大きい(精度が低い)、と推定してもよい。センシングデータの誤差、または精度に基づいて認識精度の情報を取得することで、認識精度は、結果として認識の精度を反映したものとなる。
上記で説明した信頼度や誤差、または精度は、単独で用いられて、または組み合わされて認識精度が特定されてもよい。また、精度情報取得部125による認識精度の特定方法は、上記に限定されず、得られるセンシングデータや認識部120が行う認識の方法に応じて様々な方法で特定されてもよい。
精度情報取得部125は、取得した認識精度の情報を、形状認識に係る認識情報として、表示制御部127へ提供する。
表示制御部127は、表示部13の表示を制御する。例えば、表示制御部127は、実空間と同時に仮想物体を視認可能なように、仮想物体を表示部13に表示させる。なお、表示制御部127は、仮想物体に係る情報を例えば記憶部17から取得してもよいし、通信部15を介して他の装置から取得してもよい。
また、図2を参照して説明したように、本実施形態に係る表示制御部127は、形状認識部123の形状認識により得られた形状情報の一例である遮蔽モデルを用いて、仮想物体の遮蔽が行われるように表示を制御する。
図7は、表示制御部127による遮蔽モデルを用いた仮想物体の遮蔽を説明するための説明図である。表示制御部127は、図7に示すような3次元的な仮想空間VS104に、仮想物体V104と遮蔽モデルCM104を配置する。さらに、表示制御部127は、仮想空間VS104において、仮想的なカメラである仮想視点VCでの描画を行うことで、2次元的な描画結果D104を得る。描画結果D104には、仮想物体領域VR104と、遮蔽モデル領域CMR104が含まれている。表示制御部127は、例えば遮蔽モデル領域CMR104を図2等を参照して説明した遮蔽領域として、遮蔽モデル領域CMR104に何も表示されないように表示部13の表示を制御することで、仮想物体V104を遮蔽する。係る構成により、図2を参照して説明したような仮想物体と実物体の位置関係が適切にユーザに理解されやすい表示を実現する。
しかし、図3〜5を参照して説明したように、認識精度や実物体の移動の影響により、上述した表示方法では仮想物体と実物体との間の境界が適切に表現されず、ユーザに違和感を与えてしまう恐れがある。そこで本実施形態に係る表示制御部127は、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と実物体との間の境界表現が異なるように表示部13の表示を制御する。なお、表示制御部127が用いる認識情報は、上述したように、移動認識部121から提供される実物体の移動速度の情報、及び精度情報取得部125から提供される形状認識に係る認識精度の情報を含んでもよい。また、認識情報は、実物体のセンシングに基づく認識に応じて、第1の認識情報、または第1の認識情報とは異なる第2の認識情報を含むものと見做されてもよい。
本明細書において境界表現とは、ユーザの視界における実物体と仮想物体の境界に関する表現、または当該境界の近傍位置(境界領域)に関する表現を意味する。また、境界表現を異ならせる、または境界表現を変更する、とは、表示形式等を異ならせることに加え、表示しないことを含む。なお、本明細書において、境界表現を異ならせる、とは、境界表現を第1の境界表現、または第1の境界表現とは異なる第2の境界表現の一方にすることとして、見做されてもよい。また、本明細書において、境界表現を変更する、とは、境界表現を第1の境界表現と第2の境界表現との間で変更することとして、見做されてもよい。なお、表示部13が透過型である場合、表示しないことは、透過型の表示部13を通して実空間が見えることに相当する。また、境界表現は、仮想物体の実物体による遮蔽を示す遮蔽表示に関する表現として見做されてもよい。
図8〜図10を参照しながら、表示制御部127が行う、境界表現を異ならせるための処理の例について説明する。図8は、境界表現を異ならせるために3次元仮想空間において行われ得る処理の例を説明するための説明図である。図9は、境界表現を異ならせるために2次元描画結果において行われ得る処理の例を説明するための説明図である。図10は、境界表現を異ならせるために行われ得る処理について整理した表である。
例えば、表示制御部127は、境界表現を異ならせるために、図8に示す3次元的な仮想空間VS105において、遮蔽側の遮蔽モデルCM105全体に対して処理を行ってもよい。例えば、表示制御部127は、遮蔽モデルCM105全体の色を、遮蔽のための色から実物体(例えば手)に近い色に変更することで、境界表現を異ならせてもよい。以下の説明において、このような3次元仮想空間における遮蔽モデル全体に対する処理を、図10に示すように、処理3D―C―Aと呼ぶ場合がある。
また、表示制御部127は、境界表現を異ならせるために、図8に示す3次元的な仮想空間VS105において、遮蔽モデルCM105の一部に対して処理を行ってもよい。例えば、表示制御部127は、遮蔽モデルCM105の輪郭部分CMP105の透過度を上げることで、境界表現を異ならせてもよい。また、表示制御部127は、遮蔽モデルCM105の輪郭部分CMP105を拡張させることで、境界表現を異ならせてもよい。また、表示制御部127は、遮蔽モデルCM105の輪郭部分CMP105にエフェクト表示(以下、単にエフェクトという場合がある)を付加することで、境界表現を異ならせてもよい。以下の説明において、このような3次元仮想空間における遮蔽モデルの一部に対する処理を、図10に示すように、処理3D―C―Pと呼ぶ場合がある。
また、表示制御部127は、境界表現を異ならせるために、図8に示す3次元的な仮想空間VS105において、被遮蔽側の仮想物体V105全体に対して処理を行ってもよい。例えば、表示制御部127は、仮想物体V105全体の輝度を低下させることで、境界表現を異ならせてもよい。以下の説明において、このような3次元仮想空間における仮想物体全体に対する処理を、図10に示すように、処理3D―V―Aと呼ぶ場合がある。
また、表示制御部127は、境界表現を異ならせるために、図8に示す3次元的な仮想空間VS105において、仮想物体V105の一部に対して処理を行ってもよい。例えば、表示制御部127は、仮想物体V105の一部に実物体(例えば手)の色に近い影VP105を設定することで、境界表現を異ならせてもよい。以下の説明において、このような3次元仮想空間における仮想物体の一部に対する処理を、図10に示すように、処理3D―V―Pと呼ぶ場合がある。
また、表示制御部127は、境界表現を異ならせるために、図9に示す2次元的な描画結果D105において、遮蔽側の遮蔽モデル領域CMR105全体に対して処理を行ってもよい。例えば、表示制御部127は、遮蔽モデル領域CMR105全体の色を、遮蔽のための色から実物体(例えば手)に近い色に変更することで、境界表現を異ならせてもよい。以下の説明において、このような2次元描画結果における遮蔽モデル領域全体に対する処理を、図10に示すように、処理2D―C―Aと呼ぶ場合がある。
また、表示制御部127は、境界表現を異ならせるために、図9に示す2次元的な描画結果D105において、遮蔽モデル領域CMR105の一部に対して処理を行ってもよい。例えば、表示制御部127は、遮蔽モデル領域CMR105の輪郭部分CMP105の透過度を上げたり、ぼかしたりしてブレンドすることで、境界表現を異ならせてもよい。以下の説明において、このような2次元描画結果における遮蔽モデル領域の一部に対する処理を、図10に示すように、処理2D―C―Pと呼ぶ場合がある。
また、表示制御部127は、境界表現を異ならせるために、図9に示す2次元的な描画結果D105において、被遮蔽側の仮想物体領域VR105全体に対して処理を行ってもよい。例えば、表示制御部127は、仮想物体領域VR105全体の輝度を低下させることで、境界表現を異ならせてもよい。以下の説明において、このような2次元描画結果における仮想物体領域全体に対する処理を、図10に示すように、処理2D―V―Aと呼ぶ場合がある。
また、表示制御部127は、境界表現を異ならせるために、図9に示す2次元的な描画結果D105において、仮想物体領域VR105の一部に対して処理を行ってもよい。例えば、表示制御部127は、仮想物体領域VR105のうち、遮蔽モデル領域CMR105との境界の近傍領域VRP105のみを実物体(例えば手)の色に近づけることで、境界表現を異ならせてもよい。以下の説明において、このような2次元描画結果における仮想物体領域の一部に対する処理を、図10に示すように、処理2D―V―Pと呼ぶ場合がある。
なお、上述した表示制御部127が行う8つの処理3D―C―A、処理3D―C―P、処理3D―V―A、処理3D―V―P、処理2D―C―A、処理2D―C―P、処理2D―V―A、及び処理2D―V―Pは、それぞれ単独で行われてもよいし、組み合わせて行われてもよい。表示制御部127は上述した処理を単独で、または組み合わせて行うことで、境界表現を多様に異ならせることが可能である。また、表示制御部127は上述した処理を単独で、または組み合わせて行うことで、表示部13に表示させる画像を描画し、描画された画像を表示部13に表示させる。
なお、境界表現の具体例については、図12〜図23を参照して後述する。
(表示部13)
図6に戻って説明を続ける。表示部13は、例えばホログラム光学技術を用いて表示を行うレンズ部(透過型表示部の一例)、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置等により実現される。また、表示部13は、透過型、半透過型、または非透過型であってもよい。
(スピーカー14)
スピーカー14は、制御部12の制御に従って、音声信号を再生する。
(通信部15)
通信部15は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部15は、例えば有線LAN(Local Area Network)、無線LAN、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
(操作入力部16)
操作入力部16は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
(記憶部17)
記憶部17は、上述した制御部12が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部17には、表示制御部127が表示させる仮想物体に関する情報が記憶されていてもよい。
以上、本実施形態による情報処理装置1の構成について具体的に説明したが、本実施形態による情報処理装置1の構成は図6に示す例に限定されない。例えば情報処理装置1の制御部12が有する少なくとも一部の機能が、通信部15を介して接続される他の装置に存在してもよい。
<1−3.動作>
以上、本実施形態に係る情報処理装置1の構成例について説明した。続いて、本実施形態に係る情報処理装置1の動作例について図11を参照して説明する。図11は、本実施形態に係る情報処理装置1の動作例を示すフローチャート図である。
図11に示すように、まずセンサ部11の外向きカメラ110が、実物体のセンシング(例えば撮像)を行う(S100)。続いて、制御部12の認識部120の移動認識部121が、ステップS100で行われたセンシングの結果に基づいて、実物体の移動に関する移動認識を行い、例えば移動速度の情報を特定する(S110)。
また、認識部120の形状認識部123が、ステップS100で行われたセンシングの結果に基づいて、実物体の形状認識を行い、遮蔽モデルを生成する(S120)。続いて、認識部120の精度情報取得部125が、形状認識部123の形状認識に係る認識精度の情報を取得する(S130)。
続いて、表示制御部127が、表示させる仮想物体に関する情報を取得する(S140)。なお、ここで表示制御部127は、認識部120の認識結果に基づいて、表示させる仮想物体を特定してから、特定された仮想物体の情報を取得してもよい。
続いて、表示制御部127は、ステップS110で特定された移動速度の情報(認識情報の一例)、及びステップS130で特定された認識精度の情報(認識情報の一例)に基づいて、境界表現を決定する(S150)。なお、ここで決定された境界表現の具体例については、図12〜図23を参照して後述する。
続いて、表示制御部127は、ステップS150で決定された境界表現に係る表示制御方法に従って、表示部13に表示させる画像を描画する(S160)。さらに、表示制御部127の制御に従い、表示部13が当該画像を表示する(S170)。
以上、本実施形態に係る情報処理装置1の動作例について説明した。なお、ステップS110とステップS120〜S130の処理の順序は逆であってもよいし、ステップS110とステップS120〜S130の処理は並列に行われてもよい
<1−4.境界表現の具体例>
続いて、境界表現の幾つかの具体例について、図12〜図23を参照して説明を行う。
(第1の具体例:遮蔽領域の拡縮)
境界表現の第1の具体例として、表示制御部127が、認識情報(認識精度の情報、または移動速度の情報)に応じて、遮蔽領域を拡縮(拡張、または縮小)することで、境界表現を異ならせる例について説明する。図12〜図15は、境界表現の第1の具体例を説明するための説明図である。
図12に示す例では、図3等を参照して説明した例と同様に、手領域認識結果R111の精度が低く、手領域HR111の境界にノイズが含まれている。そこで、表示制御部127は、認識精度の情報(認識情報の一例)に応じて、例えば認識精度が低い場合に、遮蔽に係る遮蔽領域が拡張されるように表示を制御してもよい。すなわち、表示制御部127は、認識情報が異なる場合に、遮蔽領域が異なる大きさを有するように表示を制御するものと見做されてもよい。
例えば、図12に示すように、手領域HR111を拡張して得られた拡張手領域DHR111を含む拡張手領域認識結果DR111を用いて、仮想物体V111を遮蔽するように描画が行われると、描画結果D111が得られる。描画結果D111における遮蔽領域CR111は、図3に示した遮蔽領域CR102と比較して拡張されている。このように拡張された遮蔽領域CR111と、仮想物体領域VR111を含む描画結果D111に基づいて表示が行われると、ユーザの視界は視界F111のようになる。視界F111では、図3に示した視界F103と比較して、ノイズの影響が抑制されており、その結果、仮想物体V111と実物体であるユーザの手H111との間の境界に関してユーザに与える違和感が軽減される。
また、図12に示す例では、表示制御部127が認識精度の情報に応じて表示制御を行う例を説明したが、本具体例は係る例に限定されない。表示制御部127は、実物体の移動速度の情報(認識情報の一例)に応じて、例えば移動速度が大きい場合に、遮蔽に係る遮蔽領域が拡張されるように表示を制御してもよい。係る場合の処理の流れは、図12を参照して説明した例と同様であるため、詳細な処理の流れについては説明を省略し、図13を参照してその結果得られる効果について説明を行う。
図4,図5を参照して説明したような実物体の移動速度が大きい場合に、遮蔽領域が拡張されるように表示制御が行われると、ユーザの視界は図13に示す視界F112のようになる。また、図13には、説明のための領域分けを視界F112に対して行ったイメージ図IF112が示されている。イメージ図IF112によれば、視界F112には、本来仮想物体V112が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域VH112が存在する。しかし、視界F112には、図5に示したHV103のような、本来ユーザの手H112が見えているべきにもかかわらず、仮想物体V112が見えてしまっている領域は存在せず、図4,図5を参照して説明した例と比べ、ユーザに与える違和感が軽減される。
なお、表示制御部127は、認識情報(例えば認識精度の情報、または移動速度の情報)に応じて遮蔽領域の拡張の度合(表現変更に係る強度の一例)を異ならせてもよい。例えば、表示制御部127は、認識精度が低い程、遮蔽領域がより拡張されるように、表示を制御してもよい。また、表示制御部127は、移動速度が大きい程、遮蔽領域がより拡張されるように、表示を制御してもよい。
また、表示制御部127は、遮蔽領域を拡張する代わりに、矩形や楕円等の所定の形状で遮蔽領域を近似するように、表示を制御してもよい。例えば、近似する形状を遮蔽領域よりも大きくすることで、上記と同様の効果を得ることが可能となる。
また、表示制御部127は、拡張された遮蔽領域の拡張に係る部分をフェードさせてもよい。係る例について図14を参照して説明する。図14に示す例においても、手領域認識結果R113の精度が低く、手領域HR113の境界にノイズが含まれている。
図14に示す例では、手領域HR113を拡張して得られた拡張手領域DHR113を含む拡張手領域認識結果DR113を用いて、仮想物体V113を遮蔽するように描画が行われる、描画結果D113が得られる。ここで、拡張手領域DHR113は、拡張に係る部分をフェードさせるように拡張されている。その結果、描画結果D113における遮蔽領域CR113においても、拡張に係る部分がフェードされている。このような遮蔽領域CR113と仮想物体領域VR113を含む描画結果D113に基づいて表示が行われると、ユーザの視界は、視界F113のようになる。その結果、視界F113において、仮想物体V113と実物体であるユーザの手H113との間の境界近傍の領域がフェードされ、ユーザに与える違和感がより軽減される。
なお、図14に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。
また、表示制御部127は、遮蔽領域のうち、認識情報に応じた領域が拡縮されるように表示を制御してもよい。例えば、精度情報取得部125により提供された認識精度の情報に、認識精度が低い部分に関する情報(例えば位置の情報等)が含まれている場合、表示制御部127は、遮蔽領域のうち、認識精度が低い部分に応じた領域が拡張されるように、表示を制御してもよい。係る例について図15を参照して具体的に説明する。
図15に示すようなノイズを含む手領域認識結果R114が得られた際に、表示制御部127が遮蔽領域のうち認識精度が低い部分に応じた領域が拡張されるように表示を制御すると、ユーザの視界は視界F114のようになる。視界F114において、本来仮想物体V114が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域は、認識精度が低い部分に応じた拡張部分領域FR114のみとなる。そして、拡張部分領域FR114以外の仮想物体V114と手H115との境界は高精度に表現されている。したがって、係る構成により、ユーザに与える違和感がより軽減される。
また、表示制御部127は、遮蔽領域のうち認識精度が低い部分に応じた領域が拡張される場合に、図14を参照して説明した例と同様に、拡張に係る部分をフェードさせてもよい。図15に示す例では、ノイズを含む手領域認識結果R115が得られた際に、表示制御部127が遮蔽領域のうち認識精度が低い部分に応じた領域が拡張され、かつ拡張に係る部分がフェードされるように表示を制御すると、ユーザの視界は視界F115のようになる。視界F115において、認識精度が低い部分に応じた拡張部分領域FR115はフェードされているため、視界F114の例と比べて、ユーザに与える違和感がより軽減される。
なお、図15に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。例えば、移動認識部121により提供された移動速度の情報に、移動速度が大きい部分に関する情報(例えば位置の情報等)が含まれている場合、表示制御部127は、遮蔽領域のうち、移動速度が大きい部分に応じた領域が拡張されるように、表示を制御してもよい。
以上、図12〜図15を参照して、境界表現の第1の具体例について説明した。なお、上記では、遮蔽領域が拡張される例を説明したが、遮蔽領域が縮小される場合も同様である。遮蔽領域が縮小される場合には、ユーザの視界において、本来仮想物体が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域が減少して、ユーザに与える違和感が軽減される。
また、上記の遮蔽領域の拡縮は、例えば図8〜図10を参照して説明した処理により実現可能である。例えば、上記の遮蔽領域の拡縮は、図10の処理3D―C―P、処理2D―C―P、及び処理2D―V―Pを適宜組み合わせることで実現可能である。
(具体例2:エフェクトの付加)
境界表現の第2の具体例として、表示制御部127が、認識情報(認識精度の情報、または移動速度の情報)に応じて、遮蔽に係る境界の近傍に、エフェクトが付加(重畳)されるように表示を制御することで、境界表現を異ならせる例について説明する。なお、遮蔽に係る境界の近傍とは、例えば図2等を参照して説明した遮蔽領域と仮想物体領域との境界の近傍であってもよい。また、遮蔽に係る境界の近傍とは、図8、図9を参照して説明した遮蔽モデルの輪郭部分や、遮蔽モデル領域と仮想物体領域との境界の近傍であってもよい。
図16〜図22は、境界表現の第2の具体例を説明するための説明図である。図16に示す例では、図3等を参照して説明した例と同様に、手領域認識結果R121の精度が低く、手領域HR121の境界にノイズが含まれている。そこで、表示制御部127は、認識精度の情報(認識情報の一例)に応じて、例えば認識精度が低い場合に、遮蔽に係る境界の近傍に、エフェクトE121が付加されるように、表示を制御してもよい。図16に示す例において、エフェクトE121は、グローのような光らせるエフェクトであってもよい。
図16に示す例において、表示制御部127は、手領域認識結果R121を用いて仮想物体V121を遮蔽すると共に、遮蔽に係る境界の近傍にエフェクトE121が付加されるように描画を行うことで、描画結果D121を得る。描画結果D121において、遮蔽領域CR121と仮想物体領域VR121の間に、エフェクト領域ER121が存在する。このような遮蔽領域CR121、仮想物体領域VR121、及びエフェクト領域ER121を含む描画結果D121に基づいて表示が行われると、ユーザの視界は視界F121のようになる。視界F121では、エフェクトE121が付加されたことにより、図3に示した視界F103と比較して、ノイズの影響が抑制されている。その結果、仮想物体V121と実物体であるユーザの手H121との間の境界に関してユーザに与える違和感が軽減される。
また、図16に示す例では、表示制御部127が認識精度の情報に応じて表示制御を行う例を説明したが、本具体例は係る例に限定されない。表示制御部127は、実物体の移動速度の情報(認識情報の一例)に応じて、例えば移動速度が大きい場合に、遮蔽に係る境界の近傍に、エフェクトが付加されるように、表示を制御してもよい。係る場合の処理の流れは、図16を参照して説明した例と同様であるため、詳細な処理の流れについては説明を省略し、図17を参照してその結果得られる効果について説明を行う。
図4,図5を参照して説明したような実物体の移動速度が大きい場合に、遮蔽に係る境界の近傍に、エフェクトが付加されるように表示制御が行われると、ユーザの視界は図17に示す視界F122のようになる。また、図17には、視界F127に対して、説明のための細線と破線を追加したイメージ図IF122が示されている。イメージ図IF122に示される細線は、エフェクトが付加されない場合の、仮想物体V122の境界を示している。また、イメージ図IF122に示される破線は、エフェクトE122によって隠される実物体である手H122の境界を示している。イメージ図IF122によれば、視界F122には、図5に示したVH103のような、本来仮想物体V122が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域は存在しない。また、イメージ図IF122によれば、図5に示したHV103のような、本来ユーザの手H112が見えているべきにもかかわらず、仮想物体V112が見えてしまっている領域も存在しない。それら両方の領域を覆うように、遮蔽に係る境界の外側と内側の両方にエフェクトE122が付加されて表示されることにより、図4,図5を参照して説明した例と比べ、ユーザに与える違和感が軽減される。
なお、表示制御部127は、認識情報(例えば認識精度の情報、または移動速度の情報)に応じてエフェクトの強度(表現変更に係る強度の一例)を異ならせてもよい。エフェクトの強度は、エフェクトの範囲の広さ、またはエフェクトの輝度(または明度)の大きさ等を含んでもよい。エフェクトの強度の例について、図18を参照して説明する。図18に示す視界F123の例では、手H123と仮想物体V123の境界近傍にエフェクトが付加されていない。図18に示す視界F124の例は視界F123の例よりもエフェクトの強度を大きくした場合の例である。図18に示す視界F124の例では、手H124と仮想物体V124の境界近傍にエフェクトE124が付加されている。図18に示す視界F125の例は視界F124の例よりもさらにエフェクトの強度を大きくした場合の例である。図18に示す視界F124の例において、エフェクトE125は、エフェクトE124と比べ広範囲に付加されている。エフェクトE125は、外側に拡張されているだけでなく、手H125と仮想物体V125の境界近傍に加え、手H125の全体にもエフェクトE125が付加されている。これは、内側へのエフェクトを拡張すると、手H125が見えにくくなる恐れがあるため、手H125全体に付加した方が、例えば操作用のユーザインタフェース(UI)のように見えて見やすくなるためである。
図18に示したようなエフェクトの強度の遷移は、例えば認識精度の高さ、または移動速度の大きさに応じて行われてもよい。例えば、表示制御部127は、認識精度が低い程、より強い強度を有するように、エフェクト表示を制御してもよい。また、表示制御部127は、移動速度が大きい程、より強い強度を有するように、エフェクト表示を制御してもよい。
また、表示制御部127は、認識情報に応じた位置に、エフェクトが付加されるように表示を制御してもよい。例えば、精度情報取得部125により提供された認識精度の情報に、認識精度が低い部分に関する情報が含まれている場合、表示制御部127は、認識精度が低い部分の境界近傍に、エフェクトが付加されるように表示を制御してもよい。また、移動認識部121により提供された移動速度の情報に、移動速度が大きい部分に関する情報が含まれている場合、表示制御部127は、認識精度が低い部分の境界近傍に、エフェクトが付加されるように表示を制御してもよい。
図15〜図18を参照して説明したエフェクトの付加は、例えば図8〜図10を参照して説明した処理により実現可能である。例えば、遮蔽に係る境界近傍へのエフェクトの付加は、図10の処理3D―C―P、処理2D―C―P、及び処理2D―V―Pを適宜組み合わせることで実現可能である。また、図18を参照して説明した実物体全体へのエフェクトの付加は、図10の処理3D―C―A、処理3D―C―P、処理2D―C―A、処理2D―C―P、及び処理2D―V―Pを適宜組み合わせることで実現可能である。
なお、表示制御部127により付加されるエフェクトは、多様であり得る。以下に、いくつかのエフェクトの例を説明する。
図19に示すユーザの視界F131の例では、ユーザの手H131と仮想物体V131の境界が適切に表現されていない。これに対し、図20に示す視界F132の例では、遮蔽に係る境界の近傍にグローのような光るエフェクトE132が付加される。なお、視界F132の例では、手H132の輪郭全体が覆われようにエフェクトE132が付加されているが、これは例えば図10の処理3D―C―Pにより実現可能である。
また、エフェクトE132は、例えば形状認識部123が行った実物体の3次元形状の変化(移動)の予測の結果に基づいて、モーションブラ―のような強度変化を有してもよい。例えば、エフェクトE132の強度は、予測された変化の開始位置と予測された変化の終了位置との間で変化していてもよい。このように、モーションブラ―のような強度変化を有するエフェクトE132が付加されることで、ユーザの手H132と仮想物体V132との間の境界に関して、ユーザに与える違和感が軽減される。
また、図20に示す視界F133の例では遮蔽に係る境界の近傍にグローのような光るエフェクトE133が付加される。なお、視界F133の例では、手H133と仮想物体V133の境界近傍に限定されてエフェクトE132が付加されている。このような表示制御は、例えば、図10の処理3D―C―P、処理2D―C―P、及び処理2D―V―Pを適宜組み合わせることで実現可能である。
また、エフェクトE133は、エフェクトE132と同様に、形状認識部123が行った実物体の3次元形状の変化(移動)の予測の結果に基づいて、モーションブラ―のような強度変化を有してもよい。このようなエフェクトE133が付加された場合にも、ユーザの手H133と仮想物体V133との間の境界に関して、ユーザに与える違和感が軽減される。
また、図20を参照して説明した例において、エフェクトE132や、エフェクトE133の色を、実物体(例えば手)の色に近い色や、仮想物体の色に近い色とすることも可能である。なお、係る場合、エフェクトはモーションブラ―のような強度変化を有しても有していなくてもよい。係る構成によれば、実物体と仮想物体との間の境界に関して、ユーザに与える違和感がより軽減される。
また、表示制御部127は、遮蔽に係る境界の近傍をぼかすようなエフェクトが付加されるように表示を制御してもよい。このような表示制御は、例えば、図10の処理3D―C―P、処理2D―C―P、及び処理2D―V―Pを適宜組み合わせることで実現可能である。
なお、上記では、実物体の全体が仮想物体よりも手前に存在する場合を例に説明を行ったが、実物体の一部が仮想物体よりも奥に存在する場合であっても、表示制御部127は、エフェクトを付加することが可能である。係る場合について、図21、図22を参照して説明を行う。
図21に示す視界F141の例では、実物体である手の指H141の全体が仮想物体V141よりも手前に存在する。このような状態から、指H141が仮想物体V141と衝突する(指H141の一部が仮想物体V14の中に入りこむ)ように移動した場合、ユーザの視界は、図21に示す視界F142のようになることが望ましい。視界F142の例では、表示制御部127により、実物体が仮想物体と衝突するような表示制御が行われ、指H142と、仮想物体V142とが衝突したことが、指H142の一部が遮蔽されることで表現されている。
ここで、認識精度が低い場合を考える、図21に示す視界F143の例では、実物体である手の指H143の全体が仮想物体V143よりも手前に存在するが、ノイズの影響により、指H143と仮想物体V143との間の境界が適切に表現されていない。このような状態から、指H143が仮想物体V143と衝突するように移動した場合、表示制御部127により、実物体が仮想物体と衝突するような表示制御が行われると、ユーザの視界は、視界F144のようになる。視界F144では、本来仮想物体V144が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域、本来指H144が見えているべきにもかかわらず、仮想物体V144が見えてしまっている領域に加え、本来仮想物体V144が見えているべきにもかかわらず、指H144が見えてしまっている領域が存在する。
視界F144のような例に対して、エフェクトを付加することを考える。係るエフェクトの付加を、図10の処理3D―C―Pにより、遮蔽モデルの輪郭部分の近傍にエフェクトを付加することで実現した場合、ユーザの視界は、図22に示す視界F145のようになり得る。視界F145の例では、エフェクトE145の存在により、本来仮想物体V145が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域、及び本来指H145が見えているべきにもかかわらず、仮想物体V145が見えてしまっている領域は存在しない。しかし、視界F145の例では、本来仮想物体V145が見えているべきにもかかわらず、指H145が見えてしまっている領域が存在し、ユーザに違和感を与え得る。
そこで、表示制御部127は、図22に示す視界F146のように、指H145(実物体の一例)と仮想物体V145の衝突に係る境界の近傍にもエフェクトE145が付加されるように表示を制御することが望ましい。係る表示制御を図10の処理3D―C―Pにより実現する場合には、例えば、遮蔽モデルの輪郭部分の近傍のみならず、遮蔽モデルと仮想物体の衝突に係る境界の近傍にもエフェクトを付加すればよい。また、係る表示制御は図10の処理2D―C―Pにより実現することも可能である。
なお、図22に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。
(第3の具体例:仮想物体の視認性制御)
以上、図16〜図22を参照して、境界表現の第2の具体例について説明した。続いて、境界表現の第3の具体例として、表示制御部127が、認識情報(認識精度の情報、または移動速度の情報)に応じて、異なる視認性を有するように仮想物体の表示を制御することで、境界表現を異ならせる例について説明する。
図23は、境界表現の第3の具体例を説明するための説明図である。図23に示すユーザの視界F151の例では、認識精度が低いために、実物体であるユーザの手H151と、仮想物体V151との間の境界が適切に表現されていないため、ユーザに違和感を与える恐れがある。
そこで、表示制御部127は、認識精度が低い場合に、仮想物体の視認性を低下させるように表示を制御してもよい。係る構成により、実物体と仮想物体との間の境界に係る違和感が軽減される。
例えば、図23に示す視界F152の例では、仮想物体V152がワイヤフレームレンダリングにより表示されることで、手H152と仮想物体V152との間の境界に係る違和感が軽減される。また、図23に示す視界F153の例では、仮想物体V153の輝度が低下させられ、半透明に見えることで、手H153と仮想物体V153との間の境界に係る違和感が軽減される。
また、図23に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。また、図23に示したような仮想物体の視認性を低下させる表示制御は、図10の処理3D―V―Aにより実現可能である。
なお、表示制御部127が行う視認性を異ならせる表示制御は、図23に示す例に限定されない。例えば、表示制御部127は、仮想物体の色の彩度変更や、テクスチャや模様の有無等により、視認性を異ならせてもよい。また、表示制御部127は、仮想物体の表示解像度を低下させることで、視認性を低下させてもよい。
また、図23では、表示制御部127が仮想物体の全体の視認性を低下させる例を示したが、表示制御部127は、仮想物体の一部領域(例えば所定の形状の領域)の視認性を低下させるように表示を制御してもよい。係る表示制御は、例えば図10に示した処理3D―V―P、及び処理2D―V―Pを適宜組み合わせることにより実現可能である。
<1−5.変形例>
以上、本開示の第1の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
(変形例1−1)
上述した境界表現の第3の具体例は、ユーザが実物体を用いて仮想物体に対する操作を行う場合に特に有効となり得る。例えば、手や指等の実物体を用いて、ボタン(仮想物体)を押す操作や、文字列(仮想物体)を選択する操作等は、細かい操作となり得るため、遮蔽領域が拡張されたり、エフェクトにより、本来見えるべき仮想物体の一部が見えなくなってしまうと操作に支障が発生し得る。一方、上記のような視認性を低下させる表示制御が行われた場合には、視認性は低下するものの、本来見えるべき仮想物体を見ることが可能であるため、操作への影響が小さい。
そこで、実物体を用いた仮想物体に対する操作が行われる場合に、表示制御部127は、操作に係る操作情報にさらに応じて、境界表現が異なるように表示を制御してもよい。すなわち、表示制御部127は、仮想物体が実物体により操作可能な仮想物体である場合、複数の境界表現のうち、仮想物体の表示領域がより大きい境界表現を示すように遮蔽表示を制御するものと見做されても良い。操作情報は、例えば認識部120により認識されて、表示制御部127へ提供されてもよい。そして、表示制御部127は、認識部120により認識された操作情報に応じて、上述した境界表現の具体例のうち、より適切なものを選択して表示制御を行ってもよい。例えば、認識部120により、細かい操作が行われていると認識された場合、表示制御部127は、認識情報に応じて、仮想物体の視認性を異ならせてもよい。なお、操作情報は、認識部120から提供される例に限定されず、例えば仮想物体の形状等から特定されてもよい。
係る構成によれば、例えば、操作の種類に応じた表示制御が行われて、ユーザの操作に支障が発生し難いという効果が得られる。
(変形例1−2)
また、上述した境界表現の第3の具体例のうちの一部は、仮想物体に係るコンテンツによっては、適用が困難である場合がある。そこで、表示制御部127は、仮想物体に係るコンテンツ情報にさらに応じて、境界表現が異なるように表示を制御してもよい。
例えば、仮想物体に関するコンテンツがテキストや3次元形状である場合には、ワイヤフレームレンダリングが可能であるため、表示制御部127は、ワイヤフレームレンダリングを行うことで視認性を低下させてもよい。一方、仮想物体に関するコンテンツが画像(静止画像、または動画像)である場合には、ワイヤフレームレンダリングが困難であるため、仮想物体の輝度を低下させて、半透明に見えるようにすることで、視認性を低下させてもよい。すなわち、表示制御部127は、仮想物体が3次元形状を有するか否かに応じて、遮蔽表示を制御するものと見做されても良い。
係る構成によれば、コンテンツに応じた表示制御が可能となるため、ユーザに与える違和感がより軽減される。
(変形例1−3)
また、表示制御部127は、認識精度の情報に基づいて、仮想物体の配置(位置、姿勢、大きさ等)を制御してもよい。図24は、表示制御部127が認識精度の情報に基づいて、仮想物体の配置を制御する変形例を説明するための説明図である。
図24に示す認識結果R161は、実物体であるユーザの手H161のセンシングに基づいた認識の結果である。また、認識結果R161には、認識精度の情報も示されており、認識結果R161において、白色の領域は、認識精度の低い領域である。したがって、例えば、認識結果R161における認識精度の低い領域LR161に対応する場所に仮想物体が配置されると、仮想物体と実物体との間の境界が適切に表現されない恐れがある。そこで、表示制御部127は、認識結果R161における認識精度の高い領域HR161に対応する場所に、仮想物体を配置してもよく、係る場合のユーザの視界は視界F161のようになる。視界F161の例では、手H161と仮想物体V161との間の境界が適切に表現され、ユーザの違和感がより軽減される。
なお、例えば、仮想物体に係るコンテンツによっては、当該仮想物体の配置を異ならせるべきではない場合があるため、上述した仮想物体の配置の制御は、コンテンツ情報に基づいて行われてもよい。
(変形例1−4)
また、上述した境界表現の第2の具体例では、表示制御部127は、遮蔽に係る境界の近傍にエフェクトを付加する例を説明したが、本実施形態は係る例に限定されない。例えば、表示制御部127は、認識情報に応じて、遮蔽に係る遮蔽領域の内部にエフェクトが付加されるように表示を制御してもよい。図25、図26は、表示制御部127が認識情報に応じて、遮蔽に係る遮蔽領域の内部にエフェクトが付加されるように表示を制御する変形例を説明するための説明図である。
図25に示す例では、手H171のセンシングに基づく認識の結果得られた手領域認識結果R171の精度が低く、手領域HR171の内部にノイズが含まれている。このような精度の低い手領域認識結果R171を用いて、仮想物体V171を遮蔽するように描画が行われると、得られた描画結果D171においても、遮蔽領域CR171の内部にノイズが含まれる。そして、このような描画結果D171に基づいて表示が行われると、ユーザの視界F171においても、ノイズの影響が見られる。具体的には、本来ユーザの手H171が見えているべき領域に仮想物体V171が見えてしまっており、ユーザに違和感を与える恐れがある。
そこで、表示制御部127は、認識精度の情報(認識情報の一例)に応じて、例えば認識精度が低い場合に、遮蔽領域CR171の内部にエフェクトが付加されるように、表示を制御してもよい。
例えば、図26に示す視界F172のように、表示制御部127は、遮蔽領域の内部にエフェクトE172が付加されるように、表示を制御してもよい。係る構成により、本来ユーザの手H171が見えているべき領域に仮想物体V171が見えてしまっている領域がエフェクトE171により視認され難くなり、ユーザへ与える違和感が軽減される。
なお、エフェクトE172は動きのあるエフェクトであってもよく、例えばビデオノイズのようなエフェクトであってもよい。エフェクトE171がビデオノイズのようなエフェクトであることにより、ユーザは、手H172の認識精度が低下していることを把握可能である。
また、図26に示す視界F173のように、表示制御部127は、遮蔽領域の内部に複数の動きのあるパーティクルを含むエフェクトE173が付加されるように、表示を制御してもよい。係る構成により、本来ユーザの手H173が見えているべき領域に仮想物体V173が見えてしまっている領域がエフェクトE173により視認され難くなり、ユーザへ与える違和感が軽減される。
また、認識精度の情報に、手H173と外向きカメラ110との距離が近すぎることにより認識精度が低下していることを示す情報が含まれている場合、表示制御部127は、エフェクトE173に含まれるパーティクルがユーザの顔めがけて飛んでくるように表示制御を行ってもよい。係る構成によれば、手H173を外向きカメラ110から遠ざけるように、ユーザを誘導することが可能である。
また、認識精度の情報に、認識精度が低い部分に関する情報(例えば位置の情報等)が含まれている場合、表示制御部127は、エフェクトE173に含まれるパーティクルが、手H173を適切に認識される位置に誘導するように、表示を制御してもよい。係る構成によれば、手H173をより高精度に認識される位置に移動させるように、ユーザを誘導することが可能である。
<1−6.効果>
以上、本開示の第1の実施形態について説明した。本実施形態によれば、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と前記実物体との間の境界表現が異なるように表示を制御することで、ユーザに与える違和感を軽減することが可能である。
<<2.第2の実施形態>>
<2−1.概要>
続いて、本開示の第2の実施形態について説明する。なお、第2の実施形態は、一部において第1の実施形態と同様であるため、適宜省略しながら説明する。以下、第1の実施形態で説明した構成と同様の構成については、同一の符号を付すことで、説明を省略する。
図27、図28は、本開示の第2の実施形態の概要を説明するための説明図である。図27に示すように、実物体であるユーザの手H201のセンシングに基づいて形状認識を行うと、形状認識結果R201が得られる。さらに、形状認識結果R201に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果D201が得られる。しかし、上述した形状認識と、描画に係る処理を行っている間に、手H201が移動してしまうと、ユーザの視界は視界F201のようになる。視界F201の例では、手H201の移動の影響で、仮想物体V201とユーザの手H201との間の境界が不自然になってしまっている。
そこで、以下に説明する本実施形態では、形状認識に係る処理負荷、及び描画に係る処理負荷を軽減させて、実物体のセンシングから表示までに係る時間を短縮する。実物体のセンシングから表示までに係る時間を短縮させることで、図27の視界F202に示すように、仮想物体V202とユーザの手H202との間の境界が適切に表現されやすくなる。その結果、ユーザに与える違和感が軽減する。
例えば、実物体の移動速度に応じて、形状認識に係る処理負荷、及び描画に係る処理負荷を変化させてもよい。より具体的には、実物体の移動速度が第1の移動速度であるという移動情報が得られた場合、実物体の移動速度が第1の移動速度よりも小さい第2の移動速度であるという移動情報が得られた場合よりも、形状認識に係る処理負荷、及び表示制御部が行う描画に係る処理負荷のうち少なくともいずれか一方を減少させてもよい。例えば、実物体の移動速度が大きい(実物体の移動速度が第1の移動速度である)場合に、形状認識に係る処理負荷、及び描画に係る処理負荷が軽減されることが望ましい。実物体の移動速度の速度に応じて処理負荷を軽減させる例について、図28を参照して説明する。
図28に示す実物体であるユーザの手H203は低速に移動している。なお、手H203上の矢印は、手H203の移動を示している。まず、手H203のセンシングに基づいて、移動認識が行われる。移動認識の結果、手H203の移動が低速であると判定されると、形状認識が行われ認識結果R203が得られる。なお、認識結果R203上の矢印は、移動認識により認識された手H203の移動を示している。
そして、認識結果R203に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果D203が得られ、描画結果D203に基づいて表示が行われると、ユーザの視界は、視界F203のようになる。ここで、手H203の移動が低速である場合には、手H203の移動の影響が小さく、視界F203の例では仮想物体V203とユーザの手H203との間の境界が適切に表現され得る。
一方、図28に示す手H204は高速に移動している。手H204のセンシングに基づいて、移動認識が行われた結果、手H204の移動が高速であると判定されると、以前に行われた形状認識の結果である、記憶された形状認識結果MR204が再利用される。係る場合形状認識は行われなくてもよい。したがって、形状認識に係る処理負荷が大きく軽減され得る。なお、図28に示す例では、記憶された形状認識結果MR204は、認識結果R203に含まれる形状認識結果であるが、本実施形態は係る例に限定されず、記憶された形状認識結果MR204は、例えば直前のフレームで行われた形状認識の結果であってもよい。
そして、移動認識により得られた移動情報に基づいて、記憶された形状認識結果MR204を移動、及び変形させることで、認識結果R204が得られる。そして、さらに、手H204の移動が高速であると判定された場合、描画が行われる前に、ポリゴン数が削減されてもよい。ポリゴン数削減により、描画に係る処理負荷が軽減される。ポリゴン数が削減された認識結果に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果D204が得られ、描画結果D204に基づいて表示が行われると、ユーザの視界は、視界F204のようになる。上記のように、形状認識に係る処理負荷と、描画に係る処理負荷が軽減されたことで、手H204の移動が高速であっても、視界F204の例では仮想物体V204とユーザの手H204との間の境界が適切に表現され得る。
以上、本実施形態の概要について説明した。上述したように、本実施形態では、実物体の移動速度が大きい場合に、形状認識に係る処理負荷、及び描画に係る処理負荷を軽減させることで、実物体の移動の影響を抑制し、ユーザに与える違和感を軽減させる。以下、このような効果を有する本実施形態の構成について詳細に説明する。
<2−2.構成>
図29は、本開示の第2の実施形態に係る情報処理装置1−2の構成例を示すブロック図である。図29に示した構成のうち、図6に示した構成と同一の符号を付された構成は、図6に示した構成と同様であるため、説明を省略する。図29に示すように、本実施形態に係る情報処理装置1−2は、制御部12−2の機能が図2に示した制御部12と一部異なる点で、第1の実施形態に係る情報処理装置1と異なる。
制御部12−2は、第1の実施形態に係る制御部12と同様、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1−2内の動作全般を制御する。また、本実施形態による制御部12−2は、図8に示すように、認識部120−2、及び表示制御部128として機能する。
認識部120−2は、図2に示した認識部120と同様に、センサ部11によりセンシングされた各種センサ情報に基づいて、ユーザに関する情報、または周辺状況に関する情報の認識(検出を含む)を行う機能を有する。図29に示すように、本実施形態に係る認識部120−2は、移動認識部122、形状認識部124、及び移動変形部126としての機能を有する点で図2に示した認識部120と異なる。^
移動認識部122は、実物体のセンシングに基づき、実物体の移動に関する移動認識を行う。例えば、移動認識部122は、実物体のセンシングにより得られた撮像画像に基づいて、実物体の重心位置、及び姿勢の移動を認識してもよい。実物体の重心位置は、例えば3次元的な認識により得られる3次元点群の重心を計算することにより得られてもよいし、撮像画像から検出された実物体の2次元的な重心位置として得られてもよい。また、姿勢の検出には、重心周りの主成分分析等が用いられてもよい。
移動認識部122は、認識された重心位置、及び姿勢のフレーム間での移動を認識し、移動の認識により特定される実物体の移動速度の情報を、移動の認識に係る認識情報として取得し、形状認識部124、移動変形部126、及び表示制御部128へ提供する。
なお、本実施形態に係る移動認識部122は、形状認識部124が行う認識よりも高速に移動に関する認識を行うことが望ましい。そして、図28を参照して説明したように、移動認識部122が行う移動認識により得られる移動情報に応じて、形状認識部124が行う形状認識に係る処理負荷、及び表示制御部128が行う描画に係る処理負荷のうち少なくとも一方が変化するように制御が行われる。なお係る制御は、形状認識部124や表示制御部128自身が移動速度に基づいて判定を行うことで行われてもよいし、制御部12−2が処理モードを決定することで行われてもよい。例えば、制御部12−2は、移動速度が所定の閾値よりも大きい場合に、処理モードを高速モードに決定し、移動速度が所定の閾値以下の場合に、処理モードを低速モードに決定してもよい。そして、制御部12−2が決定した処理モードに従って、形状認識部124や表示制御部128が形状認識や描画を行ってもよい。
形状認識部124は、実物体のセンシングに基づき、実物体の3次元形状を認識する形状認識を行う。また、形状認識部124は形状認識と同時に実物体の位置、及び姿勢を認識してもよい。また、形状認識部124は、認識した実物体の3次元形状に基づいて、3次元の頂点と辺の列で表現される3次元モデルを生成し、形状情報として表示制御部127へ提供する。第1の実施形態において図7を参照して説明したように、形状認識部124により生成された実物体の3次元モデルは、表示制御部128が仮想物体を遮蔽するように描画を行うための遮蔽モデルとして用いられる。また、本実施形態に係る形状認識部124により生成された実物体の3次元モデルは形状認識結果として、記憶部17に記憶される。
また、形状認識部124は、第1の実施形態に係る形状認識部123と同様に、実物体の3次元形状の変化(移動)の予測を行い、予測に基づいて実物体の3次元形状を補正し、補正された3次元モデルを生成してもよい。
また、図28を参照して説明したように、本実施形態に係る形状認識部124は、移動認識部122から提供される移動情報に含まれる実物体の移動速度が大きい場合(高速モードである場合)に、形状認識を行わなくて(省略して)もよい。係る構成によれば、移動速度が大きい場合には形状認識に係る処理負荷が大きく軽減され、処理時間の短縮につながる。
移動変形部126は、図28を参照して説明したように、移動認識部122から提供される移動情報に含まれる実物体の移動速度が大きい場合(高速モードである場合)に、当該移動情報に基づいて、記憶部17に記憶された形状認識結果を、移動、及び変形させる。なお、移動変形部126が行う形状認識結果の変形は、例えば形状認識結果の拡大、または縮小を含んでもよい。
また、移動変形部126による形状認識結果の移動、及び変形は、形状認識部124による形状認識よりも高速に行われることが望ましい。移動変形部126による移動、及び変形により得られた形状認識結果は、表示制御部128に提供されて、仮想物体を遮蔽するように描画を行うための遮蔽モデルとして用いられる。
係る構成により、移動速度が大きく、形状認識が行われない場合であっても、記憶された形状認識結果を再利用して、描画に用いられる遮蔽モデルをより高速に得ることが可能である。
表示制御部128は、第1の実施形態に係る表示制御部127と同様に、表示部13の表示を制御する。例えば、表示制御部128は、実空間と同時に仮想物体を視認可能なように、仮想物体を表示部13に表示させる。また、表示制御部128は、第1の実施形態に係る表示制御部127と同様に遮蔽モデルを用いて、仮想物体の遮蔽が行われるように表示を制御する。
また、図28を参照して説明したように、本実施形態に係る表示制御部128は、移動認識部122が行う移動認識により得られる移動情報に応じて、遮蔽モデルのポリゴン数を削減してもよい。例えば、移動情報に含まれる移動速度が大きい場合(高速モードである場合)に、表示制御部128は、遮蔽モデルのポリゴン数を削減してから、描画を行ってもよい。係る構成により、描画に係る処理負荷が軽減され、処理時間の短縮につながる。
図30は、表示制御部128による遮蔽モデルのポリゴン数削減の一例を示す説明図である。表示制御部128は、遮蔽モデルCM205のポリゴン数を削減して、遮蔽モデルCM206を生成してもよい。なお、遮蔽モデルCM206を生成するためのポリゴン数の削減は、遮蔽モデルCM205において、水平方向に走査しながらポリゴンを連結させることで行われてもよい。このような遮蔽モデルCM206に基づいて、表示制御部128が描画を行うことで、遮蔽モデルの描画結果D206が得られる。なお、遮蔽モデルのポリゴン数の削減は、図30に示した例に限定されず、多様な方法で行われ得る。
<2−3.動作>
以上、本実施形態に係る情報処理装置1の構成例について説明した。続いて、本実施形態に係る動作例について説明する。以下では、まず図31、図32を参照して、形状認識に係る処理負荷、及び描画に係る処理負荷が軽減されない場合の動作の例を比較例として説明する。
図31は、本比較例の動作を示すフローチャートである。図31に示すように、まず実物体のセンシングが行われ(S900)、表示させる仮想物体に関する情報が取得され(S910)。続いてステップS900で行われたセンシングの結果に基づいて、実物体の形状認識が行われる(S960)。さらに、ステップS960で行われた形状認識の結果に基づいて、仮想物体が遮蔽されるように描画が行われる(S970)。そして、ステップS970の描画結果に基づいて、表示が行われる(S980)。
図32は、本比較例に係るタイミングチャート図である。なお、図32に示す例では、実物体の移動速度によらず、センシングの開始から、表示の開始までに期間T1を要する。なお、期間T1は、図32に示すようにセンシング間隔tの3倍の期間である。例えばセンシング間隔tが1/60秒である場合、センシングの開始から、表示の開始までに1/20秒を要し、実物体の移動速度によっては、ユーザは大きな違和感を覚える。
続いて、図33、図34を参照して本実施形態に係る情報処理装置1−2の動作例について説明する。図33は、本実施形態に係る情報処理装置1−2の動作例を示すフローチャート図である。
図33に示すように、まずセンサ部11の外向きカメラ110が、実物体のセンシング(例えば撮像)を行う(S200)。続いて、表示制御部128が、表示させる仮想物体に関する情報を取得する(S210)。
続いて、制御部12−2の認識部120−2の移動認識部122が、ステップS200で行われたセンシングの結果に基づいて、実物体の移動に関する移動認識を行い、例えば移動速度の情報を特定する(S220)。続いて、制御部12−2は、ステップS220で特定された移動速度の情報に基づいて、低速モードであるか、高速モードであるかを決定する(S230)。
ここで、高速モードである場合には形状認識結果が再利用され(S240においてYES)、認識部120−2の移動変形部126が、記憶された形状認識結果を、移動、及び変形させて遮蔽モデルを取得する(S250)。一方、低速モードである場合には形状認識結果が再利用されず(S240においてNO)、認識部120−2の形状認識部124が形状認識を行って、遮蔽モデルを生成する(S260)。
続いて、制御部12−2の表示制御部128が、ステップS250またはステップS260で得られた遮蔽モデルに基づいて、仮想物体が遮蔽されるように描画を行う(S270)。さらに、表示制御部128の制御に従い、表示部13が当該画像を表示する(S280)。最後に、最新の形状認識結果が記憶される(S290)。
図34は、本実施形態に係るタイミングチャート図である。図34に示すように、本実施形態においては、高速モードにおいて、センシングの開始から、表示の開始までに期間T2を要する。ここで、期間T2は、図34に示すようにセンシング間隔tの2倍の期間であり、図32に示した期間T1よりも短い。したがって、実物体の移動による影響が抑制されて、ユーザに与える違和感が軽減される。
<2−4.変形例>
以上、本開示の第2の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
(変形例2−1)
上記では、形状認識部124が、実物体の3次元形状を形状認識結果として認識する例を説明した。しかし、本実施形態は係る例に限定されない。例えば、形状認識部124は、所定の形状を有し、実物体の形状の近似となる近似モデルを形状認識結果として認識してもよい。例えば、所定の形状は直方体や楕円体、円柱等であってもよい。また、近似モデルとして実物体の形状を覆うような3次元モデルが認識されてもよい。また、係る場合、移動変形部126は、記憶された近似モデルを記憶された形状認識結果として用いて、近似モデルの移動、及び変形により、形状認識結果である遮蔽モデルを取得してもよい。
係る変形例について、図35を参照して説明する。図35は、本変形例について説明するための説明図である。
図35に示す実物体であるユーザの手H211は低速に移動している。なお、手H211上の矢印は、手H211の移動を示している。まず、手H211のセンシングに基づいて、移動認識部122による移動認識が行われる。移動認識の結果、手H211の移動速度が小さい(低速モードである)と判定されると、形状認識部124により形状認識(近似モデルの認識)が行われ認識結果R211が得られる。なお、認識結果R211上の矢印は、移動認識部122により認識された手H211の移動を示している。
そして、認識結果R211に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果D211が得られ、描画結果D211に基づいて表示が行われると、ユーザの視界は、視界F211のようになる。
一方、図35に示す手H212は高速に移動している。手H212のセンシングに基づいて、移動認識部122による移動認識が行われ、手H212の移動が高速であると判定されると、以前に行われた形状認識(近似モデルの認識)の結果である、記憶された形状認識結果MR212が再利用される。係る場合、形状認識は行われなくてもよい。したがって、形状認識に係る処理負荷が大きく軽減され得る。なお、図35に示す例では、記憶された形状認識結果MR212は、認識結果R211に含まれる形状認識結果であるが、本実施形態は係る例に限定されず、記憶された形状認識結果MR212は、例えば直前のフレームで行われた形状認識の結果であってもよい。
そして、移動変形部126が移動情報に基づいて、記憶された形状認識結果MR212を移動、及び変形させることで、認識結果R212が得られる。さらに、手H212の移動が高速であると判定された場合、描画が行われる前に、ポリゴン数が削減されてもよい。ポリゴン数削減により、描画に係る処理負荷が軽減される。ポリゴン数が削減された認識結果に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果D212が得られ、描画結果D212に基づいて表示が行われると、ユーザの視界は、視界F212のようになる。
なお、図35に示す例では、形状認識部124は移動速度が小さい(移動が低速である)場合に、近似モデルを形状認識結果として認識する例を説明したが、本変形例は係る例に限定されない。例えば形状認識部124は、実物体の移動速度に応じて、実物体の3次元形状を認識するか、実物体の近似モデルを認識するか、を切り替えてもよい。例えば、形状認識部124は、移動速度が小さい場合に実物体の3次元形状を認識し、移動速度が大きい場合に、実物体の近似モデルを認識してもよい。実物体の近似モデルの認識に係る処理負荷が、実物体の3次元形状の認識に係る処理負荷よりも小さい場合、係る構成によれば、移動速度が大きい場合には形状認識に係る処理負荷が軽減され、処理時間の短縮につながる。
(変形例2−2)
上記では、形状認識結果が再利用される例を説明したが、本実施形態は係る例に限定されない。遮蔽モデルの描画結果が再利用されてもよい。以下、係る変形例について、図36〜図42を参照して説明を行う。
例えば、本変形例に係る表示制御部128は、遮蔽モデル領域を2次元スプライト化したデータを遮蔽モデルの描画結果として、記憶部17に記憶してもよい。そして、本変形例に係る表示制御部128は、移動情報に含まれる移動速度が大きい場合(高速モードである場合、すなわち実物体の移動速度が第1の移動速度である場合)に、表示制御部128が以前に行った描画の結果である、記憶された遮蔽モデルの描画結果を用いて描画を行ってもよい。係る構成により、描画に係る処理負荷がより軽減される。
図36は、本変形例について説明するための説明図である。なお、図36に示す手H221、認識結果R221、描画結果D221、及びユーザの視界F221は、図28に示した手H203、認識結果R203、描画結果D203、及びユーザの視界F203と同様であるため、説明を省略する。
図36に示す手H222は高速に移動している。手H222のセンシングに基づいて、移動認識部122による移動認識が行われ、手H222の移動が高速であると判定されると、形状認識部124は形状認識を行わない。また、本変形例では、移動変形部126による形状認識結果の移動、及び変形も行われなくてよい。したがって、認識部120−2による認識結果R222は、移動認識部122が行う移動認識により得られる移動情報のみを含む。
そして、表示制御部128は、移動情報に基づいて、記憶された遮蔽モデルの描画結果MD222を移動、及び変形させることで、描画に係る処理を簡略化して、仮想物体が遮蔽された描画結果D222を得る。なお、描画結果D222上の矢印は、表示制御部128が描画の際に行う、記憶された遮蔽モデルの描画結果MD222の移動を示している。また、図36に示す例では、記憶された遮蔽モデルの描画結果MD222は、描画結果D221に含まれる遮蔽モデルの描画結果であるが、本実施形態は係る例に限定されず、記憶された遮蔽モデルの描画結果MD222は、例えば直前のフレームで行われた遮蔽モデルの描画の結果であってもよい。
描画結果D222に基づいて表示が行われると、ユーザの視界は、視界F222のようになる。
上記のように、遮蔽モデルの描画結果を再利用することで、遮蔽モデルの描画に係る処理が簡略化され、処理時間が短縮されるため、ユーザに与える違和感をより軽減することが可能となる。
なお、本変形例は、仮想物体が誘発するインタラクション(操作を含む)の種類によっては、適用が不適切となる場合がある。この原因は、例えば、本変形例が適用され、遮蔽モデルの描画結果が再利用される場合、仮想物体と形状認識結果の前後関係の判定(奥行判定)が省略され、遮蔽モデルが仮想物体よりも手前に存在すると仮定されて描画が行われるためである。図37〜図40を参照して、前後関係の判定の省略について説明を行う。
図37は、前後関係の判定が行われる場合のセンシングから描画までの流れを説明するための説明図である。図37に示すように、実物体であるユーザの手H223のセンシングに基づいて、形状認識が行われ、形状認識結果R223(遮蔽モデル)が得られる。形状認識結果R223に基づいて、仮想物体V223を遮蔽するように描画が行われる際、仮想物体V223と形状認識結果R223の前後関係の判定が行われ、前後関係判定結果J223に基づいて、描画結果D223が得られる。
図38は、前後関係の判定が省略される場合のセンシングから描画までの流れを説明するための説明図である。図38に示すように、実物体であるユーザの手H224のセンシングに基づいて、形状認識が行われ、形状認識結果R224(遮蔽モデル)が得られる。ここで、図38に示す例では、仮想物体V224と形状認識結果R224が個別に描画され、仮想物体領域VR224と遮蔽モデル領域CMR224が得られる。そして、仮想物体領域VR224と遮蔽モデル領域CMR224を合成することにより、描画結果D224が得られる。
このように、前後関係の判定が省略される場合、遮蔽モデルが仮想物体より手前に存在すると仮定されて描画が行われてしまう。
図39は、前後関係の判定が省略される場合であっても適切な表示が可能なインタラクションの例を示す説明図である。図40は、前後関係の判定が行われる場合と、省略される場合とで見え方が大きく異なり得るインタラクションの例を示す説明図である。
図39に示すように、押す、触る、叩く等のインタラクションが行われる場合であれば、ユーザの視界F225及び視界F226において、仮想物体V225及び仮想物体V226と、手H225及び手H226とのそれぞれの関係に違和感は生じない。
一方、図40に示すように、掴む、握る等のインタラクションが行われる場合、前後関係の判定が行われた場合の視界F227と前後関係の判定が省略された場合の視界F228とで、見え方が大きく異なる。前後関係の判定が行われる場合、視界F227において、仮想物体V227と手H227との関係に違和感は生じない。しかし、前後関係の判定が省略される場合、視界F228において、仮想物体V228と手H228との関係に違和感が生じる。具体的には、視界F228において、本来、仮想物体V228の奥側に存在し、見えないはずの領域において、手H228が見えてしまっている。
そこで、表示制御部128は、遮蔽モデルの描画結果を再利用するか否かを、仮想物体の種類や、ユーザが行うインタラクションの種類に基づいて判定してもよい。例えば、表示制御部128は、掴む、握るといったインタラクションを誘発するような仮想物体を表示させる場合や、認識部120−2の認識結果により係るインタラクションが行われていることがわかる場合には、遮蔽モデルの描画結果を再利用しなくてもよい。
係る構成によれば、前後関係の判定を省略した結果、ユーザに違和感を与える事態を防ぐことが可能となる。
続いて、図41、図42を参照して、本変形例の動作例について説明する。図41は、本変形例の動作例を示すフローチャート図である。
図41に示すステップS300〜S330は、図33を参照して説明したステップS200〜S230の処理と同様であるため、ここでの説明は省略する。
ステップS340において、遮蔽モデルの描画結果を再利用するか否かが判定される。なお、ステップS340の判定は、高速モードであるか低速モードであるかの情報に加え、図37〜図40を参照して説明したような仮想物体の種類や、インタラクションの種類に基づいて行われてもよい。
遮蔽モデルの描画結果が再利用されない場合(S340においてNO)、形状認識部124が形状認識を行って、遮蔽モデルを生成する(S360)し、表示制御部128は形状認識結果である遮蔽モデルに基づいて描画を行う(S370)。
一方、遮蔽モデルの描画結果が再利用される場合(S340においてYES)、表示制御部128は、記憶された遮蔽モデルの描画結果の移動、及び変形による描画を行う(S375)。
さらに、表示制御部128の制御に従い、表示部13が当該画像を表示する(S380)。最後に、最新の遮蔽モデルの描画結果が記憶される(S390)。
図42は、本変形例に係るタイミングチャート図である。図42に示すように、本変形例においては、高速モードにおいてセンシングの開始から、表示の開始までに期間T3を要する。ここで、期間T3は、図42に示すようにセンシング間隔tと同一の期間であり、図32に示した期間T1や、図34に示した期間T2よりも短い。したがって、実物体の移動による影響がさらに抑制されて、ユーザに与える違和感が軽減される。
(変形例2−3)
なお、上記実施形態では、描画を行う前にポリゴン数を削減することで、描画に係る処理負荷を軽減する例を説明したが、本実施形態は係る例に限定されない。例えば、形状認識部124がデプスマップに基づいて形状認識を行う場合、移動速度に応じて、形状認識部124が形状認識を行う前に当該デプスマップが低解像度化されてもよい。
係る変形例について、図43を参照して説明する。図43は、本変形例について説明するための説明図である。
図43に示す実物体であるユーザの手H231は低速に移動している。そのため、処理モードは低速モードに決定される。
手H231のセンシングに基づいて、デプスマップDM231が取得される。続いて、デプスマップに基づいて形状認識部124により形状認識が行われ、形状認識結果R231が取得される。なお、形状認識結果R231上の複数の矢印は、それぞれ形状認識部124が形状認識を行う際に予測した形状変化を示している。
そして、表示制御部128が形状認識結果R231に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果D231が得られ、描画結果D231に基づいて表示が行われると、ユーザの視界は、視界F231のようになる。
図43に示す実物体であるユーザの手H232は高速に移動している。そのため、図43には図示していないが、移動認識部122による移動認識の結果に基づき、処理モードは高速モードに決定される。
手H232のセンシングに基づいて、デプスマップDM232が取得される。ここで、本変形例に係る制御部12−2は、高速モードで処理する場合、デプスマップDM232を低解像度化した後に、形状認識部124へ入力してもよい。低解像度化されたデプスマップDM232を用いた形状認識の結果得られた形状認識結果R232は、形状認識結果R231と比較して、ポリゴン数が少なく、また予測される形状変化の情報も少ない。つまり、低解像度化されたデプスマップDM232を用いて形状認識部124が形状認識を行う場合、形状変化の予測を含め、形状認識に係る処理負荷が軽減される。
形状認識結果R232に対してポリゴン数が削減され後、表示制御部128が描画を行うことで描画結果D232が得られる。なお、デプスマップDM232の低解像度化に伴い、形状認識結果R232のポリゴン数も形状認識結果R231より少ない。したがって、ポリゴン数の削減を行わなくとも、形状認識結果R232に基づく描画に係る処理負荷は形状認識結果R231に基づく描画に係る処理負荷よりも小さい。したがって、形状認識結果R232のポリゴン数が十分に少ない場合には、ポリゴン数の削減が行われなくてもよい。描画結果D232に基づいて表示が行われると、ユーザの視界は、視界F232のようになる。
なお、デプスマップは、多様な方法で取得され得る。例えば、デプスマップは、外向きカメラ110に複数のカメラが含まれる場合、デプスマップは、複数の撮像画像を用いたステレオマッチングにより取得されてもよい。また、外向きカメラ110にデプスカメラが含まれる場合には、デプスカメラが行うセンシングにより取得されてもよい。
また、デプスカメラが出力するデプスマップの解像度を設定などにより制御可能な場合、制御部12−2は、処理モードの決定に応じて、外向きカメラ110に含まれるデプスカメラの出力解像度を制御してもよい。
本変形例によれば、デプスマップが低解像度化されることにより、形状認識に係る処理負荷、及び描画に係る処理負荷の両方がさらに軽減され得る。
<2−5.補足>
以上、本開示の第2の実施形態について説明した。本実施形態によれば、移動情報に応じて、形状認識に係る処理負荷、及び描画に係る処理負荷を変化させることで、実物体の移動の影響を抑制し、ユーザに与える違和感を軽減させることが可能である。
なお、本開示の第2の実施形態は、本開示の第1の実施形態と組み合わせることも可能である。第1の実施形態と、第2の実施形態を組み合わせることで、例えば、境界表現を異ならせることと、処理時間を短縮することの双方の効果により、ユーザに与える違和感をさらに軽減することが可能となる。
また、上記では低速モードと高速モードの2段階に分けて処理モードが決定されたが、処理モードは、より多数の段階に分けて決定され、決定された処理モードに応じて多様な処理が行われてもよい。
図44は、実物体として手を想定し、手の速度に応じて、処理モードを静止モード、超低速モード、低速モード、中速モード、高速モード、超高速モードの6段階に分けて決定する場合の処理の例をまとめた表である。図44に示すように、処理モードに応じて、上述したデプスマップの低解像度化、形状認識の省略、前後判定の省略、描画結果の再利用、及び第1の実施形態で説明した境界表現の変更等の処理が適宜行われてもよい。
図44に示す表のように処理を行うことで、手全体の移動速度が小さい場合には、認識や表示の正確性を重視した処理を優先的に行うことが可能であり、手全体の移動速度が大きい場合には、手の移動に伴う違和感を軽減させる処理を優先的に行うことが可能である。
<<3.ハードウェア構成例>>
以上、本開示の実施形態を説明した。最後に、図45を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図45は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図45に示す情報処理装置900は、例えば、情報処理装置1、情報処理装置1−2を実現し得る。本実施形態に係る情報処理装置1、情報処理装置1−2による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図45に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913、及びセンサ915を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、制御部12、制御部12−2を形成し得る。
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば表示部13、スピーカー14を形成し得る。
ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置908は、例えば、記憶部17を形成し得る。
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、通信部15を形成し得る。
センサ915は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ915は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得する。また、センサ915は、GPS信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。センサ915は、例えば、センサ部11を形成し得る。
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
以上、本開示の実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本開示の実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<<4.むすび>>
以上説明したように、本開示の実施形態によれば、ユーザに与える違和感を軽減することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、表示部13が透過型である例を主に説明したが、本技術は係る例に限定されない。例えば、表示部13が非透過型である場合にも、外向きカメラ110の撮影により得られる実空間の画像に仮想物体を重畳させて表示させることで、上述した効果と同様の効果を得ることが可能である。また、表示部13がプロジェクタである場合にも、実空間に仮想物体を投影することで上述した効果と同様の効果を実現することが可能である。
また、上記実施形態では、実物体がユーザの手である例を主に説明したが、本技術は係る例に限定されず、実空間に存在する多様な実物体に対して、本技術は適用可能である。
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
実物体のセンシングに基づく認識に係る認識情報が第1の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第1の境界表現を示すように制御し、前記認識情報が前記第1の認識情報とは異なる第2の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第1の境界表現とは異なる第2の境界表現を示すように制御する表示制御部を備える情報処理装置。
(2)
前記表示制御部は、前記実物体のセンシングに基づく形状認識により得られた形状情報を用いて、前記遮蔽表示を制御する、前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、前記第1の認識情報に応じて、前記遮蔽に係る遮蔽領域が第1の大きさを有するように前記遮蔽表示を制御し、前記第2の認識情報に応じて、前記遮蔽領域が、前記第1の大きさとは異なる第2の大きさを有するように前記遮蔽表示を制御する、前記(1)に記載の情報処理装置。
(4)
前記表示制御部は、前記認識情報が前記第1の認識情報を含む場合、前記遮蔽領域のうち前記認識情報に含まれる位置情報に応じた領域が前記第1の大きさを有するように前記遮蔽表示を制御し、前記認識情報が前記第2の認識情報を含む場合、前記遮蔽領域のうち前記位置情報に応じた領域が前記第2の大きさを有するように前記遮蔽表示を制御する、前記(3)に記載の情報処理装置。
(5)
前記表示制御部は、前記認識情報に応じて、前記境界の近傍位置に、エフェクト表示が付加されるように前記遮蔽表示を制御する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記表示制御部は、前記認識情報に応じて、前記遮蔽に係る遮蔽領域の内部にエフェクト表示が付加されるように前記遮蔽表示を制御する、前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記表示制御部は、前記実物体が前記仮想物体と衝突するように表示を制御する場合に、前記実物体と前記仮想物体との衝突に係る境界の近傍に、エフェクト表示が付加されるように前記遮蔽表示を制御する、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記表示制御部は、前記認識情報に含まれる位置情報に応じた位置に前記エフェクト表示が付加されるように前記遮蔽表示を制御する、前記(5)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記表示制御部は、前記認識情報が前記第1の認識情報を含む場合、前記認識情報が前記第2の認識情報を含む場合とは異なる強度を有するように前記エフェクト表示を制御する、前記(5)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記表示制御部は、前記認識情報が前記第1の認識情報を含む場合、前記認識情報が前記第2の認識情報を含む場合とは異なる視認性を有するように前記仮想物体の表示を制御する、前記(1)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記表示制御部は、前記仮想物体が前記実物体により操作可能な仮想物体である場合、前記第1の境界表現と前記第2の境界表現のうち、前記仮想物体の表示領域がより大きい境界表現を示すように前記遮蔽表示を制御する、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記表示制御部は、前記仮想物体が3次元形状を有するか否かに応じて、前記遮蔽表示を制御する、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記実物体のセンシングに基づく前記実物体の移動認識と、前記形状認識とを行う認識部をさらに備え、
前記移動認識により前記実物体の移動速度が第1の移動速度であるという移動情報が得られた場合、前記実物体の移動速度が前記第1の移動速度よりも小さい第2の移動速度であるという移動情報が得られた場合よりも、前記認識部が行う前記形状認識に係る処理負荷、及び前記表示制御部が行う描画に係る処理負荷のうち少なくともいずれか一方が減少される、前記(2)に記載の情報処理装置。
(14)
前記認識部は、前記実物体の移動速度が前記第1の移動速度である場合に、前記形状認識を行わない、前記(13)に記載の情報処理装置。
(15)
前記表示制御部は、前記実物体の移動速度が前記第1の移動速度である場合に、前記表示制御部が以前に行った前記描画の結果を用いて前記描画を行う、前記(13)または(14)に記載の情報処理装置。
(16)
前記認識情報は、前記認識に係る認識精度の情報を含む、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記認識情報は、前記実物体のセンシングに基づいて認識される前記実物体の移動速度の情報を含む、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記表示制御部は、光学的透過性を有する表示部による表示を制御する、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
実物体のセンシングに基づく認識に係る認識情報が第1の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第1の境界表現を示すように制御し、前記認識情報が前記第1の認識情報とは異なる第2の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第1の境界表現とは異なる第2の境界表現を示すようにプロセッサが制御すること、を含む情報処理方法。
(20)
コンピュータに、
実物体のセンシングに基づく認識に係る認識情報が第1の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第1の境界表現を示すように制御し、前記認識情報が前記第1の認識情報とは異なる第2の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第1の境界表現とは異なる第2の境界表現を示すように制御する機能を実現させるための、プログラム。