JPWO2019087513A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】仮想オブジェクトの視認性の低下を抑制しつつ、仮想オブジェクトの表示に対する違和感を低減することが可能な技術が望まれる。【解決手段】撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて決定された前記実空間における仮想オブジェクトの位置を取得する位置取得部と、前記仮想オブジェクトの位置と、前記実空間に存在し前記仮想オブジェクトの位置から離れている実オブジェクトの特徴とに基づいて、前記仮想オブジェクトの少なくとも境界の表示を制御する表示制御部と、を備える、情報処理装置が提供される。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、ユーザに対して仮想オブジェクトを提示する技術が開示されている。例えば、画像に映る物体の位置または姿勢を認識する認識部と、認識部による認識の安定度に応じて物体に関連する仮想オブジェクトの表示を変化させる表示制御部とを備える画像処理装置に関する技術が開示されている（例えば、特許文献１参照。）。かかる技術によれば、仮想オブジェクトの表示の乱れによってユーザに混乱を与えることが回避される。

一方、仮想オブジェクトの表示の乱れとは別に、仮想オブジェクトの表示遅延が生じ得る。さらに、表示遅延とは別に、ユーザにとって仮想オブジェクトの表示遅延がどの程度知覚されやすいかといった概念も存在する。以下では、ユーザによる表示遅延の知覚のされやすさを「表示遅延感」とも言う。

特開２０１２−２２１２５０号公報

ここで、仮想オブジェクトの表示遅延感が強くなるほど、仮想オブジェクトの表示遅延に対する違和感も大きくなってしまう可能性がある。一方、仮想オブジェクトの表示を大きく変えるほど仮想オブジェクトの視認性が低下してしまう可能性がある。そこで、仮想オブジェクトの視認性の低下を抑制しつつ、仮想オブジェクトの表示に対する違和感を低減することが可能な技術が望まれる。

本開示によれば、撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて決定された前記実空間における仮想オブジェクトの位置を取得する位置取得部と、前記仮想オブジェクトの位置と、前記実空間に存在し前記仮想オブジェクトの位置から離れている実オブジェクトの特徴とに基づいて、前記仮想オブジェクトの少なくとも境界の表示を制御する表示制御部と、を備える、情報処理装置が提供される。

本開示によれば、撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて算出された仮想カメラの位置に基づいて決定された仮想オブジェクトの位置を取得することと、前記仮想オブジェクトの位置と実空間に存在する実オブジェクトの特徴とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御することと、を含む、情報処理方法が提供される。

本開示によれば、コンピュータを、撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて算出された仮想カメラの位置に基づいて決定された仮想オブジェクトの位置を取得する位置取得部と、前記仮想オブジェクトの位置と実空間に存在する実オブジェクトの特徴とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御する表示制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、仮想オブジェクトの視認性の低下を抑制しつつ、仮想オブジェクトの表示に対する違和感を低減することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態の概要を説明するための図である。 本開示の実施形態の概要を説明するための図である。 本開示の実施形態の概要を説明するための図である。 本開示の実施形態に係る情報処理装置の機能構成例を示す図である。 制御部の詳細構成例を示す図である。 仮想オブジェクトおよび仮想オブジェクトの特徴ごとの表示遅延感の予測強度の例を示す図である。 仮想オブジェクトおよび仮想オブジェクトの特徴ごとの表示遅延感の予測強度の例を示す図である。 仮想オブジェクトおよび仮想オブジェクトの特徴ごとの表示遅延感の予測強度の例を示す図である。 仮想オブジェクトの色を変更する例を示す図である。 仮想オブジェクトの輝度を変更する例を示す図である。 実オブジェクトの輝度と仮想オブジェクトの輝度と表示遅延感の予測強度との関係の例を示す図である。 ユーザに視線が向くように目を動かす仮想オブジェクトの例を示す図である。 仮想オブジェクトの輝度を変更する例を示す図である。 実オブジェクトを構成する線の位置に基づく表示遅延感の予測強度の算出例を説明するための図である。 本実施形態に係る情報処理装置の動作例を示すフローチャートである。 情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
０．概要
１．実施形態の詳細
１．１．情報処理装置の機能構成例
１．２．情報処理装置の機能詳細
１．３．情報処理装置の動作例
２．ハードウェア構成例
３．むすび

＜０．概要＞
まず、図１を参照しながら、本開示の実施形態の概要を説明する。近年、ユーザに対して仮想オブジェクトを提示する技術が開示されている。例えば、画像に映る物体（実オブジェクト）の位置または姿勢を認識する認識部と、認識部による認識の安定度に応じて物体に関連する仮想オブジェクトの表示を変化させる表示制御部とを備える画像処理装置に関する技術が開示されている。かかる技術によれば、仮想オブジェクトの表示の乱れによってユーザに混乱を与えることが回避される。

一方、仮想オブジェクトの表示の乱れとは別に、仮想オブジェクトの表示遅延が生じ得る。図１を参照しながら詳細に説明する。図１は、本開示の実施形態の概要を説明するための図である。図１を参照すると、実空間にユーザＵが存在している。時刻ｔ１において、ユーザＵの視野７０−１には、仮想オブジェクト３０−１が配置されている。

ここで、ユーザＵに対して仮想オブジェクト３０−１が提示されるに際しては、視野分析用撮像部１１１（図５）（例えば、ステレオカメラなど）によって得られたセンシングデータに基づいて、視野分析用撮像部１１１（図５）の位置および姿勢（仮想カメラの位置）が認識される。そして、仮想カメラの位置に基づいて、視野７０−１における仮想オブジェクト３０−１の位置が決定され、決定された仮想オブジェクト３０−１の位置に基づいてディスプレイによって仮想オブジェクト３０−１が表示される。

このとき、仮想カメラの位置は更新され続けるため、仮想オブジェクの位置が決定された時点と仮想オブジェクトがディスプレイによって表示された時点との間においては、仮想オブジェクトの位置にずれが生じてしまう。すなわち、視野７０−２に示すように、実際にディスプレイによって表示される仮想オブジェクト３０−２の位置は、現在（時刻ｔ２）の仮想カメラの位置から期待される仮想オブジェクトの位置３２−２との間にずれが生じてしまう。かかる現象を表示遅延と呼ぶ。

さらに、表示遅延とは別に、ユーザＵにとって仮想オブジェクトの表示遅延がどの程度知覚されやすいかといった概念も存在する。以下では、ユーザＵによる表示遅延の知覚のされやすさを「表示遅延感」とも言う。一例として、仮想オブジェクトの周囲に実オブジェクトが存在しない場合には、仮想オブジェクトの表示遅延を目立たせる実オブジェクトが仮想オブジェクトの周囲に存在しないために、仮想オブジェクトの表示遅延感が小さいことが想定される。

図２は、本開示の実施形態の概要を説明するための図である。図２を参照すると、時刻ｔ１４において、ユーザＵの視野７０−１４には、仮想オブジェクト３０−１４が配置されている。そして、時刻ｔ１４から時刻ｔ１５までにユーザＵが首を右に移動させている。そのため、視野７０−１４が視野７０−１５に移動されている。このとき、視野７０−１５に示すように、実際にディスプレイによって表示される仮想オブジェクト３０−１５の位置は、現在（時刻ｔ１５）の仮想カメラの位置から期待される仮想オブジェクトの位置３２−１５との間にずれが生じてしまう。そして、実オブジェクト４０−２が仮想オブジェクト３０−１５の近くに存在するために、表示遅延感が大きいことが想定される。

一方、仮想オブジェクトの近くに仮想オブジェクトと輝度が類似しない実オブジェクトが存在する場合には、当該実オブジェクトが仮想オブジェクトの表示遅延を目立たせてしまうために、仮想オブジェクトの表示遅延感が大きいことが想定される。また、仮想オブジェクトに動きがない場合と比較して仮想オブジェクトに動きがある場合のほうが、仮想オブジェクトの表示遅延が目立ちにくいために、仮想オブジェクトの表示遅延感が小さいことが想定される。

図３は、本開示の実施形態の概要を説明するための図である。図３を参照すると、時刻ｔ１６において、ユーザＵの視野７０−１６には、仮想オブジェクト３０−１６が配置されている。そして、時刻ｔ１６から時刻ｔ１７までにユーザＵが首を右に移動させている。そのため、視野７０−１６が視野７０−１７に移動されている。このとき、視野７０−１７に示すように、実際にディスプレイによって表示される仮想オブジェクト３０−１７の位置は、現在（時刻ｔ１７）の仮想カメラの位置から期待される仮想オブジェクトの位置３２−１３との間にずれが生じてしまう。そして、実オブジェクト４０−２が仮想オブジェクト３０−１５の近くに存在するが、仮想オブジェクト３０−１７の鮮明度が低下されているため、表示遅延感が小さいことが想定される。

仮想オブジェクトの表示遅延感が強くなるほど、仮想オブジェクトの表示遅延に対する違和感も大きくなってしまう可能性がある。一方、仮想オブジェクトの表示を大きく変えるほど仮想オブジェクトの視認性が低下してしまう可能性がある。そこで、本明細書においては、仮想オブジェクトの視認性の低下を抑制しつつ、仮想オブジェクトの表示に対する違和感を低減することが可能な技術を主に提案する。

情報処理装置１０は、ユーザＵの視野に実オブジェクトが存在する場合、実オブジェクトの情報の例として、ユーザＵと実オブジェクトとの距離を検出する。本開示の実施形態においては、情報処理装置１０は、ステレオカメラを有しており、ステレオカメラによって撮像された左画像および右画像に基づいてデプスマップを生成し、デプスマップに基づいてユーザＵと実オブジェクトとの距離を検出する場合を主に想定する。しかし、ユーザＵと実オブジェクトとの距離はどのように検出されてもよい。例えば、情報処理装置１０が距離センサを有する場合、距離センサによって、ユーザＵと実オブジェクトとの距離が検出されてもよい。距離センサは、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどであってもよい。

なお、実オブジェクトの種類（例えば、実オブジェクトの形状、サイズ、色、輝度、動きなど）は特に限定されない。また、図１には、仮想オブジェクト３０の例として円筒形状のオブジェクトが示されているが、仮想オブジェクト３０の種類（例えば、仮想オブジェクト３０の形状、サイズ、色、輝度、動きなど）は特に限定されない。

図１を参照すると、情報処理装置１０がユーザＵの頭部に装着されるゴーグル型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）によって構成される場合が例として示されている。しかし、ＨＭＤの形態は、ゴーグル型に限定されず、グラス型などであってもよい。また、情報処理装置１０はＨＭＤに限定されない。例えば、情報処理装置１０は、スマートフォンであってもよいし、タブレット端末であってもよいし、携帯電話であってもよいし、他のモバイルデバイスであってもよい。

また、本開示の実施形態においては、情報処理装置１０が透過型のディスプレイを有する場合を主に想定する。このとき、ユーザＵは、ディスプレイによって表示された仮想オブジェクト３０を視認するとともにディスプレイの奥側に実オブジェクトを視認することが可能である。しかし、情報処理装置１０は、非透過型のディスプレイを有してもよい。このとき、ユーザＵは、ディスプレイによって表示された仮想オブジェクト３０と情報処理装置１０が有するカメラによって撮像されてディスプレイによって表示された画像によって実オブジェクトを視認することが可能である。

以上において、本開示の実施形態の概要について説明した。

＜１．実施形態の詳細＞
続いて、本開示の実施形態の詳細について説明する。

［１．１．情報処理装置の機能構成例］
続いて、本開示の実施形態に係る情報処理装置１０の機能構成例について説明する。図４は、本開示の実施形態に係る情報処理装置１０の機能構成例を示す図である。図４に示したように、情報処理装置１０は、視野分析用撮像部１１１、センサ部１１２、制御部１２０、記憶部１３０および表示部１５０を有している。

視野分析用撮像部１１１は、ユーザＵの視野を撮像することによって画像（視野分析用画像）を得る機能を有する。例えば、視野分析用撮像部１１１は、ステレオカメラを含んでおり、ステレオカメラによって撮像された左画像および右画像を得る。ステレオカメラによって撮像された左画像および右画像は、測距部１２４（図５）による距離の検出に利用される。なお、上記したように、ステレオカメラおよび測距部１２４の代わりに、各種の距離センサが利用されてもよい。また、視野分析用撮像部１１１は、情報処理装置１０と一体化されていてもよいし、情報処理装置１０とは別体として存在していてもよい。

センサ部１１２は、センサを含んで構成され、ユーザＵの視野の動きを検出する機能を有する。例えば、センサ部１１２は、加速度センサを含んで構成され、加速度センサによって検出された加速度によってユーザＵの視野の動きを検出してよい。あるいは、センサ部１１２は、ジャイロセンサを含んで構成され、ジャイロセンサによって検出された角速度によってユーザＵの視野の動きを検出してよい。なお、視野分析用撮像部１１１によって撮像された視野分析用画像に基づいて、ユーザＵの視野の動きが検出される場合には、センサ部１１２が設けられていなくてもよい。

記憶部１３０は、メモリを含んで構成され、制御部１２０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１３０は、制御部１２０による演算のためにデータを一時的に記憶する。記憶部１３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。

表示部１５０は、各種の画面を表示する機能を有する。表示部１５０の種類は限定されない。例えば、表示部１５０は、ユーザに視認可能な表示を行うことが可能なディスプレイ（表示装置）であればよい。より具体的に、表示部１５０は、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。

制御部１２０は、情報処理装置１０の各部の制御を実行する。図５は、制御部１２０の詳細構成例を示す図である。図５に示したように、制御部１２０は、実空間情報取得部１２１、実オブジェクト検出部１２２、測距部１２４、自己位置推定部１２５、アプリケーション実行部１２６、位置取得部１２７および表示制御部１２８を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１２０は、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１２０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。

以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。

［１．２．情報処理装置の機能詳細］
続いて、本実施形態に係る情報処理装置１０の機能詳細について説明する。本開示の実施形態に係る情報処理装置１０において、実空間情報取得部１２１は、実空間に配置された実オブジェクト（以下、「物体」とも言う。）の情報を取得する。より具体的に、実空間情報取得部１２１は、実オブジェクトが写る左画像および右画像を視野分析用撮像部１１１から取得することによって、実オブジェクトの情報を取得する。

測距部１２４は、視野分析用撮像部１１１によって撮像された左画像および右画像に基づいてデプスマップを生成し、生成したデプスマップを表示制御部１２８に出力する。

実オブジェクト検出部１２２は、視野分析用撮像部１１１によって撮像された左画像および右画像に基づいて視野に所定の実オブジェクト（例えば、平面など）が存在するか否かを判断する。実オブジェクト検出部１２２は、視野に所定の実オブジェクトが存在する場合、視野における所定の実オブジェクトの特徴（例えば、実空間における平面の位置など）を検出し、アプリケーション実行部１２６および表示制御部１２８に出力する。なお、実オブジェクト検出部１２２は、測距部１２４によって生成されたデプスマップに基づいて所定の実オブジェクトの特徴を検出してもよい。

自己位置推定部１２５は、実空間の認識結果に基づいて、視野分析用撮像部１１１の実空間における位置および姿勢（仮想カメラの位置）を自己位置として推定する。自己位置推定部１２５は、視野分析用撮像部１１１によって時間的に連続して撮像された複数の画像に基づいて実空間を認識する。このとき、自己位置推定部１２５は、認識精度を高めるために、センサ部１１２によって得られたセンシングデータ（例えば、加速度センサによって検出された加速度、ジャイロセンサによって検出された角速度など）をさらに加味して実空間を認識してもよい。

アプリケーション実行部１２６は、仮想空間に配置する仮想オブジェクトを決定し、仮想空間における仮想オブジェクトの位置を決定する。このとき、アプリケーション実行部１２６は、実オブジェクト検出部１２２によって検出された実オブジェクトの特徴に基づいて仮想オブジェクトの位置を決定してもよい。一例として、アプリケーション実行部１２６は、実オブジェクト検出部１２２によって平面の位置が検出された場合には、実オブジェクト検出部１２２によって検出された平面の位置を、仮想オブジェクトが配置される位置として決定してもよい。

アプリケーション実行部１２６は、仮想オブジェクトの仮想空間における位置と視野分析用撮像部１１１の実空間における位置および姿勢（仮想カメラの位置）とに基づいて、仮想オブジェクトの視野における位置、および、視野分析用撮像部１１１と仮想オブジェクトとの距離を検出する。なお、アプリケーションの種類は特に限定されない。一例として、アプリケーションは、ゲームアプリケーションであってもよい。

位置取得部１２７は、アプリケーション実行部１２３によって得られた仮想オブジェクトの位置を取得する。位置取得部１２７は、アプリケーション実行部１２３によって得られた仮想オブジェクトの仮想空間における位置を取得する。また、位置取得部１２７は、アプリケーション実行部１２３によって得られた仮想オブジェクトの視野における位置を取得する。

表示制御部１２８は、実オブジェクト検出部１２２によって検出された実オブジェクトの特徴を取得する。また、表示制御部１２８は、測距部１２４によって生成されたデプスマップを取得する。また、表示制御部１２８は、位置取得部１２７によって取得された仮想オブジェクトの位置を取得する。

ここで、表示制御部１２８は、位置取得部１２７によって取得された仮想オブジェクトの位置と実オブジェクト検出部１２２によって検出された実空間に存在し仮想オブジェクトの位置から離れている実オブジェクトの特徴とに基づいて、仮想オブジェクトの少なくとも境界の表示を制御する。かかる構成によれば、仮想オブジェクトの視認性の低下を抑制しつつ、仮想オブジェクトの表示に対する違和感を低減することが可能となる。例えば、表示制御部１２８は、仮想オブジェクトと実オブジェクトが第１の位置関係にある場合、仮想オブジェクトの少なくとも境界の表示を、仮想オブジェクトと実オブジェクトが第１の位置関係とは異なる第２の位置関係にある場合とは異ならせる。このとき、表示制御部１２８は、仮想オブジェクトが提示されるユーザの視野の動きに応じて、仮想オブジェクトと実オブジェクトの位置関係が第１の位置関係から第２の位置関係に変化した場合、仮想オブジェクトの少なくとも境界の表示を変化させてもよい。

より具体的には、表示制御部１２８は、実オブジェクトの特徴に基づいて、仮想オブジェクトの表示遅延感の予測強度を算出する。そして、表示制御部１２８は、仮想オブジェクトの位置と表示遅延感の予測強度とに基づいて、仮想オブジェクトのうち少なくとも境界の表示を制御する。より具体的には、表示制御部１２８は、仮想オブジェクトの位置、形状、動き、色、輝度、境界の鮮明度の少なくともいずれか一つを制御してよい。

実オブジェクトの特徴は特に限定されない。例えば、実オブジェクトの特徴は、実オブジェクトの形状および動きの少なくともいずれか一つを含んでもよい。例えば、実オブジェクトのエッジの直線部分の割合が多いほど、仮想オブジェクトの表示遅延感が大きくなると考えられる。そこで、表示制御部１２８は、実オブジェクトのエッジの直線部分の割合が多いほど、表示遅延感の予測強度を大きくするとよい。

また、実オブジェクトの動きが大きいほど、仮想オブジェクトの表示遅延感は小さくなると考えられる。そこで、表示制御部１２８は、実オブジェクトの動きが大きいほど、表示遅延感の予測強度を大きくするとよい。

表示制御部１２８は、実オブジェクトの特徴に基づいて表示遅延感の予測強度を算出してもよいし、仮想オブジェクトの特徴に基づいて表示遅延感の予測強度を算出してもよいし、実オブジェクトの特徴および仮想オブジェクトの特徴の双方に基づいて表示遅延感の予測強度を算出してもよい。

仮想オブジェクトの特徴は特に限定されない。例えば、仮想オブジェクトの特徴は、仮想オブジェクトの形状および動きの少なくともいずれか一つを含んでもよい。例えば、仮想オブジェクトのエッジの直線部分の割合が多いほど、仮想オブジェクトの表示遅延感が大きくなると考えられる。そこで、表示制御部１２８は、仮想オブジェクトのエッジの直線部分の割合が多いほど、表示遅延感の予測強度を大きくするとよい。

また、仮想オブジェクトの動きが大きいほど、仮想オブジェクトの表示遅延感は小さくなると考えられる。そこで、表示制御部１２８は、仮想オブジェクトの動きが大きいほど、表示遅延感の予測強度を大きくするとよい。

ここで、表示遅延感の予測強度は、仮想オブジェクトごとに決められていてよい。また、表示遅延感の予測強度は、仮想オブジェクトの特徴ごとにあらかじめ決められていてよい。以下では、仮想オブジェクトの表示遅延感の予測強度が仮想オブジェクトおよび仮想オブジェクトの特徴ごとにあらかじめ決められている場合について具体的に説明する。図６〜図８は、仮想オブジェクトおよび仮想オブジェクトの特徴ごとの表示遅延感の予測強度の例を示す図である。

図６を参照すると、エッジの直線部分の割合が高い仮想オブジェクト３０−３１に対応する表示遅延感の予測強度が「１．０」として示され、エッジの直線部分の割合が中程度の仮想オブジェクト３０−３２に対応する表示遅延感の予測強度が「０．９」として示され、エッジの直線部分の割合が低い仮想オブジェクト３０−３３に対応する表示遅延感の予測強度が「０．７」として示されている。

図７を参照すると、動きのない仮想オブジェクト３０−３４に対応する表示遅延感の予測強度が「０．４」として示され、ユーザに視線が向くように目を動かす仮想オブジェクト３０−３５に対応する表示遅延感の予測強度が「０．３５」として示され、動きの激しい仮想オブジェクト３０−３６に対応する表示遅延感の予測強度が「０．２５」として示されている。ユーザに視線が向くように目を動かす仮想オブジェクト３０−３５については、図１２を参照しながら後に説明する。

図８を参照すると、尻尾を小さく上下に振る動きをする仮想オブジェクト３０−３７に対応する表示遅延感の予測強度が「０．１５」として示され、首を左右に大きく振る動きをする仮想オブジェクト３０−３８に対応する表示遅延感の予測強度が「０．１」として示されている。

以上に示したようにして、表示遅延感の予測強度が決められていてよい。そして、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクトのうち少なくとも境界の表示を変更するとよい。より具体的には、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクトの位置、形状、動き、色、輝度、境界の鮮明度の少なくともいずれか一つを変更するとよい。

なお、仮想オブジェクトの表示遅延感の予測強度は、アプリケーションにおいて仮想オブジェクトおよび仮想オブジェクトの特徴ごとにあらかじめ決められていてよい。そして、表示遅延感の予測強度が閾値を超える場合における変更後の仮想オブジェクトも、アプリケーションにおいて回避パターンとしてあらかじめ決められていてよい。変更後の仮想オブジェクトは、一つに決められてもよいし、表示遅延感の予測強度が大きいほど、表示遅延感の予測強度の低下幅が大きくなるように仮想オブジェクトが変更されてもよい。以下では、仮想オブジェクトの表示の変更の例について説明する。

図９は、仮想オブジェクトの色を変更する例を示す図である。図９を参照すると、時刻ｔ３において、ユーザＵの視野７０−３に仮想オブジェクト３０−３が配置されている。そして、時刻ｔ３から時刻ｔ４までに、ユーザＵは首を右に動かしているため、時刻ｔ４においては、ユーザＵの視野７０−３が視野７０−４に移動している。

このとき、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクト３０−３の色を薄くするとよい。これによって、仮想オブジェクト３０−４の表示遅延感が小さくなると考えられる。例えば、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクト３０−３との距離が所定の距離よりも小さい実オブジェクト４０−１の色に仮想オブジェクト３０−３の色を近づけるとよい（仮想オブジェクト３０−４）。これによって、仮想オブジェクト３０−４の表示遅延感が小さくなると考えられる。

なお、図９に示した例において、表示遅延感の予測強度はどのように算出されてもよい。一例として、実オブジェクト４０−１の特徴が、実オブジェクト４０−１の色を含み、仮想オブジェクト３０−３の特徴が、仮想オブジェクト３０−３の色を含む場合、表示制御部１２８は、実オブジェクト４０−１の色と仮想オブジェクト３０−３の色との類似度が小さいほど、表示遅延感の予測強度を大きく算出してよい。

図１０は、仮想オブジェクトの輝度を変更する例を示す図である。図１０を参照すると、時刻ｔ５において、ユーザＵの視野７０−５に仮想オブジェクト３０−５が配置されている。そして、時刻ｔ５から時刻ｔ６までに、ユーザＵは首を右に動かしているため、時刻ｔ６においては、ユーザＵの視野７０−５が視野７０−６に移動している。

このとき、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクト３０−５の輝度を低下させるとよい。これによって、仮想オブジェクト３０−６の表示遅延感が小さくなると考えられる。例えば、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクト３０−５との距離が所定の距離よりも小さい実オブジェクト４０−１の輝度に仮想オブジェクト３０−５の輝度を近づけるとよい（仮想オブジェクト３０−６）。

なお、図１０に示した例において、表示遅延感の予測強度はどのように算出されてもよい。一例として、実オブジェクト４０−１の特徴が、実オブジェクト４０−１の輝度を含み、仮想オブジェクト３０−５の特徴が、仮想オブジェクト３０−５の輝度を含む場合、表示制御部１２８は、実オブジェクト４０−１の輝度と仮想オブジェクト３０−５の輝度との差が大きいほど、表示遅延感の予測強度を大きく算出してよい。

図１１は、実オブジェクトの輝度と仮想オブジェクトの輝度と表示遅延感の予測強度との関係の例を示す図である。図１１を参照すると、実オブジェクト４０−３の輝度と仮想オブジェクト３０−３９〜３０−４２それぞれの輝度とに対応する表示遅延感の予測強度が示されている。図１１に示したように、実オブジェクトの輝度と仮想オブジェクトの輝度との差が大きいほど、仮想オブジェクトの表示遅延感の予測強度が大きくてなっていてよい。

また、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクトに動きを付与し、または、仮想オブジェクトの動きを強めてもよい。例えば、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、動きのない状態からユーザに視線が向くように目を動かす状態に仮想オブジェクトの動きを変更してよい。これによって、仮想オブジェクトの表示遅延感が小さくなると考えられる。

図１２は、ユーザに視線が向くように目を動かす仮想オブジェクトの例を示す図である。図１２を参照すると、時刻ｔ７から時刻ｔ９までに、ユーザＵが首を左から右に動かしているため、視野７０−７から視野７０−９に視野が移動している。このとき、仮想オブジェクト３０−７は、ユーザに視線が向くように目を動かしてよい（仮想オブジェクト３０−８、３０−９）。

図１３は、仮想オブジェクトの輝度を変更する例を示す図である。図１３を参照すると、時刻ｔ１０において、ユーザＵの視野７０−１０に仮想オブジェクト３０−１０が配置されている。そして、時刻ｔ１０から時刻ｔ１１までに、ユーザＵは首を右に動かしているため、時刻ｔ１１においては、ユーザＵの視野７０−１０が視野７０−１１に移動している。

このとき、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクト３０−１０の境界の視認性（例えば、鮮明度）を低下させるとよい（仮想オブジェクト３０−１０にブラーを施すとよい）（仮想オブジェクト３０−１１）。これによって、仮想オブジェクト３０−１０の表示遅延感が小さくなると考えられる。

あるいは、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクトの位置を実オブジェクトから遠ざけるとよい。これによって、仮想オブジェクトの表示遅延感が小さくなると考えられる。例えば、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクトの位置を仮想オブジェクトとの距離が所定の距離よりも小さい実オブジェクトから遠ざけるとよい。

あるいは、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、仮想オブジェクトの形状を変更するとよい。これによって、仮想オブジェクトの表示遅延感が小さくなると考えられる。例えば、表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合、エッジの直線部分の割合がより低くなるように仮想オブジェクトの形状を変更するとよい。

また、表示遅延感の予測強度の算出には、実オブジェクトを構成する直線の位置が考慮されてもよい。すなわち、実オブジェクトの特徴が、実オブジェクトを構成する直線の位置を含み、仮想オブジェクトの特徴が、仮想オブジェクトの位置を含む場合、表示制御部１２８は、仮想オブジェクトの位置と実オブジェクトを構成する直線の位置との距離が近いほど、表示遅延感の予測強度を大きく算出してよい。かかる例について、図１４を参照しながら詳細に説明する。

図１４は、実オブジェクトを構成する直線の位置に基づく表示遅延感の予測強度の算出例を説明するための図である。図１４を参照すると、ユーザＵの視野７０−２１が示されている。ユーザＵの視野７０−２１には、仮想オブジェクト３０−２１および仮想オブジェクト３０−２２が配置されている。

また、仮想オブジェクト３０−２１から所定の距離以内に、実オブジェクト４０−４を構成する１本の直線、実オブジェクト４０−５を構成する２本の直線、実オブジェクト４０−６を構成する１本の直線が存在している。そして、仮想オブジェクト３０−２１から各直線までの垂線Ｅ１１〜Ｅ１４が示されている。

ここで、表示制御部１２８が、仮想オブジェクトの位置と実オブジェクトを構成する直線の位置との距離が近いほど、表示遅延感の予測強度を大きく算出する場合を想定する。かかる場合、表示制御部１２８は、垂線Ｅ１１〜Ｅ１４それぞれに対応する表示遅延感の予測強度を「０．２」「０．１８」「０．１５」「０．０５」として算出してよい。

そして、表示制御部１２８は、仮想オブジェクト３０−２１の標準の表示遅延感の予測強度を「１．０」とした場合、仮想オブジェクト３０−２１の標準の表示遅延感の予測強度「１．０」に、垂線Ｅ１１〜Ｅ１４それぞれに対応する表示遅延感の予測強度「０．２」「０．１８」「０．１５」「０．０５」を加算することによって、仮想オブジェクト３０−２１の表示遅延感の予測強度を「１．５８」と算出してよい。

また、仮想オブジェクト３０−２２から所定の距離以内に、実オブジェクト４０−７を構成する３本の直線が存在している。そして、仮想オブジェクト３０−２２から各直線までの垂線Ｅ２１〜Ｅ２３が示されている。同様にして、表示制御部１２８は、垂線Ｅ２１〜Ｅ２３それぞれに対応する表示遅延感の予測強度を「０．０３」「０．０１８」「０．０１」として算出してよい。

そして、表示制御部１２８は、仮想オブジェクト３０−２１の標準の表示遅延感の予測強度を「１．０」とした場合、仮想オブジェクト３０−２１の標準の表示遅延感の予測強度「１．０」に、垂線Ｅ２１〜Ｅ２３それぞれに対応する表示遅延感の予測強度「０．０３」「０．０１８」「０．０１」を加算することによって、仮想オブジェクト３０−２２の表示遅延感の予測強度を「１．０５８」と算出してよい。

図１４を参照しながら、実オブジェクトを構成する直線の位置に基づく表示遅延感の予測強度の算出例を説明した。なお、実オブジェクトを構成する直線の位置の代わりに、実オブジェクトを構成する直線の方向に基づいて表示遅延感の予測強度が算出されてもよい。このとき、実オブジェクトを構成する直線と、仮想オブジェクトを構成する直線とが平行に近いほど、表示遅延感の予測強度は大きく算出されてよい。

より具体的に、実オブジェクトの特徴が、実オブジェクトを構成する直線の方向を含み、仮想オブジェクトの特徴が、仮想オブジェクトを構成する直線の方向を含む場合、表示制御部１２８は、仮想オブジェクトを構成する直線の方向と実オブジェクトを構成する直線の方向とのなす角度が小さいほど、表示遅延感の予測強度を大きく算出してよい。このとき、図１４に示した場合と同様に、仮想オブジェクトと実オブジェクトを構成する直線との距離が所定の距離よりも小さい場合における表示遅延感の予測強度のみ、仮想オブジェクトの標準の表示遅延感の予測強度に加算されてよい。

なお、仮想オブジェクトを構成する直線の方向と実オブジェクトを構成する直線の方向とのなす角度の算出には、仮想オブジェクトを構成する直線の方向ベクトルと実オブジェクトを構成する直線の方向ベクトルとの内積が用いられてよい。

以上においては、表示制御部１２８が、実オブジェクトの特徴および仮想オブジェクトの少なくともいずれか一方に基づいて仮想オブジェクトの表示を制御する例について説明した。しかし、仮想カメラの動きによっても、表示遅延感が変化する可能性がある。そこで、表示制御部１２８は、実オブジェクトの特徴および仮想オブジェクトの少なくともいずれか一方の代わりに、あるいは、表示制御部１２８は、実オブジェクトの特徴および仮想オブジェクトの少なくともいずれか一方に追加して、仮想カメラの動きに基づいて、仮想オブジェクトのうち少なくとも境界の表示を制御してもよい。

表示制御部１２８は、仮想カメラの動きが所定の動きを超える場合、仮想オブジェクトのうち少なくとも境界の表示を変更してもよい。例えば、表示制御部１２８は、仮想カメラの動きが所定の動きを超える場合、仮想オブジェクトの表示遅延感の予測強度を大きくしてもよい。例えば、表示制御部１２８は、仮想カメラの動きが大きくなるほど、仮想オブジェクトの表示遅延感の予測強度を大きく算出してもよい。表示遅延感の予測強度に基づく仮想オブジェクトの表示制御は、上記と同様に実行されてよい。

以上、本実施形態に係る情報処理装置１０の機能詳細について説明した。

［１．３．情報処理装置の動作例］
続いて、本実施形態に係る情報処理装置１０の動作例について説明する。図１５は、本実施形態に係る情報処理装置１０の動作例を示すフローチャートである。なお、図１５に示した動作例は、本実施形態に係る情報処理装置１０の動作の一例を示したに過ぎない。したがって、本実施形態に係る情報処理装置１０の動作は、図１５に示した動作例に限定されない。

図１５に示すように、自己位置推定部１２５は、視野分析用撮像部１１１によって時間的に連続して撮像された複数の画像に基づいて実空間を認識する（Ｓ１１）。自己位置推定部１２５は、実空間の認識結果に基づいて、視野分析用撮像部１１１の実空間における位置および姿勢（仮想カメラの位置）を自己位置として推定する。

アプリケーション実行部１２６は、仮想空間に配置する仮想オブジェクトを決定し（Ｓ１２）、仮想オブジェクトの表示遅延感の予測強度、回避パターンおよび閾値の組み合わせを表示制御部１２８に通知する（Ｓ１３）。アプリケーション実行部１２６は、仮想空間における仮想オブジェクトの位置を決定する（Ｓ１４）。表示制御部１２８は、仮想オブジェクトの特徴および実オブジェクトの特徴の少なくともいずれか一方に基づいて、表示遅延感の予測強度を算出する（Ｓ１５）。

表示制御部１２８は、表示遅延感の予測強度が閾値を超える場合には（Ｓ１６において「Ｙｅｓ」）、回避パターンに基づいて、仮想オブジェクトの表示方法を変更し（Ｓ１７）、Ｓ１６に動作を移行させる。このように表示遅延感の予測強度が閾値を超えなくなるまで、仮想オブジェクトの各特徴それぞれに対応する回避パターンに基づいて順次に仮想オブジェクトの表示方法が変更されてよい。

一方、表示制御部１２８は、表示遅延感の予測強度が閾値を超えない場合には（Ｓ１６において「Ｎｏ」）、仮想オブジェクトの描画を行って（Ｓ１８）、仮想オブジェクトの特徴および実オブジェクトの特徴の少なくともいずれか一方が変更されたなどの理由により、再判定の必要がある場合には（Ｓ１９において「Ｙｅｓ」）、動作をＳ１５に移行させるが、再判定の必要がない場合には（Ｓ１９において「Ｎｏ」）、Ｓ１１に動作が移行されてよい。

以上において、本実施形態に係る情報処理装置１０の動作例について説明した。

＜２．ハードウェア構成例＞
次に、図１６を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１６は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。

図１６に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

＜３．むすび＞
以上説明したように、本開示の実施形態によれば、撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて算出された仮想カメラの位置に基づいて決定された仮想オブジェクトの位置を取得する位置取得部１２７と、前記仮想オブジェクトの位置と実空間に存在する物体の特徴とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御する表示制御部１２８と、を備える、情報処理装置１０が提供される。

かかる構成によれば、仮想オブジェクトの視認性の低下を抑制しつつ、仮想オブジェクトの表示に対する違和感を低減することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１２０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

例えば、上記した情報処理装置１０の動作が実現されれば、各構成の位置は特に限定されない。情報処理装置１０における各部の処理の一部はサーバ装置（不図示）によって行われてもよい。具体的な一例として、情報処理装置１０における制御部１２０が有する各ブロックの一部または全部は、サーバ装置（不図示）などに存在していてもよい。例えば、情報処理装置１０における実オブジェクト検出部１２２、測距部１２４、自己位置推定部１２５およびアプリケーション実行部１２６の機能の一部または全部は、サーバ装置（不図示）などに存在していてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて決定された前記実空間における仮想オブジェクトの位置を取得する位置取得部と、
前記仮想オブジェクトの位置と、前記実空間に存在し前記仮想オブジェクトの位置から離れている実オブジェクトの特徴とに基づいて、前記仮想オブジェクトの少なくとも境界の表示を制御する表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、前記仮想オブジェクトと前記実オブジェクトが第１の位置関係にある場合、前記仮想オブジェクトの少なくとも境界の表示を、前記仮想オブジェクトと前記実オブジェクトが前記第１の位置関係とは異なる第２の位置関係にある場合とは異ならせる、
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記仮想オブジェクトが提示されるユーザの視野の動きに応じて、前記仮想オブジェクトと前記実オブジェクトの位置関係が前記第１の位置関係から前記第２の位置関係に変化した場合、前記仮想オブジェクトの少なくとも境界の表示を変化させる、
前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記実オブジェクトの特徴に基づいて、前記仮想オブジェクトの表示遅延感の予測強度を算出し、前記仮想オブジェクトの位置と前記表示遅延感の予測強度とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御する、
前記（１）に記載の情報処理装置。
（５）
前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトの位置を前記実オブジェクトから遠ざける、
前記（４）に記載の情報処理装置。
（６）
前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトの形状を変更する、
前記（４）に記載の情報処理装置。
（７）
前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトに動きを付与し、または、前記仮想オブジェクトの動きを強める、
前記（４）に記載の情報処理装置。
（８）
前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトの色または輝度の少なくとも一方を前記実オブジェクトの色または輝度の少なくとも一方に近づける、
前記（４）に記載の情報処理装置。
（９）
前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトの境界の視認性を低下させる、
前記（４）に記載の情報処理装置。
（１０）
前記実オブジェクトの特徴は、前記実オブジェクトの形状および動きの少なくともいずれか一つを含む、
前記（１）に記載の情報処理装置。
（１１）
前記表示制御部は、前記実オブジェクトの特徴と前記仮想オブジェクトの特徴とに基づいて、前記表示遅延感の予測強度を算出する、
前記（４）に記載の情報処理装置。
（１２）
前記実オブジェクトの特徴は、前記実オブジェクトを構成する直線の位置を含み、
前記仮想オブジェクトの特徴は、前記仮想オブジェクトの位置を含み、
前記表示制御部は、前記仮想オブジェクトの位置と前記実オブジェクトを構成する直線の位置との距離が近いほど、前記表示遅延感の予測強度を大きく算出する、
前記（１１）に記載の情報処理装置。
（１３）
前記実オブジェクトの特徴は、前記実オブジェクトを構成する直線の方向を含み、
前記仮想オブジェクトの特徴は、前記仮想オブジェクトを構成する直線の方向を含み、
前記表示制御部は、前記仮想オブジェクトを構成する直線の方向と前記実オブジェクトを構成する直線の方向とのなす角度が小さいほど、前記表示遅延感の予測強度を大きく算出する、
前記（１１）に記載の情報処理装置。
（１４）
前記仮想オブジェクトの特徴は、前記仮想オブジェクトの形状および動きの少なくともいずれか一つを含む、
前記（１１）に記載の情報処理装置。
（１５）
前記実オブジェクトの特徴は、前記実オブジェクトの色を含み、
前記仮想オブジェクトの特徴は、前記仮想オブジェクトの色を含み、
前記表示制御部は、前記実オブジェクトの色と前記仮想オブジェクトの色との類似度が小さいほど、前記表示遅延感の予測強度を大きく算出する、
前記（１１）に記載の情報処理装置。
（１６）
前記実オブジェクトの特徴は、前記実オブジェクトの輝度を含み、
前記仮想オブジェクトの特徴は、前記仮想オブジェクトの輝度を含み、
前記表示制御部は、前記実オブジェクトの輝度と前記仮想オブジェクトの輝度との差が大きいほど、前記表示遅延感の予測強度を大きく算出する、
前記（１１）に記載の情報処理装置。
（１７）
前記表示制御部は、前記実空間の認識結果に基づいて算出された仮想カメラの動きに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御する、
前記（１）に記載の情報処理装置。
（１８）
前記表示制御部は、前記仮想カメラの動きが所定の動きを超える場合、前記仮想オブジェクトのうち少なくとも境界の表示を変更する、
前記（１７）に記載の情報処理装置。
（１９）
撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて算出された仮想カメラの位置に基づいて決定された仮想オブジェクトの位置を取得することと、
前記仮想オブジェクトの位置と実空間に存在する実オブジェクトの特徴とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御することと、
を含む、情報処理方法。
（２０）
コンピュータを、
撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて算出された仮想カメラの位置に基づいて決定された仮想オブジェクトの位置を取得する位置取得部と、
前記仮想オブジェクトの位置と実空間に存在する実オブジェクトの特徴とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御する表示制御部と、
を備える情報処理装置として機能させるためのプログラム。

１０ 情報処理装置
１１１ 視野分析用撮像部
１１２ センサ部
１２０ 制御部
１２１ 実空間情報取得部
１２２ 実オブジェクト検出部
１２３ アプリケーション実行部
１２４ 測距部
１２５ 自己位置推定部
１２６ アプリケーション実行部
１２７ 位置取得部
１２８ 表示制御部
１３０ 記憶部
１５０ 表示部

Claims (20)

1. 撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて決定された前記実空間における仮想オブジェクトの位置を取得する位置取得部と、
   前記仮想オブジェクトの位置と、前記実空間に存在し前記仮想オブジェクトの位置から離れている実オブジェクトの特徴とに基づいて、前記仮想オブジェクトの少なくとも境界の表示を制御する表示制御部と、
   を備える、情報処理装置。
2. 前記表示制御部は、前記仮想オブジェクトと前記実オブジェクトが第１の位置関係にある場合、前記仮想オブジェクトの少なくとも境界の表示を、前記仮想オブジェクトと前記実オブジェクトが前記第１の位置関係とは異なる第２の位置関係にある場合とは異ならせる、
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記仮想オブジェクトが提示されるユーザの視野の動きに応じて、前記仮想オブジェクトと前記実オブジェクトの位置関係が前記第１の位置関係から前記第２の位置関係に変化した場合、前記仮想オブジェクトの少なくとも境界の表示を変化させる、
   請求項２に記載の情報処理装置。
4. 前記表示制御部は、前記実オブジェクトの特徴に基づいて、前記仮想オブジェクトの表示遅延感の予測強度を算出し、前記仮想オブジェクトの位置と前記表示遅延感の予測強度とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御する、
   請求項１に記載の情報処理装置。
5. 前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトの位置を前記実オブジェクトから遠ざける、
   請求項４に記載の情報処理装置。
6. 前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトの形状を変更する、
   請求項４に記載の情報処理装置。
7. 前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトに動きを付与し、または、前記仮想オブジェクトの動きを強める、
   請求項４に記載の情報処理装置。
8. 前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトの色または輝度の少なくとも一方を前記実オブジェクトの色または輝度の少なくとも一方に近づける、
   請求項４に記載の情報処理装置。
9. 前記表示制御部は、前記表示遅延感の予測強度が閾値を超える場合、前記仮想オブジェクトの境界の視認性を低下させる、
   請求項４に記載の情報処理装置。
10. 前記実オブジェクトの特徴は、前記実オブジェクトの形状および動きの少なくともいずれか一つを含む、
    請求項１に記載の情報処理装置。
11. 前記表示制御部は、前記実オブジェクトの特徴と前記仮想オブジェクトの特徴とに基づいて、前記表示遅延感の予測強度を算出する、
    請求項４に記載の情報処理装置。
12. 前記実オブジェクトの特徴は、前記実オブジェクトを構成する直線の位置を含み、
    前記仮想オブジェクトの特徴は、前記仮想オブジェクトの位置を含み、
    前記表示制御部は、前記仮想オブジェクトの位置と前記実オブジェクトを構成する直線の位置との距離が近いほど、前記表示遅延感の予測強度を大きく算出する、
    請求項１１に記載の情報処理装置。
13. 前記実オブジェクトの特徴は、前記実オブジェクトを構成する直線の方向を含み、
    前記仮想オブジェクトの特徴は、前記仮想オブジェクトを構成する直線の方向を含み、
    前記表示制御部は、前記仮想オブジェクトを構成する直線の方向と前記実オブジェクトを構成する直線の方向とのなす角度が小さいほど、前記表示遅延感の予測強度を大きく算出する、
    請求項１１に記載の情報処理装置。
14. 前記仮想オブジェクトの特徴は、前記仮想オブジェクトの形状および動きの少なくともいずれか一つを含む、
    請求項１１に記載の情報処理装置。
15. 前記実オブジェクトの特徴は、前記実オブジェクトの色を含み、
    前記仮想オブジェクトの特徴は、前記仮想オブジェクトの色を含み、
    前記表示制御部は、前記実オブジェクトの色と前記仮想オブジェクトの色との類似度が小さいほど、前記表示遅延感の予測強度を大きく算出する、
    請求項１１に記載の情報処理装置。
16. 前記実オブジェクトの特徴は、前記実オブジェクトの輝度を含み、
    前記仮想オブジェクトの特徴は、前記仮想オブジェクトの輝度を含み、
    前記表示制御部は、前記実オブジェクトの輝度と前記仮想オブジェクトの輝度との差が大きいほど、前記表示遅延感の予測強度を大きく算出する、
    請求項１１に記載の情報処理装置。
17. 前記表示制御部は、前記実空間の認識結果に基づいて算出された仮想カメラの動きに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御する、
    請求項１に記載の情報処理装置。
18. 前記表示制御部は、前記仮想カメラの動きが所定の動きを超える場合、前記仮想オブジェクトのうち少なくとも境界の表示を変更する、
    請求項１７に記載の情報処理装置。
19. 撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて算出された仮想カメラの位置に基づいて決定された仮想オブジェクトの位置を取得することと、
    前記仮想オブジェクトの位置と実空間に存在する実オブジェクトの特徴とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御することと、
    を含む、情報処理方法。
20. コンピュータを、
    撮像装置によって撮像された画像に応じた実空間の認識結果に基づいて算出された仮想カメラの位置に基づいて決定された仮想オブジェクトの位置を取得する位置取得部と、
    前記仮想オブジェクトの位置と実空間に存在する実オブジェクトの特徴とに基づいて、前記仮想オブジェクトのうち少なくとも境界の表示を制御する表示制御部と、
    を備える情報処理装置として機能させるためのプログラム。

Images