WO2019230096A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2019230096A1
WO2019230096A1 PCT/JP2019/008278 JP2019008278W WO2019230096A1 WO 2019230096 A1 WO2019230096 A1 WO 2019230096A1 JP 2019008278 W JP2019008278 W JP 2019008278W WO 2019230096 A1 WO2019230096 A1 WO 2019230096A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
processing apparatus
line
agent
Prior art date
Application number
PCT/JP2019/008278
Other languages
English (en)
French (fr)
Inventor
賢次 杉原
野田 卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/057,786 priority Critical patent/US11487355B2/en
Publication of WO2019230096A1 publication Critical patent/WO2019230096A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

【課題】ユーザの利便性が向上するようにオブジェクトを制御することが可能な技術が提供されることが望まれる。 【解決手段】ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動する第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動する第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させるオブジェクト制御部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム
 本開示は、情報処理装置、情報処理方法およびプログラムに関する。
 近年、ユーザの視線に基づいてオブジェクトを移動させる技術が知られている。例えば、ユーザの視線の位置に基づいて操作対象のオブジェクトの候補を特定し、特定した候補が複数存在する場合に、当該複数の候補が互いに離間するように当該複数の候補の少なくともいずれかを移動させる技術が開示されている(例えば、特許文献1参照)。
国際公開第2017/187708号
 しかし、ユーザの利便性が向上するようにオブジェクトを制御することが可能な技術が提供されることが望まれる。
 本開示によれば、ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動する第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動する第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させるオブジェクト制御部を備える、情報処理装置が提供される。
 本開示によれば、プロセッサが、ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動する第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動する第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させることを含む、情報処理方法が提供される。
 本開示によれば、コンピュータを、ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動する第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動する第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させるオブジェクト制御部を備える、情報処理装置として機能させるためのプログラムが提供される。
 以上説明したように本開示によれば、ユーザの利便性が向上するようにオブジェクトを制御することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 情報処理装置の機能構成例を示す図である。 制御部の詳細構成例を示す図である。 エージェントの制御の例について説明するための図である。 エージェントの制御の例について説明するための図である。 エージェントの制御の例について説明するための図である。 エージェントの制御の例について説明するための図である。 エージェントの制御の例について説明するための図である。 情報処理装置の動作の例を示すフローチャートである。 情報処理装置の動作の例を示すフローチャートである。 情報処理装置の動作の例を示すフローチャートである。 エージェントの制御の第1の変形例について説明するための図である。 エージェントの制御の第1の変形例について説明するための図である。 エージェントの制御の第2の変形例について説明するための図である。 エージェントの制御の第2の変形例について説明するための図である。 エージェントの制御の第2の変形例について説明するための図である。 エージェントの制御の第2の変形例について説明するための図である。 エージェントの制御の第2の変形例について説明するための図である。 エージェントの制御の第3の変形例について説明するための図である。 エージェントの制御の第3の変形例について説明するための図である。 情報処理装置のハードウェア構成例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、説明は以下の順序で行うものとする。
 0.概要
 1.実施形態の詳細
  1.1.システム構成例
  1.2.情報処理装置の機能構成例
  1.3.情報処理システムの機能詳細
   1.3.1.エージェントの制御
   1.3.2.情報処理装置の動作
   1.3.3.各種の変形例
 2.ハードウェア構成例
 3.むすび
 <0.概要>
 まず、本開示の実施形態の概要を説明する。近年、ユーザの視線に基づいてオブジェクトを移動させる技術が知られている。例えば、ユーザの視線の位置に基づいて操作対象のオブジェクトの候補を特定し、特定した候補が複数存在する場合に、当該複数の候補が互いに離間するように当該複数の候補の少なくともいずれかを移動させる技術が開示されている。しかし、ユーザの利便性が向上するようにオブジェクトを制御することが可能な技術が提供されることが望まれる。
 例えば、ユーザのオブジェクトへの興味度合いに応じて、ユーザにとって利便性の高いオブジェクトの位置は異なることが想定される。さらに、ユーザのオブジェクトへの興味度合いに応じて、ユーザの注視点がオブジェクトのどこに位置しやすいかが変わることが想定される。したがって、本開示の実施形態においては、ユーザの注視点がオブジェクトのどこに位置するかに応じて、オブジェクトの位置を制御する技術について主に説明する。
 例えば、ユーザのオブジェクトへの興味度合いがある程度より強い場合には、ユーザの注視点が第1の部位(例えば、オブジェクトの顔など)に存在しやすく、ユーザのオブジェクトへの興味がある程度より弱い場合には、ユーザの注視点がオブジェクトの第1の部位とは異なる第2の部位(例えば、オブジェクトの胴体)に存在しやすいことが想定される。したがって、本開示の実施形態においては、ユーザの注視点がオブジェクトの第1の部位に位置する場合と第2の部位に位置する場合とで、オブジェクトの位置を異ならせる技術について主に説明する。
 なお、以下では、第1の部位がオブジェクトの顔を含む場合を例に挙げ、第2の部位がオブジェクトの胴体(首部分より下の身体部分)を含む場合を例に挙げて説明する。しかし、第1の部位および第2の部位は、かかる例に限定されない。例えば、第1の部位は、オブジェクトの(顔を含んだ)頭部を含んでもよい。さらに、オブジェクトの首部分は、第1の部位に含まれてもよいし、第2の部位に含まれてもよいし、いずれの部位に含まれなくてもよい。
 また、本開示の実施形態においては、ユーザの注視点の位置に応じて移動が制御されるオブジェクト(第1のオブジェクト)を「エージェント」と称する場合がある。エージェントには、ユーザの代わりに処理を行うオブジェクトという意味も存在し得る。しかし、本開示の実施形態に係るエージェントは、ユーザの代わりに処理を行うオブジェクトであるとは限らず、本開示の実施形態に係るエージェントが行う処理の種類は、特に限定されない。
 さらに、本開示の実施形態においては、エージェントが表示部152の表示領域に表示されるオブジェクト(仮想オブジェクト)である場合を主に説明する。しかし、エージェントは、自立的に移動可能な実オブジェクトであってもよい。このとき、実オブジェクトはどのようにして移動可能にされていてもよい。例えば、実オブジェクトが回転体(例えば、タイヤ、ホイールまたはローラなど)を備えている場合、実オブジェクトは、当該回転体を回転駆動することによって面上(床面上など)を移動可能であってもよい。あるいは、実オブジェクトが足部を備えている場合、実オブジェクトは、足部を歩行するように駆動することによって面上(床面上など)を移動可能であってもよい。
 以上において、本開示の実施形態の概要について説明した。
 <1.実施形態の詳細>
 まず、本開示の実施形態の詳細について説明する。
 [1.1.システム構成例]
 まず、図面を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。図1は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図1に示したように、本開示の実施形態に係る情報処理システムは、情報処理装置10を備える。情報処理装置10は、ユーザU1によって利用される。
 なお、本実施形態においては、情報処理装置10がユーザU1の頭部に装着されるHMD(ヘッドマウントディスプレイ)である場合を主に説明する。特に、本実施形態においては、情報処理装置10がシースルー型のHMDである場合を主に説明する。しかし、情報処理装置10はHMDに限定されない。例えば、情報処理装置10は、スマートフォンであってもよいし、携帯電話であってもよいし、タブレット端末であってもよいし、カメラであってもよいし、PC(Personal Computer)であってもよいし、他の機器であってもよい。
 ユーザU1は、実空間を視認可能である。図1に示した例では、ユーザU1は、情報処理装置10を通して実空間を視認可能である。実空間には、どのようなオブジェクトが存在していてもよい。図1に示した例では、上記のエージェントとは異なる第2のオブジェクトの例として、人物40が実空間に存在している。しかし、人物40は第2のオブジェクトの一例に過ぎない。したがって、人物40の代わりに他のオブジェクトが第2のオブジェクトとして実空間に存在してもよい。第3のオブジェクトについては、後に説明する。
 また、図1に示した例では、上記のエージェントとは異なる第4のオブジェクトの例として、地図30が実空間に存在している。そして、図1に示した例では、地図30がフロアマップであり、フロアに存在する複数の店舗が地図30に描かれている。しかし、地図30は第4のオブジェクトの一例に過ぎない。したがって、地図30の代わりに他のオブジェクトが第4のオブジェクトとして実空間に存在してもよい。
 以上、本開示の実施形態に係る情報処理システムの構成例について説明した。
 [1.2.情報処理装置の機能構成例]
 続いて、情報処理装置10の機能構成例について説明する。図2は、情報処理装置10の機能構成例を示す図である。図2に示したように、情報処理装置10は、視野分析用撮像部111、視線検出用撮像部112、センサ部113、制御部120、記憶部130、通信部140および表示部152を有している。また、情報処理装置10は、通信ネットワークを介してサーバ装置(不図示)と接続されていてもよい。通信ネットワークは、例えば、インターネットを含む。
 視野分析用撮像部111は、ユーザU1の視野を撮像することによって画像(視野分析用画像)を得る機能を有する。例えば、視野分析用撮像部111は、カメラ(イメージセンサを含む)を含んでおり、カメラによって撮像された視野分析用画像を得る。視野分析用撮像部111に含まれるカメラの数は1以上であれば特に限定されない。そして、視野分析用撮像部111が設けられる位置も特に限定されない。ここでは、視野分析用撮像部111が、情報処理装置10の内部に存在する場合を主に想定するが、視野分析用撮像部111は、情報処理装置10の外部に存在していてもよい。
 視線検出用撮像部112は、ユーザU1の目を撮像することによって画像(視線検出用画像)を得る機能を有する。例えば、視線検出用撮像部112は、カメラ(イメージセンサを含む)を含んでおり、カメラによって撮像された視線検出用画像を得る。視線検出用撮像部112に含まれるカメラの数は1以上であれば特に限定されない。そして、視線検出用撮像部112が設けられる位置も特に限定されない。ここでは、視線検出用撮像部112が、情報処理装置10の内部に存在する場合を主に想定するが、視線検出用撮像部112は、情報処理装置10の外部に存在していてもよい。
 センサ部113は、センサを含んで構成され、ユーザU1の視野の動きを検出する機能を有する。例えば、センサ部113は、加速度センサを含んで構成され、加速度センサによって検出された加速度によってユーザU1の視野の動きを検出してよい。あるいは、センサ部113は、ジャイロセンサを含んで構成され、ジャイロセンサによって検出された角速度によってユーザU1の視野の動きを検出してよい。なお、ユーザU1の視野の動きは、視野分析用撮像部111によって撮像された視野分析用画像に基づいて検出されてもよい。
 また、センサ部113は、ユーザU1の頭部(センサ部113)の位置および姿勢を検出する機能を有する。例えば、センサ部113は、位置センサ(例えば、GPS(Global Positioning System)センサなど)を含んで構成され、位置センサによってユーザU1の頭部の位置を検出してよい。
 また、センサ部113は、地磁気センサを含んで構成され、地磁気センサによってユーザU1の頭部の姿勢を検出してよい。さらに、センサ部113は、地磁気センサに加えて、または、地磁気センサの代わりに、加速度センサおよびジャイロセンサの少なくともいずれか一方に基づいて、より高精度にユーザの姿勢を検出してもよい。あるいは、情報処理装置10の外部にカメラが設置されている場合には、当該カメラによって撮像された画像から認識される顔の向きがユーザU1の頭部の姿勢として検出されてもよい。なお、ユーザU1の頭部の位置および姿勢は、視野分析用撮像部111によって撮像された視野分析用画像に基づいて検出されてもよい。
 通信部140は、通信回路を含んで構成され、通信ネットワークを介して通信ネットワークに接続されたサーバ装置(不図示)からのデータの取得および当該サーバ装置(不図示)へのデータの提供を行う機能を有する。例えば、通信部140は、通信インターフェースにより構成される。なお、通信ネットワークに接続されるサーバ装置(不図示)は、1つであってもよいし、複数であってもよい。
 記憶部130は、メモリを含んで構成され、制御部120によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部130は、制御部120による演算のためにデータを一時的に記憶する。記憶部130は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
 表示部152は、各種の画面を表示する機能を有する。表示部152の種類は限定されない。例えば、表示部152は、ユーザに視認可能な表示を行うことが可能なディスプレイであればよく、液晶ディスプレイであってもよいし、有機EL(Electro-Luminescence)ディスプレイであってもよい。
 制御部120は、情報処理装置10の各部の制御を実行する。制御部120は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などで構成されていてよい。制御部120がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。制御部120は、かかる処理装置によってプログラムが実行されることによって実現され得る。
 図3は、制御部120の詳細構成例を示す図である。図3に示したように、制御部120は、視線情報取得部121、視野情報取得部122、判定部125およびオブジェクト制御部129を備える。これらの各機能ブロックについての詳細は、後に説明する。
 以上、本実施形態に係る情報処理装置10の機能構成例について説明した。
 [1.3.情報処理システムの機能詳細]
 続いて、本実施形態に係る情報処理システムの機能詳細について説明する。
  (1.3.1.エージェントの制御)
 図4~図8を参照しながら、エージェントの制御の例について説明する。図4~図8は、エージェントの制御の例について説明するための図である。図4~図8を参照すると、ユーザU1が実空間に存在している。なお、ユーザU1は実際には頭部に情報処理装置10を装着しているが、本開示の実施形態において、ユーザU1の頭部に装着されている情報処理装置10の図示は、適宜に省略されている。
 図4を参照すると、ユーザU1の視野60-1が示されている。視野60-1には、地図30が存在している。オブジェクト制御部129は、実空間の情報(例えば、ユーザの注視点など)に基づいて実空間にエージェント20の位置を定め(定位し)、当該位置にエージェントを配置する。まず、オブジェクト制御部129は、実空間の情報に基づいてエージェント20を実空間における初期位置に配置する。初期位置は特に限定されない。ここでは、初期位置がユーザU1の周辺視野であり、オブジェクト制御部129によって周辺視野にエージェント20が配置される場合を想定する。これによって、中心視野に存在するエージェント20以外のオブジェクト(実オブジェクトまたは仮想オブジェクト)の視認が妨げられずに済む。なお、周辺視野は、ユーザU1の中心視野の外側領域と見做されても良い。
 なお、ユーザは疲れをおぼえると、視線を下に向ける傾向がある。したがって、エージェント20が視野中央よりも上側に配置された場合、視野の下側に存在するエージェント20以外のオブジェクトの視認の阻害が抑制され得る。
 ここで、中心視野は、視野60-1の中心を含む領域であってよい。例えば、中心視野は、ユーザU1の頭部の位置を通過する直線であり、かつ、視野60-1の中心とのなす角度が角度(A1/2)となる直線に挟まれる領域であってよい。角度A1の具体的な大きさは限定されない。特に、エージェント20が仮想オブジェクトである場合、オブジェクト制御部129は、表示部152の表示領域の中央領域にエージェント20を表示させることによって、エージェント20を中心視野に配置することが可能である。
 また、周辺視野は、ユーザU1の頭部の位置を通過する直線であり、かつ、視野60-1の中心とのなす角度が角度(A2/2)となる直線に挟まれる領域のうち、中心視野が除外された領域であってよい。角度A2の具体的な大きさは限定されない。特に、エージェント20が仮想オブジェクトである場合、オブジェクト制御部129は、表示部152の表示領域の境界(境界領域)にエージェント20を表示させることによって、エージェント20を周辺視野に配置することが可能である。
 上記したように、センサ部113によって、ユーザU1の頭部の位置および姿勢が検出されると、視野情報取得部122は、かかるユーザU1の頭部の位置情報および姿勢情報を取得する。その他、視野情報取得部122は、視野分析用撮像部111によって撮像された視野分析用画像を取得する。
 視線情報取得部121は、ユーザU1の視線情報を取得する。視線情報取得部121は、ユーザU1の視線情報をどのように取得してもよい。ここでは、視線情報取得部121は、視線検出用画像から瞳孔の中心位置およびプルキニエ像の位置関係を検出し、当該位置関係に基づいて視線を算出する場合を主に想定する。しかし、視線情報取得部121は、ユーザU1の頭部の姿勢情報を視線情報として取得してもよい。
 判定部125は、ユーザU1の頭部の位置情報および姿勢情報と、ユーザU1の視線情報とに基づいて、ユーザU1の実空間における注視点50-1を検出する。
 そして、判定部125は、注視点50-1がエージェント20に向けて移動しているまたはエージェント20まで移動したか否かを判定する。例えば、判定部125は、注視点50-1の変化に基づいて注視点50-1がエージェント20に達すると予測した場合に、注視点50-1がエージェント20に向けて移動したと判定してよい。一方、判定部125は、注視点50-1が実際にエージェント20に位置した場合に、注視点50-1がエージェント20まで移動したと判定してよい。
 図4に示した例では、注視点50-1がエージェント20とは異なる位置に存在している。判定部125は、注視点50-1がエージェント20に向けて移動しておらず、かつ、注視点50-1がエージェント20まで移動していないと判定する。このように、判定部125によって、注視点50-1がエージェント20に向けて移動していないまたはエージェント20まで移動していないと判定された場合、オブジェクト制御部129は、エージェント20が周辺視野に配置された状態を継続すればよい(エージェント20が周辺視野に位置し続けるように、視野60-1の変化に応じて実空間においてエージェント20を移動させればよい)。
 図5を参照すると、ユーザU1の視野が視野60-1(図4)から視野60-2に変化している。判定部125は、注視点50-2がエージェント20の顔21に向けて移動するまたはエージェント20の顔21まで移動した視線移動(第1の視線移動)があったか否かを判定する。例えば、判定部125は、注視点50-2の変化に基づいて注視点50-2が顔21に達すると予測した場合に(注視点50-2が顔21に達する前に)、注視点50-2が顔21に向けて移動したと判定してよい。一方、判定部125は、注視点50-2が実際に顔21に位置した場合に、注視点50-2が顔21まで移動したと判定してよい。
 図5に示した例では、注視点50-2が顔21に位置している。したがって、判定部125は、注視点50-2が顔21まで移動する視線移動(第1の視線移動)があったと判定する。このように、判定部125によって、注視点50-2が顔21に向けて移動するまたは顔21まで移動した視線移動(第1の移動)があったと判定された場合、オブジェクト制御部129は、かかる視線移動(第1の視線移動)に基づいて、エージェント20の移動を抑制すればよい。これによって、ユーザU1はエージェント20を視認しやすくなることが想定される。
 なお、図4および図5に示すように、オブジェクト制御部129は、注視点50-2(注視点50-1)が顔21に向けて移動するまたは顔21まで移動した視線移動(第1の視線移動)に基づいて、顔21の向きを変化させてもよい。例えば、図4において、オブジェクト制御部129は、エージェント20の前面をユーザU1から見て奥側に向けている。これに対し、図5に示すように、オブジェクト制御部129は、注視点50-2が顔21に向けて移動するまたは顔21まで移動した視線移動(第1の視線移動)に基づいて、顔21をユーザU1に向けてよい。これによって、ユーザU1は、注視点50-2が顔21に向けて移動するまたは顔21まで移動したことを直感的に把握しやすくなる。なお、図5とは対照的に、図4ではエージェント20の前面がユーザU1から見て奥側に向いている(そっぽを向いている)。したがって、ユーザU1は、注視点50-1がエージェント20の顔21に向けて移動していないまたは顔21まで移動していないことを直感的に把握しやすくなる。
 より詳細に、オブジェクト制御部129は、注視点50-2が顔21に向けて移動するまたは顔21まで移動した視線移動(第1の視線移動)に基づいて、顔21をユーザU1に向けた後、胴体22の前面をユーザU1に向けてよい。これによって、ユーザU1は、注視点50-2が顔21に向けて移動するまたは顔21まで移動したことを、エージェント20の自然な動きによって直感的に把握しやすくなる。
 なお、判定部125は、顔21が視野60-2に存在しない場合には、注視点50-2が顔21まで移動する視線移動(第1の視線移動)があったか否かを判定しなくてよい。顔21が視野60-2に存在しない時点から、顔21がユーザU1のほうに向けられているとすると、顔21が視野60-2に突入したときには、既に顔21がユーザU1のほうに向けられていることになり、ユーザU1にとって違和感があると考えられるからである。
 なお、本開示の実施形態では、オブジェクト制御部129が、実空間におけるエージェント20の位置を不変にすることによって、エージェント20の移動を抑制する場合を主に想定する。しかし、エージェント20の移動はどのように抑制されてもよい。例えば、オブジェクト制御部129は、注視点50-1がエージェント20とは異なる位置に位置する場合(図4)におけるエージェント20の移動よりも遅くエージェント20を実空間において移動させることによって、エージェント20の移動を抑制してもよい。
 図6を参照すると、ユーザU1の視野が視野60-2(図5)から視野60-3に変化している。判定部125は、顔21がユーザU1に向けられた後も、注視点50-3が顔21に位置しているか否かを判定する。判定部125によって、注視点50-3が顔21に位置していると判定された場合、オブジェクト制御部129は、注視点50-3が顔21に位置しているという判定に基づいて、エージェント20からのユーザU1に対するコミュニケーション制御を開始させる。
 エージェント20からユーザU1に対してどのようなコミュニケーションが行われるかは、特に限定されない。以下では、エージェント20からユーザU1に対して、音情報によってコミュニケーションが行われる場合を主に想定する。しかし、エージェント20からユーザU1に対して、音情報の代わりに、または、音情報に追加して、音情報以外の感覚情報(例えば、視覚情報、触覚情報など)によってコミュニケーションが行われてもよい。
 また、以下では、注視点50-3が顔21に位置する前に、注視点50-3が位置していた地図30上の店舗に関連するガイダンス(店舗のガイダンス)によって、ユーザU1に対してコミュニケーションが行われる場合を想定する。しかし、エージェント20からユーザU1に対して行われるコミュニケーションは、ユーザU1に対するガイダンスに限定されず、ガイダンス以外のコミュニケーションであってもよい。エージェント20の位置は、注視点50-3が位置していた地図30上の店舗の近く(例えば、横など)であるのがよい。これによって、エージェント20によってどの店舗に関連するガイダンスが行われているかが把握しやすくなる。
 なお、注視点が地図30上の店舗に位置するか否かはどのように判定されてもよい。例えば、判定部125は、地図30上の店舗の実空間における3次元位置を取得する。地図30の実空間における3次元位置は、どのようにして取得されてもよい。ここでは、地図30の実空間における3次元位置が、通信部140を介して図示しないサーバから取得される場合を主に想定する。しかし、地図30の実空間における3次元位置は、記憶部130から取得されてもよい。
 判定部125は、地図30上の店舗の実空間における3次元位置と注視点とに基づいて、ユーザの注視点が地図30上の店舗に位置するか否かを判定すればよい。
 あるいは、判定部125は、視野情報取得部122によって取得された視野分析用画像を分析することによって、ユーザU1の視野における地図30上の店舗の位置を取得してもよい。そして、判定部125は、ユーザU1の視野における地図30上の店舗の位置と注視点とに基づいて、注視点が地図30上の店舗に位置するか否かを判定してもよい。
 図7を参照すると、ユーザU1の視野が視野60-3(図6)から視野60-4に変化している。判定部125は、注視点50-4がエージェント20の胴体22に向けて移動するまたはエージェント20の胴体22まで移動した視線移動(第2の視線移動)があったか否かを判定する。例えば、判定部125は、注視点50-4の変化に基づいて注視点50-4が胴体22に達すると予測した場合に(注視点50-4が胴体22に達する前に)、注視点50-4が胴体22に向けて移動したと判定してよい。一方、判定部125は、注視点50-4が実際に胴体22に位置した場合に、注視点50-4が胴体22まで移動したと判定してよい。
 図7に示した例では、注視点50-4が胴体22に位置している。したがって、判定部125は、注視点50-4が胴体22まで移動する視線移動(第2の視線移動)があったと判定する。このように、判定部125によって、注視点50-4が胴体22に向けて移動するまたは胴体22まで移動した視線移動(第2の視線移動)があったと判定された場合、オブジェクト制御部129は、かかる視線移動(第2の視線移動)に基づいて、エージェント20を注視点50-4から離れるように移動させばよい。これによって、ユーザU1はエージェント20とは異なるオブジェクト、例えばエージェント20によって隠れていたオブジェクトを視認しやすくなることが想定される。この際、エージェント20は、第2の視線移動の方向とは実質的に逆方向に移動させると良い。例えば、第2の視線移動の方向が右方向であった場合、エージェント20を左方向に移動させてもよい。これにより、ユーザU1が興味を持っているエージェント20以外のオブジェクトの視認が妨げられずに済む。
 なお、図6および図7に示す例において、判定部125が、注視点50-3(50-4)がエージェント20の顔21に位置していることに基づいてコミュニケーショ制御を開始する場合、エージェント20が視野中央よりも上側に配置されることが望ましい。仮に、エージェント20が視野中央よりも下側に配置された場合、ユーザU1が周辺視野の下側に存在するエージェント20に気付かずに下に向かって視線移動を行ったとき、注視点50-3(50-4)はエージェント20の胴体22よりも先にエージェント20の顔21に当たる可能性がある。この場合、ユーザU1のコミュニケーション意図に関わらず、判定部125は、エージェント20とのコミュニケーション制御を開始してしまう。この結果、ユーザU1の利便性が低下する場合がある。一方、エージェント20が視野中央よりも上側に配置された場合、ユーザU1が上向きの視線移動を行ったとしても、注視点50-3(50-4)はエージェント20の顔21よりも先にエージェント20の胴体22に当たる。このため、ユーザU1が周辺視野に存在するエージェント20に気付かずに視線移動を行った場合であっても、エージェント20はまず注視点50-3(50-4)から離れるように移動する。このため、ユーザU1の上下方向における視線移動に対して、判定部125は、ユーザU1がエージェント以外のオブジェクトを視認することを妨げずに済む。このような制御は、上下方向の画角に制約を有するシースルー型のHMDにおいて特に好適に適用され得る。
 さらに、図7に示すように、オブジェクト制御部129は、注視点50-4が胴体22に向けて移動するまたは胴体22まで移動した視線移動(第2の視線移動)に基づいて、顔21をユーザU1に向けてもよい。これによって、ユーザU1は、注視点50-4が胴体22に向けて移動するまたは胴体22まで移動したことを直感的に把握しやすくなる。
 オブジェクト制御部129は、エージェント20を注視点50-4から離れるように移動させるに際して、どの方向にエージェント20を移動させてもよい。例えば、オブジェクト制御部129は、図7に示すように、エージェント20が視野中央よりも左に位置する場合には、エージェント20を左側の周辺視野に移動させてもよい。そうすれば、エージェント20が視野中央を移動しないため、中心視野に位置するエージェント20以外のオブジェクトの視認が妨げられずに済む。
 なお、ここでは、判定部125が、エージェント20と地図30とが所定の位置関係を有すると判定し、かつ、注視点50-4が胴体22に向けて移動するまたは胴体22まで移動した視線移動(第2の視線移動)があったと判定する場合を想定する。そして、オブジェクト制御部129が、これらの判定に基づいて、エージェント20を第2の移動速度v2で移動させる場合を想定する。これについては、図8を参照しながら後に詳細に説明する。
 一方、オブジェクト制御部129は、エージェント20が視野中央よりも右に位置する場合には、エージェント20を右側の周辺視野に移動させてもよい。そうすれば、エージェント20が視野中央を移動しないため、中心視野に位置するエージェント20以外のオブジェクトの視認が妨げられずに済む。
 あるいは、オブジェクト制御部129は、注視点50-4が胴体22に向けて移動するまたは胴体22まで移動した視線移動(第2の視線移動)に基づいて、ユーザU1の視線移動のベクトル方向に応じたベクトル方向にエージェント20を移動させてもよい。これによって、オブジェクト制御部129は、エージェント20をユーザU1の注視点50-4から離れるよう移動させてもよい。視線移動のベクトル方向に応じたベクトル方向は、視線移動のベクトル方向と略同一の方向であってもよいし、視線移動のベクトル方向により近い左右方向のいずれかの方向であってもよい。
 なお、図7に示した例のように、判定部125によって注視点が顔21から外れたと判定された場合、オブジェクト制御部129は、注視点が顔21から外れたという判定に基づいて、エージェント20からのユーザU1に対するコミュニケーション制御を終了させてよい。
 図8を参照すると、ユーザU1の視野が視野60-4(図7)から視野60-5に変化している。判定部125は、注視点50-5がエージェント20に向けて移動するまたはエージェント20まで移動したか否かを判定する。
 図8に示した例では、注視点50-5がエージェント20とは異なる位置に存在している。判定部125は、注視点50-5がエージェント20に向けて移動しておらず、かつ、注視点50-5がエージェント20まで移動していないと判定する。このように、判定部125によって、注視点50-5がエージェント20に向けて移動していないまたはエージェント20まで移動していないと判定された場合、オブジェクト制御部129は、エージェント20を周辺視野に移動させればよい。これによって、中心視野に位置するエージェント20以外のオブジェクトの視認が妨げられずに済む。
 なお、図8には、オブジェクト制御部129は、注視点50-5が地図30に位置するという判定に基づいて、エージェント20を第1の移動速度v1で移動させる例が示されている。一方、図7には、エージェント20と地図30とが所定の位置関係を有するという判定、及び、注視点50-4が胴体22に向けて移動するまたは胴体22まで移動した視線移動(第2の視線移動)に基づいて、エージェント20が第2の移動速度v2で移動させる例を示した。さらに、図5には、注視点50-2が顔21まで移動する視線移動(第1の視線移動)に基づいて、エージェント20の位置を不変にする例を示した。望ましい第2の移動速度v2について説明する。
 ここで、所定の関係は、限定されないが、ユーザU1の視野の所定領域内にエージェント20と地図30とが存在するという関係(例えば、エージェント20と地図30とが共に視野に収まっているという関係、または、エージェント20と地図30とが共に注視点を基準としたある領域内に収まっているという関係など)であってよい。かかる場合には、ユーザが顔21を注視しようとしているのか、地図30を注視しようとしているのか判別しにくい。
 したがって、かかる場合には、オブジェクト制御部129は、エージェント20の位置を不変にする場合と、エージェント20を第1の移動速度v1で移動させる場合との間の第2の移動速度v2で移動させるのがよい。すなわち、オブジェクト制御部129は、第2の移動速度v2を第1の移動速度v1よりも遅くするのがよい。これによって、オブジェクト制御部129は、エージェント20の第2の移動速度v2を、ユーザU1にとってより利便性が高い移動速度にすることが可能となる。
 なお、エージェント20が視野内に存在する場合にエージェント20を高速に移動させてしまうとユーザU1にとって違和感があると考えられるが、エージェント20が視野外に存在する場合にはどの心配がない。そのため、オブジェクト制御部129は、エージェント20が視野外に存在する場合には、エージェント20が視野内に存在する場合と比較して、エージェント20を早く移動させてよい。
 以上、エージェント20の制御の例について説明した。
  (1.3.2.情報処理装置の動作)
 図9~図11を参照しながら、情報処理装置10の動作の例について説明する。図9~図11は、情報処理装置10の動作の例を示すフローチャートである。なお、図9~図11に示したフローチャートは、情報処理装置10の動作の一例を示すに過ぎない。したがって、情報処理装置10の動作は、図9~図11に示した例に限定されない。
 まず、センサ部113によって、ユーザU1の頭部の位置および姿勢が検出されると、図9に示すように、視野情報取得部122は、かかるユーザU1の頭部の位置情報および姿勢情報を取得する(S10)。一方、視線情報取得部121は、ユーザU1の視線情報を取得する(S20)。続いて、エージェント提示処理が実行される(S30)。エージェント提示処理の詳細は、図10に示されている。
 図10に示すように、判定部125は、ユーザU1の頭部の位置情報および姿勢情報と、ユーザU1の視線情報とに基づいて、ユーザU1の実空間における視線を検出し、実空間における視線がエージェント20の顔21を向いているか否かを判定する(S31)。オブジェクト制御部129は、視線がエージェント20の顔21を向いていると判定した場合(S31において「Yes」)、エージェント20をその場に提示する(すなわち、エージェント20の実空間における位置を不変にする)(S33)。
 一方、オブジェクト制御部129は、視線がエージェント20の顔21を向いていないと判定した場合(S31において「No」)、エージェント20を周辺視野に移動させる(S32)。エージェント20を周辺視野に移動させる処理の詳細は、図11に示されている。
 図11に示すように、判定部125は、ユーザU1の視線がエージェント20より右に存在するか否かを判定する(S51)。オブジェクト制御部129は、判定部125によってユーザU1の視線がエージェント20より右に存在すると判定された場合(S51において「Yes」)、エージェント20を左側の周辺視野に移動させる(S52)。一方、オブジェクト制御部129は、判定部125によってユーザU1の視線がエージェント20より左に存在すると判定された場合(S51において「No」)、エージェント20を右側の周辺視野に移動させる(S53)。
 図11に示すように、エージェントを周辺視野に移動させる処理が終了し、図10に示すように、エージェント提示処理が終了すると、図9に示すように、制御部120は、プログラムが終了したか否かを判定する(S40)。制御部120は、プログラムが終了していない場合(S40において「No」)、S10に動作を移行させる。一方、制御部120は、プログラムが終了した場合(S40において「Yes」)、動作を終了する。
 以上、情報処理装置10の動作の例について説明した。
  (1.3.3.各種の変形例)
 上記のようにして、本開示の実施形態に係るエージェント20の制御が実行される。しかし、エージェント20の制御は、上記した例に限定されない。以下では、図12~図20を参照しながら、エージェント20の制御の変形例について説明する。図12および図13は、エージェント20の制御の第1の変形例について説明するための図である。
 図12を参照すると、ユーザU1の視野60-6が示されている。視野60-6には、地図30の右側に移動したエージェント20が存在している。また、ユーザU1から見てエージェント20の奥側には、人物40が存在している。図5に示した例と同様に、判定部125は、注視点50-6がエージェント20の顔21に向けて移動するまたはエージェント20の顔21まで移動した視線移動(第1の視線移動)があったか否かを判定する。
 図12に示した例では、注視点50-6が顔21に位置している。したがって、判定部125は、注視点50-6が顔21まで移動する視線移動(第1の視線移動)があったと判定する。このように、判定部125によって、注視点50-6が顔21に向けて移動するまたは顔21まで移動した視線移動(第1の移動)があったと判定された場合、オブジェクト制御部129は、かかる視線移動(第1の視線移動)に基づいて、エージェント20の移動を抑制する。
 このとき、図5に示した例と同様に、オブジェクト制御部129は、注視点50-6が顔21に向けて移動するまたは顔21まで移動する視線移動(第1の視線移動)に基づいて、顔21をユーザU1に向けてよい。そして、オブジェクト制御部129は、注視点50-6が顔21に向けて移動するまたは顔21まで移動する視線移動(第1の視線移動)に基づいて、顔21をユーザU1に向けた後、胴体22の前面をユーザU1に向けてよい。
 図13を参照すると、ユーザU1の視野が視野60-6(図12)から視野60-7に変化している。判定部125は、ユーザU1の注視点50-7がエージェント20とは異なるオブジェクト(第2のオブジェクト)に移動したか否かを判定する。図13に示した例では、判定部125は、ユーザU1の注視点50-7がエージェント20とは異なる人物40に移動したと判定する。かかる場合、オブジェクト制御部129は、エージェント20の顔21をユーザU1からそむける。これによって、ユーザU1は、注視点50-7が他のオブジェクトに移動したことを直感的に把握しやすくなる。
 なお、オブジェクト制御部129は、エージェント20の顔21をユーザU1からそむける前に、エージェント20の顔21を、ユーザU1の注視点50-7が存在する人物40に向けてもよい。そうすれば、ユーザU1は、注視点50-7がどのオブジェクトに移動したのかを直感的に把握しやすくなる。また、これによって、エージェント20がユーザU1の意図を理解した感じをユーザU1に与えることが可能である。
 図14~図18は、エージェント20の制御の第2の変形例について説明するための図である。図7に示した例では、オブジェクト制御部129が、注視点が顔21から外れたという判定に基づいて、エージェント20からのユーザU1に対するコミュニケーション制御を終了させる場合を説明した。しかし、注視点が顔21から外れたと判定されたとしても、コミュニケーション制御を継続したほうがよい場合もあり得る。第2の変形例においては、かかる場合について説明する。
 例えば、オブジェクト制御部129は、エージェント20が第3のオブジェクトに関連付けて配置されている場合、エージェント20と第3のオブジェクトとの間をユーザU1の注視点が移動している間、コミュニケーション制御を継続してよい。
 より詳細には、オブジェクト制御部129は、エージェント20と第3のオブジェクトとの間を一方から他方に注視点が移動(片道移動)している間、コミュニケーション制御を継続してよい。あるいは、オブジェクト制御部129は、エージェント20と第3のオブジェクトとの間を往復移動している間、コミュニケーション制御を継続してもよい。以下では、第3のオブジェクトとして、注視点が地図30上の店舗を例に挙げて説明する。しかし、第3のオブジェクトは地図30上の店舗に限定されない。
 図14を参照すると、ユーザU1の視野60-8が示されている。視野60-8には、地図30上の店舗31-1が存在している。エージェント20は地図30上の店舗31-1に関連付けて配置されている。そして、ユーザU1は、店舗31-1に興味があるため、視線を地図30上の店舗31-1に向けている(すなわち、注視点50-8は地図30上の店舗31-1に存在している)。
 その後、ユーザU1の視野は、視野60-8から視野60-9に変化している。視野60-9を参照すると、注視点50-9がエージェント20の顔21に移動している。このとき、オブジェクト制御部129は、注視点50-8が位置していた地図30上の店舗31-1(注目コンテンツ)に関連するガイダンスによって、ユーザU1に対してコミュニケーションを行う場合を想定する。ユーザU1は、店舗31-1に関連するガイダンスを聴くことができる。
 このとき、ユーザU1は注視点50-8が位置していた地図30上の店舗31-1に興味があることが想定される。したがって、オブジェクト制御部129は、注視点50-8がエージェント20の顔21から外れたとしても、エージェント20と地図30上の店舗31-1との間をユーザU1の注視点が移動している間、ユーザU1が(エージェント20と地図30上の店舗31-1とを見比べているだけであると判断して)コミュニケーション制御を継続するとよい。
 図15を参照すると、ユーザU1の視野60-10が示されている。視野60-10には、地図30上の店舗32-1および店舗32-2が存在している。エージェント20は地図30上の店舗31-1および店舗32-2に関連付けて配置されている。そして、ユーザU1は、視線をエージェント20の顔21に向けている(すなわち、注視点50-10はエージェント20の顔21に存在している)。このとき、オブジェクト制御部129は、地図30上の店舗32-1および店舗32-2(サジェストコンテンツ)をユーザU1に対して視覚的に通知する場合を想定する(図15に示した例では、店舗32-1および店舗32-2それぞれの枠を太くすることによって視覚的な通知がされている)。
 その後、ユーザU1の視野は、視野60-10から視野60-11に変化している。視野60-11を参照すると、注視点50-11が店舗32-1に移動している。オブジェクト制御部129は、注視点50-11が位置する地図30上の店舗32-1に関連するガイダンスによって、ユーザU1に対してコミュニケーションを行う。ユーザU1は、店舗32-1に関連するガイダンスを聴くことができる。
 このとき、ユーザU1は注視点50-11が位置する地図30上の店舗32-1に興味があることが想定される。したがって、オブジェクト制御部129は、注視点50-11がエージェント20の顔21から外れたとしても、エージェント20と地図30上の店舗32-1との間をユーザU1の注視点が移動している間、ユーザU1が(エージェント20と地図30上の店舗32-1とを見比べているだけであると判断して)コミュニケーション制御を継続するとよい。
 図16を参照すると、図15に示した視野60-11が再度示されている。ユーザU1の視野は、視野60-11から視野60-12に変化する。視野60-12を参照すると、注視点50-12が店舗32-2に移動している。オブジェクト制御部129は、注視点50-12が位置する地図30上の店舗32-2に関連するガイダンスによって、ユーザU1に対してコミュニケーションを行う。ユーザU1は、店舗32-2に関連するガイダンスを聴くことができる。
 このとき、ユーザU1は注視点50-12が位置する地図30上の店舗32-2に興味があることが想定される。したがって、オブジェクト制御部129は、地図30上の店舗32-1と店舗32-2との間をユーザU1の注視点が移動している間、ユーザU1が(地図30上の店舗32-1と店舗32-2とを見比べているだけであると判断して)コミュニケーション制御を継続するとよい。
 図17を参照すると、ユーザU1の視野60-13が示されている。視野60-13には、地図30上の店舗31-2が存在している。エージェント20は地図30上の店舗31-2に関連付けて配置されている。そして、ユーザU1は、店舗31-2に興味があるため、視線を地図30上の店舗31-2に向けている(すなわち、注視点50-13は地図30上の店舗31-2に存在している)。
 店舗31-2には、関連コンテンツ33-1および関連コンテンツ33-2が関連付けられている。関連コンテンツ33-1および関連コンテンツ33-2は限定されないが、例えば、店舗31-2が提供する商品またはサービスに関するコンテンツであってもよい。このとき、オブジェクト制御部129は、関連コンテンツ33-1および関連コンテンツ33-2をユーザU1に対して視覚的に通知する場合を想定する(図17に示した例では、関連コンテンツ33-1および関連コンテンツ33-2それぞれの枠を太くすることによって視覚的な通知がされている)。
 その後、ユーザU1の視野は、視野60-13から視野60-14に変化している。視野60-14を参照すると、注視点50-14が関連コンテンツ33-2に移動している。このとき、オブジェクト制御部129は、注視点50-14が位置する関連コンテンツ33-2に関連するガイダンスによって、ユーザU1に対してコミュニケーションを行う場合を想定する。ユーザU1は、関連コンテンツ33-2に関連するガイダンスを聴くことができる。
 このとき、ユーザU1は注視点50-14が位置する関連コンテンツ33-2に興味があることが想定される。したがって、オブジェクト制御部129は、注視点50-14がエージェント20の顔21から外れたとしても、エージェント20と関連コンテンツ33-2との間をユーザU1の注視点が移動している間、ユーザU1が(エージェント20と関連コンテンツ33-2とを見比べているだけであると判断して)コミュニケーション制御を継続するとよい。
 図18を参照すると、図17に示した視野60-14が再度示されている。ユーザU1の視野は、視野60-14から視野60-15に変化する。視野60-15を参照すると、注視点50-12が店舗31-2に移動している。オブジェクト制御部129は、注視点50-15が位置する地図30上の店舗31-2に関連するガイダンスによって、ユーザU1に対してコミュニケーションを行う。ユーザU1は、店舗31-2に関連するガイダンスを聴くことができる。
 このとき、ユーザU1は注視点50-15が位置する地図30上の店舗31-2に興味があることが想定される。したがって、オブジェクト制御部129は、関連コンテンツ33-2と地図30上の店舗31-2との間をユーザU1の注視点が移動している間、ユーザU1が(関連コンテンツ33-2と地図30上の店舗31-2とを見比べているだけであると判断して)コミュニケーション制御を継続するとよい。
 同様に、オブジェクト制御部129は、関連コンテンツ33-1と関連コンテンツ33-2との間をユーザU1の注視点が移動している間、ユーザU1が(関連コンテンツ33-1と関連コンテンツ33-2とを見比べているだけであると判断して)コミュニケーション制御を継続するとよい。
 図19および図20は、エージェント20の制御の第3の変形例について説明するための図である。図7および図8に示した例では、オブジェクト制御部129が、エージェント20を左方向に移動させる場合を説明した。しかし、ユーザU1の視野変化のベクトル方向が上方向(upward direction)である場合には、視野において視線が上を向きやすいという傾向がある。一方、ユーザU1の視野変化のベクトル方向が下方向(downward direction)である場合には、視野において視線が下を向きやすいという傾向がある。そこで、エージェント20の上下位置も制御したほうが、エージェント20とは異なるオブジェクトが視認しやすくなる。
 図19を参照すると、ユーザU1の視野60-16が示されている。視野60-16には、地図30が存在している。ユーザU1は、視野60-16を上方向に変化させている。このとき、ユーザU1の注視点50-16は、視野60-16において上側に存在している。オブジェクト制御部129は、判定部125によって、ユーザU1の視野変化のベクトル方向が上方向であると判定された場合、エージェント20を視野60-16において下方向に移動させるのがよい。
 図20を参照すると、ユーザU1の視野60-17が示されている。視野60-17には、地図30が存在している。ユーザU1は、視野60-17を下方向に変化させている。このとき、ユーザU1の注視点50-17は、視野60-17において下側に存在している。オブジェクト制御部129は、判定部125によって、ユーザU1の視野変化のベクトル方向が下方向であると判定された場合、エージェント20を視野60-17において上方向に移動させるのがよい。
 なお、視野変化のベクトル方向は、上記したように頭部の姿勢の変化に基づいて検出されてよい。また、オブジェクト制御部129は、ユーザU1の視野変化のベクトル方向が上方向であると判定された場合に、エージェント20を視野60-16において下方向に移動させる制御と、ユーザU1の視野変化のベクトル方向が下方向であると判定された場合に、エージェント20を視野60-17において上方向に移動させる制御とのうち、いずれか一方のみを行ってもよいし、双方を行ってもよい。
 <2.ハードウェア構成例>
 次に、図21を参照して、本開示の実施形態に係る情報処理装置10のハードウェア構成例について説明する。図21は、本開示の実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。
 図21に示すように、情報処理装置10は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置10は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置10は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
 入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置10の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
 出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置917は、情報処理装置10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。
 ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
 ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
 接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置10と外部接続機器929との間で各種のデータが交換され得る。
 通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
 撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
 センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置10の筐体の姿勢など、情報処理装置10自体の状態に関する情報や、情報処理装置10の周辺の明るさや騒音など、情報処理装置10の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
 <3.むすび>
 以上説明したように、本開示の実施形態によれば、ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動した第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動する第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させるオブジェクト制御部129を備える、情報処理装置10が提供される。かかる構成によれば、ユーザの利便性が向上するようにオブジェクトを制御することが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、判定部125によって、エージェント20が奥側のオブジェクトと重なっていると判定される場合もあり得る。かかる場合には、オブジェクト制御部129は、エージェント20を周辺視野に移動させてもよい。そうすれば、ユーザU1は、奥側のオブジェクトを視認しやすくなる。あるいは、かかる場合には、オブジェクト制御部129は、ユーザU1による所定の音声または所定のジェスチャを認識した場合、エージェント20を周辺視野に移動させてもよい。
 また、オブジェクト制御部129は、コンテキストに応じてエージェント20の配置を変更してもよい。例えば、上記したように、オブジェクト制御部129は、店舗に関連するガイダンスが行われている場合、その店舗の近く(例えば、横など)にエージェント20を配置させるのがよい。また、オブジェクト制御部129は、ユーザU1が何らかの選択を行うシーンでは、ユーザU1の横にエージェント20を配置させてもよい。これによって、ユーザU1はエージェント20と一緒に選択を行う感覚を味わうことができる。また、オブジェクト制御部129は、ユーザU1が歩行している場合には、ユーザU1の前にエージェント20を配置するのがよい。これによって、ユーザU1はエージェント20と一緒に歩いている感覚を味わうことができる。
 例えば、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した制御部120が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
 例えば、上記した情報処理装置10の動作が実現されれば、各構成の位置は特に限定されない。情報処理装置10における各部の処理の一部はサーバ装置(不図示)によって行われてもよい。具体的な一例として、情報処理装置10における制御部120が有する各ブロックの一部または全部は、サーバ装置(不図示)などに存在していてもよい。例えば、情報処理装置10における視線情報取得部121、視野情報取得部122、判定部125およびオブジェクト制御部129の一部または全部は、サーバ装置(不図示)などに存在していてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動する第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、
 前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動する第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させるオブジェクト制御部を備える、
 情報処理装置。
(2)
 前記第1の部位は、前記第1のオブジェクトの顔を含む、
 前記(1)に記載の情報処理装置。
(3)
 前記オブジェクト制御部は、前記第1の視線移動または前記第2の視線移動に基づいて、前記第1のオブジェクトの顔を前記ユーザに向ける、
 前記(2)に記載の情報処理装置。
(4)
 前記第2の部位は、前記第1のオブジェクトの胴体を含み、
 前記オブジェクト制御部は、前記第1の視線移動に基づいて、前記第1のオブジェクトの顔を前記ユーザに向けた後、前記第1のオブジェクトの胴体の前面を前記ユーザに向ける、
 前記(3)に記載の情報処理装置。
(5)
 前記オブジェクト制御部は、前記第1のオブジェクトの顔を前記ユーザに向けた後、前記第1のオブジェクトとは異なる第2のオブジェクトに前記ユーザの注視点が移動した場合、前記第1のオブジェクトの顔を前記ユーザからそむける、
 前記(3)または(4)に記載の情報処理装置。
(6)
 前記オブジェクト制御部は、前記第1のオブジェクトの顔に前記ユーザの注視点が位置するという判定に基づいて、前記第1のオブジェクトからの前記ユーザに対するコミュニケーション制御を開始させる、
 前記(2)~(5)のいずれか一項に記載の情報処理装置。
(7)
 前記オブジェクト制御部は、前記第1のオブジェクトが第3のオブジェクトに関連付けて配置されている場合、前記第1のオブジェクトと前記第3のオブジェクトとの間を前記ユーザの注視点が移動している間、前記コミュニケーション制御を継続する、
 前記(6)に記載の情報処理装置。
(8)
 前記第1の視線移動は、前記ユーザの注視点が前記第1の部位に位置することを含み、
 前記第2の視線移動は、前記ユーザの注視点が前記第2の部位に位置することを含む、
 前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記オブジェクト制御部は、前記第2の視線移動に基づいて、前記ユーザの注視点が前記第2の部位に達する前に、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させる、
 前記(1)~(7)のいずれか一項に記載の情報処理装置。
(10)
 前記オブジェクト制御部は、前記第2の視線移動に基づいて、前記ユーザの視線移動のベクトル方向に応じたベクトル方向に前記第1のオブジェクトを移動させることで前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させる、
 前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
 前記オブジェクト制御部は、
 前記ユーザの視野変化のベクトル方向が上方向である場合、前記第1のオブジェクトを下方向に移動させ、または、
 前記ユーザの視野変化のベクトル方向が下方向である場合、前記第1のオブジェクトを上方向に移動させる、
 前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
 前記オブジェクト制御部は、前記ユーザの注視点が前記第1のオブジェクトに向かって移動していない場合、前記ユーザの周辺視野に前記第1のオブジェクトを移動させる、
 前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
 前記第1のオブジェクトは、表示装置の表示領域に表示される仮想オブジェクトであり、
 前記オブジェクト制御部は、前記ユーザの注視点が前記仮想オブジェクトに向かって移動していない場合、前記表示装置の表示領域の境界に前記仮想オブジェクトを移動させる、
 前記(12)に記載の情報処理装置。
(14)
 前記第1のオブジェクトは、自立的に移動可能な実オブジェクトである、
 前記(12)に記載の情報処理装置。
(15)
 前記オブジェクト制御部は、
 前記ユーザの注視点が前記第1のオブジェクトとは異なる第4のオブジェクトに位置しているという判定に基づいて、前記第1のオブジェクトを第1の移動速度で移動させ、
 前記第1のオブジェクトと前記第4のオブジェクトとが所定の位置関係を有するという判定及び前記第2の視線移動に基づいて、前記第1のオブジェクトを前記第1の移動速度よりも遅い第2の移動速度で移動させる、
 前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
 前記所定の位置関係は、前記ユーザの視野の所定の領域内に前記第1のオブジェクトと前記第4のオブジェクトとが存在するという関係である、
 前記(15)に記載の情報処理装置。
(17)
 前記第1のオブジェクトは、実空間の情報に基づいて前記実空間に定位されたオブジェクトである、
 前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
 前記情報処理装置は、HMD(Head Mounted Display)である、
 前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
 プロセッサが、ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動した第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、
 前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動した第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させることを含む、
 情報処理方法。
(20)
 コンピュータを、
 ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動した第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、
 前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動した第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させるオブジェクト制御部を備える、
 情報処理装置として機能させるためのプログラム。
 10  情報処理装置
 20  エージェント
 21  顔
 22  胴体
 31、32 店舗
 33  関連コンテンツ
 40  人物
 50  注視点
 60  視野
 111 視野分析用撮像部
 112 視線検出用撮像部
 113 センサ部
 120 制御部
 121 視線情報取得部
 122 視野情報取得部
 125 判定部
 129 オブジェクト制御部
 130 記憶部
 140 通信部
 152 表示部
 U1  ユーザ

Claims (20)

  1.  ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動した第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、
     前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動した第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させるオブジェクト制御部を備える、
     情報処理装置。
  2.  前記第1の部位は、前記第1のオブジェクトの顔を含む、
     請求項1に記載の情報処理装置。
  3.  前記オブジェクト制御部は、前記第1の視線移動または前記第2の視線移動に基づいて、前記第1のオブジェクトの顔を前記ユーザに向ける、
     請求項2に記載の情報処理装置。
  4.  前記第2の部位は、前記第1のオブジェクトの胴体を含み、
     前記オブジェクト制御部は、前記第1の視線移動に基づいて、前記第1のオブジェクトの顔を前記ユーザに向けた後、前記第1のオブジェクトの胴体の前面を前記ユーザに向ける、
     請求項3に記載の情報処理装置。
  5.  前記オブジェクト制御部は、前記第1のオブジェクトの顔を前記ユーザに向けた後、前記第1のオブジェクトとは異なる第2のオブジェクトに前記ユーザの注視点が移動した場合、前記第1のオブジェクトの顔を前記ユーザからそむける、
     請求項3に記載の情報処理装置。
  6.  前記オブジェクト制御部は、前記第1のオブジェクトの顔に前記ユーザの注視点が位置するという判定に基づいて、前記第1のオブジェクトからの前記ユーザに対するコミュニケーション制御を開始させる、
     請求項2に記載の情報処理装置。
  7.  前記オブジェクト制御部は、前記第1のオブジェクトが第3のオブジェクトに関連付けて配置されている場合、前記第1のオブジェクトと前記第3のオブジェクトとの間を前記ユーザの注視点が移動している間、前記コミュニケーション制御を継続する、
     請求項6に記載の情報処理装置。
  8.  前記第1の視線移動は、前記ユーザの注視点が前記第1の部位に位置することを含み、
     前記第2の視線移動は、前記ユーザの注視点が前記第2の部位に位置することを含む、
     請求項1に記載の情報処理装置。
  9.  前記オブジェクト制御部は、前記第2の視線移動に基づいて、前記ユーザの注視点が前記第2の部位に達する前に、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させる、
     請求項1に記載の情報処理装置。
  10.  前記オブジェクト制御部は、前記第2の視線移動に基づいて、前記ユーザの視線移動のベクトル方向に応じたベクトル方向に前記第1のオブジェクトを移動させることで前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させる、
     請求項1に記載の情報処理装置。
  11.  前記オブジェクト制御部は、
     前記ユーザの視野変化のベクトル方向が上方向である場合、前記第1のオブジェクトを下方向に移動させ、または、
     前記ユーザの視野変化のベクトル方向が下方向である場合、前記第1のオブジェクトを上方向に移動させる、
     請求項1に記載の情報処理装置。
  12.  前記オブジェクト制御部は、前記ユーザの注視点が前記第1のオブジェクトに向かって移動していない場合、前記ユーザの周辺視野に前記第1のオブジェクトを移動させる、
     請求項1に記載の情報処理装置。
  13.  前記第1のオブジェクトは、表示装置の表示領域に表示される仮想オブジェクトであり、
     前記オブジェクト制御部は、前記ユーザの注視点が前記仮想オブジェクトに向かって移動していない場合、前記表示装置の表示領域の境界に前記仮想オブジェクトを移動させる、
     請求項12に記載の情報処理装置。
  14.  前記第1のオブジェクトは、自立的に移動可能な実オブジェクトである、
     請求項12に記載の情報処理装置。
  15.  前記オブジェクト制御部は、
     前記ユーザの注視点が前記第1のオブジェクトとは異なる第4のオブジェクトに位置しているという判定に基づいて、前記第1のオブジェクトを第1の移動速度で移動させ、
     前記第1のオブジェクトと前記第4のオブジェクトとが所定の位置関係を有するという判定及び前記第2の視線移動に基づいて、前記第1のオブジェクトを前記第1の移動速度よりも遅い第2の移動速度で移動させる、
     請求項1に記載の情報処理装置。
  16.  前記所定の位置関係は、前記ユーザの視野の所定の領域内に前記第1のオブジェクトと前記第4のオブジェクトとが存在するという関係である、
     請求項15に記載の情報処理装置。
  17.  前記第1のオブジェクトは、実空間の情報に基づいて前記実空間に定位されたオブジェクトである、
     請求項1に記載の情報処理装置。
  18.  前記情報処理装置は、HMD(Head Mounted Display)である、
     請求項1に記載の情報処理装置。
  19.  プロセッサが、ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動した第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、
     前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けて移動するまたは前記第2の部位まで移動した第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させることを含む、
     情報処理方法。
  20.  コンピュータを、
     ユーザの注視点が第1のオブジェクトの第1の部位に向けて移動するまたは前記第1の部位まで移動した第1の視線移動に基づいて、前記第1のオブジェクトの移動を抑制し、
     前記ユーザの注視点が前記第1の部位とは異なる前記第1のオブジェクトの第2の部位に向けてするまたは前記第2の部位まで移動した第2の視線移動に基づいて、前記第1のオブジェクトを前記ユーザの注視点から離れるよう移動させるオブジェクト制御部を備える、
     情報処理装置として機能させるためのプログラム。
PCT/JP2019/008278 2018-05-31 2019-03-04 情報処理装置、情報処理方法およびプログラム WO2019230096A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/057,786 US11487355B2 (en) 2018-05-31 2019-03-04 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018104196A JP2021140195A (ja) 2018-05-31 2018-05-31 情報処理装置、情報処理方法およびプログラム
JP2018-104196 2018-05-31

Publications (1)

Publication Number Publication Date
WO2019230096A1 true WO2019230096A1 (ja) 2019-12-05

Family

ID=68697997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008278 WO2019230096A1 (ja) 2018-05-31 2019-03-04 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11487355B2 (ja)
JP (1) JP2021140195A (ja)
WO (1) WO2019230096A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220191428A1 (en) * 2019-04-17 2022-06-16 Sony Group Corporation Information processing apparatus, information processing method, and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194469A (ja) * 1998-12-28 2000-07-14 Nec Corp 項目表示制御装置
WO2009019760A1 (ja) * 2007-08-07 2009-02-12 Osaka Electro-Communication University 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体
JP2011076434A (ja) * 2009-09-30 2011-04-14 Cielo Azul Co Ltd 表示制御装置、表示制御方法、表示制御プログラム、及び表示制御プログラムを記録した記録媒体
JP2012530305A (ja) * 2009-07-10 2012-11-29 ペキン ユニバーシティ 追跡される目の動きに基づく画像操作
US20150091943A1 (en) * 2013-09-30 2015-04-02 Lg Electronics Inc. Wearable display device and method for controlling layer in the same
JP2015087921A (ja) * 2013-10-30 2015-05-07 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016200876A (ja) * 2015-04-07 2016-12-01 株式会社メディアドゥ コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
CN105339866B (zh) * 2013-03-01 2018-09-07 托比股份公司 延迟扭曲凝视交互
US9335547B2 (en) 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
JP2017073448A (ja) * 2015-10-06 2017-04-13 住友電気工業株式会社 半田ペースト、接続シート、電気的接続体の製造方法及び電気的接続体
WO2017187708A1 (ja) 2016-04-26 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN110546601B (zh) * 2017-04-03 2023-09-26 索尼公司 信息处理装置、信息处理方法和程序
IL252056A (en) * 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194469A (ja) * 1998-12-28 2000-07-14 Nec Corp 項目表示制御装置
WO2009019760A1 (ja) * 2007-08-07 2009-02-12 Osaka Electro-Communication University 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体
JP2012530305A (ja) * 2009-07-10 2012-11-29 ペキン ユニバーシティ 追跡される目の動きに基づく画像操作
JP2011076434A (ja) * 2009-09-30 2011-04-14 Cielo Azul Co Ltd 表示制御装置、表示制御方法、表示制御プログラム、及び表示制御プログラムを記録した記録媒体
US20150091943A1 (en) * 2013-09-30 2015-04-02 Lg Electronics Inc. Wearable display device and method for controlling layer in the same
JP2015087921A (ja) * 2013-10-30 2015-05-07 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016200876A (ja) * 2015-04-07 2016-12-01 株式会社メディアドゥ コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法

Also Published As

Publication number Publication date
JP2021140195A (ja) 2021-09-16
US11487355B2 (en) 2022-11-01
US20210232219A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US20220004255A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
US10877564B2 (en) Approaches for displaying alternate views of information
US9696859B1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
JP6848881B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11017257B2 (en) Information processing device, information processing method, and program
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
KR20150116871A (ko) Hdm에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
EP3528024B1 (en) Information processing device, information processing method, and program
WO2017104272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110446995B (zh) 信息处理装置、信息处理方法及程序
WO2019230096A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
US9898183B1 (en) Motions for object rendering and selection
JP7156301B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020031795A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810382

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19810382

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP