JPWO2018198503A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2018198503A1
JPWO2018198503A1 JP2019515119A JP2019515119A JPWO2018198503A1 JP WO2018198503 A1 JPWO2018198503 A1 JP WO2018198503A1 JP 2019515119 A JP2019515119 A JP 2019515119A JP 2019515119 A JP2019515119 A JP 2019515119A JP WO2018198503 A1 JPWO2018198503 A1 JP WO2018198503A1
Authority
JP
Japan
Prior art keywords
user
visibility
visual field
visibility control
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2019515119A
Other languages
English (en)
Inventor
賢次 杉原
賢次 杉原
真里 斎藤
真里 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018198503A1 publication Critical patent/JPWO2018198503A1/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザの視野の視認性を動的に変化させることが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。【解決手段】ユーザの興味位置を推定する興味位置推定部と、前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御を行う視認性制御部と、を備える、情報処理装置。【選択図】図9B

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、VR(Virtual Reality)やAR(Augmented Reality)に関する技術が各種開発されている。VRでは、コンピュータによって生成された例えば3次元の仮想空間の映像をユーザは臨場感高く視聴することができる。また、ARでは、実空間におけるユーザの位置と関連付けて各種の情報(例えば仮想オブジェクトなど)をユーザに対して提示することができる。
また、ユーザの視線の検出結果に応じて表示を制御する技術も各種提案されている。例えば、下記特許文献1には、表示画面において視線の検出精度が高いと判定された領域に表示オブジェクトを表示させる技術が記載されている。
特開2015−152938号公報
上記の通り、特許文献1に記載の技術では、視線の検出精度に応じた制御が行われている。一方で、ユーザの視野の視認性を動的に変化させることに関して依然として改善の余地がある。
そこで、本開示では、ユーザの視野の視認性を動的に変化させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザの興味位置を推定する興味位置推定部と、前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御を行う視認性制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、ユーザの興味位置を推定することと、前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御をプロセッサが行うことと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、ユーザの興味位置を推定する興味位置推定部と、前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御を行う視認性制御部、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザの視野の視認性を動的に変化させることで、ユーザ体験を向上させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態に係る情報処理システムの構成例を示した説明図である。 ユーザが正面を見ている際の目の撮像画像の例、および、ユーザの視野と視線の衝突範囲との関係性を示した図の例を示している。 図2に示した状況における、ユーザの視野内の真の衝突範囲、衝突範囲の検出誤差範囲、および、仮想オブジェクトの大きさの関係性を示した図の例を示している。 図2に示した状況における、ユーザの視野内の真の衝突範囲、衝突範囲の検出誤差範囲、および、仮想オブジェクトの位置関係の例を示した図である。 視野の周辺部分をユーザが見ている際の目の撮像画像の例、および、ユーザの視野と視線の衝突範囲との関係性を示した図の例を示している。 図4に示した状況における、ユーザの視野内の真の衝突範囲、衝突範囲の検出誤差範囲、および、仮想オブジェクトの位置関係の例を示した図である。 図4に示した状況における、ユーザの視野内の真の衝突範囲、衝突範囲の検出誤差範囲、および、仮想オブジェクトの位置関係の例を示した図である。 図4に示した状況において走査範囲を拡大した場合における、ユーザの視野と視線の衝突範囲との関係性の例を示した図である。 図6に示した状況における、ユーザの視野内の真の衝突範囲、衝突範囲の検出誤差範囲、および、仮想オブジェクトの位置関係の例を示した図である。 同実施形態に係るHMD(Head Mounted Display)10の構成例を示した機能ブロック図である。 VRコンテンツの映像がHMD10に表示されている間の、ユーザの第2視野に対応する表示範囲の表示態様の変更例を示した図である。 VRコンテンツの映像がHMD10に表示されている間の、ユーザの第2視野に対応する表示範囲の表示態様の変更例を示した図である。 VRコンテンツの映像がHMD10に表示されている間の、ユーザの第2視野に対応する表示範囲の表示態様の変更例を示した図である。 図9Aに示した映像の表示時(あるいは直前または直後)に撮影された目の撮像画像の例を示した図である。 図9Bに示した映像の表示時(あるいは直前または直後)に撮影された目の撮像画像の例を示した図である。 図9Cに示した映像の表示時(あるいは直前または直後)に撮影された目の撮像画像の例を示した図である。 同実施形態に係る処理の流れの一部を示したフローチャートである。 同実施形態に係る処理の流れの一部を示したフローチャートである。 同実施形態に係るHMD10のハードウェア構成例を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じてHMD10aおよびHMD10bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、HMD10aおよびHMD10bを特に区別する必要が無い場合には、単にHMD10と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.情報処理システムの構成
2.実施形態の詳細な説明
3.ハードウェア構成
4.変形例
<<1.情報処理システムの構成>>
まず、本開示の実施形態に係る情報処理システムの構成例について、図1を参照して説明する。図1に示すように、本実施形態に係る情報処理システムは、HMD10、サーバ20、および、通信網22を有する。
<1−1.HMD10>
HMD10は、本開示における情報処理装置の一例である。HMD10は、頭部装着型のデバイスであり、かつ、各種のコンテンツ(例えばVRコンテンツやARコンテンツなど)を表示することが可能である。
HMD10は、非透過型(遮蔽型)のHMDであってもよいし、透過型のHMDであってもよい。後者の場合、HMD10は、例えば調光部(例えば調光素子)を有する光学シースルー型のHMDであってもよいし、ビデオシースルー型のHMDであってもよい。なお、調光部として、クロミック素子や液晶シャッターなどの種々の形態が採用されてよい。すなわち、調光部として、透過率を動的に変更可能な構成(装置など)が適宜採用され得る。
HMD10は、ユーザの両目(または片目)を覆うカバー部を有し得る。例えば、カバー部は、後述する表示部124を含む。または、カバー部は、シースルーディスプレイ、および、後述する調光部126を含む。
{1−1−1.表示部124}
ここで、表示部124は、後述する出力制御部106の制御に従って映像を表示する。表示部124は、透過型の表示装置として構成され得る。この場合、表示部124は、HMD10に含まれる右目用レンズおよび左目用レンズの各々(または、ゴーグル型レンズ)の少なくとも一部の領域を投影面として映像を投影する。なお、左目用レンズおよび右目用レンズ(またはゴーグル型レンズ)は、例えば樹脂やガラスなどの透明材料により形成され得る。
または、表示部124は、非透過型の表示装置として構成されてもよい。例えば、表示部124は、LCD(Liquid Crystal Display)、または、OLED(Organic Light Emitting Diode)などを含んで構成され得る。なお、HMD10がビデオシースルー型のHMDとして構成される場合、HMD10に含まれるカメラ(後述するセンサ部122)によりユーザの前方の映像が撮影され、そして、撮影された映像が表示部124に逐次表示され得る。これにより、ユーザは、当該映像を介して前方の風景を見ることができる。
<1−2.サーバ20>
サーバ20は、各種の情報を管理する装置である。例えば、サーバ20は、VRコンテンツやARコンテンツなどの各種のコンテンツを記憶する。
サーバ20は、通信網22を介して他の装置と通信を行うことが可能である。例えば、コンテンツの取得要求が他の装置(例えばHMD10など)から受信された場合には、サーバ20は、当該取得要求が示すコンテンツを当該他の装置へ送信する。
なお、サーバ20は、通信網22を介して、他の装置(例えばHMD10など)に対して各種の制御を行うことも可能である。例えば、サーバ20は、HMD10に対して表示の制御や音声の出力の制御などを行ってもよい。
<1−3.通信網22>
通信網22は、通信網22に接続されている装置から送信される情報の有線、または、無線の伝送路である。例えば、通信網22は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網22は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
<1−4.課題の整理>
以上、本実施形態に係る情報処理システムの構成について説明した。ところで、公知の視線検出技術では、通常、ユーザの視野の中央部分は検出の精度が高いが、ユーザの視野の周辺部分の検出精度が低い。このため、例えば、一以上の仮想オブジェクトを表示し、かつ、視線検出に基づいて当該仮想オブジェクトに対するインタラクション(選択や操作など)が可能なコンテンツでは、ユーザの視野の周辺部分に位置する仮想オブジェクトをユーザは選択し難い。なお、本実施形態において視野とは、HMD10に表示されているコンテンツ(VRコンテンツやARコンテンツなど)に応じた、ユーザの視界を実質的に満たしている像(view)を意味し得る。
{1−4−1.視野の中央部分をユーザが見ている場合}
ここで、図2〜図7を参照して、上記の内容についてより詳細に説明する。図2は、ユーザが正面を見ている際の目の撮像画像の例(撮像画像30)、および、ユーザの視野40と視線の衝突範囲46との関係性の例を示した図である。なお、図2に示した例において、ユーザの視野40内の中央部分42では視線の検出精度が高く、また、視野40内の周辺部分44では視線の検出精度が低いものとする。図2に示した例では、中央部分42内に衝突範囲46が位置するので、視線の検出精度は高い。
また、図3Aおよび図3Bは、図2に示した状況における、ユーザの視野内の真の衝突範囲46、衝突範囲の検出誤差範囲48、および、仮想オブジェクト50の位置関係の例を示した図である。ここで、真の衝突範囲46は、視野内でユーザが見ている真の範囲を示す。衝突範囲の検出誤差範囲48は、真の衝突範囲46の位置が同一である場合における、(検出誤差により)衝突範囲として検出され得る範囲の大きさを示す。図3Aおよび図3Bに示したように、図2に示した状況(つまりユーザが正面を見ている状況)では、検出誤差範囲48と真の衝突範囲46との差分は十分小さいので、衝突範囲が誤検出される恐れが小さい。例えば、図3Bに示した例では、HMD10は、2個の仮想オブジェクト50のうち、ユーザが意図する仮想オブジェクトとして仮想オブジェクト50aを正確に特定することができる。
{1−4−2.視野の周辺部分をユーザが見ている場合}
一方、図4は、ユーザが視野の周辺部分(図4の右方向に対応する部分)を見ている際の目の撮像画像の例(撮像画像30)、および、ユーザの視野40と視線の衝突範囲46との関係性の例を示した図である。図4に示した例では、視野40の周辺部分44内に衝突範囲46が位置するので、視線の検出精度は低い。
また、図5Aおよび図5Bは、図4に示した状況における、ユーザの視野内の真の衝突範囲46、衝突範囲の検出誤差範囲48、および、仮想オブジェクト50の位置関係の例を示した図である。図5Aおよび図5Bに示したように、図4に示した状況では、視線の検出精度が低いので、検出誤差範囲48と真の衝突範囲46との差分は非常に大きくなる。
図5Aに示した例では、検出誤差範囲48の一端(図5Aに示した右端)と仮想オブジェクト50との距離は、真の衝突範囲46の幅よりも大きい。このため、ユーザが仮想オブジェクト50を選択しようとしても、HMD10は、ユーザの視線を誤検出することにより、仮想オブジェクト50を選択しない恐れがある。図5Bに示した例では、真の衝突範囲46は、仮想オブジェクト50a上に位置するが、検出誤差範囲48の一端は、(仮想オブジェクト50aに隣接する)別の仮想オブジェクト50b上に位置する。このため、ユーザが仮想オブジェクト50aを選択しようとしても、HMD10は、ユーザの視線を誤検出することにより、別の仮想オブジェクト50bを誤って選択してしまう恐れがある。以上のように、視野の周辺部分をユーザが見ている状況では、ユーザが見ている仮想オブジェクト50aが選択されなかったり、または、ユーザが見ていない他の仮想オブジェクト50bが選択されてしまうという問題がある。
{1−4−3.走査範囲を拡大した場合}
なお、上記の問題を解決する方法として、例えば、図6に示したように、走査範囲を拡大する方法が考えられる。しかしながら、この方法では、視野の中央部分でも分解能が低下してしまうので、ユーザが視野の中央部分を見ている場合であってもユーザが意図しない仮想オブジェクト50が選択される恐れがある。
ここで、図6および図7を参照して、上記の内容についてより詳細に説明する。図6は、図4に示した例と同じ方向をユーザが見ている際の目の撮像画像30、および、ユーザの視野40と、走査範囲を拡大した場合の視線の衝突範囲46との関係性の例を示した図である。また、図7は、図6に示した状況における、走査範囲を拡大した場合の衝突範囲46、衝突範囲の検出誤差範囲48、および、仮想オブジェクト50の位置関係の例を示した図である。
図7に示した例では、走査範囲を拡大した場合の衝突範囲46は、二つの仮想オブジェクト50に跨って位置する。このため、ユーザが仮想オブジェクト50aを選択することを意図していても、HMD10は、二つの仮想オブジェクト50のいずれも選択しない、または、ユーザが意図しない方の仮想オブジェクト50bを誤って選択してしまう恐れがある。
そこで、ユーザの視野の中央部分における分解能を低下させることなく、ユーザが意図する仮想オブジェクトを正確に特定可能であることが望まれる。
そこで、上記事情を一着眼点にして、本実施形態に係るHMD10を創作するに至った。本実施形態に係るHMD10は、ユーザの興味位置を推定し、そして、当該興味位置に対応する当該ユーザの第1視野とは反対の当該ユーザの第2視野の視認性が当該第1視野の視認性よりも低くなるように当該第2視野の視認性を徐々に低下させる視認性制御を行うことが可能である。これにより、ユーザの興味位置に適応的にユーザの視野の視認性を動的に変化させることができる。一般的に、ユーザは、興味を有する物体の存在に気が付くと、当該物体を注視する傾向がある。従って、当該第2視野の視認性を徐々に低下させることにより、当該第1視野(つまり興味位置の方向)がユーザの正面に位置するように頭の動きを誘発すること(頭を無意識的に動かさせること)が期待できる。なお、本明細書において言及される視野の視認性(visibility of view)は、視野の見易さ(viewability of view)と解釈されても良い。
ここで、ユーザの興味位置は、ユーザが位置する実空間においてユーザが興味を有していると推定される位置であってもよいし、または、VRコンテンツがHMD10に表示されている際には当該VRコンテンツに対応する仮想空間においてユーザが興味を有していると推定される位置であってもよい。
また、当該第2視野は、当該第1視野の180度反対側に位置してもよいし、または、180度以外の所定の角度だけ当該第1視野からずれて位置してもよい。例えば、当該第2視野は、表示部124の表示範囲の中心に対して、表示部124における当該第1視野に対応する領域の180度反対側の領域であってもよい。
<<2.実施形態の詳細な説明>>
<2−1.構成>
次に、本実施形態に係る構成について詳細に説明する。図8は、本実施形態に係るHMD10の構成例を示した機能ブロック図である。図8に示すように、HMD10は、制御部100、通信部120、センサ部122、表示部124、調光部126、音声出力部128、および、記憶部130を有する。
{2−1−1.センサ部122}
センサ部122は、例えば、カメラ(イメージセンサ)、マイクロフォン、加速度センサ、ジャイロスコープ、地磁気センサ、および/または、GPS(Global Positioning System)受信機などを含み得る。
例えば、センサ部122は、実空間におけるHMD10の位置、姿勢(向いている方向や傾きなど)、および、加速度をセンシングする。また、センサ部122は、HMD10を装着するユーザの目の画像を撮像する。また、センサ部122は、外界(例えばHMD10の前方など)の映像をさらに撮像したり、外界の音を収音する。
{2−1−2.制御部100}
制御部100は、例えば、後述するCPU(Central Processing Unit)150などの処理回路を含んで構成され得る。制御部100は、HMD10の動作を統括的に制御する。また、図8に示すように、制御部100は、視線認識部102、興味位置推定部104、および、出力制御部106を有する。
{2−1−3.視線認識部102}
視線認識部102は、センサ部122(カメラ)により撮像されたユーザの目の撮像画像に基づいて、HMD10を装着するユーザの視線方向を検出(または認識)する。例えば、HMD10を装着するユーザの目に対して発光する赤外LED(Light Emitting Diode)がHMD10に複数個(例えば4個)設置され得る。この場合、視線認識部102は、まず、ユーザの目の撮像画像に基づいて、ユーザの目における黒目の位置を特定し得る。次に、視線認識部102は、当該複数のLEDの各々から発せられた光の、目(眼球)による反射位置(図2に示した例では反射位置302)や目による反射の方向を、当該目の撮像画像に基づいて解析し得る。そして、視線認識部102は、黒目の位置の特定結果と、目による個々の光の反射に関する特定結果とに基づいて、ユーザの視線方向を特定し得る。
{2−1−4.興味位置推定部104}
(2−1−4−1.推定例1)
興味位置推定部104は、ユーザの興味位置を推定する。例えば、興味位置推定部104は、ユーザによる情報の入力に基づいてユーザの興味位置を推定する。一例として、興味位置推定部104は、視線認識部102により検出された視線方向に基づいて特定されるオブジェクトの位置を、ユーザの興味位置として推定する。例えば、興味位置推定部104は、視線認識部102により検出される視線の滞留度合いと、検出された視線方向から特定される、当該視線上に位置するオブジェクトとに基づいてユーザの興味位置を推定する。より詳細には、興味位置推定部104は、まず、検出された視線方向が滞留している時間(例えば、視線方向の変化量が所定の閾値以内である時間)の長さを特定し、そして、特定した時間の長さに応じて当該視線の滞留度合いを判定する。例えば、興味位置推定部104は、特定した時間の長さが長いほど当該視線の滞留度合いがより大きいと判定する。そして、興味位置推定部104は、当該視線の滞留度合いが所定の閾値以上である場合にのみ、当該視線上に位置するオブジェクトの位置をユーザの興味位置として推定する。または、興味位置推定部104は、視線認識部102による視線認識の精度に応じて、ユーザの視線の近傍に位置するオブジェクトの位置をユーザの興味位置として推定してもよい。すなわち、視線認識部102により検出されたユーザの視線方向に基づいて特定されるオブジェクトの位置が、当該ユーザの興味位置として推定され得る。ここで、オブジェクトは、実オブジェクトであってもよいし、仮想オブジェクトであってもよい。
例えば、VRコンテンツまたはARコンテンツの映像が表示部124に表示されている場合には、興味位置推定部104は、当該映像に含まれる一以上の仮想オブジェクトのうち、検出された視線方向から特定される衝突範囲内に表示されている仮想オブジェクト(例えば、インタラクション可能な仮想オブジェクト)の表示位置をユーザの興味位置として推定する。または、例えばユーザがARコンテンツを利用中であり、かつ、HMD10が透過型のHMDである場合には、興味位置推定部104は、(ユーザが位置する実空間において)検出された視線方向上に位置する実オブジェクトの位置をユーザの興味位置として推定してもよい。
(2−1−4−2.推定例2)
または、興味位置推定部104は、ユーザ以外から取得される情報に基づいてユーザの興味位置を推定することも可能である。例えば、ユーザに関連する音が発生した場合には、興味位置推定部104は、当該音の発生源に対応する位置を当該ユーザの興味位置として推定してもよい。なお、詳細については後述するが、この場合、視認性制御部108による「第2視野の視認性を低下させる視認性制御」が行われることにより、当該音の発生源に対応する方向(つまり第1視野)をユーザに注視させるように誘導することができる。特に、VRコンテンツでは、実空間ほど精度高く音が聞こえない傾向にあり、発生した音にユーザはより気付きにくいので、視認性制御部108による当該誘導の効果はより大きくなり得る。
ここで、ユーザに関連する音は、ユーザが利用中のVRコンテンツまたはARコンテンツにおいて出力されている所定の音声(例えば、ユーザの注意を引くために予め登録されている音声(例えば仮想オブジェクト(キャラクターなど)の発声など)や、警告音など)であってもよい。この場合、興味位置推定部104は、例えば表示部124に表示されている、当該音声に関連付けられている仮想オブジェクトの表示位置を当該ユーザの興味位置として推定してもよい。または、興味位置推定部104は、当該VRコンテンツに対応する仮想空間内の、当該音声に関連付けられている仮想オブジェクトの位置を当該ユーザの興味位置として推定してもよい。
または、ユーザに関連する音は、ユーザが位置する実空間内で発せられている当該ユーザに関連する音であってもよい。例えば、ユーザに関連する音は、ユーザに対する他人の発声であってもよいし、ユーザが位置する施設内または屋外における警報、宣伝、または音楽などであってもよいし、または、ユーザの近辺に位置する動物の鳴き声であってもよい。あるいは、ユーザに関連する音は、ユーザが所有する機器(例えば、スマートフォンなどの電話機、タブレット端末、または、時計など)から発せられる音であってもよい。これらの場合、興味位置推定部104は、例えばセンサ部122(に含まれるマイクロフォン)による収音結果に基づいて当該音の到来方向を特定し、そして、当該音の到来方向に基づいて特定される、当該音を発した実オブジェクトの(実空間内の)位置を当該ユーザの興味位置として推定してもよい。
(2−1−4−3.推定例3)
または、興味位置推定部104は、ユーザが位置する実空間内の、当該ユーザが興味を有していると推定される実オブジェクトの位置を当該ユーザの興味位置として推定することも可能である。または、ユーザがVRコンテンツを利用している際には、興味位置推定部104は、当該VRコンテンツに対応する仮想空間内の、当該ユーザが興味を有していると推定される仮想オブジェクトの位置を当該ユーザの興味位置として推定してもよい。
例えば、ユーザの嗜好情報やユーザの行動履歴(例えばwebの閲覧履歴、SNS(Social Networking Service)における投稿履歴、または、商品の購入履歴など)が記憶部130に格納され得る。この場合、例えばVRコンテンツの映像が表示部124に表示されている場合には、興味位置推定部104は、まず、当該映像に含まれる一以上の仮想オブジェクトのうちユーザの興味度合いが所定の閾値以上である仮想オブジェクトが存在するか否かを、ユーザの嗜好情報や行動履歴に基づいて逐次判定し得る。そして、ユーザの興味度合いが当該所定の閾値以上である仮想オブジェクトが少なくとも一つ存在すると判定された場合には、興味位置推定部104は、該当の仮想オブジェクトのうちのいずれか(例えば興味度合いが最も高い仮想オブジェクト)の表示位置(または、当該VRコンテンツに対応する仮想空間内の当該仮想オブジェクトの位置)を当該ユーザの興味位置として推定し得る。
または、例えばユーザがARコンテンツを利用中であり、かつ、HMD10が透過型のHMDである場合には、興味位置推定部104は、ユーザの周囲に位置する一以上の実オブジェクトのうちユーザの興味度合いが所定の閾値以上である実オブジェクトが存在するか否かを、ユーザの嗜好情報や行動履歴に基づいて逐次判定してもよい。そして、ユーザの興味度合いが当該所定の閾値以上である実オブジェクトが存在する場合には、興味位置推定部104は、該当の実オブジェクトのうちのいずれか(例えば興味度合いが最も高い実オブジェクト)の実空間内の位置を当該ユーザの興味位置として推定してもよい。
{2−1−5.出力制御部106}
出力制御部106は、各種の信号の出力を制御する。例えば、VRコンテンツまたはARコンテンツが起動されると、出力制御部106は、当該VRコンテンツまたは当該ARコンテンツの映像を表示部124に表示させたり、当該VRコンテンツまたは当該ARコンテンツの音声を音声出力部128に出力させる。
また、出力制御部106は、視認性制御部108を有する。
{2−1−6.視認性制御部108}
(2−1−6−1.視認性の低下の制御例)
視認性制御部108は、興味位置推定部104による推定結果に基づいて、ユーザの視野の視認性を変化させる視認性制御を行う。例えば、視認性制御部108は、興味位置推定部104により推定された興味位置に対応するユーザの第1視野とは異なる当該ユーザの第2視野の視認性が当該第1視野の視認性よりも低くなるように当該第2視野の視認性を徐々に低下させる視認性制御を行う。一例として、視認性制御部108は、当該視認性制御において、当該第2視野のうち当該第1視野から最も遠い位置から、(当該第2視野のうち)当該第1視野に最も近い位置に向かって視認性を徐々に低下させる。例えば、視認性制御部108は、まず、当該第2視野のうち当該第1視野から最も遠い位置の視認性を当該第1視野の視認性よりも低下させる。そして、視認性制御部108は、当該第2視野のうち当該第1視野から最も遠い位置から、(当該第2視野のうち)当該第1視野に最も近い位置に向かって、視認性が当該第1視野の視認性よりも低い領域を徐々に拡大させる。
なお、視認性制御部108は、センサ部122によるセンシング結果に応じたユーザの頭の動きの判定結果に基づいて、「当該第2視野の視認性を低下させる視認性制御」を開始し得る。例えば、視認性制御部108は、ユーザの頭が静止していると判定された際に、当該第2視野の視認性を低下させる視認性制御を開始する。また、ユーザの頭が動いていると判定されている間は、視認性制御部108は、当該第2視野の視認性を低下させる視認性制御を開始しない。
以下、「当該第2視野の視認性を低下させる視認性制御」の具体的な内容について説明する。例えば、HMD10が光学シースルー型のHMDである場合には、当該第2視野の視認性を低下させる視認性制御は、HMD10のシースルーディスプレイにおける当該第2視野に対応する領域の透過度を徐々に低下させるように、後述する調光部126に対して制御を行うことを含み得る。一例として、視認性制御部108は、(調光部126に含まれる複数の調光素子のうち)当該第2視野内の当該第1視野の最も遠くに設置されている調光素子から、(当該第2視野内の)当該第1視野の最も近くに設置されている調光素子へと順々に、個々の調光素子を駆動させることにより、当該シースルーディスプレイにおける当該第2視野に対応する領域の透過度を徐々に低下させてもよい。または、視認性制御部108は、HMD10に設置されている所定のスリットを、当該第2視野内の当該第1視野から最も遠い位置から(当該第2視野内の)当該第1視野に最も近い位置へ向かって徐々に動かすことにより、当該シースルーディスプレイにおける当該第2視野に対応する領域の透過度を徐々に低下させてもよい。
または、例えばHMD10が光学シースルー型以外の種類のHMDである場合には、当該第2視野の視認性を低下させる視認性制御は、当該第2視野内の当該第1視野から最も遠い位置から(当該第2視野内の)当該第1視野に最も近い位置に向かって、表示部124における当該第2視野に対応する表示範囲内の表示態様を徐々に変化させることを含み得る。例えば、視認性制御部108は、当該第2視野内の当該第1視野から最も遠い位置から(当該第2視野内の)当該第1視野に最も近い位置に向かって、当該第2視野に対応する表示範囲内の表示色を所定の色(例えば黒など)に徐々に変化させてもよいし、当該表示範囲内の輝度、明度、および/または彩度を徐々に低下させてもよいし、または、当該表示範囲内の解像度を徐々に低下させてもよい。なお、当該所定の色は、ユーザの視界を遮る効果が生じ得る色であれば特に限定されない。例えば、表示部124の表示範囲のうちの一部だけにVRコンテンツが表示されている場合には、当該所定の色は、当該VRコンテンツに隣接して表示されている領域(例えば背景など)の色と同一であってもよい。
‐具体例
以下、視認性制御部108による制御の内容についてさらに詳細に説明を行う。例えば、視認性制御部108は、視線認識部102により検出されたユーザの視線方向とユーザの正面方向(つまり、ユーザが正面を見る際の視線方向)との差分、および、興味位置推定部104による推定結果に基づいて、当該第2視野の視認性を低下させる視認性制御を行う。なお、ユーザが正面を見る際の視線方向は、例えば、センサ部122によりセンシングされたユーザの頭の向きと同一と推定されてもよい。
例えば、検出されたユーザの視線方向と当該ユーザが正面を見る際の視線方向との差分が所定の閾値以下である場合には、視認性制御部108は、当該第2視野の視認性を低下させる視認性制御の実行を抑制する。なお、本実施形態において「抑制」とは、当該視認性制御の度合いの部分的あるいは段階的な制限や、当該視認性制御自体の禁止も意味し得る。以下では、当該視認性制御を禁止するケース、すなわち、当該第2視野の視認性を低下させる視認性制御を実行しないケースを中心として説明する。
また、検出されたユーザの視線方向と当該ユーザが正面を見る際の視線方向との差分が当該所定の閾値よりも大きい場合には、視認性制御部108は、興味位置推定部104による推定結果に基づいて、当該第2視野の視認性を低下させる視認性制御を行う。この場合、視認性制御部108は、(興味位置推定部104による推定結果から特定される)当該第1視野内に複数の仮想オブジェクトが位置するか否かに基づいて、当該第2視野の視認性を低下させる視認性制御を行い得る。例えば、当該第1視野内に複数の仮想オブジェクトが位置する場合には、視認性制御部108は、当該第2視野の視認性を低下させる視認性制御を行う。また、当該第1視野内に複数の仮想オブジェクトが位置しない場合(つまり、当該第1視野内に仮想オブジェクトが一つだけ存在するか、または、全く存在しない場合)には、視認性制御部108は、当該第2視野の視認性を低下させる視認性制御の実行を抑制する。
ここで、図9A〜図10Cを参照して、上記の機能についてより詳細に説明を行う。図9A〜図9Cは、VRコンテンツの映像60が表示部124に表示されている間の、視認性制御部108による、当該第2視野に対応する表示範囲の表示態様の変更例を示した図である。なお、図9A〜図9Cでは、時間の経過に応じて、図9A、図9B、図9Cの順に、各図に示した映像60が表示された例を示している。また、図10A〜図10Cは、図9A〜図9Cの各々に示した映像60の表示時(あるいは直前または直後)に撮影された目の撮像画像30の例をそれぞれ示した図である。なお、図10A〜図10Cに示した(垂直方向の)一点鎖線は、ユーザの目の略中心の位置を示している。
図9Aに示した映像60aの表示時において、ユーザの頭部は、実質的に静止しているものとする。例えば、センサ部122(に含まれるジャイロスコープなど)によりセンシングされた、ユーザの頭部の単位時間当たりの動き量が所定の閾値以内であるものとする。また、図9Aに示した映像60aの表示時では、ユーザは、図9Aに示した仮想オブジェクト50(つまり、ユーザの視野の周辺部分に位置する仮想オブジェクト50)に視線70を向けているものとする。
この場合、図10Aに示した目の撮像画像30aに基づいて検出されたユーザの視線方向と、当該ユーザが正面を見る際の視線方向との差分が所定の閾値よりも大きいと判定される。そこで、視認性制御部108は、第2視野(具体的には、仮想オブジェクト50とは反対側の領域、つまり、図9Aにおける映像60a内の左下側の領域)の視認性を徐々に低下させる視認性制御を開始する。これにより、仮想オブジェクト50がユーザのより正面側に位置するように頭を動かすように頭の動きが誘発され得る。
図9Bは、図9Aに示した映像60aの表示時から一定時間の経過後における映像60bの表示例を示した図である。また、図10Bは、図9Bに示した映像60bの表示時(あるいは直前または直後)に撮影された目の撮像画像30の例を示した図である。図9Bに示した視覚提示領域62のように、視認性制御部108は、仮想オブジェクト50とは反対側の領域(第2視野)内の、仮想オブジェクト50から最も遠い位置から仮想オブジェクト50の近辺に向かって、表示色を所定の色(例えば黒色)に徐々に変化させる。これにより、仮想オブジェクト50からの位置が遠いほど表示色の変更がより早く開始されるので、図9Bに示したように、仮想オブジェクト50からの位置が遠いほど(該当のVRコンテンツにおける当初の表示色の代わりに)当該所定の色により近い表示色で表示され得る。
図9Cは、図9Bに示した映像60bの表示時から一定時間の経過後における映像60cの表示例を示した図である。また、図10Cは、図9Cに示した映像60cの表示時(あるいは直前または直後)に撮影された目の撮像画像30の例を示した図である。図9Cに示したように、視覚提示領域62cのサイズは、図9Bに示した視覚提示領域62bのサイズよりも大きく、かつ、視覚提示領域62c内の表示色は、視覚提示領域62bと比べて当該所定の色により近い色に変更されている。このように、表示部124の中心に対する仮想オブジェクト50の反対側から表示色が当該所定の色になるように徐々に変更されるので、図10A〜図10Cに示したように、仮想オブジェクト50がユーザの正面に位置するようにユーザは頭を無意識的に動かし得る(頭の動きが誘発され得る)。その結果、ユーザの視野における視線の衝突範囲が視野の中央部分に移動するので、当該衝突範囲の検出精度が向上する。従って、HMD10は、仮想オブジェクト50を当該ユーザの選択対象(または操作対象)のオブジェクトとして正確に特定することができる。
なお、図9Bおよび図9Cでは、視覚提示領域62が三角形である例を示しているが、かかる例に限定されない。例えば、視覚提示領域62のうち、仮想オブジェクト50側(つまり第1視野側)の形状は湾曲していてもよい。一例として、視覚提示領域62のうち、当該第1視野に最も近い輪郭線は直線ではなく、(例えば第2視野側に対して凸の形状の)曲線であってもよい。
(2−1−6−2.変形例1)
以下、視認性制御部108の機能の変形例について説明する。例えば、当該第2視野の視認性を徐々に低下させる視認性制御を開始した後に、視認性制御部108は、ユーザの頭の動きの判定結果に基づいて当該視認性制御を中止してもよい。例えば、当該視認性制御を開始後に、ユーザの頭が動いていないと判定される時間の長さが所定の時間以上になった場合には、視認性制御部108は、当該視認性制御を中止してもよい。または、当該視認性制御を開始後に、当該第2視野の視認性を低下させる方向とは反対の方向(つまり、当該第1視野から当該第2視野へ向かう方向)へユーザの頭が動いたことが検出された場合には、視認性制御部108は、当該視認性制御を中止してもよい。
(2−1−6−3.変形例2)
別の変形例として、視認性制御部108は、ユーザの頭の動きの速度の判定結果に基づいて、当該第2視野の視認性を低下させる速度を変更してもよい。例えば、ユーザの頭の動きの速度が速いほど、視認性制御部108は、当該第2視野の視認性を低下させる速度をより速くしてもよい。
一般的に、ユーザがVRコンテンツを見ている際に頭を動かすとVR酔いを感じる場合がある。この変形例によれば、ユーザの頭の動きが速いほど、当該第2視野のうち、視認性が低い領域が拡大する速度がより速くなるので、VR酔いを回避することが期待できる。また、通常、ユーザが頭を速く動かしているほど、ユーザは、映像の変化に気付きにくい。例えば、(この変形例のように)当該第2視野の視認性を低下させる速度をより速くしたとしても、当該第2視野の視認性が低下されていること(例えば表示態様が変化されていること)にユーザは気づきにくい。従って、2−1−6−1節で述べた例と同様に頭の動きを誘発することができる。
または、視認性制御部108は、当該第2視野内の位置に応じて、視認性を低下させる速度、または、視認性の低下の度合いを異ならせてもよい。例えば、視認性制御部108は、当該第2視野の内部における、推定されたユーザの興味位置との距離が小さい位置ほど、視認性を低下させる速度をより遅くしてもよい。または、視認性制御部108は、当該第2視野の内部における、推定されたユーザの興味位置との距離が小さい位置ほど、視認性の低下の度合いをより小さくしてもよい。
{2−1−7.通信部120}
通信部120は、例えば、後述する通信装置166を含んで構成され得る。通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、制御部100の制御に従って、コンテンツ(例えばVRコンテンツやARコンテンツなど)の取得要求をサーバ20へ送信する。また、通信部120は、各種の情報(コンテンツなど)をサーバ20から受信する。
{2−1−8.調光部126}
調光部126は、視認性制御部108の制御に従って、例えばHMD10が有する一以上のシースルーディスプレイの各々の透過度(または明度)を変化する。調光部126は、当該一以上のシースルーディスプレイの各々の外側などに設置され、かつ、複数の調光素子を含み得る。例えば電流の供給状況に応じて、当該複数の調光素子の各々の着色の度合いが変化し得る。これにより、シースルーディスプレイにおける個々の調光素子の設置位置に対応する部分ごとに、透過度(または明度)が変更される。
なお、HMD10が光学シースルー型のHMDである場合にのみ、HMD10は調光部126を有してもよい。
{2−1−9.音声出力部128}
音声出力部128は、出力制御部106の制御に従って、音を出力する。音声出力部128は、例えば、スピーカ、イヤフォン、または、ヘッドフォンなどとして構成され得る。
{2−1−10.記憶部130}
記憶部130は、例えば、後述するストレージ装置164を含んで構成され得る。記憶部130は、各種のデータ(例えばコンテンツなど)や各種のソフトウェアを記憶する。
なお、本実施形態に係る構成は、前述した例に限定されない。例えば、HMD10は、調光部126および/または音声出力部128を有しなくてもよい。
<2−2.処理の流れ>
以上、本実施形態に係る構成について説明した。次に、本実施形態に係る処理の流れの一例について、図11および図12を参照して説明する。
図11は、本実施形態に係る処理の流れの一部を示したフローチャートである。図11に示したように、まず、HMD10のセンサ部122は、ユーザの目を撮像することにより、目の撮像画像を取得する。そして、視線認識部102は、取得された撮像画像に基づいて、HMD10を装着しているユーザの視線方向を検出する(S101)。
続いて、興味位置推定部104は、センサ部122による当該ユーザの頭の向きのセンシング結果を取得し、そして、ユーザが正面を見る際の視線方向を当該センシング結果に基づいて特定する。そして、興味位置推定部104は、S101で検出された視線方向と、当該ユーザが正面を見る際の視線方向との差分(の絶対値)を算出する(S103)。
続いて、興味位置推定部104は、S101における視線の検出誤差を、S103で算出された差分に応じて推定する。そして、興味位置推定部104は、S101で検出された視線方向と、推定した誤差とに基づいて視線の衝突範囲を算出する(または更新する)(S105)。
続いて、興味位置推定部104は、表示部124に表示されている一以上の仮想オブジェクト(インタラクション可能な仮想オブジェクトなど)と、算出した視線の衝突範囲とに基づいて、当該衝突範囲に対応する仮想オブジェクトの有無を特定する。そして、当該衝突範囲に対応する仮想オブジェクトが一以上存在する場合には、興味位置推定部104は、該当の仮想オブジェクトの各々を特定し、そして、特定した個々の仮想オブジェクトの識別情報を(記憶部130内の)リストに格納する(S107)。
続いて、視認性制御部108は、S103で算出された差分の絶対値が所定の閾値よりも大きく、かつ、S107で特定された当該衝突範囲に対応する仮想オブジェクトの数が複数であるか否かを判定する(S109)。S109の条件が成立しないと判定された場合には(S109:No)、視認性制御部108は、次に、当該第2視野の視認性を低下させるための視覚提示(表示制御)が行われているか否かを判定する(S113)。当該視覚提示が行われていない場合には(S113:No)、当該処理の流れは終了する。
一方、当該視覚提示が行われている場合には(S113:Yes)、視認性制御部108は、当該視覚提示を終了させる(S115)。そして、当該処理の流れは終了する。
ここで、S109の条件が成立すると判定された場合(S109:Yes)における処理の流れについて、図12を参照して説明する。
図12に示したように、現在、当該視覚提示が行われている場合には(S201:Yes)、視認性制御部108は、後述するS205以降の処理を行う。
一方、現在、当該視覚提示が行われていない場合には(S201:No)、視認性制御部108は、S105で算出された衝突範囲の反対側の領域を視覚提示領域(第2視野に対応する領域)として設定する(S203)。
続いて、視認性制御部108は、現在の視覚提示領域のサイズが閾値以上になり、かつ、当該視覚提示領域内の視認性の度合いが一定以下まで低下したか否かを判定する(S205)。S205の条件が成立すると判定された場合には(S205:Yes)、視認性制御部108は、前述したS113以降の処理を行う。
一方、当該視覚提示領域のサイズが閾値未満であり、かつ、当該視覚提示領域内の視認性の度合いが一定以下まで低下した場合には(S207:Yes)、まず、視認性制御部108は、当該視覚提示領域を第1視野(つまり、S105で算出された衝突範囲に対応する領域)の方へ一定の割合だけ拡大する(S209)。そして、視認性制御部108は、後述するS211の処理を行う。
一方、当該視覚提示領域のサイズが閾値未満であり、かつ、当該視覚提示領域内の視認性の度合いが一定未満しか低下していない場合には(S207:No)、視認性制御部108は、当該視覚提示領域内の視認性を徐々に低下させるように視覚提示を行う。例えば、視認性制御部108は、当該視覚提示領域内の表示態様の変更量(換言すれば、視覚提示の量)を徐々に大きくする(S211)。その後、HMD10は、再びS101以降の処理を繰り返す。
<2−3.効果>
以上説明したように、本実施形態に係るHMD10は、ユーザの興味位置を推定し、そして、当該興味位置に対応する当該ユーザの第1視野とは反対の当該ユーザの第2視野の視認性が当該第1視野の視認性よりも低くなるように当該第2視野の視認性を徐々に低下させる視認性制御を行う。これにより、ユーザの興味位置に適応的にユーザの視野の視認性を動的に低下させることができる。また、当該第2視野の視認性を徐々に低下させるので、当該第2視野の視認性が変化していることにユーザが気づきにくい。従って、例えば当該第1視野(つまり興味位置の方向)がユーザの正面に位置するように頭の動きを誘発すること(頭を無意識的に動かさせること)が期待できる。
その結果、例えば走査範囲を狭めることなく(つまりユーザの視野の中央部分の分解能を低下させることなく)、視線検出の精度を向上させることができる。これにより、HMD10は、表示されている複数の仮想オブジェクトのうち、ユーザが意図する仮想オブジェクトを正確に特定することが可能となる。例えば、仮に複数の仮想オブジェクトが密に表示されている場合であっても、ユーザの所望の仮想オブジェクトがユーザの正面に位置するようになり、視線の検出精度が向上するので、HMD10は、当該所望の仮想オブジェクトを正確に特定することができる。そして、ユーザは、所望の仮想オブジェクトに対して意図する操作(選択など)を行うことができる。従って、ユーザ体験を自然に向上させることができる。なお、上記の実施形態では視線の検出精度について言及したが、本実施形態の視認性の動的制御は、視線検出を用いないシステム構成においても適用できる点に留意されたい。
<<3.ハードウェア構成>>
次に、本実施形態に係るHMD10のハードウェア構成について、図13を参照して説明する。図13に示すように、HMD10は、CPU150、ROM(Read Only Memory)152、RAM(Rondom Access Memory)154、バス156、インターフェース158、入力装置160、出力装置162、ストレージ装置164、および、通信装置166を備える。
CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従ってHMD10内の動作全般を制御する。また、CPU150は、HMD10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
RAM154は、例えば、CPU150により実行されるプログラムや、使用中のデータなどを一時的に記憶する。
バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、および、RAM154を相互に接続する。
インターフェース158は、入力装置160、出力装置162、ストレージ装置164、および、通信装置166をバス156と接続する。
入力装置160は、例えばタッチパネル、ボタン、スイッチ、レバー、マイクロフォンなどユーザが情報を入力するための入力手段、および、ユーザによる入力に基づいて入力信号を生成し、CPU150に出力する入力制御回路などから構成される。
出力装置162は、プロジェクタや、例えばLCDやOLEDなどのディスプレイなどの表示装置を含む。また、出力装置162は、スピーカなどの音声出力装置を含む。
ストレージ装置164は、記憶部130として機能する、データ格納用の装置である。ストレージ装置164は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または、記憶媒体に記録されたデータを削除する削除装置などを含む。
通信装置166は、例えば通信網22などに接続するための通信デバイス(例えばネットワークカードなど)等で構成された通信インターフェースである。また、通信装置166は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置166は、通信部120として機能する。
<<4.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
<4−1.変形例1>
例えば、視線認識部102、興味位置推定部104、および、視認性制御部108は、HMD10に含まれる代わりに、サーバ20に含まれてもよい。この場合、本開示における情報処理装置は、サーバ20であってもよい。例えば、サーバ20は、HMD10(のセンサ部122)によるセンシング結果(例えばユーザの目の撮像画像など)をHMD10から受信し、当該センシング結果に基づいてユーザの興味位置を推定し、そして、前述した「第2視野の視認性を徐々に低下させる視認性制御」をHMD10に対して行ってもよい。
さらに、この変形例では、表示部124は、(HMD10に含まれる代わりに)据え置き型のディスプレイであってもよい。例えば、当該据え置き型のディスプレイは、LCDやOLEDなどにより構成される。また、表示部124は、専用のドーム型の施設内の壁面や天井に設置されてもよい。この場合、サーバ20は、ユーザが位置する環境内に設置された各種のセンサ(カメラなど)や、ユーザが携帯する各種のセンサ(加速度センサなど)によるセンシング結果(例えばユーザの目の撮像画像など)をこれらのセンサから受信し、当該センシング結果に基づいてユーザの興味位置を推定し、そして、「第2視野の視認性を徐々に低下させる視認性制御」を表示部124に対して行ってもよい。
あるいは、表示部124は、3Dプロジェクタであり、そして、当該3Dプロジェクタにより投影対象(例えば部屋(専用のドーム型の施設など)内の壁やスクリーンなど)に対して映像が投影されてもよい。
<4−2.変形例2>
または、当該情報処理装置は、汎用PC(Personal Computer)、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話機、携帯型音楽プレーヤ、例えばスマートウォッチなどの他のウェアラブルデバイス、または、ロボットなどであってもよい。この場合も変形例1と同様に、当該情報処理装置が、「第2視野の視認性を徐々に低下させる視認性制御」をHMD10に対して行い得る。
<4−3.変形例3>
前述した実施形態に係る処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
前述した実施形態によれば、CPU150、ROM152、および、RAM154などのハードウェアを、前述した実施形態に係るHMD10の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの興味位置を推定する興味位置推定部と、
前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御を行う視認性制御部と、
を備える、情報処理装置。
(2)
前記視認性制御部は、前記視認性制御において、前記第2視野のうち前記第1視野から最も遠い位置から、前記第2視野のうち前記第1視野に最も近い位置に向かって視認性を徐々に低下させる、前記(1)に記載の情報処理装置。
(3)
前記視認性制御部は、前記視認性制御において、前記第2視野のうち前記第1視野から最も遠い位置から、前記第2視野のうち前記第1視野に最も近い位置に向かって、視認性が前記第1視野の視認性よりも低い領域を徐々に拡大させる、前記(2)に記載の情報処理装置。
(4)
前記視認性制御部は、前記ユーザの頭の動きのセンシング結果に基づいて前記視認性制御を行う、前記(2)または(3)に記載の情報処理装置。
(5)
前記ユーザの頭が静止していると判定される際に、前記視認性制御部は、前記視認性制御を開始し、
前記ユーザの頭が動いていると判定される間は、前記視認性制御部は、前記視認性制御を開始しない、前記(4)に記載の情報処理装置。
(6)
前記視認性制御部は、前記視認性制御において、センシングされた前記ユーザの頭の動きの速度が速いほど、前記第2視野の視認性を低下させる速度を速くする、前記(4)に記載の情報処理装置。
(7)
前記視認性制御部は、前記ユーザの視野を覆うカバー部に対して前記視認性制御を行う、前記(4)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記カバー部は、シースルーディスプレイおよび調光部を含み、
前記視認性制御部は、前記視認性制御において、前記シースルーディスプレイにおける前記第2視野に対応する領域の透過度が徐々に低下するように前記調光部を制御する、前記(7)に記載の情報処理装置。
(9)
前記カバー部は、表示部を含み、
前記視認性制御部は、前記視認性制御において、前記表示部における前記第2視野に対応する表示範囲内の表示色が所定の色になるように当該表示色を徐々に変化させる、前記(7)に記載の情報処理装置。
(10)
前記カバー部は、表示部を含み、
前記視認性制御部は、前記視認性制御において、前記表示部における前記第2視野に対応する表示範囲内の輝度または解像度を徐々に低下させる、前記(7)に記載の情報処理装置。
(11)
前記情報処理装置は、頭部装着型の装置であり、
前記情報処理装置は、前記カバー部をさらに備える、前記(7)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記興味位置推定部は、視線認識部により検出された前記ユーザの視線方向に基づいて特定されるオブジェクトの位置を前記ユーザの興味位置として推定する、前記(2)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記ユーザに関連する音が発生した場合には、前記興味位置推定部は、当該音の発生源に対応する位置を前記ユーザの興味位置として推定する、前記(2)〜(11)のいずれか一項に記載の情報処理装置。
(14)
前記興味位置推定部は、前記ユーザが位置する実空間内、または、前記ユーザが利用中の仮想現実のコンテンツに対応する仮想空間内の、前記ユーザが興味を有すると推定されるオブジェクトの位置を前記ユーザの興味位置として推定する、前記(2)〜(11)のいずれか一項に記載の情報処理装置。
(15)
前記視認性制御部は、前記ユーザの視線方向と前記ユーザの正面方向との差分に基づいて前記視認性制御を行う、前記(12)に記載の情報処理装置。
(16)
前記ユーザの視線方向と前記ユーザの正面方向との差分が所定の閾値よりも大きい場合には、前記視認性制御部は、前記視認性制御を行い、
前記ユーザの視線方向と前記ユーザの正面方向との差分が前記所定の閾値以下である場合には、前記視認性制御部は、前記視認性制御の実行を抑制する、前記(15)に記載の情報処理装置。
(17)
前記第1視野は、前記ユーザの視線方向に対応する視野であり、
前記視認性制御部は、さらに、前記第1視野内に複数の仮想オブジェクトが位置するか否かに基づいて前記視認性制御を行う、前記(16)に記載の情報処理装置。
(18)
前記第1視野内に複数の仮想オブジェクトが位置する場合には、前記視認性制御部は、前記視認性制御を行い、
前記第1視野内に複数の仮想オブジェクトが位置しない場合には、前記視認性制御部は、前記視認性制御の実行を抑制する、前記(17)に記載の情報処理装置。
(19)
ユーザの興味位置を推定することと、
前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御をプロセッサが行うことと、
を含む、情報処理方法。
(20)
コンピュータを、
ユーザの興味位置を推定する興味位置推定部と、
前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御を行う視認性制御部、
として機能させるためのプログラム。
10 HMD
20 サーバ
22 通信網
100 制御部
102 視線認識部
104 興味位置推定部
106 出力制御部
108 視認性制御部
120 通信部
122 センサ部
124 表示部
126 調光部
128 音声出力部
130 記憶部

Claims (20)

  1. ユーザの興味位置を推定する興味位置推定部と、
    前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御を行う視認性制御部と、
    を備える、情報処理装置。
  2. 前記視認性制御部は、前記視認性制御において、前記第2視野のうち前記第1視野から最も遠い位置から、前記第2視野のうち前記第1視野に最も近い位置に向かって視認性を徐々に低下させる、請求項1に記載の情報処理装置。
  3. 前記視認性制御部は、前記視認性制御において、前記第2視野のうち前記第1視野から最も遠い位置から、前記第2視野のうち前記第1視野に最も近い位置に向かって、視認性が前記第1視野の視認性よりも低い領域を徐々に拡大させる、請求項2に記載の情報処理装置。
  4. 前記視認性制御部は、前記ユーザの頭の動きのセンシング結果に基づいて前記視認性制御を行う、請求項2に記載の情報処理装置。
  5. 前記ユーザの頭が静止していると判定される際に、前記視認性制御部は、前記視認性制御を開始し、
    前記ユーザの頭が動いていると判定される間は、前記視認性制御部は、前記視認性制御を開始しない、請求項4に記載の情報処理装置。
  6. 前記視認性制御部は、前記視認性制御において、センシングされた前記ユーザの頭の動きの速度が速いほど、前記第2視野の視認性を低下させる速度を速くする、請求項4に記載の情報処理装置。
  7. 前記視認性制御部は、前記ユーザの視野を覆うカバー部に対して前記視認性制御を行う、請求項4に記載の情報処理装置。
  8. 前記カバー部は、シースルーディスプレイおよび調光部を含み、
    前記視認性制御部は、前記視認性制御において、前記シースルーディスプレイにおける前記第2視野に対応する領域の透過度が徐々に低下するように前記調光部を制御する、請求項7に記載の情報処理装置。
  9. 前記カバー部は、表示部を含み、
    前記視認性制御部は、前記視認性制御において、前記表示部における前記第2視野に対応する表示範囲内の表示色が所定の色になるように当該表示色を徐々に変化させる、請求項7に記載の情報処理装置。
  10. 前記カバー部は、表示部を含み、
    前記視認性制御部は、前記視認性制御において、前記表示部における前記第2視野に対応する表示範囲内の輝度または解像度を徐々に低下させる、請求項7に記載の情報処理装置。
  11. 前記情報処理装置は、頭部装着型の装置であり、
    前記情報処理装置は、前記カバー部をさらに備える、請求項7に記載の情報処理装置。
  12. 前記興味位置推定部は、視線認識部により検出された前記ユーザの視線方向に基づいて特定されるオブジェクトの位置を前記ユーザの興味位置として推定する、請求項2に記載の情報処理装置。
  13. 前記ユーザに関連する音が発生した場合には、前記興味位置推定部は、当該音の発生源に対応する位置を前記ユーザの興味位置として推定する、請求項2に記載の情報処理装置。
  14. 前記興味位置推定部は、前記ユーザが位置する実空間内、または、前記ユーザが利用中の仮想現実のコンテンツに対応する仮想空間内の、前記ユーザが興味を有すると推定されるオブジェクトの位置を前記ユーザの興味位置として推定する、請求項2に記載の情報処理装置。
  15. 前記視認性制御部は、前記ユーザの視線方向と前記ユーザの正面方向との差分に基づいて前記視認性制御を行う、請求項12に記載の情報処理装置。
  16. 前記ユーザの視線方向と前記ユーザの正面方向との差分が所定の閾値よりも大きい場合には、前記視認性制御部は、前記視認性制御を行い、
    前記ユーザの視線方向と前記ユーザの正面方向との差分が前記所定の閾値以下である場合には、前記視認性制御部は、前記視認性制御の実行を抑制する、請求項15に記載の情報処理装置。
  17. 前記第1視野は、前記ユーザの視線方向に対応する視野であり、
    前記視認性制御部は、さらに、前記第1視野内に複数の仮想オブジェクトが位置するか否かに基づいて前記視認性制御を行う、請求項16に記載の情報処理装置。
  18. 前記第1視野内に複数の仮想オブジェクトが位置する場合には、前記視認性制御部は、前記視認性制御を行い、
    前記第1視野内に複数の仮想オブジェクトが位置しない場合には、前記視認性制御部は、前記視認性制御の実行を抑制する、請求項17に記載の情報処理装置。
  19. ユーザの興味位置を推定することと、
    前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御をプロセッサが行うことと、
    を含む、情報処理方法。
  20. コンピュータを、
    ユーザの興味位置を推定する興味位置推定部と、
    前記興味位置に対応する前記ユーザの第1視野とは反対の前記ユーザの第2視野の視認性が前記第1視野の視認性よりも低くなるように前記第2視野の視認性を徐々に低下させる視認性制御を行う視認性制御部、
    として機能させるためのプログラム。
JP2019515119A 2017-04-26 2018-02-21 情報処理装置、情報処理方法、およびプログラム Abandoned JPWO2018198503A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017087429 2017-04-26
JP2017087429 2017-04-26
PCT/JP2018/006107 WO2018198503A1 (ja) 2017-04-26 2018-02-21 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2018198503A1 true JPWO2018198503A1 (ja) 2020-03-05

Family

ID=63918221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515119A Abandoned JPWO2018198503A1 (ja) 2017-04-26 2018-02-21 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20200135150A1 (ja)
JP (1) JPWO2018198503A1 (ja)
WO (1) WO2018198503A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP7258620B2 (ja) * 2019-03-26 2023-04-17 株式会社デジタルガレージ 画像処理システム、及び画像処理方法
JP7300569B2 (ja) * 2020-09-16 2023-06-30 株式会社雪雲 情報処理装置、情報処理方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166357A (ja) * 1997-08-19 1999-03-09 Sony Corp 画像表示システム及び画像表示処理方法
WO2013179426A1 (ja) * 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
CN106030692B (zh) * 2014-02-20 2019-11-15 索尼公司 显示控制装置、显示控制方法及计算机程序
EP3220374A4 (en) * 2014-11-12 2018-07-18 Fujitsu Limited Wearable device, display control method, and display control program

Also Published As

Publication number Publication date
WO2018198503A1 (ja) 2018-11-01
US20200135150A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US9652047B2 (en) Visual gestures for a head mounted device
US10796467B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
CN107015638B (zh) 用于向头戴式显示器用户报警的方法和装置
US9466266B2 (en) Dynamic display markers
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
CN108369482B (zh) 信息处理设备、信息处理方法和程序
KR20160101070A (ko) 타겟 상으로의 프로젝션을 위해 콘텐츠를 트리밍
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
KR20160121287A (ko) 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
JP6693223B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102360176B1 (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
WO2018008210A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2018198503A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108885497B (zh) 信息处理装置、信息处理方法和计算机可读介质
US11132052B2 (en) System for generating cues in an augmented reality environment
US11922904B2 (en) Information processing apparatus and information processing method to control display of a content image
US11004273B2 (en) Information processing device and information processing method
US20190114502A1 (en) Information processing device, information processing method, and program
US10742937B2 (en) Watching apparatus, watching method, and recording medium
US10409464B2 (en) Providing a context related view with a wearable apparatus
CN115698923A (zh) 信息处理装置、信息处理方法和程序
US20240177367A1 (en) Wearable device for controlling displaying of visual object corresponding to external object and method thereof
US20240211102A1 (en) Systems and methods for presenting a notification with an electronic device
US11366328B1 (en) Controlling a level of magnification of content on a display device based on user movement
KR102337908B1 (ko) 작업 보조 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210112

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20210730