JP7099444B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7099444B2
JP7099444B2 JP2019511084A JP2019511084A JP7099444B2 JP 7099444 B2 JP7099444 B2 JP 7099444B2 JP 2019511084 A JP2019511084 A JP 2019511084A JP 2019511084 A JP2019511084 A JP 2019511084A JP 7099444 B2 JP7099444 B2 JP 7099444B2
Authority
JP
Japan
Prior art keywords
user
information
predetermined
information processing
gaze position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019511084A
Other languages
English (en)
Other versions
JPWO2018186031A1 (ja
Inventor
真里 斎藤
賢次 杉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018186031A1 publication Critical patent/JPWO2018186031A1/ja
Application granted granted Critical
Publication of JP7099444B2 publication Critical patent/JP7099444B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08Cursor circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Description

本技術は、ユーザの視線情報を用いた制御を実行可能な情報処理装置、情報処理方法、及びプログラムに関する。
特許文献1には、ユーザの視線情報を用いてユーザの意図を推定する技術について開示されている。例えば電子文書中の単語に対するユーザの視線の特徴量に基づいて、その単語がユーザにとって理解困難であるか否かが判定される。そして理解困難であると判定された場合には、その単語について自動的に辞書引きが実行される(特許文献1の明細書段落[0001][0060]~[0064]等)。
特許文献2には、ユーザの視線情報を用いて、ユーザのタッチ操作が入力される操作点の座標を変更する技術について開示されている。操作点が視線の先にある注視点を中心とした視線補正領域の内部にある場合は、注視点がタッチされたものとして操作点の座標が変更される。操作点が視線補正領域の外部である場合は、操作点の座標は変更されず、そのまま操作箇所がタッチされたものと判断される(特許文献2の明細書段落[0036]図5等)。
特開2004-246398号公報 特開2015-138426号公報
このようにユーザの視線情報を用いた様々な技術が開発されており、例えば複数のユーザが共同で操作をする場合に高い操作性を発揮することが可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、複数のユーザによる共同操作の操作性を向上させることが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、視線情報取得部と、入力情報取得部と、位置提示部とを具備する。
前記視線情報取得部は、所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得する。
前記入力情報取得部は、前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報を取得する。
前記位置提示部は、前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置を制御する。
この情報処理装置では、第1及び第2のユーザの少なくとも一方による所定の入力情報に基づいて、不可視状態にある第1のユーザの注視位置が第2のユーザに提示される。これにより第1及び第2のユーザによる共同操作の操作性が向上される。
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得することを含む。
前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報が取得される。
前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置が制御される。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得するステップ。
前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報を取得するステップ。
前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置を制御すステップ。
以上のように、本技術によれば、複数のユーザによる共同操作の操作性を向上させることが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
一実施形態に係るコンテンツ提供装置の外観を模式的に示す図である。図2は、 コンテンツ提供装置の機能的な構成例を示すブロック図である。 コンテンツ提供装置の基本的な動作例を示すフローチャートである。 位置提示制御が実行される場合の具体例を示すフローチャートである。 図4に示すフローが実行される場合の一例を示す模式図である。 図4に示すフローが実行される場合の他の例を示す模式図である。 図4に示すフローが実行される場合の他の例を示す模式図である。 図4に示すフローが実行される場合の他の例を示す模式図である。 注視位置に基づいた位置提示制御の他の例を示す模式図である。 位置提示制御が実行される場合の他の例を示すフローチャートである。 位置提示制御が実行される場合の他の例を示すフローチャートである。 位置提示制御が実行される場合の他の例を示すフローチャートである。 位置提示制御が実行される場合の他の例を示すフローチャートである。 本技術に係るヘッドマウントディスプレイの構成例を示す斜視図である。 本技術に係るヘッドマウントディスプレイの構成例を示す斜視図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[コンテンツ提供装置の構成]
図1は、本技術の一実施形態に係るコンテンツ提供装置の外観を模式的に示す図である。図2は、コンテンツ提供装置の機能的な構成例を示すブロック図である。
コンテンツ提供装置10は、複数のユーザ1にコンテンツを提供する装置である。本実施形態では、ユーザ1a及び1bに対して、電子書籍40が閲覧可能に表示される。図1には電子書籍40を閲覧するための閲覧画像41として、2ページ分のページ42が両開きで表示された電子書籍40が図示されている。実世界の書籍の閲覧と同様に、ページ42がめくられることで、電子書籍40の内容を読み進めて行くことが可能である。
図2に示すように、コンテンツ提供装置10は、通信部11、記憶部12、表示部13、操作部14、撮像部15、外部I/F(インタフェース)16、マイク17、スピーカ18、赤外線(IR)通信部19、及びコントローラ20を有する。
通信部11は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して他のデバイスと通信するための通信モジュールである。Bluetooth(登録商標)等の近距離無線通信用の通信モジュールが備えられてもよい。またモデムやルータ等の通信機器が用いられてもよい。例えば通信部11を介して、電子書籍40等のコンテンツが、コンテンツ提供装置10にダウンロードされる。
記憶部12は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、その他の固体メモリである。
記憶部12には、コンテンツ提供装置10の全体の動作を制御するための制御プログラム、本技術に係る情報処理方法を実行するためのアプリケーションプログラムや種々のデータが記憶される。アプリケーションプログラム等をコンテンツ提供装置10にインストールする方法は限定されない。例えば、種々の記録媒体やネットワーク等を介した任意の方法で、インストールが実行されてよい。
表示部13は、例えば液晶、EL(Electro-Luminescence)等を用いた表示デバイスである。図1に示すように、表示部13に電子書籍40が表示され、ユーザ1a及び1bにより閲覧される。操作部14は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。操作部14がタッチパネルを含む場合、そのタッチパネルは表示部13と一体となり得る。
撮像部15は、コンテンツ提供装置10を使用するユーザ1a及び1bの顔、上半身、又は全身等を撮影することが可能である。撮像部15としては、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Devices)センサ等のイメージセンサを備えるデジタルカメラが用いられる。
外部I/F16は、例えばUSBやHDMI(登録商標)(High-Definition Multimedia Interface)等の規格に基づいて、外部機器と接続するためのインタフェースである。マイク17は、ユーザ1a及び1bから発せられる音声を集音することが可能である。スピーカ18は、音声を出力することが可能である。
IR通信部19は、外部機器とIR通信を実行するためのモジュールである。本実施形態では、図1に示すリモートコントローラ(リモコン)50を操作することで、コンテンツ提供装置10を制御することが可能である。その際には、リモコン50から送信された赤外線コマンド(制御信号)がIR通信部19により受信される。
コントローラ20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のコンピュータの構成に必要なハードウェアを有する。CPUが記憶部12に記憶されている制御プログラムをRAMにロードして実行することにより、種々の処理が実行される。
コントローラ20の具体的な構成は限定されず、例えばFPGA(Field Programmable Gate Array)、画像処理IC(Integrated Circuit)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
本実施形態では、コントローラ20のCPUが本実施形態に係るプログラムを実行することで、機能ブロックとして、入力情報判定部21、位置提示制御部22、視線検出部23、動作検出部24、及び音声判定部25が実現される。各機能ブロックを実現するために、専用のハードウェアが適宜用いられてもよい。
本実施形態では、コンテンツ提供装置10により、各ユーザ1の注視位置Eを示す視線情報が取得される。注視位置Eを示す視線情報とは、各ユーザ1の注視位置Eを検出することが可能な情報であり、典型的には、各ユーザ1の視線方向の情報である。もちろん視線方向の情報に限定されず、例えば注視位置E自体の情報が取得されてもよい。
本実施形態では視線検出部23により、撮像部15で撮影された各ユーザ1の画像に基づいて、各ユーザ1の視線方向が検出される。そして各ユーザ1の注視位置Eが検出される。視線検出部23は、各ユーザ1の注視位置Eが、表示部13上のどの位置にあるかを判定することが可能である。例えば図1に示すように、ユーザ1aの注視位置Ea、及びユーザ1bの注視位置Ebが、表示部13に表示される電子書籍40上のどの位置にあるかを判定することが可能である。
視線方向は、例えば各ユーザ1の眼球の画像に基づいて検出されてもよいし、各ユーザ1の頭(顔)の向きに基づいて検出されてもよい。その他、任意のアルゴリズムが採用されてよく、ディープラーニング等の機械学習が用いられてもよい。本実施形態では、撮像部15及び視線検出部23は、視線情報取得部として機能する。
なおコンテンツ提供装置10とは異なるデバイス等により、各ユーザ1の注視位置Eを示す視線情報が生成され、通信部11や外部I/F16を介して、コンテンツ提供装置10に送信されてもよい。この場合、注視位置Eを示す視線情報を受信する通信部11等が、視線情報取得部として機能する。
後述するように、本実施形態では、ユーザ1a及び1bの一方を第1のユーザ、他方を第2のユーザとした、種々の位置提示制御が実行される。どちらのユーザ1が第1のユーザ(第2のユーザ)となるかは限定されず、ユーザ1a及び1bのいずれもが第1のユーザ(第2のユーザ)になり得る。第1のユーザとなるユーザ1の視線情報は第1の視線情報となり、第2のユーザとされるユーザ1の視線情報は第2の視線情報となる。
なお図1には、各ユーザ1の視線を表す矢印と、注視位置Eとが図示されている。電子書籍40の閲覧モードの基本動作としては、電子書籍40が表示される閲覧画像41には、視線や注視位置Eは表示されず不可視状態となっている。これにより自分の注視位置Eや相手の注視位置E等が表示されることで、電子書籍40の閲覧が妨げられてしまうことが防止されている。各ユーザ1は、相手の注視位置E等を気にすることなく、自分のペースで読書を進めることが可能である。
また本実施形態では、動作検出部24により、撮像部15で撮影された各ユーザ1の画像に基づいて、各ユーザ1の表情、姿勢、顔(頭)、手等に関する動作が検出される。そして検出された動作に基づいて「リモコン50を手に取った」「相手のユーザ1に触れた」「ユーザ1同士が手を合わせた」「ユーザ1が席を外した」等の、具体的な動作の内容を含むジェスチャ情報が生成される。
ジェスチャ情報は、例えば機械学習を用いた行動解析等の任意の技術により生成可能である。なおコンテンツ提供装置10とは異なるデバイスによりユーザ1のジェスチャ情報が生成され、コンテンツ提供装置10に送信されてもよい。
また本実施形態では、音声判定部25により、マイク17により集音される音声に基づいて、各ユーザ1の音声情報が生成される。各ユーザ1が発した音声の具体的な内容は、例えば機械学習等を利用した任意の音声解析技術を用いることで判定可能である。
コンテンツ提供装置10は、本技術に係る情報処理装置の一実施形態であり、また情報提供装置の一実施形態でもある。またコンテンツ提供装置10の表示部13は、所定のコンテンツを提供する所定のオブジェクトに相当する。もちろん本技術に係る情報処理装置、情報提供装置、及び所定のオブジェクトが同一のデバイスにより実現される場合に限定されるわけではない。これらが互いに異なるデバイスにより実現される場合でも本技術は適用可能である。
[位置提示制御]
図3は、コンテンツ提供装置10の基本的な動作例を示すフローチャートである。まず視線検出部23により、ユーザ1a及び1bの各々の注視位置Ea及びEbが検出される(ステップ101)。当該注視位置Ea及びEbの検出は常時実行されており、例えば所定の時間分遡った過去から現在までの注視位置Eの履歴情報が一時的に記憶されてもよい。
コンテンツ提供装置10により、ユーザ1a及び1bの少なくとも一方による所定の入力情報が取得されたか否かが監視される(ステップ102)。本実施形態では、各ユーザ1がリモコン50を操作することで送信される赤外線コマンドに応じた制御情報、各ユーザ1の視線情報(注視位置E)、各ユーザ1のジェスチャ情報、及び各ユーザ1の音声情報が、ユーザ1による入力情報として入力情報判定部21に入力される。
入力情報判定部21は、入力情報が、予め定められている入力情報であるか否かを判定する。そして判定の結果がYesの場合には、所定の入力情報が取得されたと判定し、ステップ103に進む。例えば所定の制御情報、所定の注視位置の動きを含む情報、所定のジェスチャを含むジェスチャ情報、所定の音声を含む音声情報等が入力された場合に、所定の入力情報が取得されたと判定される。本実施形態において、入力情報判定部21は、入力情報取得部として機能する。
所定の入力情報が取得されると(ステップ102のYes)、位置提示制御部22により、位置提示制御が実行される(ステップ103)。位置提示制御は、取得された入力情報に基づいて実行される。本実施形態において位置提示制御部22は、位置提示部として機能する。
位置提示制御は、不可視状態にある第1のユーザの注視位置を、第2のユーザに提示する制御である。例えば図1に示すユーザ1aを第1のユーザとし、ユーザ1bを第2のユーザとすると、ステップ102にて取得された所定の入力情報に基づいて、不可視状態にあるユーザ1aの注視位置Eaをユーザ1bに提示する位置提示制御が実行される。
ユーザ1bを第1のユーザとしユーザ1aを第2のユーザとすると、取得された所定の入力情報に基づいて、不可視状態にあるユーザ1bの注視位置Ebをユーザ1aに提示する位置提示制御が実行される。すなわち位置提示制御は、不可視状態にある一方のユーザ1の注視位置Eを、他方のユーザ1に提示する制御であるともいえる。
なお注視位置Eの提示とは、注視位置Eにポインタ等を表示するような、注視位置Eを直接的に提示する場合に限定されない。例えば注視位置Eのおおよその位置を把握することを可能とする間接的な提示も含まれる。例えば電子書籍40の左右いずれかのページ42を光らせることで、注視位置Eがそのページ42上にあることを提示する。またページ42の一部をめくることで、注視位置Eが表示部13の右下の周縁部に設定されたページ閲覧済み領域43にあることを提示する(図5等参照)。このような提示も、注視位置Eの提示に含まれる。
また注視位置Eの提示は、表示部13に表示されるGUI(Graphical User Interface)の制御による提示に限定されず、音声等による提示も含まれる。注視位置Eの具体的な提示方法として、任意の方法が採用されてよい。
図4は、位置提示制御が実行される場合の具体例を示すフローチャートである。図5は、図4に示すフローが実行される場合の一例を示す模式図である。図4に示す例では、ユーザ1a及び1bの各々の注視位置Ea及びEbの両方あるいはいずれか一方が、所定の位置にあるか否かが判定される(ステップ202)。すなわち所定の入力情報として、各ユーザ1の注視位置Eが所定の位置にある旨の入力情報が取得されたか否かが判定される。
例えば図5に示すように、所定のオブジェクトである表示部13の右下の周縁部に、ページ閲覧済み領域43が設定される(当該領域43を示す破線は実際には表示されない)。ページ閲覧済み領域43は、ユーザ1が左側のページ42aから読み進み右側のページ42bを読み終わった場合に、ユーザ1の注視位置Eが含まれる領域として適宜設定される。
例えばユーザ1a及び1bの各々の注視位置Ea及びEbの両方がページ閲覧済み領域43にある場合に、ステップ202がYesと判定される。そして位置提示制御として、ページ42がめくられて次の2ページ分のページ42が表示される(ステップ203)。
これによりユーザ1a及び1bの両方がページ42を閲覧し終わったタイミングで、自動的にページ42がめくられる。この結果ページをめくりながら同じ電子書籍40を読み進めていくという共同操作を行うにあたって、互いにページをめくってもよいか否かの合意を取る必要がなくなる。お互いがページ42読み終えた適正なタイミングで自然とページ42がめくられるので、非常に高い操作性が発揮される。
図5に示すページめくりの制御は、ページ閲覧済み領域43にある第1のユーザの注視位置を、第2のユーザに提示する位置提示制御となる。また図5に示すページめくりの制御は、ユーザ1aを第1のユーザとした位置提示制御でもあるし、ユーザ1bを第1のユーザとして位置提示制御でもある。ユーザ1a及び1bは、ページがめくられることで、相手のユーザ1も表示部13の右下の周縁部までページ42を読み終わったことを把握することが可能となる。なおページ閲覧済み領域43の位置を、ユーザ1a及び1bが認識してない場合でも、自然なページめくりは実現される。
ユーザ1a及び1bの各々の注視位置Ea及びEbの両方がページ閲覧済み領域43にある場合に、右側のページ42bの右下端部が少しだけめくられ、ページめくりが示唆されてもよい。そしてページをめくる旨の入力があった場合や、ページめくりを中断する旨の入力がない場合に、ページめくりが実行されてもよい。これによりユーザ1a及び1bの両方がページめくりを所望するタイミングを精度よく取得することが可能となる。
また注視位置Eが左側のページ42aから右側のページ42bを順に進んだ後にページ閲覧済み領域43に入ったという入力情報に基づいて、ページめくりの位置提示制御が実行されてもよい。これにより、各ユーザ1がページ42を読み終えことを精度よく判定することが可能となる。また注視位置Eがページ閲覧済み領域43に入ったという注視位置の履歴情報が用いられてもよい。例えば注視位置Ea及びEbの両方がページ閲覧済み領域43に入ったことがあるという入力情報に基づいて、ページめくりの位置提示制御が実行されてもよい。これにより、先にページ閲覧済み領域43に入った注視位置Eがその後他の部分に移動した場合でも、もう一方の注視位置Eがページ閲覧済み領域43に入れば、ページがめくられる。
なお表示部13の右下の周縁部にページ閲覧済み領域43が設定される場合に限定されず、他の周縁部にページ閲覧済み領域43が設定されてもよい。またページ42の閲覧の終了とは異なる他の動作や意図等に応じた領域が、表示部13の周縁部に設定されてもよい。そして当該周縁部に設定された領域に注視位置があるという所定の入力情報に基づいて、任意の位置提示制御が実行されてよい。
このように表示部13の所定の位置に注意位置Eがあるという入力情報に基づいて、位置提示制御を実行することが可能である。もちろん各ユーザ1に注視されているコンテンツである電子書籍40を基準として、所定の位置が設定されてもよい。
例えば右側のページ42bの下端部は、次の2ページ分のページ42との境界位置である。現在表示されているページ42をめくらなければ、電子書籍40の内容は進行しない。従って右側のページ42bの下端部は、電子書籍40の内容の進行が途切れる途切れ位置とみなすことができる。この途切れ位置となる右側のページ42bの下端部の領域に両方の注視位置Ea及びEbが入った場合に、ページおくりの位置提示制御が実行されてもよい。この場合でも、上記と同様な効果が発揮される。
図5に示す例では、電子書籍40の途切れ位置となる領域は、表示部13の右下の周縁部に設定されたページ閲覧済み領域43と略等しい領域となる。例えば表示部13に対して電子書籍40のサイズが小さい場合等では、右側のページ42bの下端部の途切れ位置が、表示部13の周辺部とは異なる領域となる場合もあり得る。この場合でも、例えば右側のページ42bの途切れ位置をページ閲覧済み領域43として改めて設定することで、同様の位置提示制御を実行可能である。
もちろんページ42内の他の位置が、電子書籍40の途切れ位置として設定されてもよい。例えば段落の最後の位置や章の区切り等、コンテンツ内の任意の位置が、コンテンツの途切れ位置として設定されてよい。
図6に示す例では、一方のユーザ1(ユーザ1b)の注視位置Eがページ閲覧済み領域43にある場合に、位置提示制御として、右側のページ42bの右下端部が少しだけめくられる(ステップ202のYes、ステップ203)。これにより他方のユーザ1(ユーザ1a)は、相手のユーザ1がすでにページ42を読み終えたことを把握することが可能となる。一方ページ42を読み終えたユーザ1は、相手のユーザ1がまだ読み終えていないことを把握することが可能となる。
図6に示すページ部分めくり制御は、ページ閲覧済み領域43にある第1のユーザ(ユーザ1b)の注視位置Eを、第2のユーザ(ユーザ1a)に提示する位置提示制御となる。なお図5に示すように、注視位置Ea及びEbがページ閲覧済み領域43に入るとページ42がめくられる位置提示制御が実行されるとする。この場合、図6に示すページ部分めくり制御は、ページ閲覧済み領域43以外にある第1のユーザ(ユーザ1a)の注視位置Eを、第2のユーザ(ユーザ1b)に提示する位置提示制御ともいえる。
図7に示すように、一方のユーザ1(ユーザ1b)の注視位置Eがページ閲覧済み領域43にある場合に、位置提示制御として、ページ閲覧済み領域43にある注視位置Eがポインタ44等により直接的に表示されてもよい。これにより他方のユーザ1(ユーザ1a)は、相手のユーザ1がすでにページを読み終えたことを把握することが可能となる。一方ページ42を読み終えたユーザ1は、相手のユーザ1がまだ読み終えていないことを把握することが可能となる。
図8に示すように、一方のユーザ1(ユーザ1b)の注視位置Eがページ閲覧済み領域43にある場合に、位置提示制御として、まだページ閲覧済み領域43に入っていないユーザ1(ユーザ1a)の注視位置Eがポインタ45等により直接的に表示されてもよい。これによりページ42を読み終えたユーザ1は、相手のユーザ1がまだ読み終えていないこと、及び今どのあたりを読んでいるかを把握することが可能となる。一方まだ読み終えていないユーザ1は、自分の注視位置Eが表示されたことで、相手のユーザ1がすでにページを読み終えたことを把握することが可能となる。
図7及び図8に示す制御も、図6に示す制御と同様に、ページ閲覧済み領域43にある第1のユーザ(ユーザ1b)の注視位置Eを、第2のユーザ(ユーザ1a)に提示する位置提示制御となる。またページ閲覧済み領域43以外にある第1のユーザ(ユーザ1a)の注視位置Eを、第2のユーザ(ユーザ1b)に提示する位置提示制御ともいえる。
図9は、注視位置に基づいた位置提示制御の他の例を示す模式図である。図9Aには、閲覧する電子書籍40を選択するための選択画面46が表示されている。選択画面46には、タイトルA~Lまでの電子書籍40のアイコン47が表示されている。記憶部12には、各アイコン47の位置情報、具体的には、各アイコン47が占めるアイコン領域48の情報 が記憶されている。
図9Aに示すように、ユーザ1a及び1bの各々の注視位置Ea及びEbの両方が、所定のアイコン領域48にある場合、当該アイコン領域48のアイコン47に対応する電子書籍40が選択される。そして図9Bに示すように、位置提示制御として、選択された電子書籍40を閲覧するための閲覧画像41が表示される。これにより電子書籍40を二人で選択するという共同操作を行うにあたって、どれを所望するかを互いに確かめ合うことなく、二人が所望とする電子書籍40が自然に選択される。この結果、非常に高い操作性が発揮される。
図9A及びBに示す電子書籍40の選択制御は、選択された電子書籍40のアイコン領域48にある第1のユーザの注視位置を、第2のユーザに提示する位置提示制御となる。また図9A及びBに示す選択制御は、ユーザ1aを第1のユーザとした位置提示制御でもあるし、ユーザ1bを第1のユーザとして位置提示制御でもある。ユーザ1a及び1bは、電子書籍40が選択されることで、相手のユーザ1も同じ電子書籍40を選択したことを把握することが可能となる。
一方のユーザ1の注視位置Eが所定の時間以上所定のアイコン領域48に留まった場合に、そのユーザ1の注視位置E、又は他方のユーザ1の注視位置E、あるいは両方のユーザ1の各々の注視位置Eが表示されてもよい。これにより相手がどの電子書籍40を選んでいるか、あるいは悩み中であるかといったことを把握することが可能である。もちろんポインタ等により直接的に注視位置Eが表示されてもよいし、注視位置Eが滞留するアイコン47が強調されて表示が行われてもよい。
図10は、位置提示制御が実行される場合の他の例を示すフローチャートである。図10に示すように、ユーザ1a及び1bの各々の注視位置Ea及びEbが所定の位置関係となる場合に、位置提示制御が実行されてもよい(ステップ302のYes、ステップ303)。例えば入力情報判定部21に、各ユーザ1の注視位置Eが入力される。入力情報判定部21は、各ユーザ1の注視位置Eの位置関係を示す位置関係情報を生成し、所定の位置関係情報であるか否かを判定する。判定の結果がYesの場合、所定の位置関係情報が取得されたとして、位置提示制御が実行される。
各ユーザ1の注視位置Eは、第1及び第2のユーザの注視位置に相当する。各ユーザ1の注視位置Eの位置関係を示す位置関係情報は、第1及び第2のユーザの注視位置の位置関係情報に相当する。第1のユーザや第2のユーザを、どのユーザ1を当て嵌めるかは限定されず、任意のユーザ1が第1のユーザにも第2のユーザにもなり得る。
所定の位置関係情報の具体的な内容は限定されない。すなわち各ユーザ1の注視位置Eがどのような位置関係となった場合に位置提示制御が実行されるかは限定されない。例えば各ユーザ1の注視位置Eが連動しているという位置関係情報に基づいて、位置提示制御が実行される。
例えば各ユーザ1の注視位置Eが略同一方向に移動しているという位置関係情報に基づいて、位置提示制御が実行されてもよい。又は、各ユーザ1の注視位置Eが略同時に移動しているという位置関係情報に基づいて、位置提示制御が実行されてもよい。
例えばユーザ1a及び1bが、電子書籍40のページ42内において同じ文章を、略等しい方向、及び略等しい速度で読んでいる場合等に、位置提示制御として、文章がハイライト表示されたり文章の内容に応じたアニメーション等が表示される。これによりユーザ1は、相手と同じ場所を読んでいることを把握することが可能となり、読書を楽しむことが可能となる。
また写真集や絵画集等の電子書籍40において、複数の作品が並んでいる場合に、ユーザ1a及び1bが同じタイミングで同じ作品を順に閲覧している場合に、位置提示制御として、作品に関連した音声や説明文等が表示される。これによりユーザ1a及び1bは、ともに同じ作品を楽しむことが可能となる。このように高い作業性を発揮される場合のみならず、高い視聴体験を提供することも可能である。
また各ユーザ1の注視位置Eの互いの距離に基づいて、位置提示制御が実行されてもよい。例えば注視位置E間の距離が所定値(閾値)以下であるという位置関係情報に基づいて、位置提示制御が実行される。例えばユーザ1a及び1bが表示部13の同じ位置を見ている場合に、ページめくり等のコンテンツを進行させる位置提示制御が実行される。所定値が複数の段階に分けて設定され、注視位置E間の距離に応じて、段階的に位置提示制御が実行されてもよい。
例えば図9に示すコンテンツの選択制御等において、ユーザ1a及び1bの各々の注視位置Ea及びEbが同じアイコン領域48に留まる時間が所定値よりも長い場合に、当該コンテンツが選択されるとする。この場合、アイコン領域48内の注視位置E間の距離に応じて、滞留時間の判定にかかる所定値が制御されてもよい。例えば注視位置E同士が互いに近づいていくほど、滞留時間の所定値が短くなる。すなわち注視位置Eが互いに近づくほどすぐにコンテンツの選択が実行される。また注視位置Eが互いにほぼ重なった場合には、滞留時間の長さの判定を行うことなく、コンテンツが選択されてもよい。
図11は、位置提示制御が実行される場合の他の例を示すフローチャートである。図11に示すように、ユーザ1の注視位置Eが相手のユーザ1に向かって移動したという入力情報が取得された場合に、位置提示制御が実行されてもよい(ステップ402のYes、ステップ403)。
例えば視線を向けたユーザ1を第1のユーザ、視線を向けられたユーザを第2のユーザとすると、位置提示制御として、第1のユーザの移動する前の注視位置Eが可視化される。これにより第2のユーザに、自分の注視位置(移動前の注視位置)を知らせることが可能となる。
あるいは視線を向けられたユーザを第1のユーザ、視線を向けたユーザを第2のユーザとして、第1のユーザの注視位置Eが可視化する位置提示制御が実行されてもよい。これにより相手を見ることで相手の注視位置Eを把握することが可能となる。
図12は、位置提示制御が実行される場合の他の例を示すフローチャートである。図12に示すように、少なくとも一方のユーザ1により所定の音声が入力された場合に、位置提示制御が実行されてもよい(ステップ502のYES、ステップ503)。すなわち第1及び第2のユーザの少なくとも一方による所定の音声情報が取得された場合に、取得された音声情報に基づいて位置提示制御が実行されてもよい。
例えば指示語を含む音声が入力された場合に、位置提示制御が実行される。例えば「これ」「それ」「あれ」等の指示語を発したユーザ1の注視位置Eが可視化される。これによりそのユーザ1が何を指し示しているかを把握することが可能となる。もちろん注視位置Eが重なる文章等のハイライト表示等も含まれる。また「これ」等の指示語に応じて、注視位置Eが重なっているコンテンツ等が選択されてもよい。その他、任意の位置提示制御が実行されてよい。ユーザ1の音声と連動して制御することで、共同操作の操作性をさらに向上させることが可能となる。
図13は、位置提示制御が実行される場合の他の例を示すフローチャートである。図13に示すように、少なくとも一方のユーザ1により所定のジェスチャが入力された場合に、位置提示制御が実行されてもよい(ステップ602のYES、ステップ603)。すなわち第1及び第2のユーザの少なくとも一方による所定のジェスチャ情報が取得された場合に、取得されたジェスチャ情報に基づいて位置提示制御が実行されてもよい。
例えばユーザ1が「リモコン50を手に取った」当該ユーザ1の注視位置Eが可視化される。これにより例えばどのメニューを見ている等を知ることが可能となり、リモコン50による操作の対象を把握することが可能となる。また「ユーザ1が席を外した」当該ユーザ1が直前までにどこを見ていたかが提示される。「ユーザ1同士が手を合わせた」場合に、各ユーザ1の注視位置Eが可視化される。このような任意の位置提示制御が実行されてよい。ユーザのジェスチャと連動して制御することで、共同操作の操作性をさらに向上させることが可能となる。
以上、本実施形態に係るコンテンツ提供装置10では、第1及び第2のユーザの少なくとも一方による所定の入力情報に基づいて、不可視状態にある第1のユーザの注視位置が第2のユーザに提示される。これにより第1及び第2のユーザによる共同操作の操作性が向上される。
例えば上記で例示したように、複数のユーザ1が共同作業をするとき、注視位置E(視線)から操作の合意を形成することが可能となる。例えば共同使用する機器を共同注視することで合意をとりながら一緒に操作を行うことも可能である。具体的には、相手の視線を共有し操作可能なタイミングを示唆すること、操作対象から相手への視線移動を取得し操作を実行すること、共同注視した対象を操作対象として特定すること、発話と連動して操作を特定すること等が可能となる。
また位置提示制御を介して、相手の意図を把握することも可能となる。例えば「ページをめくっていい?」等の言葉を交わすことなく、お互いのページをめくりたいという意図を自然に把握することが可能となる。例えば読み終わったタイミング、興味が一致したタイミングで、合意した操作としてページめくりやコンテンツの選択等が実行可能になる。すなわち本実施形態における位置提示制御により、互いの意図を伝え合うとことも可能となる。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記では、電子書籍40の表示を例に挙げたが、他の任意のコンテンツの提供に本技術は適用可能である。例えば所定の操作(視線の動き、音声、リアクション等を含む)が受付けられるまで進行しないコンテンツを、静止コンテンツとする。すなわち、静止コンテンツは、所定の操作が入力されるまで、(自動的に)進行することが少なくとも部分的に抑制されるコンテンツとして見做されてよい。上記で説明した電子書籍40も、ページ42がめくられないと読み進めることができないので、静止コンテンツに含まれる。なお、電子書籍40は、基本的には所定の操作が入力されない限り進行しないコンテンツ、すなわち全体として自動的には進行されないコンテンツとして見做すことができる。
この静止コンテンツとして作成された音楽コンテンツ、映像コンテンツ(動画コンテンツ)、及びWebコンテンツ等に含まれるアニメーション等に対しても、本技術は適用可能である。音楽コンテンツ、映像コンテンツ、及びアニメーション等を含むWebコンテンツ等は、自動的に進行する部分と所定の操作が入力されるまで進行しない部分とを含むコンテンツとして見做すことができる。例えばユーザ1による所定の入力情報、典型的には注視位置Eに関する入力情報が取得された場合に、コンテンツが進行する等の位置提示制御が実行される。もちろんこれに限定されない。
例えば図1に示すコンテンツ提供装置10により、電子書籍40の表示に代えて、音楽コンテンツが再生されるとする。すなわちコンテンツ提供装置10が、本技術にかかる再生オブジェクトとして機能するとする。図3のステップ102及び103にて、各ユーザ1の注視位置Eがコンテンツ提供装置10上にあるという入力情報に基づいて、位置提示制御が実行される。すなわちユーザ1がコンテンツ提供装置10を見た場合に、位置提示制御が実行される。
例えば再生される音楽コンテンツの区切りにおけるユーザ1の注視位置Eがコンテンツ提供装置10上にあるという入力情報に基づいて、位置提示制御が実行される。この場合、音楽コンテンツの区切りは所定の操作が入力されるまで進行しない部分と見做すことができる。例えば各曲の終わりや、アルバムの最後の曲の終わり等を音楽コンテンツの区切りとして、そのタイミングでユーザ1がコンテンツ提供装置10を見た場合に、次の曲や次のアルバムの1曲目が再生される。例えば複数のユーザ1の全員がコンテンツ提供装置10を見ることにより、次の曲等が再生される。これにより言葉を交わすこと等により次の曲を再生するか否かの合意を取る必要がなくなり、各ユーザ1の意図に合わせて自然に音楽コンテンツを再生することが可能となる。この結果、非常に高い操作性が発揮される。
なお各ユーザ1の視線情報が第1の視線情報に相当する。また次の曲を再生するといった位置提示制御を実行することで、例えばコンテンツ提供装置10上にあるユーザ1の注視位置Eが他のユーザ1(第2のユーザ)に提供される。なお静止コンテンツではない任意のコンテンツに対しても、本技術は適用可能であり、高い操作性を発揮させることが可能である。
また映像コンテンツが再生される場合でも同様の処理が可能である。例えば映像コンテンツの各チャプタの終わりや、作品の終わり等を映像コンテンツの区切りとして、そのタイミングでユーザ1がコンテンツ提供装置10を見た場合に、次のチャプタや次の作品が再生される。これにより、言葉を交わすこと等により次の作品を再生するか否かの合意を取る必要がなくなり、各ユーザ1の意図に合わせて自然に映像コンテンツを再生することが可能となる。この結果、非常に高い操作性が発揮される。
図14及び図15は、本技術に係る情報処理装置及び情報提供装置として使用可能なヘッドマウントディスプレイ(HMD)の構成例を示す斜視図である。
図18に示すHMD200は、透過型のディスプレイを備えたメガネ型の装置であり、ユーザ1の頭部に装着されて使用される。HMD200は、左右のレンズ201L及び201R、左眼用ディスプレイ202L及び右眼用ディスプレイ202R、左眼用カメラ203L及び右眼用カメラ203R、及びセンサ部204を有する。
左右のレンズ201L及び201Rは、ユーザの左眼及び右眼の前方にそれぞれ配置される。左眼用及び右眼用ディスプレイ202L及び202Rは、ユーザ1の視野を覆うように、左右のレンズ201L及び201Rにそれぞれ設けられる。
左眼用及び右眼用ディスプレイ202L及び202Rは、透過型のディスプレイであり、左眼及び右眼用の画像等がそれぞれ表示される。HMD200を装着するユーザ1は、現実の景色を視認すると同時に、各ディスプレイに表示される画像を視認することが可能となる。これにより、ユーザは拡張現実感(AR)等を体験することが可能となる。
なお、左眼用及び右眼用ディスプレイ202L及び202Rの外側(ユーザ1の眼とは反対の側)に、調光素子(図示省略)等が設けられてもよい。調光素子は、当該素子を透過する光の量を調節可能な素子である。調光素子を設けることで、例えば各ディスプレイを透過してユーザに視認される現実の景色を規制し、各ディスプレイに表示される画像を強調してユーザに視認させることが可能である。これにより、ユーザは仮想現実(VR)等を体験することが可能となる。
左眼用及び右眼用ディスプレイ202L及び202Rとしては、例えば透過型の有機ELディスプレイやLCD(Liquid Crystal Display、液晶表示素子)ディスプレイ等が用いられる。また調光素子としては、例えば透過率を電気的に制御可能な調光ガラス、調光シート、及び液晶シャッター等が用いられる。
左眼用及び右眼用カメラ203L及び203Rは、ユーザの左眼及び右眼を撮像可能な任意の位置に設けられる。例えば左眼用及び右眼用カメラ203L及び203Rにより撮影された左眼及び右眼の画像に基づいて、注視位置Eを示す視線情報が取得される。
左眼用及び右眼用カメラ203L及び203Rとしては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線LED等の赤外線照明を搭載した赤外線カメラが用いられてもよい。
センサ部204は、例えば加速度センサ、ジャイロセンサ及び地磁気センサ(9軸センサ)等を含み、ユーザ1の動きや姿勢(走行、歩行、停止等)を含む、上記したユーザ1の行動に関する情報を取得する。センサ部204により検出されるユーザ1の頭(顔)の向きに基づいて注視位置Eに示す視線情報が取得されてもよい。その他、センサ部204として、心拍センサ、発汗センサ、温度(体温)センサ、脳波センサ等の、ユーザ1の生体情報を取得可能なセンサが備えられてもよい。そしてユーザ1の生体情報の変化等を含む所定の入力情報の取得に基づいて、位置提示制御が実行されてもよい。
図19Aは、HMD300の外観を模式的に示す斜視図である。図19Bは、HMD300を分解した様子を模式的に示す斜視図である。HMD300は、ユーザ1の頭部に装着されるマウント部301と、ユーザ1の両眼の前方に配置されるディスプレイユニット302と、ディスプレイユニット302を覆うように構成されるカバー部303とを含む。HMD300は、ユーザの視野を覆うように構成された没入型のヘッドマウントディスプレイであり、仮想現実(VR)用のHMDとして用いられる。
これらHMD200及び300を装着することで体験可能な仮想空間内の仮想オブジェクトに対して、本技術が適用されてもよい。すなわち仮想オブジェクトに対する第1のユーザ(第2のユーザ)の第1の視線情報(第2の視線情報)が取得される。そして第1及び第2のユーザの少なくとも一方による所定の入力情報に基づいて、第1のユーザの仮想空間内における注視位置を第2のユーザに提示する位置提示制御が実行されてもよい。もちろんHMD200を装着してAR空間を体験している場合には、実空間の実オブジェクト、及びAR空間の仮想オブジェクトの両方に対して、本技術は適用可能である。
AR空間やVR空間等の仮想空間では、HMD200等を装着しているので、共同作業をする相手のユーザとのコミュニケーションをとる場合、相手の気配を感じることが難しい。従ってページめくりやコンテンツの選択等に関する合意をとることが難しい。上記した本技術に係る位置提示制御を実行することで、仮想空間においても、共同作業が容易となり高い作業性が発揮される。
情報提供装置として、任意の装置が用いられてよい。例えば図1に示すコンテンツ提供装置10等のような、画像表示機能及び音声出力機能の少なくとも一方を有する装置が用いられる。また図14及び図15に示すHMD200及び200のような、仮想現実画像及び拡張現実画像の少なくとも一方を表示可能な装置が用いられる。その他、例えばテレビジョン装置、PC(Personal computer)、スマートフォン、タブレット端末、オーディオビデオレシーバ、ビデオモニタ、又は家庭用ゲーム機器等の、種々のCE(Consumer Electronics)機器が用いられてよい。
図1に示すコンテンツ提供装置10は、本技術に係る情報処理装置及び情報提供装置の両方として機能した。そして位置提示制御部22により、コンテンツ提供装置10による位置提示制御が実行された。これに限定されることなく、本技術に係る情報処理装置及び情報提供装置がそれぞれ独立して構成され、ネットワーク等を介して通信可能に接続されてもよい。この場合、情報処理装置の位置提示制御部により、位置提示制御を行うように情報提供装置が制御される。
コンテンツを提供する対象となるユーザ1の数は限定されず、任意の数のユーザ1に対して、本技術は適用可能である。各々のユーザ1を第1のユーザとして場合の種々の位置提示制御を実行することが可能である。
上記ではユーザ1により操作されるコンテンツ提供装置10、HMD200及び300等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザ1が操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザ1が操作するコンピュータと、他のコンピュータとが連動して、本技術に係るコンテンツ提供システムが構築されてもよい。
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば第1のユーザ(第1のユーザ)の第1の視線情報(第2の視線情報)の取得、第1及び第2のユーザの少なくとも一方による所定の入力情報の取得、位置提示制御の実行、位置提示制御を実行させるための情報提供装置の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得する視線情報取得部と、
前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報を取得する入力情報取得部と、
前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置を制御する位置提示部と、
を備える情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記視線情報取得部は、前記所定のオブジェクトに対する前記第2のユーザの注視位置を示す第2の視線情報を取得し、
前記入力情報取得部は、前記所定の入力情報として、前記第1のユーザの注視位置と前記第2のユーザの注視位置との位置関係情報を取得し、
前記位置提示部は、前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記位置提示部は、前記第1のユーザの注視位置と前記第2のユーザの注視位置とが連動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
情報処理装置。
(4)(3)に記載の情報処理装置であって、
前記位置提示部は、前記第1のユーザの注視位置と前記第2のユーザの注視位置とが略同一方向に移動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
情報処理装置。
(5)(3)又は(4)に記載の情報処理装置であって、
前記位置提示部は、前記第1のユーザの注視位置と前記第2のユーザの注視位置とが略同時に移動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
情報処理装置。
(6)(2)から(5)のうちいずれか1つに記載の情報処理装置であって、
前記位置提示部は、前記第1のユーザの注視位置と前記第2のユーザの注視位置との距離が所定値以下であるという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記入力情報取得部は、前記所定の入力情報として、前記第1の視線情報を取得し、
前記位置提示部は、前記第1のユーザの注視位置が前記所定のオブジェクトの所定の位置にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
情報処理装置。
(8)(7)に記載の情報処理装置であって、
前記所定のオブジェクトの所定の位置は、前記所定のオブジェクトの周縁部である
情報処理装置。
(9)(7)又は(8)に記載の情報処理装置であって、
前記所定のオブジェクトは、所定のコンテンツを提供するオブジェクトであり、
前記所定のオブジェクトの所定の位置は、前記第1のユーザ及び前記第2のユーザに注視されている前記所定のコンテンツの途切れ位置である
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記所定のコンテンツは、所定の操作が入力されるまで、進行することが少なくとも部分的に抑制されるコンテンツである
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記所定のオブジェクトは、音楽コンテンツ又は動画コンテンツを再生する再生オブジェクトであり、
前記入力情報取得部は、前記所定の入力情報として、前記第1の視線情報を取得し、
前記位置提示部は、前記第1のユーザの注視位置が前記再生オブジェクト上にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
情報処理装置。
(12)(11)に記載の情報処理装置であって、
前記入力情報取得部は、前記所定の入力情報として、前記音楽コンテンツ又は前記動画コンテンツの区切りにおける前記第1の視線情報を取得し、
前記位置提示部は、前記音楽コンテンツ又は前記動画コンテンツの区切りにおける前記第1のユーザの注視位置が前記再生オブジェクト上にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
情報処理装置。
(13)(1)から(12)のうちいずれか1つに記載の情報処理装置であって、
前記入力情報取得部は、前記所定の入力情報として、前記第1の視線情報を取得し、
前記位置提示部は、前記第1のユーザの注視位置が前記第2のユーザに向かって移動したという前記所定の入力情報に基づいて、前記第1のユーザの移動する前の注視位置を可視化する前記位置提示制御を行うよう情報提供装置を制御する
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
前記入力情報取得部は、前記所定の入力情報として、前記第1のユーザ及び前記第2のユーザの少なくとも一方による音声情報を取得し、
前記位置提示部は、前記音声情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
情報処理装置。
(15)(14)に記載の情報処理装置であって、
前記位置提示部は、前記第1のユーザが発した指示語を含む前記音声情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
情報処理装置。
(1)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記入力情報取得部は、前記所定の入力情報として、前記第1のユーザ及び前記第2のユーザの少なくとも一方によるジェスチャ情報を取得し、
前記位置提示部は、前記ジェスチャ情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
情報処理装置。
(17)(1)から(16)のうちいずれか1つに記載の情報処理装置であって、
前記情報提供装置は、画像表示機能、及び音声出力機能の少なくとも一方を有する
情報処理装置。
(18)(1)から(17)のうちいずれか1つに記載の情報処理装置であって、
前記情報提供装置は、仮想現実画像、及び拡張現実画像の少なくとも一方を表示可能である
情報処理装置。
(19)所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得するステップと、
前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報を取得するステップと、
前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置を制御すステップと
をコンピュータシステムに実行させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
E、Ea、Eb…注視位置
1、1a、1b…ユーザ
10…コンテンツ提供装置
20…コントローラ
21…入力情報判定部
22…位置提示制御部
23…視線検出部
24…動作検出部
25…音声判定部
40…電子書籍
42…ページ
43…ページ閲覧済み領域
44、45…ポインタ
47…アイコン
48…アイコン領域
50…リモコン
200、300…HMD

Claims (19)

  1. 所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得する視線情報取得部と、
    前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報を取得する入力情報取得部と、
    前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置を制御する位置提示部と、
    を備え
    前記視線情報取得部は、前記所定のオブジェクトに対する前記第2のユーザの注視位置を示す第2の視線情報を取得し、
    前記入力情報取得部は、前記所定の入力情報として、前記第1のユーザの注視位置と前記第2のユーザの注視位置との位置関係情報を取得し、
    前記位置提示部は、前記第1のユーザの注視位置と前記第2のユーザの注視位置とが連動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    情報処理装置。
  2. 請求項に記載の情報処理装置であって、
    前記位置提示部は、前記第1のユーザの注視位置と前記第2のユーザの注視位置とが略同一方向に移動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    情報処理装置。
  3. 請求項に記載の情報処理装置であって、
    前記位置提示部は、前記第1のユーザの注視位置と前記第2のユーザの注視位置とが略同時に移動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    情報処理装置。
  4. 請求項に記載の情報処理装置であって、
    前記位置提示部は、前記第1のユーザの注視位置と前記第2のユーザの注視位置との距離が所定値以下であるという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    情報処理装置。
  5. 請求項1に記載の情報処理装置であって、
    前記入力情報取得部は、前記所定の入力情報として、前記第1の視線情報を取得し、
    前記位置提示部は、前記第1のユーザの注視位置が前記所定のオブジェクトの所定の位置にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
    情報処理装置。
  6. 請求項に記載の情報処理装置であって、
    前記所定のオブジェクトの所定の位置は、前記所定のオブジェクトの周縁部である
    情報処理装置。
  7. 請求項に記載の情報処理装置であって、
    前記所定のオブジェクトは、所定のコンテンツを提供するオブジェクトであり、
    前記所定のオブジェクトの所定の位置は、前記第1のユーザ及び前記第2のユーザに注視されている前記所定のコンテンツの途切れ位置である
    情報処理装置。
  8. 請求項に記載の情報処理装置であって、
    前記所定のコンテンツは、所定の操作が入力されるまで、進行することが少なくとも部分的に抑制されるコンテンツである
    情報処理装置。
  9. 請求項1に記載の情報処理装置であって、
    前記所定のオブジェクトは、音楽コンテンツ又は動画コンテンツを再生する再生オブジェクトであり、
    前記入力情報取得部は、前記所定の入力情報として、前記第1の視線情報を取得し、
    前記位置提示部は、前記第1のユーザの注視位置が前記再生オブジェクト上にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
    情報処理装置。
  10. 請求項に記載の情報処理装置であって、
    前記入力情報取得部は、前記所定の入力情報として、前記音楽コンテンツ又は前記動画コンテンツの区切りにおける前記第1の視線情報を取得し、
    前記位置提示部は、前記音楽コンテンツ又は前記動画コンテンツの区切りにおける前記第1のユーザの注視位置が前記再生オブジェクト上にあるという前記所定の入力情報に基づいて、前記位置提示制御を行うよう情報提供装置を制御する
    情報処理装置。
  11. 請求項1に記載の情報処理装置であって、
    前記入力情報取得部は、前記所定の入力情報として、前記第1の視線情報を取得し、
    前記位置提示部は、前記第1のユーザの注視位置が前記第2のユーザに向かって移動したという前記所定の入力情報に基づいて、前記第1のユーザの移動する前の注視位置を可視化する前記位置提示制御を行うよう情報提供装置を制御する
    情報処理装置。
  12. 請求項1に記載の情報処理装置であって、
    前記入力情報取得部は、前記所定の入力情報として、前記第1のユーザ及び前記第2のユーザの少なくとも一方による音声情報を取得し、
    前記位置提示部は、前記音声情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    情報処理装置。
  13. 請求項1に記載の情報処理装置であって、
    前記位置提示部は、前記第1のユーザが発した指示語を含む前記音声情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    情報処理装置。
  14. 請求項1に記載の情報処理装置であって、
    前記入力情報取得部は、前記所定の入力情報として、前記第1のユーザ及び前記第2のユーザの少なくとも一方によるジェスチャ情報を取得し、
    前記位置提示部は、前記ジェスチャ情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    情報処理装置。
  15. 請求項1に記載の情報処理装置であって、
    前記情報提供装置は、画像表示機能、及び音声出力機能の少なくとも一方を有する
    情報処理装置。
  16. 請求項1に記載の情報処理装置であって、
    前記情報提供装置は、仮想現実画像、及び拡張現実画像の少なくとも一方を表示可能である
    情報処理装置。
  17. コンピュータシステムが実行する情報処理方法であって、
    所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得する視線情報取得ステップと、
    前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報を取得する入力情報取得ステップと、
    前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置を制御する位置提示ステップと
    を含み、
    前記視線情報取得ステップは、前記所定のオブジェクトに対する前記第2のユーザの注視位置を示す第2の視線情報を取得し、
    前記入力情報取得ステップは、前記所定の入力情報として、前記第1のユーザの注視位置と前記第2のユーザの注視位置との位置関係情報を取得し、
    前記位置提示ステップは、前記第1のユーザの注視位置と前記第2のユーザの注視位置とが連動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    情報処理方法。
  18. コンピュータシステムに情報処理方法を実行させるプログラムであって、
    前記情報処理方法は、
    所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得する視線情報取得ステップと、
    前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報を取得する入力情報取得ステップと、
    前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置を制御する位置提示ステップと
    含み、
    前記視線情報取得ステップは、前記所定のオブジェクトに対する前記第2のユーザの注視位置を示す第2の視線情報を取得し、
    前記入力情報取得ステップは、前記所定の入力情報として、前記第1のユーザの注視位置と前記第2のユーザの注視位置との位置関係情報を取得し、
    前記位置提示ステップは、前記第1のユーザの注視位置と前記第2のユーザの注視位置とが連動しているという前記位置関係情報に基づいて、前記位置提示制御を行うよう前記情報提供装置を制御する
    プログラム。
  19. 所定のオブジェクトに対する第1のユーザの注視位置を示す第1の視線情報を取得する視線情報取得部と、
    前記第1のユーザ及び第2のユーザの少なくとも一方による所定の入力情報を取得する入力情報取得部と、
    前記所定の入力情報に基づいて、不可視状態にある前記第1のユーザの注視位置を前記第2のユーザに提示する位置提示制御を行うよう情報提供装置を制御する位置提示部と、
    を備え
    前記入力情報取得部は、前記所定の入力情報として、前記第1の視線情報を取得し、
    前記位置提示部は、前記第1のユーザの注視位置が前記第2のユーザに向かって移動したという前記所定の入力情報に基づいて、前記第1のユーザの移動する前の注視位置を可視化する前記位置提示制御を行うよう情報提供装置を制御する
    情報処理装置。
JP2019511084A 2017-04-03 2018-02-16 情報処理装置、情報処理方法、及びプログラム Active JP7099444B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017073448 2017-04-03
JP2017073448 2017-04-03
PCT/JP2018/005517 WO2018186031A1 (ja) 2017-04-03 2018-02-16 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018186031A1 JPWO2018186031A1 (ja) 2020-04-23
JP7099444B2 true JP7099444B2 (ja) 2022-07-12

Family

ID=63712464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019511084A Active JP7099444B2 (ja) 2017-04-03 2018-02-16 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11209900B2 (ja)
JP (1) JP7099444B2 (ja)
CN (1) CN110546601B (ja)
WO (1) WO2018186031A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140195A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN113508369A (zh) * 2019-04-01 2021-10-15 住友电气工业株式会社 交流支持系统、交流支持方法、交流支持程序以及图像控制程序
US11385726B2 (en) * 2020-06-01 2022-07-12 Science House LLC Systems, methods, and apparatus for enhanced presentation remotes
CN115735177A (zh) * 2020-06-30 2023-03-03 美国斯耐普公司 包括共享对象操纵ar体验的眼戴器
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
JP7296069B2 (ja) * 2021-01-28 2023-06-22 独立行政法人国立高等専門学校機構 視線入力装置、および視線入力方法
JPWO2023022109A1 (ja) * 2021-08-17 2023-02-23
JP7022250B1 (ja) 2021-10-04 2022-02-17 株式会社メディアドゥ バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の3次元表示制御プログラム、ならびに、情報処理方法
US11520457B1 (en) * 2021-11-18 2022-12-06 Motorola Mobility Llc Cursor position based on focus of a glasses device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107281A (ja) 2004-10-07 2006-04-20 Queen Mary & Westfield College コミュニケーション支援装置
JP2009514090A (ja) 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
JP2013114691A (ja) 2011-11-29 2013-06-10 Samsung Electronics Co Ltd 視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機
JP2014178933A (ja) 2013-03-15 2014-09-25 Konica Minolta Inc オブジェクト表示装置及び操作制御方法並びに操作制御プログラム
JP2015088086A (ja) 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置および情報処理方法
WO2015190093A1 (ja) 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
WO2016002445A1 (ja) 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016103109A (ja) 2014-11-27 2016-06-02 富士通株式会社 表示装置、表示方法及び表示プログラム
WO2016151958A1 (ja) 2015-03-20 2016-09-29 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9706711D0 (en) * 1997-04-02 1997-05-21 Philips Electronics Nv User interface with compound cursor
GB9800397D0 (en) * 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
JP2004246398A (ja) 2003-01-29 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> ユーザ意図推定装置,ユーザ意図推定方法,ユーザ意図推定プログラムおよびそのプログラムの記録媒体,並びに自動辞書引き装置,自動辞書引き処理方法,自動辞書引き処理プログラムおよびそのプログラムの記録媒体
US7727060B2 (en) * 2005-07-15 2010-06-01 Maurice Mills Land-based, on-line poker system
US8120577B2 (en) 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
US7774703B2 (en) * 2006-02-09 2010-08-10 Microsoft Corporation Virtual shadow awareness for multi-user editors
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US8723915B2 (en) * 2010-04-30 2014-05-13 International Business Machines Corporation Multi-participant audio/video communication system with participant role indicator
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
CA2847975A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
KR101872859B1 (ko) * 2012-01-20 2018-06-29 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US9245497B2 (en) * 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
EP2837639B1 (en) * 2013-08-12 2020-02-26 Shin-Etsu Chemical Co., Ltd. Method for dehydrating hydrous low-substituted hydroxypropyl cellulose and method for producing low-substituted hydroxypropyl cellulose by using same
CN105593785B (zh) * 2013-11-01 2019-11-12 英特尔公司 凝视辅助触摸屏输入
JP5968926B2 (ja) 2014-01-23 2016-08-10 京セラドキュメントソリューションズ株式会社 情報処理装置及び情報処理プログラム
KR20150096826A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 디스플레이 장치 및 제어 방법
KR102193029B1 (ko) * 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US20150338939A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink Modes
US20150364140A1 (en) * 2014-06-13 2015-12-17 Sony Corporation Portable Electronic Equipment and Method of Operating a User Interface
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9678567B2 (en) * 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
KR20160016468A (ko) * 2014-08-05 2016-02-15 삼성전자주식회사 리얼 3d 영상 생성 방법 및 그 장치
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
US20160147298A1 (en) * 2014-11-25 2016-05-26 Kobo Incorporated E-reading device page continuity bookmark indicium and invocation
US9300916B1 (en) * 2015-02-10 2016-03-29 International Business Machines Corporation Natural gazes during online video conversations
US10551913B2 (en) * 2015-03-21 2020-02-04 Mine One Gmbh Virtual 3D methods, systems and software
US10037312B2 (en) * 2015-03-24 2018-07-31 Fuji Xerox Co., Ltd. Methods and systems for gaze annotation
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US10186086B2 (en) * 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US9451210B1 (en) * 2015-12-10 2016-09-20 Google Inc. Directing communications using gaze interaction
US9691219B1 (en) * 2015-12-11 2017-06-27 Igt Canada Solutions Ulc Enhanced electronic gaming machine with electronic maze and eye gaze display
IL243422B (en) * 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US10133345B2 (en) * 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10481682B2 (en) * 2016-03-29 2019-11-19 Google Llc System and method for generating virtual marks based on gaze tracking
US10466474B2 (en) * 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
US10410421B2 (en) * 2016-09-13 2019-09-10 3I, Corporation Method and server for providing virtual reality image about object
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
US10142686B2 (en) * 2017-03-30 2018-11-27 Rovi Guides, Inc. System and methods for disambiguating an ambiguous entity in a search query based on the gaze of a user

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107281A (ja) 2004-10-07 2006-04-20 Queen Mary & Westfield College コミュニケーション支援装置
JP2009514090A (ja) 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
JP2013114691A (ja) 2011-11-29 2013-06-10 Samsung Electronics Co Ltd 視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機
JP2014178933A (ja) 2013-03-15 2014-09-25 Konica Minolta Inc オブジェクト表示装置及び操作制御方法並びに操作制御プログラム
JP2015088086A (ja) 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置および情報処理方法
WO2015190093A1 (ja) 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
WO2016002445A1 (ja) 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016103109A (ja) 2014-11-27 2016-06-02 富士通株式会社 表示装置、表示方法及び表示プログラム
WO2016151958A1 (ja) 2015-03-20 2016-09-29 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2018186031A1 (ja) 2020-04-23
CN110546601A (zh) 2019-12-06
US11209900B2 (en) 2021-12-28
US20200033942A1 (en) 2020-01-30
CN110546601B (zh) 2023-09-26
WO2018186031A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
JP7099444B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11520456B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
JP7092108B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11804041B2 (en) Method, device, and system for generating affordances linked to a representation of an item
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US20150213784A1 (en) Motion-based lenticular image display
US11733783B2 (en) Method and device for presenting a synthesized reality user interface
US20230333646A1 (en) Methods for navigating user interfaces
US20230384907A1 (en) Methods for relative manipulation of a three-dimensional environment
US20240020371A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20240103677A1 (en) User interfaces for managing sharing of content in three-dimensional environments
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20240103678A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240103679A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
WO2024064016A1 (en) Devices, methods, and user interfaces for gesture-based interactions
WO2024064036A1 (en) User interfaces for managing sharing of content in three-dimensional environments
WO2024064350A1 (en) User interfaces for capturing stereoscopic media
WO2024064180A1 (en) User interfaces that include representations of the environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220506

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7099444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151