JP6970757B2 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP6970757B2 JP6970757B2 JP2019562896A JP2019562896A JP6970757B2 JP 6970757 B2 JP6970757 B2 JP 6970757B2 JP 2019562896 A JP2019562896 A JP 2019562896A JP 2019562896 A JP2019562896 A JP 2019562896A JP 6970757 B2 JP6970757 B2 JP 6970757B2
- Authority
- JP
- Japan
- Prior art keywords
- sight
- line
- user
- candidate
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
1.動くオブジェクト
2.発話オブジェクト
3.静止オブジェクト
4.非発話オブジェクト
例えば、視線制御部14は、オブジェクトの大きさに基づいて指標値又は閾値を調整してもよい。図7は、仮想空間Vにおいて、幅がw1、高さがh1の矩形状の物体オブジェクト22Cと、幅がw2(<w1)、高さがh2(<h1)の矩形状の物体オブジェクト22Dとが互いに隣接している状態を示している。なお、図7は、視線制御の対象となるユーザオブジェクト21から見た仮想空間Vの画像(視界)を概略的に示している。ここで、物体オブジェクト22C,22Dには、それぞれの中心点に候補点Pが設定されている。また、この例では、上記ユーザオブジェクト21の仮視線31は視点(注視点)P0を示す情報を含んでおり、視線制御部14は、視点P0と各オブジェクトの候補点Pとの距離d1,d2を上記実施形態で説明した指標値として使用する。
d1new=d1−√(w12+h12)/2 …(式1)
d2new=d2−√(w22+h22)/2 …(式2)
Th1=Th+√(w12+h12)/2 …(式3)
Th2=Th+√(w22+h22)/2 …(式4)
また、視線制御部14は、ユーザオブジェクト21の視線を向ける先として決定された候補オブジェクトが動くオブジェクトである場合、当該候補オブジェクトの移動態様に基づいて、ユーザオブジェクト21の視線を当該候補オブジェクトに向けるか否かを決定してもよい。例えば、動くオブジェクトである候補オブジェクトが、単位時間当たりに一定の距離以上移動する移動態様である場合(例えば、所定の閾値距離を所定の閾値速度以上で移動する場合)、ユーザの動作情報から得られた視線(仮視線31)と調整後の視線(当該候補オブジェクトを向く視線)とが瞬間的に大きく乖離してしまうことになる。また、極めて高速に移動するオブジェクトの動きに実際のユーザの視線が完全に追従することは、ほとんどない(又は不可能である)。
また、視線制御部14は、仮視線31に基づいて仮想空間Vの一部を構成する範囲を決定し、当該範囲に含まれるオブジェクトを抽出し、仮視線31と抽出されたオブジェクトとの位置関係に基づいて、ユーザオブジェクト21の視線を制御してもよい。図8は、仮視線31に基づいて決定されるオブジェクトの抽出範囲の一例を示している。図8の例では、視線制御部14は、仮視線31の視点P0から半径rの球状領域を、上述した範囲Rとして決定している。この例では、当該範囲Rに含まれるユーザオブジェクト21C及び物体オブジェクト22E,22F,22G(これらの候補点P)が、ユーザオブジェクト21の視線を向ける先の候補として抽出される。そして、これ以外のオブジェクトについては、ユーザオブジェクト21の視線を向ける先の候補から除外され、上述した閾値の比較等の処理は行われない。
Claims (9)
- 表示装置を装着した複数のユーザの各々に対応付けられた仮想空間上のユーザオブジェクトの動作を制御する情報処理装置であって、
実空間で検出された第1ユーザの頭部及び目の動作情報を取得する動作情報取得部と、
前記動作情報に基づいて、前記第1ユーザに対応付けられた第1ユーザオブジェクトの仮視線を決定する仮視線決定部と、
前記仮視線と前記仮想空間上の一以上のオブジェクトとの位置関係に基づいて、前記第1ユーザオブジェクトの視線を制御する視線制御部と、
前記第1ユーザとは異なる第2ユーザに対応付けられた第2ユーザオブジェクトの視界に応じた画像であって、前記視線制御部により制御された視線が適用された前記第1ユーザオブジェクトを含む画像を、前記第2ユーザに装着された前記表示装置に表示させる画像として生成する画像生成部と、
を備える情報処理装置。 - 前記視線制御部は、前記仮視線と前記オブジェクトとの距離を示す指標値を算出して前記指標値と所定の閾値とを比較し、前記指標値が前記閾値以下となる前記オブジェクトである候補オブジェクトが存在する場合、前記候補オブジェクトを向くように前記第1ユーザオブジェクトの視線を制御する、
請求項1に記載の情報処理装置。 - 前記視線制御部は、前記候補オブジェクトが複数存在する場合、各前記候補オブジェクトの種別及び状態の少なくとも一方に基づいて、一の前記候補オブジェクトを選択し、当該一の前記候補オブジェクトを向くように前記第1ユーザオブジェクトの視線を制御する、
請求項2に記載の情報処理装置。 - 前記仮想空間上で動いている物体を示すオブジェクトには、前記仮想空間上で動いていない物体を示すオブジェクトよりも高い優先度が設定されており、
前記視線制御部は、前記候補オブジェクトが複数存在する場合、前記優先度に基づいて前記第1ユーザオブジェクトの視線を向ける先となる前記候補オブジェクトを決定し、決定された前記候補オブジェクトを向くように前記第1ユーザオブジェクトの視線を制御する、
請求項3に記載の情報処理装置。 - 発話しているユーザに対応付けられたオブジェクトには、発話していないユーザに対応付けられたオブジェクトよりも高い優先度が設定されており、
前記視線制御部は、前記候補オブジェクトが複数存在する場合、前記優先度に基づいて前記第1ユーザオブジェクトの視線を向ける先となる前記候補オブジェクトを決定し、決定された前記候補オブジェクトを向くように前記第1ユーザオブジェクトの視線を制御する、
請求項3に記載の情報処理装置。 - 前記視線制御部は、前記オブジェクトの大きさに基づいて前記指標値又は前記閾値を調整する、
請求項2〜5のいずれか一項に記載の情報処理装置。 - 前記視線制御部は、前記候補オブジェクトが前記仮想空間上で動いているオブジェクトである場合、当該候補オブジェクトの移動態様に基づいて、前記第1ユーザオブジェクトの視線を当該候補オブジェクトに向けるか否かを決定する、
請求項2〜6のいずれか一項に記載の情報処理装置。 - 前記視線制御部は、前記第1ユーザが発話中であるか否かを判定し、前記第1ユーザが発話中である場合には、発話中のユーザに対応付けられたユーザオブジェクトについて予め定められた制御内容に基づいて、前記第1ユーザオブジェクトの視線を制御する、
請求項1〜7のいずれか一項に記載の情報処理装置。 - 前記視線制御部は、前記仮視線に基づいて前記仮想空間の一部を構成する範囲を決定し、前記範囲に含まれる前記オブジェクトを抽出し、前記仮視線と抽出された前記オブジェクトとの位置関係に基づいて、前記第1ユーザオブジェクトの視線を制御する、
請求項1〜8のいずれか一項に記載の情報処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249037 | 2017-12-26 | ||
JP2017249037 | 2017-12-26 | ||
PCT/JP2018/044297 WO2019130992A1 (ja) | 2017-12-26 | 2018-11-30 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019130992A1 JPWO2019130992A1 (ja) | 2020-12-17 |
JP6970757B2 true JP6970757B2 (ja) | 2021-11-24 |
Family
ID=67067238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019562896A Active JP6970757B2 (ja) | 2017-12-26 | 2018-11-30 | 情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11282481B2 (ja) |
JP (1) | JP6970757B2 (ja) |
WO (1) | WO2019130992A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019154510A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
WO2019154511A1 (en) * | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
WO2019154509A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
EP3979896A1 (en) | 2019-06-05 | 2022-04-13 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
CN110968194A (zh) * | 2019-11-28 | 2020-04-07 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
JP7380365B2 (ja) * | 2020-03-19 | 2023-11-15 | マツダ株式会社 | 状態推定装置 |
US20240069702A1 (en) * | 2021-01-21 | 2024-02-29 | Sony Group Corporation | Information processing apparatus and information processing method |
US11681364B1 (en) * | 2021-06-29 | 2023-06-20 | Amazon Technologies, Inc. | Gaze prediction |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09153146A (ja) | 1995-09-28 | 1997-06-10 | Toshiba Corp | 仮想空間表示方法 |
JPH11161815A (ja) * | 1997-07-02 | 1999-06-18 | Sega Enterp Ltd | 立体視の表示装置及びその画像処理を行うプログラムを記録した記録媒体 |
JP2000020753A (ja) * | 1998-07-07 | 2000-01-21 | Mitsubishi Electric Corp | 仮想空間制御装置 |
JP6706473B2 (ja) | 2015-09-14 | 2020-06-10 | 株式会社コーエーテクモゲームス | 情報処理装置、表示制御方法、及び表示制御プログラム |
US10762688B2 (en) * | 2016-02-17 | 2020-09-01 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
WO2018097089A1 (ja) * | 2016-11-24 | 2018-05-31 | Groove X株式会社 | 瞳を変化させる自律行動型ロボット |
US10438394B2 (en) * | 2017-03-02 | 2019-10-08 | Colopl, Inc. | Information processing method, virtual space delivering system and apparatus therefor |
JP6276882B1 (ja) * | 2017-05-19 | 2018-02-07 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US11430437B2 (en) * | 2017-08-01 | 2022-08-30 | Sony Corporation | Information processor and information processing method |
-
2018
- 2018-11-30 US US16/957,581 patent/US11282481B2/en active Active
- 2018-11-30 JP JP2019562896A patent/JP6970757B2/ja active Active
- 2018-11-30 WO PCT/JP2018/044297 patent/WO2019130992A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2019130992A1 (ja) | 2020-12-17 |
WO2019130992A1 (ja) | 2019-07-04 |
US20200335065A1 (en) | 2020-10-22 |
US11282481B2 (en) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6970757B2 (ja) | 情報処理装置 | |
JP7336005B2 (ja) | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 | |
US11194388B2 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
US11983823B2 (en) | Transmodal input fusion for a wearable system | |
JP7200195B2 (ja) | 感覚式アイウェア | |
EP3616050B1 (en) | Apparatus and method for voice command context | |
EP2972559B1 (en) | Methods and apparatus for displaying images on a head mounted display | |
US9798517B2 (en) | Tap to initiate a next action for user requests | |
US9153195B2 (en) | Providing contextual personal information by a mixed reality device | |
JP7092108B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2019130991A1 (ja) | 情報処理装置 | |
US10241571B2 (en) | Input device using gaze tracking | |
KR20150128386A (ko) | 디스플레이 장치 및 그의 화상 통화 수행 방법 | |
US10423833B2 (en) | Setting a personal status using augmented reality | |
WO2024167816A1 (en) | Generating an avatar expression | |
KR20170093631A (ko) | 적응적 컨텐츠 출력 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6970757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |