JP7453652B2 - 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム - Google Patents
視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム Download PDFInfo
- Publication number
- JP7453652B2 JP7453652B2 JP2020187319A JP2020187319A JP7453652B2 JP 7453652 B2 JP7453652 B2 JP 7453652B2 JP 2020187319 A JP2020187319 A JP 2020187319A JP 2020187319 A JP2020187319 A JP 2020187319A JP 7453652 B2 JP7453652 B2 JP 7453652B2
- Authority
- JP
- Japan
- Prior art keywords
- participant
- virtual space
- sight
- line
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000000007 visual effect Effects 0.000 claims description 104
- 238000012545 processing Methods 0.000 claims description 81
- 238000001514 detection method Methods 0.000 claims description 76
- 239000002131 composite material Substances 0.000 claims description 19
- 210000001747 pupil Anatomy 0.000 claims description 7
- 238000013500 data storage Methods 0.000 description 32
- 238000005259 measurement Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- WLKVBNIHWHTLAI-XNJYKOPJSA-N gazer Chemical compound N=1C=NC=2N(C3C(C(O)C(CO)O3)O)C=NC=2C=1NC\C=C(/C)COC(C(C1OC2C(C(OC3C(C(O)C(O)C(CO)O3)OC3C(C(O)C(O)C(CO)O3)O)C(CO)O2)O)O)OC(CO)C1OC1OCC(O)C(O)C1O WLKVBNIHWHTLAI-XNJYKOPJSA-N 0.000 description 1
- LHDGISWXLILHQA-UHFFFAOYSA-N gazer Natural products CC(=C/CNc1ncnc2c1ncn2C3OC(CO)C(O)C3O)COC4OC(CO)C(OC5OC(CO)C(O)C5O)C(OC6OC(CO)C(OC7OC(CO)C(O)C(O)C7OC8OC(CO)C(O)C(O)C8O)C6O)C4O LHDGISWXLILHQA-UHFFFAOYSA-N 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
図4は、視線情報提示装置2における処理の流れを示したフローチャートであり、当該フローチャートを参照しつつ、視線情報提示システム1の処理について説明する。
Claims (8)
- 仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出部と、
前記注視対象検出部が検出する前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示部と、
を備え、
前記注視対象検出部は、
前記参加者の視線に関するデータと、前記参加者ごとの視野画像データとに基づいて、前記参加者が注視しているオブジェクトである注視対象オブジェクトを検出し、前記参加者の最新の視線と、1つ前の視線とが成す角度で表される視線の変化量が、予め定められる視線の変化量の閾値を超えている場合には、閾値を超えている視線の変化量に応じたオブジェクトの種類を検出対象のオブジェクトとし、前記視線の変化量が、前記閾値以下である場合には、閾値以下の視線の変化量に応じたオブジェクトの種類を検出対象のオブジェクトとし、前記検出対象のオブジェクトに応じて参加者毎に前記注視対象オブジェクトを検出する視線情報提示装置。 - 仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出部と、
前記注視対象検出部が検出する前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示部と、
を備え、
前記注視対象検出部は、
前記参加者の視線に関するデータと、前記参加者ごとの視野画像データとに基づいて、前記参加者が注視しているオブジェクトである注視対象オブジェクトを検出し、前記参加者と前記参加者の視線の方向に存在するオブジェクトとの間の距離と、前記参加者の瞳孔径とに基づいて算出される合焦度が、予め定められる合焦度閾値未満である場合には前記オブジェクトを前記注視対象オブジェクトとして検出しない視線情報提示装置。 - 前記表示部は、
前記参加者が複数である場合に注視している前記参加者の数が多い前記オブジェクトほど、又は、注視されている時間が長い前記オブジェクトほど、当該オブジェクトの特徴を強調する度合いを強くする、
請求項1又は2に記載の視線情報提示装置。 - 前記表示部は、
前記注視対象オブジェクトを示すデータに基づいて、前記仮想空間の生成に用いられる仮想空間データを加工する仮想空間加工部と、
前記仮想空間の場合には、前記仮想空間加工部が加工した前記仮想空間データに基づいて、前記参加者ごとの視野の領域に応じた前記仮想空間の視野画像データを生成し、前記複合空間の場合には、前記仮想空間加工部が加工した前記仮想空間データと、前記現実空間を撮影することにより得られる現実空間データとに基づいて、前記参加者ごとの視野の領域に応じた前記複合空間の視野画像データを生成する視野画像データ生成部と、
を備える請求項1から3のいずれか一項に記載の視線情報提示装置。 - 前記仮想空間加工部は、
前記注視対象オブジェクトのプロパティの設定値を変更する前記仮想空間データの加工を行い、
前記複合空間の場合に、前記注視対象オブジェクトが前記現実空間データに示されているオブジェクトである場合、
前記仮想空間加工部は、
前記注視対象オブジェクトに対応する仮想オブジェクトが、前記仮想空間において前記注視対象オブジェクトに重なって表示されるように前記仮想空間データを加工し、当該仮想オブジェクトのプロパティの設定値を変更する前記仮想空間データの加工を行う、
請求項4に記載の視線情報提示装置。 - 仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出ステップと、
検出した前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示ステップと、
を含み、
前記注視対象検出ステップにおいて、前記参加者の視線に関するデータと、前記参加者ごとの視野画像データとに基づいて、前記参加者が注視しているオブジェクトである注視対象オブジェクトを検出し、前記参加者の最新の視線と、1つ前の視線とが成す角度で表される視線の変化量が、予め定められる視線の変化量の閾値を超えている場合には、閾値を超えている視線の変化量に応じたオブジェクトの種類を検出対象のオブジェクトとし、前記視線の変化量が、前記閾値以下である場合には、閾値以下の視線の変化量に応じたオブジェクトの種類を検出対象のオブジェクトとし、前記検出対象のオブジェクトに応じて参加者毎に前記注視対象オブジェクトを検出する視線情報提示方法。 - 仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出ステップと、
検出した前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示ステップと、
を含み、
前記注視対象検出ステップにおいて、前記参加者の視線に関するデータと、前記参加者ごとの視野画像データとに基づいて、前記参加者が注視しているオブジェクトである注視対象オブジェクトを検出し、前記参加者と前記参加者の視線の方向に存在するオブジェクトとの間の距離と、前記参加者の瞳孔径とに基づいて算出される合焦度が、予め定められる合焦度閾値未満である場合には前記オブジェクトを前記注視対象オブジェクトとして検出しない視線情報提示方法。 - 請求項1から請求項5のいずれか一項に記載の視線情報提示装置としてコンピュータを実行させるための視線情報提示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020187319A JP7453652B2 (ja) | 2020-11-10 | 2020-11-10 | 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020187319A JP7453652B2 (ja) | 2020-11-10 | 2020-11-10 | 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022076762A JP2022076762A (ja) | 2022-05-20 |
JP7453652B2 true JP7453652B2 (ja) | 2024-03-21 |
Family
ID=81618140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020187319A Active JP7453652B2 (ja) | 2020-11-10 | 2020-11-10 | 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7453652B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022234724A1 (ja) * | 2021-05-06 | 2022-11-10 | 株式会社Nttドコモ | コンテンツ提供装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010268158A (ja) | 2009-05-13 | 2010-11-25 | Fujifilm Corp | 画像処理システム、画像処理方法およびプログラム |
JP2013196158A (ja) | 2012-03-16 | 2013-09-30 | Sony Corp | 制御装置、電子機器、制御方法、及びプログラム |
US20140361971A1 (en) | 2013-06-06 | 2014-12-11 | Pablo Luis Sala | Visual enhancements based on eye tracking |
US20160027218A1 (en) | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
JP2016509705A (ja) | 2012-12-19 | 2016-03-31 | クアルコム,インコーポレイテッド | 視線追跡を使用して拡張現実を可能にする |
WO2019187487A1 (ja) | 2018-03-28 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2020
- 2020-11-10 JP JP2020187319A patent/JP7453652B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010268158A (ja) | 2009-05-13 | 2010-11-25 | Fujifilm Corp | 画像処理システム、画像処理方法およびプログラム |
JP2013196158A (ja) | 2012-03-16 | 2013-09-30 | Sony Corp | 制御装置、電子機器、制御方法、及びプログラム |
JP2016509705A (ja) | 2012-12-19 | 2016-03-31 | クアルコム,インコーポレイテッド | 視線追跡を使用して拡張現実を可能にする |
US20140361971A1 (en) | 2013-06-06 | 2014-12-11 | Pablo Luis Sala | Visual enhancements based on eye tracking |
US20160027218A1 (en) | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
WO2019187487A1 (ja) | 2018-03-28 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022076762A (ja) | 2022-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3855288B1 (en) | Spatial relationships for integration of visual images of physical environment into virtual reality | |
US9654734B1 (en) | Virtual conference room | |
JP6340017B2 (ja) | 被写体と3次元仮想空間をリアルタイムに合成する撮影システム | |
JP5976019B2 (ja) | 写実的に表されたビューのテーマベースの拡張 | |
TW202119362A (zh) | 一種擴增實境資料呈現方法、電子設備及儲存介質 | |
JP6766824B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2019511067A5 (ja) | ||
US20200077157A1 (en) | Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program | |
US20210375052A1 (en) | Information processor, information processing method, and program | |
CN111679742A (zh) | 基于ar的交互控制方法、装置、电子设备及存储介质 | |
CN106980378B (zh) | 虚拟显示方法和系统 | |
WO2012007795A1 (en) | Three dimensional face modeling and sharing based on two dimensional images | |
JP7453652B2 (ja) | 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム | |
JP2019509540A (ja) | マルチメディア情報を処理する方法及び装置 | |
JP2022541534A (ja) | 仮想カメラと物理的カメラとの位置同期 | |
EP3141985A1 (en) | A gazed virtual object identification module, a system for implementing gaze translucency, and a related method | |
US10582190B2 (en) | Virtual training system | |
KR102009400B1 (ko) | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 | |
JP2020150519A (ja) | 注目度算出装置、注目度算出方法、および注目度算出プログラム | |
CN111651054A (zh) | 音效控制方法、装置、电子设备及存储介质 | |
WO2019150668A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CA2553937A1 (en) | Adaptive closed group caricaturing | |
JP6680886B2 (ja) | マルチメディア情報を表示する方法及び装置 | |
Nijholt | Perceptual Modifications in Augmented Reality: A Short Survey | |
US20220118358A1 (en) | Computer-readable recording medium, and image generation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7453652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |