JP7414731B2 - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理システム、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7414731B2 JP7414731B2 JP2020559145A JP2020559145A JP7414731B2 JP 7414731 B2 JP7414731 B2 JP 7414731B2 JP 2020559145 A JP2020559145 A JP 2020559145A JP 2020559145 A JP2020559145 A JP 2020559145A JP 7414731 B2 JP7414731 B2 JP 7414731B2
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- moving image
- eye information
- eye
- abnormal pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 66
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 47
- 230000004397 blinking Effects 0.000 claims description 29
- 201000003152 motion sickness Diseases 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 15
- 238000002570 electrooculography Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 description 16
- 206010025482 malaise Diseases 0.000 description 15
- 230000004424 eye movement Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000011946 reduction process Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000035987 intoxication Effects 0.000 description 1
- 231100000566 intoxication Toxicity 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- User Interface Of Digital Computer (AREA)
Description
Claims (12)
- 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得する目情報取得部と、
前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
を含み、
前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理装置。 - 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得する目情報取得部と、
前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
を含み、
前記目情報取得部は、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理装置。 - 請求項1又は2に記載の画像処理装置において、
前記目情報取得部は、前記閲覧者の瞬きのタイミングに関する目情報を取得し、
前記描画条件決定部は、前記目情報に応じて決まる時間、前記動画像の描画処理を制限する
ことを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記目情報取得部は、前記閲覧者が瞬きを開始するタイミングを特定し、
前記描画条件決定部は、前記瞬きの開始に応じて、前記動画像の描画処理の制限を開始する
ことを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記目情報取得部は、前記閲覧者が瞬きを終了するタイミングを特定し、
前記描画条件決定部は、前記瞬きの終了に応じて、前記動画像の描画処理の制限を終了する
ことを特徴とする画像処理装置。 - 請求項1から5のいずれか一項に記載の画像処理装置において、
前記目情報取得部は、前記閲覧者に取り付けられた眼電位センサーの検出結果を用いて、前記目情報を取得する
ことを特徴とする画像処理装置。 - 動画像を閲覧する閲覧者の目の状態を検出するセンサーと、
前記センサーの検出結果を用いて、前記閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得する目情報取得部と、
前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
を含み、
前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理システム。 - 動画像を閲覧する閲覧者の目の状態を検出するセンサーと、
動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得する目情報取得部と、
前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
を含み、
前記目情報取得部は、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理システム。 - 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得するステップと、
前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
前記決定された描画条件に従って前記動画像を描画するステップと、
を含み、
前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理方法。 - 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得するステップと、
前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
前記決定された描画条件に従って前記動画像を描画するステップと、
を含み、
前記目情報を取得するステップでは、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理方法。 - 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得するステップと、
前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
前記決定された描画条件に従って前記動画像を描画するステップと、
をコンピュータに実行させるためのプログラムであって、
前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
プログラム。 - 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得するステップと、
前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
前記決定された描画条件に従って前記動画像を描画するステップと、
をコンピュータに実行させるためのプログラムであって、
前記目情報を取得するステップでは、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227190 | 2018-12-04 | ||
JP2018227190 | 2018-12-04 | ||
PCT/JP2019/046822 WO2020116348A1 (ja) | 2018-12-04 | 2019-11-29 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2020116348A1 JPWO2020116348A1 (ja) | 2021-10-28 |
JPWO2020116348A5 JPWO2020116348A5 (ja) | 2022-12-06 |
JP7414731B2 true JP7414731B2 (ja) | 2024-01-16 |
Family
ID=70975124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020559145A Active JP7414731B2 (ja) | 2018-12-04 | 2019-11-29 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220019790A1 (ja) |
JP (1) | JP7414731B2 (ja) |
WO (1) | WO2020116348A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4350682A4 (en) * | 2021-06-03 | 2024-07-17 | Sony Semiconductor Solutions Corp | DISPLAY DEVICE, DISPLAY SYSTEM AND DISPLAY CONTROL METHOD |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120134543A1 (en) | 2010-11-30 | 2012-05-31 | Fedorovskaya Elena A | Method of identifying motion sickness |
JP2013110662A (ja) | 2011-11-24 | 2013-06-06 | Seiko Epson Corp | 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法 |
US20170178408A1 (en) | 2015-12-22 | 2017-06-22 | Google Inc. | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
JP2018514005A (ja) | 2015-02-05 | 2018-05-31 | 株式会社ソニー・インタラクティブエンタテインメント | 乗り物酔いの監視及び、酔いを抑えるための追加音の付与 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9081416B2 (en) * | 2011-03-24 | 2015-07-14 | Seiko Epson Corporation | Device, head mounted display, control method of device and control method of head mounted display |
JP6406171B2 (ja) * | 2015-08-25 | 2018-10-17 | トヨタ自動車株式会社 | 瞬目検知装置 |
JP2019041841A (ja) * | 2017-08-30 | 2019-03-22 | 株式会社トプコン | 眼科装置、及びその制御方法 |
-
2019
- 2019-11-29 US US17/294,851 patent/US20220019790A1/en not_active Abandoned
- 2019-11-29 WO PCT/JP2019/046822 patent/WO2020116348A1/ja active Application Filing
- 2019-11-29 JP JP2020559145A patent/JP7414731B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120134543A1 (en) | 2010-11-30 | 2012-05-31 | Fedorovskaya Elena A | Method of identifying motion sickness |
JP2013110662A (ja) | 2011-11-24 | 2013-06-06 | Seiko Epson Corp | 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法 |
JP2018514005A (ja) | 2015-02-05 | 2018-05-31 | 株式会社ソニー・インタラクティブエンタテインメント | 乗り物酔いの監視及び、酔いを抑えるための追加音の付与 |
US20170178408A1 (en) | 2015-12-22 | 2017-06-22 | Google Inc. | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020116348A1 (ja) | 2021-10-28 |
US20220019790A1 (en) | 2022-01-20 |
WO2020116348A1 (ja) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107949819B (zh) | 用于基于眼扫视检测的动态图形渲染的装置和方法 | |
US10281980B2 (en) | System and method for eye-reactive display | |
US9319662B2 (en) | Systems and methods for differentiating between dominant and weak eyes in 3D display technology | |
US11583178B2 (en) | Systems and methods for evaluating contrast sensitivity and other visual metrics | |
US9486156B2 (en) | Eye fatigue determination apparatus and eye fatigue determination method | |
US20200120322A1 (en) | Image generating device, image display system, and image generating method | |
US20120086788A1 (en) | Image processing apparatus, image processing method and program | |
EP2984628A1 (en) | Head and eye tracking | |
WO2020016970A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7396681B2 (ja) | 脳疾患の診断装置 | |
JP7001832B2 (ja) | 視標追跡システムの画像調整 | |
JP7414731B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
WO2023011103A1 (zh) | 参数控制方法、装置、头戴式显示设备以及存储介质 | |
CN112949370A (zh) | 眼睛事件检测 | |
KR20160006337A (ko) | 사용자의 눈 깜빡임을 유도하는 유도 영상 표시 방법, 장치, 및 컴퓨터 판독 가능한 기록매체 | |
TWI684438B (zh) | 偵測眼睛疲勞的方法 | |
CN113534949B (zh) | 头戴式显示设备及其控制方法 | |
WO2020016969A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10503252B2 (en) | System and method for eye-reactive display | |
KR102535639B1 (ko) | 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
JP7467094B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2017022302A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
EP4418076A1 (en) | Graphics rendering apparatus and method | |
US12042227B2 (en) | System for assessing target visibility and trackability from eye movements | |
JP2018206253A (ja) | 注視方向計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7414731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |