JP7414731B2 - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7414731B2
JP7414731B2 JP2020559145A JP2020559145A JP7414731B2 JP 7414731 B2 JP7414731 B2 JP 7414731B2 JP 2020559145 A JP2020559145 A JP 2020559145A JP 2020559145 A JP2020559145 A JP 2020559145A JP 7414731 B2 JP7414731 B2 JP 7414731B2
Authority
JP
Japan
Prior art keywords
viewer
moving image
eye information
eye
abnormal pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020559145A
Other languages
English (en)
Other versions
JPWO2020116348A5 (ja
JPWO2020116348A1 (ja
Inventor
クマール ラヴィ
敬志 畑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2020116348A1 publication Critical patent/JPWO2020116348A1/ja
Publication of JPWO2020116348A5 publication Critical patent/JPWO2020116348A5/ja
Application granted granted Critical
Publication of JP7414731B2 publication Critical patent/JP7414731B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、動画像を描画する画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
動画像を描画して閲覧者に提示する画像処理システムにおいては、近年、仮想現実を実現するなどの目的で、ますます高解像度、高フレームレートの動画像を描画する要求が高まっている。
高解像度、高フレームレートの動画像を描画し、表示させようとすると、描画処理を行うプロセッサの処理負荷などに対する要求性能が高くなってしまう。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、閲覧者が閲覧する動画像の品質に影響を及ぼさないようにしつつ描画処理による負荷を軽減することのできる画像処理装置、画像処理システム、画像処理方法、及びプログラムを提供することにある。
本発明に係る画像処理装置は、動画像を閲覧する閲覧者の目の状態に関する目情報を取得する目情報取得部と、前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、前記決定された描画条件に従って前記動画像を描画する動画像描画部と、を含むことを特徴とする。
本発明に係る画像処理システムは、動画像を閲覧する閲覧者の目の状態を検出するセンサーと、前記センサーの検出結果を用いて、前記閲覧者の目の状態に関する目情報を取得する目情報取得部と、前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、前記決定された描画条件に従って前記動画像を描画する動画像描画部と、を含むことを特徴とする。
本発明に係る画像処理方法は、動画像を閲覧する閲覧者の目の状態に関する目情報を取得するステップと、前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、前記決定された描画条件に従って前記動画像を描画するステップと、を含むことを特徴とする。
本発明に係るプログラムは、動画像を閲覧する閲覧者の目の状態に関する目情報を取得するステップと、前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、前記決定された描画条件に従って前記動画像を描画するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る画像処理システムの全体概要図である。 表示装置の一例を示す図である。 本発明の実施の形態に係る画像処理装置の機能を示す機能ブロック図である。 垂直方向に沿った目の動きの検出結果の一例を示す図である。 フレーム画像の描画時間の一例を示す図である。 異常パターンが現れている垂直方向の目の動きの検出結果の一例を示す図である。 左右の目の視線方向のずれを示す検出結果の一例を示す図である。 描画条件決定部が実行する処理の流れの一例を示す図である。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る画像処理システム1の全体概要図である。画像処理システム1は、図1に示すように、画像処理装置10と、表示装置20と、を含んで構成されている。
画像処理装置10は、パーソナルコンピュータや家庭用ゲーム機などの情報処理装置であって、制御部11と、記憶部12と、インタフェース部13と、を含んで構成されている。制御部11は少なくとも一つのプロセッサを含んで構成され、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
インタフェース部13は、表示装置20との間のデータ通信のためのインタフェースである。画像処理装置10は、インタフェース部13を介して有線又は無線のいずれかで表示装置20と接続される。具体的にインタフェース部13は、画像処理装置10によって描画された動画像のデータを表示装置20に送信するために、HDMI(登録商標)(High-Definition Multimedia Interface)等のマルチメディアインタフェースを含むこととする。また、後述する眼電位センサー21によって検出された検出信号を受信するために、USB(Universal Serial Bus)等のデータ通信インタフェースを含んでいる。
表示装置20は、閲覧者に提示する動画像を表示するデバイスである。本実施形態では、表示装置20は閲覧者が頭部に装着して使用する頭部装着型の表示装置であることとする。表示装置20の閲覧者に相対する面には、眼電位センサー21が配置されている。
図2は、表示装置20を閲覧者に相対する側から見た様子の一例を示している。眼電位センサー21は、眼電位と呼ばれる人の目の周囲に生じる電位差を測定するセンサーである。このセンサーの検出結果を解析することで、閲覧者の視線の動きや瞬きなど、目の状態や動きを特定することができる。眼電位センサー21は、例えば閲覧者の鼻梁近傍や、左右の目のさらに外側のこめかみ近傍など、閲覧者の目の周囲の皮膚に接触するように配置される。眼電位センサー21の検出結果は、リアルタイムで画像処理装置10に送信される。
以下、本実施形態において画像処理装置10が実現する機能について、図3に基づいて説明する。図3に示されるように、画像処理装置10は、機能的に、目情報取得部31と、描画条件決定部32と、動画像描画部33と、を含んで構成されている。これらの機能は、制御部11が記憶部12に格納されているプログラムを実行することで実現される。このプログラムは、インターネット等の通信ネットワークを介して画像処理装置10に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
目情報取得部31は、表示装置20が動画像を表示している間、この動画像を閲覧中の閲覧者の目の状態に関する情報を取得する。特に本実施形態では、目情報取得部31は、閲覧者の瞬きのタイミングに関する情報(以下、瞬き情報という)をリアルタイムで取得し、描画条件決定部32に通知する。目情報取得部31は、眼電位センサー21の出力を解析することによって瞬き情報を取得することができる。
図4は、眼電位センサー21の検出結果から得られる眼電位図(EOG:electrooculogram)の一例である。このグラフにおいては、垂直方向(閲覧者の顔の上下方向)に沿った目の動きに関するEOGが示されている。なお、このEOGの値は、眼電位センサー21の検出結果に対してハイパスフィルタなど所定のフィルタリング処理を適用したものであってよい。また、ここでは閲覧者の左右それぞれの目について得られた検出結果を平均して得られる波形が示されている。
この図に示すように、閲覧者が行う無意識の瞬きにより、垂直方向の眼電位図は周期的な波形を示す。この波形において、ピークの立ち上がりが開始するタイミング(図中のTc)が、閲覧者が瞬きにより目を閉じ始めるタイミングを示している。また、ピークの立ち下がりが終わって再び値が増加し始めるタイミング(図中のTo)が、閲覧者が目を開き始めるタイミングを示している。このような波形を解析することにより、瞬きによって閲覧者が目を閉じ始めるタイミング、及び目を開き始めるタイミングをそれぞれ特定することができる。そこで目情報取得部31は、EOGの値の絶対値、及び/又は単位時間あたりの変化量などを監視し、目を閉じ始めるタイミング、及び開き始めるタイミングを特定した場合、直ちにその旨を瞬き情報として描画条件決定部32に通知する。
描画条件決定部32は、目情報取得部31が取得した瞬き情報を用いて、表示装置20に表示させている動画像の描画条件を決定する。特に描画条件決定部32は、所定時間おきに、動画像を構成するフレーム画像の描画を動画像描画部33に対して指示するものとする。後述する動画像描画部33は、描画条件決定部32からの描画指示を受け付けるごとに、次に表示すべき新たなフレーム画像を描画する。
さらに本実施形態において、描画条件決定部32は、閲覧者が無意識に瞬きを行って目を閉じている間、動画像の描画を抑制する。具体的に描画条件決定部32は、閲覧者が瞬きにより目を閉じ始めたことが目情報取得部31から通知されると、定期的なフレーム画像の描画指示を中断する。また、閲覧者が目を開き始めたことが目情報取得部31から通知されると、フレーム画像の描画指示を再開する。このような制御によれば、瞬きによって閲覧者が目を閉じていると想定される時間帯において、動画像を構成するフレーム画像の更新が中断されることになる。
動画像描画部33は、描画条件決定部32が決定した描画条件に従って、動画像の描画を行う。なお、動画像描画部33の少なくとも一部の機能は、例えばGPU(Graphics Processing Unit)などのように描画条件決定部32の機能を実現するプロセッサとは別のプロセッサによって実現されてもよい。具体的に、動画像描画部33は、描画条件決定部32から描画指示を受け付けるごとに、動画像を構成する新たなフレーム画像を描画し、表示装置20に対して出力する。一方、描画条件決定部32がフレーム画像の更新指示を中断している間は、フレーム画像を更新せず、直近の過去に描画されたフレーム画像を再表示し続けることとする。
図5は、フレーム画像の描画時間を示すグラフであり、図4の眼電位図が取得された時間帯におけるフレーム画像の描画制御の様子を示している。この図に示されるように、閲覧者が目を閉じ始めたタイミングから、閲覧者が目を開き始めたタイミングまでの間の時間帯は、描画条件決定部32の制御によってフレーム画像の描画が中断されている。これにより、フレーム画像の描画に伴うプロセッサの処理負荷や消費電力などを低減することができる。さらに、全体としてフレーム画像の描画頻度が低下することから、処理待ち時間を含めた各フレーム画像の描画時間(描画指示を受けてからフレーム画像を描画し終えるまでの時間)の平均を短縮することができる。
このような制御によれば、常に決まった時間間隔でフレーム画像の更新を継続する場合と比較して、フレーム画像の更新頻度(フレームレート)を全体として低くすることができ、描画処理に伴う処理負荷を軽減することができる。一方で、フレーム画像の更新が行われなくなるのは閲覧者が目を閉じているタイミングなので、フレームレートの低下が閲覧者に気づかれるおそれは低く、閲覧者が感じる動画像の品質には影響が少ない。
なお、動画像描画部33は、フレーム画像の更新を完全に中断してしまうのではなく、他の時間帯よりも低解像度でフレーム画像を描画することとしてもよい。この場合、描画条件決定部32は、閲覧者が瞬きにより目を閉じていると想定されている間は、低解像度でのフレーム画像の描画を動画像描画部33に指示する。低解像度で描画されたフレーム画像は、拡大されて他のフレーム画像と同じサイズで表示装置20に表示される。このような処理によっても、閲覧者が閲覧する動画像の品質に影響が生じないようにしつつ、描画処理に伴う処理負荷を低減できる。
また、以上の説明では閲覧者が目を閉じ始めたと特定されたタイミングでフレーム画像の描画処理を中断し、閲覧者が目を開き始めたと特定されたタイミングでフレーム画像の描画処理を再開することとした。しかしながらこれに限らず、描画条件決定部32は、フレーム画像の描画処理を中断し始めたタイミングから予め定められた時間が経過した際には、その時点における瞬き情報に関係なく、フレーム画像の描画処理を再開してもよい。閲覧者の意志に関係なく反射的に生じる瞬きの時間は、ほぼ一定であると想定される。そのため、フレーム画像の描画処理が中断される時間が予め定められた時間を超えないようにすることで、閲覧者が目を開き始めたタイミングが正確に特定できない場合にも、閲覧者が目を閉じていると推定される間だけフレーム画像の描画処理を中断させることができる。
描画条件決定部32は、以上説明したような瞬きのタイミングに応じてフレーム画像の描画処理を中断させる制御だけでなく、閲覧者の目の状態に関する情報を用いて閲覧者の酔いを低減する処理を実行してもよい。これにつき、以下に説明する。
頭部装着型の表示装置20が臨場感のある立体映像などを表示する場合、閲覧者が乗り物酔いのような症状を感じることがある。このような症状が発生する場合に、閲覧者が酔いの症状を自覚するよりも早い段階で、閲覧者の視線の動きや瞬きなどの無意識の目の動きに異常が現れることを本願発明者らは発見した。そこで本実施形態に係る画像処理装置10は、閲覧者の目の状態が異常に変化する異常パターンを検出し、このような異常パターンの検出に応じて酔いの症状を低減するような表示制御を行うことで、早期に酔いの症状を解消することができる。
この例において目情報取得部31は、閲覧者が動画像を閲覧している間、前述したような垂直方向のEOGの波形を監視する。そして、瞬きの発生頻度が変化するなど、EOGの波形に正常時の瞬きによるものと異なるパターン(異常パターン)が現れた場合、その旨を描画条件決定部32に通知する。このような判定を行うため、目情報取得部31は、閲覧者が表示装置20の使用を開始した直後など、まだ酔いが発生していないと想定されるタイミングで、正常時の瞬きのパターンを示すパラメータ(瞬きの発生間隔、ピークの大きさなど)の値を取得しても良い。こうすれば、正常時のパターンと比較して所定の閾値以上パラメータの値が異なる波形が観測された場合、異常パターンが発生したと判定することができる。
図6は、垂直方向のEOGに対して酔いによる異常パターンが発生している一例を示している。この図においてTxで示したタイミングで、通常の周期的な瞬きが開始せず、それまでと異なる異常パターンの波形が現れている。
ただし、閲覧者が意図的に瞬きをしたり、逆に瞬きを故意に止めたりするなど、酔いに起因する異常パターン以外にも他の要因で瞬きの異常パターンが発生することもある。そのため、描画条件決定部32は、異常パターンが検出された場合に直ちに酔いの低減処理を行うのではなく、異常パターンの波形が所定期間内に繰り返し検出された場合など、予め定められた条件を満たした場合に酔いの低減処理を行うこととしてもよい。また、瞬きの異常パターンの検出を、他の測定結果と組み合わせて、酔いの低減処理を行うか否か決定することとしてもよい。
具体例として、描画条件決定部32は、垂直方向のEOGによって特定される瞬きの異常パターンに加えて、水平方向(顔の左右方向)に沿った視線の動きの異常パターンに基づいて、酔いの症状が現れているか否かを判定してもよい。この例では、目情報取得部31は、垂直方向のEOGと同様に水平方向のEOGについても監視し、その検出結果に所定の異常パターンが検出された場合に、その旨を描画条件決定部32に通知する。水平方向のEOGは、主として閲覧者の左右それぞれの目の視線の動きを示している。
ここで、目情報取得部31は、左右それぞれの目についての水平方向のEOGの値の差分を算出することとする。図7は、このような水平方向のEOGの左右の差分の時間変動を示している。この差分の値は、左右の目の動きのずれを示しており、ずれが生じている場合、左右の目が互いに異なる動きをしていることになる。人が水平方向に沿っていずれかの方向に視線を向ける場合、左右の目の視線方向は同じように変化すると想定される。そのため、差分値に変化が生じた場合、人が意図的に視線の向きを変化させているのではなく、異常なマイクロサッカードが生じているなど、酔いに起因する症状が現れていると推定される。そこで目情報取得部31は、EOGの差分値によって示される左右の目の動きのずれが所定の閾値以上になった場合などに、視線移動についての異常パターンが発生したと判定し、その旨を描画条件決定部32に通知することとする。図7におけるTyは、このような異常パターンが現れたタイミングを示している。例えば描画条件決定部32は、瞬きの異常パターン、及び視線移動の異常パターンの双方が所定時間内に発生した場合に、酔いの初期症状が現れていると判定する。
描画条件決定部32は、目情報取得部31が通知する瞬きの異常パターンや視線移動の異常パターンに基づいて酔いの症状が現れていると判定した場合、酔いの低減処理を実行する。具体的には、酔いが生じにくくなるような動画像の描画処理を実行するよう、動画像描画部33に対して指示する。
このような酔いの低減処理の具体例としては、フレームレートを増加させる(フレーム画像の描画頻度を高くする)、ブラー効果などによりフレーム画像全体をぼかす、全体的なコントラストや彩度を下げるようにフレーム画像の色を変化させる、などの処理が挙げられる。また、各種のオブジェクトが配置された仮想空間内の様子を示す動画像が描画されている場合、仮想空間内の様子を描画する際の基準となる視点位置(視点カメラ)の移動速度を制御してもよい。具体的には、視点カメラの移動速度を低下させることで、酔いの症状を生じにくくさせることができる。
さらに、酔いの低減処理が実行されている間も、目情報取得部31は瞬きや視線移動の異常パターンを監視し続けることとする。描画条件決定部32は、所定時間にわたって異常パターンが発生しない状態が続けば、酔いの低減処理によって酔いの症状が緩和されたと判定し、酔いの低減処理を終了してもよい。
図8は、以上説明した描画条件決定部32が実行する処理の流れの一例を示している。この図では、所定のフレーム更新時間が経過するごとに描画条件決定部32が実行する処理の流れが示されている。まず描画条件決定部32は、現在描画処理を中断している状態か否かに応じて処理を分岐させる(S1)。描画処理を中断している状態でなければ、瞬きの開始(目を閉じ始めるタイミング)が目情報取得部31から通知されたか否かを判定する(S2)。瞬きの開始が通知されれば、フレーム画像の描画処理を中断する状態に遷移して(S3)、そのフレームの処理を終了する。一方、瞬きの開始が通知されていなければ、後述するS5に進んでフレーム画像の描画指示を行う。
S1で描画処理を中断している状態と判断された場合、瞬きの終了(目を開き始めるタイミング)が目情報取得部31から通知されたか否かを判定する(S4)。瞬きの終了が通知されれば、フレーム画像の描画処理を中断する状態を終了し、S5に進んで描画処理を再開する。一方、瞬きの終了が通知されていなければ、フレーム画像の描画処理を中断する状態を維持するので、そのフレームの処理は終了する。
フレーム画像の描画処理を実行する場合、続いて描画条件決定部32は、現在酔いの低減処理を実行中か否かに応じて処理を分岐させる(S5)。酔いの低減処理を実行中でない場合、酔いの初期症状を示す瞬きや視線移動の異常パターンが検出されたか否かを判定する(S6)。酔いに起因する異常パターンが発生していると判定される場合、酔いの低減処理を実行する状態に遷移し(S7)、酔いを低減するような条件でフレーム画像の描画を行うよう動画像描画部33に指示する(S8)。一方、酔いによる異常パターンが検出されていなければ、通常の条件でのフレーム画像描画を動画像描画部33に対して指示する(S9)。
S5で酔いの低減処理を実行中と判断された場合、目情報取得部31からの通知に基づいて酔いの症状が解消されたか否かを判定する(S10)。酔いに起因する異常パターンが所定時間検出されていないなど、酔いの症状が解消されたと判定される場合には、酔いの低減処理を終了し(S11)、通常の条件でのフレーム画像描画を動画像描画部33に対して指示する(S9)。一方、酔いの症状が解消されていない場合には、酔いの低減処理を継続する(S8)。
異常説明した本発明の実施形態に係る画像処理装置10によれば、閲覧者の瞬きの情報を用いてフレーム画像の描画を抑制することによって、描画に伴う処理負荷を軽減できる。また、閲覧者の目の状態に関する情報を利用することで、酔いの症状を早期に発見し、その対処を行うことができる。
なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、表示装置20は頭部装着型の表示装置であることとしたが、これに限らず、表示装置20は据え置き型のものであってもよい。その場合、眼電位センサー21は表示装置20とは分離独立したデバイスとして閲覧者に取り付けられるものであってよい。
また、閲覧者の目の動きに関する情報は、眼電位センサーに限らずその他のセンサーで取得されてもよい。例えば画像処理システム1は、閲覧者の目の位置に向けられたカメラデバイスによって撮像された映像を解析することによって、閲覧者の瞬きのタイミングや視線の動きを特定してもよい。
1 画像処理システム、10 画像処理装置、11 制御部、12 記憶部、13 インタフェース部、20 表示装置、21 眼電位センサー、31 目情報取得部、32 描画条件決定部、33 動画像描画部。

Claims (12)

  1. 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得する目情報取得部と、
    前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
    前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
    を含み、
    前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
    ことを特徴とする画像処理装置。
  2. 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得する目情報取得部と、
    前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
    前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
    を含み、
    前記目情報取得部は、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
    前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
    ことを特徴とする画像処理装置。
  3. 請求項1又は2に記載の画像処理装置において、
    前記目情報取得部は、前記閲覧者の瞬きのタイミングに関する目情報を取得し、
    前記描画条件決定部は、前記目情報に応じて決まる時間、前記動画像の描画処理を制限する
    ことを特徴とする画像処理装置。
  4. 請求項に記載の画像処理装置において、
    前記目情報取得部は、前記閲覧者が瞬きを開始するタイミングを特定し、
    前記描画条件決定部は、前記瞬きの開始に応じて、前記動画像の描画処理の制限を開始する
    ことを特徴とする画像処理装置。
  5. 請求項に記載の画像処理装置において、
    前記目情報取得部は、前記閲覧者が瞬きを終了するタイミングを特定し、
    前記描画条件決定部は、前記瞬きの終了に応じて、前記動画像の描画処理の制限を終了する
    ことを特徴とする画像処理装置。
  6. 請求項からのいずれか一項に記載の画像処理装置において、
    前記目情報取得部は、前記閲覧者に取り付けられた眼電位センサーの検出結果を用いて、前記目情報を取得する
    ことを特徴とする画像処理装置。
  7. 動画像を閲覧する閲覧者の目の状態を検出するセンサーと、
    前記センサーの検出結果を用いて、前記閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得する目情報取得部と、
    前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
    前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
    を含み、
    前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
    ことを特徴とする画像処理システム。
  8. 動画像を閲覧する閲覧者の目の状態を検出するセンサーと、
    動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得する目情報取得部と、
    前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
    前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
    を含み、
    前記目情報取得部は、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
    前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
    ことを特徴とする画像処理システム。
  9. 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得するステップと、
    前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
    前記決定された描画条件に従って前記動画像を描画するステップと、
    を含み、
    前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
    ことを特徴とする画像処理方法。
  10. 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得するステップと、
    前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
    前記決定された描画条件に従って前記動画像を描画するステップと、
    を含み、
    前記目情報を取得するステップでは、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
    前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
    ことを特徴とする画像処理方法。
  11. 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得するステップと、
    前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
    前記決定された描画条件に従って前記動画像を描画するステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
    プログラム
  12. 動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得するステップと、
    前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
    前記決定された描画条件に従って前記動画像を描画するステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記目情報を取得するステップでは、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
    前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
    プログラム。
JP2020559145A 2018-12-04 2019-11-29 画像処理装置、画像処理システム、画像処理方法、及びプログラム Active JP7414731B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018227190 2018-12-04
JP2018227190 2018-12-04
PCT/JP2019/046822 WO2020116348A1 (ja) 2018-12-04 2019-11-29 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2020116348A1 JPWO2020116348A1 (ja) 2021-10-28
JPWO2020116348A5 JPWO2020116348A5 (ja) 2022-12-06
JP7414731B2 true JP7414731B2 (ja) 2024-01-16

Family

ID=70975124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559145A Active JP7414731B2 (ja) 2018-12-04 2019-11-29 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220019790A1 (ja)
JP (1) JP7414731B2 (ja)
WO (1) WO2020116348A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4350682A4 (en) * 2021-06-03 2024-07-17 Sony Semiconductor Solutions Corp DISPLAY DEVICE, DISPLAY SYSTEM AND DISPLAY CONTROL METHOD

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120134543A1 (en) 2010-11-30 2012-05-31 Fedorovskaya Elena A Method of identifying motion sickness
JP2013110662A (ja) 2011-11-24 2013-06-06 Seiko Epson Corp 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
US20170178408A1 (en) 2015-12-22 2017-06-22 Google Inc. Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
JP2018514005A (ja) 2015-02-05 2018-05-31 株式会社ソニー・インタラクティブエンタテインメント 乗り物酔いの監視及び、酔いを抑えるための追加音の付与

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081416B2 (en) * 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
JP6406171B2 (ja) * 2015-08-25 2018-10-17 トヨタ自動車株式会社 瞬目検知装置
JP2019041841A (ja) * 2017-08-30 2019-03-22 株式会社トプコン 眼科装置、及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120134543A1 (en) 2010-11-30 2012-05-31 Fedorovskaya Elena A Method of identifying motion sickness
JP2013110662A (ja) 2011-11-24 2013-06-06 Seiko Epson Corp 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
JP2018514005A (ja) 2015-02-05 2018-05-31 株式会社ソニー・インタラクティブエンタテインメント 乗り物酔いの監視及び、酔いを抑えるための追加音の付与
US20170178408A1 (en) 2015-12-22 2017-06-22 Google Inc. Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image

Also Published As

Publication number Publication date
JPWO2020116348A1 (ja) 2021-10-28
US20220019790A1 (en) 2022-01-20
WO2020116348A1 (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
CN107949819B (zh) 用于基于眼扫视检测的动态图形渲染的装置和方法
US10281980B2 (en) System and method for eye-reactive display
US9319662B2 (en) Systems and methods for differentiating between dominant and weak eyes in 3D display technology
US11583178B2 (en) Systems and methods for evaluating contrast sensitivity and other visual metrics
US9486156B2 (en) Eye fatigue determination apparatus and eye fatigue determination method
US20200120322A1 (en) Image generating device, image display system, and image generating method
US20120086788A1 (en) Image processing apparatus, image processing method and program
EP2984628A1 (en) Head and eye tracking
WO2020016970A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7396681B2 (ja) 脳疾患の診断装置
JP7001832B2 (ja) 視標追跡システムの画像調整
JP7414731B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
WO2023011103A1 (zh) 参数控制方法、装置、头戴式显示设备以及存储介质
CN112949370A (zh) 眼睛事件检测
KR20160006337A (ko) 사용자의 눈 깜빡임을 유도하는 유도 영상 표시 방법, 장치, 및 컴퓨터 판독 가능한 기록매체
TWI684438B (zh) 偵測眼睛疲勞的方法
CN113534949B (zh) 头戴式显示设备及其控制方法
WO2020016969A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10503252B2 (en) System and method for eye-reactive display
KR102535639B1 (ko) 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
JP7467094B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017022302A1 (ja) 情報処理装置、情報処理方法およびプログラム
EP4418076A1 (en) Graphics rendering apparatus and method
US12042227B2 (en) System for assessing target visibility and trackability from eye movements
JP2018206253A (ja) 注視方向計測装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150