JP6479272B1 - 視線方向較正装置、視線方向較正方法および視線方向較正プログラム - Google Patents
視線方向較正装置、視線方向較正方法および視線方向較正プログラム Download PDFInfo
- Publication number
- JP6479272B1 JP6479272B1 JP2018529196A JP2018529196A JP6479272B1 JP 6479272 B1 JP6479272 B1 JP 6479272B1 JP 2018529196 A JP2018529196 A JP 2018529196A JP 2018529196 A JP2018529196 A JP 2018529196A JP 6479272 B1 JP6479272 B1 JP 6479272B1
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- gaze
- user
- line
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 62
- 238000005259 measurement Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
Abstract
Description
一般に、計測された視線方向には計測誤差が含まれる。そのため、計測された視線方向を利用する場合には、計測された視線方向に含まれた計測誤差を較正する技術が合わせて用いられる。
実施の形態1.
図1は、実施の形態1に係る視線方向較正装置100の構成を示すブロック図である。
視線方向較正装置100は、較正情報取得部101、サンプル取得部102、較正モデル生成部103、較正パラメータ算出部104、較正値算出部105、較正パラメータ蓄積部106a、視線方向蓄積部106bおよび視線方向判定部107を備える。
また、視線方向較正装置100は、視線計測装置201および入力装置202と接続される。
視線方向較正装置100は、車両内の乗員の計測された視線方向の較正、または、机上のディスプレイもしくはユーザの頭部に固定されたディスプレイ等を視認するユーザに対して計測された視線方向の較正等、較正用注視対象とユーザの相対位置が固定的であると見做される場合に広く適用可能である。
較正用注視対象は、少なくとも較正の自由度を満たし得る任意の数を設定する。例えば、視線方向較正装置100が車両に適用され、車両の運転者の視線方向を較正する場合において、視線方向計測の基準方向と較正用の基準方向とのなす角を示す回転パラメータ(後述する式(1)におけるρ)が事前に把握されており、また運転席の左右方向の位置(式(1)におけるxtargetのx成分)が固定的であり事前に把握されていると仮定する。この場合、較正の自由度はユーザ位置の前後方向と上下方向の2自由度(式(1)におけるxtargetのy,z成分)であり、さらに、視線計測装置201が視線のヨー方向とピッチ方向を提供すると仮定すれば2自由度の計測値が得られるため、較正用注視対象は少なくとも1つあればよい。以下の説明では回転パラメータ(ρ)は未知であり、較正用注視対象が複数である場合を一例として説明する。なお、一般的には較正用注視対象の数が増えるに従って、算出される較正パラメータの精度が向上する。
なお、視線方向の基準、即ち視線計測装置201のゼロ点における真の視線方向は、最も簡単にはユーザの正面方向に平行な方向であることが望ましい。ただし、視線方向の基準を較正対象に含める構成においては、視線方向の基準は未知であってもよい。この場合は、後述の較正処理により、任意に指定した方位、例えば後述するY軸を基準として較正後の視線方向が算出される。サンプル取得部102は、取得したサンプルを、較正モデル生成部103に出力する。
図2Aおよび図2Bは、実施の形態1に係る視線方向較正装置100のハードウェア構成例を示す図である。
視線方向較正装置100における、較正パラメータ蓄積部106aおよび視線方向蓄積部106bは、ストレージ100aにより実現される。視線方向較正装置100における較正情報取得部101、サンプル取得部102、較正モデル生成部103、較正パラメータ算出部104、較正値算出部105および視線方向判定部107の各機能は、処理回路により実現される。即ち、視線方向較正装置100は、上記各機能を実現するための処理回路を備える。当該処理回路は、図2Aに示すように専用のハードウェアである処理回路100bであってもよいし、図2Bに示すようにメモリ100dに格納されているプログラムを実行するプロセッサ100cであってもよい。
メモリ100dは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
図3は、実施の形態1に係る視線方向較正装置100において使用される3次元座標を示す図である。図3では、一例として、視線方向較正装置100が車両の運転者の視線方向を較正する場合について説明する。
座標軸は、車両300の車幅方向をX軸とし、車両300の進行方向をY軸とし、車両300が走行する路面に対して垂直方向をZ軸とする。X軸は、車両の進行方向に向かって右側に向かう方向を正とし、Y軸は、車両の進行方向に向かう方向を正としている。Z軸は、路面の上方に向かう方向を正としている。3次元座標の原点Oは、車両300に搭載された視線計測装置201の中心位置である。図3では、視線計測装置201における計測の基準方向を、X−Y平面に投影した場合の方向をX−Y平面上のR軸で示している。なお、上述の通り、ここでは、回転パラメータ(ρ)は未知としているため、視線計測装置201の基準方向も未知である。
なお、図3で示した座標軸の設定は一例であり、座標軸の原点の設定、および座標軸の向き等は適宜変更可能である。
また、他の方法として、運転者302が、車両300の走行時に安全確認等のために頻繁に注視している点などから左サイドミラー304等を注視している状態を推定することで、運転者302が較正用注視対象を注視している状態としてもよい。
図4および図5は、実施の形態1に係る視線方向較正装置100の較正モデル生成部103の処理を示す説明図である。
較正情報取得部101は、較正用注視対象である右サイドミラー303の中心点の3次元座標(RX,RY,RZ)、左サイドミラー304の中心点の3次元座標(LX,LY,LZ)およびバックミラー305の中心点の3次元座標(FX,FY,FZ)を取得し、較正モデル生成部103に出力する。
図4および図5では、運転者302が左サイドミラー304を注視している状態を例に、較正モデルの生成について説明を行うと共に、較正パラメータの算出について説明を行う。
また、式(2)におけるρは、回転パラメータであり、視線計測装置201における計測の基準方向と、較正後の視線の基準方向(ここではY軸)とのなす角の角度である。ρyawは、視線計測装置201における計測の基準方向とY軸とのなす角の角度であって、Z軸を中心とした回転角度を示す。ρpitchは、Y−Z平面に投影した場合の視線計測装置201における計測の基準方向とY軸とのなす角の角度である。
図4の例では、θyawおよびρyawを示している。
なお、上述した式(1)の較正処理の定式化は、説明のための一例である。
図示していないが、視線方向ベクトルvpovのz成分も同様に、θpitchおよびρpitchを用いて表される。
較正値算出部105は、サンプル取得部102から入力された視線方向θに対して較正後の視線方向θ´=(θ−ρ)を算出する。較正値算出部105は、算出した較正後の視線方向θ´を、視線方向蓄積部106に蓄積するか、または、視線方向判定部107に出力する。
xtarget=xhead−svpov (1a)
このxtarget
は、計測された視線方向θと較正用パラメータとに基づく、較正後の視線方向を示す直線を表している。較正値算出部105は、取得した直線xtargetを視線方向判定部107に出力する。
このように、判定用注視対象Pと運転者302との距離に応じて閾値を設定することにより、視線方向判定部107は、運転者302が自身から近い地点を視認している際の視線方向のずれと、運転者302が自身から遠い地点を視認している際の視線方向のずれとを考慮し、視線方向を判定することができる。
なお、上記では、ユーザが判定用注視対象を視認しているか否かを判定する際の閾値を、判定用注視対象Pと運転者302との距離に基づいて設定する場合を例に示したが、その他の条件に基づいて閾値を設定してもよい。
以下では、視線方向較正装置100の動作を、較正パラメータ算出処理を行う動作と、視線方向の較正処理および視線方向の判定処理を行う動作とに分けて説明する。
まず、較正パラメータ算出処理について、図7のフローチャートを参照しながら説明する。
図7は、実施の形態1に係る視線方向較正装置100による較正パラメータ算出処理の動作を示すフローチャートである。
較正情報取得部101は、較正用注視対象の3次元座標を取得する(ステップST1)。較正情報取得部101は、取得した較正用注視対象の3次元座標を較正モデル生成部103に出力する。ここで、ユーザに対して、何れの較正用注視対象を注視するかを指示する情報がスピーカ(図示しない)またはディスプレイ(図示しない)等から出力される。ユーザが指定された較正用注視対象を注視すると、サンプル取得部102は、視線計測装置201から当該較正用注視対象を注視したユーザの視線方向を示したサンプルを取得し、較正モデル生成部103に出力する(ステップST2)。
図8は、実施の形態1に係る視線方向較正装置100の視線方向の較正処理および視線方向の判定処理の動作を示すフローチャートである。
較正値算出部105は、入力装置202を介して判定用注視対象を注視しているかの判定要求が入力されると(ステップST21)、サンプル取得部102が取得したサンプルの視線方向に対して較正後の視線方向を算出する(ステップST22)。較正値算出部105は、算出した較正後の視線方向を視線方向判定部107に出力する。視線方向判定部107は、判定用注視対象の方向を算出する(ステップST23)。視線方向判定部107は、ステップST22で算出された較正後の視線方向と、ステップST23で算出した判定用注視対象の方向とに基づいて、ユーザが判定用注視対象を視認しているか否か判定を行う(ステップST24)。
一方、ユーザが判定用注視対象を視認していない場合(ステップST24;NO)、視線方向判定部107は、ユーザが判定用注視対象を視認していないとの判定結果を出力し(ステップST26)、処理を終了する。
図9は、車両内の装備品を較正用注視対象として、上述した視線方向の較正処理を行った結果を示している。車両の装備品として、図9では、視線計測装置201、バックミラー305、右サイドミラー303および左サイドミラー304を注視対象とした場合を示している。
図9において、横軸は車両の車幅方向の視線方向の位置を示し、縦軸は車両が走行する路面に対して垂直方向の視線方向の位置を示している。また、矩形領域401は、ユーザの正面位置を示す。矩形領域402から矩形領域405は、車両の各装備品を較正用注視対象とした場合の較正後の視線方向の位置を示している。結果412から結果415は較正用注視対象である車両の各装備品を注視した際のユーザの視線方向の位置を示している。図9は、視線方向較正装置100による較正処理により、較正後の視線方向の位置を表す矩形領域が、それぞれに対応する結果へと収束する様子を示している。
車両の走行中に運転者が車両の装備品を見る行動により、視線方向の基準を設定し、視線方向検出のキャリブレーションを行う技術が、例えば以下の参考文献1等に開示されている。
・参考文献1
特開2010−30361号公報
これにより、任意の点に向けられたユーザの視線方向を判定することができる。
ユーザの個人差、または視線計測装置201の個体差等により、3次元座標のX,Y,Z方向でサンプル取得部102の感度が変化する場合においては、式(2a)におけるf(α,θ)をαθとする。これにより、視線計測装置201の計測特性の感度についても同時に較正することができる。なお、式(2a)におけるαは、αyawとαpitchとで個別に設定する。
Claims (9)
- 少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す既知の座標系を基準とした3次元座標を取得する較正情報取得部と、
当該座標系との対応関係が未知の座標系を基準としたユーザの視線方向を示した複数のサンプルを取得するサンプル取得部と、
前記較正情報取得部が取得した3次元座標と、前記サンプル取得部が取得した前記各較正用注視対象を注視している状態の前記ユーザの視線方向を示した前記サンプルと、前記既知の座標系と前記未知の座標系との対応関係を表すパラメータである未知のパラメータと、に基づいて、前記ユーザの位置の候補となる、3次元座標を示す複数の較正モデルを生成する較正モデル生成部と、
前記較正モデル生成部が生成した前記較正モデルに基づいて、前記未知のパラメータと、前記ユーザの位置と、を較正パラメータとして算出する較正パラメータ算出部とを備えた視線方向較正装置。 - 前記サンプル取得部が取得した前記ユーザの視線方向を、前記較正パラメータ算出部が算出した前記較正パラメータに基づいて較正し、較正された視線方向を算出する較正値算出部と、
前記較正値算出部が算出した前記較正された視線方向と、前記較正パラメータ算出部が算出した前記較正パラメータとに基づいて、前記ユーザが判定用注視対象を視認しているか否か判定する視線方向判定部を備えたことを特徴とする請求項1記載の視線方向較正装置。 - 前記視線方向判定部が前記ユーザが前記判定用注視対象を視認していると判定するための閾値は、前記ユーザと前記判定用注視対象との距離に基づいて設定されることを特徴とする請求項2記載の視線方向較正装置。
- 前記較正モデル生成部は、前記ユーザの視線方向を計測する計測装置の計測特性を較正対象とすることを特徴とする請求項1記載の視線方向較正装置。
- 前記較正パラメータ算出部は、前記ユーザの視線方向を計測する計測装置の計測範囲内の位置に応じて前記較正モデルに重みを付加することを特徴とする請求項1記載の視線方向較正装置。
- 前記較正パラメータ算出部は、前記較正用注視対象ごとに、前記ユーザの視線方向のバラつきの大きさに応じて前記較正モデルに重みを付加することを特徴とする請求項1記載の視線方向較正装置。
- 前記較正パラメータ算出部は、前記ユーザの視線方向ごとに、当該ユーザの視線方向が属する前記較正用注視対象における前記ユーザの視線方向の分布からの当該ユーザの視線方向の外れ度合いに応じて前記較正モデルに重みを付加することを特徴とする請求項1記載の視線方向較正装置。
- 較正情報取得部が、少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す既知の座標系を基準とした3次元座標を取得するステップと、
サンプル取得部が、当該座標系との対応関係が未知の座標系を基準としたユーザの視線方向を示した複数のサンプルを取得するステップと、
較正モデル生成部が、前記各較正用注視対象の位置を示す3次元座標と、前記各較正用注視対象を注視している状態の前記ユーザの視線方向を示した前記サンプルと、前記既知の座標系と前記未知の座標系との対応関係を表すパラメータである未知のパラメータと、に基づいて、前記ユーザの位置の候補となる3次元座標を示す複数の較正モデルを生成するステップと、
較正パラメータ算出部が、前記較正モデル生成部が生成した前記較正モデルに基づいて、前記未知のパラメータと、前記ユーザの位置と、を較正パラメータとして算出するステップとを備えた視線方向較正方法。 - 少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す既知の座標系を基準とした3次元座標を取得する手順と、
当該座標系との対応関係が未知の座標系を基準としたユーザの視線方向を示した複数のサンプルを取得する手順と、
前記各較正用注視対象の位置を示す3次元座標と、前記各較正用注視対象を注視している状態の前記ユーザの視線方向を示した前記サンプルと、前記既知の座標系と前記未知の座標系との対応関係を表すパラメータである未知のパラメータと、に基づいて、前記ユーザの位置の候補となる3次元座標を示す複数の較正モデルを生成する手順と、
前記生成された前記較正モデルに基づいて、前記未知のパラメータと、前記ユーザの位置と、を較正パラメータとして算出する手順とをコンピュータに実行させるための視線方向較正プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/000091 WO2019135281A1 (ja) | 2018-01-05 | 2018-01-05 | 視線方向較正装置、視線方向較正方法および視線方向較正プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6479272B1 true JP6479272B1 (ja) | 2019-03-06 |
JPWO2019135281A1 JPWO2019135281A1 (ja) | 2020-01-16 |
Family
ID=65655825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018529196A Active JP6479272B1 (ja) | 2018-01-05 | 2018-01-05 | 視線方向較正装置、視線方向較正方法および視線方向較正プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10977488B2 (ja) |
JP (1) | JP6479272B1 (ja) |
CN (1) | CN111527374B (ja) |
DE (1) | DE112018006164B4 (ja) |
WO (1) | WO2019135281A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458104A (zh) * | 2019-08-12 | 2019-11-15 | 广州小鹏汽车科技有限公司 | 人眼视线检测系统的人眼视线方向确定方法和系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7340882B2 (ja) * | 2021-01-07 | 2023-09-08 | 株式会社ロイヤリティバンク | 評価価格算定プログラム及び評価価格算定方法 |
JP2022171084A (ja) * | 2021-04-30 | 2022-11-11 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
CN116027910B (zh) * | 2023-03-29 | 2023-07-04 | 广州视景医疗软件有限公司 | 一种基于vr眼动追踪技术的眼位图生成方法及系统 |
CN116052264B (zh) * | 2023-03-31 | 2023-07-04 | 广州视景医疗软件有限公司 | 一种基于非线性偏差校准的视线估计方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09238905A (ja) * | 1996-03-05 | 1997-09-16 | Nissan Motor Co Ltd | 視線方向計測装置 |
WO2016129156A1 (ja) * | 2015-02-13 | 2016-08-18 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2016539363A (ja) * | 2013-11-08 | 2016-12-15 | エシロル アンテルナショナル(コンパーニュ ジェネラル ドプテーク) | 累進眼科用レンズの少なくとも1つの光学的設計パラメータを判断する方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2925147B2 (ja) * | 1988-09-16 | 1999-07-28 | キヤノン株式会社 | 視線検出装置及び光学機器 |
JPH11276438A (ja) * | 1998-03-30 | 1999-10-12 | Isuzu Motors Ltd | 視線計測装置 |
JP3225270B2 (ja) * | 1999-04-28 | 2001-11-05 | 経済産業大臣 | 視線計測方法、視線計測装置 |
ATE357680T1 (de) * | 2000-10-07 | 2007-04-15 | David Dickerson | Informationssystem und verfahren zur zurverfügungstellen von informationen unter verwendung eines holographischen elements |
US8406479B2 (en) * | 2006-07-14 | 2013-03-26 | Panasonic Corporation | Visual axis direction detection device and visual line direction detection method |
JP4420002B2 (ja) * | 2006-09-14 | 2010-02-24 | トヨタ自動車株式会社 | 視線先推定装置 |
JP2008243031A (ja) * | 2007-03-28 | 2008-10-09 | Toyota Central R&D Labs Inc | 漫然運転判定装置 |
JP4966816B2 (ja) * | 2007-10-25 | 2012-07-04 | 株式会社日立製作所 | 視線方向計測方法および視線方向計測装置 |
JP2010030361A (ja) * | 2008-07-25 | 2010-02-12 | Toyota Motor Corp | 運転状態監視装置 |
US8384534B2 (en) * | 2010-01-14 | 2013-02-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Combining driver and environment sensing for vehicular safety systems |
US20120002028A1 (en) * | 2010-07-05 | 2012-01-05 | Honda Motor Co., Ltd. | Face image pick-up apparatus for vehicle |
JP5664064B2 (ja) * | 2010-09-22 | 2015-02-04 | 富士通株式会社 | 視線検出装置および補正係数算出プログラム |
EP2632322A1 (en) * | 2010-10-29 | 2013-09-04 | IT-universitetet I København | Method of determining reflections of light |
JP5719216B2 (ja) * | 2011-04-05 | 2015-05-13 | 日本放送協会 | 視線測定装置および視線測定プログラム |
JP6014931B2 (ja) * | 2012-09-06 | 2016-10-26 | 公立大学法人広島市立大学 | 視線計測方法 |
CN102878951B (zh) * | 2012-09-14 | 2015-02-11 | 北京航空航天大学 | 一种基于图像的车辆方向盘转角检测方法及检测装置 |
US20140267415A1 (en) * | 2013-03-12 | 2014-09-18 | Xueming Tang | Road marking illuminattion system and method |
JP6181974B2 (ja) * | 2013-05-23 | 2017-08-16 | 株式会社Nttドコモ | 視線計測装置及び視線計測方法 |
DE102013019117A1 (de) * | 2013-11-15 | 2015-05-21 | Audi Ag | Verfahren zum Kalibrieren einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug, Kalibrierungseinrichtung und Kraftfahrzeug |
US9354073B2 (en) * | 2013-12-09 | 2016-05-31 | Harman International Industries, Inc. | Eye gaze enabled navigation system |
WO2015125243A1 (ja) * | 2014-02-19 | 2015-08-27 | 三菱電機株式会社 | 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法 |
JPWO2015136908A1 (ja) | 2014-03-13 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 視線検出装置 |
DE102016210288A1 (de) * | 2016-06-10 | 2017-12-14 | Volkswagen Aktiengesellschaft | Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung |
JP6944138B2 (ja) * | 2016-07-29 | 2021-10-06 | ソニーグループ株式会社 | 画像処理装置および画像処理方法 |
-
2018
- 2018-01-05 JP JP2018529196A patent/JP6479272B1/ja active Active
- 2018-01-05 DE DE112018006164.7T patent/DE112018006164B4/de active Active
- 2018-01-05 CN CN201880084663.2A patent/CN111527374B/zh active Active
- 2018-01-05 WO PCT/JP2018/000091 patent/WO2019135281A1/ja active Application Filing
-
2020
- 2020-06-29 US US16/915,264 patent/US10977488B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09238905A (ja) * | 1996-03-05 | 1997-09-16 | Nissan Motor Co Ltd | 視線方向計測装置 |
JP2016539363A (ja) * | 2013-11-08 | 2016-12-15 | エシロル アンテルナショナル(コンパーニュ ジェネラル ドプテーク) | 累進眼科用レンズの少なくとも1つの光学的設計パラメータを判断する方法 |
WO2016129156A1 (ja) * | 2015-02-13 | 2016-08-18 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458104A (zh) * | 2019-08-12 | 2019-11-15 | 广州小鹏汽车科技有限公司 | 人眼视线检测系统的人眼视线方向确定方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
US10977488B2 (en) | 2021-04-13 |
CN111527374A (zh) | 2020-08-11 |
JPWO2019135281A1 (ja) | 2020-01-16 |
WO2019135281A1 (ja) | 2019-07-11 |
CN111527374B (zh) | 2021-10-22 |
DE112018006164B4 (de) | 2021-05-12 |
US20200327324A1 (en) | 2020-10-15 |
DE112018006164T5 (de) | 2020-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6479272B1 (ja) | 視線方向較正装置、視線方向較正方法および視線方向較正プログラム | |
EP3033999B1 (en) | Apparatus and method for determining the state of a driver | |
EP3545818B1 (en) | Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program | |
KR101769177B1 (ko) | 시선 추적 장치 및 방법 | |
US20100013949A1 (en) | Eyeball parameter estimating device and method | |
US9606623B2 (en) | Gaze detecting apparatus and method | |
JP6768390B2 (ja) | 車両の乗員の視線方向を推定する方法および装置、ならびに車両の乗員に特有の頭部動作増強パラメータを決定する方法および装置 | |
JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
US11037006B2 (en) | Occupant detection device | |
US20200105016A1 (en) | Eyeball information estimation device, eyeball information estimation method, and eyeball information estimation program | |
JP6669182B2 (ja) | 乗員監視装置 | |
JP2016115117A (ja) | 判定装置および判定方法 | |
JP2018128749A (ja) | 視線計測装置、視線計測方法および視線計測プログラム | |
US11527013B2 (en) | Camera parameter estimating device, camera parameter estimating method, and camera parameter estimating program | |
WO2018167995A1 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
JP6572538B2 (ja) | 下方視判定装置および下方視判定方法 | |
JP6759743B2 (ja) | 視認方向推定装置 | |
JP7255436B2 (ja) | 眼球構造推定装置 | |
JP2018101211A (ja) | 車載器 | |
JP2021051347A (ja) | 距離画像生成装置及び距離画像生成方法 | |
JP6737212B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
CN110895675B (zh) | 用于确定3d空间中的对象的特征点的坐标的方法 | |
JP7003335B2 (ja) | 操作者判定装置および操作者判定方法 | |
JP2021056968A (ja) | 物体判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180605 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180605 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6479272 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |