JP7402796B2 - 3次元視線ベクトルを用いた車両乗員関与を決定するための方法、コンピューティングデバイス、コンピューティングシステム、コンピュータプログラム、および車両 - Google Patents
3次元視線ベクトルを用いた車両乗員関与を決定するための方法、コンピューティングデバイス、コンピューティングシステム、コンピュータプログラム、および車両 Download PDFInfo
- Publication number
- JP7402796B2 JP7402796B2 JP2020529676A JP2020529676A JP7402796B2 JP 7402796 B2 JP7402796 B2 JP 7402796B2 JP 2020529676 A JP2020529676 A JP 2020529676A JP 2020529676 A JP2020529676 A JP 2020529676A JP 7402796 B2 JP7402796 B2 JP 7402796B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- occupant
- camera
- eyes
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 title claims description 126
- 238000000034 method Methods 0.000 title claims description 98
- 238000004590 computer program Methods 0.000 title claims description 4
- 210000001508 eye Anatomy 0.000 claims description 129
- 230000001815 facial effect Effects 0.000 claims description 64
- 230000009471 action Effects 0.000 claims description 16
- 230000005484 gravity Effects 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 description 44
- 210000003128 head Anatomy 0.000 description 38
- 238000003860 storage Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 22
- 239000010410 layer Substances 0.000 description 22
- 238000010801 machine learning Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 238000005457 optimization Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000000306 recurrent effect Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 238000000513 principal component analysis Methods 0.000 description 7
- 238000003066 decision tree Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002787 reinforcement Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000003339 best practice Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000001331 nose Anatomy 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011143 downstream manufacturing Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000004244 Cucurbita moschata Species 0.000 description 1
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 235000009852 Cucurbita pepo Nutrition 0.000 description 1
- 244000024873 Mentha crispa Species 0.000 description 1
- 235000014749 Mentha crispa Nutrition 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 235000020354 squash Nutrition 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Description
車両は、車線境界線内で車両を維持すること、曲がり角を回るように車両を案内すること、または他の車両の存在に基づいて自動的に加速するかもしくはブレーキをかけることを支援する機能を備えている場合がある。これらの運転支援機能は、適切に使用される場合は有用であるが、一部の運転者はさまざまな時間帯においてこれらの機能に依存して車両を完全に制御している。運転者は、積極的に車両を運転するのではなく、車両のヘッドユニットと対話をしている、窓の外の景色を眺めている、携帯電話を見ている、食べている、またはそれ以外の作業を行っている場合がある。残念ながら、これらの運転支援システムはユーザとの対話を必要とするように設計されているので、不注意な運転者は事故を起こす可能性がある。
概して、本開示は、ユーザが車両の運転に関与しているのかまたは何か他のものに注意を向けているのかをコンピューティングシステムが3次元の車室空間内の3次元視線ベクトルを用いて判断することを可能にするための技術に関する。本開示の技術は、ユーザがハンドルに触れることを要求したり、運転者の目が開いていると判断したり、顔の表情または瞬きの速度を分析したりするのではなく、コンピューティングシステムが、ユーザが見ている車両内の場所を正確に判断し車両内のその場所に何が物理的に位置しているかを判断することを可能にすることができる。たとえば、コンピューティングシステムは、3次元の車室内における乗員の頭部および/または目の位置を求め、乗員の顔面平面に少なくとも一部基づいて3次元視線ベクトルを求めることができる。コンピューティングシステムは、車室空間内における乗員の頭部/目の3次元位置と3次元視線ベクトルとを用いて、ユーザが見ている3次元の車室空間内の場所、たとえばバックミラー、車両のヘッドユニット、車両の計器ディスプレイ、車両のフロントガラスなどを、より正確に判断することができる。場合によっては、コンピューティングシステムは、(たとえば乗員が見ている場所は窓に関連があるという理由で)乗員が車両外部の何かを見ていると判断することがある。このような場合、コンピューティングシステムは、乗員がサイドウィンドウから外を見ておりしたがって車両の運転に十分な注意を向けていない可能性があるか否かを判断することある。コンピューティングシステムは、ユーザが見ている場所を利用して、安全に関係するまたはその他の各種措置を講じることができる(たとえば、窓の外のユーザが見ているものの写真を撮影する、車両のヘッドユニットと対話するためのユーザの能力は制限せずに、ヘッドユニットと対話するための運転者の能力を制限する、運転者がどれほど道路規則を守っているかを評価するなど)。
図1は、本開示の1つ以上の局面に係る、3次元(3D)視線ベクトルを用いて運転者の関与を判断するように構成された車両コンピューティングシステムの一例を含む車両の内部を示す概念図である。図1は、カメラ102Aおよび102B(まとめて「カメラ102」)ならびに車両コンピューティングシステム104に加えて車両100の内部(本明細書では車両100の「車室」とも呼ぶ)の断面図を示す。図1に示される車両は自動車であってもよいが、本開示の局面は、トラック、オートバイ、航空機、船舶、列車、またはそれ以外の車両を含む、他の種類の車両にも適用できるものであってもよい。図1において、運転者は通常はこの座席に座っていてもよく、その他の同乗者の座席は運転者の座席の後方または隣に位置していてもよい。
Claims (14)
- コンピュータによって実行される方法であって、
車両のカメラシステムを介して前記車両の乗員の少なくとも1つの画像を取得するステップと、
前記乗員の前記少なくとも1つの画像における目の位置に基づいて前記車両内の前記乗員の1つ以上の目の位置を求めるステップと、
前記車両内の前記乗員の1つ以上の目の位置および1つ以上の目の動きに基づいて第1初期視線ベクトルを求めるステップと、
前記少なくとも1つの画像における1つ以上の顔面ランドマークに基づいて前記乗員の顔面平面のピッチ角、ロール角、およびヨー角を求め、前記ピッチ角、前記ロール角、および前記ヨー角に基づいて、第2初期視線ベクトルを求めるステップと、
前記第1初期視線ベクトルおよび前記第2初期視線ベクトルを用いて、前記乗員の視線ベクトルを求めるステップと、
前記乗員が見ている関心領域として、前記車両の複数の関心領域のうちの前記視線ベクトルが交差する関心領域を求めるステップとを含み、前記車両のデータファイルは前記複数の関心領域の各々の座標のセットを含み、当該座標のセットの各々は、前記車両の各々の関心領域の2次元平面を画定し、
前記求めた関心領域に対応付けられたアクションを実行するステップとを含む、方法。 - 前記視線ベクトルを求めるステップは、前記第1初期視線ベクトルおよび前記第2初期視線ベクトルの平均を、前記視線ベクトルとして利用することを含む、請求項1に記載の方法。
- 前記視線ベクトルを求めるステップは、前記少なくとも1つの画像が部分的に顔が隠れている前記乗員を含む場合、前記第1初期視線ベクトルを前記視線ベクトルとして利用することを含む、請求項1または請求項2に記載の方法。
- 前記視線ベクトルを求めるステップは、前記少なくとも1つの画像において前記乗員の目が閉じられている場合、前記第2初期視線ベクトルを前記視線ベクトルとして利用することを含む、請求項1~請求項3のいずれか1項に記載の方法。
- 前記1つ以上の目の動きは、瞳孔の動きを含む、請求項1~請求項4のいずれか1項に記載の方法。
- 前記第2初期視線ベクトルを求めるステップは、少なくとも1つの機械学習済モデルを前記少なくとも1つの画像に適用するステップを含み、前記少なくとも1つの機械学習済モデルは、顔面ランドマークを識別するように学習されており、前記少なくとも1つの機械学習済モデルは前記少なくとも1つの画像に適用されることにより前記乗員の前記顔面ランドマークを出力する、請求項1~請求項5のいずれか1項に記載の方法。
- 前記少なくとも1つの画像は、前記カメラシステムの2つ以上の異なるカメラの各々が取り込んだ少なくとも1つの画像を含み、前記車両内の前記乗員の1つ以上の目の位置を求めるステップは、
前記2つ以上の異なるカメラの各々が取り込んだ少なくとも1つの画像に基づいて視差角を求めるステップを含み、前記視差角は、前記2つ以上の異なるカメラのうち第1のカメラに対する前記乗員の角度と前記2つ以上の異なるカメラのうち第2のカメラに対する前記乗員の角度の間の視差角であり、前記車両内の前記乗員の1つ以上の目の位置を求めるステップは、
前記第1のカメラおよび前記第2のカメラの各々の位置と前記視差角とに基づいて、前記第1のカメラおよび前記第2のカメラの各々から前記乗員の1つ以上の目までの距離を求めるステップと、
前記乗員の前記少なくとも1つの画像における目の位置と前記距離と前記第1のカメラおよび前記第2のカメラの各々の位置とに基づいて、前記乗員の1つ以上の目の位置を求めるステップとを含む、請求項1~請求項6のいずれか1項に記載の方法。 - 前記少なくとも1つの画像は、前記カメラシステムの赤外線カメラを用いて取り込んだ画像を含み、前記車両内の前記乗員の1つ以上の目の位置を求めるステップは、
前記画像の歪みに基づいて、前記赤外線カメラから前記乗員の1つ以上の目までの距離を求めるステップと、
前記乗員の前記少なくとも1つの画像における目の位置と前記赤外線カメラの位置と前記距離とに基づいて、前記乗員の1つ以上の目の位置を求めるステップとを含む、請求項1~請求項6のいずれか1項に記載の方法。 - 前記車両内の前記乗員の1つ以上の目の位置は、前記カメラシステムの1つのカメラを重心とするカメラベースの座標系を用いて特定され、
前記複数の関心領域の各々の位置は車両ベースの座標系を用いて特定され、前記車両ベースの座標系の重心は前記車両の内部に位置し前記1つのカメラの位置と異なっており、
前記関心領域を求めるステップは、
前記1つ以上の目の位置を、前記カメラベースの座標系から前記車両ベースの座標系に変換するステップを含み、
前記視線ベクトルが交差する関心領域を求めることは、
前記視線ベクトルを、前記車両ベースの座標系を用いて特定した前記1つ以上の目の位置から延ばしたものが交差する関心領域を求めることを含む、請求項1~請求項8のいずれか1項に記載の方法。 - 前記車両のデータファイルは拡張可能マークアップ言語に従って構成されたデータを含み、前記車両のデータファイルは前記複数の関心領域のうちの各関心領域の座標のセットを含み、前記座標のセットの各々は前記車両の内部を包む球体の重心に対して定められ、前記座標のセットの各々は2次元平面を画定する、請求項1~請求項9のいずれか1項に記載の方法。
- 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサによって実行されると請求項1~請求項10のいずれか1項に記載の方法を前記少なくとも1つのプロセッサに実行させる命令を含むメモリとを備える、コンピューティングデバイス。 - 請求項11に記載のコンピューティングデバイスと、カメラシステムと、を備えるコンピューティングシステム。
- コンピューティングデバイスの少なくとも1つのプロセッサによって実行されると請求項1~請求項10のいずれか1項に記載の方法を前記少なくとも1つのプロセッサに実行させる命令を含むコンピュータプログラム。
- 請求項11に記載のコンピューティングデバイスを備える車両。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023006841A JP2023052530A (ja) | 2019-06-17 | 2023-01-19 | コンピュータによって実行される方法、コンピューティングデバイス、コンピューティングシステム、コンピュータプログラム、および車両 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962862561P | 2019-06-17 | 2019-06-17 | |
US62/862,561 | 2019-06-17 | ||
PCT/US2019/061025 WO2020256764A1 (en) | 2019-06-17 | 2019-11-12 | Vehicle occupant engagement using three-dimensional eye gaze vectors |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023006841A Division JP2023052530A (ja) | 2019-06-17 | 2023-01-19 | コンピュータによって実行される方法、コンピューティングデバイス、コンピューティングシステム、コンピュータプログラム、および車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021531522A JP2021531522A (ja) | 2021-11-18 |
JP7402796B2 true JP7402796B2 (ja) | 2023-12-21 |
Family
ID=69165553
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020529676A Active JP7402796B2 (ja) | 2019-06-17 | 2019-11-12 | 3次元視線ベクトルを用いた車両乗員関与を決定するための方法、コンピューティングデバイス、コンピューティングシステム、コンピュータプログラム、および車両 |
JP2023006841A Pending JP2023052530A (ja) | 2019-06-17 | 2023-01-19 | コンピュータによって実行される方法、コンピューティングデバイス、コンピューティングシステム、コンピュータプログラム、および車両 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023006841A Pending JP2023052530A (ja) | 2019-06-17 | 2023-01-19 | コンピュータによって実行される方法、コンピューティングデバイス、コンピューティングシステム、コンピュータプログラム、および車両 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11527082B2 (ja) |
EP (1) | EP3776347A1 (ja) |
JP (2) | JP7402796B2 (ja) |
KR (1) | KR102385874B1 (ja) |
CN (1) | CN112424788A (ja) |
WO (1) | WO2020256764A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110281950B (zh) * | 2019-07-08 | 2020-09-04 | 睿镞科技(北京)有限责任公司 | 基于三维声像传感器的载运工具控制与可视化环境体验 |
US11574244B2 (en) * | 2019-09-12 | 2023-02-07 | International Business Machines Corporation | States simulator for reinforcement learning models |
CN111176524B (zh) * | 2019-12-25 | 2021-05-28 | 歌尔股份有限公司 | 一种多屏显示系统及其鼠标切换控制方法 |
US11790669B2 (en) * | 2020-04-27 | 2023-10-17 | Nvidia Corporation | Systems and methods for performing operations in a vehicle using gaze detection |
US11381730B2 (en) * | 2020-06-25 | 2022-07-05 | Qualcomm Incorporated | Feature-based image autofocus |
US11908208B2 (en) * | 2020-10-20 | 2024-02-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interface sharpness distraction mitigation method and system |
JP2022094744A (ja) * | 2020-12-15 | 2022-06-27 | キヤノン株式会社 | 被検体動き測定装置、被検体動き測定方法、プログラム、撮像システム |
CN115082978A (zh) * | 2021-03-10 | 2022-09-20 | 佳能株式会社 | 面部姿态的检测装置、方法、图像处理系统及存储介质 |
EP4334884A1 (en) * | 2021-05-05 | 2024-03-13 | Seeing Machines Limited | Systems and methods for detection of mobile device use by a vehicle driver |
US11951833B1 (en) * | 2021-05-16 | 2024-04-09 | Ambarella International Lp | Infotainment system permission control while driving using in-cabin monitoring |
US20220392261A1 (en) * | 2021-06-04 | 2022-12-08 | Rockwell Collins, Inc. | Pilot safety system with context-sensitive scan pattern monitoring and alerting |
CN113525402B (zh) * | 2021-07-20 | 2023-06-02 | 张鹏 | 高级辅助驾驶及无人驾驶视场智能响应方法及系统 |
KR102644877B1 (ko) * | 2021-08-20 | 2024-03-08 | 주식회사 경신 | 차량 제어 장치 및 방법 |
KR102597068B1 (ko) * | 2021-11-16 | 2023-10-31 | 전남대학교 산학협력단 | 인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법 |
US20230161564A1 (en) * | 2021-11-22 | 2023-05-25 | Jpmorgan Chase Bank, N.A. | System and method for adding no-code machine learning and artificial intelligence capabilities to intelligence tools |
EP4224288A1 (en) * | 2022-02-07 | 2023-08-09 | Robert Ohrenstein | Gaze direction determination apparatus |
US20240005698A1 (en) * | 2022-06-29 | 2024-01-04 | Microsoft Technology Licensing, Llc | Accurate head pose and eye gaze signal analysis |
US11862016B1 (en) * | 2022-07-19 | 2024-01-02 | Jiangsu University | Multi-intelligence federal reinforcement learning-based vehicle-road cooperative control system and method at complex intersection |
CN115797453B (zh) * | 2023-01-17 | 2023-06-16 | 西南科技大学 | 一种红外微弱目标的定位方法、定位装置及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000113186A (ja) | 1998-10-01 | 2000-04-21 | Mitsubishi Electric Inf Technol Center America Inc | 注視方向分類システム及び注視方向分類方法 |
JP2017516219A (ja) | 2014-05-01 | 2017-06-15 | ジャガー ランド ローバー リミテッドJaguar Land Rover Limited | 制御装置および関連方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7508979B2 (en) | 2003-11-21 | 2009-03-24 | Siemens Corporate Research, Inc. | System and method for detecting an occupant and head pose using stereo detectors |
JP2007265367A (ja) | 2006-03-30 | 2007-10-11 | Fujifilm Corp | 視線検出方法および装置ならびにプログラム |
JP4725595B2 (ja) * | 2008-04-24 | 2011-07-13 | ソニー株式会社 | 映像処理装置、映像処理方法、プログラム及び記録媒体 |
US8536995B2 (en) * | 2009-12-10 | 2013-09-17 | Panasonic Corporation | Information display apparatus and information display method |
US8408706B2 (en) * | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
US9405982B2 (en) * | 2013-01-18 | 2016-08-02 | GM Global Technology Operations LLC | Driver gaze detection system |
US9625723B2 (en) * | 2013-06-25 | 2017-04-18 | Microsoft Technology Licensing, Llc | Eye-tracking system using a freeform prism |
KR101795264B1 (ko) * | 2016-05-31 | 2017-12-01 | 현대자동차주식회사 | 얼굴 랜드마크 검출 장치 및 그 검증 방법 |
US20170353714A1 (en) * | 2016-06-06 | 2017-12-07 | Navid Poulad | Self-calibrating display system |
US10049571B2 (en) * | 2016-06-29 | 2018-08-14 | Toyota Jidosha Kabushiki Kaisha | Situational understanding of unknown roadway conditions that are ahead for a connected vehicle |
KR101914362B1 (ko) * | 2017-03-02 | 2019-01-14 | 경북대학교 산학협력단 | 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법 |
CN108334810B (zh) * | 2017-12-25 | 2020-12-11 | 北京七鑫易维信息技术有限公司 | 视线追踪设备中确定参数的方法和装置 |
CN109493305A (zh) * | 2018-08-28 | 2019-03-19 | 初速度(苏州)科技有限公司 | 一种人眼视线与前景图像叠加的方法及系统 |
US11301677B2 (en) * | 2019-06-14 | 2022-04-12 | Tobil AB | Deep learning for three dimensional (3D) gaze prediction |
-
2019
- 2019-11-12 KR KR1020207016245A patent/KR102385874B1/ko active IP Right Grant
- 2019-11-12 CN CN201980007318.3A patent/CN112424788A/zh active Pending
- 2019-11-12 EP EP19836702.1A patent/EP3776347A1/en active Pending
- 2019-11-12 JP JP2020529676A patent/JP7402796B2/ja active Active
- 2019-11-12 WO PCT/US2019/061025 patent/WO2020256764A1/en unknown
- 2019-11-12 US US16/764,313 patent/US11527082B2/en active Active
-
2022
- 2022-11-09 US US18/054,102 patent/US11847858B2/en active Active
-
2023
- 2023-01-19 JP JP2023006841A patent/JP2023052530A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000113186A (ja) | 1998-10-01 | 2000-04-21 | Mitsubishi Electric Inf Technol Center America Inc | 注視方向分類システム及び注視方向分類方法 |
JP2017516219A (ja) | 2014-05-01 | 2017-06-15 | ジャガー ランド ローバー リミテッドJaguar Land Rover Limited | 制御装置および関連方法 |
Non-Patent Citations (2)
Title |
---|
Constantin Carapencea et al.,REAL-TIME GAZE TRACKING WITH A SINGLE CAMERA, JOURNAL OF INFORMATION SYSTEMS & OPERATIONS MANAGEMENT,Vol.9(1),米国,2015年01月01日,p.1-13,URL:http://rebe.rau.ro/RePEc/rau/jiscomg/SU15/JISCOM-SU15-A4.pdf |
CUDALBU C ET AL.,Driver monitoring with a single high-speed camera and IR illumination,SIGNALS, CIRCUITS AND SYSTEMS, 2005. ISSCS 2005. INTERNATIONAL SYMPOSIUM ON IASI,Vol.1(14),米国,IEEE,2005年07月14日,p.219-222 |
Also Published As
Publication number | Publication date |
---|---|
US20230088021A1 (en) | 2023-03-23 |
KR20200145825A (ko) | 2020-12-30 |
WO2020256764A1 (en) | 2020-12-24 |
US20210397859A1 (en) | 2021-12-23 |
JP2021531522A (ja) | 2021-11-18 |
CN112424788A (zh) | 2021-02-26 |
EP3776347A1 (en) | 2021-02-17 |
JP2023052530A (ja) | 2023-04-11 |
KR102385874B1 (ko) | 2022-04-12 |
US11527082B2 (en) | 2022-12-13 |
US11847858B2 (en) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7402796B2 (ja) | 3次元視線ベクトルを用いた車両乗員関与を決定するための方法、コンピューティングデバイス、コンピューティングシステム、コンピュータプログラム、および車両 | |
Xing et al. | Driver activity recognition for intelligent vehicles: A deep learning approach | |
US11017250B2 (en) | Vehicle manipulation using convolutional image processing | |
US10037471B2 (en) | System and method for image analysis | |
Zhao et al. | Driver drowsiness detection using facial dynamic fusion information and a DBN | |
US20190294869A1 (en) | Object behavior anomaly detection using neural networks | |
US20220044069A1 (en) | Systems and methods for 3d image distification | |
Yan et al. | Driving posture recognition by joint application of motion history image and pyramid histogram of oriented gradients | |
KR20190029083A (ko) | 신경망 학습 방법 및 이를 적용한 장치 | |
WO2020190480A1 (en) | Classifying an input data set within a data category using multiple data recognition tools | |
Liu et al. | DSDCLA: Driving style detection via hybrid CNN-LSTM with multi-level attention fusion | |
US20210279514A1 (en) | Vehicle manipulation with convolutional image processing | |
Liu et al. | Real time detection of driver fatigue based on CNN‐LSTM | |
Mou et al. | Isotropic self-supervised learning for driver drowsiness detection with attention-based multimodal fusion | |
JP2022120775A (ja) | オンデバイスでの活動認識 | |
Kim et al. | Anomaly monitoring framework in lane detection with a generative adversarial network | |
US20230419721A1 (en) | Electronic device for improving quality of image and method for improving quality of image by using same | |
Sharma et al. | Distracted driver detection using learning representations | |
Shi et al. | Research on Safe Driving Evaluation Method Based on Machine Vision and Long Short‐Term Memory Network | |
Fusek et al. | Driver state detection from in-car camera images | |
Du et al. | DeepBP: A bilinear model integrating multi-order statistics for fine-grained recognition | |
Sharan et al. | Multi-level drowsiness detection using multi-contrast convolutional neural networks and single shot detector | |
CN116210051A (zh) | 增强的计算设备音频表示 | |
Yahyaabadi et al. | An Explainable Attention Zone Estimation for Level 3 Autonomous Driving | |
US11875608B1 (en) | Apparatus and method for generating a vehicle maintenance activity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200904 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220419 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220920 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230119 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7402796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |