JP7367637B2 - 顔情報取得装置および顔情報取得方法 - Google Patents
顔情報取得装置および顔情報取得方法 Download PDFInfo
- Publication number
- JP7367637B2 JP7367637B2 JP2020142607A JP2020142607A JP7367637B2 JP 7367637 B2 JP7367637 B2 JP 7367637B2 JP 2020142607 A JP2020142607 A JP 2020142607A JP 2020142607 A JP2020142607 A JP 2020142607A JP 7367637 B2 JP7367637 B2 JP 7367637B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- facial
- face
- information
- information acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims description 102
- 238000000034 method Methods 0.000 title claims description 8
- 238000012937 correction Methods 0.000 claims description 48
- 230000006399 behavior Effects 0.000 description 24
- 210000001747 pupil Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 210000000554 iris Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/10—
-
- B60K35/22—
-
- B60K35/65—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- B60K2360/149—
-
- B60K2360/21—
-
- B60K2360/741—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Description
本発明は、車両の運転者の顔情報を取得する顔情報取得装置および顔情報取得方法に関する。
車両の車室内に設置されたドライバモニタカメラにより取得された運転者の顔画像に基づいて運転者の感情を推定する技術が知られている。車両の走行制御装置は、推定された運転者の感情に応じて車両の挙動を変更することができる。
運転者の感情を適切に推定するためには、所定の方向に視線を向けた運転者の顔画像を取得することが好ましい。特許文献１には、表示部の外縁近傍に設けられた撮影部の近傍に、人物の視線を誘導するための表示情報が表示されたタイミングで撮影部により取得された画像に撮像されている人物の顔の認識する顔認識システムが記載されている。
車室内に設置されたドライバモニタカメラで運転者が所定の方向に視線を向けた顔画像を取得するためにディスプレイに所定の情報を表示して視線を誘導することは、運転者にとって煩わしく、好ましくない。
本発明は、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる顔情報取得装置を提供することを目的とする。
本発明にかかる顔情報取得装置は、車両の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得する挙動取得部と、運転者から情報の入力を受け付ける入力欄を有する画面を車両に搭載された表示部に表示させる入力画面表示部と、複数の顔画像のうち画面が表示部に表示されている間に生成された顔画像から、顔情報を補正するための補正情報を取得する補正情報取得部と、を備える。
本発明にかかる顔情報取得装置において、入力画面表示部は、入力欄が表示部の一端および他端に配置される画面を表示部に表示させ、補正情報取得部は、表示部の一端に配置された入力欄が運転者からの情報の入力を受け付けている間に生成された顔画像から第１の補正情報を取得し、表示部の他端に配置された入力欄が運転者からの情報の入力を受け付けている間に生成された顔画像から第２の補正情報を取得することが好ましい。
本発明にかかる顔情報取得装置において、顔情報は、運転者の視線方向を表す情報であり、補正情報は、運転者の右目の視線方向と左目の視線方向との差異を表す情報であることが好ましい。
本発明にかかる顔情報取得装置において、顔情報は、運転者の視線方向を表す情報であり、補正情報は、運転者の目の３次元位置を表す情報であることが好ましい。
本発明にかかる顔情報取得装置において、顔情報は、運転者の表情を表す情報であり、補正情報は、運転者の無表情時の表情を表す情報であることが好ましい。
本発明にかかる顔情報取得方法は、車両の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得し、運転者から情報の入力を受付ける入力欄を有する画面を車両に搭載された表示部に表示させ、複数の顔画像のうち画面が表示部に表示されている間に生成された顔画像から、顔情報を補正するための補正情報を取得する、ことを含む。
本発明にかかる顔情報取得装置によれば、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる。
以下、図面を参照して、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる顔情報取得装置について詳細に説明する。顔情報取得装置は、車車両の運転者の顔を撮影した複数の顔画像のそれぞれから、運転者の顔の挙動を表す顔画像を取得する。また、顔情報取得装置は、運転者からの情報の入力を受け付ける入力欄を有する画面を、車両に搭載された表示部に表示させる。そして、顔情報取得装置は、複数の顔画像のうち入力欄を有する画面が表示部に表示されている間に生成された顔画像から、顔画像を補正するための補正情報を取得する。
図１は、顔情報取得装置が実装される車両の概略構成図である。
車両１は、ドライバモニタカメラ２と、タッチパネルディスプレイ３と、メーターディスプレイ４と、顔情報取得装置５とを有する。ドライバモニタカメラ２およびタッチパネルディスプレイ３と顔情報取得装置５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。
ドライバモニタカメラ２は、運転者の顔を表す顔画像を取得するためのセンサの一例である。ドライバモニタカメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ２は、赤外光を発する光源を有する。ドライバモニタカメラ２は、例えば車室内の前方上部に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が写った顔画像を出力する。
タッチパネルディスプレイ３は、表示部の一例であり、例えば液晶ディスプレイまたは有機ＥＬディスプレイといった表示デバイスを有し、顔情報取得装置５から受信した表示用のデータを表示する。また、タッチパネルディスプレイ３は、表示デバイスに重畳された、例えば静電容量式のタッチセンサといった入力デバイスを有し、運転者のタッチパネルディスプレイ３に対する操作に応じた座標情報を顔情報取得装置５に送信する。タッチパネルディスプレイ３は、走行経路の検索における目的地、現在位置の周辺でのスポット検索におけるスポット種別、車室空調の設定条件といった各種情報の入力を受け付けるための入力欄を有する画面を表示デバイスに表示する。また、タッチパネルディスプレイ３は、入力欄への運転者からの情報の入力を入力デバイスにより受け付ける。タッチパネルディスプレイ３は、例えば車室内のインストルメンタルパネル中央近傍に設置される。
メーターディスプレイ４は、例えば液晶ディスプレイまたは有機ＥＬディスプレイといった表示デバイスを有し、不図示の車両制御装置から受信した、走行速度、走行距離、各種警告といった走行関連情報を表示する。また、メーターディスプレイ４は、車両１のロゴマークなど運転者の視線を誘導するための画像情報を表示してもよい。メーターディスプレイ４は、インストルメンタルパネルにおける運転者が着座する運転席の前方に設置される。
顔情報取得装置５は、通信インタフェースと、メモリと、プロセッサとを有するＥＣＵ（Electronic Control Unit）である。顔情報取得装置５は、タッチパネルディスプレイ３に入力欄を有する画面を表示させるとともに、ドライバモニタカメラ２が撮影した顔画像を用いて顔情報取得処理を実行する。
図２は、顔情報取得装置５のハードウェア模式図である。顔情報取得装置５は、通信インタフェース５１と、メモリ５２と、プロセッサ５３とを備える。
通信インタフェース５１は、通信部の一例であり、顔情報取得装置５を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース５１は、受信したデータをプロセッサ５３に供給する。また、通信インタフェース５１は、プロセッサ５３から供給されたデータを外部に出力する。
メモリ５２は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ５２は、プロセッサ５３による処理に用いられる各種データ、例えば顔画像から顔情報および補正情報を取得するための演算パラメータ、タッチパネルディスプレイ３およびメーターディスプレイ４の３次元位置を表す位置情報等を保存する。また、メモリ５２は、各種アプリケーションプログラム、例えば顔情報取得処理を実行する顔情報取得プログラム等を保存する。
プロセッサ５３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ５３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。
図３は、顔情報取得装置５が有するプロセッサ５３の機能ブロック図である。
顔情報取得装置５のプロセッサ５３は、機能ブロックとして、挙動取得部５３１と、入力画面表示部５３２と、補正情報取得部５３３とを有する。プロセッサ５３が有するこれらの各部は、プロセッサ５３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ５３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして顔情報取得装置５に実装されてもよい。
挙動取得部５３１は、ドライバモニタカメラ２により生成された複数の顔画像を、通信インタフェース５１を介して受信する。挙動取得部５３１は、受信した複数の顔画像のそれぞれから、運転者の顔情報を取得する。
図４は、顔画像の撮影の例を示す図である。
車両１の車室内で、運転者Ｄは前方に配置されたタッチパネルディスプレイ３に視線を向ける。運転者Ｄの視線方向には、ステアリングホイールＳＷが配置されていてもよい。ドライバモニタカメラ２は、運転者Ｄの顔が表された顔画像を撮影する。
挙動取得部５３１は、例えば運転者の視線方向を表す情報を、運転者の顔の挙動を表す顔情報として取得する。視線方向は、車両１の進行方向と運転者の視線との間の水平方向または鉛直方向の角度により表される。
挙動取得部５３１は、取得した顔画像を、瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、挙動取得部５３１は、瞳孔と角膜反射像との位置関係に基づいて、視線方向を検出する。
識別器は、例えば、入力側から出力側に向けて直列に接続された複数の層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め瞳孔および角膜反射像を含む顔画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは瞳孔および角膜反射像の位置を特定する識別器として動作する。
挙動取得部５３１は、顔画像を識別器に入力することにより、運転者の目における目頭および虹彩の位置を特定し、目頭と虹彩との位置関係に基づいて視線方向を検出してもよい。この場合、ドライバモニタカメラ２は、夜間の車室内の環境下においても運転者の顔が写った画像を適切に出力可能な、高感度可視光センサを有していてもよい。
また、顔情報は、運転者の表情を表す情報であってもよい。運転者の表情は、顔画像から検出される複数の顔動作単位における顔特徴量により表される。挙動取得部５３１は、顔画像を、目尻や口角といった複数の顔動作単位の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる顔動作単位の位置を特定する。そして、挙動取得部５３１は、特定された顔動作単位の位置と、各顔動作単位の所定の基準位置とを比較することにより、顔特徴量を検出する。基準位置は、例えば標準的な顔モデルにおける各顔動作単位の位置であってよく、また、運転者の顔画像から検出された各顔動作単位の位置の平均値であってもよい。
また、顔情報は、運転者の顔向きであってもよい。運転者の顔向きは、車室内の３次元空間における運転者の頭部のピッチ、ヨーおよびロールのうち１つ以上の角度により表される。挙動取得部５３１は、取得した顔画像を、目尻、目頭、口角点といった顔の所定部位の位置を検出するよう学習された識別器に入力することにより、顔画像に含まれる所定部位の位置を特定する。そして、挙動取得部５３１は、顔画像から検出された所定部位の位置を、標準的な顔の３次元モデルと照合する。そして、各部位の位置が顔画像から検出された部位の位置と最も適合する際の３次元モデルにおける顔向きを、顔画像における顔向きとして検出する。
入力画面表示部５３２は、運転者による情報入力の要求があるか否かを判定し、要求があると判定された場合、運転者による情報入力を受け付ける入力欄を有する画面をタッチパネルディスプレイ３に表示させる。入力画面表示部５３２は、プロセッサ５３により実行される他のプログラムから、運転者による情報入力の要求を受け付けた場合、情報入力の要求があると判定する。また、入力画面表示部５３２は、車内ネットワークに接続された他のＥＣＵなどの情報処理装置（不図示）から、通信インタフェース５１を介して運転者による情報入力を要求する信号を受信した場合、情報入力の要求があると判定する。
図５は、タッチパネルディスプレイ３における表示の例を示す図である。
図５は、運転席に着座した運転者からの車室内前方の視界を模式的に示している。タッチパネルディスプレイ３は、車室内の左右方向の中央近傍（図５における左側）に配置される。メーターディスプレイ４は、ステアリングホイールＳＷの設置された運転席の直前（図５における右側）に配置される。
タッチパネルディスプレイ３には、入力欄３ａおよび３ｂを有する画面が表示されている。入力欄３ａはタッチパネルディスプレイ３の一端（左上）に配置される。入力欄３ａは、例えばタッチパネルディスプレイ３への運転者の操作に応じた文字が表示される欄である。また、入力欄３ｂはタッチパネルディスプレイ３の他端（右下）に配置される。入力欄３ｂは、例えば入力欄３ａに表示された文字を入力文字として確定させる操作を受け付ける確定ボタンである。
メーターディスプレイ４には、運転者の視線を誘導するためのロゴマーク４ａが表示されている。なお、タッチパネルディスプレイ３における入力欄３ａ、３ｂおよびメーターディスプレイ４におけるロゴマーク４ａは、同時に表示されている必要はなく、異なる時刻にこれらのうちいずれかが表示される。また、タッチパネルディスプレイ３またはメーターディスプレイ４にこれらのいずれも表示されない時刻があってもよい。例えば、入力欄３ａ、３ｂは、運転者からの情報入力の要求があると判定されたときに表示される。また、ロゴマーク４ａは車両１のイグニッションをオンにした後の所定時間（例えば５秒間）表示される。
補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、入力欄を有する画面がタッチパネルディスプレイ３に表示されている間に撮影された顔画像から補正情報を取得する。補正情報は、顔情報を補正するための情報である。
補正情報取得部５３３は、顔画像を瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、補正情報取得部５３３は、左右のそれぞれの目における瞳孔と角膜反射像との位置関係に基づいて、運転者の右目の視線方向と左目の視線方向との差異を、補正情報として検出する。運転者の右目の視線方向と左目の視線方向との差異を表す補正情報は、挙動取得部５３１により取得された運転者の視線方向である顔情報を補正するために用いることができる。
また、補正情報取得部５３３は、タッチパネルディスプレイ３において入力欄３ａが表示される位置を通り、タッチパネルディスプレイ３の一端に入力欄３ａが表示されたときに取得された顔画像から検出される視線方向に延びる直線を特定してもよい。このとき、補正情報取得部５３３は、タッチパネルディスプレイ３において入力欄３ｂが表示される位置を通り、タッチパネルディスプレイ３の一端に入力欄３ｂが表示されたときに取得された顔画像から検出される視線方向に延びる直線をあわせて特定する。そして、補正情報取得部５３３は、これらの直線の交点を求めることにより、運転者の目の３次元位置を、補正情報として検出する。運転者の目の３次元位置を表す補正情報は、挙動取得部５３１により取得された運転者の視線方向である顔情報を補正するために用いることができる。
また、補正情報取得部５３３は、顔画像を、目尻や口角といった複数の顔動作単位の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる顔動作単位の位置を、無表情時の顔動作単位の位置を表す補正情報として検出してもよい。無表情時の顔動作単位の位置を表す補正情報は、挙動取得部５３１により取得された顔特徴量である顔情報を補正するために用いることができる。
また、補正情報取得部５３３は、顔画像を瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、補正情報取得部５３３は、左右のそれぞれの目における瞳孔と角膜反射像との位置関係に基づいて、運転者の視線方向を、補正情報として検出してもよい。運転者の視線方向を表す補正情報は、挙動取得部５３１により取得された運転者の顔向きである顔情報を補正するために用いることができる。
補正情報取得部５３３が取得する補正情報は、運転者の顔の目、鼻、口といった部位の大きさを表す情報、運転者の顔の特徴点の左右の非対称性を表す情報、運転者の左右の瞳または虹彩の３次元中心位置を表す情報であってもよい。
補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、入力欄を有する画面がタッチパネルディスプレイ３に表示され、かつ、タッチパネルディスプレイ３が運転者からの入力を受け付けている間に生成された顔画像から、補正情報を取得してもよい。補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、タッチパネルディスプレイ３が入力欄３ａへの運転者からの入力を受け付けている間に生成された顔画像から第１の補正情報を取得し、タッチパネルディスプレイ３が入力欄３ｂへの運転者からの入力を受け付けている間に生成された顔画像から第２の補正情報を取得してもよい。
また、補正情報取得部５３３は、タッチパネルディスプレイ３が同じ入力欄への運転者からの入力を受け付けている間に撮影された複数の顔画像から補正情報を取得してもよい。
図４は、顔情報取得処理のフローチャートである。顔情報取得装置５のプロセッサ５３は、車両１が走行を行う間、顔情報取得処理を所定の周期で繰り返し実行する。
まず、挙動取得部５３１は、車両１の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得する（ステップＳ１）。
次に、入力画面表示部５３２は、運転者からの情報入力の要求があるか否かを判定する（ステップＳ２）。運転者からの情報入力の要求がないと判定された場合（ステップＳ２：Ｎ）、プロセッサ５３は顔情報取得処理を終了する。
運転者からの情報入力の要求があると判定された場合（ステップＳ２：Ｙ）、入力画面表示部５３２は、タッチパネルディスプレイ３に、運転者からの情報入力を受け付ける入力欄を有する画面を表示する（ステップＳ３）。
続いて、補正情報取得部５３３は、複数の顔画像のうち入力欄を有する画面がタッチパネルディスプレイ３に表示されている間に撮影された顔画像から、顔情報を補正するための補正情報を取得し（ステップＳ４）、顔情報取得処理を終了する。
当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。
１ 車両
５ 顔情報取得装置
５３１ 挙動取得部
５３２ 入力画面表示部
５３３ 補正情報取得部
５ 顔情報取得装置
５３１ 挙動取得部
５３２ 入力画面表示部
５３３ 補正情報取得部
Claims (3)
- 車両の運転者の顔を撮影した複数の顔画像のそれぞれから前記運転者の顔の挙動を表す顔情報を取得する挙動取得部と、
前記運転者から情報の入力を受け付ける入力欄を有する画面を前記車両に搭載された表示部に表示させる入力画面表示部と、
前記複数の顔画像のうち前記画面が前記表示部に表示されている間に生成された顔画像から、前記顔情報を補正するための補正情報を取得する補正情報取得部と、
を備え、
前記補正情報は、前記表示部の一端の第１の位置を通り、前記第１の位置に入力欄を有する画面が表示されている間に生成された第１の顔画像から検出される第１の視線方向に延びる直線と、前記表示部の他端の第２の位置を通り、前記第２の位置に入力欄を有する画面が表示されている間に生成された第２の顔画像から検出される第２の視線方向に延びる直線との交点として求められる、前記運転者の目の３次元位置を表す情報である顔情報取得装置。 - 前記顔情報は、前記運転者の視線方向を表す情報である、請求項１に記載の顔情報取得装置。
- 車両の運転者の顔を撮影した複数の顔画像のそれぞれから前記運転者の顔の挙動を表す顔情報を取得し、
前記運転者から情報の入力を受付ける入力欄を有する画面を前記車両に搭載された表示部に表示させ、
前記複数の顔画像のうち前記画面が前記表示部に表示されている間に生成された顔画像から、前記顔情報を補正するための補正情報を取得する、
ことを含み、
前記補正情報は、前記表示部の一端の第１の位置を通り、前記第１の位置に入力欄を有する画面が表示されている間に生成された第１の顔画像から検出される第１の視線方向に延びる直線と、前記表示部の他端の第２の位置を通り、前記第２の位置に入力欄を有する画面が表示されている間に生成された第２の顔画像から検出される第２の視線方向に延びる直線との交点として求められる、前記運転者の目の３次元位置を表す情報である顔情報取得方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020142607A JP7367637B2 (ja) | 2020-08-26 | 2020-08-26 | 顔情報取得装置および顔情報取得方法 |
| CN202110952306.7A CN114103961B (zh) | 2020-08-26 | 2021-08-19 | 面部信息获取装置以及面部信息获取方法 |
| US17/406,311 US20220066551A1 (en) | 2020-08-26 | 2021-08-19 | Apparatus and method for obtaining facial information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020142607A JP7367637B2 (ja) | 2020-08-26 | 2020-08-26 | 顔情報取得装置および顔情報取得方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022038225A JP2022038225A (ja) | 2022-03-10 |
| JP7367637B2 true JP7367637B2 (ja) | 2023-10-24 |
Family
ID=80358563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020142607A Active JP7367637B2 (ja) | 2020-08-26 | 2020-08-26 | 顔情報取得装置および顔情報取得方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220066551A1 (ja) |
| JP (1) | JP7367637B2 (ja) |
| CN (1) | CN114103961B (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013125307A (ja) | 2011-12-13 | 2013-06-24 | Panasonic Corp | 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法 |
| WO2015125243A1 (ja) | 2014-02-19 | 2015-08-27 | 三菱電機株式会社 | 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法 |
| WO2016139850A1 (ja) | 2015-03-05 | 2016-09-09 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2956844B1 (en) * | 2013-02-14 | 2017-05-24 | Facebook, Inc. | Systems and methods of eye tracking calibration |
| US9189095B2 (en) * | 2013-06-06 | 2015-11-17 | Microsoft Technology Licensing, Llc | Calibrating eye tracking system by touch input |
| CN107848465B (zh) * | 2015-05-06 | 2021-06-01 | 麦格纳镜片美国有限公司 | 具有盲区显示和警示系统的车辆视觉系统 |
| JP6693489B2 (ja) * | 2017-11-15 | 2020-05-13 | オムロン株式会社 | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム |
-
2020
- 2020-08-26 JP JP2020142607A patent/JP7367637B2/ja active Active
-
2021
- 2021-08-19 CN CN202110952306.7A patent/CN114103961B/zh active Active
- 2021-08-19 US US17/406,311 patent/US20220066551A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013125307A (ja) | 2011-12-13 | 2013-06-24 | Panasonic Corp | 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法 |
| WO2015125243A1 (ja) | 2014-02-19 | 2015-08-27 | 三菱電機株式会社 | 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法 |
| WO2016139850A1 (ja) | 2015-03-05 | 2016-09-09 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022038225A (ja) | 2022-03-10 |
| CN114103961A (zh) | 2022-03-01 |
| CN114103961B (zh) | 2023-12-12 |
| US20220066551A1 (en) | 2022-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10311735B2 (en) | Vehicle display system and method of controlling vehicle display system | |
| JP5230748B2 (ja) | 視線方向判定装置及び視線方向判定方法 | |
| US9696814B2 (en) | Information processing device, gesture detection method, and gesture detection program | |
| JP5790762B2 (ja) | 瞼検出装置 | |
| US11455810B2 (en) | Driver attention state estimation | |
| JP6669182B2 (ja) | 乗員監視装置 | |
| WO2019176492A1 (ja) | 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体 | |
| JP2018151930A (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
| JP7367637B2 (ja) | 顔情報取得装置および顔情報取得方法 | |
| JP2016170688A (ja) | 運転支援装置及び運転支援システム | |
| JP6587254B2 (ja) | 輝度制御装置、輝度制御システム及び輝度制御方法 | |
| US11694449B2 (en) | Driver monitor and method for monitoring driver | |
| KR20170112885A (ko) | 차량 제어 장치 및 그 장치의 제어 방법 | |
| KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
| US11919522B2 (en) | Apparatus and method for determining state | |
| JP2019095892A (ja) | 車両用運転支援装置、および車両用運転支援プログラム | |
| US20230394702A1 (en) | Device, method, and computer program for estimating seat position | |
| JP7301256B2 (ja) | 顔向き判定装置および顔向き判定方法 | |
| US20240029454A1 (en) | Line of sight estimating device, storage medium for storing computer program for line of sight estimation, and line of sight estimating method | |
| JP2023097182A (ja) | ドライバ挙動判定装置、ドライバ挙動判定方法及びドライバ挙動判定用コンピュータプログラム | |
| US20230177861A1 (en) | Apparatus, method, and computer program for detecting hand region | |
| CN114103991B (zh) | 行驶控制装置以及行驶控制方法 | |
| JP2023061474A (ja) | 視線検出装置、視線検出システム、及び視線検出方法 | |
| JP2017199264A (ja) | 運転支援装置 | |
| JP2023085085A (ja) | 覚醒度判定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7367637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |