JP7441417B2 - ドライバ状態推定装置 - Google Patents

ドライバ状態推定装置 Download PDF

Info

Publication number
JP7441417B2
JP7441417B2 JP2020044010A JP2020044010A JP7441417B2 JP 7441417 B2 JP7441417 B2 JP 7441417B2 JP 2020044010 A JP2020044010 A JP 2020044010A JP 2020044010 A JP2020044010 A JP 2020044010A JP 7441417 B2 JP7441417 B2 JP 7441417B2
Authority
JP
Japan
Prior art keywords
driver
image
camera
identification tag
seat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020044010A
Other languages
English (en)
Other versions
JP2021144578A (ja
Inventor
洋平 岩下
潤一郎 桑原
亜希子 福井
壮椰 青木
耕二 岩瀬
敬生 丸子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2020044010A priority Critical patent/JP7441417B2/ja
Publication of JP2021144578A publication Critical patent/JP2021144578A/ja
Application granted granted Critical
Publication of JP7441417B2 publication Critical patent/JP7441417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、ドライバ状態推定装置に関するものである。
車両においては、カメラによってドライバの顔面を含む車室内の画像を取得して、取得された画像に基づいてドライバの状態を推定するものがある。そして、推定されたドライバ状態に応じた運転支援を行うこともある。特に、推定されたドライバ状態が安全運転を阻害するような異常状態であると推定されたときに、安全確保のための運転支援を行うことが考えられている。例えば、ドライバが脇見をしていると推定されたときには警報を行ったり、ドライバが居眠りしていると推定されたときには、車両を自動車的に停止させたり、所定の目標地点に向けて自動運転する等のことが考えられている。
一方、ドライバの中には、精巧なお面(あるいは顔面を示す写真)で顔面を覆って、本人とは異なる他人に見せかけるなりすましを行うことが考えられる。なりすましが行われた状態では、本人(ドライバ)の状態を正しく推定することが困難である。特許文献2、特許文献2には、人間の皮膚特有の周波数の反射光を検出することにより、上記なりすましを見破る技術が開示されている。
上記特許文献1、特許文献2のものでは、人間の皮膚特有の周波数の反射光を利用することから、高額なカメラが必要になってしまい、大量生産を行う車両に用いることがコスト的に難しいものとなる。また、車室内の光の変化は大きいが、上記特許文献に記載の技術のものでは光の変化に弱いことから、この点においても車両用として採択することが難しいものとなる。
特開2019-139433号公報 特許第6213663号公報
ところで、いたずらやシステムの限界を試す等のために、カメラとドライバとの間に偽画像を撮像させるための部材を配設するという手法でもって、運転席に着座しているドライバとは別人の顔面や人工的な顔面をカメラに撮像させることが考えられる。具体的には、カメラとドライバとの間に、カメラに向けて反射させる第1の鏡を配設して、異常状態の表情をした助手席乗員や後席乗員の顔面を他の鏡を用いて上記第1の鏡に映し出すことにより、カメラに助手席乗員や後席乗員の顔面を撮像させることが考えられる。また、異常表情とされた顔面を表示したボードを、ドライバの前方に設置する等のことが考えられる。
一方、ドライバが異常であると推定されたことによって実行される運転支援の内容によっては、やむを得ず実行するものの、極力実行を避けたいものもある。例えば、車両を自動的に停止させる運転支援を実行する場合、そのまま走行を継続させるよりは安全ではあるが、停止位置が高速道路であるときは、たとえ路肩に停止させたとしても危険性が高いものとなる。また、悪意のある者にあっては、実行された運転支援では支援不十分であるとか不具合がある等のクレームをつけるために、不必要に(故意に)運転支援を実行させる可能性も考えられる。
上述のように、カメラによって取得されるドライバの画像に基づいてドライバ状態を推定する場合、カメラで取得された画像が、実際に運転を行っているドライバ本人を示す真性な画像なのか、別人あるいは人工的な偽の画像なのかを判定することが強く望まれるものである。特に、安価なシステムとしつつ、しかも光の変化が大きい車室内の画像の取得であることを考慮したものとすることが望まれるものである。
本発明は以上のような事情を勘案してなされたもので、その目的は、カメラとドライバとの間に偽画像を撮影させるための部材が配設された場合に、安価なシステムでもって、カメラによって取得された画像が実際に運転を行っている本人が撮影されている真性なものであるか否かを容易に判定できるようにしたドライバ状態推定装置を提供することにある。
前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項1に記載のように、
運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
車室内のうち前記カメラの撮影範囲でかつ運転席シート、車室内壁面、ステアリングハンドル及びシートベルトの少なくとも1つに設けられ、真性な画像であることを示すための識別タグと、
前記カメラによって取得された画像中における前記識別タグの画像の有無に応じて、該取得された画像が真性な画像か非真性な画像であるかを判定する判定手段と、
前記判定手段によって画像が非真性であると判定されたときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
を備え、
前記禁止手段によってドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
うにしてある。
上記解決手法によれば、カメラとドライバとの間に、偽画像を撮像させるための偽画像取得用部材が配設されたときは、偽画像取得用部材によって識別タグが隠されて、カメラによって識別タグが撮像されないことになる。したがって、カメラによって取得された画像中において、識別タグに相当する画像(画素)の存在有無に応じて、ドライバ本人を撮像した真性な画像であるのか否かを容易に判定することができる。そして、非真性な画像(偽画像)であると判定されたときは、推定手段によるドライバ状態の推定が禁止されるので、偽画像に基づいてドライバ状態を誤って推定してしまう事態が防止される。以上に加えて、カメラとしては、車両用として広く使用されている一般的なカメラを用いることができ、全体として安価にシステムを構築することができる。また、識別タグの撮像を行うことは、車室内の光の大きな変化にも十分に対応して容易かつ確実に行うことができる。
以上に加えて、本発明にあっては、偽画像に基づいて不必要に運転支援を行ってしまう事態を防止することができる。
特に、前記識別タグが運転席シートの表面に設けられている場合、運転席シートはドライバの直近に位置することから、偽画像取得用部材がカメラとドライバとの間に配設されたときは、この偽画像取得用部材によって識別タグが隠される可能性が極めて高くなり、取得された画像が真性であるか否かを精度よく判定する上で極めて好ましいものとなる。
また、前記識別タグが車室内壁面に設けられている場合、車室内壁面の位置は不変なので、これに設けられた識別タグの位置も不変となる。したがって、取得された画像中における識別タグに相当する画像(画素)の位置が一定位置となって、画像中での識別タグの検出を容易かつ精度よく行えるようにする上で好ましいものとなる。
前記解決手法を前提とした好ましい態様は、請求項2以下に記載のとおりである。すなわち、
前記識別タグが互いに離間した位置において複数個設けられている、ようにしてある(請求項2対応)。この場合、ドライバの姿勢状態いかんによっては、ドライバ自身によって識別タグの一部が隠れてしまう場合もあるが、残りの識別タグを利用して、取得された画像が真性であるか否かの判定用として用いることができ、判定機会を十分に確保する等の上で好ましいものとなる。
前記複数の識別タグが、運転席に着座しているドライバの顔面を挟んで左右方向に隔置されている、ようにしてある(請求項3対応)。この場合、ドライバによっては、上半身を左右いずれか一方に傾けた状態で運転することもあるが、このような場合にも請求項5に対応した効果を得ることができる。
前記判定手段は、前記カメラによって取得された画像中に前記識別タグの画像が少なくとも2以上含まれていないときに、該取得された画像が非真性な画像であると判定する、ようにしてある(請求項4対応)。この場合、取得された画像が非真性な偽画像であることをより精度よく検出する上で好ましいものとなる。
前記カメラが赤外線式カメラとされ、
前記識別タグが、赤外線を反射する反射部材によって形成されている、
ようにしてある(請求項5対応)。この場合、カメラが赤外線式であることから、昼夜を問わず鮮明が画像を取得することができる。また、識別タグが反射部材によって形成されていることから、取得された画像中において、識別タグに相当する位置の輝度がその周囲よりも高くなっていることから、取得された画像中における識別タグ(に相当する画像)の有無を精度よく検出する等の上で好ましいものとなる。
本発明によれば、カメラとドライバとの間に偽画像を撮影させるための部材が配設された場合に、安価なシステムでもって、カメラによって取得された画像が実際に運転を行っている本人が撮影されている真性なものであるか否かを容易に判定できる。
本発明が適用された車両のインストルメントパネル付近を後方から見た図。 運転を行っているドライバを側方から見た図。 カメラ側から運転を行っているドライバを見た図。 本発明の制御系統例を示す図。 本発明の制御例を示すフローチャート。
図1は、本発明が適用された車両Vにおける車室内前部の構造を示している。図中、1はインストルメントパネル、2はフロントウインドガラス、3はステアリングハンドル、4は運転席シート、5は助手席シート、6はシフトノブ、7はコマンダスイッチ、8はAピラー、9サイドウインドガラスである。
インストルメントパネル1の上面には、車幅方向略中央部において、ディスプレイ10が固定設置されている。このディスプレイ10は、タッチ操作式とされて、各種情報が選択的に表示される。ディスプレイ10での表示内容の変更は、コマンダスイッチ7を操作することによっても行うことが可能となっている。ディスプレイ10への表示内容としては、例えば、ナビゲーション装置用の地図表示、テレビ画面表示、車両Vに搭載されている各種機器類の設定用の表示等がある。
ディスプレイ10の外周縁部を構成する枠体が、符号10aで示される。この枠体10aの上部位置に、カメラS1が設置されている。カメラS1は、実施形態では赤外線式とされて、昼夜を問わず鮮明な画像を取得する(撮像する)ことが可能となっている。
カメラ10による撮影範囲は、運転席シート4に着座されたドライバの顔面を含む所定範囲となるように設定されている。図2には、運転席4に着座されたドライバDが示される。カメラS1の上下方向の撮影角度が、図2中符号θで示される。この図2において、運転席シート4のうち、シートクッションが符号4Aで示され、シートバックが符号4Bで示され、ヘッドレストが符号4Cで示される。
図3は、運転席シート4にドライバDが着座している状況を前方から見た状況が示される。ドライバDは、Bピラー11から延びるシートベルト12を装着した状態となっている。前記カメラS1による撮影範囲Kが、図中一点鎖線で囲んだ方形の範囲とされている。撮影範囲Kには、ドライバDの顔面全体、運転席シート4のうちシートバック4Bの上部から上方部分、ステアリングハンドル3の上部、Bピラー11、シートベルト12等が含まれる。
車両Vに装備された内装品のうち、カメラS1で撮影可能な撮影範囲K内には、識別タグα1~α5が複数箇所に分散して設置されている。図3では、識別タグα1~α5の設置箇所として数多く示してあるが、設置箇所としては1箇所のみ(例えばα1が設置された箇所のみ)あるいは任意の2以上の箇所(例えばα1が設置された箇所とα2が設置された箇所)を選択することができる。各箇所において設置される識別タグの個数は1個あるいは2個以上とすることができる。識別タグα1~α5は、カメラS1によって取得された画像が、真性なものであるのか、あるいは偽装されたものであるのかを識別するためのものである。
各識別タグα1~α5の具体的な設置位置は、次のようになっている。まず、識別タグα1は、Bピラー11の内面(インナパネル)に設置されていて、上下2カ所に設けられている。Bピラー11の位置は不変なので、カメラS1で取得された画像中における識別タグα1の位置も不変となる(画像中における識別タグα1に相当する位置が一定)。
識別タグα2は、シートバック4Bの前面のうち、左右上部の2カ所に設けられている。シートバック4Bの幅は、一般的にドライバDの肩幅よりも大きいことから、シートバック4Bの左右上部位置はカメラS1によって撮影可能な範囲となる。ただし、ドライバDによっては、左右方向に傾いた姿勢で運転して、左右一方の識別タグα2がドライバDによって隠れてしまう事態を考慮して、識別タグα2は左右一対設けておくのが好ましい。
識別タグα3は、ヘッドレスト4Cの前面のうち、左右下部の2箇所に設けられている。識別タグα3も、識別タグα2と同様に、左右一対設けておくのが好ましい。
識別タグα4は、ステアリングハンドル3の前面のうち、周方向に間隔をあけて複数個設けられている(例えば30度間隔で合計12個)。撮影範囲Kに含まれるステアリングハンドル4は上部のみとなる一方、回転操作に応じて撮影範囲Kに含まれるステアリングハンドル4の周方向位置が変化される。ステアリングハンドル4の回転操作位置にかわらず、少なくとも1つの識別タグα4が撮影範囲Kに含まれるようにする設定とされる。識別タグα4を、ステアリングハンドル4の周方向全長に渡って延びる円環状に形成することもできる。
識別タグα5は、シートベルト12のうちドライバDへの装着時に前面となる面に対して、ベルト部分の長手方向に間隔を開けて複数個設けられている。特に、運転席シート4の前後位置の変化やドライバDの体格の相違に応じて、識別タグα5の位置が変化されやすいことから、識別タグα5は、シートベルト12の長手方向に間隔をあけて複数個設けておくのが好ましい。また、識別タグα5を、シートベルト12の長手方向に連続するやや長い一本の線状として形成することもできる。
識別タグα1~α5は、適宜の形状とすることができるが、識別性を高めるための特定形状とすることができる。例えば、識別タグα1~α5を、星形、丸形、三角形、五角形等の多角形等の形状とすることができる。
識別タグα1~α5は、カメラS1が赤外線式とされていることから、少なくとも表面が赤外線を反射する面として構成するのが好ましい。赤外線を反射する部材は、シート状のものを含めて種々市販されているので、市販品を適宜利用することができる。カメラS1によって識別タグα1~α5が撮像されたときは、得られた画像においては、識別タグα1~α5に相当する位置にある画素の輝度が高くなることから、識別タグα1~α5が撮影されているか否か(画像中に識別タグα1~α5に相当する画素が存在するか否か)を明確(精度よく)に判断する上で好ましいものとなる。
各識別タグα1~α5の表面は、周囲部材の表面と面一(略面一を含む)としてもよく、あるいは周囲部材の表面に対して凹または凸となるように設定することもできる。識別タグα1~α5は、シート状でもよく、またブロック材等の厚さを有するものであってもよい。識別タグα1~α5は、設置箇所に接着等によって一体化してもよく、また設置箇所の部材に対して取付凹部を形成してこの取付凹部に設置することもできる。特に、識別タグであることを乗員に認識させないために、例えば車両内装品に設けられて車室内に露出している適宜の装備品(例えば係止クリップ等)と同様の形状、大きさに設定することもできる。また、識別タグα1~α5をあたかも装飾品のように偽装することもできる。
ドライバDが運転席シート4に着座している図3の状態において、いたずら等が行われていない正常状態のときは、カメラS1によって撮像された画像中には、ドライバDの顔面やその付近の画像と共に、識別タグα1~α5に対応した画像が取得される。つまり、識別タグα1~α5がカメラS1によって取得された画像中に含まれているときは、取得された画像は偽装されたものではない真性なものであると判断することができる。そして、ドライバ状態の推定は、この真性と判断された画像に基づいて行われることになる。
一方、いたずらや悪意の観点から、運転席シート4上でカメラS1とドライバDとの間に鏡を置いて、この鏡に対して例えば助手席乗員の顔面が映り込むような設定を行って、カメラS1で撮影された顔面が助手席乗員のものとすることが考えられる。この場合、運転席シート4上に設定した鏡によって、識別タグα1~α5の全部あるいは殆どがカメラS1の撮影範囲から隠れてしまうことになる。
カメラS1によって取得された画像中に識別タグα1~α5の全部あるいは殆どが撮影されていないということは、取得された画像は偽装された画像であると判断することができる。
画像が偽装されたものであると判断されたときは、この偽装された画像に基づいてドライバ状態を推定することが禁止される。すなわち、偽装された画像が、例えばドライバが前倒れ状態となって、運転を行うことが事実上不可能な急病であるかのようなものであるときに、これに対応した運転支援が不必要に行われてしまうことになる。しかしながら、カメラS1によって撮影された画像中に識別タグα1~α5の全部あるいは殆どが含まれていないときは、取得された画像は偽画像であるとして、不必要に運転支援が実行されてしまう事態が防止される。
ドライバDの状態が異常であるかのように偽装する場合に、上述した鏡を利用するのに代えて、図3においてドライバーDの顔面に相当する位置の直前方にドライバの異常状態を示す表情を描いたボード板を設置することも考えられる。この場合も、カメラS1によって取得された画像中には、識別タグα1~α5の全部あるいは殆どに相当するものが存在しないことから、偽画像であると判断することができる。
図4は、ドライバ状態の推定と、推定されたドライバ状態に応じて運転支援を行うための制御系統例が示される。図中、Uは、マイクロコンピュータを利用して構成されたコントローラ(制御ユニット)で、制御手段としてのCPUの他、記憶手段としてのROM、RAMや、インターフェイス等を備えている。このコントローラUには、カメラS1の他、各種機器類S2~S4からの信号が入力される。S2は、車外を撮影するためのカメラであり、特に自動運転等を行うために車両Vの前方を撮影するものとなっている。S3は、車両前方の障害物までの距離を検出するレーダである。S4は、ナビゲーション装置であり、ディスプレイ10への地図表示や、GPSによって車両Vの現在位置を取得する。
コントローラUによって、各種機器類S11~S16が制御される。S11は、ブレーキ装置であり、自動ブレーキを行うためのものである。S12はエンジンのスロットルであり、車速を制御するためのものである(燃料噴射弁を制御してもよい)。S13はステアリングハンドル4であり、現在走行している車線を維持させたり、車線変更を含む自動運転を行うためのものである。 S14は、スピーカであり、ドライバDに所定の警報を音声によって行うためのものである。S15は、ハザードランプであり、ドライバDが実質的に運転不可能であると推定されたときに、周囲の他車両等に対して注意を促すためのものである。S16は、無線通信器であり、ドライバDが実質的に運転不可能であると推定されたときに、無線によって運転管理を行う管理センタや病院あるいは警察へ緊急連絡するためのものである。連絡内容としては、ドライバDに重大な異常が生じているという情報、車両Vの現在位置情報等がある。
次にコントローラUによって行われる制御内容について、図5に示すフローチャートを参照しつつ説明する。なお、以下の説明では、識別タグとしては、シートバック4Bに設けた左右一対の識別タグα2のみが設けられて、他の識別タグα1、α3~α5は存在しないものを前提としている。そして、カメラS1によって取得された画像中に、少なくとも1つの識別タグα2に相当する画像(画素)が含まれているときに、真性な画像であると判定される。逆に、カメラS1によって取得された画像中に、識別タグα2に相当する画像(画素)が全く含まれていないときに、偽装された画像であると判定される。また、以下の説明でQはステップを示す。
まず、図5のQ1において、カメラS1によって画像が取得される。次いで、Q2において、取得された画像中のうち、左右一対の識別タグα2に相当する位置を含む可能性のある所定範囲が検証部として切り出される。この後Q3において、切り出された検証部において、識別タグα2に相当する画像(画素)が検出される。
Q3の後、Q4において、Q3において識別タグAF2に相当する画像(画素)が検出できたか否かが判別される。このQ4の判別でYESのときは、Q5において、検出された識別タグが真性なものであるか否かが判別される。すなわち、画像中から検出された識別タグに相当するものと考えられる画像が、識別タグα2の形状と大きさに合致するか否かが判別される。この判別は、識別タグα2に相当する位置の画像中に、ノイズ等によってあたかも識別タグα2に相当する画像が存在すると誤って判定しまう事態を避けるためである。
なお、カメラS1が赤外線式であることから、識別タグα2を赤外線反射部材によって形成しておくことにより、取得された画像中において、識別タグα2に相当する位置の輝度がその周囲よりも高くなっていることから、識別タグα2であるか否かの判別は容易である。
このQ5の判別でYESのときは、Q6において、取得された画像中におけるドライバDの表情や姿勢等に基づいて、ドライバ状態が推定される。この後、Q7において、推定されたドライバ状態が、異常状態であるか否かが判別される。このQ7の判別でYESのときは、Q7において、ドライバの異常状態に対応した運転支援が実行される。
前記Q4の判別でNOのとき、Q5の判別でNOのとき、あるいはQ7の判別でNOのときは、それぞれQ9に移行されて、運転支援の実行が行われない状態とされる。
上述した図5に示す制御は,実施形態では、イグニッションスイッチがONとされる毎に実行され、またイグニッションスイッチがONとされた後は定期的に(所定時間経過毎に)実行され、さらに、カメラS1で取得される画像に乱れが生じた毎に実行される。なお、制御の実行条件は、適宜設定できる。
ドライバ状態に応じた運転支援の例について、簡単に説明する。まず、コントローラU(の記憶手段)には、あらかじめ、ドライバの多くの表情とそのときのドライバ状態とが関連付けられたデータベースが記憶されている。例えば、顔の向き、視線方向、瞳の状態、眉の動き、唇やその周辺の動き、鼻の動き等の組み合わせが、例えば「漫然としている」、「脇見をしている」、「眠気をもよおしている」、「居眠りしている」、「急病状態である」等のドライバ状態と関連づけられて記憶されている。
異常状態として、例えば、軽度、中度、重度の3段回に分けて判定される。軽度の異常状態は、例えば、注意散漫であるとか、眠気をもよおしているとか、脇見時間が長いとかで、この場合は、スピーカS14からの音声によって注意警報が行われる。
異常状態が中度であるときは、例えば居眠りの可能性があるときである。このときは、各種機器類S11~S13を制御して、徐々に所定速度まで減速を行うと共に車線維持を行い、さらにスピーカS14から大きな音で注意を行う(覚醒させる)。
異常状態が重度であるときは、もはや運転続行は不可能なときと判断される状態であり、例えば、ドライバDが、完全に居眠り状態になっているときの他、前倒れあるいは横倒れになってしまうとかの急病発生状態のときである。このときは、ハザードランプS15を作動させた状態で、路肩に向けて自動走行させつつ、車両Vをすみやかに停止させる。そして、無線通信によって、管理センタや病院あるいは警察に向けて、ドライバDに重大な異常が生じていることと、車両Vの現在位置を報知する。この場合、車両のすみやかな停止に代えて、自動運転によって最寄りの病院へ走行させることもできる。
前述したドライバ状態(異常状態)とそれに応じて運転支援の内容とは、あくまで一例あり、ドライバ状態に応じた運転支援の内容は適宜のものを選択できる。
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。識別タグは、1つのみ設けてもよい。識別タグは、少なくともドライバDの顔面の直近に設置するのが好ましく、またドライバDの顔面を挟んで左右一対設けておくのが好ましい。
取得された画像が真性なものであるか否かの当初の判断を簡単に行うために、識別タグの位置が不変となる固定部位(例えばBピラーで、特に撮影範囲Kのうち外周縁部に相当する位置)に設ける他、ドライバDの顔面直近に別の識別タグを設けておくのが好ましい。この場合、取得された画像中に上記固定部位に設けた識別タグが存在しないことが確認されたときは、上記別の識別タグについての確認を行うことなく、即座に偽画像(非真性画像)と判定することができる。
カメラ20によって所得された画像は静止画でも動画でもよい。静止画の場合は、連続した複数の画像から、ドライバ状態を判定するのが好ましい。カメラS1としては、赤外線式に限らず、可視光で撮像するデジタルカメラ等、適宜のものを用いることができる。
推定されたドライバ状態に応じた運転支援は、安全運転を行うものに限らず、例えば運転技量に関するものに設定する等、適宜の内容を採択することができる。例えば、ドライバ状態が「退屈」であるときに、ステアリングハンドルの応答特性を高めたり、エンジンの出力特性を敏感にする等の運転支援によって、「楽しい」と感じる方向の運転支援を行うことができる。逆に、駐車時にドライバ状態が、「不安」であるときは、例えばディスプレイ10に駐車支援用の周囲状況を示す画像を提供したり、ステアリングハンドルを自動的に操作する運転支援を行う等のこともできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。
本発明は、カメラによって取得される画像に基づいてドライバ状態を推定するようにした車両に適用して好適である。
V:車両
D:ドライバ
S1:カメラ
K:撮影範囲
1:インストルメントパネル
2:フロントウインドガラス
3:ステアリングハンドル
4:運転席シート
4A:シートクッション
4B:シートバック
4C:ヘッドレスト
10:ディスプレイ
10a:枠体
11:Bピラー
12:シートベルト
α1:識別タグ(Bピラー設置)
α2:識別タグ(シートバック設置)
α3:識別タグ(ヘッドレスト設置)
α4:識別タグ(ステアリングハンドル設置)
α5:識別タグ(シートベルト設置)

Claims (5)

  1. 運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
    前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
    車室内のうち前記カメラの撮影範囲でかつ運転席シート、車室内壁面、ステアリングハンドル及びシートベルトの少なくとも1つに設けられ、真性な画像であることを示すための識別タグと、
    前記カメラによって取得された画像中における前記識別タグの画像の有無に応じて、該取得された画像が真性な画像か非真性な画像であるかを判定する判定手段と、
    前記判定手段によって画像が非真性であると判定されたときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
    前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
    を備え、
    前記禁止手段によってドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
    ことを特徴とするドライバ状態推定装置。
  2. 請求項1において、
    前記識別タグが互いに離間した位置において複数個設けられている、ことを特徴とするとドライバ状態推定装置。
  3. 請求項2において、
    前記複数の識別タグが、運転席に着座しているドライバの顔面を挟んで左右方向に隔置されている、ことを特徴とするドライバ状態推定装置。
  4. 請求項2または請求項3において、
    前記判定手段は、前記カメラによって取得された画像中に前記識別タグの画像が少なくとも2以上含まれていないときに、該取得された画像が非真性な画像であると判定する、ことを特徴とするドライバ状態推定装置。
  5. 請求項1ないし請求項4のいずれか1項において、
    前記カメラが赤外線式カメラとされ、
    前記識別タグが、赤外線を反射する反射部材によって形成されている、
    ことを特徴とするドライバ状態推定装置。
JP2020044010A 2020-03-13 2020-03-13 ドライバ状態推定装置 Active JP7441417B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020044010A JP7441417B2 (ja) 2020-03-13 2020-03-13 ドライバ状態推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020044010A JP7441417B2 (ja) 2020-03-13 2020-03-13 ドライバ状態推定装置

Publications (2)

Publication Number Publication Date
JP2021144578A JP2021144578A (ja) 2021-09-24
JP7441417B2 true JP7441417B2 (ja) 2024-03-01

Family

ID=77766818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020044010A Active JP7441417B2 (ja) 2020-03-13 2020-03-13 ドライバ状態推定装置

Country Status (1)

Country Link
JP (1) JP7441417B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3128039A1 (fr) * 2021-10-12 2023-04-14 Renault S.A.S. Procédé d’authentification d’une prise de vue capturée dans un habitacle d’un véhicule automobile.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005259049A (ja) 2004-03-15 2005-09-22 Omron Corp 顔面照合装置
JP2006099614A (ja) 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法
JP2010097379A (ja) 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2020006780A (ja) 2018-07-06 2020-01-16 パナソニックIpマネジメント株式会社 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
JP2020081756A (ja) 2018-11-30 2020-06-04 国立大学法人静岡大学 顔画像処理装置、画像観察システム、及び瞳孔検出システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005259049A (ja) 2004-03-15 2005-09-22 Omron Corp 顔面照合装置
JP2006099614A (ja) 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法
JP2010097379A (ja) 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2020006780A (ja) 2018-07-06 2020-01-16 パナソニックIpマネジメント株式会社 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
JP2020081756A (ja) 2018-11-30 2020-06-04 国立大学法人静岡大学 顔画像処理装置、画像観察システム、及び瞳孔検出システム

Also Published As

Publication number Publication date
JP2021144578A (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
EP3330148B1 (en) Automatic driving system for vehicles
US7777619B2 (en) System and method for implementing active safety counter measures for an impaired driver
JP3390289B2 (ja) 警報装置
US20150379362A1 (en) Imaging device based occupant monitoring system supporting multiple functions
US20150009010A1 (en) Vehicle vision system with driver detection
JP6825743B2 (ja) ドライブレコーダ、表示制御方法およびプログラム
US11279348B2 (en) Safety, security and control system for vehicle
JP2009244959A (ja) 運転支援装置、運転支援方法
JP2009018625A (ja) 走行制御装置
TW201328340A (zh) 乘客攔車提示系統及方法
JP4984521B2 (ja) 車載カメラの制御装置
JP2020157938A (ja) 車載監視制御装置
JP7441417B2 (ja) ドライバ状態推定装置
JP7393739B2 (ja) ドライバ状態推定装置
US20230192115A1 (en) Method and system for assisting a driver of a road vehicle
JP2021060676A (ja) システムおよびプログラム等
WO2022185653A1 (ja) 車両用記録制御装置および記録制御方法
JP7393738B2 (ja) ドライバ状態推定装置
JP7276082B2 (ja) 運転者状態推定装置
JP4900146B2 (ja) 障害物検知装置
KR20230055433A (ko) 자동차의 음주운전 방지장치와 방법, 음주운전 자동차 수배시스템
JPH11304428A (ja) 運転者監視装置及び自動車運転支援システム
KR20160103713A (ko) 졸음 운전 예방 시스템
KR102640397B1 (ko) 차량의 후방영상 표시제어장치
JP7197416B2 (ja) 制御装置、及び、制御部の動作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240201

R150 Certificate of patent or registration of utility model

Ref document number: 7441417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150