JPS6184509A - 車両運転者判別装置 - Google Patents
車両運転者判別装置Info
- Publication number
- JPS6184509A JPS6184509A JP20869984A JP20869984A JPS6184509A JP S6184509 A JPS6184509 A JP S6184509A JP 20869984 A JP20869984 A JP 20869984A JP 20869984 A JP20869984 A JP 20869984A JP S6184509 A JPS6184509 A JP S6184509A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- image
- vehicle
- light
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
[産業上の利用分野]
本発明は車両運転者を判別する車両運転者判別装置に関
し、特に運転者を画像として検出し、運転者、顔面部の
特徴に基づいて車両運転者を判別する車両運転者判別装
置に関するものである。
し、特に運転者を画像として検出し、運転者、顔面部の
特徴に基づいて車両運転者を判別する車両運転者判別装
置に関するものである。
[従来の技術]
近年、自動車等の車両における操作性の向上が強く求め
られるようになり、運転者にとって良好な車両の操作性
を実現する要素、例えば、バックミラーの角度調整やエ
アコン吹出口の方向の調整、チルトハンドルの高さの調
整あるいはヘッドレストの高さの調整などを個々の運転
者に合わせて自助的に行なうといったことが望まれてい
る。この為には車両運転者の位置を知る必要があるが、
例えば従来は車両運転者の乗車状態を搬像し、画像とし
て検出するカメラ等からなる画像検出部と、その検出さ
れた画像をいわゆる画像処即によって分析し、画像上の
運転者の目の位置や頭の位置等、予め定められた所定の
位置を検出して、その部分の車室内における3次元位置
を算出するマイクロコンピュータ等からなる画像処理部
とにより構成された運転者の乗車位置を認識する装置が
提案されている。
られるようになり、運転者にとって良好な車両の操作性
を実現する要素、例えば、バックミラーの角度調整やエ
アコン吹出口の方向の調整、チルトハンドルの高さの調
整あるいはヘッドレストの高さの調整などを個々の運転
者に合わせて自助的に行なうといったことが望まれてい
る。この為には車両運転者の位置を知る必要があるが、
例えば従来は車両運転者の乗車状態を搬像し、画像とし
て検出するカメラ等からなる画像検出部と、その検出さ
れた画像をいわゆる画像処即によって分析し、画像上の
運転者の目の位置や頭の位置等、予め定められた所定の
位置を検出して、その部分の車室内における3次元位置
を算出するマイクロコンピュータ等からなる画像処理部
とにより構成された運転者の乗車位置を認識する装置が
提案されている。
[発明が解決しようとする問題点]
しかしながら、従来提案されている車両運転者の乗車位
置認識装置では車両運転者の姿勢とか体格に合わせて各
種車両装備部分を自動調整しようとするものであり、運
転者の好みまで考えた運転者の個性にあった自動調整を
することは考rpiされていなかった。その為、ヘッド
レストの高さ、座席等が機械的に自動調整され良好な位
置にセットされたとしても自分の好みに合わなく、かえ
って車両運転者にとって操作性が悪くなる時がある。
置認識装置では車両運転者の姿勢とか体格に合わせて各
種車両装備部分を自動調整しようとするものであり、運
転者の好みまで考えた運転者の個性にあった自動調整を
することは考rpiされていなかった。その為、ヘッド
レストの高さ、座席等が機械的に自動調整され良好な位
置にセットされたとしても自分の好みに合わなく、かえ
って車両運転者にとって操作性が悪くなる時がある。
又、従来より、車両が停車中にドアをロックしているに
も拘らず盗難にあう事件が多数報告されており、車両の
盗難を防止する、いわゆる車両盗難防止装置をドアのロ
ック機構とは別途設け、車両に不当に侵入されたとして
も盗難に至らないようにするものが数多く提案され望ま
れている。
も拘らず盗難にあう事件が多数報告されており、車両の
盗難を防止する、いわゆる車両盗難防止装置をドアのロ
ック機構とは別途設け、車両に不当に侵入されたとして
も盗難に至らないようにするものが数多く提案され望ま
れている。
[問題点を解決するための手段〕
本発明は、上記したような各種車両装置の自動調整の精
度向上、盗難防止等の為には車両運転者を判別する必要
があるという点に鑑みなされたものであり、本発明の車
両運転者判別装置の溝或は第1図のv本釣構成図に示す
如く、 車両運転者■を照射する発光手段■と、該発光手段の照
射による上記運転者からの反射光を受け、少なくとも上
記運転者の顔面部を画像データとして検出する画像検出
手段■と、該検出された画像データにおける上記運転者
顔面部の特徴部分を検出する特徴検出手段Vと、該検出
された特徴部分と予め記憶された特徴部分との比較によ
り上記運転者を判別する運転者判別手段Vと、 を備えたことを特徴としている。
度向上、盗難防止等の為には車両運転者を判別する必要
があるという点に鑑みなされたものであり、本発明の車
両運転者判別装置の溝或は第1図のv本釣構成図に示す
如く、 車両運転者■を照射する発光手段■と、該発光手段の照
射による上記運転者からの反射光を受け、少なくとも上
記運転者の顔面部を画像データとして検出する画像検出
手段■と、該検出された画像データにおける上記運転者
顔面部の特徴部分を検出する特徴検出手段Vと、該検出
された特徴部分と予め記憶された特徴部分との比較によ
り上記運転者を判別する運転者判別手段Vと、 を備えたことを特徴としている。
[作用]
発光手段■は、画像検出手段■において明瞭な画像を1
qるために自然光以外の光源として車両運転者を照射し
て明るくする。その発光部には運転者が眩しさを感じな
い範囲で可視光を使ってもよいが、赤外光を使ったもの
の方が運転者に影響を与えないで済むので良好である。
qるために自然光以外の光源として車両運転者を照射し
て明るくする。その発光部には運転者が眩しさを感じな
い範囲で可視光を使ってもよいが、赤外光を使ったもの
の方が運転者に影響を与えないで済むので良好である。
画像検出手段■は、発光手段の照射による運転者からの
反射光を受け、運転者判別において必要な情報を運転者
の画像データとして検出する。画像検出手段■を運転者
の側面画像を検出するよう助手席側に配設すると鼻及び
顎等の顔面部の特徴部分が認識しやずい。又、画像検出
手段■を運転者の正面画像を検出するよう運転席正面に
配設すると側面画像では検出しにくい口、耳等の顔面部
の特徴部分が認識しやすい。
反射光を受け、運転者判別において必要な情報を運転者
の画像データとして検出する。画像検出手段■を運転者
の側面画像を検出するよう助手席側に配設すると鼻及び
顎等の顔面部の特徴部分が認識しやずい。又、画像検出
手段■を運転者の正面画像を検出するよう運転席正面に
配設すると側面画像では検出しにくい口、耳等の顔面部
の特徴部分が認識しやすい。
特徴検出手段IVは画像検出手段で検出された画像デー
タにおける上記運転者顔面部の特徴部分を検出する手段
であり、この特徴部分として、例えば該検出された画像
データにおける上記運転者顔面部の複数の特定部分、た
とえば目、の、顎、口又は耳等の形状やそれらの位置関
係があり、これらを検出する。
タにおける上記運転者顔面部の特徴部分を検出する手段
であり、この特徴部分として、例えば該検出された画像
データにおける上記運転者顔面部の複数の特定部分、た
とえば目、の、顎、口又は耳等の形状やそれらの位置関
係があり、これらを検出する。
認識手段Vは上記特徴検出手段において検出された顔面
部の特徴部分である目、鼻、顎、口、又は耳等の特定部
分の形状やそれらの位置関係を予め記憶された車両所有
者等の人物の特徴部分と比較することにより車両運転者
を判別する。
部の特徴部分である目、鼻、顎、口、又は耳等の特定部
分の形状やそれらの位置関係を予め記憶された車両所有
者等の人物の特徴部分と比較することにより車両運転者
を判別する。
[実施例]
以下本発明の一実施例を図面と共に説明する。
第2図は本実施例の車両運転者判別装置が搭載された車
両のインストルメントパネル部分及びその周辺を表わす
斜視図であって、1は運転者、2は運転席、3はインス
トルメントパネルを表わしている。そしてインストルメ
ントパネル3の運転席2に対する左斜め前方、即ち、助
手席側前方には、運転者1の上体を左方向から照射する
発光部5と、発光部5の照射による運転者1からの反則
光を受け、運転者1の上体を左方向から2次元画像とし
て捉える画像検出部6が設けられている。
両のインストルメントパネル部分及びその周辺を表わす
斜視図であって、1は運転者、2は運転席、3はインス
トルメントパネルを表わしている。そしてインストルメ
ントパネル3の運転席2に対する左斜め前方、即ち、助
手席側前方には、運転者1の上体を左方向から照射する
発光部5と、発光部5の照射による運転者1からの反則
光を受け、運転者1の上体を左方向から2次元画像とし
て捉える画像検出部6が設けられている。
ここで発光部5は前述の発光手段■に相当し、照(ト)
時に運転者1に眩しさを感じさせることのないよう赤外
光を発光する赤外ストロボが用いられ、第3図に示す如
く、赤外発光体5aと、赤外発光体5aにて発光された
赤外光を広く運転者に照射する為のレンズ5bと、赤外
光を透過し、可視光を通さない赤外フィルタ5Cと、こ
れら赤外発光体5a、レンズ5b及び赤外フィルタ5C
を格納し、インストルメントパネル3の所定の位置に取
り付けるためのケース5dとから構成されている。
時に運転者1に眩しさを感じさせることのないよう赤外
光を発光する赤外ストロボが用いられ、第3図に示す如
く、赤外発光体5aと、赤外発光体5aにて発光された
赤外光を広く運転者に照射する為のレンズ5bと、赤外
光を透過し、可視光を通さない赤外フィルタ5Cと、こ
れら赤外発光体5a、レンズ5b及び赤外フィルタ5C
を格納し、インストルメントパネル3の所定の位置に取
り付けるためのケース5dとから構成されている。
また画像検出部6は前述の画像検出手段■に相当し、発
光部5の照射による運転者1からの反射光を運転者1の
上体画像として捉えるためのものであって、この画像検
出部6には第4図に示す如く、運転者1からの反射光、
即ち赤外光を透過するための赤外フィルタ6aと、運転
者1の上体画像を後述の固体@像素子6e17)撮像面
に結像するための焦点距離が例えば12.5mmのレン
ズ6bと、光量を調整するための液晶絞り素子6Cと、
上記赤外フィルタ6a、レンズ6b及び液晶絞り素子6
Cを透過して結像された@像面上の映像をスイッチング
走査で電気信号として取り出す、フォトセンサとスイッ
チング回路とからなるMOS形の固体撮像素子6eと、
上記各部を格納し、インストルメントパネル3に取り付
けるためのケース6[とから構成されるノンインターレ
ース方式の固体カメラが用いられている。
光部5の照射による運転者1からの反射光を運転者1の
上体画像として捉えるためのものであって、この画像検
出部6には第4図に示す如く、運転者1からの反射光、
即ち赤外光を透過するための赤外フィルタ6aと、運転
者1の上体画像を後述の固体@像素子6e17)撮像面
に結像するための焦点距離が例えば12.5mmのレン
ズ6bと、光量を調整するための液晶絞り素子6Cと、
上記赤外フィルタ6a、レンズ6b及び液晶絞り素子6
Cを透過して結像された@像面上の映像をスイッチング
走査で電気信号として取り出す、フォトセンサとスイッ
チング回路とからなるMOS形の固体撮像素子6eと、
上記各部を格納し、インストルメントパネル3に取り付
けるためのケース6[とから構成されるノンインターレ
ース方式の固体カメラが用いられている。
次に本実施例の車両運転者判別装置の全体構成を第5図
に示すブロック図に基づき説明する。
に示すブロック図に基づき説明する。
図に示す如く、本認識装置は上記発光部5及び画像検出
部6の他に、画像検出部6にて得られた画像信号を処理
し、運転者1の目の位置を認識する画@認識部8を備え
ている。そしてこの画(!1認識部8は、上記画像検出
部6を制御すると共に、画像検出部6にて得られた画像
信号をデジタル信号に変換し、その変換されたデジタル
信号を画像データとして一旦記憶することのできる画像
入力部10と、上記発光部5を発光させるための照射信
号を出力する照射信号出力部12と、画像入力部10に
てA/D変換され記憶された画像データから運転者1の
顔面部における3箇所(本実施例では鼻と目と顎)の形
状及び特異点位置を検出し、この3つの形状及び特異点
位置から運転者を判別するといった一連の車両運転者判
別処理を実行するセントラルブロセッシングユニット(
CPU)14と、CPU14にて車両運転者判別処理を
実行するための制御プログラムやデータが予め記憶され
たリードオンリメモリ(ROM)16と、演算処理実行
のために用いられるデータ等が一時的に読み書きされる
ランダムアクセスメモリ(RAM)18と、上記各部を
結び画像信号やυlit]信号の通路とされるパスライ
ン20と、上記各部に電源を供給する電源回路22とか
ら構成されている。
部6の他に、画像検出部6にて得られた画像信号を処理
し、運転者1の目の位置を認識する画@認識部8を備え
ている。そしてこの画(!1認識部8は、上記画像検出
部6を制御すると共に、画像検出部6にて得られた画像
信号をデジタル信号に変換し、その変換されたデジタル
信号を画像データとして一旦記憶することのできる画像
入力部10と、上記発光部5を発光させるための照射信
号を出力する照射信号出力部12と、画像入力部10に
てA/D変換され記憶された画像データから運転者1の
顔面部における3箇所(本実施例では鼻と目と顎)の形
状及び特異点位置を検出し、この3つの形状及び特異点
位置から運転者を判別するといった一連の車両運転者判
別処理を実行するセントラルブロセッシングユニット(
CPU)14と、CPU14にて車両運転者判別処理を
実行するための制御プログラムやデータが予め記憶され
たリードオンリメモリ(ROM)16と、演算処理実行
のために用いられるデータ等が一時的に読み書きされる
ランダムアクセスメモリ(RAM)18と、上記各部を
結び画像信号やυlit]信号の通路とされるパスライ
ン20と、上記各部に電源を供給する電源回路22とか
ら構成されている。
次に上記画像信号処理部8のCPU14にて演算処理さ
れる車両運転者判別処理について、第6図に示すフロー
チャートに沿って詳しく説明する。
れる車両運転者判別処理について、第6図に示すフロー
チャートに沿って詳しく説明する。
処理が開始されるとまずステップ101にて発光部5を
発光させるべく照射信号出力部12から照射信号を出力
させる発光処理を実行する。
発光させるべく照射信号出力部12から照射信号を出力
させる発光処理を実行する。
この処理は画像入力部10の同期信号発生回路10aか
ら出力される垂直同期信号と同期して発光部5を発光さ
せ、画代入力部10にて良好な画像データが1りられる
ようにするためのものであって、第7図に示す如く、発
光部5の発光が垂直帰線時期t1と一致するよう垂直同
期信号の立ら上がり時期から所定の遅延時間Δ丁経過後
照射信号を出力する。そしてこのように発光部5より運
転者1に赤外光が照射されると、時間t2の間両像入力
部10のA/D変換回路10bにて画像検出部6からの
画像信号がデジタル信号に変換され、そのデジタル信号
が画像データとして、画像データ記憶回路10Cに記憶
されることとなる。
ら出力される垂直同期信号と同期して発光部5を発光さ
せ、画代入力部10にて良好な画像データが1りられる
ようにするためのものであって、第7図に示す如く、発
光部5の発光が垂直帰線時期t1と一致するよう垂直同
期信号の立ら上がり時期から所定の遅延時間Δ丁経過後
照射信号を出力する。そしてこのように発光部5より運
転者1に赤外光が照射されると、時間t2の間両像入力
部10のA/D変換回路10bにて画像検出部6からの
画像信号がデジタル信号に変換され、そのデジタル信号
が画像データとして、画像データ記憶回路10Cに記憶
されることとなる。
尚、この画像データ記憶回路10cにおいては、上記発
光部5及び画像検出部6が運転席2に対して左斜め前方
に設けられていることから、第8図に示す如き運転者1
を左斜め前方より捉えた画像が、第9図に示す如く、横
256、縦240に分割する画素の明度を表わす画像デ
ータG(0,0〉・・・G(255,239)として記
憶される。
光部5及び画像検出部6が運転席2に対して左斜め前方
に設けられていることから、第8図に示す如き運転者1
を左斜め前方より捉えた画像が、第9図に示す如く、横
256、縦240に分割する画素の明度を表わす画像デ
ータG(0,0〉・・・G(255,239)として記
憶される。
次にステップ102においては、上記画像データにおけ
る予め設定された所定のエリア、つまり第8図に示す3
0の領域をのの存在域として読み込み、この領域内の最
も左側に存在する一定レベル以上の明度を有する画素を
検索(以下、輝点検索という。)し、その位置を記憶す
る。この処理は次ステツプ103にて鼻の位置を検出す
る際に、鼻を捜す範囲を限定するための処理であって、
求められた画素の位置が鼻を捜すための基点とされる。
る予め設定された所定のエリア、つまり第8図に示す3
0の領域をのの存在域として読み込み、この領域内の最
も左側に存在する一定レベル以上の明度を有する画素を
検索(以下、輝点検索という。)し、その位置を記憶す
る。この処理は次ステツプ103にて鼻の位置を検出す
る際に、鼻を捜す範囲を限定するための処理であって、
求められた画素の位置が鼻を捜すための基点とされる。
尚、本陣点検索処理としては、第8図の^存在bX30
における左上端の画素を出発点として、上下方向に順次
検索してゆき、最初の一定レベル以上の明度を有する画
素の位置を記憶すればよい。
における左上端の画素を出発点として、上下方向に順次
検索してゆき、最初の一定レベル以上の明度を有する画
素の位置を記憶すればよい。
このように輝点検索が実行され、鼻存在域の最も左側に
存在する一定レベル以上の明度を有する画素の位置が求
められると、上述したように続くステップ103にて、
この位置を基点として鼻を捜し、鼻の位置及び形状を検
出する処理がなされるのであるが、この処理は、輝点検
索によって求められた画素の近傍で、予め記憶されてい
る車両所有者の鼻のパターンと画像データとの相関の度
合いを調べ、相関の最大値となる画像の位置を以て鼻が
存在する位置であるとみなし、又、その位置より一定範
囲の画像データ部分を6の形状とみなし検出するもので
ある。ここで上記予め記憶されている車両所有者の外の
パターンは車両所有者のものが予めRAM18中のバッ
クアップRAMに記憶されている。この記憶方法は例え
ば車両所有者の画像データと予め設定されている第10
図に示す如ぎりの標準パターンとの相関の度合いを調べ
、相関の最大値となる画像の位置を以て0か存在する位
置であるとみなし、その位置より一定範囲の画像データ
を車両所有者のり)のパターンとしてバックアップRA
Mに占き込んでおく。
存在する一定レベル以上の明度を有する画素の位置が求
められると、上述したように続くステップ103にて、
この位置を基点として鼻を捜し、鼻の位置及び形状を検
出する処理がなされるのであるが、この処理は、輝点検
索によって求められた画素の近傍で、予め記憶されてい
る車両所有者の鼻のパターンと画像データとの相関の度
合いを調べ、相関の最大値となる画像の位置を以て鼻が
存在する位置であるとみなし、又、その位置より一定範
囲の画像データ部分を6の形状とみなし検出するもので
ある。ここで上記予め記憶されている車両所有者の外の
パターンは車両所有者のものが予めRAM18中のバッ
クアップRAMに記憶されている。この記憶方法は例え
ば車両所有者の画像データと予め設定されている第10
図に示す如ぎりの標準パターンとの相関の度合いを調べ
、相関の最大値となる画像の位置を以て0か存在する位
置であるとみなし、その位置より一定範囲の画像データ
を車両所有者のり)のパターンとしてバックアップRA
Mに占き込んでおく。
ここで上記車両所有者の鼻のパターンと画像データとの
相関の度合いを調べる手順を詳しく説明すると、上記ス
テップ102にて求められた画素の位置G (x 、
y )を中心に、第11図に示す蛸(上下、左右に夫々
5画素分、計121個の画素を、夫々第10図に示した
車両所有者のののパターン(以下、基準パターンという
)における中心位置lIl (0,O)として画像デー
タと基準パターンとの相関値を計算し、その値が最も大
きくなった画素位置を鼻尖(いわゆる鼻の頭)の位IG
(hx、 hy)として認識するのである。ここで、基
準パターンにおける中心位置m (0,O)は鼻尖に
相当する部分として予め設定されており、また相関値と
しては次式 %式%) より求めることができる。尚上記i及びjの値としては
、基準パターンが中心rtr (0,O)に対して上
下左右にどれだけの拡がりをもつデータとして構成され
ているかを考え1.jに適切な値を用いればよい。予め
、車両運転者をバックアップRAMに記憶する場合は第
10図の鼻の標準パターンの拡がりより中心Ill
(0,O)に対して上に16、下に7、左に1、右に6
の拡がりを持つデータとして構成されていることから、
iに(−1)から(+6)、jに(−16>から(+7
)の間の整数値を用いればよい。
相関の度合いを調べる手順を詳しく説明すると、上記ス
テップ102にて求められた画素の位置G (x 、
y )を中心に、第11図に示す蛸(上下、左右に夫々
5画素分、計121個の画素を、夫々第10図に示した
車両所有者のののパターン(以下、基準パターンという
)における中心位置lIl (0,O)として画像デー
タと基準パターンとの相関値を計算し、その値が最も大
きくなった画素位置を鼻尖(いわゆる鼻の頭)の位IG
(hx、 hy)として認識するのである。ここで、基
準パターンにおける中心位置m (0,O)は鼻尖に
相当する部分として予め設定されており、また相関値と
しては次式 %式%) より求めることができる。尚上記i及びjの値としては
、基準パターンが中心rtr (0,O)に対して上
下左右にどれだけの拡がりをもつデータとして構成され
ているかを考え1.jに適切な値を用いればよい。予め
、車両運転者をバックアップRAMに記憶する場合は第
10図の鼻の標準パターンの拡がりより中心Ill
(0,O)に対して上に16、下に7、左に1、右に6
の拡がりを持つデータとして構成されていることから、
iに(−1)から(+6)、jに(−16>から(+7
)の間の整数値を用いればよい。
また相関値が、基準パターンにおける中心位置m (
Q、○)に対して、第11図に示す如き画像データ上の
画素G (x 、 y )を中心とする上下、左右に夫
々5個、計121個の画素を当てはめ、計算されること
から、上式におけるX、Yの値としては、夫々、XがX
±5、Yがy±5の間の整数値となり、結局X及びYの
祖み合わせて最大121通りの相関値が算出され、その
最大値となる画像データ上の画素G (X、Y)が鼻の
位置G(hx、 hy)として検出されるのである。
Q、○)に対して、第11図に示す如き画像データ上の
画素G (x 、 y )を中心とする上下、左右に夫
々5個、計121個の画素を当てはめ、計算されること
から、上式におけるX、Yの値としては、夫々、XがX
±5、Yがy±5の間の整数値となり、結局X及びYの
祖み合わせて最大121通りの相関値が算出され、その
最大値となる画像データ上の画素G (X、Y)が鼻の
位置G(hx、 hy)として検出されるのである。
次いで鼻の位置G (hx、 hy)より、上に16、
下に7、左に1、右に6の拡がりを持つ画像データ部分
が0の形状として検出されるのである。
下に7、左に1、右に6の拡がりを持つ画像データ部分
が0の形状として検出されるのである。
このようにして烏の位21G (11x、 hy)及び
形状が求められると、続くステップ104に移行して、
今度はこの鼻の位@G (hx、 hy)に基づき顎の
位置及び形状を求めることとなる。ここで顎の位置を求
めるに当っては、まず鼻の位i2G (hx、 hy)
より右に10、下に35移行した画素の位置G(hx+
10、hy+ 35 >を求め、この位置の近傍で予め
記憶されている車両所有音の顎の標準パターンと画像デ
ータとの相関の度合を調べ、顎の位taG (ax、
ay)が算出される。尚この決定方法としては、上記ス
テップ103の鼻の位置決定と同様に行なえばよいので
、説明は省略する。又、上記予め記憶されている車両所
有者の顎のパターンは車両所有者のものを鼻の場合と同
様に予めROM16に記憶する作業を行なわなければな
らないが、これは車両所有者の画像データと予め設定さ
れている第12図に示す如き顎の標準パターンとの相関
の度合いを調べ、相関の最大値となる画像の位置を以て
顎が存在する位置であるとみなしその位置より上に14
、下に1、左に1、右に8の拡がりを持つ画像データ部
分がすなわち車両所有者の顎のパターンであるから、こ
れをバックアップRAMにとり入れれば良い。次いで、
上記算出した顎の位置Q(ax、ay)を中心として上
に14、下に1、左に1、右に8の拡がりを持つ画像デ
ータ部分が顎の形状として検出される。
形状が求められると、続くステップ104に移行して、
今度はこの鼻の位@G (hx、 hy)に基づき顎の
位置及び形状を求めることとなる。ここで顎の位置を求
めるに当っては、まず鼻の位i2G (hx、 hy)
より右に10、下に35移行した画素の位置G(hx+
10、hy+ 35 >を求め、この位置の近傍で予め
記憶されている車両所有音の顎の標準パターンと画像デ
ータとの相関の度合を調べ、顎の位taG (ax、
ay)が算出される。尚この決定方法としては、上記ス
テップ103の鼻の位置決定と同様に行なえばよいので
、説明は省略する。又、上記予め記憶されている車両所
有者の顎のパターンは車両所有者のものを鼻の場合と同
様に予めROM16に記憶する作業を行なわなければな
らないが、これは車両所有者の画像データと予め設定さ
れている第12図に示す如き顎の標準パターンとの相関
の度合いを調べ、相関の最大値となる画像の位置を以て
顎が存在する位置であるとみなしその位置より上に14
、下に1、左に1、右に8の拡がりを持つ画像データ部
分がすなわち車両所有者の顎のパターンであるから、こ
れをバックアップRAMにとり入れれば良い。次いで、
上記算出した顎の位置Q(ax、ay)を中心として上
に14、下に1、左に1、右に8の拡がりを持つ画像デ
ータ部分が顎の形状として検出される。
このようにして顎の位置G (ax、 ay)が求めら
れると、続くステップ105に移行して、今度はステッ
プ103で求めた鼻の位IG (hx、 hy)に基づ
き目の位置及び形状を求めることとなる。ここで目の位
置を求めるに当っては、まず寿の位置G (hx、 b
y)より右に12画素、上に13画画素行した画素の位
置G(hx+12、hy−13>を求め、この位置の近
傍で予め記憶されている車両所有者の目の標準パターン
と画像データとの相関の度合を調べ、目の位置G (m
x、 my>を決定する。
れると、続くステップ105に移行して、今度はステッ
プ103で求めた鼻の位IG (hx、 hy)に基づ
き目の位置及び形状を求めることとなる。ここで目の位
置を求めるに当っては、まず寿の位置G (hx、 b
y)より右に12画素、上に13画画素行した画素の位
置G(hx+12、hy−13>を求め、この位置の近
傍で予め記憶されている車両所有者の目の標準パターン
と画像データとの相関の度合を調べ、目の位置G (m
x、 my>を決定する。
尚、この決定方法としては、上記ステップ103の鼻の
位置決定やステップ104の顎の位置決定と同様に行な
えばよいので、説明は省略する。又、上記予め記憶され
ている車両所有者の目のパターンは、鼻、顎の場合と同
じように第13図に示す如き目の標準パターンとの相関
の度合を調べ検出する。
位置決定やステップ104の顎の位置決定と同様に行な
えばよいので、説明は省略する。又、上記予め記憶され
ている車両所有者の目のパターンは、鼻、顎の場合と同
じように第13図に示す如き目の標準パターンとの相関
の度合を調べ検出する。
以上ステップ102ないしステップ105の処理にて画
像データ上の鼻の位置G (−hx、 hy) 、顎の
位置G (ax、 ay> 、目の位置G (mx、
my> 、及び鼻の形状、顎の形状、目の形状が求めら
れると、今度はステップ106に移行して、画像データ
上のG (hx、 hy) 、G (ax、 ay)
、G (mx、my)間の距離を求める。それは第14
図に示す姐く画像の左上を原点とするO≦X≦255.
0≦y≦239の範囲の座標系を定めG (hx、 h
y) 、G (axlaV> 、G (mx、my)を
座標上にとり、目−顎間y方向距離、鼻−顎間y方向距
離、鼻−目間X方向距離を立1、立2、立3とし計算す
れば良い。
像データ上の鼻の位置G (−hx、 hy) 、顎の
位置G (ax、 ay> 、目の位置G (mx、
my> 、及び鼻の形状、顎の形状、目の形状が求めら
れると、今度はステップ106に移行して、画像データ
上のG (hx、 hy) 、G (ax、 ay)
、G (mx、my)間の距離を求める。それは第14
図に示す姐く画像の左上を原点とするO≦X≦255.
0≦y≦239の範囲の座標系を定めG (hx、 h
y) 、G (axlaV> 、G (mx、my)を
座標上にとり、目−顎間y方向距離、鼻−顎間y方向距
離、鼻−目間X方向距離を立1、立2、立3とし計算す
れば良い。
続くステップ107に移行して、ステップ107では、
ステップ102ないしステップ105で検出した車両運
転者の目の形状、鼻の形状、顎の形状及びステップ10
6で計算した11、立2、立3の値と、予め車両所有者
の画像上で導いた車両所有者の目の形状、鼻の形状、顎
の形状及び立+ 、12 N立3の値とを比較すること
により類似性を調べ車両運転者が車両所有者であるがど
うかを判別する。尚、形状及び立+ 、jLz、laの
値等は運転者の画像検出部からの距離である乗車位置に
よって当然変ってくる為、比をもって比較する。
ステップ102ないしステップ105で検出した車両運
転者の目の形状、鼻の形状、顎の形状及びステップ10
6で計算した11、立2、立3の値と、予め車両所有者
の画像上で導いた車両所有者の目の形状、鼻の形状、顎
の形状及び立+ 、12 N立3の値とを比較すること
により類似性を調べ車両運転者が車両所有者であるがど
うかを判別する。尚、形状及び立+ 、jLz、laの
値等は運転者の画像検出部からの距離である乗車位置に
よって当然変ってくる為、比をもって比較する。
尚、ステップ102ないしステップ106にて実行され
る処理が特徴検出手段IVに相当し、ステップ107の
処理が運転者判別手段Vに相当する。
る処理が特徴検出手段IVに相当し、ステップ107の
処理が運転者判別手段Vに相当する。
以上説明した如く、本実施例の車両運転者判別装置にお
いては、運転者1の斜め前方に設けられた1個の画像検
出部6により得られる画像データを処理し、顔面部の特
徴部分として運転者1の鼻、目、顎の位置及びこれらの
形状を検出し、予め記憶された車両所有者の顔面部の特
徴部分と比較することによって車両運転者を判別するよ
う構成されている。鼻、目、顎の位置及びこれらの形状
は、運転者1を斜め前方より捉えているので最も検出し
やすく、又、顔面部の特徴部分として人を判別するのに
十分な条件であり、十分に高い精度を5つて運転者を判
別することが出来る。又、顔面部の特徴部分として鼻、
顎の位置及びこれらの形状に限定しても良い。この場合
、目鏡等を掛けているため目が検出出来ないという不都
合もなく簡単な処理過程を以て車両運転者を判別するこ
とが出来る。又、顔面部の特徴部分として、本実施例の
鼻、顎、耳の位置及び形状ではなく、鼻、顎、耳の位置
のみで形状を考慮にいれなくてもよく、ステップ107
の判別処理を容易なものにする。又、鼻、顎、耳の形状
のみでも車両運転者を判別することができ、ステップ1
07の判別処理を容易なものにする。
いては、運転者1の斜め前方に設けられた1個の画像検
出部6により得られる画像データを処理し、顔面部の特
徴部分として運転者1の鼻、目、顎の位置及びこれらの
形状を検出し、予め記憶された車両所有者の顔面部の特
徴部分と比較することによって車両運転者を判別するよ
う構成されている。鼻、目、顎の位置及びこれらの形状
は、運転者1を斜め前方より捉えているので最も検出し
やすく、又、顔面部の特徴部分として人を判別するのに
十分な条件であり、十分に高い精度を5つて運転者を判
別することが出来る。又、顔面部の特徴部分として鼻、
顎の位置及びこれらの形状に限定しても良い。この場合
、目鏡等を掛けているため目が検出出来ないという不都
合もなく簡単な処理過程を以て車両運転者を判別するこ
とが出来る。又、顔面部の特徴部分として、本実施例の
鼻、顎、耳の位置及び形状ではなく、鼻、顎、耳の位置
のみで形状を考慮にいれなくてもよく、ステップ107
の判別処理を容易なものにする。又、鼻、顎、耳の形状
のみでも車両運転者を判別することができ、ステップ1
07の判別処理を容易なものにする。
尚、本実施例においては、車両運転者の目、鼻、顎の2
次元位置及びそれらの形状を求めているにすぎず、車掌
内における3次元位置を算出している訳ではない。そこ
で車両運転者の3次元位置を算出するようにすればバッ
クミラーやフェンダミラーの角度調整等を自助的に行な
うことが出来るようになり、又、本来のn能である車両
運転者判別機能より運転者の好みにあったヘッドレスト
の高さ、座席の調整等を行なうことが出来る。そこで、
本実施例において3次元位置を算出するには、ステップ
105にて求められた画素データG上の目の位置G (
IIIX、 m’/)を基に、運転者1の左右方向の移
動はないものとして車掌内における運転者1の目の3次
元位置をまず求めることとなる。つまり第15図に示す
運転者1の左右(Z)方向への移動はないものと仮定し
、実験的に求めた車両運転者の左目の標準Ifl置Pを
基準とする運転者1の目(左目)の3次元位置Mを座標
(X、Y、O)として求めることによって目の位置が認
識されるのであるが、この処理としては、上記画像検出
部6が固定されていることから、画像データ上の標準点
Pの位置G (ox、 py)を予め記憶して!′3さ
、この基準位置G (f)X、 DV)に対する目の位
置G(mx、 my)のずれを算出することによって、
容易に実行することができる。続いて、第14図に示す
如く目−顎間y方向距離立1、の−目間X方向距離立3
が求まっているので、それらより鼻、顎の3次元位置を
求める。この場合鼻、顎においては目とのX方向、y方
向に垂直な方向の距離は、複数人を平均して求めた一定
値とみなして計算する。
次元位置及びそれらの形状を求めているにすぎず、車掌
内における3次元位置を算出している訳ではない。そこ
で車両運転者の3次元位置を算出するようにすればバッ
クミラーやフェンダミラーの角度調整等を自助的に行な
うことが出来るようになり、又、本来のn能である車両
運転者判別機能より運転者の好みにあったヘッドレスト
の高さ、座席の調整等を行なうことが出来る。そこで、
本実施例において3次元位置を算出するには、ステップ
105にて求められた画素データG上の目の位置G (
IIIX、 m’/)を基に、運転者1の左右方向の移
動はないものとして車掌内における運転者1の目の3次
元位置をまず求めることとなる。つまり第15図に示す
運転者1の左右(Z)方向への移動はないものと仮定し
、実験的に求めた車両運転者の左目の標準Ifl置Pを
基準とする運転者1の目(左目)の3次元位置Mを座標
(X、Y、O)として求めることによって目の位置が認
識されるのであるが、この処理としては、上記画像検出
部6が固定されていることから、画像データ上の標準点
Pの位置G (ox、 py)を予め記憶して!′3さ
、この基準位置G (f)X、 DV)に対する目の位
置G(mx、 my)のずれを算出することによって、
容易に実行することができる。続いて、第14図に示す
如く目−顎間y方向距離立1、の−目間X方向距離立3
が求まっているので、それらより鼻、顎の3次元位置を
求める。この場合鼻、顎においては目とのX方向、y方
向に垂直な方向の距離は、複数人を平均して求めた一定
値とみなして計算する。
尚本実施例においては、画像検出手段■として運転席に
対して斜め前方に設けられたMOS形の固体搬像素子か
らなる1個の画像検出部6を用いることとしたが、この
画像検出部6を運転席正面に設けても良く、その場合に
は顔面部の側面から検出しにくい部分である耳の位置、
口の位置等が検出し易く、顔面部の特徴部分とすること
ができる。又、運転席正面に2個の画像検出部を設ける
ことにより、三角測量の原理より運転者の左右方向への
移動があったとしてもそれに応じた3次元位置を認識す
ることができる。又、画像検出部6としてはMOS形の
固体撮像素子以外にも、例えばCOD等の他の固体搬像
素子を用いてもよく、インターレース方式のものを使用
してもよい。
対して斜め前方に設けられたMOS形の固体搬像素子か
らなる1個の画像検出部6を用いることとしたが、この
画像検出部6を運転席正面に設けても良く、その場合に
は顔面部の側面から検出しにくい部分である耳の位置、
口の位置等が検出し易く、顔面部の特徴部分とすること
ができる。又、運転席正面に2個の画像検出部を設ける
ことにより、三角測量の原理より運転者の左右方向への
移動があったとしてもそれに応じた3次元位置を認識す
ることができる。又、画像検出部6としてはMOS形の
固体撮像素子以外にも、例えばCOD等の他の固体搬像
素子を用いてもよく、インターレース方式のものを使用
してもよい。
[発明の効果]
以上詳述した如く、本発明の車両運転者判別装置におい
ては、車両運転者を照射する発光手段と、該発光手段の
照射による運転者からの反射光を受け、少なくとも運転
者の顔面部を画像データとして検出する画像検出手段と
を備え、該検出された画像データ上の顔面部の特徴部分
を検出し、該特徴部分に基づいて、車両運転者を判別す
るよう構成されている。従って車両運転者があらかじめ
記憶しておいた人物(例えば車両所有者)であるかどう
かの判別をする事が出来、該記憶した人物の好みにあう
ようあらかじめヘッドレストの高さ、座席の微調整等を
憶えておけば自助的にそれらを調整することが出来、運
転者の好みにあった一層良好な車両の操作性を実現する
ことが出来る。又、車両始動時に運転者を判別すること
により、その車両の持主であるかどうかがわかり、車両
所有者以外の乗員が乗り込んで車を発進させようとする
場合に警報を鳴らしたり自助的にエンジンを停止させた
りするなどして、盗難防止に役立てることが出来る。こ
の場合車両所有者以外にその家族というふうに複数人の
特徴部分を予め記憶しておくことにより、その車両に東
り込むことの出来る者を限定することが出来る。又、車
両始り3時にΦ両所有者と判別した場合、安全運転を心
掛けるよう音声装置、画像ディスプレイ装置等で呼び掛
けることが出来、安全運転に役立つ。
ては、車両運転者を照射する発光手段と、該発光手段の
照射による運転者からの反射光を受け、少なくとも運転
者の顔面部を画像データとして検出する画像検出手段と
を備え、該検出された画像データ上の顔面部の特徴部分
を検出し、該特徴部分に基づいて、車両運転者を判別す
るよう構成されている。従って車両運転者があらかじめ
記憶しておいた人物(例えば車両所有者)であるかどう
かの判別をする事が出来、該記憶した人物の好みにあう
ようあらかじめヘッドレストの高さ、座席の微調整等を
憶えておけば自助的にそれらを調整することが出来、運
転者の好みにあった一層良好な車両の操作性を実現する
ことが出来る。又、車両始動時に運転者を判別すること
により、その車両の持主であるかどうかがわかり、車両
所有者以外の乗員が乗り込んで車を発進させようとする
場合に警報を鳴らしたり自助的にエンジンを停止させた
りするなどして、盗難防止に役立てることが出来る。こ
の場合車両所有者以外にその家族というふうに複数人の
特徴部分を予め記憶しておくことにより、その車両に東
り込むことの出来る者を限定することが出来る。又、車
両始り3時にΦ両所有者と判別した場合、安全運転を心
掛けるよう音声装置、画像ディスプレイ装置等で呼び掛
けることが出来、安全運転に役立つ。
第1図は本発明のm或を表わすブロック図、第2図ない
し第14図は本発明の一実施例を示し、第2図は本実施
例の車両のインメトルメン1−パネル及びその周辺を表
わす斜視図、第3図は発光部5の説明図、第4図は画像
検出部6の説明図、第5図は本実施例の車両運転者判別
装置の全体構成図、第6図は車両運転者判別処理を表わ
すフローチャート、第7図は発光処理の説明図であって
、垂直同期信号と照射信号と発光部5の発光時期との関
係を表わすタイムチャート、第8図は画像検出部6にて
捉えられた運転者1の画像図、第9図は画像データを表
わす説明図、第10図は鼻の標準パターンを表わすデー
タ図、第11図は鼻及び顎及び目の位置検出処理の説明
図、第12図は顎の標準パターンを表わすデータ図、第
13図は目の標準パターンを表わすデータ図、第14図
は目、鼻、顎の位置関係を説明する説明図である。又第
15図は他の実施例における3次元位置を認識する場合
の説明図であって、(イ)は運転者1の平面図、(0)
は運転者1の側面図である。 ■・・・発光手段 ■・・・画像検出手段IV・
・・特徴検出手段 ■・・・運転者判別手段 5・・・発光部 6・・・画像検出部8・・・
画像認識部 10・・・画像入力部12・・・照射信
号出力部
し第14図は本発明の一実施例を示し、第2図は本実施
例の車両のインメトルメン1−パネル及びその周辺を表
わす斜視図、第3図は発光部5の説明図、第4図は画像
検出部6の説明図、第5図は本実施例の車両運転者判別
装置の全体構成図、第6図は車両運転者判別処理を表わ
すフローチャート、第7図は発光処理の説明図であって
、垂直同期信号と照射信号と発光部5の発光時期との関
係を表わすタイムチャート、第8図は画像検出部6にて
捉えられた運転者1の画像図、第9図は画像データを表
わす説明図、第10図は鼻の標準パターンを表わすデー
タ図、第11図は鼻及び顎及び目の位置検出処理の説明
図、第12図は顎の標準パターンを表わすデータ図、第
13図は目の標準パターンを表わすデータ図、第14図
は目、鼻、顎の位置関係を説明する説明図である。又第
15図は他の実施例における3次元位置を認識する場合
の説明図であって、(イ)は運転者1の平面図、(0)
は運転者1の側面図である。 ■・・・発光手段 ■・・・画像検出手段IV・
・・特徴検出手段 ■・・・運転者判別手段 5・・・発光部 6・・・画像検出部8・・・
画像認識部 10・・・画像入力部12・・・照射信
号出力部
Claims (1)
- 【特許請求の範囲】 1 車両運転者を照射する発光手段と、 該発光手段の照射による上記運転者からの反射光を受け
、少なくとも上記運転者の顔面部を画像データとして検
出する画像検出手段と、 該検出された画像データにおける上記運転者顔面部の特
徴部分を検出する特徴検出手段と、該検出された特徴部
分と予め記憶された特徴部分との比較により上記運転者
を判別する運転者判別手段と、 を備えたことを特徴とする車両運転者判別装置。 2 特徴検出手段が、該検出された画像データにおける
上記運転者顔面部の複数の特定部分の形状及び位置を以
て特徴部分として、検出するよう構成された特許請求の
範囲第1項記載の車両運転者判別装置。 3 上記複数の特定部分が運転者の鼻、目及び顎である
特許請求の範囲第2項記載の車両運転者判別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20869984A JPS6184509A (ja) | 1984-10-02 | 1984-10-02 | 車両運転者判別装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20869984A JPS6184509A (ja) | 1984-10-02 | 1984-10-02 | 車両運転者判別装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPS6184509A true JPS6184509A (ja) | 1986-04-30 |
Family
ID=16560608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20869984A Pending JPS6184509A (ja) | 1984-10-02 | 1984-10-02 | 車両運転者判別装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS6184509A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63191282A (ja) * | 1987-02-03 | 1988-08-08 | Nippon Denshi Kiki Kk | 非接触個人識別方式 |
JPS63254574A (ja) * | 1987-04-10 | 1988-10-21 | Nippon Denshi Kiki Kk | 顔照合装置の横顔特徴抽出方式 |
EP0358911A2 (en) * | 1988-09-14 | 1990-03-21 | A.C. Nielsen Company | Image recognition audience measurement system |
JPH03138508A (ja) * | 1989-10-24 | 1991-06-12 | Kobe Steel Ltd | 人体の非接触3次元形状計測装置 |
JP2007065880A (ja) * | 2005-08-30 | 2007-03-15 | Tokai Rika Co Ltd | 画像処理装置 |
JP2007316036A (ja) * | 2006-05-29 | 2007-12-06 | Honda Motor Co Ltd | 車両の乗員検知装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58139279A (ja) * | 1982-02-10 | 1983-08-18 | Nec Corp | 印鑑照合装置 |
-
1984
- 1984-10-02 JP JP20869984A patent/JPS6184509A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58139279A (ja) * | 1982-02-10 | 1983-08-18 | Nec Corp | 印鑑照合装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63191282A (ja) * | 1987-02-03 | 1988-08-08 | Nippon Denshi Kiki Kk | 非接触個人識別方式 |
JPS63254574A (ja) * | 1987-04-10 | 1988-10-21 | Nippon Denshi Kiki Kk | 顔照合装置の横顔特徴抽出方式 |
EP0358911A2 (en) * | 1988-09-14 | 1990-03-21 | A.C. Nielsen Company | Image recognition audience measurement system |
JPH03138508A (ja) * | 1989-10-24 | 1991-06-12 | Kobe Steel Ltd | 人体の非接触3次元形状計測装置 |
JP2007065880A (ja) * | 2005-08-30 | 2007-03-15 | Tokai Rika Co Ltd | 画像処理装置 |
JP2007316036A (ja) * | 2006-05-29 | 2007-12-06 | Honda Motor Co Ltd | 車両の乗員検知装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6304187B1 (en) | Method and device for detecting drowsiness and preventing a driver of a motor vehicle from falling asleep | |
US10572746B2 (en) | Apparatus detecting driving incapability state of driver | |
US7777778B2 (en) | Illumination and imaging system and method | |
US8115811B2 (en) | Vehicle surrounding area display device | |
US7253739B2 (en) | System and method for determining eye closure state | |
US8538044B2 (en) | Line-of-sight direction determination device and line-of-sight direction determination method | |
US20050100191A1 (en) | Imaging system and method for monitoring an eye | |
US20150055678A1 (en) | Information acquisition device for object to be measured | |
JP2004504219A (ja) | 自動車の安全に対する人間顔面特徴認識の適用 | |
JPS62247410A (ja) | 電気装置の付勢制御装置 | |
JP2007153035A (ja) | 乗員着座判定システム | |
JPH0976815A (ja) | 運転操作補助装置 | |
JP2007280352A (ja) | 視線方向判定装置 | |
JPS6184509A (ja) | 車両運転者判別装置 | |
US11881054B2 (en) | Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle | |
JP2004334786A (ja) | 状態検出装置及び状態検出システム | |
JP2011042179A (ja) | 投光器制御装置 | |
JPS6166906A (ja) | 車両運転者位置認識装置 | |
US20220182518A1 (en) | Control device and photographing system | |
JP3201037B2 (ja) | 運転者撮影装置 | |
JPS6177705A (ja) | 車両運転者の目の位置認識装置 | |
US20240144658A1 (en) | System for training and validating vehicular occupant monitoring system | |
JPS6199803A (ja) | 車両運転者位置認識装置 | |
KR102588904B1 (ko) | 차량에 설치되는 인캐빈 안전센서 | |
US20220270380A1 (en) | Occupant monitoring device for vehicle |