JPWO2018116373A1

JPWO2018116373A1 - 画像認証装置、画像認証方法および自動車

Info

Publication number: JPWO2018116373A1
Application number: JP2018557266A
Authority: JP
Inventors: 太郎熊谷
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-12-20
Filing date: 2016-12-20
Publication date: 2019-06-24
Anticipated expiration: 2036-12-20
Also published as: CN110088761B; WO2018116373A1; US20210174065A1; JP6807951B2; DE112016007536T5; US11087120B2; CN110088761A

Abstract

検出された顔領域が、車両の前方乗車席に着座する乗員を認証するために設定された領域内に位置しているか否か判定を行う領域判定部（３）と、顔領域が設定された領域内に位置していると判定された場合に、検出された人物の顔の要素の撮像画像における位置情報に基づいて、人物の顔の向きを検出する顔向き検出部（４）と、検出された人物の顔の向きが、車両の前方乗車席に着座する乗員を認証するために設定された顔向きの範囲内であるか否か判定を行う顔向き判定部（５）と、人物の顔の向きが設定された顔向きの範囲内であると判定した場合に、顔領域の撮像画像の特徴情報と、予め蓄積された認証用の撮像画像の特徴情報とを照合し、顔領域が検出された人物の認証を行う認証処理部（６）とを備える。

Description

この発明は、車両に搭載され、車両の乗員を認証する技術に関するものである。

車両の運転席に着座している乗員、または運転席および助手席に着座している乗員を撮像し、撮像画像を用いて例えば乗員の顔認証を行い、認証された乗員に適したサービスを提供するシステムが存在する。
運転席に着座している乗員の顔認証を行うシステムとして、例えば特許文献１には車両の運転席に対する着座を着座センサにて検知した場合、車両のドアが施錠された場合、車両のドアが閉じられた場合、車両の運転席のシートベルトが装着された場合、車両が走行開始した場合、または、車両が停止した場合等のトリガが発生した場合に、車内カメラが運転者の顔の撮像画像を取得し、取得した撮像画像を運転者の顔認証に用いる運転者特定システムが開示されている。

また、特許文献１の運転者特定システムにおいて運転席および助手席に着座している乗員の顔認証を行う場合には、運転席の乗員を撮像する車内カメラと、助手席の乗員を撮像する車内カメラの複数の車内カメラを用意する、または運転席および助手席を撮像することができる１台の広角のカメラを用いて運転席の乗員および助手席の乗員を撮像している。

特開２０１５−７１３１９号公報

上述した特許文献１に開示された技術では、着座センサの検知等のトリガが発生した後に乗員の顔の撮像画像を取得するため、運転席および助手席に着座している乗員をそれぞれ異なるカメラで撮像する場合には、乗員以外の人物の画像の認証を行ってしまう誤認証の発生は少ない。しかし、上述した特許文献１に開示された技術において、１台のカメラで運転席の乗員および助手席の乗員を撮像すると、撮像画像に後部座席に着座している乗員、または車両の外側の窓付近にいる人物が映り込み、映り込んだ乗員または人物の画像に基づいた認証を行ってしまい、誤認証が発生するというという課題があった。

この発明は、上記のような課題を解決するためになされたもので、運転席および助手席に着座する乗員を同時に撮像可能な撮像範囲を撮像した撮像画像において、認証の対象となる乗員以外の人物に対して認証処理が行われる誤認証の発生を抑制することを目的とする。

この発明に係る車載画像認証装置は、車両の運転席および助手席に着座する乗員を同時に撮像可能な撮像範囲を撮像した撮像画像から、人物の顔が位置する顔領域を検出する顔検出部と、顔検出部が検出した顔領域の撮像画像から、人物の顔の要素を検出する顔要素検出部と、顔検出部が検出した顔領域が、運転席および助手席に着座する乗員を認証するために設定された領域内に位置しているか否か判定を行う領域判定部と、領域判定部が、顔領域が設定された領域内に位置していると判定した場合に、顔要素検出部が検出した人物の顔の要素の撮像画像における位置情報に基づいて、人物の顔の向きを検出する顔向き検出部と、顔向き検出部が検出した人物の顔の向きが、運転席および助手席に着座する乗員を認証するために設定された顔向きの範囲内であるか否か判定を行う顔向き判定部と、顔向き判定部が、人物の顔の向きが設定された顔向きの範囲内であると判定した場合に、顔領域の撮像画像の特徴情報と、予め蓄積された認証用の撮像画像の特徴情報とを照合し、顔領域が検出された人物の認証を行う認証処理部とを備えるものである。

この発明によれば、運転席および助手席に着座する乗員を同時に撮像可能な撮像範囲を撮像した撮像画像において、認証の対象となる乗員以外の人物に対して認証処理が行われる誤認証の発生を抑制することができる。

実施の形態１に係る車載画像認証装置の構成を示すブロック図である。実施の形態１に係る車載画像認証装置を搭載した車両内部を上方から見た図である。図３Ａ、図３Ｂは、実施の形態１による車載画像認証装置のハードウェア構成例を示す図である。実施の形態１に係る車載画像認証装置を搭載した車両の車室内を前方から見た図であり、領域判定部に設定された領域を示す図である。図５Ａ、図５Ｂは、車載画像認証装置の顔向き判定部に設定された角度範囲の一例を示す図である。実施の形態１に係る車載画像認証装置の動作を示すフローチャートである。実施の形態１に係る車載画像認証装置のその他の構成を示すブロック図である。実施の形態１に係る車載画像認証装置のその他の動作を示すフローチャートである。実施の形態２に係る車載画像認証装置の構成を示すブロック図である。実施の形態２に係る車載画像認証装置の動作を示すフローチャートである。実施の形態３に係る車載画像認証装置の構成を示すブロック図である。実施の形態３に係る車載画像認証装置の動作を示すフローチャートである。実施の形態４に係る車載画像認証装置の構成を示すブロック図である。実施の形態４に係る車載画像認証装置の動作を示すフローチャートである。実施の形態５に係る車載画像認証装置の構成を示すブロック図である。実施の形態５に係る車載画像認証装置の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る車載画像認証装置１００の構成を示すブロック図である。
車載画像認証装置１００は、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６を備える。また、車載画像認証装置１００は、カメラ２００、記憶装置３００および制御装置４００と接続されている。
図１で示した構成以外にも、カメラ２００および記憶装置３００の少なくとも一方を車載画像認証装置１００が備えるように構成してもよい。

図２は、車載画像認証装置１００を搭載した車両５００内部を上方から見た図である。
カメラ２００は、例えば広角カメラ等で構成され、少なくとも運転席５０１および助手席５０２に着座する乗員５０３，５０４を同時に撮像可能な位置に配置される。カメラ２００が撮像した撮像画像は、車載画像認証装置１００の顔検出部１に入力される。図２の例では、カメラ２００の撮像範囲を、領域Ａで示している。領域Ａ内には、運転席５０１および助手席５０２に着座する乗員５０３，５０４に加えて、認証の対象でない人物Ｘ、Ｙが存在する。以下では、車載画像認証装置１００が人物Ｘ，Ｙの撮像画像を用いて、人物Ｘ，Ｙの認証を行ってしまうのを抑制する構成について説明する。

顔検出部１は、カメラ２００から入力された撮像画像の解析を行い、人の顔が撮像された領域（以下、顔領域と記載する）と、当該顔領域の撮像画像の特徴情報とを検出する。顔検出部１は、撮像画像上に顔領域を囲む矩形を設定し、設定した矩形の各頂点の座標値を取得する。顔検出部１が取得する座標値は、撮像画像における座標値である。顔検出部１は、取得した顔領域の撮像画像の特徴情報および座標値を顔要素検出部２および認証処理部６に出力する。顔検出部１は、取得した顔領域の座標値を領域判定部３に出力する。ここで、撮像画像の特徴情報とは、例えば、顔の大きさを正規化した上での、目、鼻、口、頬の部分のコントラスト値などである。

顔要素検出部２は、顔検出部１から入力された顔領域内で、人の顔を構成する要素（以下、顔要素と記載する）を検出する。顔要素とは、例えば、目、鼻、口、耳および髪型等である。顔要素検出部２は、顔検出部１から入力された顔領域の座標値から、検出した顔要素が撮像された領域の座標値を取得する。顔要素検出部２が取得する座標値も、撮像画像における座標値である。顔要素検出部２は、各顔要素が描画された領域全体の座標値を取得してもよいし、各要素が描画された領域の輪郭の座標値のみを取得してもよい。顔要素検出部２は、検出した顔要素の座標値を顔向き検出部４に出力する。

領域判定部３は、顔検出部１から入力された顔領域の座標値が、車両の前方乗車席に着座する乗員を認証するために予め設定された領域内に位置しているか否か判定を行う。ここで、車両の前方乗車席とは、車両の運転席および助手席のうちの少なくともいずれか一方である。領域判定部３は、車両の運転席または助手席のどちらに着座しているとしている人物であっても認証可能なように、領域判定を行う。
領域判定部３は、運転席に着座する乗員を認証するために設定された領域の座標値、および助手席に着座する乗員を認証するために設定された領域の座標値を、バッファまたは記憶領域（図示せず）に格納している。
領域判定部３は、顔領域の座標値が予め設定された領域内に位置していないと判定した場合、顔要素検出部２に対して検出処理の停止を指示する。
領域判定部３は、顔領域の座標値が予め設定された領域内に位置していると判定した場合、当該判定結果を顔向き検出部４に出力する。領域判定部３に予め設定された領域の詳細については後述する。

顔向き検出部４は、領域判定部３から顔領域の座標値が予め設定された領域内に位置しているとの判定結果が入力されると、顔要素検出部２から入力された顔要素の座標値に基づいて、顔の向きを検出する。顔向き検出部４の検出処理の詳細は後述する。顔向き検出部４は、検出した顔の向きを顔向き判定部５に出力する。

顔向き判定部５は、顔向き検出部４が検出した顔の向きが、車両の前方乗車席に着座する乗員を認証するために予め設定された角度範囲内であるか否か判定を行う。顔向き判定部５は、運転席に着座する乗員を認証するために設定された角度範囲、および助手席に着座する乗員を認証するために設定された角度範囲を、バッファまたは記憶領域（図示せず）に予め格納している。顔向き判定部５は、顔向きが予め設定された角度範囲内であると判定した場合、判定結果を認証処理部６に出力する。顔向き判定部５に予め設定された角度範囲の詳細については後述する。

認証処理部６は、顔向き判定部５から顔向きが予め設定された角度範囲内であるとの判定結果が入力されると、顔検出部１から入力された顔領域の撮像画像の特徴情報と、記憶装置３００に登録された認証用の撮像画像の特徴情報とを照合し、顔領域の撮像画像が撮像された人物の認証を行う。認証処理部６は、認証結果を制御装置４００に出力する。認証処理部６は、顔領域の撮像画像が撮像された人物を認証した場合、例えば、当該人物に予め割り当てられたＩＤを記憶装置３００から取得し、取得したＩＤを認証結果として制御装置４００に出力する。
一方、認証処理部６は、顔領域の撮像画像が撮像された人物を認証できなかった場合、例えば当該人物が記憶装置３００に登録されていないことを示す情報を認証結果として制御装置４００に出力する。

記憶装置３００は、車載画像認証装置１００を搭載した車両のユーザの顔の特徴情報が登録されている。車両のユーザとは、当該車両を運転する可能性のある乗員、および助手席に着座する可能性のある乗員が含まれるものとする。記憶装置３００に登録される顔の特徴情報は、カメラ２００を用いて事前に撮像された画像の特徴情報、またはその他の撮像手段を用いて事前に撮像された画像の特徴情報である。また、記憶装置３００は、各ユーザの顔の特徴情報を、各ユーザを特定する情報、例えばＩＤと関連付けて記憶する。顔の特徴情報に関連付けて記憶する情報は、種々設定可能である。

制御装置４００は、車載画像認証装置１００が搭載された車両を制御する装置である。制御装置４００は、例えば運転席および助手席の座席シートの位置および傾きを調整する制御装置、音響装置を制御する制御装置等である。制御装置４００は、認証処理部６から入力される認証結果に基づいて、認証された乗員に適した制御、例えばユーザの好みの座席シートの位置および傾き、ユーザの好みの音響条件等の制御を行う。

次に、車載画像認証装置１００のハードウェア構成例を説明する。
図３Ａ、図３Ｂは、実施の形態１による車載画像認証装置１００のハードウェア構成例を示す図である。
車載画像認証装置１００における、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

図３Ａに示すように、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図３Ｂに示すように、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６の各機能を実現する。即ち、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６は、プロセッサ１００ｂにより実行されるときに、後述する図６に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

なお、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、車載画像認証装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、領域判定部３に乗員を認証するために予め設定された領域の詳細について図４を参照して説明する。
図４は、実施の形態１に係る車載画像認証装置１００を搭載した車両の車室内を前方から見た図であり、領域判定部３に設定された領域を示す図である。
図４では、車両５００内の運転席５０１および助手席５０２に乗員５０３，５０４が着座した場合を想定し、乗員５０３，５０４を点線で示している。
運転席５０１の外側に第１のピラー５０５および助手席５０２の外側に第２のピラー５０６が位置している。矩形領域５０７は、運転席５０１に着座する乗員を認証するために、領域判定部３に設定される領域である。矩形領域５０８は、助手席５０２に着座する乗員を認証するために、領域判定部３に設定される領域である。矩形領域５０７，５０８は、車外に位置する人物Ｘおよび車両５００の後部座席に着座する人物Ｙの誤認証を抑制するように設定される。
また、図４では、矩形領域が設定される場合を例に示したが、設定される領域は矩形に限定されるものではない。

矩形領域５０７は、運転席５０１のヘッドレスト５０１ａの周囲に設定される。矩形領域５０７の車室内の天井側の位置は、運転席５０１のヘッドレスト５０１ａの上部から車室内の天井側に所定の距離（例えば１５ｃｍ程度）離間させた位置に設定される。矩形領域５０７の車外側の位置は、運転席５０１の背もたれ５０１ｂの側面から車外側に所定の距離（例えば、２０ｃｍ程度）離間させた位置に設定される。矩形領域５０７の助手席５０２側の位置は、運転席５０１の背もたれ５０１ｂの側面から助手席５０２側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。
同様に、矩形領域５０８は、助手席５０２のヘッドレスト５０２ａの周囲に設定される。矩形領域５０８の車室内の天井側の位置は、助手席５０２のヘッドレスト５０２ａの上部から車室内の天井側に所定の距離（例えば１５ｃｍ程度）離間させた位置に設定される。矩形領域５０８の車外側の位置は、助手席５０２の背もたれ５０２ｂの側面から車外側に所定の距離（例えば、２０ｃｍ程度）離間させた位置に設定される。矩形領域５０８の運転席５０１側の位置は、助手席５０２の背もたれ５０２ｂの側面から運転席５０１側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。

ヘッドレスト５０１ａ，５０２ａから車室内の天井側の距離、および背もたれ５０１ｂ，５０２ｂから所定の距離は、車外の人物および後部座席の人物の顔が領域内に入らないように適宜設定される値である。なお、上述した矩形領域５０７および矩形領域５０８の設定は一例であり、車両５００外の人物および車両５００の後部座席の人物の顔を誤認証するのを抑制することができる設定であれば適宜適用可能である。

次に、顔向き判定部５に乗員を認証するために予め設定された角度範囲の詳細について説明する。
図５Ａおよび図５Ｂは、車載画像認証装置１００の顔向き判定部５に設定された角度範囲の一例を示す図である。
顔向き判定部５に設定された角度範囲には、車両の車幅方向の角度範囲と、車両の高さ方向の角度範囲がある。
図５Ａは、実施の形態１に係る車載画像認証装置１００を搭載した車両の車室内を上方から見た図であり、顔向き判定部５に設定された車両の車幅方向の角度範囲を示す図である。図５Ｂは実施の形態１に係る車載画像認証装置１００を搭載した車両に着座した人物を横方向から見た図であり、顔向き判定部５に設定された車両の高さ方向の角度範囲を示す図である。

まず、図５Ａを参照して顔向き判定部５に設定された車両の車幅方向の角度範囲について説明する。
運転席５０１に着座する乗員５０３に対して設定された車両の車幅方向の角度範囲は、直線５０９ａおよび直線５０９ｂで挟まれた領域Ｂで示した範囲である。直線５０９ａは、乗員５０３の左右の目の中心位置５０３ａと前方の第３のピラー５１０を結んだ直線５０９ｃを、車両５００の外側にθａ°（例えば、１０°または２０°等）広げた直線である。直線５０９ｂは、乗員５０３の左右の目の中心位置５０３ａとカメラ２００のレンズの中心を結んだ直線５０９ｄを、助手席５０２側にθｂ°（例えば、１０°または２０°等）広げた直線である。なお、直線５０９ｃ，５０９ｄは、乗員５０３の左右の目の中心位置５０３ａを中心としてθａ°，θｂ°広げている。

同様に、助手席５０２に着座する乗員５０４に対して設定された車両の車幅方向の角度範囲は、直線５１１ａおよび直線５１１ｂで挟まれた領域Ｃで示した範囲である。直線５１１ａは、乗員５０４の左右の目の中心位置５０４ａと助手席５０２前方の第４のピラー５１２を結んだ直線５１１ｃを、車両５００の外側にθｃ°（例えば、１０°または２０°等）広げた直線である。直線５１１ｂは、乗員５０４の左右の目の中心位置５０４ａとカメラ２００のレンズの中心を結んだ直線５１１ｄを、運転席５０１側にθｄ°（例えば、１０°または２０°等）広げた直線である。なお、直線５１１ｃ，５１１ｄは、乗員５０４の左右の目の中心位置５０４ａを中心としてθｃ°，θｄ°広げている。

次に、図５Ｂを参照して顔向き判定部５に設定された車両の高さ方向の角度範囲について説明する。
運転席５０１に着座する乗員５０３および助手席５０２に着座する乗員５０４に対して設定された角度範囲は、図５Ｂの領域Ｄで示した範囲である。領域Ｄは、乗員５０４，５０４の眉間と鼻の頭頂部の中間点を通り、車両５００が走行する道路に対して水平な直線５０３ｂ，５０４ｂを中心として、車両５００の天井側にθｅ°、車両５００の底部側にθｆ°の範囲である。
乗員５０３が、領域Ｂ且つ領域Ｄ内を視認している場合、顔向き判定部５は、乗員５０３の顔向きが乗員を認証するために予め設定された角度範囲内であると判定する。同様に、乗員５０４が、領域Ｃ且つ領域Ｄ内を視認している場合、顔向き判定部５は、乗員５０４の顔向きが乗員を認証するために予め設定された角度範囲内であると判定する。

次に、車載画像認証装置１００の動作について説明する。
図６は、実施の形態１に係る車載画像認証装置１００の動作を示すフローチャートである。
顔検出部１は、カメラ２００から入力された撮像画像を解析し、顔領域の検出処理を行う（ステップＳＴ１）。顔検出部１は、顔領域を検出しなかった場合（ステップＳＴ１；ＮＯ）、ステップＳＴ１の検出処理を繰り返す。一方、顔検出部１は、顔領域を検出した場合（ステップＳＴ１；ＹＥＳ）、検出した顔領域を囲む矩形領域の各頂点の座標値を取得する（ステップＳＴ２）。

顔要素検出部２は、ステップＳＴ１で検出された顔領域の撮像画像から顔要素を検出する（ステップＳＴ３）。ステップＳＴ３では、例えば、顔要素検出部２が予め設定された顔要素（例えば、目、鼻、口および耳）を、予め設定された順に検出する。顔要素検出部２は、ステップＳＴ３で検出した顔要素の座標値を取得する（ステップＳＴ４）。顔要素検出部２は、後述するステップＳＴ５の判定処理が行われている間、上述したステップＳＴ３およびステップＳＴ４の処理を繰り返し行っているものとする。顔要素検出部２は、得られた顔要素の座標値をバッファ（図示せず）等に一時格納している。

領域判定部３は、ステップＳＴ２で取得された座標値を頂点とする矩形領域が、車両の前方乗車席に着座する乗員を認証するために予め設定された領域内に位置しているか否か判定を行う（ステップＳＴ５）。顔領域を囲む矩形領域が車両の前方乗車席に着座する乗員を認証するために予め設定された領域内に位置していない場合（ステップＳＴ５；ＮＯ）、顔要素検出部２に対して検出処理の停止を指示し（ステップＳＴ６）、ステップＳＴ１の処理に戻る。

一方、顔領域を囲む矩形領域が車両の前方乗車席に着座する乗員を認証するために設定された領域内に位置している場合（ステップＳＴ５；ＹＥＳ）、顔向き検出部４は、ステップＳＴ３およびステップＳＴ４の処理により検出および取得された顔要素の座標値の位置関係および時系列的な変化に基づいて、顔領域の撮像画像が撮像された人物の顔向きを検出する（ステップＳＴ７）。

顔向き判定部５は、ステップＳＴ７で検出された顔向きが、車両の前方乗車席に着座する乗員を認証するために設定された角度範囲内であるか否か判定を行う（ステップＳＴ８）。顔向きが設定された角度範囲内でない場合（ステップＳＴ８；ＮＯ）、ステップＳＴ１の処理に戻る。
一方、顔向きが設定された角度範囲内である場合（ステップＳＴ８；ＹＥＳ）、認証処理部６は、顔検出部１から入力される顔領域の撮像画像の特徴情報と、記憶装置３００に登録された認証用の撮像画像の特徴情報とを照合し、顔領域の撮像画像が撮像された人物の認証処理を行う（ステップＳＴ９）。認証処理部６は、ステップＳＴ９の認証結果を制御装置４００に出力し（ステップＳＴ１０）、処理を終了する。

カメラ２００が、図４および図５で示したように、運転席と助手席の間に配置され、運転席に着座する乗員と助手席に着座する乗員それぞれの認証を行う場合には、顔検出部１が複数の顔領域を検出する場合もある。

以上のように、この実施の形態１によれば、車両の運転席および助手席に着座する乗員を撮像可能な撮像範囲を撮像した撮像画像から、人物の顔が位置する顔領域と、当該顔領域の特徴情報とを検出する顔検出部１と、検出された顔領域の撮像画像を解析し、人物の顔の要素を検出する顔要素検出部２と、検出された顔領域が、車両の前方乗車席に着座する乗員を認証するために設定された領域内に位置しているか否か判定を行う領域判定部３と、検出された人物の顔の要素の撮像画像における位置情報に基づいて、人物の顔の向きを算出する顔向き検出部４と、算出された人物の顔の向きが、車両の前方乗車席に着座する乗員を認証するために設定された顔向きの範囲内であるか否か判定を行う顔向き判定部５と、設定された顔向きの範囲内であると判定した場合に、顔領域の撮像画像の特徴情報と、予め蓄積された認証用の撮像画像の特徴情報とを照合し、顔領域が検出された人物の認証を行う認証処理部６とを備えるように構成したので、認証対象である人物以外が映り込んだ撮像画像であっても、認証対象である人物の顔画像を抽出して認証を行うことができる。これにより、車載のカメラが１台であっても、運転席に着座する乗員および助手席に着座する乗員を認証することができる。さらに、認証に適していない位置に存在する人物に対して認証処理が実行されるのを防止することができる。

上述した実施の形態１では、顔向き判定部５が人物の顔の向きが、車両の前方乗車席に着座する乗員を認証するために設定された顔向きの範囲内であるか否か判定を行い、設定された顔向きの範囲内であると判定した場合に、認証処理部６が、顔領域が検出された人物の認証を行う構成を示した。認証処理部６は、上述した人物の顔の向きに加えて、例えば人物の目が開いているか否かに基づいて、顔領域が検出された人物の認証を行うように構成することも可能である。人物の顔の向きに加えて、人物の目が開いているか否かに基づいて人物の認証を行う車載画像認証装置１００の構成を図７に示している。

図７は、実施の形態１に係る車載画像認証装置１００のその他の構成を示すブロック図である。
図７では、図１で示した車載画像認証装置１００の顔向き判定部５に開眼判定部５ａを追加して構成した例を示している。以下では、上述した車載画像認証装置１００の構成要素と同一または相当する部分には、図１で使用した符号と同一の符号を付して説明を省略または簡略化する。

顔要素検出部２は、顔検出部１から入力された顔領域内で、顔要素として、目、鼻、口、耳および髪型に加えて、例えば目じり、上瞼および下瞼を検出する。顔要素検出部２は、検出した顔要素の座標値を顔向き検出部４および開眼判定部５ａに出力する。
顔向き判定部５は、顔向き検出部４が検出した顔の向きが、車両の前方乗車席に着座する乗員を認証するために予め設定された角度範囲内であるか否か判定を行う。顔向き判定部５は、顔向きが予め設定された角度範囲内であると判定した場合、開眼判定部５ａは、顔要素検出部２から入力された顔要素の座標値に基づいて、人物の目が開いているか否かの判定を行う。具体的には、開眼判定部５ａは、目、目じり、上瞼および下瞼等の目に関する座標値を用いて、人物の目が開いているか否かの判定を行う。例えば、開眼判定部５ａは、上瞼と下瞼の座標値の差が閾値以上であった場合に、人物の目が開いていると判定する。顔向き判定部５は、顔向きの判定結果と目が開いているか否かの判定結果とを認証処理部６に出力する。

認証処理部６は、顔向き判定部５から顔向きが予め設定された角度範囲内であり、且つ開眼判定部５ａから人物の目が開いているとの判定結果が入力されると、顔検出部１から入力された顔領域の撮像画像の特徴情報と、記憶装置３００に登録された認証用の撮像画像の特徴情報とを照合し、顔領域の撮像画像が撮像された人物の認証を行う。認証処理部６は、認証結果を制御装置４００に出力する。

次に、人物の顔の向きに加えて、人物の目が開いているか否かの判定を行う、車載画像認証装置１００の動作について説明する。
図８は、実施の形態１に係る車載画像認証装置１００のその他の動作を示すフローチャートである。なお、以下では上述した車載画像認証装置１００と同一のステップには図６で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ８において、顔向きが設定された角度範囲内であると判定された場合（ステップＳＴ８；ＹＥＳ）、開眼判定部５ａは、人物の目が開いているか否か判定を行う（ステップＳＴ８ａ）。人物の目が開いていない場合（ステップＳＴ８ａ；ＮＯ）、ステップＳＴ１の処理に戻る。一方、人物の目が開いている場合（ステップＳＴ８ａ；ＹＥＳ）、認証処理部６は、顔検出部１から入力される顔領域の撮像画像の特徴情報と、記憶装置３００に登録された認証用の撮像画像の特徴情報とを照合し、顔領域の撮像画像が撮像された人物の認証処理を行う（ステップＳＴ９）。認証処理部６は、ステップＳＴ９の認証結果を制御装置４００に出力し（ステップＳＴ１０）、処理を終了する。

このように、顔要素検出部２が検出した人物の顔の要素の撮像画像における位置情報に基づいて、例えば人物の目が開いているか否か判定を行う開眼判定部５ａを備え、認証処理部６は、人物の顔の向きが設定された顔向きの範囲内であり、且つ開眼判定部５ａが人物の目が開いていると判定した場合に、人物の認証を行うように構成したので、認証に適さない位置に存在する人物、または目を閉じている人物に対して認証処理が実行されるのを防止することができる。

実施の形態２．
この実施の形態２では、顔領域の撮像画像が撮像された人物が認証されるまで、複数回認証処理を繰り返す構成を示す。
図９は、実施の形態２に係る車載画像認証装置１００Ａの構成を示すブロック図である。
実施の形態２に係る車載画像認証装置１００Ａは、実施の形態１で示した車載画像認証装置１００の認証処理部６に終了判定部６ａを追加して構成している。
以下では、実施の形態１に係る車載画像認証装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

終了判定部６ａは、認証処理部６が顔領域の撮像画像が撮像された人物を、認証しなかった場合に、規定の回数、または規定の期間、認証処理を繰り返したか判定を行う。終了判定部６ａは、例えば認証処理部６が行った照合処理の回数をカウントし、カウントした回数をバッファ等の一時格納領域（図示せず）に格納する。終了判定部６ａは、格納した回数が規定の回数未満である場合には、認証処理を繰り返すように顔検出部１に指示する。
また、終了判定部６ａは、例えば車両５００からシフト位置情報を取得し、シフト位置が停止位置（Ｐ）から停止位置（Ｐ以外）へ移動したか判定を行ってもよい。終了判定部６ａは、車両５００のシフト位置が停止位置（Ｐ以外）へ移動するまで期間、認証処理を繰り返すように顔検出部１に指示する。
また、終了判定部６ａは、例えば車両５００から車速情報を取得し、車両５００の車速が１ｋｍ／ｈ以上になったか判定を行ってもよい。終了判定部６ａは、車両５００の車速が１ｋｍ／ｈ以上となるまで期間、認証処理を繰り返すように顔検出部１に指示する。

次に、車載画像認証装置１００Ａの動作について説明する。
図１０は、実施の形態２に係る車載画像認証装置１００Ａの動作を示すフローチャートである。なお、図１０のフローチャートでは、終了判定部６ａが照合処理の回数に基づいて判定する場合を示している。
なお、以下では実施の形態１に係る車載画像認証装置１００と同一のステップには図６で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ９において、認証処理部６が認証処理を行うと、終了判定部６ａは顔領域の撮像画像が撮像された人物が認証されたか否か判定を行う（ステップＳＴ１１）。顔領域の撮像画像が撮像された人物の認証がされたと判定した場合（ステップＳＴ１１；ＹＥＳ）、ステップＳＴ１０の処理に進む。

一方、顔領域の撮像画像が撮像された人物の認証がされていないと判定した場合（ステップＳＴ１１；ＮＯ）、終了判定部６ａは照合回数に「１」加算し（ステップＳＴ１２）、加算後の照合回数が規定の回数以上であるか否か判定を行う（ステップＳＴ１３）。認証回数が規定の回数未満であった場合（ステップＳＴ１３；ＮＯ）、終了判定部６ａは顔検出部１に対して再度認証処理を行うように指示する（ステップＳＴ１４）。一方、認証回数が規定の回数以上であった場合（ステップＳＴ１３；ＹＥＳ），ステップＳＴ１０の処理に進む。

以上のように、この実施の形態２によれば、認証処理部６が、顔領域が検出された人物を認証できなかった場合に、認証処理部６の認証回数または認証時間が規定の回数または規定の時間に到達したか否か判定を行い、到達していない場合に、顔検出部１に対して再度、顔領域の検出を指示する終了判定部６ａを備えるように構成したので、人物を撮像したタイミングが適切でなかった場合に、再度適切なタイミングで撮像された撮像画像の認証処理を実行することができる。具体的には、車両５００に人物が乗り込む際に、顔に髪の毛がかかり撮像画像から人物を認証することができなかった場合に、再度新たな撮像画像に基づいて認証処理を実行することができる。これにより、記憶装置３００に登録されたユーザであるにも関わらず、認証されないとの不具合を抑制することができる。

実施の形態３．
この実施の形態３では、検出された顔向きに基づいて認証処理部６の照合閾値を変化させる構成を示す。
図１１は、実施の形態３に係る車載画像認証装置１００Ｂの構成を示すブロック図である。
実施の形態３に係る車載画像認証装置１００Ｂは、実施の形態１で示した車載画像認証装置１００に照合閾値決定部７を追加して構成している。
以下では、実施の形態１に係る車載画像認証装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

認証処理部６が、顔検出部１から入力される顔領域の撮像画像の特徴情報と、記憶装置３００に登録された認証用の撮像画像の特徴情報とを照合する場合、記憶装置３００に登録された際の顔の向きと、顔領域の撮像画像の顔の向きが近い状態であれば、一致度を高く算出する。一方、認証処理部６は、記憶装置３００に登録された際の顔の向きと、顔領域の撮像画像の顔の向きが異なる場合には、一致度を低く算出する。認証処理部６は、算出した一致度が照合閾値以上であるか否かに基づいて認証を行う。そのため、認証処理部６は、顔領域の撮像画像の顔向きによって、同一人物でも認証する場合と、認証しない場合がある。

そこで、照合閾値決定部７は、顔領域の撮像画像の顔向きに応じて、認証処理部６が認証を行う際の照合閾値を決定する。
まず、記憶装置３００は、各ユーザの顔の特徴情報を、各ユーザを特定する情報および認証用の撮像画像の顔向きを示す情報と関連付けて記憶しているものとする。
照合閾値決定部７は、顔向き判定部５から顔向きが予め設定された角度範囲内であるとの判定結果が入力されると、記憶装置３００から照合に用いる認証用の撮像画像の特徴情報と、顔向きを示す情報を取得する。照合閾値決定部７は、認証用の撮像画像の顔向きと、顔向き判定部５において予め設定された角度範囲内であると判定された顔領域の撮像画像の顔向きとを比較する。照合閾値決定部７は、認証用の撮像画像の顔向きと、顔領域の撮像画像の顔向きの角度が近いほど、照合閾値を規定値よりも高く設定する。一方、照合閾値決定部７は、認証用の撮像画像の顔向きと、顔領域の撮像画像の顔向きの角度が離れるほど、照合閾値を規定値よりも低く設定する。

認証処理部６は、照合閾値決定部７が設定した照合閾値に基づいて、顔検出部１から入力される顔領域の撮像画像の特徴情報と、照合閾値決定部７が記憶装置３００から取得した認証用の撮像画像の特徴情報とを照合し、顔領域の撮像画像が撮像された人物の認証処理を行う。

照合閾値決定部７は、顔向き以外の条件に基づいて、照合閾値を決定してもよい。例えば、照合閾値決定部７は、顔領域の撮像画像における座標値と、記憶装置３００に登録された認証用の撮像画像での顔領域の座標値との関係に基づいて、照合閾値を決定する。具体的に、照合閾値決定部７は、画像における顔領域の位置に基づいて照合閾値を決定してもよい。顔領域の位置が撮像画像の端である場合には、顔を横方向から撮像する可能性があるため、照合閾値決定部７は照合閾値を規定値よりも低く設定する。

次に、車載画像認証装置１００Ｂの動作について説明する。
図１２は、実施の形態３に係る車載画像認証装置１００Ｂの動作を示すフローチャートである。なお、以下では実施の形態１に係る車載画像認証装置１００と同一のステップには図６で使用した符号と同一の符号を付し、説明を省略または簡略化する。
また、図１２のフローチャートでは、照合閾値決定部７が顔領域の撮像画像の顔向きに基づいて照合閾値を決定する場合を示している。
ステップＳＴ８において、顔向きが設定された角度範囲内であると判定された場合（ステップＳＴ８；ＹＥＳ）、照合閾値決定部７は記憶装置３００から認証用の撮像画像の特徴情報と当該認証用の撮像画像の顔向きを示す情報を取得する（ステップＳＴ２１）。照合閾値決定部７は、ステップＳＴ２１で取得した認証用の撮像画像の顔向きと、顔向き検出部４が検出した顔向きとを比較して、照合閾値を決定する（ステップＳＴ２２）。なお、照合閾値決定部７は、顔向き検出部４が検出した顔向きを顔向き判定部５を介して取得する。

認証処理部６は、ステップＳＴ２２で決定された照合閾値に基づいて、顔検出部１から入力される顔領域の撮像画像の特徴情報と、ステップＳＴ２１で取得された認証用の撮像画像の特徴情報とを照合し、顔領域の撮像画像が撮像された人物の認証処理を行う（ステップＳＴ９ａ）。認証処理部６は、ステップＳＴ９ａの認証結果を制御装置４００に出力し（ステップＳＴ１０）、処理を終了する。

以上のように、この実施の形態３によれば、顔領域の撮像画像における位置、および顔向き検出部４が検出した人物の顔の向きの少なくとも１つに基づいて、照合閾値を決定する照合閾値決定部７を備え、認証処理部６は、顔検出部１が検出した顔領域の撮像画像の特徴情報と、予め蓄積された認証用の撮像画像の特徴情報とを照合し、照合結果が照合閾値以上であるか否かに基づいて人物の認証を行うように構成したので、認証処理を行う際の撮像画像における位置および顔向きの条件を緩和することができる。さらに、認証処理を行う際の撮像画像における位置および顔向きが、認証用の撮像画像と異なる場合にも、認証性能を向上させることができる。

なお、上述した実施の形態３では、認証用の撮像画像毎に認証用の顔向きが蓄積されている場合を例に示したが、認証用の撮像画像が予め設定された顔向き角度で撮像される場合には、当該顔向き角度を記憶装置３００に登録すればよい。また、予め設定された顔向き角度で撮像される場合、当該顔向き角度を照合閾値決定部７が保持するように構成してもよい。

なお、上述した実施の形態３では、実施の形態１で示した車載画像認証装置１００の認証処理部６に照合閾値決定部７を追加する構成を示したが、実施の形態２で示した車載画像認証装置１００Ａの認証処理部６にさらに照合閾値決定部７を追加してもよい。

実施の形態４．
この実施の形態４では、ある車両状態の検知をトリガとして認証処理を開始する構成を示す。
図１３は、実施の形態４に係る車載画像認証装置１００Ｃの構成を示すブロック図である。
実施の形態４に係る車載画像認証装置１００Ｃは、実施の形態１で示した車載画像認証装置１００に車両情報取得部８および車両状態判定部９を追加して構成している。
以下では、実施の形態１に係る車載画像認証装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

車両情報取得部８は、例えば車両センサ、ナビゲーション装置およびＧＰＳ受信機（図示せず）等から、車両情報を取得する。車両情報は、例えば、ドアの開錠および施錠を示す情報、ドアの開閉を示す情報、シートベルトの着脱を示す情報、イグニッションのＯＮ／ＯＦＦ状態を示す情報、人感センサのＯＮ／ＯＦＦ状態を示す情報、シフトレバーの位置を示す情報、車両速度を示す情報、ナビゲーション装置の案内状態を示す情報および自車両の位置情報等である。車両情報取得部８は、これらの車両情報のうちの少なくともいずれか１つを取得し、車両状態判定部９に出力する。

車両状態判定部９は、車両情報取得部８が取得した車両情報を参照し、車両状態が乗員を認証するために予め設定された状態になったことを検知した場合に、顔検出部１に対して撮像画像から顔検出の処理を行うように指示する。
上述した車両情報の例では、車両状態判定部９は、ドアの開錠、ドアのオープン、シートベルトの装着、イグニッションのＯＮ、人感センサのＯＮ、シフトレバーがドライブの位置に移動、車両速度が０ｋｍ／ｈを超えた、ナビゲーション装置が案内を開始した、自車両が自宅を出発した等のいずれかを検知した場合に、顔検出部１に対して撮像画像から顔検出の処理を行うように指示する。

次に、車載画像認証装置１００Ｃのハードウェア構成例を説明する。なお、実施の形態４の車載画像認証装置１００Ｃのハードウェア構成例を示す図は、実施の形態１で示した図３Ａおよび図３Ｂと同一であることから、図示を省略する。また、実施の形態１と同一の構成の説明も省略する。
車載画像認証装置１００Ｃにおける車両情報取得部８および車両状態判定部９は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

また、図３Ｂに示すように、車両情報取得部８および車両状態判定部９がプロセッサ１００ｂである場合、車両情報取得部８および車両状態判定部９の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、車両情報取得部８および車両状態判定部９の機能を実現する。即ち、車両情報取得部８および車両状態判定部９は、プロセッサ１００ｂにより実行されるときに、後述する図１４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、車両情報取得部８および車両状態判定部９の手順または方法をコンピュータに実行させるものであるともいえる。

なお、車両情報取得部８および車両状態判定部９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、車載画像認証装置１００Ｃにおける処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、車載画像認証装置１００Ｃの動作について説明する。
図１４は、実施の形態４に係る車載画像認証装置１００Ｃの動作を示すフローチャートである。
車両状態判定部９は、車両情報取得部８が取得した車両情報を参照し、車両状態が予め設定した状態になったか否か判定を行う（ステップＳＴ３１）。車両状態が予め設定した状態になっていない場合（ステップＳＴ３１；ＮＯ）、車両状態判定部９はステップＳＴ３１の処理を繰り返す。一方、車両状態が予め設定した状態になった場合（ステップＳＴ３１；ＹＥＳ）、車両状態判定部９は顔検出部１に対して顔領域の検出処理を指示する（ステップＳＴ３２）。その後、車載画像認証装置１００Ｃは、ステップＳＴ１からステップＳＴ１０の処理を行う。

なお、上記では、領域判定部３に設定された領域は、予め設定されているとして説明を行ったが、当該領域判定部３に設定された領域は固定された領域であってもよいし、車両状態判定部９が参照する車両情報の種別に応じて設定される領域であってもよい。
例えば、車両状態判定部９が、ドアのオープンを検知した場合をトリガとして認証処理を開始させる場合と、シートベルトの装着を検知した場合をトリガとして認証処理を開始させる場合とで、領域判定部３に設定される領域を変化させる。

車両状態判定部９がドアのオープンの検知をトリガとする場合、領域判定部３に設定される領域は、運転席側ドアおよび助手席側ドア寄りに設定される。一方、車両状態判定部９がシートベルト装着の検知をトリガとする場合、領域判定部３に設定される領域は、運転席および助手席のヘッドレスト近傍に設定される。
領域判定部３は、車両状態判定部９がトリガとする車両状態に応じた設定領域を予め蓄積しておき、車両状態判定部９から入力される判定結果に応じた設定領域を読み出す。または、車両状態判定部９が、車両状態に応じた設定領域を蓄積しておき、判定結果に応じた設定領域を領域判定部３に対して設定してもよい。
領域判定部３が判定に用いる領域を車両状態に応じて設定することにより、常に認証処理に適した位置において顔領域が存在するか否かの判定処理を行うことができる。

以上のように、この実施の形態４によれば、車両の車両情報を参照し、車両の車両状態が車両の前方乗車席に着座する乗員を認証するために設定された状態になったと判定した場合に、顔検出部１に対して顔領域の検出を指示する車両状態判定部９を備えるように構成したので、認証対象である人物以外が映り込んだ撮像画像であっても、設定された車両状態になった時に認証対象である人物の顔画像を抽出して認証を行うことができ、認証に適していない位置に存在する人物に対して認証処理が実行されるのを防止することができる。これにより、車載のカメラが１台であっても、車両の前方乗車席に着座する乗員を認証することができる。

また、この実施の形態４によれば、領域判定部３に設定される車両の前方乗車席に着座する乗員を認証するための領域は、固定された領域、車両状態判定部９が参照する車両情報の種別に応じて設定される領域であるように構成したので、認証処理に適した位置において顔領域が存在するか否かの判定処理を行うことができる。

なお、上述した実施の形態４では、実施の形態１で示した車載画像認証装置１００に車両情報取得部８および車両状態判定部９を追加する構成を示したが、実施の形態２で示した車載画像認証装置１００Ａに車両情報取得部８および車両状態判定部９を追加して構成してもよい。

実施の形態５．
この実施の形態５では、車両情報に基づいて、認証処理の照合閾値を設定する構成を示す。
図１５は、実施の形態５に係る車載画像認証装置１００Ｄの構成を示すブロック図である。
実施の形態５に係る車載画像認証装置１００Ｄは、実施の形態１で示した車載画像認証装置１００に車両情報取得部８および車両状態判定部９を追加し、さらに認証処理部６に照合閾値決定部７ａを追加して構成している。
以下では、実施の形態１、実施の形態３および実施の形態４に係る車載画像認証装置１００，１００Ｂ，１００Ｃの構成要素と同一または相当する部分には、実施の形態１、実施の形態３および実施の形態４で使用した符号と同一の符号を付して説明を省略または簡略化する。

車両状態判定部９は、車両情報取得部８から入力された車両の位置情報を参照し、車両が予め設定された特定の地点に位置していることを検知した場合に、検知したことを当該地点の位置情報と共に認証処理部６の照合閾値決定部７ａに通知する。
記憶装置３００は、各ユーザの顔の特徴情報と、各ユーザを特定する情報（例えば、ＩＤ）と、特定の地点の位置情報とを関連付けて記憶している。

照合閾値決定部７ａは、顔向き判定部５から顔向きが予め設定された角度範囲内であるとの判定結果が入力されると、記憶装置３００を参照し、車両状態判定部９から通知された位置情報と一致する位置情報が付されたユーザを探索する。照合閾値決定部７ａは、ユーザを探索すると、探索したユーザの照合閾値を規定値よりも低く設定する処理を行う。
認証処理部６は、照合閾値決定部７ａが設定した照合閾値に基づいて、顔検出部１から入力される顔領域の撮像画像の特徴情報と、記憶装置３００から取得した認証用の撮像画像の特徴情報とを照合し、顔領域の撮像画像が撮像された人物の認証処理を行う。

例えば、車両の現在位置情報が、車両を保有するユーザの自宅に位置している場合、当該車両の前方乗車席に着座する乗員は、車両を保有するユーザの家族である場合が多いと考えられる。そこで、車両状態判定部９は、車両の位置情報を参照し、車両が予め設定された地点として、車両を保有するユーザの自宅に位置していることを検知した場合に、検知したことを当該自宅の位置情報と共に照合閾値決定部７ａに通知する。照合閾値決定部７ａは、記憶装置３００を参照し、自宅の位置情報が付されたユーザを探索し、探索されたユーザの照合閾値を規定値よりも低く設定する処理を行う。認証処理部６は、照合閾値決定部７ａにおいて、車両を保有するユーザおよび当該ユーザの家族の照合閾値が規定値よりも低く設定された照合閾値に基づいて、顔領域の撮像画像が撮像された人物の認証処理を行う。

次に、車載画像認証装置１００Ｄの動作について説明する。
図１６は、実施の形態５に係る車載画像認証装置１００Ｄの動作を示すフローチャートである。
車両状態判定部９は、車両情報取得部８が取得した車両情報を参照し、車両状態が予め設定した状態になったか否か判定を行う（ステップＳＴ３１）。車両状態が予め設定した状態になっていない場合（ステップＳＴ３１；ＮＯ）、車両状態判定部９はステップＳＴ３１の処理を繰り返す。一方、車両状態が予め設定した状態になった場合（ステップＳＴ３１；ＹＥＳ）、ステップＳＴ３２の処理に進む。ステップＳＴ３２以降の処理と並行して、車両状態判定部９は車両情報取得部８が取得した車両の位置情報を参照し、車両が予め設定された特定の地点に位置しているか否か判定を行う（ステップＳＴ４１）。

車両が特定の地点に位置していない場合（ステップＳＴ４１；ＮＯ）、ステップＳＴ９ｂの所に進む。一方、車両が特定の地点に位置している場合（ステップＳＴ４１；ＹＥＳ）、車両状態判定部９は、車両が特定の地点に位置していること、および車両の位置情報を認証処理部６の照合閾値決定部７ａに通知する（ステップＳＴ４２）。その後、処理は、ステップＳＴ４３の処理に進む。

ステップＳＴ１からステップＳＴ８の処理が行われ、顔向きが設定された角度範囲内である場合（ステップＳＴ８；ＹＥＳ）、照合閾値決定部７ａは、記憶装置３００を参照し、ステップＳＴ４２で通知された車両の位置情報と一致する位置情報が付されたユーザが存在するか否か判定を行う（ステップＳＴ４３）。ユーザが存在しない場合（ステップＳＴ４３；ＮＯ）、ステップＳＴ９ｂの処理に進む。一方、ユーザが存在する場合（ステップＳＴ４３；ＹＥＳ）、照合閾値決定部７ａは探索したユーザの照合閾値を規定値よりも低く設定する（ステップＳＴ４４）。認証処理部６は、ステップＳＴ４４において照合閾値が設定されている場合には、当該照合閾値に基づいて、顔検出部１から入力される顔領域の撮像画像の特徴情報と、記憶装置３００に登録された認証用の撮像画像の特徴情報とを照合し、顔領域の撮像が撮像された人物の認証処理を行う（ステップＳＴ９ｂ）、認証処理部６は、ステップＳＴ９ｂの認証結果を制御装置４００に出力し（ステップＳＴ１０）、処理を終了する。

ステップＳＴ９ｂにおいて、照合閾値が規定値よりも低く設定されている場合に、当該低く設定された照合閾値を適用して認証処理が行われる。これにより、車両がユーザの自宅等、特定の地点に位置している場合に、登録された家族の照合閾値を低く設定することができ、当該家族が認証されやすくなる。

以上のように、この実施の形態５によれば、車両状態判定部９による車両が特定の地点に位置しているとの判定結果に基づいて、照合閾値を決定する照合閾値決定部７ｂを備え、認証処理部６は、顔検出部１が検出した顔領域の撮像画像の特徴情報と、予め蓄積された認証用の撮像画像の特徴情報とを照合し、照合結果が照合閾値以上であるか否かに基づいて人物の認証を行い、照合閾値決定部７ｂは、車両状態判定部９による車両が特定の地点に位置しているとの判定結果に基づいて、照合閾値を決定するように構成したので、車両が特定の地点に位置している場合に、認証処理を行う際の条件を緩和することができる。

なお、上述した実施の形態５では、実施の形態１の車載画像認証装置１００に、照合閾値決定部７ａ、車両情報取得部８および車両状態判定部９を追加して設ける構成を示したが、実施の形態３で示した車載画像認証装置１００Ｂに車両情報取得部８および車両状態判定部９を追加して設け、照合閾値決定部７に照合閾値決定部７ａの機能を追加して設ける構成としてもよい。

上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る車載画像認証装置は、認証対象および認証対象外の人物の顔が撮像された撮像画像から認証対象の人物の顔画像を抽出して認証させることが可能なため、ユーザ毎に制御が行われる車両などに適用し、ユーザの認証精度の向上に用いるのに適している。

１顔検出部、２顔要素検出部、３領域判定部、４顔向き検出部、５顔向き判定部、５ａ開眼判定部、６認証処理部、６ａ終了判定部、７，７ａ照合閾値決定部、８車両情報取得部、９車両状態判定部、１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ車載画像認証装置、２００カメラ、３００記憶装置、４００制御装置、５００車両、５０１運転席、５０２助手席、５０３，５０４乗員。

特開２０１５−７１３１９号公報

この発明に係る画像認証装置は、車両の運転席および助手席に着座する乗員を同時に撮像可能な撮像範囲を撮像した撮像画像から、人物の顔が位置する顔領域を検出する顔検出部と、顔検出部が検出した顔領域の撮像画像から、人物の顔の要素を検出する顔要素検出部と、顔検出部が検出した顔領域が、車両の前方乗車席に着座する乗員を認証するために撮像範囲の一部に設定された領域内に位置しているか否か判定を行う領域判定部と、領域判定部が、顔領域が設定された領域内に位置していると判定した場合に、顔領域の撮像画像の特徴情報と、予め蓄積された認証用の撮像画像の特徴情報とを照合し、顔領域が検出された人物の認証を行う認証処理部とを備えるものである。

実施の形態１に係る画像認証装置の構成を示すブロック図である。実施の形態１に係る画像認証装置を搭載した車両内部を上方から見た図である。図３Ａ、図３Ｂは、実施の形態１による画像認証装置のハードウェア構成例を示す図である。実施の形態１に係る画像認証装置を搭載した車両の車室内を前方から見た図であり、領域判定部に設定された領域を示す図である。図５Ａ、図５Ｂは、画像認証装置の顔向き判定部に設定された角度範囲の一例を示す図である。実施の形態１に係る画像認証装置の動作を示すフローチャートである。実施の形態１に係る画像認証装置のその他の構成を示すブロック図である。実施の形態１に係る画像認証装置のその他の動作を示すフローチャートである。実施の形態２に係る画像認証装置の構成を示すブロック図である。実施の形態２に係る画像認証装置の動作を示すフローチャートである。実施の形態３に係る画像認証装置の構成を示すブロック図である。実施の形態３に係る画像認証装置の動作を示すフローチャートである。実施の形態４に係る画像認証装置の構成を示すブロック図である。実施の形態４に係る画像認証装置の動作を示すフローチャートである。実施の形態５に係る画像認証装置の構成を示すブロック図である。実施の形態５に係る画像認証装置の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る画像認証装置１００の構成を示すブロック図である。
画像認証装置１００は、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６を備える。また、画像認証装置１００は、カメラ２００、記憶装置３００および制御装置４００と接続されている。
図１で示した構成以外にも、カメラ２００および記憶装置３００の少なくとも一方を画像認証装置１００が備えるように構成してもよい。

図２は、画像認証装置１００を搭載した車両５００内部を上方から見た図である。
カメラ２００は、例えば広角カメラ等で構成され、少なくとも運転席５０１および助手席５０２に着座する乗員５０３，５０４を同時に撮像可能な位置に配置される。カメラ２００が撮像した撮像画像は、画像認証装置１００の顔検出部１に入力される。図２の例では、カメラ２００の撮像範囲を、領域Ａで示している。領域Ａ内には、運転席５０１および助手席５０２に着座する乗員５０３，５０４に加えて、認証の対象でない人物Ｘ、Ｙが存在する。以下では、画像認証装置１００が人物Ｘ，Ｙの撮像画像を用いて、人物Ｘ，Ｙの認証を行ってしまうのを抑制する構成について説明する。

記憶装置３００は、画像認証装置１００を搭載した車両のユーザの顔の特徴情報が登録されている。車両のユーザとは、当該車両を運転する可能性のある乗員、および助手席に着座する可能性のある乗員が含まれるものとする。記憶装置３００に登録される顔の特徴情報は、カメラ２００を用いて事前に撮像された画像の特徴情報、またはその他の撮像手段を用いて事前に撮像された画像の特徴情報である。また、記憶装置３００は、各ユーザの顔の特徴情報を、各ユーザを特定する情報、例えばＩＤと関連付けて記憶する。顔の特徴情報に関連付けて記憶する情報は、種々設定可能である。

制御装置４００は、画像認証装置１００が搭載された車両を制御する装置である。制御装置４００は、例えば運転席および助手席の座席シートの位置および傾きを調整する制御装置、音響装置を制御する制御装置等である。制御装置４００は、認証処理部６から入力される認証結果に基づいて、認証された乗員に適した制御、例えばユーザの好みの座席シートの位置および傾き、ユーザの好みの音響条件等の制御を行う。

次に、画像認証装置１００のハードウェア構成例を説明する。
図３Ａ、図３Ｂは、実施の形態１による画像認証装置１００のハードウェア構成例を示す図である。
画像認証装置１００における、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

なお、顔検出部１、顔要素検出部２、領域判定部３、顔向き検出部４、顔向き判定部５および認証処理部６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、画像認証装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、領域判定部３に乗員を認証するために予め設定された領域の詳細について図４を参照して説明する。
図４は、実施の形態１に係る画像認証装置１００を搭載した車両の車室内を前方から見た図であり、領域判定部３に設定された領域を示す図である。
図４では、車両５００内の運転席５０１および助手席５０２に乗員５０３，５０４が着座した場合を想定し、乗員５０３，５０４を点線で示している。
運転席５０１の外側に第１のピラー５０５および助手席５０２の外側に第２のピラー５０６が位置している。矩形領域５０７は、運転席５０１に着座する乗員を認証するために、領域判定部３に設定される領域である。矩形領域５０８は、助手席５０２に着座する乗員を認証するために、領域判定部３に設定される領域である。矩形領域５０７，５０８は、車外に位置する人物Ｘおよび車両５００の後部座席に着座する人物Ｙの誤認証を抑制するように設定される。
また、図４では、矩形領域が設定される場合を例に示したが、設定される領域は矩形に限定されるものではない。

次に、顔向き判定部５に乗員を認証するために予め設定された角度範囲の詳細について説明する。
図５Ａおよび図５Ｂは、画像認証装置１００の顔向き判定部５に設定された角度範囲の一例を示す図である。
顔向き判定部５に設定された角度範囲には、車両の車幅方向の角度範囲と、車両の高さ方向の角度範囲がある。
図５Ａは、実施の形態１に係る画像認証装置１００を搭載した車両の車室内を上方から見た図であり、顔向き判定部５に設定された車両の車幅方向の角度範囲を示す図である。図５Ｂは実施の形態１に係る画像認証装置１００を搭載した車両に着座した人物を横方向から見た図であり、顔向き判定部５に設定された車両の高さ方向の角度範囲を示す図である。

次に、画像認証装置１００の動作について説明する。
図６は、実施の形態１に係る画像認証装置１００の動作を示すフローチャートである。
顔検出部１は、カメラ２００から入力された撮像画像を解析し、顔領域の検出処理を行う（ステップＳＴ１）。顔検出部１は、顔領域を検出しなかった場合（ステップＳＴ１；ＮＯ）、ステップＳＴ１の検出処理を繰り返す。一方、顔検出部１は、顔領域を検出した場合（ステップＳＴ１；ＹＥＳ）、検出した顔領域を囲む矩形領域の各頂点の座標値を取得する（ステップＳＴ２）。

上述した実施の形態１では、顔向き判定部５が人物の顔の向きが、車両の前方乗車席に着座する乗員を認証するために設定された顔向きの範囲内であるか否か判定を行い、設定された顔向きの範囲内であると判定した場合に、認証処理部６が、顔領域が検出された人物の認証を行う構成を示した。認証処理部６は、上述した人物の顔の向きに加えて、例えば人物の目が開いているか否かに基づいて、顔領域が検出された人物の認証を行うように構成することも可能である。人物の顔の向きに加えて、人物の目が開いているか否かに基づいて人物の認証を行う画像認証装置１００の構成を図７に示している。

図７は、実施の形態１に係る画像認証装置１００のその他の構成を示すブロック図である。
図７では、図１で示した画像認証装置１００の顔向き判定部５に開眼判定部５ａを追加して構成した例を示している。以下では、上述した画像認証装置１００の構成要素と同一または相当する部分には、図１で使用した符号と同一の符号を付して説明を省略または簡略化する。

次に、人物の顔の向きに加えて、人物の目が開いているか否かの判定を行う、画像認証装置１００の動作について説明する。
図８は、実施の形態１に係る画像認証装置１００のその他の動作を示すフローチャートである。なお、以下では上述した画像認証装置１００と同一のステップには図６で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ８において、顔向きが設定された角度範囲内であると判定された場合（ステップＳＴ８；ＹＥＳ）、開眼判定部５ａは、人物の目が開いているか否か判定を行う（ステップＳＴ８ａ）。人物の目が開いていない場合（ステップＳＴ８ａ；ＮＯ）、ステップＳＴ１の処理に戻る。一方、人物の目が開いている場合（ステップＳＴ８ａ；ＹＥＳ）、認証処理部６は、顔検出部１から入力される顔領域の撮像画像の特徴情報と、記憶装置３００に登録された認証用の撮像画像の特徴情報とを照合し、顔領域の撮像画像が撮像された人物の認証処理を行う（ステップＳＴ９）。認証処理部６は、ステップＳＴ９の認証結果を制御装置４００に出力し（ステップＳＴ１０）、処理を終了する。

実施の形態２．
この実施の形態２では、顔領域の撮像画像が撮像された人物が認証されるまで、複数回認証処理を繰り返す構成を示す。
図９は、実施の形態２に係る画像認証装置１００Ａの構成を示すブロック図である。
実施の形態２に係る画像認証装置１００Ａは、実施の形態１で示した画像認証装置１００の認証処理部６に終了判定部６ａを追加して構成している。
以下では、実施の形態１に係る画像認証装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

次に、画像認証装置１００Ａの動作について説明する。
図１０は、実施の形態２に係る画像認証装置１００Ａの動作を示すフローチャートである。なお、図１０のフローチャートでは、終了判定部６ａが照合処理の回数に基づいて判定する場合を示している。
なお、以下では実施の形態１に係る画像認証装置１００と同一のステップには図６で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ９において、認証処理部６が認証処理を行うと、終了判定部６ａは顔領域の撮像画像が撮像された人物が認証されたか否か判定を行う（ステップＳＴ１１）。顔領域の撮像画像が撮像された人物の認証がされたと判定した場合（ステップＳＴ１１；ＹＥＳ）、ステップＳＴ１０の処理に進む。

実施の形態３．
この実施の形態３では、検出された顔向きに基づいて認証処理部６の照合閾値を変化させる構成を示す。
図１１は、実施の形態３に係る画像認証装置１００Ｂの構成を示すブロック図である。
実施の形態３に係る画像認証装置１００Ｂは、実施の形態１で示した画像認証装置１００に照合閾値決定部７を追加して構成している。
以下では、実施の形態１に係る画像認証装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

次に、画像認証装置１００Ｂの動作について説明する。
図１２は、実施の形態３に係る画像認証装置１００Ｂの動作を示すフローチャートである。なお、以下では実施の形態１に係る画像認証装置１００と同一のステップには図６で使用した符号と同一の符号を付し、説明を省略または簡略化する。
また、図１２のフローチャートでは、照合閾値決定部７が顔領域の撮像画像の顔向きに基づいて照合閾値を決定する場合を示している。
ステップＳＴ８において、顔向きが設定された角度範囲内であると判定された場合（ステップＳＴ８；ＹＥＳ）、照合閾値決定部７は記憶装置３００から認証用の撮像画像の特徴情報と当該認証用の撮像画像の顔向きを示す情報を取得する（ステップＳＴ２１）。照合閾値決定部７は、ステップＳＴ２１で取得した認証用の撮像画像の顔向きと、顔向き検出部４が検出した顔向きとを比較して、照合閾値を決定する（ステップＳＴ２２）。なお、照合閾値決定部７は、顔向き検出部４が検出した顔向きを顔向き判定部５を介して取得する。

なお、上述した実施の形態３では、実施の形態１で示した画像認証装置１００の認証処理部６に照合閾値決定部７を追加する構成を示したが、実施の形態２で示した画像認証装置１００Ａの認証処理部６にさらに照合閾値決定部７を追加してもよい。

実施の形態４．
この実施の形態４では、ある車両状態の検知をトリガとして認証処理を開始する構成を示す。
図１３は、実施の形態４に係る画像認証装置１００Ｃの構成を示すブロック図である。
実施の形態４に係る画像認証装置１００Ｃは、実施の形態１で示した画像認証装置１００に車両情報取得部８および車両状態判定部９を追加して構成している。
以下では、実施の形態１に係る画像認証装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

次に、画像認証装置１００Ｃのハードウェア構成例を説明する。なお、実施の形態４の画像認証装置１００Ｃのハードウェア構成例を示す図は、実施の形態１で示した図３Ａおよび図３Ｂと同一であることから、図示を省略する。また、実施の形態１と同一の構成の説明も省略する。
画像認証装置１００Ｃにおける車両情報取得部８および車両状態判定部９は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

なお、車両情報取得部８および車両状態判定部９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、画像認証装置１００Ｃにおける処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、画像認証装置１００Ｃの動作について説明する。
図１４は、実施の形態４に係る画像認証装置１００Ｃの動作を示すフローチャートである。
車両状態判定部９は、車両情報取得部８が取得した車両情報を参照し、車両状態が予め設定した状態になったか否か判定を行う（ステップＳＴ３１）。車両状態が予め設定した状態になっていない場合（ステップＳＴ３１；ＮＯ）、車両状態判定部９はステップＳＴ３１の処理を繰り返す。一方、車両状態が予め設定した状態になった場合（ステップＳＴ３１；ＹＥＳ）、車両状態判定部９は顔検出部１に対して顔領域の検出処理を指示する（ステップＳＴ３２）。その後、画像認証装置１００Ｃは、ステップＳＴ１からステップＳＴ１０の処理を行う。

なお、上述した実施の形態４では、実施の形態１で示した画像認証装置１００に車両情報取得部８および車両状態判定部９を追加する構成を示したが、実施の形態２で示した画像認証装置１００Ａに車両情報取得部８および車両状態判定部９を追加して構成してもよい。

実施の形態５．
この実施の形態５では、車両情報に基づいて、認証処理の照合閾値を設定する構成を示す。
図１５は、実施の形態５に係る画像認証装置１００Ｄの構成を示すブロック図である。
実施の形態５に係る画像認証装置１００Ｄは、実施の形態１で示した画像認証装置１００に車両情報取得部８および車両状態判定部９を追加し、さらに認証処理部６に照合閾値決定部７ａを追加して構成している。
以下では、実施の形態１、実施の形態３および実施の形態４に係る画像認証装置１００，１００Ｂ，１００Ｃの構成要素と同一または相当する部分には、実施の形態１、実施の形態３および実施の形態４で使用した符号と同一の符号を付して説明を省略または簡略化する。

次に、画像認証装置１００Ｄの動作について説明する。
図１６は、実施の形態５に係る画像認証装置１００Ｄの動作を示すフローチャートである。
車両状態判定部９は、車両情報取得部８が取得した車両情報を参照し、車両状態が予め設定した状態になったか否か判定を行う（ステップＳＴ３１）。車両状態が予め設定した状態になっていない場合（ステップＳＴ３１；ＮＯ）、車両状態判定部９はステップＳＴ３１の処理を繰り返す。一方、車両状態が予め設定した状態になった場合（ステップＳＴ３１；ＹＥＳ）、ステップＳＴ３２の処理に進む。ステップＳＴ３２以降の処理と並行して、車両状態判定部９は車両情報取得部８が取得した車両の位置情報を参照し、車両が予め設定された特定の地点に位置しているか否か判定を行う（ステップＳＴ４１）。

なお、上述した実施の形態５では、実施の形態１の画像認証装置１００に、照合閾値決定部７ａ、車両情報取得部８および車両状態判定部９を追加して設ける構成を示したが、実施の形態３で示した画像認証装置１００Ｂに車両情報取得部８および車両状態判定部９を追加して設け、照合閾値決定部７に照合閾値決定部７ａの機能を追加して設ける構成としてもよい。

この発明に係る画像認証装置は、認証対象および認証対象外の人物の顔が撮像された撮像画像から認証対象の人物の顔画像を抽出して認証させることが可能なため、ユーザ毎に制御が行われる車両などに適用し、ユーザの認証精度の向上に用いるのに適している。

１顔検出部、２顔要素検出部、３領域判定部、４顔向き検出部、５顔向き判定部、５ａ開眼判定部、６認証処理部、６ａ終了判定部、７，７ａ照合閾値決定部、８車両情報取得部、９車両状態判定部、１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ画像認証装置、２００カメラ、３００記憶装置、４００制御装置、５００車両、５０１運転席、５０２助手席、５０３，５０４乗員。

Claims

車両の運転席および助手席に着座する乗員を同時に撮像可能な撮像範囲を撮像した撮像画像から、人物の顔が位置する顔領域と、当該顔領域の特徴情報とを検出する顔検出部と、
前記顔検出部が検出した前記顔領域の撮像画像から、前記人物の顔の要素を検出する顔要素検出部と、
前記顔検出部が検出した前記顔領域が、前記車両の前方乗車席に着座する前記乗員を認証するために設定された領域内に位置しているか否か判定を行う領域判定部と、
前記領域判定部が、前記顔領域が前記設定された領域内に位置していると判定した場合に、前記顔要素検出部が検出した前記人物の顔の要素の前記撮像画像における位置情報に基づいて、前記人物の顔の向きを検出する顔向き検出部と、
前記顔向き検出部が検出した前記人物の顔の向きが、前記車両の前方乗車席に着座する前記乗員を認証するために設定された顔向きの範囲内であるか否か判定を行う顔向き判定部と、
前記顔向き判定部が、前記人物の顔の向きが前記設定された顔向きの範囲内であると判定した場合に、前記顔領域の撮像画像の特徴情報と、予め蓄積された認証用の撮像画像の特徴情報とを照合し、前記顔領域が検出された前記人物の認証を行う認証処理部とを備えた車載画像認証装置。
前記顔要素検出部が検出した前記人物の顔の要素の前記撮像画像における位置情報に基づいて、前記人物の目が開いているか否か判定を行う開眼判定部を備え、
前記認証処理部は、前記人物の顔の向きが前記設定された顔向きの範囲内であり、且つ前記開眼判定部が前記人物の目が開いていると判定した場合に、前記人物の認証を行うことを特徴とする請求項１記載の車載画像認証装置。
前記認証処理部が、前記顔領域が検出された前記人物を認証できなかった場合に、当該認証処理部の認証回数または認証時間が規定の回数または規定の時間に到達したか否か判定を行い、到達していない場合に、前記顔検出部に対して再度、前記顔領域の検出を指示する終了判定部を備えたことを特徴とする請求項１記載の車載画像認証装置。
前記顔領域の前記撮像画像における位置、および前記顔向き検出部が検出した前記人物の顔の向きの少なくとも１つに基づいて、照合閾値を決定する照合閾値決定部を備え、
前記認証処理部は、前記顔検出部が検出した前記顔領域の撮像画像の特徴情報と、予め蓄積された前記認証用の撮像画像の特徴情報とを照合し、照合結果が前記照合閾値以上であるか否かに基づいて前記人物の認証を行うことを特徴とする請求項１記載の車載画像認証装置。
前記車両の車両情報を参照し、前記車両の車両状態が前記車両の前方乗車席に着座する前記乗員を認証するために設定された状態になったと判定した場合に、前記顔検出部に対して前記顔領域の検出を指示する車両状態判定部を備えたことを特徴とする請求項１記載の車載画像認証装置。
前記領域判定部に設定される前記車両の前方乗車席に着座する乗員を認証するための領域は、固定された領域、または前記車両状態判定部が参照する車両情報の種別に応じて設定される領域であることを特徴とする請求項５記載の車載画像認証装置。
前記認証処理部が、前記顔領域が検出された前記人物を認証できなかった場合に、当該認証処理部の認証回数または認証時間が規定の回数または規定の時間に到達したか否か判定を行い、到達していない場合に、前記顔検出部に対して再度、前記顔領域の検出を指示する終了判定部を備えたことを特徴とする請求項５記載の車載画像認証装置。
前記顔領域の前記撮像画像における位置、および前記顔向き検出部が検出した前記人物の顔の向きの少なくとも１つに基づいて、照合閾値を決定する照合閾値決定部を備え、
前記認証処理部は、前記顔検出部が検出した前記顔領域の撮像画像の特徴情報と、予め蓄積された前記認証用の撮像画像の特徴情報とを照合し、照合結果が前記照合閾値以上であるか否かに基づいて前記人物の認証を行うことを特徴とする請求項５記載の車載画像認証装置。
前記車両状態判定部による前記車両が特定の地点に位置しているとの判定結果に基づいて、照合閾値を決定する照合閾値決定部を備え、
前記認証処理部は、前記顔検出部が検出した前記顔領域の撮像画像の特徴情報と、予め蓄積された前記認証用の撮像画像の特徴情報とを照合し、照合結果が前記照合閾値以上であるか否かに基づいて前記人物の認証を行うことを特徴とする請求項５記載の車載画像認証装置。
前記車両状態判定部が参照する前記車両情報は、前記車両のドアの開錠および施錠を示す情報、前記車両のドアの開閉を示す情報、前記車両のシートベルトの着脱を示す情報、前記車両のイグニッションのＯＮ／ＯＦＦ状態を示す情報、前記車両の人感センサのＯＮ／ＯＦＦ状態を示す情報、前記車両のシフトレバーの位置を示す情報、前記車両の車両速度を示す情報、前記車両のナビゲーション装置の案内状態を示す情報および前記車両の位置情報のうちの少なくとも１つを含むことを特徴とする請求項５記載の車載画像認証装置。
前記車両の前記運転席および前記助手席に着座する乗員を同時に撮像可能な撮像範囲を撮像するカメラを備えたことを特徴とする請求項１記載の車載画像認証装置。