JP4209303B2 - 車両用顔画像処理装置 - Google Patents

Description

本発明は、運転者の顔画像をカメラで撮影することにより車両の盗難を防止する車両用顔画像処理装置に関する。

従来から、運転者の顔画像を撮影して得られた顔画像データを車外の路上機に送信したり、撮影した顔画像に対して画像認識を行って個人認証を行うことにより、セキュリティを向上させた車両用の顔画像処理システムが知られている（例えば、特許文献１参照。）。
特開２００１−１２６０９１号公報（第３−６頁、図１−６）

ところで、上述した特許文献１に開示された顔画像処理システムを用いることにより、車両を使用する際のセキュリティを向上させることができるが、以下に示す問題があった。第１に、運転者の顔画像を撮影して得られた顔画像データを路上機を介して管理センターに送信し、管理センターで個人認証を行う場合、顔の画像データの容量が多いことと、通信速度が遅いことから、個人認証の結果が管理センターから車に返されるまでのレスポンスが遅くなり、車をすぐに運転することができない等の問題があった。また、通信速度が遅いために通信に時間がかかり、通信コストがかかるという問題もあった。このため、通信の頻度をできるだけ抑えたいという要求がある。

第２に、撮影した顔画像に対して画像認識を行って個人認証を行う場合であって、認証結果に基づいて車両の走行を許可あるいは拒否しようとすると、車両の盗難を確実に防止しようとすると個人認証を行う際に設定される類似度の閾値を高く設定する必要があるが、そうすると誤認識によって正当な運転者が車両を使うことができなくなるという問題があった。反対に、類似度の閾値を低く設定すると、不正な運転者を正当な運転者として誤認識するおそれがあり、車両の盗難の危険性が増してしまう。

本発明は、このような点に鑑みて創作されたものであり、その目的は、通信に要する時間とコストを低減するとともに盗難を有効に防止することができ、しかも、誤って正当な運転者が車両を使うことができない事態を回避することができる車両用顔画像処理装置を提供することにある。

上述した課題を解決するために、本発明の車両用顔画像処理装置は、車両の走行が許可される運転者の顔画像の特徴データが予め登録された特徴データ格納手段と、車両に乗り込んだ運転者の顔を撮影する撮影手段と、撮影手段による撮影によって得られた顔画像データと、特徴データ格納手段に格納された顔画像データとを照合して類似度を算出する照合手段と、照合手段によって算出された類似度が上側基準値以上のときに車両の走行を許可し、下側基準値以下のときに車両の走行を拒否し、下側基準値と上側基準値との間にあるときに車両の走行を許可するとともに撮影手段による撮影によって得られた顔画像データを車外の施設に向けて送信する制御を行う制御手段とを備えている。類似度が上側基準値以上であって運転者が明らかに登録された運転者と一致する場合や、類似度が下側基準値以下であって運転者が明らかに登録された運転者と異なる場合については車外の施設との間で通信を行わずに車両の走行を許可あるいは拒否する制御が行われるため、通信に要する時間やコストを低減することができる。また、類似度が下側基準値と上側基準値の間にある場合には車両の走行が許可されるため、誤って正当な運転者が車両を使うことができなくなる事態を回避することができる。しかも、この場合には誤って正当でない運転者に対して車両の走行を許可してしまう場合も生じるが、顔画像データが車外の施設に送られるため、この運転者の鮮明な（覆面等をしている場合には類似度が下側基準値を下回ってしまう）顔画像を車両盗難の証拠として使用することができることから、指名手配を恐れる運転者による盗難を未然に防止することが可能になる。

また、上述した制御手段による車両の走行許可に対応してエンジンの始動が可能になり、走行拒否に対応してエンジンの始動が不可能になることが望ましい。これにより、類似度が下側基準値以下であって、登録された運転者でないことが明らかな場合に確実に車両の盗難を防止することができる。

また、上述した照合手段による照合動作に先立って、予め車両の走行が許可される運転者の顔を実際に撮影して特徴データの抽出を行い、この運転者に対応する特徴データを特徴データ格納手段に登録する登録手段をさらに備えることが望ましい。これにより、実際に車両を運転する可能性のある運転者の特徴データを必要な数だけ登録しておいて、これらの運転者に対して車両の走行を許可することができ、実情に即した車両の使い方が可能になる。

また、無線通信を行うことにより、車外の施設に対して顔画像データの送信を行う通信手段をさらに備えることが望ましい。これにより、外部の施設に対して確実に顔画像データを送ることができる。

また、上述した制御手段は、通信手段による顔画像データの送信に失敗した場合に、成功するまで顔画像データの送信を繰り返し行うことが望ましい。これにより、電波状態が悪い地下駐車場等に駐車された車両から直接顔画像データを送信することができない場合であっても、電波状態が良い場所に出たときに確実に顔画像データを送信することが可能になる。

以下、本発明を適用した一実施形態の車両用顔画像処理装置について、図面を参照しながら詳細に説明する。

図１は、一実施形態の車両用顔画像処理装置の全体構成を示す図であり、合わせてこの車両用顔画像処理装置と周辺構成との接続状態が示されている。図１に示すように、車両用顔画像処理装置１００は、カメラ１０、ライト１２、画像バッファ２０、特徴抽出部２２、顔特徴登録部２４、顔データベース（ＤＢ）２６、照合部２８、顔画像格納部３０、制御部４０、通信機能部４２を含んで構成されている。

カメラ１０は、停車中の車両に乗り込んだ運転者の顔を撮影し、所定の解像度を有する顔画像データを出力する。例えば、ＣＣＤ（電荷結合素子）等の撮像デバイスが用いられる。また、このカメラ１０は、運転席に座った運転者の顔を撮影することができる位置、例えば運転席側のサンバイザーやハンドル中央部分等に取り付けられている。ライト１２は、カメラ１０の近傍に取り付けられており、撮影対象となる運転者の顔に均一な光を照射する。ライト１２によって運転者の顔に照明を当てることによって、撮影時刻等に関係なく比較的均一な条件下での撮影が可能になる。

画像バッファ２０は、カメラ１０による撮影によって得られた顔画像データを一時的に格納する。特徴抽出部２２は、画像バッファ２０に格納された顔画像データの内容を順次読み出して、画像処理によって運転者の顔の特徴データを抽出する。顔特徴登録部２４は、事前に特徴抽出部２２によって抽出された特定人の顔の特徴データを顔データベース２６に格納する。この特定人は、一人であっても複数人であってもよい。照合部２８は、特徴抽出部２２によって抽出された顔の特徴データと、事前に顔データベース２６に登録されている顔の特徴データとを比較し、数値で表された類似度を算出する。比較対象となる顔が似ているほど類似度を示す数値が大きくなり、反対に似ていない場合には類似度を示す数値が小さくなる。顔画像格納部３０は、画像バッファ２０に格納された顔画像データを、車外の施設としての登録サーバ２００に送信するために格納する。

制御部４０は、車両用顔画像処理装置１００により行われる処理動作の全体を制御し、上述した各構成に対して動作指示を送る。通信機能部４２は、顔画像格納部３０に格納されている顔画像データを無線通信を行って登録サーバ２００に向けて送信する。例えば、通信手段として携帯電話の機能を有する電話モジュールが用いられ、この電話モジュールから送信された顔画像データが電話網を含むネットワーク３００を介して登録サーバ２００に送られる。登録サーバ２００は、いずれかの車両に搭載された車両用顔画像処理装置１００から送られてきた顔画像データを、受信日時や車両特定情報（車両番号等）とともに格納する。

上述した制御部４０は、車両の走行系制御部１１０に接続されている。この走行系制御部１１０は、車両の走行を許可あるいは拒否する機能を有している。走行系制御部１１０は、例えばエンジン制御装置であり、制御部４０から走行拒否が指示されると、運転者によってイグニッションキーが操作されてもエンジンを始動しない制御を行い、走行許可が指示されると、イグニッションキーが操作されたときにスタータを回転させてエンジンを始動する制御を行う。

上述した顔データベース２６が特徴データ格納手段に、カメラ１０が撮影手段に、照合部２８が照合手段に、制御部４０が制御手段にそれぞれ対応する。また、カメラ１０、画像バッファ２０、特徴抽出部２２、顔特徴登録部２４が登録手段に、通信機能部４２が通信手段にそれぞれ対応する。

本実施形態の車両用顔画像処理装置１００はこのような構成を有しており、次にその動作を説明する。車両用顔画像処理装置１００は、車両に運転者が乗り込んでエンジンを始動させる前に、この運転者の顔画像を撮影して登録者の顔画像との間で照合を行い、明らかに登録者に一致する場合にはエンジンの始動を許可し、反対に明らかに登録者に不一致の場合にはエンジンの始動を許可しない（拒否する）。また、この両方に該当しない場合には、撮影された顔画像がネットワーク３００を介して登録サーバ２００に送られ、保存される。

図２は、車両の運転に先立って予め行われる顔画像登録の動作手順を示す流れ図である。制御部４０は、車両の運転席に乗り込んだ運転者によって登録が指示されたか否かを判定し（ステップ１００）、登録が指示されない場合には否定判断を行ってこの判定を繰り返す。例えば、操作部（図示せず）に備わった登録ボタンが押されたか否かを監視することによりこの判定が行われる。登録ボタンが押されて登録が指示された場合にはステップ１００の判定において肯定判断が行われ、次に、制御部４０の指示に応じてライト１２が点灯して運転者（以後、登録対象となる運転者を登録者と称する。）の顔に光が照射された状態で、カメラ１０によって登録者の顔を撮影する（ステップ１０１）。この撮影によって得られた顔画像データは画像バッファ２０に格納される。

次に、特徴抽出部２２は、画像バッファ２０に格納された顔画像データを読み出して、登録者の顔の特徴データを抽出する（ステップ１０２）。また、顔特徴登録部２４は、この抽出された特徴データを顔データベース２６に登録する（ステップ１０３）。このようにして、一人の登録者に対応する登録処理が終了する。登録者が複数人存在する場合には、この登録処理がその人数分繰り返され、それぞれの登録者の顔の特徴データが顔データベース２６に登録される。

図３は、車両の運転を開始する際に行われる運転者の顔画像を用いた照合処理の動作手順を示す流れ図である。制御部４０は、照合処理を開始するか否かを判定しており（ステップ２００）、照合開始のトリガとなる動作を検出するまでは否定判断を行ってこの判定を繰り返す。例えば、運転者がイグニッションキーを回転させてキースイッチがオンになったときに照合処理を開始する場合を考えると、制御部４０は、キースイッチのオフからオンへの切り替わりを照合開始のトリガとして検出し、ステップ２００の判定において肯定判断を行う。

次に、制御部４０の指示に応じてライト１２が点灯して運転者の顔に光が照射された状態で、カメラ１０によって運転者の顔を撮影する（ステップ２０１）。この撮影によって得られた顔画像データは画像バッファ２０に格納される。また、画像バッファ２０に格納された顔画像データは顔画像格納部３０にも格納される。

次に、特徴抽出部２２は、画像バッファ２０に格納された顔画像データを読み出して、運転者の顔の特徴データを抽出する（ステップ２０２）。照合部２８は、この抽出された特徴データと、顔データベース２６に登録された各登録者の特徴データとを比較して照合を行い、各登録者毎に類似度を算出し、最も大きな値を有する類似度を照合結果として出力する（ステップ２０３）。

次に、制御部４０は、照合部２８から出力された類似度が上側基準値ＴＨ以上か否かを判定する（ステップ２０４）。類似度が上限基準値ＴＨ以上でない場合には否定判断が行われ、制御部４０は、類似度が下側基準値ＴＬ以下か否かを判定する（ステップ２０５）。

図４は、上側基準値ＴＨと下側基準値ＴＬの説明図である。図４において、「ＦＲＲ」は本人を誤って拒否する率を、「ＦＡＲ」は他人を誤って受け入れる率をそれぞれ示している。類似度は特徴データを用いて計算されるが、その値が大きいほど類似性がある。本実施形態では、類似度が上側基準値ＴＨ以上のときに、運転者が登録者に一致する本人であると判定している。この上側基準値ＴＨを高くすればするほど、他人を誤って本人として判定してしまう率（ＦＡＲ）は低くなるが、同時に、本人であるにもかかわらず、誤って、本人でないと判定される率（ＦＲＲ）も高くなる。本実施形態では、他人を誤って受け入れる率ＦＡＲがかなり小さくなるように上側基準値ＴＨが設定されており、類似度がこの上側基準値ＴＨ以上の場合には、運転者が明らかに登録者であるとして取り扱うことにしている。また、同様に、本人を誤って拒否する率ＦＲＲがかなり小さくなるように下側基準値ＴＬが設定されており、類似度がこの下側基準値ＴＬ以下の場合には、運転者が明らかに登録者ではないとして取り扱うことにしている。

類似度が上側基準値ＴＨ以上の場合にはステップ２０４の判定において肯定判断が行われ、次に、制御部４０は、走行系制御部１１０に対して走行許可を指示する（ステップ２０６）。この指示に応じて、走行系制御部１１０によって走行可能状態に移行し、その後、運転者がイグニッションキーを操作するとエンジンが始動される。

また、類似度が下側基準値ＴＬ以下の場合にはステップ２０５の判定において否定判断が行われ、次に、制御部４０は、走行系制御部１１０に走行拒否を指示する（ステップ２０７）。この指示に応じて、走行系制御部１１０によって走行禁止状態に移行し、その後、運転者がイグニッションキーを操作してもエンジンが始動されることはない。

また、類似度が上側基準値ＴＨ以下であって下側基準値ＴＬ以上の場合にはステップ２０５の判定において否定判断が行われ、次に、制御部４０は、走行系制御部１１０に対して走行許可を指示する（ステップ２０８）。この指示に応じて、走行系制御部１１０によって走行可能状態に移行し、その後、運転者がイグニッションキーを操作するとエンジンが始動される。また、制御部４０は、顔画像格納部３０に格納された顔画像データを読み出して通信機能部４２に送り、通信機能部４２は、ネットワーク３００を介してこの顔画像データを車両番号等の車両特定情報とともに登録サーバ２００に向けて送信する（ステップ２０９）。登録サーバ２００では、受信した顔画像データと車両特定情報を受信日時等の管理情報とともに保存する。

このように、類似度が上側基準値ＴＨ以上であって運転者が明らかに登録された運転者と一致する場合や、類似度が下側基準値ＴＬ以下であって運転者が明らかに登録された運転者と異なる場合については登録サーバ２００との間で通信を行わずに車両の走行を許可あるいは拒否する制御が行われるため、通信に要する時間やコストを低減することができる。また、類似度が下側基準値ＴＬと上側基準値ＴＨの間にある場合には車両の走行が許可されるため、誤って正当な運転者が車両を使うことができなくなる事態を回避することができる。しかも、この場合には誤って正当でない運転者に対して車両の走行を許可してしまう場合も生じるが、顔画像データが登録サーバ２００に送られるため、この運転者の鮮明な（覆面等をしている場合には類似度が下側基準値ＴＬを下回ってしまう）顔画像を車両盗難の証拠として使用することができることから、指名手配を恐れる運転者による盗難を未然に防止することが可能になる。

また、車両の走行許可に対応してエンジンの始動が可能になり、走行拒否に対応してエンジンの始動が不可能になるため、類似度が下側基準値ＴＬ以下であって、登録された運転者でないことが明らかな場合には、確実に車両の盗難を防止することができる。

また、照合動作に先立って、予め車両の走行が許可される運転者の顔を実際に撮影して特徴データの抽出を行い、この運転者に対応する特徴データを顔データベース２６に登録する顔特徴登録部２４等を備えることにより、実際に車両を運転する可能性のある運転者の特徴データを必要な数だけ登録しておいて、これらの運転者に対して車両の走行を許可することができ、実情に即した車両の使い方が可能になる。

また、無線通信を行うことにより、登録サーバ２００に対して顔画像データの送信を行う通信機能部４２を備えているため、登録サーバ２００に対して確実に顔画像データを送ることができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、顔画像登録を行う際に、単に登録者の顔を撮影してその特徴データを抽出して顔データベース２６に保存するようにしたが、最初の登録者の顔画像データを登録サーバ２００に送って、車両の所有者の顔画像データとして保存するようにしてもよい。そして、二人目以降の登録者の特徴データを抽出して顔データベース２６に登録する際に、車両の所有者の顔を確認した場合に限ってこの登録を行うようにしてもよい。すなわち、二人目以降の登録者の登録を行う場合には、まず車両の所有者が運転席に座り、その顔を撮影して得られた顔画像データを登録サーバ２００に送り、登録サーバ２００によって車両の所有者の顔画像データに一致することを確認した後に車両用顔画像処理装置１００に登録許可の指示を送り返す。以後、二人目以降の登録者に対する登録処理を続行することができる。これにより、車両を盗難しようとする第三者が勝手に登録処理を行うことを防止することができる。また、車両の所有者の顔データの照合は登録サーバ２００によって行われるため、車載機と違って高い処理能力を有するコンピュータを用いて高度かつ複雑な個人認証アルゴリズムを用いることが可能になる。当然ながら、登録サーバ２００によって行う車両の所有者の個人認証を車両用顔画像処理装置１００内の照合部２８で行うようにしてもよい。

また、上述した実施形態では、照合の結果得られた類似度が下側基準値ＴＬと上側基準値ＴＨの間にある場合に直ちに顔画像データを登録サーバ２００に向けて送信するようにしたが、地下駐車場のように電波状態が悪い場所に車両を駐車している場合にはこの送信を行うことができない。このような場合（送信に失敗した場合）には、制御部４０は、顔画像データの送信が成功するまで顔画像データの送信を繰り返し行うことが望ましい。これにより、電波状態が良い場所に出たときに確実に顔画像データを送信することが可能になる。

一実施形態の車両用顔画像処理装置の全体構成を示す図である。 車両の運転に先立って予め行われる顔画像登録の動作手順を示す流れ図である。 車両の運転を開始する際に行われる運転者の顔画像を用いた照合処理の動作手順を示す流れ図である。 上側基準値ＴＨと下側基準値ＴＬの説明図である。

符号の説明

１０ カメラ
１２ ライト
２０ 画像バッファ
２２ 特徴抽出部
２４ 顔特徴登録部
２６ 顔データベース（ＤＢ）
２８ 照合部
３０ 顔画像格納部
４０ 制御部
４２ 通信機能部
１００ 車両用顔画像処理装置
１１０ 走行系制御部
２００ 登録サーバ
３００ ネットワーク

Claims (5)

1. 車両の走行が許可される運転者の顔画像の特徴データが予め登録された特徴データ格納手段と、
   車両に乗り込んだ運転者の顔を撮影する撮影手段と、
   前記撮影手段による撮影によって得られた顔画像データと、前記特徴データ格納手段に格納された顔画像データとを照合して類似度を算出する照合手段と、
   前記照合手段によって算出された類似度が上側基準値以上のときに車両の走行を許可し、下側基準値以下のときに車両の走行を拒否し、下側基準値と上側基準値との間にあるときに車両の走行を許可するとともに前記撮影手段による撮影によって得られた顔画像データを車外の施設に向けて送信する制御を行う制御手段と、
   を備えることを特徴とする車両用顔画像処理装置。
2. 請求項１において、
   前記制御手段による車両の走行許可に対応してエンジンの始動が可能になり、走行拒否に対応してエンジンの始動が不可能になることを特徴とする車両用顔画像処理装置。
3. 請求項１または２において、
   前記照合手段による照合動作に先立って、予め車両の走行が許可される運転者の顔を実際に撮影して前記特徴データの抽出を行い、この運転者に対応する前記特徴データを前記特徴データ格納手段に登録する登録手段をさらに備えることを特徴とする車両用顔画像処理装置。
4. 請求項１〜３のいずれかにおいて、
   無線通信を行うことにより、前記車外の施設に対して前記顔画像データの送信を行う通信手段をさらに備えることを特徴とする車両用顔画像処理装置。
5. 請求項４において、
   前記制御手段は、前記通信手段による前記顔画像データの送信に失敗した場合に、成功するまで前記顔画像データの送信を繰り返し行うことを特徴とする車両用顔画像処理装置。

Images