WO2021005702A1

WO2021005702A1 - 顔検出処理装置および顔検出処理方法

Info

Publication number: WO2021005702A1
Application number: PCT/JP2019/027103
Authority: WO
Inventors: 翔悟甫天
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2021-01-14
Anticipated expiration: 2022-01-09
Also published as: JPWO2021005702A1; DE112019007033T5; JP7051014B2; DE112019007033B4

Abstract

検出対象の人物の顔を正確に検出することが可能な顔検出処理装置の提供を目的とする。顔検出処理装置は、顔検出装置に対し画像を出力する。顔検出装置は、順次入力される画像の少なくとも一部の領域に設定される探索領域に写っている人物の顔を検出し、かつ、人物の顔の検出の成否に基づいて次に入力される画像における探索領域を変更する。顔検出処理装置は、妥当性判断部および画像挿入部を含む。妥当性判断部は、顔検出装置によって検出された人物の顔に関する予め定められた条件に基づいて、顔検出装置によって検出された人物の顔が、その予め定められた検出対象の人物の顔であるか否かを判定する。画像挿入部は、妥当性判断部の判定結果に基づいて、探索領域における人物の顔の検出を顔検出装置に失敗させて探索領域を変更させるためのダミー画像を、画像として、顔検出装置に出力する。

Description

顔検出処理装置および顔検出処理方法

　本発明は、顔検出処理装置および顔検出処理方法に関する。

　近年、開発が盛んであるドライバーモニタリングシステムは、部分的自動運転車両における車両から人間への運転主導権の委譲判断に必要な技術である。中でも、搭乗者の顔または顔のパーツの特徴部位を検出する処理は、ドライバーモニタリングシステムにおける要素技術である。特徴部位検出処理には、その判定精度だけでなく、計算量を削減して高速に処理することが求められている。

　特許文献１に記載の車輌制御装置には、計算量を削減して処理速度を高速化する顔検出処理技術が開示されている。カメラが固定されている場合、ドライバーが動くことにより、顔の位置が画面の中心からずれることがある。しかし、その顔の位置は、通常ヘッドレストの位置にある。特許文献１の車輌制御装置は、予め撮影画面におけるヘッドレストの位置を把握することで、ドライバーの顔が存在する可能性の高い部分から顔を探索する。それにより、探索時間の短縮を実現している。

特開２００５―２０５９４３号公報

　顔検出対象の画像における探索領域の限定は、顔検出のための計算量を削減する。しかし、画像内に検出対象の人物と非検出対象の人物の２名が含まれる場合、顔検出装置が非検出対象の人物の顔を検出することがある。その場合、検出対象の人物の顔が、その後の探索領域から除外されるため、検出精度が低下する。

　本発明は、以上のような課題を解決するためになされたものであり、顔検出装置が検出対象の人物の顔を正確に検出することを可能にする顔検出処理装置の提供を目的とする。

　本発明に係る顔検出処理装置は、顔検出装置に対し画像を出力する。顔検出装置は、順次入力される画像の少なくとも一部の領域に設定される探索領域に写っている人物の顔を検出し、かつ、人物の顔の検出の成否に基づいて次に入力される画像における探索領域を変更する。顔検出処理装置は、妥当性判断部および画像挿入部を含む。妥当性判断部は、顔検出装置によって検出された人物の顔に関する予め定められた条件に基づいて、顔検出装置によって検出された人物の顔が、予め定められた検出対象の人物の顔であるか否かを判定する。画像挿入部は、妥当性判断部の判定結果に基づいて、探索領域における人物の顔の検出を顔検出装置に失敗させて探索領域を変更させるためのダミー画像を、画像として、顔検出装置に出力する。

　本発明によれば、顔検出装置が検出対象の人物の顔を正確に検出することを可能にする顔検出処理装置が提供できる。

　本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。

実施の形態１における顔検出処理装置の構成を示すブロック図である。顔検出処理装置が有する処理回路の構成の一例を示す図である。顔検出処理装置が有する処理回路の構成の別の一例を示す図である。実施の形態１における顔検出処理方法を示すフローチャートである。実施の形態２における顔検出処理装置および顔検出処理システムの構成を示すブロック図である。実施の形態２における顔検出処理方法を示すフローチャートである。実施の形態２における画像取得装置によって撮像された画像の一例を示す図である。実施の形態２における画像取得装置によって撮像された画像の一例を示す図である。実施の形態３における顔検出処理方法を示すフローチャートである。実施の形態３における模擬画像の一例を示す図である。実施の形態３における画像取得装置によって撮像された画像の一例を示す図である。実施の形態４における顔検出処理装置およびそれに関連して動作する装置の構成を示すブロック図である。

　＜実施の形態１＞
　図１は、実施の形態１における顔検出処理装置１００の構成を示すブロック図である。

　顔検出処理装置１００は、画像に写っている人物の顔を検出する顔検出装置１１０に対し、顔検出装置１１０が顔の検出を行うための画像を出力する。その顔検出装置１１０は、順次入力される画像の少なくとも一部の領域に設定される探索領域に写っている人物の顔を検出する機能を有する。さらに、顔検出装置１１０は、その顔の検出の成否に基づいて次に入力される画像における探索領域を変更する機能を有する。

　顔検出処理装置１００は、妥当性判断部１０と画像挿入部２０とを含む。

　妥当性判断部１０は、顔検出装置１１０によって検出された人物の顔に関する予め定められた条件に基づいて、顔検出装置１１０によって検出された人物の顔が、予め定められた検出対象の人物の顔であるか否かを判定する。言い換えると、妥当性判断部１０は、検出された人物の顔についての妥当性を判断する。予め定められた条件とは、例えば、画像内での顔の位置もしくは画像内での顔の特徴部位の位置に関する条件、画像内での顔の大きさに関する条件、または顔の特徴に関する条件である。または、予め定められた条件とは、例えば、人物が搭乗している車両の走行状態とその人物の顔の向きとの関係に関する条件であってもよい。

　画像挿入部２０は、妥当性判断部１０の判定結果に基づいて、ダミー画像を顔検出装置１１０に出力する。ダミー画像とは、探索領域において前回検出された人物の顔の検出を顔検出装置１１０に失敗させて探索領域を変更させるための画像である。言い換えると、ダミー画像は、探索領域をリセットするための画像である。

　顔検出装置１１０にダミー画像が入力された場合、顔検出装置１１０は、そのダミー画像において前回検出された人物の顔の検出に失敗する。顔検出装置１１０は、ダミー画像の次に入力される画像における探索領域を変更する。そして、顔検出装置１１０は、変更された探索領域における人物の顔を検出する。その変更された探索領域には、検出対象の人物の顔が含まれている可能性が高い。そのため、顔検出装置１１０は検出対象の人物の顔を正確に検出することができる。

　図２は、顔検出処理装置１００が有する処理回路９０の構成の一例を示す図である。妥当性判断部１０および画像挿入部２０の各機能は、処理回路９０により実現される。すなわち、処理回路９０は、妥当性判断部１０および画像挿入部２０を有する。

　処理回路９０が専用のハードウェアである場合、処理回路９０は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせた回路等である。妥当性判断部１０および画像挿入部２０の各機能は、複数の処理回路により個別に実現されてもよいし、１つの処理回路によりまとめて実現されてもよい。

　図３は、顔検出処理装置１００が有する処理回路の構成の別の一例を示す図である。処理回路は、プロセッサ９１とメモリ９２とを有する。プロセッサ９１がメモリ９２に格納されるプログラムを実行することにより、妥当性判断部１０および画像挿入部２０の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ９１により実行されることにより各機能が実現される。このように、顔検出処理装置１００は、プログラムを格納するメモリ９２と、そのプログラムを実行するプロセッサ９１とを有する。

　プログラムには、顔検出処理装置１００が、顔検出装置１１０によって検出された人物の顔に関する予め定められた条件に基づいて、顔検出装置１１０によって検出された人物の顔が、その予め定められた検出対象の人物の顔であるか否かを判定し、判定結果に基づいて、探索領域における人物の顔の検出を顔検出装置１１０に失敗させて探索領域を変更させるためのダミー画像を顔検出装置１１０に出力する機能が記述されている。また、プログラムは、妥当性判断部１０および画像挿入部２０の手順または方法をコンピュータに実行させるものである。

　プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。メモリ９２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の、不揮発性または揮発性の半導体メモリである。または、メモリ９２は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、今後使用されるあらゆる記憶媒体であってもよい。

　上述した妥当性判断部１０および画像挿入部２０の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。

　図４は、実施の形態１における顔検出処理方法を示すフローチャートである。

　ステップＳ１にて、妥当性判断部１０は、顔検出装置１１０によって検出される人物の顔に関する予め定められた条件に基づいて、顔検出装置１１０によって検出された人物の顔が、予め定められた検出対象の人物の顔であるか否かを判定する。検出された人物の顔が、予め定められた検出対象の人物である場合、顔検出処理方法は終了する。検出された人物の顔が、予め定められた検出対象の人物の顔でない場合、ステップＳ２が実行される。

　ステップＳ２にて、画像挿入部２０は、ダミー画像を顔検出装置１１０に出力する。

　以上をまとめると、実施の形態１における顔検出処理装置１００は、顔検出装置１１０に対し、画像を出力する。顔検出装置１１０は、順次入力される画像の少なくとも一部の領域に設定される探索領域に写っている人物の顔を検出し、かつ、人物の顔の検出の成否に基づいて次に入力される画像における探索領域を変更する。顔検出処理装置１００は、妥当性判断部１０および画像挿入部２０を含む。妥当性判断部１０は、顔検出装置１１０によって検出される人物の顔に関する予め定められた条件に基づいて、顔検出装置１１０によって検出された人物の顔が、予め定められた検出対象の人物の顔であるか否かを判定する。画像挿入部２０は、妥当性判断部１０の判定結果に基づいて、ダミー画像を顔検出装置１１０に出力する。ダミー画像は、探索領域における人物の顔の検出を顔検出装置１１０に失敗させて探索領域を変更させるための画像である。

　このような顔検出処理装置１００は、顔検出装置１１０が検出対象の人物の顔を正確に検出することを可能にする。

　また、実施の形態１における顔検出処理方法は、顔検出装置１１０に対し、画像を出力する。顔検出装置１１０は、順次入力される画像の少なくとも一部の領域に設定される探索領域に写っている人物の顔を検出し、かつ、人物の顔の検出の成否に基づいて次に入力される画像における探索領域を変更する。顔検出処理方法は、顔検出装置１１０によって検出される人物の顔に関する予め定められた条件に基づいて、顔検出装置１１０によって検出された人物の顔が、予め定められた検出対象の人物の顔であるか否かを判定し、その判定結果に基づいて、ダミー画像を顔検出装置１１０に出力する。ダミー画像は、探索領域における人物の顔の検出を顔検出装置１１０に失敗させて探索領域を変更させるための画像である。

　このような顔検出処理方法は、顔検出装置１１０が検出対象の人物の顔を正確に検出することを可能にする。

　＜実施の形態２＞
　実施の形態２における顔検出処理装置および顔検出処理方法を説明する。実施の形態２は実施の形態１の下位概念であり、実施の形態２における顔検出処理装置は、実施の形態１における顔検出処理装置１００の各構成を含む。なお、実施の形態１と同様の構成および動作については説明を省略する。

　図５は、実施の形態２における顔検出処理装置１０１および顔検出処理システム２００の構成を示すブロック図である。

　顔検出処理システム２００は、画像取得装置１２０、顔検出処理装置１０１および顔検出装置１１０を含む。顔検出処理装置１０１は、記憶部３０、画像挿入部２０および妥当性判断部１０を含む。顔検出装置１１０は、特徴部位検出部１１１を含む。

　画像取得装置１２０は、人物の顔を含む画像を順次取得する。画像取得装置１２０は、例えば、移動体に搭載されており、移動体の搭乗者の画像を取得するカメラである。移動体とは、車両、飛行機、鉄道、バス、バイク等である。搭乗者は、ドライバーを含む。移動体が車両である場合、カメラは、車内のセンターコンソール部など車内前方の中央部に設置され、ドライバーおよび助手席の搭乗者の両方を撮影する。そのカメラは、レンズ、絞り部、シャッター部およびイメージセンサを含む。

　記憶部３０は、画像取得装置１２０によって順次取得された画像を時系列データとして記憶する。さらに、記憶部３０は、探索領域における人物の顔の検出を顔検出装置１１０に失敗させるためのダミー画像を記憶する。ダミー画像は、例えば、全画素の輝度が同じ均一画像である。実施の形態２における均一画像は、全画素の輝度が０の黒画像である。

　画像挿入部２０は、妥当性判断部１０の判定結果に基づいて、ダミー画像もしくは画像取得装置１２０にて取得された画像を、記憶部３０から読み込んで顔検出装置１１０に出力する。

　妥当性判断部１０は、顔検出装置１１０によって検出される人物の顔に関する予め定められた条件に基づいて、顔検出装置１１０によって検出された人物の顔が、予め定められた検出対象の人物の顔であるか否かを判定する。言い換えると、妥当性判断部１０は、検出された人物の顔についての妥当性を判断する。

　予め定められた条件は、例えば、画像内での顔の位置もしくは顔の特徴部位の位置に関する条件を含む。この場合、妥当性判断部１０は、検出された人物の顔の位置または検出された顔の特徴部位の位置が、予め定められた範囲に含まれるか否かを判定する。予め定められた範囲は、検出対象の人物の顔の位置もしくは顔の特徴の位置を含む。

　または、妥当性判断部１０は、１つ前に入力された画像において検出された顔の位置と、その次に入力された画像において検出された顔の位置との変動量が、統計的に求められる検出対象の人物の動作範囲内であるか否かを判定してもよい。この場合、１つ前に入力された画像において検出された顔の位置は、検出対象の人物の顔の位置であることが前提である。移動体が車両であり、検出対象の人物がドライバーである場合、その動作範囲は、例えば、車内のシートレイアウトの情報と、ドライバーの体格情報とに基づいて、統計的に求められる。

　予め定められた条件は、例えば、顔の大きさに関する条件を含む。この場合、妥当性判断部１０は、検出された人物の顔の大きさが、予め定められた大きさの範囲に含まれるか否かを判定する。予め定められた大きさの範囲とは、例えば、画像内での検出対象の人物の平均的な顔の大きさに基づいて定められる。

　または、妥当性判断部１０は、１つ前に入力された画像において検出された顔の大きさと、その次に入力された画像において検出された顔の大きさとの変動量が、上記と同様に、統計的に求められる検出対象の人物の動作範囲内であるか否かを判定してもよい。この場合、１つ前に入力された画像において検出された顔の大きさは、検出対象の人物の顔の大きさであることが前提である。

　予め定められた条件は、例えば、顔の特徴に関する条件を含む。この場合、妥当性判断部１０は、検出された人物の顔の特徴が、予め登録されている検出対象の人物の顔の特徴と一致するか否かを判定する。

　以上に示された予め定められた条件は、顔検出装置１１０によって検出された人物の顔と、予め定められた検出対象の人物の顔との関係についての条件であったが、妥当性の判断には、必ずしも、予め定められた検出対象の人物の顔の情報は必要ではない。その一例を次に示す。

　予め定められた条件は、例えば、顔検出装置１１０によって検出された人物が搭乗している車両の走行状態と、その検出された人物の顔の向きとの関係に関する条件を含む。例えば、妥当性判断部１０は、車両の進行方向とその検出された人物の顔の向きとが成す角度が、予め定められた角度範囲に含まれる場合、検出された人物の顔が検出対象の人物の顔であると判断する。この際、妥当性判断部は、車両の進行方向の情報として、車両の操舵角の情報を、車両の制御装置等から取得する。このように、妥当性判断部１０は、予め定められた検出対象の人物の顔の情報は使用せず、車両の走行状態の情報と、顔検出装置１１０によって検出される人物の顔に関する情報とに関する予め定められた条件に基づいて、妥当性を判断している。

　顔検出装置１１０によって検出された人物の顔が上記の予め定められた条件を満たす場合、妥当性判断部１０は、検出対象の人物の顔が検出されたと判断する。検出対象の人物の顔が検出された場合、妥当性判断部１０は、顔検出装置１１０による顔検出結果を外部に出力する。非検出対象の人物の顔が検出された場合、妥当性判断部１０は、顔検出装置１１０による顔検出結果を棄却し、検出失敗を外部に出力する。

　実施の形態２における顔検出処理装置１０１は、検出対象の人物の顔が検出されたか否かの判定結果に関するカウンタを有する。検出対象の人物の顔が検出された場合、または、顔検出装置１１０が人物の顔の検出自体に失敗した場合、顔検出処理装置１０１はカウンタをリセットする。一方で、時系列データにおいて連続して検出対象でない人物の顔が検出された場合、顔検出処理装置１０１はカウンタをカウントアップする。

　特徴部位検出部１１１は、時系列データとして順次入力される画像の少なくとも一部の領域に設定される探索領域に写っている人物の顔を検出する。その際、特徴部位検出部１１１は、パターンマッチング処理によって、顔の検出または顔の特徴部位の検出を行う。特徴部位検出部１１１は、パターンマッチング処理として、例えば、複数の識別子の各々において、特定の角度の顔、または特定の顔の特徴部位の画像をモデルとして学習する。特徴部位検出部１１１は、学習モデルの画像と画像挿入部２０から入力される画像との一致度を評価する。その評価結果に基づいて、特徴部位検出部１１１は、人物の顔、または特徴部位を検出する。

　特徴部位検出部１１１は、画像挿入部２０から入力される画像がダミー画像である場合であっても、探索領域においてパターンマッチング処理を行う。ただし、特徴部位検出部１１１は、ダミー画像における人物の顔の検出に失敗する。

　また、特徴部位検出部１１１は、顔の検出の成否に基づいて、時系列データとして次に入力される画像における探索領域を変更する。例えば、特徴部位検出部１１１は、顔の検出に成功した場合、時系列データの時間間隔から予想される人物の移動量に基づいて、次に入力される画像における探索領域を設定する。例えば、時系列データが１０ｆｐｓで構成される場合、各画像の時間間隔は１００ｍｓｅｃである。その時間間隔において、人間の顔が移動可能と予想される範囲が統計的に求められる。特徴部位検出部１１１は、その予想移動範囲と、前回の画像で検出された顔の位置からカメラまでの距離と、に基づいて推測される顔存在範囲を探索領域として設定する。なお、前回の画像で検出された顔の位置からカメラまでの距離は、前回の顔の検出結果から推定可能である。特徴部位検出部１１１は、前回の画像において検出された顔の位置に基づいて、その前回の探索領域を一定量拡大した新たな探索領域を設定してもよい。

　一方で、特徴部位検出部１１１は、顔の検出に失敗した場合、次に入力される画像における全領域を探索領域に設定する。上述のとおり、画像挿入部２０から入力される画像がダミー画像である場合、特徴部位検出部１１１は、人物の顔の検出に失敗する。したがって、ダミー画像の次に入力される画像における探索領域は、その入力された画像の全領域に設定される。

　顔検出処理装置１０１は、図２または図３に示される処理回路を含み、上記の妥当性判断部１０および画像挿入部２０の機能は、その処理回路により実現される。また、記憶部３０の機能は、例えば、図３に示されるメモリによって実現される。また、顔検出装置１１０も同様に、図２または図３に示される処理回路を含み、上記の特徴部位検出部１１１の機能は、その処理回路によって実現される。

　次に顔検出処理装置１０１の動作を説明する。図６は、実施の形態２における顔検出処理方法を示すフローチャートである。図６にされるフローチャートは、時系列データ内の１つの画像に対して、顔検出処理システム２００が顔の検出動作を実行する場合を示している。その開始時点では、画像取得装置１２０によって撮像された画像は、既に記憶部３０に記憶されている。

　ステップＳ１０にて、画像挿入部２０は、カウンタの値が予め定められた値以上であるか否かを判定する。カウンタの値が予め定められた値以上である場合、ステップＳ２０が実行される。カウンタの値が予め定められた値未満である場合、ステップＳ３０が実行される。

　ステップＳ２０にて、画像挿入部２０は、記憶部３０からダミー画像を読み込み、顔検出装置１１０の特徴部位検出部１１１に出力する。

　ステップＳ３０にて、画像挿入部２０は、記憶部３０から画像取得装置１２０で撮像された画像を顔検出装置１１０の特徴部位検出部１１１に出力する。この際、画像挿入部２０は、時系列データを構成する画像のうち、前回、顔検出装置１１０に出力した画像の次の画像を特徴部位検出部１１１に出力する。

　ステップＳ４０にて、特徴部位検出部１１１は、前回、入力された画像における顔の検出の成否を判定する。顔の検出が成功していた場合、ステップＳ５０が実行される。顔の検出が成功していなかった場合、ステップＳ６０が実行される。

　ステップＳ５０にて、特徴部位検出部１１１は、前回の画像における顔の検出結果に基づいて、今回、画像挿入部２０から入力された画像における探索領域を設定する。

　ステップＳ６０にて、特徴部位検出部１１１は、今回、画像挿入部２０から入力された画像の全体を探索領域に設定する。

　ステップＳ７０にて、特徴部位検出部１１１は、パターンマッチング処理を用いて、設定された探索領域に写っている人物の顔を検出する。

　ステップＳ８０にて、妥当性判断部１０は、顔検出装置１１０が人物の顔の検出に成功したか否かを判定する。顔検出装置１１０が人物の顔の検出に成功している場合、ステップＳ９０が実行される。顔検出装置１１０が人物の顔の検出に失敗している場合、ステップＳ１２０が実行される。

　ステップＳ９０にて、妥当性判断部１０は、顔検出装置１１０によって検出された人物の顔と、予め定められた条件とを比較し妥当性を確認する。例えば、妥当性判断部１０は、検出された人物の顔の画像内での位置と、画像内の予め定められた範囲とを比較する。

　ステップＳ１００にて、妥当性判断部１０は、顔検出装置１１０によって検出された人物の顔が、予め定められた条件を満たすか否かを判定する。言い換えると、妥当性判断部１０は、顔の検出結果が妥当であるか否かを判定する。検出された人物の顔が、予め定められた条件を満たす、つまり検出結果が妥当である場合、ステップＳ１２０が実行される。検出された人物の顔が、予め定められた条件を満たさない、つまり検出結果が妥当でない場合、ステップＳ１１０が実行される。

　ステップＳ１１０にて、顔検出処理装置１０１は、カウンタをカウントアップする。この状態は、顔検出装置１１０が人物の顔の検出には成功したものの、検出対象の人物の顔の検出には失敗している状態である。

　ステップＳ１２０にて、顔検出処理装置１０１は、カウンタをリセットする。この状態は、顔検出装置１１０が検出対象の人物の顔の検出には成功した状態、または、顔検出装置１１０がそもそも人物の顔の検出に失敗した状態である。

　以上で、顔検出処理方法は終了するが、上述したように、ステップＳ１０からＳ１２０は、時系列データ内の１つの画像に対する処理である。したがって、実際には、ステップＳ１１０またはＳ１２０の後、次の画像に対する処理として、ステップＳ１０が再び実行される。

　次に、顔検出装置１１０がダミー画像によって探索領域をリセットする詳細な動作を、図６のフローチャートに基づいて説明する。ここでは、ステップＳ３０から説明を開始する。また、ここでは、画像取得装置１２０は、車両に搭載され、車内の搭乗者を撮像するカメラであり、予め定められた検出対象の人物は、車両の搭乗者のうちのドライバーである。図７は、画像取得装置１２０によって撮像された画像の一例であって、画像挿入部２０が特徴部位検出部１１１に出力した画像を示す図である。画像には、車両のドライバーを含む４人の搭乗者２が写っている。また、以下においては、顔検出装置１１０が図７の画像の１つ前の画像における顔の検出に成功している場合を説明する。

　ステップＳ４０にて、特徴部位検出部１１１は、前回の画像における顔の検出に成功したと判断する。次に、ステップＳ５０が実行される。

　ステップＳ５０にて、特徴部位検出部１１１は、前回の画像における顔の検出結果に基づいて探索領域を設定する。ここでは、特徴部位検出部１１１は、図７に示されるように、車両の運転席に対応する画像の左側の領域に探索領域３を設定する。

　ステップＳ７０にて、特徴部位検出部１１１は、探索領域３に写っている人物の顔を検出する。図７に示されるように、探索領域３内には、ドライバーである前席の搭乗者２Ａの顔の一部と、後方の座席の搭乗者２Ｂの顔の全部とが写っている。例えば、ドライバーが、運転の都合上、一時的に顔が探索領域３からはみ出るような姿勢をとった場合に、図７のような状態が得られる。この場合、後方の座席の搭乗者２Ｂの顔の全部が探索領域３に含まれるため、特徴部位検出部１１１は、後方の座席の搭乗者２Ｂの顔を優先して検出する。

　ステップＳ８０にて、妥当性判断部１０は、特徴部位検出部１１１が顔の検出に成功したと判断する。ステップＳ９０が実行される。

　ステップＳ９０にて、妥当性判断部１０は、特徴部位検出部１１１によって検出された後方の座席の搭乗者２Ｂの顔の画像内での座標と、ドライバーの顔が存在すべき座標範囲とを比較し妥当性を確認する。

　ステップＳ１００にて、妥当性判断部１０は、後方の座席の搭乗者２Ｂの顔の座標が、ドライバーの顔が存在すべき座標範囲内に含まれていないと判断する。すなわち、妥当性判断部１０は、検出対象であるドライバーの顔の検出に失敗したと判断し、ステップＳ１１０が実行される。

　ステップＳ１１０にて、顔検出処理装置１０１は、カウンタをカウントアップする。つづいて、ステップＳ１０が実行される。

　ステップＳ１０にて、画像挿入部２０は、カウンタの値が予め定められた値以上であるか否かを判定する。ここでは、カウンタの値が予め定められた値以上に達している場合を説明する。

　ステップＳ２０にて、画像挿入部２０は、記憶部３０からダミー画像を読み込み、顔検出装置１１０の特徴部位検出部１１１に出力する。ここでは、ダミー画像は、黒画像である。

　ステップＳ４０にて、特徴部位検出部１１１は、図７の画像つまり前回の画像において、後方の座席の搭乗者２Ｂの顔の検出に成功したと判断する。次に、ステップＳ５０が実行される。

　ステップＳ５０にて、特徴部位検出部１１１は、図７の画像における顔の検出結果に基づいて、ダミー画像の左側の領域に探索領域３を設定する。

　ステップＳ７０にて、特徴部位検出部１１１は、ダミー画像における探索領域３に写っている人物の顔の検出を試みる。しかし、ダミー画像は黒画像であるため、特徴部位検出部１１１は、そのダミー画像における人物の顔の検出に失敗する。

　ステップＳ８０にて、妥当性判断部１０は、特徴部位検出部１１１が顔の検出に失敗したと判断する。次に、ステップＳ１２０が実行される。

　ステップＳ１２０にて、顔検出処理装置１０１は、カウンタをリセットする。再び、ステップＳ１０が実行される。

　ステップＳ１０にて、画像挿入部２０は、カウンタの値が予め定められた値以上であるか否かを判定する。カウンタの値は、リセットされたため、予め定められた値未満である。次に、ステップＳ３０が実行される。

　ステップＳ３０にて、画像挿入部２０は、記憶部３０に記憶されている時系列データのうち、前回、顔検出装置１１０に出力された画像の次の画像を読み込み、顔検出装置１１０に出力する。なお、画像挿入部２０は、記憶部３０に記憶されている時系列データのうち、ダミー画像を読み込んだフレーム分だけ読み飛ばして次の画像を読み込んでもよい。図８は、画像取得装置１２０によって撮像された画像の一例であって、画像挿入部２０が本ステップＳ３０にて、特徴部位検出部１１１に出力した画像を示す図である。図８に示される画像は、図７に示される画像よりも後に、画像取得装置１２０によって撮像された画像である。

　ステップＳ４０にて、特徴部位検出部１１１は、前回のダミー画像における顔の検出に失敗したと判断する。次に、ステップＳ６０が実行される。

　ステップＳ６０にて、特徴部位検出部１１１は、図８に示される画像の全体を探索領域３に設定する。

　ステップＳ７０にて、特徴部位検出部１１１は、探索領域３に写っている４人の搭乗者２の顔を検出する。

　ステップＳ８０にて、妥当性判断部１０は、特徴部位検出部１１１が顔の検出に成功したと判断する。次に、ステップＳ９０が実行される。

　ステップＳ９０にて、妥当性判断部１０は、特徴部位検出部１１１によって検出された４人の搭乗者２の顔の画像内での座標と、ドライバーの顔が存在すべき座標範囲とを比較し妥当性を確認する。

　ステップＳ１００にて、妥当性判断部１０は、４人の搭乗者２のうち前席の１人の搭乗者２Ａの顔の座標が、ドライバーの顔が存在すべき座標範囲に含まれていると判断する。すなわち、妥当性判断部１０は、検出対象であるドライバーの顔の検出に成功したと判断し、ステップＳ１２０が実行される。

　ステップＳ１２０にて、顔検出処理装置１０１は、カウンタをリセットする。

　このように、顔検出装置１１０は、原則として、探索領域３を限定して検出対象の人物の顔を検出する。そのため、顔の検出のための計算量が削減され、処理速度が向上する。また、顔検出装置１１０が非検出対象の人物の顔を検出した場合には、顔検出処理装置１０１は、その非検出対象の人物の顔検出結果を棄却し、ダミー画像を顔検出装置１１０に出力する。実施の形態２におけるダミー画像は、黒画像であることから、顔検出装置１１０は、その入力されたダミー画像における顔の検出に失敗する。そのため、顔検出装置１１０は、その後に入力される画像における探索領域３を変更する。顔検出装置１１０は、変更された探索領域３において顔の検出動作を行うため、予め定められた条件を満たす検出対象の人物の顔を検出することができる。実施の形態２の顔検出装置１１０および顔検出処理システム２００は、顔検出装置１１０の顔の検出速度を向上させつつ、検出対象の人物の顔の検出精度をも向上させる。

　実施の形態２における予め定められた条件とは、画像内での顔の位置もしくは画像内での顔の特徴部位の位置に関する条件、画像内での顔の大きさに関する条件、顔の特徴に関する条件、または、人物が搭乗している車両の走行状態と顔の向きとの関係に関する条件を含む。このような構成により、顔検出処理装置１０１は、様々条件下においても、顔検出装置１１０が検出対象の人物の顔を正確に検出することを可能にする。

　実施の形態２においては、顔検出装置１１０の検出結果の妥当性についての判断処理を顔検出処理装置１０１が実行しているが、その判断処理を、顔検出装置１１０に組み込むことも可能である。しかし、その組み込みには、顔検出装置１１０の改造または新規設計が必要となる。一方で、実施の形態２における顔検出処理装置１０１は、既存の画像取得装置１２０および顔検出装置１１０に接続するだけで、上記の効果を奏する。すなわち、顔検出処理装置１０１は、既存の画像取得装置１２０および顔検出装置１１０の入出力のインターフェースを変更することなく、顔検出装置１１０が検出対象の人物の顔を正確に検出することを可能にする。

　また、顔検出処理装置１０１および顔検出処理システム２００は、移動体に搭載されたドライバーモニタリングシステムに組み込むことが可能である。例えば、ドライバーモニタリングシステムは、顔検出処理装置１０１が出力する検出結果に基づいて、ドライバーに対し、居眠り、脇見に関する警告を出力することができる。また、車両の運転を支援する運転支援装置や車両の自動運転を制御する自動運転制御装置が、ドライバーモニタリングシステムと連携している場合、顔検出処理装置１０１が出力する検出結果に基づいて、部分的自動運転車両における車両から人間への運転主導権の委譲判断を正確に行うことができる。例えば、ドライバーモニタリングシステムが取得した画像に後部座席の搭乗員の顔が写り込んでいる場合であっても、正確に検出されたドライバーの顔の状態に基づいて、運転主導権の委譲についての判断を下すことができる。また、顔検出処理装置１０１および顔検出処理システム２００は、人物の顔に基づいて認証を行う個人認証システムにも組み込むことが可能である。個人認証システムは、顔検出処理装置１０１が出力する検出結果に基づいて、正確に個人認証をすることができる。

　（実施の形態２の変形例１）
　記憶部３０は、ダミー画像として、加工画像を記憶していてもよい。加工画像とは、妥当性判断部１０による妥当性が否定された人物の顔が塗りつぶされた画像である。例えば、加工画像とは、図７に示される後方の座席の搭乗者２Ｂの顔が塗りつぶされた画像である。

　実施の形態２のステップＳ２０において、画像挿入部２０は、黒画像に代えて、加工画像を顔検出装置１１０の特徴部位検出部１１１に出力する。黒画像と同様に、ステップＳ７０において、特徴部位検出部１１１は、探索領域３に写っている人物の顔の検出に失敗する。その他の処理は、実施の形態２と同様である。このような顔検出処理装置１０１も、実施の形態２と同様の効果を奏する。

　（実施の形態２の変形例２）
　記憶部３０は、ダミー画像として、マスク画像を記憶していてもよい。マスク画像とは、画像取得装置１２０によって取得された画像に重ね合わせるための画像である。マスク画像は、妥当性判断部１０による妥当性が否定された人物の顔に対応する画素を不透過にする。例えば、マスク画像を、図７に示される画像に重ね合わせることにより、後方の座席の搭乗者２Ｂの顔に対応する画素が透過せず、その顔が顔検出装置１１０によって検出されない状態が生成される。

　実施の形態２のステップＳ２０において、画像挿入部２０は、黒画像に代えて、画像取得装置１２０にて取得された次の画像にマスク画像を重ね合わせた画像を出力してもよい。黒画像と同様に、ステップＳ７０において、特徴部位検出部１１１は、探索領域３に写っている人物の顔の検出に失敗する。その他の処理は、実施の形態２と同様である。このような顔検出処理装置１０１も、実施の形態２と同様の効果を奏する。

　＜実施の形態３＞
　実施の形態３における顔検出処理装置１０１および顔検出処理方法を説明する。実施の形態３は実施の形態１の下位概念であり、実施の形態３における顔検出処理装置１０１は、実施の形態１における顔検出処理装置１００の各構成を含む。なお、実施の形態１または２と同様の構成および動作については説明を省略する。

　実施の形態３における顔検出処理装置１０１および顔検出処理システム２００の構成は、図５に示されるブロック図と同様である。

　実施の形態３における記憶部３０は、ダミー画像として、黒画像および模擬画像を記憶している。模擬画像とは、予め定められた条件を満たし、かつ、予め定められた検出対象の人物が模擬されたダミーの人物の顔が描かれている画像である。例えば、検出対象の人物が車両のドライバーである場合、ダミーの人物の顔は、画像取得装置１２０によって取得される画像内でドライバーの顔が存在すべき範囲に描かれている。

　図９は、実施の形態３における顔検出処理方法を示すフローチャートである。実施の形態２の図６に示されたフローチャートに、ステップＳ１１５およびステップＳ１３０が追加されている。図９のフローチャートに基づいて、顔検出装置１１０がダミー画像によって探索領域３をリセットする詳細な動作を説明する。特徴部位検出部１１１が、ダミー画像である黒画像の探索領域３に写っている人物の顔の検出に失敗するステップＳ７０までは、実施の形態２と同様であるため、その説明は省略する。

　ステップＳ８０にて、妥当性判断部１０は、特徴部位検出部１１１が顔の検出に失敗したと判断する。次に、ステップＳ１１５が実行される。

　ステップＳ１１５にて、妥当性判断部１０は、特徴部位検出部１１１に出力した画像はダミー画像であったか否かを判定する。ここでは、その画像はダミー画像であったため、ステップＳ１３０が実行される。

　ステップＳ１３０にて、顔検出処理装置１０１は、カウンタをホールドする。再び、ステップＳ１０が実行される。

　ステップＳ１０にて、画像挿入部２０は、カウンタの値が予め定められた値以上であるか否かを判定する。ここでは、カウンタの値は、ホールドされているため、未だ予め定められた値以上に達している。そのため、ステップＳ２０が実行される。

　ステップＳ２０にて、画像挿入部２０は、記憶部３０からダミー画像を読み込み、顔検出装置１１０の特徴部位検出部１１１に出力する。この際、画像挿入部２０は、前回、ダミー画像として黒画像を読み込んだことを記憶している。画像挿入部２０は、黒画像の次のダミー画像として、模擬画像を読み込んで、特徴部位検出部１１１に出力する。図１０は、実施の形態３における模擬画像の一例を示す図である。模擬画像におけるダミーの搭乗者２Ｃの顔の位置は、ドライバーが運転席に着座し、正面を向いている場合のドライバーの顔の位置に対応する。

　ステップＳ４０にて、特徴部位検出部１１１は、前回の黒画像における顔の検出に失敗したと判断する。次に、ステップＳ６０が実行される。

　ステップＳ６０にて、特徴部位検出部１１１は、図１０に示される画像の全体を探索領域３に設定する。

　ステップＳ７０にて、特徴部位検出部１１１は、探索領域３に写っているダミーの搭乗者２Ｃの顔を検出する。

　ステップＳ９０にて、妥当性判断部１０は、特徴部位検出部１１１によって検出されたダミーの搭乗者２Ｃの顔の画像内での座標と、ドライバーの顔が存在すべき座標範囲とを比較し、妥当性を確認する。

　ステップＳ１００にて、妥当性判断部１０は、ダミーの搭乗者２Ｃの顔の座標が、ドライバーの顔が存在すべき座標範囲に含まれていると判断する。すなわち、妥当性判断部１０は、検出対象であるドライバーの顔の検出に成功したと判断し、ステップＳ１２０が実行される。

　ステップＳ３０にて、画像挿入部２０は、記憶部３０に記憶されている時系列データのうち、前回、顔検出装置１１０に出力された画像の次の画像を読み込み、顔検出装置１１０に出力する。図１１は、画像取得装置１２０によって撮像された画像の一例であって、画像挿入部２０が本ステップＳ３０において、特徴部位検出部１１１に出力した画像を示す図である。

　ステップＳ４０にて、特徴部位検出部１１１は、前回の模擬画像における顔の検出に成功したと判断する。次に、ステップＳ５０が実行される。

　ステップＳ５０にて、特徴部位検出部１１１は、前回の模擬画像における顔の検出結果に基づいて探索領域３を設定する。ここでは、特徴部位検出部１１１は、図１１の画像において、図１０に示されるダミーの搭乗者２Ｃの顔に対応する領域に探索領域３を設定する。

　ステップＳ７０にて、特徴部位検出部１１１は、探索領域３に写っている搭乗者２の顔を検出する。図１１に示されるように、探索領域３内には、前席の搭乗者２Ａの顔の全部と、後方の座席の搭乗者２Ｂの顔の一部とが写っている。この場合、前席の搭乗者２Ａの顔の全部が探索領域３に含まれるため、特徴部位検出部１１１は、前席の搭乗者２Ａの顔を優先して検出する。

　ステップＳ９０にて、妥当性判断部１０は、特徴部位検出部１１１によって検出された前席の搭乗者２Ａの顔の画像内での座標と、ドライバーの顔が存在すべき座標範囲とを比較し妥当性を確認する。

　ステップＳ１００にて、妥当性判断部１０は、前席の搭乗者２Ａの顔の座標が、ドライバーの顔が存在すべき座標範囲に含まれていると判断する。すなわち、妥当性判断部１０は、検出対象であるドライバーの顔の検出に成功したと判断し、ステップＳ１２０が実行される。

　このように、実施の形態３におけるダミー画像は、黒画像およびダミーの人物の顔が描かれた模擬画像である。顔検出装置１１０は、ダミー画像における顔の検出に失敗した後、模擬画像によって適正な探索領域に変更する。顔検出装置１１０は、その適正に変更された探索領域３において顔の検出動作を行うため、予め定められた条件を満たす検出対象の人物の顔を検出することができる。実施の形態３の顔検出装置１１０および顔検出処理システム２００は、顔検出装置１１０の顔の検出速度を向上させつつ、検出対象の人物の顔の検出精度をも向上させる。

　＜実施の形態４＞
　以上の各実施の形態に示された顔検出処理装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、ＰＮＤ（Portable Navigation Device）などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。

　図１２は、実施の形態４における顔検出処理装置１００およびそれに関連して動作する装置の構成を示すブロック図である。

　顔検出処理装置１００、顔検出装置１１０および通信装置１３０がサーバ３００に設けられている。顔検出処理装置１００は、車両１に設けられた画像取得装置１２０から通信装置１４０および通信装置１３０を介して車両１の内部の画像を取得する。顔検出処理装置１００は、顔検出装置１１０によって検出された人物の顔が、予め定められた条件を満たすか否かを判定する。顔検出処理装置１００は、判定結果に基づいて、ダミー画像または画像取得装置１２０から取得した画像を顔検出装置１１０に出力する。また、顔検出処理装置１００は、顔検出装置１１０による顔の検出結果を、車両１に設けられた制御装置１５０に、各通信装置を介して出力する。制御装置１５０は、その検出結果に基づいて、報知や車両１の運転支援を行う。

　このように、顔検出処理装置１００がサーバ３００に配置されることにより、車載装置の構成を簡素化することができる。

　また、顔検出処理装置１００の機能あるいは構成要素の一部がサーバ３００に設けられ、他の一部が車両１に設けられるなど、分散して配置されてもよい。

　なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

　本発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

　２　搭乗者、２Ａ　前席の搭乗者、２Ｂ　後方の座席の搭乗者、３　探索領域、１０　妥当性判断部、２０　画像挿入部、３０　記憶部、１００　顔検出処理装置、１０１　顔検出処理装置、１１０　顔検出装置、１１１　特徴部位検出部、１２０　画像取得装置、２００　顔検出処理システム。

Claims

　順次入力される画像の少なくとも一部の領域に設定される探索領域に写っている人物の顔を検出し、かつ、前記人物の前記顔の検出の成否に基づいて次に入力される画像における前記探索領域を変更する顔検出装置に対し、前記画像を出力する顔検出処理装置であって、
　前記顔検出装置によって検出された前記人物の前記顔に関する予め定められた条件に基づいて、前記顔検出装置によって検出された前記人物の前記顔が、予め定められた検出対象の人物の顔であるか否かを判定する妥当性判断部と、
　前記妥当性判断部の判定結果に基づいて、前記探索領域における前記人物の前記顔の前記検出を前記顔検出装置に失敗させて前記探索領域を変更させるためのダミー画像を、前記画像として、前記顔検出装置に出力する画像挿入部と、を備える顔検出処理装置。
　前記ダミー画像は、全画素の輝度が同じ均一画像である、請求項１に記載の顔検出処理装置。
　前記ダミー画像は、前記予め定められた条件を満たし、かつ、前記予め定められた検出対象の前記人物が模擬されたダミーの人物の顔が描かれた模擬画像である、請求項１に記載の顔検出処理装置。
　前記予め定められた条件とは、前記画像内での前記顔の位置もしくは前記画像内での前記顔の特徴部位の位置に関する条件、前記画像内での前記顔の大きさに関する条件、前記顔の特徴に関する条件、または、前記人物が搭乗している車両の走行状態と前記顔の向きとの関係に関する条件を含む、請求項１に記載の顔検出処理装置。
　順次入力される画像の少なくとも一部の領域に設定される探索領域に写っている人物の顔を検出し、かつ、前記人物の前記顔の検出の成否に基づいて次に入力される画像における前記探索領域を変更する顔検出装置に対し、前記画像を出力する顔検出処理方法であって、
　前記顔検出装置によって検出された前記人物の前記顔に関する予め定められた条件に基づいて、前記顔検出装置によって検出された前記人物の前記顔が、予め定められた検出対象の人物の顔であるか否かを判定し、
　判定結果に基づいて、前記探索領域における前記人物の前記顔の前記検出を前記顔検出装置に失敗させて前記探索領域を変更させるためのダミー画像を、前記画像として、前記顔検出装置に出力する、顔検出処理方法。