JP4543810B2 - 鼻検出装置 - Google Patents

Description

本発明は、鼻検出装置に関する。

従来、運転者の顔を撮像して得られた顔画像から、運転者の居眠り、脇見又は漫然運転などを検出する装置が提案されている。これら装置では、主として顔画像から運転者の眼を検出及び追跡することで、居眠り、脇見又は漫然運転などを検出している。

また、眼の検出及び追跡にあたって、これら装置では、運転者の鼻、眉、口又は顔の輪郭などを検出し、これらと眼との相対位置関係から眼を精度良く検出することとしている。すなわち、眼を検出するだけでなく鼻等を検出することにより、両者の位置関係から正しく眼を検出することとしている。

ここで、眼以外の顔部位を検出する装置としては、例えば、画像の濃淡値を変換した後、浮動２値化して鼻孔を浮き出させることで、鼻孔を検出するものが知られている（特許文献１参照）。また、肌色判定処理で抽出された候補点（顔領域内の黒くて丸い場所）それぞれに対して、顔領域中心から左右に分けて、両瞳の位置関係に対する幾何学配置条件を用いて候補点の組み合わせ（左右で１組）を絞り込み、鼻孔辞書、非鼻孔辞書と類似度計算を行い鼻孔を検出するものが知られている（特許文献２参照）。
特開平８−３００９７８号公報 特開２００１−６７４５９号公報

しかしながら、従来の鼻を検出する装置では、いずれも黒い丸としての鼻孔を検出することとしているため、片日が差し込むなど、光環境が安定していないと鼻孔が黒い丸として撮影されず、鼻の検出に支障を来してしまう。また、光環境が安定しているとしても、例えば運転者の正面下方に近赤外線照明が設置されている場合、近赤外線が鼻孔に差し込むため、鼻孔が黒い丸として撮影されず、鼻の検出に支障を来してしまう。このように、従来の鼻検出装置では、未だ鼻孔の検出精度に改善の余地があった。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、鼻の検出精度の向上を図ることが可能な鼻検出装置を提供することにある。

本発明の鼻検出装置は、撮影手段と、エッジ検出手段と、鼻候補検出手段と、眼候補検出手段と、眼鼻候補選択手段と、鼻座標推定手段とを備えている。そして、撮影手段は運転者の顔を撮影し、エッジ検出手段は、撮影手段により撮影された顔の画像について、画像縦方向及び横方向にエッジ検出する。また、鼻候補検出手段は、エッジ検出手段により検出された画像縦方向及び横方向のエッジの共通点から鼻の候補を検出し、眼候補検出手段は、エッジ検出手段により検出された画像横方向のエッジから眼の候補を検出する。そして、眼鼻候補選択手段は、鼻候補検出手段及び眼候補検出手段により検出された鼻及び眼の候補を組み合わせ、これら組み合わせから眼鼻の候補として成立するものを選択し、鼻座標推定手段は、眼鼻候補選択手段により選択された眼鼻の候補から、統計的処理として、鼻候補を基準に度数分布を形成し、形成された度数分布のうち最も眼鼻候補の度数が高い鼻候補を鼻と特定して、鼻の座標を推定する。

本発明によれば、眼鼻として成立し得るものを眼鼻候補として選択することで、実際の鼻を含んだ眼鼻の候補の数を多くし、そのような眼鼻候補から統計的処理により鼻を検出するため、鼻孔のみを単独で検出する場合に比して精度の向上を図ることができる。従って、鼻の検出精度の向上を図ることができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略する。また、以下においては、本実施形態に係る鼻検出装置を自動車に搭載した例を説明する。

図１は本実施形態に係る鼻検出装置の構成図である。同図に示すように、鼻検出装置１は、カメラ（撮像手段）１０と、画像取得部２０と、鼻検出部３０とを備えている。

カメラ１０は、運転者の顔を撮影するものである。このカメラ１０は、ＣＣＤ素子やＣＭＯＳ素子にレンズを組み合わせた構造となっており、運転者の正面のやや下方に設置されている。また、カメラ１０の画角は、２０度〜４０度程度となっており、運転者の顔を画角内に大きく捕らえることができることとなっている。さらに、このカメラ１０は、運転者の頭部を含む映像を撮影すると、撮影により得られたビデオ信号Ｓａを画像取得部２０に送信する構成となっている。

画像取得部２０は、カメラ１０からのビデオ信号Ｓａをディジタルの画像として記憶領域に格納するものである。具体的に画像取得部２０は、ビデオ信号Ｓａを、例えば横幅６４０画素、縦幅４８０画素、１画素あたり２５６階調の濃淡データを示すディジタルデータに変換して記憶領域に格納する。ここで、記憶領域に格納したディジタルデータを顔画像データと呼ぶ。また、画像取得部２０は、顔画像データを鼻検出部３０に送信する構成となっている。

鼻検出部３０は、画像取得部２０からの顔画像データから、画像処理及び画像認識によって、顔画像中のどこに鼻（鼻孔）が存在しているかを検出し、鼻座標データとして出力するものである。

図２は、本実施形態における鼻検出装置１の他の例を示す構成図である。同図に示すように、鼻検出装置１は、上記のカメラ１０、画像取得部２０及び鼻検出部３０に加え、さらに近赤外線照明４０を備えていてもよい。この近赤外線照明４０は、夜間やトンネル内など暗所走行の場合、西日の強い環境下で顔の一部に濃い影を生じる場合、木漏れ日の中やビル影への出入り等により光環境が短時間に変化する場合などにおいて、光環境改善のためのに用いられる。

また、近赤外線照明４０は、運転者の顔全体をまんべんなく照らせるように少なくとも１つ以上配置されている。具体的に図２に示す例において、近赤外線照明４０は、カメラ１０の両脇にそれぞれ１つずつ設置され、運転者の頭部全体を照らす構成となっている。

次に、鼻検出部３０の詳細構成を説明する。図３は、図１に示した鼻検出部３０の詳細を示すデータフローダイアグラムである。同図に示すように、鼻検出部３０は、前処理部（エッジ検出手段）３１、鼻候補検出部（鼻候補検出手段）３２、眼候補検出部（眼候補検出手段）３３、眼鼻候補選択部（眼鼻候補選択手段）３４、及び鼻座標推定部（鼻座標推定手段）３５を備えている。

前処理部３１は、画像取得部２０からの顔画像データを入力して、画像縦方向及び横方向にエッジ検出するものである。また、前処理部３１は、予め顔画像データに対して設定された処理領域データを入力し、顔画像のうち処理領域内の画像についてエッジ検出するものである。そして、前処理部３１は、検出した縦エッジ及び横エッジのデータを出力する構成となっている。

鼻候補検出部３２は、前処理部３１により検出された縦エッジ及び横エッジのデータから鼻の候補（鼻孔の候補）を検出するものである。ここで、鼻の候補とは鼻であることを要するものではなく、鼻候補検出部３２は鼻であると予測されるものを鼻候補として検出する。このため、鼻候補検出部３２は、鼻の他に、例えば運転者が眼鏡を掛けている場合にあっては眼鏡の鼻当て部などを検出することとなる。そして、鼻候補検出部３２は、検出した鼻候補のデータを出力する構成となっている。

眼候補検出部３３は、前処理部３１により検出された横エッジから眼の候補を検出するものである。ここで、眼の候補とは眼であることを要するものではなく、眼候補検出部３３は、眼であると予測されるもの、例えば眼鏡のフレームや眉などを眼候補として検出することとなる。そして、眼候補検出部３３は、検出した眼候補のデータを出力する構成となっている。

眼鼻候補選択部３４は、鼻候補検出部３２により検出された鼻候補のデータと、眼候補検出部３３により検出された眼候補のデータとを入力して、これら候補を組み合わせ、組み合わせのうち眼鼻として成立し得るものを眼鼻の候補として選択するものである。すなわち、眼鼻候補選択部３４は、鼻及び眼の候補から組み合わせを作成する第１処理と、組み合わせから眼鼻として成立するものを選択する第２処理とを実行する構成となっている。

具体的に眼鼻候補選択部３４は、第１処理として、例えば実際の鼻と眼とからなる組み合わせ、眼鏡フレーム上端と鼻とからなる組み合わせ、眉と眼鏡の鼻当て部とからなる組み合わせ、及び眼鏡フレーム下端と眼鏡の鼻当て部とからなる組み合わせなどを作成する。

また、眼鼻候補選択部３４は、第２処理として、上記の組み合わせから、所定の条件をもとに、眼鼻の候補として成立するものを選択する。すなわち、眼鼻候補選択部３４は、眼は鼻より上にあるなどの条件から眼鼻の候補となり得るものを選択する。これにより、上記の組み合わせのうち、眼と鼻との組み合わせ、眼鏡フレーム上端と鼻との組み合わせ、及び眉と眼鏡の鼻当て部との組み合わせが眼鼻の候補として選択されることとなる。一方、眼鏡フレーム下端と眼鏡の鼻当て部との組み合わせについては、上記条件に適合しないことから眼鼻候補として選択されないこととなる。

このように、眼鼻候補選択部３４は、第２処理において実際の鼻を含まないものを眼鼻候補からできるだけ排除し（上記では眼鏡フレーム下端と眼鏡の鼻当て部との組み合わせを排除し）、実際の鼻を含んだ確率が高いと予測されるものを眼鼻候補として選択する。これにより、眼鼻候補選択部３４は、複数の眼鼻候補を選択した場合に、実際の鼻を含んだ眼鼻候補の数が多くなるように処理することとなる。そして、眼鼻候補選択部３４は、選択した眼鼻候補のデータを出力する構成となっている。

鼻座標推定部３５は、眼鼻候補選択部３４により選択した眼鼻の候補から、統計的処理によって鼻座標を推定するものである。ここで、統計的処理とは、眼鼻候補を数量的に把握し、その結果から鼻座標を推定する処理をいう。

具体的に統計的処理について説明する。例えば、眼と鼻との組み合わせ、眼鏡フレーム上端と鼻との組み合わせ、及び眉と眼鏡の鼻当て部との組み合わせが眼鼻候補として選択されているとする。この場合、統計的には眼鏡の鼻当て部に関して１つの眼鼻候補が存在し、鼻に関して２つの眼鼻候補が存在することとなる。よって、統計的処理により数が多い方を鼻として特定することなどにより、高確立に鼻を特定でき、鼻座標を推定することができる。特に、上記したように、眼は鼻より上にあるなどの条件から眼鼻候補を選択しているため（第２処理を経ているため）、眼鼻候補を選択した時点において、これら眼鼻候補は実際の鼻を含んだものの数が多くなっており、統計的処理により効果的に鼻を特定できることとなる。

さらに、眼鼻候補は実際の鼻を含んだものの数が多くなりやすい傾向にあることから、統計的処理として平均化処理を行い、眼鼻候補の鼻部位の座標値を平均化して鼻座標を推定するようにしても、実際の鼻に近い値を得られやすいこととなる。

そして、鼻座標推定部３５は、上記の如くにして得られた鼻座標を鼻座標データとして出力する構成となっている。また、鼻座標推定部３５は、平均鼻データについても出力する構成となっている。ここで、平均鼻データとは、過去に推定された鼻座標の平均値データである。本実施形態では、後述するように現在の顔画像から鼻座標を推定するにあたり、平均鼻データを用いることで、一層好適に鼻座標を推定することとしている。

図４は、図３に示した前処理部３１の詳細を示すデータフローダイヤグラムである。同図に示すように、前処理部３１は、低解像度画像生成部（低解像度画像生成手段）３１ａ、横エッジ検出部（横エッジ検出手段）３１ｂ、及び縦エッジ検出部（縦エッジ検出手段）３１ｃを備えている。

低解像度画像生成部３１ａは、低解像度画像を生成するものである。ここで、低解像度画像とは、カメラ１０により撮影された顔画像の解像度を低下させたものである。また、低解像度画像生成部３１ａは、処理領域データを入力して、予め設定される顔画像の所定領域についてのみ低解像度画像を生成する構成となっている。そして、低解像度画像生成部３１ａは、生成した低解像度画像のデータを出力する構成となっている。

横エッジ検出部３１ｂは、低解像度画像生成部３１ａにより生成された低解像度画像を対象に、画像縦方向にエッジ検出するものである。また、縦エッジ検出部３１ｃは、低解像度画像生成部３１ａにより生成された低解像度画像を対象に、画像横方向にエッジ検出するものである。このように、これら検出部３１ｂ、３１ｃが低解像度画像を対象にエッジ処理するため、処理速度の向上が図られている。また、これら検出部３１ｂ、３１ｃは、それぞれ画像縦方向又は横方向にエッジ検出して得られた横エッジデータ又は縦エッジデータを出力する構成となっている。

図５は、図３に示した鼻候補検出部３２の詳細を示すデータフローダイヤグラムである。同図に示すように、鼻候補検出部３２は、共通点抽出部３２ａと、鼻候補選択部３２ｂとを備えている。

共通点抽出部３２ａは、縦エッジデータ及び横エッジデータを入力し、画像縦方向及び横方向のエッジの共通点を抽出するものである。また、鼻候補選択部３２ｂは、共通点抽出部３２ａにより抽出された共通点を組み合わせ、鼻孔として成立し得るものを選択するものである。すなわち、鼻候補検出部３２は、共通点抽出部３２ａにより画像縦方向及び横方向のエッジの共通点を抽出し、鼻候補選択部３２ｂにより共通点を組み合わせ、組み合わせのうち鼻として成立し得るものを選択する構成となっている。

ここで、鼻候補検出部３２は、鼻孔の候補を検出するために、エッジの共通点を求めているが、これは、以下の理由による。すなわち、眼は横長の形状であるため、画像縦方向ラインにエッジ検出して横エッジデータを得るのみで検出可能である。ところが、鼻孔は通常丸として存在し、横に長いなどの特徴を有していない。このため、眼と同様に処理をしたのでは、鼻の候補を検出できなくなってしまう。そこで、鼻候補検出部３２は、画像縦方向及び横方向の双方のエッジデータを入力し、共通点抽出部３２ａにより共通点を抽出することとしている。

また、鼻候補検出部３２は、鼻孔の候補を検出するために、共通点の組み合わせのうち鼻として成立し得るものを鼻候補選択部３２ｂにより選択しているが、これは以下の理由による。すなわち、一般的に鼻は２つの鼻孔が適度な距離で隣接している。このため、この条件などから鼻として成立し得るものを検出することで、鼻としてあり得ないものを除外することとしている。

以上が、本実施形態に係る鼻検出装置１の構成である。次に、本実施形態に係る鼻検出装置１の動作を説明する。まず、図１及び図２に示すように、本装置１では、カメラ１０が運転者の顔を撮影し、ビデオ信号Ｓａを画像取得部２０に送信する。そして、画像取得部２０は、ビデオ信号Ｓａをディジタルの画像として記憶領域に格納する。次いで、画像取得部２０は、顔画像データを鼻検出部３０に送信する。

そして、図３及び図４に示すように、顔画像データは前処理部３１の低解像度画像生成部３１ａに入力される。次いで、低解像度画像生成部３１ａは、顔画像データから低解像度画像を生成する。ここで、顔画像データは、横６４０×縦４８０画素（１画素あたり２５６階調）で一般的にＶＧＡとよばれるサイズの高解像度の画像データであって、低解像度画像生成部３１ａは、この顔画像データから図６に示す低解像度画像を生成する。

図６は、低解像度画像の例を示す説明図であって、（ａ）は低解像度画像の一例を示し、（ｂ）は低解像度画像の他の例を示している。まず、図６（ａ）に示す低解像度画像は、画素を間引くことによって生成するのではなく、該当する顔画像の画素について平均値を求め、この平均値を低解像度画像の画素の濃淡値とすることによって生成される。すなわち、低解像度画像生成部３１ａは、低解像度画像を生成するにあたり、低解像度画像のそれぞれの画素と対応する顔画像の複数の画素について濃淡値の平均を求め、この平均値を低解像度画像の画素の濃淡値とする。

より具体的には、低解像度画像データの任意の座標（ｘ，ｙ）の濃淡値をｄ’とし、顔画像の任意座標の濃淡値をｄとすると、

なる式により、低解像度画像の画素の濃淡値が求められる。このように、本実施形態における低解像度画像の１画素の濃淡値は、顔画像データの１０×１０画素の平均値となる。このように、低解像度画像を生成して、顔画像データを１００分の１のデータ量に減らすことによって、後の画像処理での処理時間の短縮することができる。また、画素を間引くことによって低解像度画像を生成するのではなく、該当する顔画像の画素について平均値を求めることにより低解像度画像を生成するため、顔画像データを平滑化しノイズを除去することができる。

なお、上記では、処理速度の観点から、縦横とも１０分の１の低解像度画像を生成したが、特にこれに限られるものではなく、低解像度画像を人間が見て顔と判別できないほどの低解像度でなければ、他の比率（例えば縦横８分の１等）の低解像度画像を生成するようにしてもよい。

また、低解像度画像生成部３１ａは、処理領域データを入力する。このため、低解像度画像生成部３１ａは、図６（ｂ）に示す如く、顔画像の所定領域についてのみ低解像度画像を生成してもよい。

再度、図４を参照する。上記のように低解像度画像が生成されると、低解像度画像生成部３１ａは、低解像度画像のデータを出力する。そして、横エッジ検出部３１ｂは低解像度画像を対象に画像縦方向にエッジ検出する。また、縦エッジ検出部３１ｃは低解像度画像を対象に画像横方向にエッジ検出する。

図７は、横エッジ検出部３１ｂ及び縦エッジ検出部３１ｃの詳細動作を示す説明図であり、（ａ）は顔画像の例を示し、（ｂ）は画像縦方向の画素列Ｙａの濃淡値（光量）を示し、（ｃ）は画像横方向の画素列Ｘａの濃淡値（光量）を示している。なお、本実施形態では横エッジ検出部３１ｂ及び縦エッジ検出部３１ｃは低解像度画像を対象にエッジ検出するが、便宜上、図７（ａ）には低解像度とされていない顔画像を示すものとする。

まず、横エッジ検出部３１ｂは、図７（ａ）に示すような画像を入力する。そして、横エッジ検出部３１ｂは、画像の縦方向の各ラインについて画素の濃淡値を検出する。具体的に一例を挙げると、横エッジ検出部３１ｂは、図７（ａ）に示す縦ラインＹａに関しては、図７（ｂ）に示すような濃淡値を検出する。

このとき、横エッジ検出部３１ｂは、隣接する画素の濃淡値の差分が減少から増加に転じる極小点（例えば図７（ｂ）に示すｐ１〜ｐ４などで画像上では黒から白に転じる点）を探索する。

次いで、横エッジ検出部３１ｂは、極小点のうち濃淡値の変化量が設定値未満の点を削除する。また、横エッジ検出部３１ｂは、極小点が８近傍で独立している場合には、その極小点を削除する。このように、横エッジ検出部３１ｂは、濃淡値に殆ど変化が無い極小点や、１点のみとして検出されている極小点がノイズ等であるとして削除する。

ここで、上記した濃淡値の変化量について説明する。図８は、濃淡値の変化量についての説明図である。同図に示すように、濃淡値の変化量ｔは、以下の式（２）より求められる。

なお、ａは極大値の座標であり、ｄ（ａ）は極大値を示している。また、ｂは極小値の座標であり、ｄ（ｂ）は極小値を示している。また、極大値とは、極小値の逆の値であって、隣接する画素の濃淡値の差分が増加から減少に転じる点をいう。

以上のように、横エッジ検出部３１ｂは横エッジを検出することとなる。そして、横エッジ検出部３１ｂは、図４に示すように、検出した横エッジのデータを出力する。

また、縦エッジ検出部３１ｃも同様に処理を行う。すなわち、縦エッジ検出部３１ｃは図７（ａ）に示すような画像を入力すると、画像の横方向の各ラインについて画素の濃淡値を検出する。具体的に一例を挙げると、縦エッジ検出部３１ｃは、図７（ａ）に示す横ラインＸａに関して、図７（ｃ）に示すような濃淡値を検出する。さらに、縦エッジ検出部３１ｃは隣接する画素の濃淡値の差分が減少から増加に転じる極小点（例えば図７（ｃ）に示すｐ５〜ｐ７など）を探索する。

次いで、縦エッジ検出部３１ｃは、極小点のうち濃淡値の変化量が設定値未満の点を削除する。これにより、縦エッジ検出部３１ｃは縦エッジを検出することとなる。そして、縦エッジ検出部３１ｃは、図４に示すように、検出した縦エッジのデータを出力する。

ここで、横エッジ検出部３１ｂ及び縦エッジ検出部３１ｃに検出される極小点、及びエッジデータの具体的画像例を示す。図９は、横エッジ検出部３１ｂに検出される極小点及びエッジデータの説明図であり、（ａ）は極小点を示し、（ｂ）はエッジデータを示している。また、図１０は、縦エッジ検出部３１ｃに検出される極小点及びエッジデータの説明図であり、（ａ）は極小点を示し、（ｂ）はエッジデータを示している。

まず、図９（ａ）に示すように、横エッジ検出部３１ｂは、画像の各縦ラインについて、黒から白に変化し、その後白から黒に変化する極小点をすべて抽出する。そして、横エッジ検出部３１ｂは、これら極小点のうち、濃淡値の変化量が設定値未満のもの、及び８近傍に他の極小点がなく独立しているものを削除する。そして、横エッジ検出部３１ｂは、図９（ｂ）に示すような横エッジデータを検出する。

また、縦エッジ検出部３１ｃについても同様にして図１０（ａ）に示す極小点を抽出し、これら極小点のうち、濃淡値の変化量が設定値未満のものを削除する。そして、縦エッジ検出部３１ｃは最終的に図１０（ｂ）に示す縦エッジデータを検出する。

図３及び図５を参照する。上記の如く検出された縦エッジデータ及び横エッジデータは、鼻候補検出部３２の共通点抽出部３２ａに入力される。そして、共通点抽出部３２ａは、縦エッジと横エッジとが重複する共通点を抽出する。

図１１は、共通点抽出部３２ａにより抽出される共通点を示す説明図である。なお、同図において共通点は白の点として示されている。具体的に図９（ｂ）及び図１０（ｂ）についての共通点のデータは図１１のようになる。共通点抽出部３２ａは、このような共通点のデータを抽出して鼻候補選択部３２ｂに送信することとなる。

再度、図５を参照する。鼻候補選択部３２ｂは、共通点抽出部３２ａからの共通点のデータを入力し、これら共通点のデータを組み合わせ、組み合わせにより鼻孔として成立するものを鼻候補として選択する。具体的に説明すると、鼻候補選択部３２ｂは、共通点データに対しラベリング処理、削除処理及び選択処理を施す。

すなわち、まず、鼻候補選択部３２ｂは、共通点それぞれにラベルを付す。ここで、鼻候補選択部３２ｂは、共通点及びその共通点と８近傍で隣接する共通点に同じラベルを付す（ラベリング処理）。

そして、鼻候補選択部３２ｂは、４画素よりも大きいラベルを削除する。すなわち、低解像度画像の１画素は顔画像において例えば１００画素に相当するため、鼻候補選択部３２ｂは、顔画像において４０×４０＝１６００画素よりも大きいラベルを削除することとなる（削除処理）。

次いで、鼻候補選択部３２ｂは、横方向でペアになりうるラベルを残し他のラベルを削除する。具体的に鼻候補選択部３２ｂは、画像横方向に距離が３画素以上６画素以下であって、画像縦方向の距離が０画素以上２画素以下のラベルをペアとして残して、他のラベルを削除する。そして、鼻候補検出部３２の鼻候補選択部３２ｂは、残ったペアを鼻候補のデータとして出力する（選択処理）。

以上のようにして得られた鼻候補のデータを図１２に示す。図１２は、鼻候補検出部３２により検出された鼻候補を示す説明図である。同図に示す如く、鼻候補選択部３２ｂは、画像横方向に３画素以上６画素以下であって、画像縦方向に０画素以上２画素以下に存在する共通点のペアのみを残し、このペアを鼻の候補として選択する。他方、上記条件に適合しない共通点については削除されている。

図３を参照する。鼻候補検出部３２が鼻の候補を検出する一方で、眼候補検出部３３は、眼の候補を検出する。この際、眼候補検出部３３は、横エッジに対しラベリング処理、削除処理、分割処理及び選択処理を施す。すなわち、まず、眼候補検出部３３は、横エッジそれぞれにラベルを付す（ラベリング処理）。

そして、眼候補検出部３３は、４画素よりも小さいラベルを削除する。すなわち、４画素未満のラベルについては、その大きさの関係上、眼である可能性が低い。このため、めこう補検出部３３は４画素よりも小さいラベルを削除する（削除処理）。

また、眼候補検出部３３は、横に一定画素以上（例えば１２画素以上）に長いラベルについて、ラベル内で濃淡値の変化量が最小値の点を削除することで分割していく。例えば、運転者の顔画像から横エッジを検出した場合、光環境によっては、左のこめかみから左眉及び右眉を通り右のこめかみまで、１つの長い横エッジとして検出されることがある。ここで、この長い横エッジは、左こめかみから左眉までの間において濃淡値の変化量が小さくなっている。また、同様に左眉及び右眉の間、及び右眉から右のこめかみの間についても濃淡値の変化量が小さくなっている。このため、横に長いラベルについては、ラベル内で濃淡値の変化量が最小値の点を削除して分割することで、眼の候補検出の精度の向上を図ることとなる（分割処理）。

次いで、眼候補検出部３３は、横方向でペアになりうるラベルを残し他のラベルを削除する。すなわち、鼻候補選択部３２ｂは、画像横方向に距離が９画素以上２２画素以下であって、画像縦方向の距離が０画素以上５画素以下のラベルをペアとして残して、他のラベルを削除する。そして、眼候補検出部３３は、残ったペアを眼候補のデータとして出力する（選択処理）。

以上のようにして得られた眼候補のデータを図１３に示す。図１３は、眼候補検出部３３により検出された眼候補を示す説明図である。同図に示す如く、眼候補検出部３３は、画像横方向に９画素以上２２画素以下であって、画像縦方向に０画素以上５画素以下に存在する横エッジのペアのみを残し、このペアを眼の候補として検出する。他方、上記条件に適合しない横エッジについては削除されている。

再度、図３を参照する。上記の如く出力された鼻候補データ及び眼候補データは眼鼻候補選択部３４に入力される。そして、眼鼻候補選択部３４は、鼻候補と眼候補とを組み合わせ、これらの組み合わせから眼鼻として成立するものを選択する。

ここで、鼻の候補として、鼻及び眼鏡の鼻当て部が検出されているとする。また、眼の候補として、眼、眼鏡フレーム及び眉が検出されているとする。このとき、眼鼻候補選択部３４は、鼻と、眼、眼鏡フレーム及び眉とをそれぞれ組み合わせて、３つの組み合わせを作成する。また、眼鼻候補選択部３４は、眼鏡の鼻当て部についても同様に眼、眼鏡フレーム及び眉とをそれぞれ組み合わせて、３つの組み合わせを作成する。そして、眼鼻候補選択部３４は、計６つの組み合わせを作成する。

次いで、眼鼻候補選択部３４は、眼の候補について両眼の中心座標と、鼻候補について両鼻孔の中心座標を求める。そして、眼鼻候補選択部３４は、上記６つの組み合わせについて、ｉ）両眼中心が両鼻孔間中心より画像上端側に存在すること、ii）両眼中心と両鼻孔間中心の距離が眼と鼻との距離の相場値内にあること（例えば３〜１２画素内）、iii）両眼中心と両鼻孔中心を結ぶ線分と、両眼間を結ぶ線分のなす角が垂直に近いこと（例えば７０度以上１１０度以下）、iv）両眼間を結ぶ線分が水平に近いこと（例えば水平線との為す角が±１５度未満）、の４つを基準として、眼鼻として成立するかを判断する。例えば、眼鏡の鼻当て部（鼻候補）と、眼鏡フレーム下端部（眼候補）との組み合わせは、鼻候補の方が眼候補よりも画像上端側にあることから、上記条件ｉ）に適合せず、眼鼻候補として選択されないこととなる。

そして、眼鼻候補選択部３４は、上記条件すべてに適合するものを、眼鼻候補として選択する。図１４は、眼鼻候補選択部３４により選択された眼鼻候補を示す説明図である。なお、同図では、眼鼻候補を三角形で示している。同図に示すように、眼鼻候補選択部３４は、上記条件ｉ）〜iv）を満たすものを眼鼻候補として選択する。具体的には、両眼と鼻とからなる眼鼻候補の他に、眼鏡フレーム（下端）と鼻とからなる眼鼻候補、左眼、眼鏡の右フレーム（下端）及び鼻からなる眼鼻候補、及び両眉と鼻当て部からなる眼鼻候補の計４つが選択されている。

なお、上記では、説明の便宜上、鼻と眼、眼鏡フレーム及び眉とをそれぞれ組み合わせ、さらに、眼鏡の鼻当て部と眼、眼鏡フレーム及び眉とをそれぞれ組み合わせて、計６つの組み合わせを作成した。ところが、実際には、左眼、眼鏡の右フレーム（下端）及び鼻が組み合わせられたり、右眉、眼鏡の左フレーム（上端）及び鼻当て部が組み合わせられたりするため、上記では、左眼、眼鏡の右フレーム（下端）及び鼻からなる眼鼻候補が選択されている。

また、眼鼻候補選択部３４は、条件ｉ）〜iv）により、眼鼻候補として成立しないものを排除するため、眼鼻候補は実際の鼻を含んだものとなりやすくなる。そして、眼鼻候補選択部３４は、以上のようにして得られた眼鼻候補のデータを、図３に示すように鼻座標推定部３５に出力する。

次いで、鼻座標推定部３５は、眼鼻候補選択部３４により選択された眼鼻の候補から、統計的処理によって鼻の座標を推定する。

ここで、鼻座標推定部３５は、統計的処理として、度数分布を形成し、その度数から鼻を特定して座標を推定する処理を行う。図１５は、鼻座標推定部３５が統計的処理として度数分布を形成したときの説明図であり、（ａ）は度数分布を示し、（ｂ）は画像例を示している。なお、図１５（ａ）では白に近くなるほど度数が高くなるものとする。

まず、鼻座標推定部３５は、眼鼻候補選択部３４により選択された眼鼻の候補を、鼻候補を基準に、図１５（ａ）に示すような度数分布を形成する。例えば、図１５（ｂ）に示すように、実際の両眼と鼻との組み合わせ、眼鏡フレーム上端と鼻との組み合わせ、両眉と眼鏡の鼻当て部との組み合わせ、眼鏡の右フレーム下端と左眼と鼻との組み合わせの計４つが眼鼻の候補として選択されているとする。そうすると、鼻候補を基準にした度数分布は、眼鏡の鼻当て部について度数「１」となり、鼻について度数「３」となる。

次に、鼻座標推定部３５は、形成された度数分布のうち最も眼鼻候補の度数が高い鼻候補を鼻と特定して、座標を推定する。すなわち、鼻座標推定部３５は、図１５（ａ）に示す例によると、度数「３」、すなわち白色部分を鼻と特定する。

ここで、上記した如く、眼鼻候補は、上記条件ｉ）〜iv）に基づいて選択されることから、実際の鼻を含んだものとなりやすく、複数の眼鼻候補は、実際の鼻を含んだものの数が多くなっている。そして、そのような眼鼻候補から統計的処理により鼻を検出するため、鼻孔のみを単独で検出する場合に比して精度の向上を図ることができる。

また、眼鼻候補は実際の鼻を含んだものの数が多くなっているため、統計的処理として平均化処理をして鼻座標を推定するようにしても、実際の鼻に近い値を得られやすいこととなる。

また、鼻座標推定部３５は、過去の顔画像を利用して統計的処理により鼻座標を推定するようにしてもよい。すなわち、鼻座標推定部３５は、過去の一定期間の顔画像から得られた眼鼻候補を、鼻座標を基準に度数分布を形成する。

そして、鼻座標推定部３５は、形成された度数分布のうち最も眼鼻候補の度数が高い鼻候補の位置を平均座標位置とする。次いで、鼻座標推定部３５は、現在の顔画像において、その平均座標位置に最も近い鼻候補を鼻と特定して、座標を推定する。この場合であっても、過去の眼鼻候補を利用することから精度の高い鼻座標の推定が可能となる。

なお、鼻座標推定部３５は、平均座標位置を平均鼻データとして他の要素に出力して記憶させておく。そして、鼻座標推定部３５は次回の処理を行うにあたり、平均鼻データを読み出して処理を行うこととなる。

以上、鼻検出装置１の動作である。そして、このような動作が行われることにより、以下のような技術的効果が確認されている。図１６は、鼻の検出率を示すグラフである。なお、同図において縦軸は検出率を示し、横軸は過去のフレーム数を示している。また、同図において、検出対象者を５０人としている。

まず、顔画像の撮影環境を、片日が差し込むなど、光環境が安定していない場合、又は近赤外線が鼻孔に差し込んで鼻孔が黒い丸として撮影されない場合等とした。この状況下において、最初に得られた顔画像から鼻を検出した場合、検出率は約９０％となった。すなわち、５０人中４５人から正確に鼻座標を推定することができた。

さらに、検出を繰り返し、過去の画像フレーム数が一定数に達すると、平均座標位置を利用した処理が可能となる。ここで、過去の画像フレーム数が６０となった場合（約２秒）において、平均座標位置を求め、それに最も近い鼻候補を鼻と特定して座標を推定すると、検出率は約１００％となった。すなわち、約２秒で鼻を確実に検出できるといえる。

他方、直接に鼻孔を検出して鼻座標を求める手法によると、片日が差し込むなどの撮影環境において、過去の画像が６０フレームとなった場合における検出率は５４％であった。

以上より、本装置１では、眼鼻として成立し得るものを眼鼻候補として選択することで、実際の鼻を含んだ眼鼻の候補の数を多くし、そのような眼鼻候補から統計的処理により鼻を検出するため、鼻孔のみを単独で検出する場合に比して鼻の検出精度が向上することとなった。

このようにして、本実施形態に係る鼻検出装置１によれば、顔画像についてエッジを検出して、画像縦方向及び横方向のエッジの共通点から鼻の候補を検出している。ここで、鼻（鼻孔）は、通常黒い丸として存在するため、画像縦方向又は横方向のエッジのみならず、双方のエッジの共通点から検出することで、好適に検出される。また、この段階において検出されるのは鼻の候補であるため、鼻とそれ以外のもの（例えば例えば眼鏡の鼻当て部など）が検出されても良く、黒い丸と対象に検出して鼻以外を検出しても問題とはならない。

そして、画像横方向のエッジから眼の候補を検出している。ここで、眼は、一般的に横に長いものであるため、画像横方向のエッジから好適に検出される。また、この段階において検出されるのは眼の候補であるため、例えば眼鏡のフレーム部や眉なども検出されることがある。

そして、検出された鼻及び眼の候補を組み合わせ、これら組み合わせから眼鼻の候補として成立するものを選択している。すなわち、組み合わせを作成し、その後選択するという処理を行っている。

具体的には、まず、組み合わせとしては、例えば実際の鼻と眼とからなるものや、眼鏡フレーム上端と鼻とからなるもの、眉と眼鏡の鼻当て部とからなるもの、及び眼鏡フレーム下端と眼鏡の鼻当て部とからなるものなどが作成される。

次いで、これらの組み合わせから、所定の条件をもとに、眼鼻の候補として成立するものを選択する。具体的には、例えば眼は鼻より上にあるなどの条件から眼鼻の候補となり得るものを選択することとなる。これにより、上記の組み合わせのうち、眼と鼻との組み合わせが眼鼻の候補として選択される。また、例えば眼鏡フレーム上端と鼻との組み合わせ、及び眉と眼鏡の鼻当て部との組み合わせが眼鼻の候補として選択される。ところが、眼鏡フレーム下端と眼鏡の鼻当て部との組み合わせは、上記条件に適合せず、眼鼻候補として選択されない。

このように、眼鼻候補は、眼と鼻との位置関係から好適に選択されることとなるため、実際の鼻を含んだものとなりやすい傾向にある。つまり、複数の眼鼻候補には、実際の鼻を含んだものの数が多くなることとなる。

次いで、選択された眼鼻の候補から、統計的処理によって鼻の座標を推定する。ここで、上記より実際の眼と鼻との組み合わせの他に、眼鏡フレーム上端と鼻との組み合わせ、及び眉と眼鏡の鼻当て部との組み合わせの３つが眼鼻の候補として選択されているとする。そうすると、統計的には眼鏡の鼻当て部に関しては１つの組み合わせがあり、鼻に関しては２つの組み合わせがあることとなる。よって、統計的処理に数が多い方を鼻として特定することなどにより、高確立に鼻を特定でき、鼻座標を推定することができる。特に、上記の如く、眼鼻候補は、眼と鼻との位置関係から好適に選択されて、実際の鼻を含んだものの数が多くなるため、眼鼻候補から統計的処理によって鼻を検出することで、鼻の検出精度を高いものとすることができる。

また、眼鼻候補は鼻を含んだものの数が多くなるため、統計的処理として平均化処理をして鼻座標を推定するようにしても、実際の鼻に近い値を得られやすいこととなる。

このように、眼鼻として成立し得るものを眼鼻候補として選択することで、実際の鼻を含んだ眼鼻の候補の数を多くし、そのような眼鼻候補から統計的処理により鼻を検出するため、鼻孔のみを単独で検出する場合に比して精度の向上を図ることができる。従って、鼻の検出精度の向上を図ることができる。

また、撮影された顔画像の解像度を低下させた低解像度画像を生成し、その低解像度画像を対象にエッジ検出するため、処理速度を向上させることができる。

また、撮影された顔の画像の解像度を低下させた低解像度画像を生成するにあたり、予め設定される顔画像の所定領域についてのみ低解像度画像を生成するため、鼻が存在し得ない領域を除いて所定領域を設定することにより、低解像度画像の生成速度を向上させることができ、さらには低解像度画像を利用する他の処理についても処理速度を向上させることができる。

また、撮影された顔の画像の解像度を低下させた低解像度画像を生成するにあたり、低解像度画像のそれぞれの画素と対応する顔画像の複数の画素について濃淡値の平均を求め、この平均値を低解像度画像の画素の濃淡値としている。このため、濃淡値の平均を求めて顔画像データからのノイズを除去（平滑化）することができ、画素を間引いた場合に比して、鼻の検出精度を向上させることができる。

また、低解像度画像の縦方向の各ラインについて隣接する画素の濃淡値の差分が減少から増加に転じる極小点を探索することにより、低解像度画像の横方向のエッジを検出している。さらには、低解像度画像の横方向の各ラインについて隣接する画素の濃淡値の差分が減少から増加に転じる極小点を探索することにより、低解像度画像の縦方向のエッジを検出している。このように、エッジ検出にあたり濃淡変化の極小点を探索するため、画像の濃淡変化が少なくなるような光環境下においても好適にエッジを検出することができる。

また、画像縦方向及び横方向のエッジとの共通点を組み合わせ、この組み合わせにより鼻孔として成立し得るものを鼻候補として検出している。このため、統計的処理を行うに先立って予め鼻としてあり得ないものを除去することができ、鼻の検出精度の向上を図ることができる。

また、画像縦方向のエッジを組み合わせ、この組み合わせにより眼として成立し得るものを眼候補として検出している。このため、統計的処理を行うに先立って予め眼としてあり得ないものを除去することとなり、眼鼻候補を選択するにあたり不適切な眼候補の存在によって、眼鼻候補の選択精度の低下を招かないようにすることができる。

また、統計的処理として、眼鼻の候補を、鼻候補を基準に度数分布を形成し、形成された度数分布のうち最も眼鼻候補の度数が高い鼻候補を鼻と特定して、座標を推定している。ここで、眼鼻の候補は実際の鼻を含んだものとなりやすい傾向にある。このため、度数分布を作成して度数が高い箇所を鼻と特定することで、実際の鼻を好適に特定することができる。

また、過去の一定期間の顔画像から得られた眼鼻候補を、鼻座標を基準に度数分布を形成し、形成された度数分布のうち最も眼鼻候補の度数が高い鼻候補の位置を平均座標位置としている。さらに、現在の顔画像において、その平均座標位置に最も近い鼻候補を鼻と特定して、座標を推定している。ここで、例えば運転者は運転中において基本的に前方を見ており、鼻の座標は安定している。このため、過去の一定の画像から度数分布を生成するということは、運転者の顔画像中の鼻の位置を学習することと同様であり、運転者によって異なるの鼻の位置を学習した上で、鼻を特定することとなる。従って、鼻の検出精度を向上させることができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では、鼻検出装置を自動車に搭載した例を説明したが、特にこれに限られず、車両以外の乗り物に搭載されてもよいし、乗り物以外の装置に利用されてもよい。

本実施形態に係る鼻検出装置の構成図である。 本実施形態における鼻検出装置１の他の例を示す構成図である。 図１に示した鼻検出部の詳細を示すデータフローダイアグラムである。 図３に示した前処理部の詳細を示すデータフローダイヤグラムである。 図３に示した鼻候補検出部の詳細を示すデータフローダイヤグラムである。 低解像度画像の例を示す説明図であって、（ａ）は低解像度画像の一例を示し、（ｂ）は低解像度画像の他の例を示している。 横エッジ検出部及び縦エッジ検出部の詳細動作を示す説明図であり、（ａ）は顔画像の例を示し、（ｂ）は画像縦方向の画素列Ｙａの濃淡値（光量）を示し、（ｃ）は画像横方向の画素列Ｘａの濃淡値（光量）を示している。 濃淡値の変化量についての説明図である。 横エッジ検出部に検出される極小点及びエッジデータの説明図であり、（ａ）は極小点を示し、（ｂ）はエッジデータを示している。 縦エッジ検出部に検出される極小点及びエッジデータの説明図であり、（ａ）は極小点を示し、（ｂ）はエッジデータを示している。 共通点抽出部により抽出される共通点を示す説明図である。 鼻候補検出部により検出された鼻候補を示す説明図である。 眼候補検出部により検出された眼候補を示す説明図である。 眼鼻候補選択部により選択された眼鼻候補を示す説明図である。 鼻座標推定部が統計的処理として度数分布を形成したときの説明図であり、（ａ）は度数分布を示し、（ｂ）は画像例を示している。 鼻の検出率を示すグラフである。

符号の説明

１…鼻検出装置
１０…カメラ（撮影手段）
２０…画像取得部
３０…鼻検出部
３１…前処理部（エッジ検出手段）
３１ａ…低解像度画像生成部（低解像度画像生成手段）
３１ｂ…横エッジ検出部（横エッジ検出手段）
３１ｃ…縦エッジ検出部（縦エッジ検出手段）
３２…鼻候補検出部（鼻候補検出手段）
３２ａ…共通点抽出部
３２ｂ…鼻候補選択部
３３…眼候補検出部（眼候補検出手段）
３４…眼鼻候補選択部（眼鼻候補選択手段）
３５…鼻座標推定部（鼻座標推定手段）
４０…近赤外線照明

Claims (8)

1. 運転者の顔を撮影する撮影手段と、
   前記撮影手段により撮影された顔の画像について、画像縦方向及び横方向にエッジ検出するエッジ検出手段と、
   前記エッジ検出手段により検出された画像縦方向及び横方向のエッジの共通点から鼻の候補を検出する鼻候補検出手段と、
   前記エッジ検出手段により検出された画像横方向のエッジから眼の候補を検出する眼候補検出手段と、
   前記鼻候補検出手段及び前記眼候補検出手段により検出された鼻及び眼の候補を組み合わせ、これら組み合わせから眼鼻の候補として成立するものを選択する眼鼻候補選択手段と、
   前記眼鼻候補選択手段により選択された眼鼻の候補から、統計的処理として、鼻候補を基準に度数分布を形成し、形成された度数分布のうち最も眼鼻候補の度数が高い鼻候補を鼻と特定して、座標を推定する鼻座標推定手段と、
   を備えることを特徴とする鼻検出装置。
2. 前記撮影手段により撮影された顔画像の解像度を低下させた低解像度画像を生成する低解像度画像生成手段を更に備え、
   前記エッジ検出手段は、前記低解像度画像生成手段により生成された低解像度画像を対象に、画像縦方向にエッジ検出する縦エッジ検出手段と、前記低解像度画像生成手段により生成された低解像度画像を対象に、画像横方向にエッジ検出する横エッジ検出手段と、を有する
   ことを特徴とする請求項１に記載の鼻検出装置。
3. 前記低解像度画像生成手段は、撮影された顔の画像の解像度を低下させた低解像度画像を生成するにあたり、予め設定される顔画像の所定領域についてのみ低解像度画像を生成することを特徴とする請求項２に記載の鼻検出装置。
4. 前記低解像度画像生成手段は、撮影された顔の画像の解像度を低下させた低解像度画像を生成するにあたり、低解像度画像のそれぞれの画素と対応する顔画像の複数の画素について濃淡値の平均を求め、この平均値を低解像度画像の画素の濃淡値とすることを特徴とする請求項２に記載の鼻検出装置。
5. 前記横エッジ検出手段は、低解像度画像の縦方向の各ラインについて隣接する画素の濃淡値の差分が減少から増加に転じる極小点を探索することにより、低解像度画像の横方向のエッジを検出することを特徴とする請求項２〜請求項４のいずれか１項に記載の鼻検出装置。
6. 前記縦エッジ検出手段は、低解像度画像の横方向の各ラインについて隣接する画素の濃淡値の差分が減少から増加に転じる極小点を探索することにより、低解像度画像の縦方向のエッジを検出することを特徴とする請求項２〜請求項５のいずれか１項に記載の鼻検出装置。
7. 前記鼻候補検出手段は、画像縦方向及び横方向のエッジとの共通点を組み合わせ、この組み合わせにより鼻孔として成立し得るものを鼻候補として検出することを特徴とする請求項１〜請求項６のいずれか１項に記載の鼻検出装置。
8. 前記鼻座標推定手段は、過去の一定期間の顔画像から得られた眼鼻候補を、鼻座標を基準に度数分布を形成し、形成された度数分布のうち最も眼鼻候補の度数が高い鼻候補の位置を平均座標位置とし、現在の顔画像において、その平均座標位置に最も近い鼻候補を鼻と特定して、座標を推定することを特徴とする請求項１〜請求項７のいずれか１項に記載の鼻検出装置。