JP4878273B2 - 眼鏡検出装置、画像処理装置、眼鏡検出方法、及び、コンピュータプログラム - Google Patents

Description

この発明は、顔画像から眼鏡を検出する眼鏡検出装置、画像処理装置、眼鏡検出方法、及び、コンピュータプログラムに関する。

ドライバーを撮影した画像から顔領域を抽出し、抽出した顔領域の中に閉塞領域が在る場合に、これを眼鏡の外郭と判断して、ドライバーが眼鏡をかけているものと判別する技術が提案されている。（例えば、特許文献１参照）
特開２００４−０７８７４９号公報

特許文献１に開示されている技術では、フレームが上下どちらか一方だけの眼鏡や、フレームがない眼鏡をドライバーがかけている場合に、撮影の光環境によって、閉塞領域を検出することができず、眼鏡をかけていないと間違って判別をしてしまう可能性がある。

また、上記のように、眼鏡をかけているにもかかわらず眼鏡をかけていないと判別された顔画像に、各種の画像処理を行った場合、眼鏡のフレーム部分を眼・瞼等と誤って判別して処理してしまう虞がある。

本発明は、上記実情に鑑みてなされたものであり、より確実に、顔画像から眼鏡の有無を判別することを可能とすることを目的とする。
また、本発明は、顔画像の誤った処理を防ぐことを他の目的とする。

上記目的を達成するため、本発明の第１の観点に係る眼鏡検出装置は、
顔を撮影して得られた顔画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段に記憶された顔画像に基づいて鼻孔を検出する鼻孔検出手段と、
前記顔画像記憶手段に記憶された顔画像に基づいて、検出された鼻孔の画像の位置よりも顔の上方に位置する所定の領域に、眼鏡の鼻当ての画像があるか否かを判別することにより、撮影された顔に眼鏡が装着されているか否かを判別する眼鏡装着判別手段と、
を備える、ことを特徴とする。

前記顔画像は複数の画素から構成され、
前記顔画像を構成する各画素の階調を二値化して、前記顔画像の二値化画像を作成する二値化画像作成手段をさらに備え、
前記眼鏡装着判別手段は、前記二値化画像作成手段によって作成された前記二値化画像の、鼻孔の画像より顔の上方に位置する所定範囲の画像について、予定されるサイズ分だけ連続する黒画素群を鼻当ての画像であると判別してもよい。

前記眼鏡装着判別手段は、前記二値化画像の、鼻孔画像の位置から顔の上方の所定の範囲の画像について、画像が白黒白と順に変化する白黒白エッジを検出し、検出した白黒白エッジのうちの、所定の長さのものを鼻当てに対応する画像としてもよい。

前記顔画像は複数の画素から構成され、
前記顔画像を構成する各画素の階調を二値化して、前記顔画像の二値化画像を作成する二値化画像作成手段をさらに備え、
前記鼻孔検出手段は、
前記二値化画像作成手段によって作成された二値化画像の、鼻孔の検出予定範囲の画像について、該画像の縦方向および横方向に鼻孔の予定されるサイズ分だけ連続する黒画素群を鼻孔に対応する画像として該黒画素群の位置を検出してもよい。

上記目的を達成するため、本発明の第２の観点に係る画像処理装置は、
請求項１に記載の眼鏡検出装置と、
前記眼鏡検出装置により顔画像の顔に眼鏡が装着されていると判断された場合に、該顔画像のうち、装着されている眼鏡のフレームの画像を除去した画像を作成する眼鏡除去画像作成手段と、
眼鏡除去画像作成手段で作成した眼鏡除去画像を解析して、前記顔画像が表す顔の特徴点を求める手段と、
を備える、ことを特徴とする。

上記目的を達成するため、本発明の第３の観点に係る眼鏡検出方法は、
顔を撮影して得られた顔画像を記憶する顔画像記憶ステップと、
前記顔画像記憶ステップで記憶された顔画像に基づいて、顔の鼻孔の位置を検出する鼻孔位置検出ステップと、
前記顔画像記憶ステップで記憶されている顔画像に基づいて、前記鼻孔位置検出ステップで検出した鼻孔の位置を基準として顔の上方の所定の領域に眼鏡の鼻当てがあるか否かを判別することにより、該顔画像が眼鏡の画像を含むか否かを判別する眼鏡装着判別ステップと、
を備える、ことを特徴とする。

上記目的を達成するため、本発明の第４の観点に係るプログラムは、
コンピュータを、
顔を撮影して得られた顔画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段に記憶された顔画像に基づいて鼻孔を検出する鼻孔検出手段と、
前記顔画像記憶手段に記憶された顔画像に基づいて、検出された鼻孔の画像の位置よりも顔の上方に位置する所定の領域に、眼鏡の鼻当ての画像があるか否かを判別することにより、撮影された顔に眼鏡が装着されているか否かを判別する眼鏡装着判別手段、
として機能させる。

この発明によれば、顔画像から眼鏡の鼻当てに当たる部分が有るか無いかを判別することにより、眼鏡をかけているか否かを判断するため、従来よりも確実に、顔画像から眼鏡の有無を判別することができる。

以下、本発明の実施形態に係る、眼鏡検出機能（装置）を備える瞼検出装置について説明する。なお、本実施形態の眼鏡検出装置は、車両の車内に配置され、該車両のドライバーの眼鏡を検出するものである。また、瞼検出装置は、車両の車内に配置され、該車両のドライバーの瞼を検出するものである。

本実施形態の瞼検出装置は、図１に示すように、ドライバーの顔を撮影して顔画像を生成するカメラ１０と、ドライバーの顔を照明する照明光源１２と、ドライバーの顔中心位置を検出するコンピュータ１４と、コンピュータ１４に接続された表示装置１６とを備える。

カメラ１０は例えばＣＣＤカメラ等から構成され、ドライバーの顔の階調画像を取得する。カメラ１０によって生成される顔画像は、ドライバーの顔だけでなく、その背景なども含まれている。

表示装置１６は、ＬＣＤ（Liquid Crystal Display)又はＣＲＴ(Cathode Ray Tube)などから構成され、カメラ１０で撮影された顔画像から生成された二値化画像などを表示する。

コンピュータ１４は、カメラ１０により取得された顔画像を処理して、瞼を検出する装置である。コンピュータ１４は、図２に示すように、Ａ／Ｄ変換器２１と、画像メモリ２２と、ＲＯＭ（Read Only Memory）２３と、ＣＰＵ（Central Processing Unit）２４と、ＲＡＭ（Random Access Memory）２５と、表示制御装置２７と、光源制御装置２８と、を備える。

Ａ／Ｄ（アナログ／ディジタル）変換器２１は、カメラ１０で撮影されたアナログ画像信号をディジタル信号に変換する。
画像メモリ２２は、カメラ１０により生成され、Ａ／Ｄ変換器２１でディジタル化された画像データを記憶する。

ＲＯＭ２３は、ＣＰＵ２４の動作を制御するためのプログラムを記憶する。また、ＲＯＭ２３は、後述する画像処理を実行するための様々な固定データを記憶する。

ＣＰＵ２４は、コンピュータ１４全体を制御する。また、ＣＰＵ２４は、ＲＯＭ２３に格納されているプログラムを実行することにより、カメラ１０により取得された顔画像を処理して顔画像中の瞼（瞼の画像）を検出する。

ＲＡＭ２５は、ＣＰＵ２４のワークエリアとして機能する。
表示制御装置２７は、ＣＰＵ２４の制御下に、表示装置１６を制御する。
光源制御装置２８は、照明光源１２の点灯・消灯を制御する。

次に、ＲＯＭ２３に格納される固定データの例を図３を参照して説明する。まず、ＲＯＭ２３は、図３（ａ）、（ｂ）に示すような、縦エッジ検出用と横エッジ検出用ソーベルフィルタのオペレータを格納する。図３（ａ）、（ｂ）に示す、縦エッジ検出用ソーベルフィルタと横エッジ検出用のソーベルフィルタとは、それぞれ、図３（ｃ）、（ｄ）に示すような縦方向の濃淡差、横方向の濃淡差を強調するためのオペレータである。

また、図３（ｅ）に示すように、ＲＯＭ２３は、カメラ１０により撮影される顔画像のうち、予め目が位置すると予想される領域（目領域）を定義する座標データｙ１とｙ２を記憶する。さらに、ＲＯＭ２３は、カメラ１０により撮影される顔画像のうち、予め鼻孔が位置すると予想される領域（鼻孔領域）を定義する座標データｙ３とｙ４を記憶する。

また、ＲＯＭ２３は、図３（ｆ）に示すように、カメラ１０により撮影される顔画像に含まれる鼻孔の予想される縦幅と横幅の間隔（画素数）を記憶する。また、ＲＯＭ２３は、カメラ１０により撮影される顔画面に含まれる眼鏡の鼻当て（以下ノーズパッドという）の予想される縦幅と横幅の間隔（画素数）を記憶する。
なお、これらの値は、顔画像のサイズを縦横（ｙｘ）それぞれ６０画素程度としたときのサイズであり、画像のサイズ等に応じて適宜変更されるものである。

次に、上記構成を有する眼鏡検出装置の動作を説明する。
なお、前提として、該瞼検出処理装置には、図３に示すような固定データが記憶されているものとする。

ＣＰＵ２４は、例えば、内部タイマが一定時間を経過する度に、例えば、１００ｍｓ毎に、内部割り込みを発生し、図４に示す処理ルーチンを起動して処理を実行する。まず、ＣＰＵ２４は、カメラ１０の撮影した顔画像をＡ／Ｄ変換器２１を介して取り込み、画像メモリ２２に格納する（ステップＳ１１）。これにより、例えば、図８（ａ）に示すようなドライバーの顔画像が得られる。なお、この顔画像は背景などの顔以外の画像も含んでいる。また、この顔画像内のドライバーはフレームがレンズの上半分しかない形状の眼鏡をかけているものとして以下説明する。

次に、ＣＰＵ２４は、取り込んだ顔画像に、ノイズ除去処理などの前処理を施す（ステップＳ１２）。例えば、ＣＰＵ２４は、直前に撮影した画像と今回撮影した画像の差部を取る等して、背景部分（静止物）の画像を除去する。これにより、例えば、図８（ａ）に示すドライバーの顔画像から、図８（ｂ）に示すように、背景の静止物の画像が除去される。この前処理では、必要に応じて、他のノイズ除去処理や階調調整等を行う。

続いて、ＣＰＵ２４は、任意の閾値を基準として、顔画像を構成する各画素の階調を二値化した二値化画像を取得する（ステップＳ１３）。閾値としては、例えば、顔画像を形成する全画素の平均値を使用できる。これにより、例えば、図８（ｂ）に示すドライバーの階調顔画像から、図９（ａ）に示すような二値化画像が生成される。

続いて、ＣＰＵ２４は、ステップＳ１３で取得した二値化画像から鼻孔の位置を検出する鼻孔検出処理を行う（ステップＳ１４）。

図５に鼻孔検出処理の詳細を示す。
鼻孔検出処理が開始されると、ＣＰＵ２４は、ステップＳ１３で取得した二値化画像のうち、鼻孔の存在が予定されている領域を定義する領域指定データ（図３（ｅ）に示すｙ３，ｙ４）をＲＯＭ２３から読み出し、図９（ｂ）に示すような二値化画像の鼻孔領域の画像を取得する（ステップＳ１４１）。

続いて、ＣＰＵ２４は、取得した鼻孔領域の画像について、白黒白横エッジを検出する（ステップＳ１４２）。
ここで、白黒白エッジとは、単に白と黒の境界となるエッジではなく、白から黒へ、さらに白へと変化し、所定の幅を有するエッジのことである。このうち、白黒白横エッジとは、横方向にのびる境界の意味であり、白黒白縦エッジとは、縦方向にのびる境界の意味である。

白黒白横エッジ検出処理において、ＣＰＵ２４は、図３（ｆ）に示す設定に従って、鼻孔領域の画像中で縦方向に２〜３画素の幅の黒い画素列を検出する。

白黒白横エッジを検出する手法自体は任意である。例えば、座標値ｙを順次更新しつつ、画素（ｘ，ｙ）の輝度を判別し、輝度が白から黒に変化すると、黒の連続する数をカウントし、黒が白に変わった時点で黒の連続数が２〜３であるか否かを判別し、連続数が２〜３であれば、その画素を維持し、それ以外であれば、それらの画素を白に変換するという手法を採用できる。

次に、ステップＳ１５の白黒白横エッジ検出処理と同様の動作により白黒白縦エッジを検出する（ステップＳ１４３）。白黒白縦エッジ検出処理は、ステップＳ１５で処理済みの鼻孔領域の画像から、図３（ｆ）の設定に従って、横方向に２〜３画素の幅の黒の画素列を検出する処理である。

このような白黒白横エッジ検出処理（ステップＳ１４２）と、白黒白縦エッジ検出処理（ステップＳ１４３）とにより、黒画素の連続数がｙ方向に１つ以下及び４以上の黒画素が白画素に、また連続数がｘ方向に１つ以下及び４以上の黒画素が白画素に変換される。これにより、鼻孔を構成しない縦方向、又は横方向に短い画素列や、長い画素列が除去され、鼻孔と予測される画像のみが表示されることになる。

次に、ＣＰＵ２４は、このような処理を行った後の鼻孔領域の画像に基づいて、鼻孔の位置を検出、記憶し（ステップＳ１４４）、鼻孔検出処理は終了する。
具体的には、鼻孔領域の画像から、左右の鼻孔に相当する縦方向に２〜３画素で、横方向に２〜３画素の２つの黒領域の中心の座標をまずもとめる。そして、その左右の鼻腔の中心を示す座標の中間の位置（座標）を、鼻孔基準位置としてＲＡＭ２５に記憶する。

図４に戻り、鼻孔検出処理が終了すると、ＣＰＵ２４は、二値化画像内に眼鏡のノーズパッドが有るか否かを判断するノーズパッド検出処理を行う（ステップＳ１５）。

図６にノーズパッド検出処理の詳細を示す。
ノーズパッド検出処理が開始されると、まずＣＰＵ２４は、鼻孔基準位置として記憶した位置（座標）をＲＡＭから読み出し、図１０に示すような二値化画像内の鼻腔基準位置位置から上方の所定の領域を、ノースパッド検出領域として取得する（ステップＳ１５１）。本実施形態では、ノーズパッド検出領域は、縦方向及び横方向に所定の幅を有する領域である。特に、横方向において顔中心付近の所定領域に制限することで、眼や眉等をノーズパッドと誤検知することを防止することができる。

続いて、ＣＰＵ２４は、取得したノーズパッド検出領域について、白黒白横エッジを検出する（ステップＳ１５２）。この白黒白横エッジ検出処理は、ステップＳ１５１で取得したノーズパッド検出領域の画像から、図３（ｆ）の設定に従って、縦方向に３〜７画素の幅の黒の画素列を検出する処理である。

続いて、ＣＰＵ２４は、取得したノーズパッド検出領域について、白黒白縦エッジを検出し（ステップＳ１５３）、ノーズパッド検出処理は終了する。白黒白縦エッジ検出処理は、ステップＳ１５１で取得したノーズパッド検出領域の画像から、図３（ｆ）の設定に従って、横方向に２〜４画素の幅の黒の画素列を検出する処理である。

このような白黒白縦エッジ検出処理（ステップＳ１５２）及び白黒白横エッジ検出処理（ステップＳ１５３）により、例えば、ステップＳ１５１で取得したノーズパッド検出領域の画像が図１１（ａ）に示すような画像であった場合に、連続数がｘ方向に１以下及び５以上、ｙ方向に２以下及び８以上連続する黒画素が白画素に変換された図１１（ｂ）に示したような画像が作成される。すなわち、縦方向、又は横方向に、ノーズパッドを構成するのに短い画素列や、長い画素列があった場合に黒画素が白画素に変換され、ノーズパッドのみを示す画像が表示されることになる。

図４に戻り、ノーズパッド検出処理が終了すると、ＣＰＵ２４は、ノーズパッド検出処理によって取得されたノーズパッド検出領域の画像に基づいて、ノーズパッドが検出されたか否かを判別する（ステップＳ１６）。
具体的には、ＣＰＵ２４は、ステップＳ１５の処理によって作成された画像内において、図１１（ｂ）に示すように、縦方向に３〜７画素で、横方向に２〜４画素の黒領域が２つ得られている場合には、その黒領域がノーズパッドを示しているものとして、ノーズパッドが検出されたと判別する。

ノーズパッドが検出されれば（ステップＳ１６；Ｙｅｓ）、顔画像の顔は眼鏡をかけていることになり、ＣＰＵ２４は眼鏡除去処理を行って画像内の眼鏡を除去する（ステップＳ１７）。

以下、眼鏡除去処理について図７を用いて詳細に説明する。
まず、ＣＰＵ２４は、ステップＳ１５の処理によって作成された画像において、ノーズパッドとして検出した２つの黒領域（図１１（ｂ）の画像のαとβ）を構成する複数の画素の位置（座標）をノーズパッドの位置としてＲＡＭ２５に記憶する（ステップＳ１７１）。

続いてＣＰＵ２４は、ステップＳ１２でノイズ除去などの前処理をした顔画像
の、エッジ部分を強調したエッジ画像を作成する（ステップＳ１７２）。
具体的には、ＣＰＵ２４は、ＲＯＭ２３に格納されている縦エッジ検出用ソーベルフィルタ（図３（ａ））と横エッジ検出用ソーベルフィルタ（図３（ｂ））とを用いて顔画像を処理して、眼領域の画像内の縦エッジと横エッジを強調した、図１２（ａ）に示すようなエッジ画像を作成する。

続いてＣＰＵ２４は、ステップＳ１７１でＲＡＭ２５に記憶したノーズパッドを構成する画素の位置（座標）を読み出して、読み出した位置（座標）におけるエッジ画像の画素が、エッジを表すライン（以下エッジラインとする）上にある画素である場合には、そのエッジラインが連続する全てのエッジラインを消去し（ステップＳ１７３）、眼鏡除去処理は終了して処理はステップＳ１９に移る。 例えば、図１２（ａ）に示すようなエッジ画像において、この眼鏡除去処理がなされると、図１２（ｂ）に示すように、ノーズパッドから連続するエッジライン（眼鏡のフレームと鼻と顔の輪郭とを示すエッジライン）が除去された画像が得られ、後述する瞼検出処理（図４、ステップＳ１９）において、眼鏡が除去された画像から瞼を検出することが可能となる。

図４に戻り、ステップＳ１６でノーズパッドが検出されなかったと判断された場合（ステップＳ１６；Ｎｏ）の処理について説明する。この場合、ドライバーは眼鏡をかけていないことになり、ＣＰＵ２４は、眼鏡をかけていない顔画像からエッジを強調した図１２（ｃ）に示すようなエッジ画像を作成して（ステップＳ１８）、処理をステップＳ１９に移す。
なお、このステップＳ１８の処理は、図７に示した眼鏡除去処理のステップＳ１７２の処理と実質的に同一の処理である。

ステップＳ１９の瞼検出処理で、ＣＰＵ２４は、ステップＳ１７の処理によって眼鏡が除去された図１２（ｂ）に示すようなエッジ画像、もしくは、ステップＳ１８の処理によって作成された図１２（ｃ）に示すようなエッジ画像から瞼の画像を検出し、瞼検出処理は終了する。
なお、具体的には、ＲＯＭに記憶した眼領域を定義する座標（図３（ｅ）のｙ１とｙ２）を元にして、ステップＳ１７又はＳ１８で取得したエッジ画像から眼の周辺の領域（眼領域）の画像を取得し、その眼領域の画像から、瞼に適した所定の長さ、および曲率のエッジラインを検出して、それを瞼として検出すればよい。

このように、本実施の形態では、ドライバーの顔画像から鼻孔の位置を判別し、その上方の領域にノーズパッドが有るか無いかを判断する。そして、ノーズパッドが有ると判断した場合には、ドライバーは眼鏡をかけているものと判断する。 そのため、閉塞領域が検出できない可能性のあるフレームが存在しない、またはフレームが一部しか存在しない眼鏡であっても、確実に眼鏡の有無を判断することができる。
また、眼鏡をかけていると判断した場合には、ノーズパッドから続くエッジラインを除去することにより、眼鏡のフレーム部分の画像を除去したエッジ画像を作成し、そのエッジ画像から瞼を検出する処理を行うため、眼鏡のフレームを瞼と間違って判断することを防ぐことができる。

なお、この発明は上記実施形態に限定されず、種々の変形及び応用が可能である。

例えば、上記実施の形態では、鼻孔領域を顔画像の特定の位置に固定したが、顔画像のサイズや位置に応じて、鼻孔領域を適宜設定しても良い。この場合、例えば、ステップＳ１２で取得した顔画像に縦エッジソーベルフィルタと横エッジソーベルフィルタを適用し、顔のエッジを検出し、顔の上端、下端、左端、右端を判別し、例えば上端と下端との間の６／１０〜８／１０のエリアで、左端と右端との間のエリアを鼻孔領域とすればよい。その他、鼻孔領域を特定する手法は任意である。

また、上記実施の形態では、左右の鼻孔の中間の位置を鼻孔基準位置として、その鼻孔基準位置の上方の所定の領域からノーズパッドを検出したが、例えば左右の鼻孔のそれぞれの中心位置を鼻孔基準位置とし、その鼻孔基準位置の上方の各所定の領域をノーズパッドを検出するための領域にするなどしてもよく、検出した鼻孔の上方の領域をノーズパッドを検出するための領域として設定できればよい。

また、上記実施の形態では、顔の瞼を検出するために、眼鏡の有無を検出する実施形態を示したが、眼鏡を検出した後で、その結果をどのような処理に使用するかは任意である。例えば、眼鏡を検出し、それにより、顔の向きを判断したり、顔の中心位置を判断する等の場面に使用することも可能である。

図１，図２を参照して説明したシステム構成も一例であり、任意に変更可能である。例えば、照明光源１２を設ける必要は必ずしも無い。また、例えば、カメラ１０を遠赤外線等で画像をとらえる赤外線カメラを使用すれば、人種や肌や髪の色に影響されず比較的正確に顔の各パーツの画像を取得することが可能となる。

また、上述のフローチャートも同様の機能が実現できるならば、任意に変更可能である。
例えば、上記実施の形態では、ステップＳ１３で二値化画像を形成してから白黒白横エッジ検出処理及び白黒白縦エッジ検出処理を実行したが、二値化処理を行わずに、顔画像の階調値から白黒白エッジを直接検出するようにしてもよい。

また、本発明において、白黒白エッジは階調の差異を表現するためのものであり、色としての白や黒に限定されるものではなく、色相はなんでもよい。カラー画像に関しては、各画素の色相を考慮して眼鏡の有無を判別してもよい。

上記各実施の形態においては、ドライバーを撮影して眼鏡を検出する場合にこの発明を適用したが、この発明はこれに限定されず、任意の場面で人間、動物、人形、ロボット等が眼鏡をかけているか否かを判別する処理に広く適用可能である。

本発明は、カメラで画像を取得しながら処理する場合に限定されず、例えば、他所で撮影した１又は複数の顔画像のそれぞれについて、眼鏡の有無、瞼の位置などを判別する為に使用可能である。

また、コンピュータに上述の処理を実行させるためのコンピュータプログラムを、任意の記録媒体やネットワークを介してＲＯＭに格納するようにしてもよい。

本発明の実施形態に係る瞼検出装置のブロック図である。 図１に示すコンピュータの構成を示すブロック図である。 ＲＯＭに格納されている各種データを説明するための図である。 図１に示す瞼検出装置の動作を説明するためのフローチャートである。 図４のフローチャートにおける鼻孔検出処理を説明するためのフローチャートである。 図４のフローチャートにおけるノーズパッド検出処理を説明するためのフローチャートである。 図４のフローチャートにおける眼鏡除去処理を説明するためのフローチャートである。 （ａ）は、カメラによって撮影される顔画像の例を示す図である。（ｂ）は、前処理によって図８（ａ）に示す画像から背景が除去された画像の例を示す図である。 （ａ）は、二値化画像の例を示す図である。（ｂ）は、図９（ａ）に示す画像から抽出される鼻孔領域の画像の例を示す図である。 ノースパッド検出領域を説明するための図である。 ノーズパッド検出処理によって、ノーズパッド以外の部分が除去される処理を説明するための図である。 （ａ）は、エッジ画像の例を示す図である。（ｂ）は、図１２（ａ）に示す画像を、眼鏡除去処理によって処理した後の画像の例を示す図である。（ｃ）は、眼鏡をかけていないと判別された顔画像のエッジ画像の例を示す図である。

符号の説明

１０ カメラ
１２ 照明光源
１４ コンピュータ
１６ 表示装置
２１ Ａ／Ｄ変換器
２２ 画像メモリ（顔画像記憶手段）
２３ ＲＯＭ（鼻孔検出手段、眼鏡装着判別手段）
２４ ＣＰＵ（鼻孔検出手段、眼鏡装着判別手段、二値化画像作成手段）
２５ ＲＡＭ
２７ 表示制御装置
２８ 発光制御装置

Claims (7)

1. 顔を撮影して得られた顔画像を記憶する顔画像記憶手段と、
   前記顔画像記憶手段に記憶された顔画像に基づいて鼻孔を検出する鼻孔検出手段と、
   前記顔画像記憶手段に記憶された顔画像に基づいて、検出された鼻孔の画像の位置よりも顔の上方に位置する所定の領域に、眼鏡の鼻当ての画像があるか否かを判別することにより、撮影された顔に眼鏡が装着されているか否かを判別する眼鏡装着判別手段と、
   を備える、ことを特徴とする眼鏡検出装置。
2. 前記顔画像は複数の画素から構成され、
   前記顔画像を構成する各画素の階調を二値化して、前記顔画像の二値化画像を作成する二値化画像作成手段をさらに備え、
   前記眼鏡装着判別手段は、前記二値化画像作成手段によって作成された前記二値化画像の、鼻孔の画像より顔の上方に位置する所定範囲の画像について、予定されるサイズ分だけ連続する黒画素群を鼻当ての画像であると判別する、
   ことを特徴とする請求項１に記載の眼鏡検出装置。
3. 前記眼鏡装着判別手段は、前記二値化画像の、鼻孔画像の位置から顔の上方の所定の範囲の画像について、画像が白黒白と順に変化する白黒白エッジを検出し、検出した白黒白エッジのうちの、所定の長さのものを鼻当てに対応する画像とする、
   ことを特徴とする請求項２に記載の眼鏡検出装置。
4. 前記顔画像は複数の画素から構成され、
   前記顔画像を構成する各画素の階調を二値化して、前記顔画像の二値化画像を作成する二値化画像作成手段をさらに備え、
   前記鼻孔検出手段は、
   前記二値化画像作成手段によって作成された二値化画像の、鼻孔の検出予定範囲の画像について、該画像の縦方向および横方向に鼻孔の予定されるサイズ分だけ連続する黒画素群を鼻孔に対応する画像として該黒画素群の位置を検出する、
   ことを特徴とする請求項１に記載の眼鏡検出装置。
5. 請求項１に記載の眼鏡検出装置と、
   前記眼鏡検出装置により顔画像の顔に眼鏡が装着されていると判断された場合に、該顔画像のうち、装着されている眼鏡のフレームの画像を除去した画像を作成する眼鏡除去画像作成手段と、
   眼鏡除去画像作成手段で作成した眼鏡除去画像を解析して、前記顔画像が表す顔の特徴点を求める手段と、
   を備える、ことを特徴とする画像処理装置。
6. 顔を撮影して得られた顔画像を記憶する顔画像記憶ステップと、
   前記顔画像記憶ステップで記憶された顔画像に基づいて、顔の鼻孔の位置を検出する鼻孔位置検出ステップと、
   前記顔画像記憶ステップで記憶されている顔画像に基づいて、前記鼻孔位置検出ステップで検出した鼻孔の位置を基準として顔の上方の所定の領域に眼鏡の鼻当てがあるか否かを判別することにより、該顔画像が眼鏡の画像を含むか否かを判別する眼鏡装着判別ステップと、
   を備える、ことを特徴とする眼鏡検出方法。
7. コンピュータを、
   顔を撮影して得られた顔画像を記憶する顔画像記憶手段と、
   前記顔画像記憶手段に記憶された顔画像に基づいて鼻孔を検出する鼻孔検出手段と、
   前記顔画像記憶手段に記憶された顔画像に基づいて、検出された鼻孔の画像の位置よりも顔の上方に位置する所定の領域に、眼鏡の鼻当ての画像があるか否かを判別することにより、撮影された顔に眼鏡が装着されているか否かを判別する眼鏡装着判別手段、
   として機能させるコンピュータプログラム。

Images