JP3980464B2

JP3980464B2 - 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置

Info

Publication number: JP3980464B2
Application number: JP2002322952A
Authority: JP
Inventors: 慎二郎川戸
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2002-11-06
Filing date: 2002-11-06
Publication date: 2007-09-26
Anticipated expiration: 2022-11-06
Also published as: JP2004157778A

Description

【０００１】
【発明の属する技術分野】
この発明はカメラ等からの画像を処理する画像処理に関し、特に、画像中の人物の顔の鼻の位置を抽出するための画像認識の分野に関する。
【０００２】
【従来の技術】
通信により、遠隔地にいる複数の人間で会議を行うＴＶ会議システムが実用化されている。しかしこれらシステムにおいて、映像そのものを送ると通信データ量が増大するという問題点がある。そのために、たとえば対象となる人物の視線、顔の向き、表情等に関する特徴データを各地で抽出し、抽出したデータのみを互いに送信する技術が研究されている。受信側では、このデータに基づいて仮想的な人物の顔面の画像を生成して表示する。これにより、通信データ量を削減しながら、ＴＶ会議を効率良く行える。
【０００３】
また、たとえば放送を用いた教育システムでは、講師が各地にいる受講者の反応を見ながら講議をすすめて行くことが望ましい。この場合にも各地の映像を講師の講議している場所に送信すると通信データ量が多くなる。そもそも、受講者が多数になると全受講者の映像を送ることは実際的でなく、なんらかの方法で各受講者の反応を各地で抽出し、その反応を示す情報のみを講師に送信し、講師に対しては抽象的な「受講者の集合の反応」という形で提示する方が好ましい。
【０００４】
こうした処理を実現するためには、人物の顔画像からその表情、姿勢、視線方向等を認識することが必要である。そのためには、顔の位置を特定し、さらに人物の表情の変化が顕著にあらわれる目、鼻、口等の顔部品、特に目の位置を検出する必要がある。
【０００５】
現在のところ、人物の顔全体の位置を映像から特定し追跡する技術としては、映像のカラー情報を利用して肌色を検出・追跡する方法が提案されている。またより簡単な方法として、映像の背景の動きが少なく人物のみが動くものと仮定して、映像のフレーム間差分により顔の領域を検出する方法がある。
【０００６】
こうして顔全体の概略位置が検出された後に、目を検出するための技術としては、顔の領域内の画像の明暗の分布とあらかじめ準備されたテンプレートとのマッチングを用いるもの、顔領域の画像の縦方向、横方向への投影処理により顔部品の位置を見つけるものが提案されている。
【０００７】
たとえば、従来の技術としては、本発明の発明者によって提案されものである、人間の顔の眉間部分の特徴を利用して画面中から顔画像を抽出する方法（たとえば、特許文献１を参照）、人間の顔の鼻穴を検出する方法（たとえば、特許文献２を参照）がある。
【０００８】
さらには、このようにして検出された顔画像の画面中の動き、特に、鼻部分の動きを検出して、手に障害のある人が使用可能であって、マウスのようにコンピュータと人間との間のインタフェースとして利用しようとする試みもある（たとえば、非特許文献１参照）。
【０００９】
【特許文献１】
特開２００１−５２１７６号公報明細書
【００１０】
【特許文献２】
特開平１０−０８６６９６号公報明細書
【００１１】
【非特許文献１】
１５回インターナショナルカンファレンスオンビジョンインタフェースプロシーディングズ５月２７−２９日、２００２年カルガリカナダｐｐ．３５４−３６１「Ｎｏｕｓｅ”鼻をマウスとして使う” ハンドフリーのゲームやインタフェースのための新しい技術」（15th international Conference on Vision Interface Proceedings May 27-29,2002 Calgary, Canada, pp.354-361, "Nouse "Use Your Nose as a Mouse"-a New technology For Hands-free Games and Interfaces"）
【００１２】
【発明が解決しようとする課題】
しかし、従来の方法において、テンプレートマッチングを用いるものでは、精度よい検出を行おうとすると多数のテンプレートを準備する必要がある。そのために多くの記憶容量を必要とし、演算装置の処理能力によっては、マッチングのための処理時間も長くかかるというだけでなく、顔画像からどのようにして鼻を検出し、かつ、鼻の位置の追跡を実時間で行うのかについて、必ずしも明らかではない、という問題点があった。
【００１３】
特許文献２に開示された発明では、顔領域の中にほぼ水平に並ぶ２つの黒領域を鼻と判定している。しかしこの方法では、鼻孔を撮影できるカメラ位置は、対象人物の前方下部に限定されるという制限があり、追跡できる顔の向きの範囲が狭くなってしまう。
【００１４】
さらに、非特許文献１に開示された発明では、鼻の位置をいかにして追跡するかについての具体的なアルゴリズムの開示がない。
【００１５】
それゆえに本発明の目的は、画像情報から顔画像を抽出して、さらに鼻の位置を特定して実時間でその位置を追跡することが可能な鼻位置抽出装置、そのための方法および当該方法をコンピュータを用いて実現するためのプログラムを提供することである。
【００１６】
【課題を解決するための手段】
請求項１に記載の鼻位置の抽出方法は、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップと、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとを備え、鼻位置探索領域は、抽出された両目を結ぶ基準線から両目の間隔に相当する距離だけ離れた辺を下辺とし、下辺から顔画像の統計的性質に応じ両目の間隔に基づいて予め定められる第１の所定の距離だけ離れた辺を上辺とし、前記上辺と前記下辺をそれぞれ結ぶ両側の辺が、前記統計的性質に応じ前記両目の間隔に基づいて予め定められる第２の所定の距離を保って前記両目から鉛直方向に伸びる四辺形の領域である。
【００１７】
請求項２に記載の鼻位置の抽出方法は、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップと、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとを備え、鼻位置探索領域は、両目の間隔をＬとするとき、両目を結ぶ基準線と平行であって、基準線から距離Ｌだけ離れた位置を下辺とし、下辺から距離２／３×Ｌだけ鉛直方向上方に離れた辺を上辺とし、上辺と下辺をそれぞれ結ぶ両側の辺が、距離Ｌを保って両目から鉛直方向に伸びる四辺形の領域である。
【００１８】
請求項３に記載の鼻位置の抽出方法は、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップを備え、デジタルデータを準備するステップは、時間軸において所定間隔で連続する画面情報の各々について、対象となる画像領域内の各画素の値のデジタルデータを準備するステップを含み、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとをさらに備え、鼻位置として特定するステップは、ある時刻に対応する画面情報において特定された鼻位置を含む小領域をテンプレートとして記憶するステップと、ある時刻に対応する画面情報に続く画面情報においてテンプレートにマッチングする領域を探索し、マッチングした領域内で局所的に最も輝度の高い点を新たな鼻位置と判定する手続きを順次続けることで、鼻位置を追跡するステップとを含む。
【００１９】
請求項４に記載の鼻位置の抽出方法は、請求項３に記載の鼻位置の抽出方法において、鼻位置として特定するステップは、過去の鼻頭位置履歴から鼻頭存在位置を予測するステップをさらに含む。
【００２０】
請求項５のプログラムは、コンピュータに、対象となる画像領域内の鼻位置を抽出する方法を実行させるためのプログラムであって、プログラムは、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップと、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとを備え、鼻位置探索領域は、抽出された両目を結ぶ基準線から両目の間隔に相当する距離だけ離れた辺を下辺とし、下辺から顔画像の統計的性質に応じ両目の間隔に基づいて予め定められる第１の所定の距離だけ離れた辺を上辺とし、上辺と下辺をそれぞれ結ぶ両側の辺が、統計的性質に応じ両目の間隔に基づいて予め定められる第２の所定の距離を保って両目から鉛直方向に伸びる四辺形の領域である。
【００２１】
請求項６のプログラムは、コンピュータに、対象となる画像領域内の鼻位置を抽出する方法を実行させるためのプログラムであって、プログラムは、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップと、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとを備え、鼻位置探索領域は、両目の間隔をＬとするとき、両目を結ぶ基準線と平行であって、基準線から距離Ｌだけ離れた位置を下辺とし、下辺から距離２／３×Ｌだけ鉛直方向上方に離れた辺を上辺とし、上辺と下辺をそれぞれ結ぶ両側の辺が、距離Ｌを保って両目から鉛直方向に伸びる四辺形の領域である。
【００２２】
請求項７のプログラムは、コンピュータに、対象となる画像領域内の鼻位置を抽出する方法を実行させるためのプログラムであって、プログラムは、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップを備え、デジタルデータを準備するステップは、時間軸において所定間隔で連続する画面情報の各々について、対象となる画像領域内の各画素の値のデジタルデータを準備するステップを含み、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとをさらに備え、鼻位置として特定するステップは、ある時刻に対応する画面情報において特定された鼻位置を含む小領域をテンプレートとして記憶するステップと、ある時刻に対応する画面情報に続く画面情報においてテンプレートにマッチングする領域を探索し、マッチングした領域内で局所的に最も輝度の高い点を新たな鼻位置と判定する手続きを順次続けることで、鼻位置を追跡するステップとを含む。
【００２３】
請求項８のプログラムは、請求項７記載のプログラムの構成において、鼻位置として特定するステップは、過去の鼻頭位置履歴から鼻頭存在位置を予測するステップをさらに含む。
【００２４】
請求項９に記載の鼻位置抽出装置は、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備する手段と、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出する手段と、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定する手段とを備え、鼻位置探索領域は、抽出された両目を結ぶ基準線から両目の間隔に相当する距離だけ離れた辺を下辺とし、下辺から顔画像の統計的性質に応じ両目の間隔に基づいて予め定められる第１の所定の距離だけ離れた辺を上辺とし、上辺と下辺をそれぞれ結ぶ両側の辺が、統計的性質に応じ両目の間隔に基づいて予め定められる第２の所定の距離を保って両目から鉛直方向に伸びる四辺形の領域である。
【００２５】
請求項１０に記載の鼻位置抽出装置は、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備する手段と、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出する手段と、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定する手段とを備え、鼻位置探索領域は、両目の間隔をＬとするとき、両目を結ぶ基準線と平行であって、基準線から距離Ｌだけ離れた位置を下辺とし、下辺から距離２／３×Ｌだけ鉛直方向上方に離れた辺を上辺とし、上辺と下辺をそれぞれ結ぶ両側の辺が、距離Ｌを保って両目から鉛直方向に伸びる四辺形の領域である。
【００２６】
請求項１１に記載の鼻位置抽出装置は、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備する手段を備え、デジタルデータを準備する手段は、時間軸において所定間隔で連続する画面情報の各々について、対象となる画像領域内の各画素の値のデジタルデータを準備し、対象となる画像領域内に対するフィルタリング処理により目の位置を抽出する手段と、抽出された目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定する手段とをさらに備え、鼻位置として特定する手段は、ある時刻に対応する画面情報において特定された鼻位置を含む小領域をテンプレートとして記憶する手段と、ある時刻に対応する画面情報に続く画面情報においてテンプレートにマッチングする領域を探索し、マッチングした領域内で局所的に最も輝度の高い点を新たな鼻位置と判定する手続きを順次続けることで、鼻位置を追跡する手段とを含む。
【００２７】
請求項１２に記載の鼻位置抽出装置は、請求項１１に記載の鼻位置抽出装置において、鼻位置として特定する手段は、過去の鼻頭位置履歴から鼻頭存在位置を予測する手段をさらに含む。
【００２８】
【発明の実施の形態】
［ハードウェア構成］
以下、本発明の実施の形態にかかる鼻位置抽出装置について説明する。この鼻位置抽出装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、人物の顔の映像から、目の位置を検出するためのものである。図１に、この鼻位置抽出装置の外観を示す。
【００２９】
図１を参照してこのシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブ５０およびＦＤ（Flexible Disk ）ドライブ５２を備えたコンピュータ本体４０と、コンピュータ本体４０に接続された表示装置としてのディスプレイ４２と、同じくコンピュータ本体４０に接続された入力装置としてのキーボード４６およびマウス４８と、コンピュータ本体４０に接続された、画像を取込むためのカメラ３０とを含む。この実施の形態の装置では、カメラ３０としてはＣＣＤ（固体撮像素子）を含むビデオカメラを用い、カメラ３０の前にいてこのシステム２０を操作する人物の目の位置を検出する処理を行うものとする。
【００３０】
図２に、このシステム２０の構成をブロック図形式で示す。図３に示されるようにこのシステム２０を構成するコンピュータ本体４０は、ＣＤ−ＲＯＭドライブ５０およびＦＤドライブ５２に加えて、それぞれバス６６に接続されたＣＰＵ（Central Processing Unit ）５６と、ＲＯＭ（Read Only Memory) ５８と、ＲＡＭ（Random Access Memory）６０と、ハードディスク５４と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。ＣＤ−ＲＯＭドライブ５０にはＣＤ−ＲＯＭ６２が装着される。ＦＤドライブ５２にはＦＤ６４が装着される。
【００３１】
既に述べたようにこの鼻位置抽出装置の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ６２、ＦＤ６４等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ５０またはＦＤドライブ５２等により記憶媒体から読取られてハードディスク５４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク５４にコピーされる。そうしてさらにハードディスク５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される。なお、ネットワーク接続されている場合には、ハードディスク５４に格納することなくＲＡＭ６０に直接ロードして実行するようにしてもよい。
【００３２】
図１および図２に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ６４、ハードディスク５４等の記憶媒体に記憶されたソフトウェアである。
【００３３】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該鼻位置抽出装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて鼻位置抽出装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００３４】
［顔画像の抽出の基本的原理］
以下では、まず、本発明にかかる鼻位置の検出方法および追跡方法を説明する前提として、上述した特開２００１−５２１７６号公報明細書にしたがって、画面中から、顔画像を特定して、目の位置を検出する手順について説明しておく。
【００３５】
図３を参照して、本実施の形態の装置では、人物の顔の中で、両目の間に位置する眉間（以下の説明では両眼の中心を結んだ線分の中央の位置を「眉間」と呼ぶこととする。）に着目する。眉間を以下「ＢＥＰ」（Ｂｅｔｗｅｅｎ−Ｅｙｅｓ−Ｐｏｉｎｔ）と呼ぶ。
【００３６】
図３（ａ）に示すように、人物の顔画像において、眉間を中心としてある半径の円を描き、その円周に沿った各画素の明度を調べる。するとその結果は概略図３（ｂ）に示したようになる。図３（ｂ）において、横軸は円周方向の各画素の位置、縦軸は各画素の明度をそれぞれ示す。なお、図３（ａ）に示される円周の最も上部を図３（ｂ）の横軸の原点とし、図３（ａ）の円周を逆時計回り方向に回る方向に沿って図３（ｂ）のグラフでは横軸に各画素を並べるものとする。
【００３７】
図３（ｂ）を参照すると、このグラフは、頂点、谷、頂点、谷という「頂点と谷」の２回の繰り返しを形成していることが分かる。この意味は、図３（ａ）に示される顔画像を参照すると明らかである。すなわち、人間の顔画像では、眉間を中心として上記した円周上をたどると、最初は額（明度が高い）、次に右目（明度が低い）、次に鼻（明度が高い）、次に左目（明度が低い）、最後に最初の額（明度が高い）というように、明るい部分と暗い部分とが交互に２回繰返されている。顔画像の中では、こうした特徴を最も示すのは眉間であり、他の部分はこうした特徴はあまり示さず、あっても眉間より小さい。
【００３８】
そこで本実施の形態の装置では、眉間の周囲にはこうした明度の分布が存在すると想定して以下に「リングＤＦＴ（離散フーリエ変換）フィルタ」と呼ぶフィルタによるフィルタリングを行うことによって最初にＢＥＰを検出し、しかる後にそのＢＥＰを基準として眉間の両側の目の位置を検出する。なお、本実施の形態で用いられるリングＤＦＴ変換については後述する。
【００３９】
本実施の形態の装置は、以下のような制御構造を有するソフトウェアを用いて目の位置を検出する。
【００４０】
図４を参照して、まずイメージを取得する（ステップ８０）。ここでは、図１および図２に示したカメラ３０から得た１フレームの画像を画像取込装置６８でデジタル変換して画像取込装置６８内の画像メモリに格納し、この画像に対して以下のような処理をするものとする。連続的に処理する場合、カメラ３０から得た画像の各フレームに対して以下の処理を繰返す。
【００４１】
すなわち、ステップ８２で、１フレーム分の画像データのうちから、前述したリングＤＦＴフィルタを用いて眉間の候補点を抽出する。この処理については図５を参照して後述する。
【００４２】
次に、ステップ８２で抽出された眉間の候補点（一般的には複数個である）のうちで、その両側の対称な位置に２ケ所だけ暗い領域（目に対応）があるという条件を満足するものを探す（ステップＳ８６）。眉間の候補点のうち、この条件を充足しないものはここで不採用となる。
【００４３】
ステップ８８で、ステップ８６の処理の結果得られた目が一対のみか否か（すなわち眉間がただ１点のみ検出されたか否か）が判定される。一対のみ得られた場合には、目の検出処理が終了する（ステップ９０）。
【００４４】
一方、ステップ８８の処理で一対を越える数の目が検出された場合には処理はステップ８０にもどり、以後新たなフレームに対して、目の検出が行われるまで、上述した処理を繰返す。
【００４５】
［リングＤＦＴフィルタを用いた候補点の抽出］
さて、ステップ８２で行われる眉間の候補点の抽出において、前述したリングＤＦＴフィルタが用いられている。以後ステップ８２の処理について図５を参照して説明する。
【００４６】
まず、ステップ１１０で、処理対象の画像の平滑化および縦横方向の１／２縮小処理が行われる。実験ではたとえば対象点となる画素の周囲の５×５個の画素の明度を平均化してその画素の明度とし、このとき対象点の選択により画像の縮小も同時に行った。平滑化は、画像に含まれているノイズ（比較的高周波成分が多い）を除去するためのものである。特に、人間のＢＥＰの検出では、後述するように波数２のスペクトルパワー成分を計算するので、この平滑化によって、以後の処理で必要とされる情報が削除されるおそれはない。またこの処理で画素数を１／４に削減することにより、処理の高速化を図ることができる。ただし、十分高速なプロセッサを用いた場合にはあえて画素数を削減する必要はないかも知れない。また、より低速なプロセッサを用いる場合には、より小さな画像に縮小する（画素数を少なくする）ことが必要となろう。ただしあまりに画像を縮小すると解像度が下がる結果、ＢＥＰの検出の精度が低下するおそれがあるので、実験により適当な解像度を選択することも有用である。
【００４７】
続いて、こうして得られた画像から、対象となる人物の頭部領域を推定する処理が行われる（ステップ１１２）。この処理には、前述したとおりカラー情報を用い、肌色の領域を追跡するアルゴリズムを用いたり、前フレームと現フレームとの差分から、２フレーム間で移動したと思われる領域を抽出しこれを頭部領域と推定するアルゴリズムを用いたりすることができる。本実施の形態では、フレーム間の差分を用いる。またここで推定される領域はどのような形状の領域でもよいが、領域計算の簡便さを考えると矩形領域が適切である。ただし、条件によっては別の形状を用いた方が効率のよい場合もあるであろう。なお、頭部がほとんど移動していない場合にはフレーム間差分が得られない。その場合には、頭部が移動していないと想定して直前の処理で推定された頭部領域を使用する。
【００４８】
次に、こうして得られた頭部領域の範囲内で、リングＤＦＴフィルタを用いたフィルタリングを行う（ステップＳ１１４）。具体的には、たとえば頭部領域の左上の画素から順に、その画素を中心とする、図６に示されるような所定の大きさの円周上の画素に対して以下の計算を行う。
【００４９】
【数１】

【００５０】
ただしこの式で、Ｎは円周上の点の数であり、ｋはこの円周上の点のうち最も上にある（「北極」に相当する位置）点を０として、逆時計周りに順に各点にふられた番号である。またｆｋ（ｋ＝０、…、Ｎ−１）は円周上のｋ番目の画素の明度で、ｉは虚数単位である。この式（１）は、次に示す一般的な離散フーリエ変換によって求められるＤＦＴ係数のｎ＝２の場合である。
【００５１】
【数２】

【００５２】
式（１）に示す変換により、上記した円周上の明度の変動波形（図３（ｂ）参照）に含まれる波数２のスペクトルパワー成分が計算される。本実施の形態では円の半径を７画素、Ｎ＝３６として計算した。なお、人物とカメラとの間の距離に応じて顔領域の大きさは変化するから、そうした距離の変化量が多いと考えられる場合には、既に得られた顔領域の概略の大きさに合わせて円の半径を変化させることでより精度が高くなる。ただし、人物がほとんどそうした移動を行わないことがわかっていれば、半径をあらかじめ固定しておいてもよい。
【００５３】
この計算により、頭部領域のすべての画素について、その画素を中心とする円周上の波数２のスペクトルパワーの値が計算される。
【００５４】
各画素に対して上記した計算を行った結果得られる値の分布中には、特に値の高い部分が存在する。それら部分は、その周囲の円周上に上記したような波数２の波数成分が多く存在するものと考えられる。したがってそれらはＢＥＰとしての候補点としての資格を備えている。このように、画像上の各対象点を中心とする、典型的には円となる閉曲線上をたどり、その上での画素の値（明度に限らず色相、彩度等をも含みうる）に対してＤＦＴを行った後の情報を得ることを本願発明では「リングＤＦＴフィルタによるフィルタリング」と呼んでいる。
【００５５】
こうして、リングＤＦＴフィルタによるフィルタリングを行った値の対象画面中の分布から、局所的な最大値を示す点を選んでＢＥＰの候補点とする（ステップ１１６）。
【００５６】
検出された候補点の中には、真のＢＥＰが含まれている。前述したとおり真のＢＥＰの周囲にはほぼまちがいなく明、暗、明、暗という領域の分布がある。したがってステップ１１４の処理の結果、ほぼ間違いなく真のＢＥＰは局所的な最大値を示し、その結果ステップ１１６でほぼ例外なく候補点として抽出される。このようにロバストに、ほぼ確実に真のＢＥＰが抽出されるのがこの方式の特徴である。なお、選択のためのしきい値は、対象となる画像の持つべき特徴に応じて主として経験的に定められる。
【００５７】
続いてステップ１１８で、複数個の局所最大値のうちで、ＢＥＰに特徴的な局所特徴を考慮して、ＢＥＰの候補を絞る処理が行われる。
【００５８】
たとえば実際のＢＥＰでは、その上（額）と下（鼻）とに明るい領域があり、その左右（両眼）に暗い領域が存在するはずである。したがって式（１）の計算結果は必ず実部が正となるはずである。正でない実部を生ずるものはＢＥＰではなく、候補から除外される。
【００５９】
また、同じ理由から、真のＢＥＰを中心とした画像を縦方向および横方向に投影した画像を考えると、次のようなことがいえる。図７を参照して、明暗の分布は、（ａ）に示すように上下方向では中央が最も暗く、左右方向では中央は最も明るい。またその分布は中央を中心としてほぼ対称となるべきである。そこで、複数個の候補点が存在する場合、これと同様の縦方向および横方向の投影を作成し、上記した条件に合致しないものを不採用とする。
【００６０】
また別の基準として、ＢＥＰ候補点を中心とする小領域の明るさの重心を計算し、その重心とＢＥＰ候補点との距離がしきい値を越えていればそのＢＥＰ候補点を除外する。
【００６１】
さらに、リングＤＦＴフィルタの以下のような特徴を用いて候補点を絞ることができる。すなわち、上記したＦｎの一般式（式（２））において、ｎ＝１として各画素でＦ１を計算する。そして、各画素で得られたＦ２との比（Ｆ１／Ｆ２）を計算し、この値が小さいほど真のＢＥＰである確率が高い、という基準を用いる。この値は、次の理由により、ある画素を中心とする円上の明暗の分布が理想的な制限カーブにどの程度合致しているか（どの程度離反しているか）を示す基準となりうると考えられる。
【００６２】
式（２）でｎ＝１、２、…として計算された値はそれぞれ、円周上において波数が１、２、…である波数成分のスペクトルパワーを示す。もし円周上の明暗の分布が理想的にｎ＝２のときの正弦カーブと一致しているときには、２以外のｎに対してＦｎ＝０となる筈である。もちろん、実際には明暗の分布が正弦カーブと一致することはないが、それでも理想的な正弦カーブに近ければＦ１は小さな値となり、Ｆ２は相対的に大きな値となるであろう。そこで、上記したＦ１／Ｆ２が小さければ、対象画素の周囲の明暗分布は実際のＢＥＰの周りの明暗分布に近く、大きければ遠い、と考えることができる。これがＦ１／Ｆ２が尺度として利用できる理由である。
【００６３】
なお、Ｆ３、Ｆ４等についてもＦ１と同様に理想的な明暗の分布では０となるはずである。そこでＦ３／Ｆ２、Ｆ４／Ｆ２等を基準とすることも考えられる。しかしこれらはより高い波数成分の量を示し、そのためにノイズの影響を受けやすいので、Ｆ１／Ｆ２を用いた場合よりも結果の信頼性は低い。
【００６４】
以下、図４のステップ８６、８８によってこのＢＥＰが真のＢＥＰであるか否かが検定される。
【００６５】
以上説明したような手続きにより、この実施の形態のシステムでは、リングＤＦＴフィルタを用いてＢＥＰの検出を行う。リングＤＦＴフィルタは、画像のうちの明暗の分布内に存在する波数成分のみからＢＥＰ等の特徴点の抽出を行う。そのため、画像の全体的な明るさの変動による影響を受けにくいという特徴がある。また、顔がやや傾けられている場合にも、ある点の周囲の明るさの分布内の波数成分は画像の回転に対し不変である。そのため上記した手法を用いると、回転に強い特徴点の抽出を実現することができる。これは顔をやや横に向けた場合も同様である。両眼がギリギリで見える程度の顔を横に向けたとしても、両眼が画像中に存在している限りは依然として上記した明暗の配置が眉間の周囲に存在しているので、上で説明した手法を用いてほぼ確実にＢＥＰを抽出することができる。また、対象となる人物が目を閉じていても、依然としてその領域は額、鼻と比較して暗いため、上記した手法でほぼ確実にＢＥＰを検出することができる。したがって、高い信頼性でＢＥＰを、さらにはその両側の目の位置を検出することができる。
【００６６】
なお、上記した例では各画素を中心とする円周上の点についてＤＦＴ係数を計算した。しかし本発明は、円周上の点についてのみ適用可能であるというわけではない。あらかじめ特徴点として抽出されるべき点と所定の位置関係にある閉曲線であって、その周上の明暗のあるべき分布が分かっているのであれば、他のどのような閉曲線上で上記した計算を行ってもよい。もっとも、回転に対してロバストな結果を与えるのは円のときであるから、円が最適となることが多いであろう。
【００６７】
さらにまた、上記した実施の形態では各画素を中心とする一つの円周上での明暗分布中の波数成分を利用したが、使用される円の数が１に限定されるわけではないことも当業者には明らかであろう。たとえば抽出すべき特徴点の周囲で、中心から異なった距離の領域では異なった明暗の分布が存在すべきことがあらかじめ判明しているのであれば、それに応じて複数個の円周（または閉曲線）上でそれぞれ上記した計算を行い、両者の計算の結果を総合して特徴点を抽出してもよい。
【００６８】
また、上記した例では波数成分の計算のためにＤＦＴを使用した。ＤＦＴを用いることが最も効率的だとは考えられるが、上記した例で必要な関数は、周上の明暗分布内の波数成分を抽出することさえできればよい。したがって、使用できる手法はＤＦＴに限定されるわけではなく、一般的なフーリエ変換を含め、波数成分の抽出のための関数のいずれもが使用可能であることもまた当業者には明白であろう。
【００６９】
さらに、上記した実施の形態では、リングＤＦＴフィルタの処理対象は画素の明度であった。しかし本発明の適用可能な対象はこれには限定されない。たとえば各画素の色相、彩度等の値に対してリングＤＦＴフィルタによるフィルタリングを行ってもよい。また、検出すべき特徴点のもつべき性質に応じて、各画素の明度、色相、彩度などの値に対して所定の演算を施した値をフィルタリングの対象とすることも考えられる。
【００７０】
［顔画像からの鼻の位置の検出］
以上の説明により、画面中から人間の顔の眉間の位置および目の位置を特定することができる。以下では、このようにして目の位置は特定された後に、鼻の位置をさらに特定し、さらに、この鼻の位置を追跡（トラッキング）する手続きについて説明する。
【００７１】
図８は、本発明における顔画像から鼻の位置を検出する手続きの前提となる概念を説明するための図である。
【００７２】
図８を参照して、光沢のある球面に対して光源からの光が照射されると、球面上には、光源からの光を反射してハイライトのスポットができる。
【００７３】
図９は、図８で示した概念にしたがって、顔画像において表れる現象を説明するための図である。
【００７４】
図９に示すとおり、鼻頭は理想的な球面ではないが、実効的には球面とみなすことができ、ある程度の光沢性がある。このとき、とくに顔において最も突出した位置である鼻頭部には、光源の光が反射したハイライトが生じる。
【００７５】
本発明では、まず、時間軸で所定の間隔で連続する顔を含む画面情報、たとえば、顔を連続撮影したビデオ画像を処理して、上述したリングＤＦＴフィルタを用いたフィルタリングによる方法により、眉間の位置および両目の位置を検出する。
【００７６】
その上で、以下に説明するとおり、両目下部の一定範囲領域において、局所的に最も明るい点（最も輝度の高い点）を抽出する。両目位置とその点で構成される三角形が一定の幾何学的条件をみたせば、その点を鼻位置と判定する。
【００７７】
さらに、鼻位置が抽出されたら、その点を含む小領域をテンプレートとして記憶し、次のフレームでそのテンプレートに最もマッチする点を探索し、そのマッチする点の周辺で局所的に最も明るい点を鼻位置と判定して、鼻位置を追跡していく。
【００７８】
図１０は、目の位置を検出した後、鼻位置を探索する、両目下部の一定範囲領域を説明する図である。
【００７９】
図１０を参照して、鼻位置を探索するのは、両目の間隔をＬとするとき、両目を結ぶ線（基準線）と平行であって、その基準線から距離Ｌだけ離れた位置を下辺とし、下辺から距離２／３×Ｌだけ鉛直方向上方に離れた辺を上辺とし、上辺と下辺をそれぞれ結ぶ両側の辺が、距離Ｌを保って両目から鉛直方向に伸びるような四辺形の領域である。ただし、上辺と下辺の距離は、必ずしも２／３×Ｌに限定されるわけではなく、また、両側の辺の間隔も距離Ｌに限定されるわけではなく、検出の対象となる顔画像の統計的性質に応じて、これらの値は、適宜補正した値とすることもできる。
【００８０】
図１０に示す一定範囲領域において、局所的にもっとも明るい点を抽出する。その点が、鼻頭の位置と特定できる。
【００８１】
図１１は、図９に示した顔がやや横を向いた場合の顔画像を示す図である。
図１１に示す程度に顔が横を向いた場合でも、図１０に示す領域内に、鼻頭を示すハイライトが存在することが分かる。
【００８２】
図１２は、本発明における鼻位置の特定方法および鼻位置の追跡方法を説明するためのフローチャートである。
【００８３】
図１２を参照して、まず、処理対象となる画像（フレーム）を特定するための変数ｔの値を「１」に初期化する（ステップ１００）。
【００８４】
続いて、第ｔフレームの画像を取得し（ステップＳ１０２）、顔画像の抽出および目の位置の特定が行われる（ステップＳ１０４）。このステップＳ１０２およびＳ１０４の処理は、図４で説明した目の位置の検出処理と基本的に同様である。
【００８５】
目の位置が検出されると、続いて、図１０で説明した一定領域範囲で、鼻頭のハイライト点の抽出を行う（ステップＳ１０６）。
【００８６】
第ｔフレームで鼻頭のハイライト点を抽出に成功すれば、処理はステップＳ１１２に移行する。一方、ハイライト点の抽出に失敗すると、変数ｔの値を１だけインクリメントして（ステップＳ１１０）、処理はステップＳ１０２に復帰する。
【００８７】
ステップＳ１１２においては、ハイライト点を中心とする所定の大きさおよび形状の所定小領域を鼻頭テンプレートパターンＴとして、たとえば、ハードディスク５４にセーブする。
【００８８】
なお、鼻頭テンプレートパターンは、ハイライト点を中心とする所定の大きさの小領域でもよいし、あるいは、ハイライト点から所定の距離だけオフセットした所定の大きさの小領域でもよい。
【００８９】
続いて、変数ｔの値を１だけインクリメントして（ステップＳ１１４）、第（ｔ＋１）フレームの画像を取得する（ステップＳ１１６）。
【００９０】
次に、過去の鼻頭位置履歴から鼻頭存在位置を予測する（ステップＳ１１８）。この予測においては、前フレームでの鼻頭存在位置Ｘ（ｔ）および前々フレームでの鼻頭存在位置Ｘ（ｔ−１）を用いて以下の式により予測を行う。
【００９１】
Ｘ（ｔ＋１）＝Ｘ（ｔ）＋Ｘ（ｔ）−Ｘ（ｔ−１）
なお、Ｘ（ｔ−１）が存在しない場合は、Ｘ（ｔ−１）の値として、Ｘ（ｔ）を用いる。
【００９２】
続いて、鼻頭存在予測位置を中心とする所定の大きさおよび形状の鼻頭探索領域を決定し（ステップＳ１２０）、鼻頭探索領域内でテンプレートパターンＴと最もよく一致するマッチング点を探す（ステップＳ１２２）。
【００９３】
マッチング点を中心とする所定領域内で最も明るい点を探索し、その点を第（ｔ＋１）フレームの鼻頭ハイライト点とする（ステップＳ１２４）。その上で、処理は、ステップＳ１１２に復帰する。
【００９４】
以上説明したような処理で、時間軸について所定間隔で連続する画面情報、たとえば、連続するフレーム画像から、実時間で、鼻の位置を検出することができる。さらに、このような連続する画面情報の各々において、鼻位置の検出を連続して行っていくことで、鼻位置のトラッキングを行うことができる。
【００９５】
このような鼻位置のトラッキングは、たとえば、コンピュータのマンマシンインタフェースにおいて、たとえば、マウスの代わりに用いることができる。
【００９６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００９７】
【発明の効果】
以上説明したとおり、本発明によれば、連続する画面情報から実時間で、鼻の位置を検出することができる。さらに、このような連続する画面情報の各々において、鼻位置の検出を連続して行っていくことで、鼻位置のトラッキングを行うことができる。
【図面の簡単な説明】
【図１】本発明の１実施の形態にかかるシステムの外観図である。
【図２】本発明の１実施の形態にかかるシステムのハードウェア的構成を示すブロック図である。
【図３】本発明の原理を説明するための図である。
【図４】本発明の実施の形態１にかかるシステムで実行される目位置検出処理のフローチャートである。
【図５】画像データから眉間の候補点を抽出する処理のフローチャートである。
【図６】リングＤＦＴフィルタの計算経路を示す図である。
【図７】眉間の局部的特徴を説明するための模式図である。
【図８】本発明における顔画像から鼻の位置を検出する手続きの前提となる概念を説明するための図である。
【図９】図８で示した概念にしたがって、顔画像において表れる現象を説明するための図である。
【図１０】目の位置を検出した後、鼻位置を探索する、両目下部の一定範囲領域を説明する図である。
【図１１】図９に示した顔がやや横を向いた場合の顔画像を示す図である。
【図１２】本発明における鼻位置の特定方法および鼻位置の追跡方法を説明するためのフローチャートである。
【符号の説明】
２０鼻位置抽出装置、３０カメラ、４０コンピュータ本体、４２モニタ。

Claims

人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとを備え、
前記鼻位置探索領域は、抽出された両目を結ぶ基準線から両目の間隔に相当する距離だけ離れた辺を下辺とし、前記下辺から顔画像の統計的性質に応じ前記両目の間隔に基づいて予め定められる第１の所定の距離だけ離れた辺を上辺とし、前記上辺と前記下辺をそれぞれ結ぶ両側の辺が、前記統計的性質に応じ前記両目の間隔に基づいて予め定められる第２の所定の距離を保って前記両目から鉛直方向に伸びる四辺形の領域である、鼻位置の抽出方法。
人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとを備え、
前記鼻位置探索領域は、両目の間隔をＬとするとき、両目を結ぶ基準線と平行であって、前記基準線から距離Ｌだけ離れた位置を下辺とし、前記下辺から距離２／３×Ｌだけ鉛直方向上方に離れた辺を上辺とし、前記上辺と前記下辺をそれぞれ結ぶ両側の辺が、距離Ｌを保って前記両目から鉛直方向に伸びる四辺形の領域である、鼻位置の抽出方法。
人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップを備え、
前記デジタルデータを準備するステップは、時間軸において所定間隔で連続する画面情報の各々について、前記対象となる画像領域内の各画素の値のデジタルデータを準備するステップを含み、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとをさらに備え、
前記鼻位置として特定するステップは、
ある時刻に対応する前記画面情報において特定された前記鼻位置を含む小領域をテンプレートとして記憶するステップと、
前記ある時刻に対応する画面情報に続く画面情報において前記テンプレートにマッチングする領域を探索し、前記マッチングした領域内で局所的に最も輝度の高い点を新たな鼻位置と判定する手続きを順次続けることで、鼻位置を追跡するステップとを含む、鼻位置の抽出方法。
前記鼻位置として特定するステップは、過去の鼻頭位置履歴から鼻頭存在位置を予測するステップをさらに含む、請求項３記載の鼻位置の抽出方法。
コンピュータに、対象となる画像領域内の鼻位置を抽出する方法を実行させるためのプログラムであって、前記プログラムは、
人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとを備え、
前記鼻位置探索領域は、抽出された両目を結ぶ基準線から両目の間隔に相当する距離だけ離れた辺を下辺とし、前記下辺から顔画像の統計的性質に応じ前記両目の間隔に基づいて予め定められる第１の所定の距離だけ離れた辺を上辺とし、前記上辺と前記下辺をそれぞれ結ぶ両側の辺が、前記統計的性質に応じ前記両目の間隔に基づいて予め定められる第２の所定の距離を保って前記両目から鉛直方向に伸びる四辺形の領域である、プログラム。
コンピュータに、対象となる画像領域内の鼻位置を抽出する方法を実行させるためのプログラムであって、前記プログラムは、
人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとを備え、
前記鼻位置探索領域は、両目の間隔をＬとするとき、両目を結ぶ基準線と平行であって、前記基準線から距離Ｌだけ離れた位置を下辺とし、前記下辺から距離２／３×Ｌだけ鉛直方向上方に離れた辺を上辺とし、前記上辺と前記下辺をそれぞれ結ぶ両側の辺が、距離Ｌを保って前記両目から鉛直方向に伸びる四辺形の領域である、プログラム。
コンピュータに、対象となる画像領域内の鼻位置を抽出する方法を実行させるためのプログラムであって、前記プログラムは、
人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備するステップを備え、
前記デジタルデータを準備するステップは、時間軸において所定間隔で連続する画面情報の各々について、前記対象となる画像領域内の各画素の値のデジタルデータを準備するステップを含み、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出するステップと、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定するステップとをさらに備え、
前記鼻位置として特定するステップは、
ある時刻に対応する前記画面情報において特定された前記鼻位置を含む小領域をテンプレートとして記憶するステップと、
前記ある時刻に対応する画面情報に続く画面情報において前記テンプレートにマッチングする領域を探索し、前記マッチングした領域内で局所的に最も輝度の高い点を新たな鼻位置と判定する手続きを順次続けることで、鼻位置を追跡するステップとを含む、プログラム。
前記鼻位置として特定するステップは、過去の鼻頭位置履歴から鼻頭存在位置を予測するステップをさらに含む、請求項７記載のプログラム。
人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備する手段と、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出する手段と、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定する手段とを備え、
前記鼻位置探索領域は、抽出された両目を結ぶ基準線から両目の間隔に相当する距離だけ離れた辺を下辺とし、前記下辺から顔画像の統計的性質に応じ前記両目の間隔に基づいて予め定められる第１の所定の距離だけ離れた辺を上辺とし、前記上辺と前記下辺をそれぞれ結ぶ両側の辺が、前記統計的性質に応じ前記両目の間隔に基づいて予め定められる第２の所定の距離を保って前記両目から鉛直方向に伸びる四辺形の領域である、鼻位置抽出装置。
人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備する手段と、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出する手段と、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定する手段とを備え、
前記鼻位置探索領域は、両目の間隔をＬとするとき、両目を結ぶ基準線と平行であって、前記基準線から距離Ｌだけ離れた位置を下辺とし、前記下辺から距離２／３×Ｌだけ鉛直方向上方に離れた辺を上辺とし、前記上辺と前記下辺をそれぞれ結ぶ両側の辺が、距離Ｌを保って前記両目から鉛直方向に伸びる四辺形の領域である、鼻位置抽出装置。
人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備する手段を備え、
前記デジタルデータを準備する手段は、時間軸において所定間隔で連続する画面情報の各々について、前記対象となる画像領域内の各画素の値のデジタルデータを準備し、
前記対象となる画像領域内に対するフィルタリング処理により目の位置を抽出する手段と、
抽出された前記目の位置に対応する鼻位置探索領域中の最も輝度の高い点を鼻位置として特定する手段とをさらに備え、
前記鼻位置として特定する手段は、
ある時刻に対応する前記画面情報において特定された前記鼻位置を含む小領域をテンプレートとして記憶する手段と、
前記ある時刻に対応する画面情報に続く画面情報において前記テンプレートにマッチングする領域を探索し、前記マッチングした領域内で局所的に最も輝度の高い点を新たな鼻位置と判定する手続きを順次続けることで、鼻位置を追跡する手段とを含む、鼻位置抽出装置。
前記鼻位置として特定する手段は、過去の鼻頭位置履歴から鼻頭存在位置を予測する手段をさらに含む、請求項１１記載の鼻位置抽出装置。