JPWO2016159255A1 - 口領域検出装置及び口領域検出方法 - Google Patents

Abstract

様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出することを課題とする。自閉症乳幼児診断装置１は、母親Ｍの顔を撮像することで顔画像を取得するカラーカメラ３及び瞳孔検出用カメラ９と、顔画像を基に母親Ｍの右の瞳孔の位置と左の瞳孔の位置とを算出し、右の瞳孔の位置及び左の瞳孔の位置を基に、母親Ｍの口を含む領域である口領域の位置及びサイズを算出する瞳孔位置算出部１１と、口領域に相当する範囲の顔画像を用いて、母親Ｍの口を含む既定の画素数の正規化口画像を生成するデータ解析部７と、を備える。

Description

本発明は、人の顔画像から口の領域を検出する口領域検出装置及び口領域検出方法に関する。

近年、自閉症診断装置等において注視点検出技術が利用されてきている。一般に、健常乳幼児が人間と対面したときは相手の眼を見る傾向があるのに対して、自閉症乳幼児は口などの動く部分を見る傾向にある。また、健常乳幼児は、口を見ることがあってもすぐに視線が目に戻る傾向にあるが、自閉症乳幼児は、口を見続ける傾向にある。

上記の性質を利用した診断装置としては、下記特許文献１記載の装置がある。この装置では、カメラで取得した付添者等の顔の動画像をリアルタイムでモニタ画面に映しながら、その動画像を乳幼児に見せたときに乳幼児が顔の動画像中のどこを見ているかを計測する手法が採用されている。この手法では、顔の動画像中のどこに口が位置しているかを検出することが不可欠である。下記非特許文献１に記載の装置では、顔を写したカラー画像中で検出した２つの瞳孔の座標とそれらを結ぶ直線の傾きを用いて、瞳孔座標から所定の距離に位置する口領域を算出している。

一方、下記非特許文献２には、カメラで取得した入力画像から顔領域を検出し、この顔領域から口の位置を検出することにより口唇動作を認識する技術が記載されている。詳細には、口唇動作を認識するために、画像中の唇領域の重心を求め、その重心を用いて検出された顔の大きさに対応して認識範囲を決定する。

特開２０１１−２０６５４２号公報

T.Maeda, K.Fukumoto, Y.Ebisawa，「顔動画像上の注視点に基づく乳幼児自閉症診断補助装置の提案」， ライフエンジニアリング部門シンポジウム2013， 2C1-2， pp.299-304，2013年9月12日-14日 高橋真人 他，「口領域の形状特徴と低解像度画像を特徴量とした口唇動作認識」，日本機械学会ロボティクス・メカトロニクス講演会２０１０講演論文集，１Ａ２−Ｇ０２，２０１０年６月

しかしながら、上述した従来の装置では、顔画像中における顔のサイズはカメラから顔までの距離が変化すれば変化するし、そもそも顔の形状及び大きさは個人差があり、２つの瞳孔に対する口の位置も個人差がある。そのため、正確に顔画像中の口の領域を決定することには限界がある。また、画像中から唇領域の重心を求め、その重心を基に口の位置を検出する方法では、唇は発声中には動作が激しいために口の位置を安定して切り出して正確に検出することは限界がある。

本発明は、上記課題に鑑みて為されたものであり、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出することが可能な口領域検出装置及び口領域検出方法を提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかる口領域検出装置は、対象者の顔を撮像することで顔画像を取得する画像取得部と、顔画像を基に対象者の右の瞳孔の位置と左の瞳孔の位置とを算出する瞳孔位置算出部と、右の瞳孔の位置及び左の瞳孔の位置を基に、対象者の口を含む領域である口領域の位置及びサイズを算出する領域算出部と、口領域に相当する範囲の顔画像を用いて、対象者の口を含む既定の画素数の正規化口画像を生成する口画像生成部と、を備える。

或いは、本発明の他の形態にかかる口領域検出方法は、画像取得部が、対象者の顔を撮像することで顔画像を取得するステップと、瞳孔位置算出部が、顔画像を基に対象者の右の瞳孔の位置と左の瞳孔の位置とを算出するステップと、領域算出部が、右の瞳孔の位置及び左の瞳孔の位置を基に、対象者の口を含む領域である口領域の位置及びサイズを算出するステップと、口画像生成部が、口領域に相当する範囲の顔画像を用いて、対象者の口を含む既定の画素数の正規化口画像を生成するステップと、を備える。

上記形態の口領域検出装置或いは口領域検出方法によれば、対象者の顔を撮像することで顔画像が取得され、その顔画像から右の瞳孔の位置と左の瞳孔の位置とが算出され、それらの位置を基に対象者の口領域の位置及びサイズが算出され、算出された口領域に相当する顔画像から正規化口画像が生成される。これにより、顔画像を撮像する画像取得部と対象者の顔との距離が変化したり、対象者が様々入れ替わった場合であっても、正確に口領域の画像を得ることができる。なおかつ、正規化された画像を生成することで、その画像に対する処理も安定して実行させることができる。

本発明の一形態によれば、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出することができる。

本発明の第１実施形態に係る自閉症乳幼児診断装置の全体構成を示す概略構成図である。 図１のカラーカメラ及び瞳孔位置検出光学系の配置を示す平面図である。 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 本発明の第２実施形態に係る瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 本発明の第３実施形態に係る瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 本発明の第４実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見たイメージを示す図である。 本発明の第４実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の正面方向から見たイメージを示す図である。 本発明の第４実施形態に係るデータ解析部７によって口領域ウィンドウを基に生成される正規化口画像のイメージを示す図である。 本発明の第５実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウのイメージを示す図である。 本発明の第６実施形態に係るデータ解析部７による処理対象の正規化口画像のイメージを示す図である。

以下、図面を参照しつつ本発明に係る口領域検出装置及び口領域検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

［第１実施形態］
口領域検出装置の第１実施形態にかかる自閉症診断支援用装置は、母親等の付添者（対象者）の顔を撮影して顔画像をディスプレイ（被験者が相対して見る対象）に表示しながら乳幼児（被験者）の注視点検出を行うことにより乳幼児の自閉症を診断する装置である。

図１には、本実施形態にかかる自閉症乳幼児診断装置１の概略構成を示している。同図に示すように、自閉症乳幼児診断装置１は、乳幼児Ａの注視点を実時間で計測できる注視点検出部２と、母親Ｍの顔の画像を撮影するカラーカメラ（画像取得部）３と、母親Ｍの瞳孔の空間座標を実時間計測するための瞳孔位置検出部４と、母親Ｍの顔を映す表示用ディスプレイ５と、光源発光回路６と、データ解析部７とを備える。注視点検出部２の構成としては、本願発明者による特許公報US 7,533,989に記載の三次元視点計測装置の構成を採用できる。具体的には、注視点検出部２は、注視点検出光学系２ａと注視点検出演算部２ｂとによって構成される。また、瞳孔位置検出部４としては、本願発明者による国際公開公報WO 2007/023798に記載の瞳孔検出装置及び瞳孔検出方法を採用できる。

このような構成によって、表示用ディスプレイ５上の母親の目の位置からの乳幼児の注視点のずれが即座に容易に定量化できる。また、表示の対象として、必ずしも検診に同伴している母親ではなく予め撮影した人の顔画像を用いる場合においても、顔画像の撮影時に顔画像上における目の位置が正確に検出できる。

図２には、カラーカメラ３及び瞳孔位置検出部４の光学系の配置を示している。カラーカメラ３は、母親Ｍの顔を撮像することで顔画像をカラー画像として取得する。このカラーカメラ３と、瞳孔位置検出部４を構成する瞳孔座標計測用の瞳孔位置検出用光学系８とは、同図に示すように母親Ｍと相対するように配置されている。この瞳孔位置検出用光学系８は、赤外線光に感度を持つカメラ（瞳孔検出用カメラ）９と近赤外光源１０とを組み合わせた構成を２組有する。また、瞳孔位置検出部４として瞳孔位置算出部１１（図１参照）も含まれており、瞳孔位置算出部１１は、ステレオ較正された瞳孔位置検出用光学系８からの出力画像（顔画像）を基に、母親Ｍの右の瞳孔及び左の瞳孔のそれぞれの３次元座標（位置）を算出する。また、母親Ｍの顔を撮影するためのカラーカメラ３は、２組の瞳孔位置検出用光学系８によって挟まれた位置に配置される。

なお、カラーカメラ３、及び２つの瞳孔検出用カメラ９は、それらの位置関係が、それぞれが得た画像上に母親Ｍの顔のほぼ同じ範囲が映るように、最初に設定される。これらの瞳孔検出用カメラ９とカラーカメラ３とは、本実施形態における顔画像を取得する画像取得部として機能する。

瞳孔検出用カメラ９及びカラーカメラ３は、それぞれ予めカメラ較正が行われている。カメラ較正では、カメラの位置を表す３自由度、カメラの方向を表す３自由度、および、カメラの画素数、開口比値（レンズF値）、ひずみなどが同時に計測される。カメラ較正においては、世界座標系における座標（X_W,Y_W,Z_W）と各カメラのカメラ座標系における座標（X_C,Y_C,Z_C）との間には（式１）の関係があると仮定され、

（式２）で示す回転行列Rと並進ベクトルTの要素が、各カメラ毎に決定される。

瞳孔位置算出部１１は、カメラ較正の結果を利用して、２台の瞳孔検出用カメラ９を含む瞳孔位置検出用光学系８で瞳孔の世界座標系における３次元座標（位置）を算出した後に、３次元座標をカラーカメラ３に関する（式１）に相当する式に代入することで、カラーカメラ３のカメラ座標系における瞳孔の座標（位置）を算出する。瞳孔位置算出部１１は、それをさらに画像中の座標に変換する（実単位系から画像のピクセル単位系に変換する）ことで母親Ｍのカラー画像中の瞳孔位置を定める。もしくは、カラーカメラ３のカメラ座標系を上述の世界座標系に置き換えて、そのカメラ座標系における他の瞳孔検出用カメラ９のカメラ較正値を求めるカメラ較正法を用いてもよい。その場合、２台の瞳孔検出用カメラ９によって求まる瞳孔の３次元座標は、カラーカメラ３のカメラ座標系における座標として求まる。それをカラーカメラ３のカラー画像中の座標に変換することで母親Ｍの瞳孔位置が定められる。このとき、瞳孔位置算出部１１は、上述した処理を繰り返すことによりカラー画像中における右の瞳孔及び左の瞳孔の座標（位置）を算出する。

また、データ解析部７は、注視点検出部２から乳幼児の注視点座標の入力を受け、その注視点座標をカラーカメラ３によって撮影されたカラー画像中の座標に変換する。さらに、データ解析部７は、瞳孔位置検出部４から母親の右の瞳孔及び左の瞳孔の座標を得て、注視点座標と右の瞳孔の位置と左の瞳孔の位置とカラー画像とを利用して各種演算を行って、演算結果を外部のデータ表示ディスプレイ１２に表示させる。ここでの演算は、例えば、注視点座標と瞳孔の位置とから両者の距離を演算したり、注視点座標と口領域との関係をカラー画像を用いて演算したり、母親Ｍのカラー画像上に注視点軌跡を表示させたり、２次元瞳孔座標系上に注視点の２次元分布を表示させることが考えられる。そのため、データ解析部７は、カラー画像中から規定の縦横の画素数の母親の口を含む正規化口画像を生成し、その正規化口画像を利用して口の動きのタイミング又は口の中心位置を解析する。

上記の瞳孔位置算出部１１、注視点検出演算部２ｂ、及びデータ解析部７は、画像データを演算処理する演算回路及びメモリを内蔵するパーソナルコンピュータ等の画像処理装置であり、１つの画像処理装置内で実現されてもよいし、複数の画像処理装置上に分散されて実現されてもよい。

次に、瞳孔位置算出部１１及びデータ解析部７における正規化口画像の生成に係る機能について詳細に説明する。

瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９のそれぞれで撮影された母親Ｍの顔画像を対象に、顔画像上の母親Ｍの口を含む領域である口領域の位置及びサイズを算出する領域算出部としても機能する。詳細には、瞳孔位置算出部１１は、顔画像上で母親Ｍの右の瞳孔の位置と左の瞳孔の位置とを算出し、それらの位置を基に口領域の境界を示す口領域ウィンドウの位置及びサイズを算出する。

図３は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、瞳孔位置算出部１１は、顔画像Ｇ_１上で検出した右瞳孔の位置Ｐ_１及び左瞳孔の位置Ｐ_２の間の距離Ｗ_Ｐを算出する。また、瞳孔位置算出部１１は、顔画像Ｇ_１上の右瞳孔の位置Ｐ_１及び左瞳孔の位置Ｐ_２の間の中点の位置Ｐ_Ｍを算出し、右瞳孔の位置Ｐ_１及び左瞳孔の位置Ｐ_２を結ぶ直線に垂直な位置Ｐ_Ｍを通る直線上において、位置Ｐ_Ｍから下記（式３）で計算される距離Ｄ_ＰＭほど離れた点の位置Ｍ_Ｃを算出し、その位置Ｍ_Ｃを口元の中心の位置とする（ａ_１は予め設定された定数）。
Ｄ_ＰＭ＝ａ_１×Ｗ_Ｐ …（式３）

さらに、瞳孔位置算出部１１は、算出した口元の中心位置Ｍ_Ｃを基準とした位置において、縦横のサイズが距離Ｗ_Ｐを基に下記（式４）及び下記（式５）で計算されたサイズを有する長方形の口領域ウィンドウＷＤ_１を設定する。すなわち、瞳孔位置算出部１１は、口領域ウィンドウＷＤ_１の水平方向のサイズＨ_Ｍを下記（式４）；
Ｈ_Ｍ＝ａ_２×Ｗ_Ｐ …（式４）
により算出し（ａ_２は予め設定された定数）、口領域ウィンドウＷＤ_１の垂直方向のサイズＶ_Ｍを下記（式５）；
Ｖ_Ｍ＝ａ_３×Ｗ_Ｐ …（式５）
により算出する（ａ_３は予め設定された定数）。

従って、瞳孔位置算出部１１は、図４（ａ）に示すように、母親Ｍと瞳孔検出用カメラ９との距離が離れた際には、その距離に対応して中点の位置Ｐ_Ｍからの距離Ｄ_ＰＭ及び縦横のサイズが調整された口領域ウィンドウＷＤ_１を設定する。これにより、母親Ｍと瞳孔検出用カメラ９との距離が変わっても口を正確に含む口領域ウィンドウＷＤ_１を設定することが可能である。また、瞳孔位置算出部１１は、図４（ｂ）に示すように、母親Ｍの顔の向きが傾いて右瞳孔の位置Ｐ_１及び左瞳孔の位置Ｐ_２を結ぶ直線が角度θだけ水平線Ｌ_Ｈから傾いた場合には、口領域ウィンドウＷＤ_１も角度θだけ水平線Ｌ_Ｈから傾くように設定する。これにより、母親Ｍの顔の向きが瞳孔検出用カメラ９の光軸に垂直な面に沿って傾いても、口を正確に含む口領域ウィンドウＷＤ_１を設定することが可能である。なお、瞳孔位置算出部１１は、必ずしも口領域ウィンドウＷＤ_１の中心が口元の中心位置に一致するように設定する必要は無い。口領域ウィンドウＷＤ_１の中心が口元の中心位置に一致するように設定された場合、口の動きが小さいときは比較的口領域ウィンドウＷＤ_１のサイズが小さくても口がその口領域ウィンドウＷＤ_１内に収まる（図５（ａ））。これに対して、同様の場合に、口の動きが大きいときは下唇が大きく上下するので、口領域ウィンドウＷＤ_１のサイズを大きくしないと口がその口領域ウィンドウＷＤ_１内に収まらない（図５（ｂ））。そこで、瞳孔位置算出部１１は、口領域ウィンドウＷＤ_１の中心が口元の中心位置から下にずれるように設定することが好ましい。

そして、瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９から得られた顔画像それぞれについて、口元の中心位置Ｍ_Ｃ及び口領域ウィンドウＷＤ_１の位置範囲を算出する。さらに、瞳孔位置算出部１１は、上述した瞳孔の座標の算出と同様にして、カメラ較正の結果を利用して、２つの顔画像それぞれから得られた口元の中心位置Ｍ_Ｃ及び口領域ウィンドウＷＤ_１の位置範囲を、カラーカメラ３のカラー画像中の座標に変換する。そして、瞳孔位置算出部１１は、変換した口元の中心位置Ｍ_Ｃの座標と、変換した口領域ウィンドウＷＤ_１の位置範囲とをデータ解析部７に引き渡す。

データ解析部７は、瞳孔位置算出部１１から引き渡されたカラー画像上の口領域ウィンドウＷＤ_１の位置範囲を参照することにより、口領域ウィンドウＷＤ_１に相当する範囲のカラー画像を抽出する。そして、データ解析部７は、抽出したカラー画像を画像変換して母親Ｍの口を含む正規化口画像を生成する。すなわち、データ解析部７は、本実施形態における口画像生成部として機能する。そして、データ解析部７は、時系列で連続的に取得された顔画像を対象に時系列で連続的に生成された複数の正規化口画像を画像解析することにより、母親Ｍの口の動きのタイミングを計算する。さらに、データ解析部７は、そのタイミング、及びカラー画像中の口元の中心位置Ｍ_Ｃを利用することにより、自閉症の診断結果を生成する。

具体的には、データ解析部７は、口領域ウィンドウＷＤ_１の範囲内のカラー画像を対象に、平行移動処理、拡大処理、縮小処理、及び回転処理を含むアフィン変換を施すことにより、縦横が既定の画素数の正規化口画像を生成する。その際、データ解析部７は、既定の画素数の画像を得るために、必要に応じて、バイリニア補間等の画像補間処理も併せて実行する。さらに、データ解析部７は、時系列で得られた複数フレームの正規化口画像を対象にして、前後のフレーム間で画像差分および絶対値演算を実行することで絶対値差分画像を生成し、その差分画像を２値化を行うことによりフレーム間で唇が動いた部分を抽出することができる。また、データ解析部７は、時系列で得られた差分画像の絶対値を求め、所定回数分（例えば１２０回分）の加算平均等を行った後に２値化を行い、その結果得られた２値化画像の重心を求めれば正確な口元の中心を検出することができる。なお、上述の口領域の重心を求める場合は、瞳孔検出カメラから得られた画像において重心を求め、それをカラー画像中に変換しても用いてもよいし、カラー画像において直接、重心を求めてもよい。さらに、最初は、前者の方法で求め、その後、後者の方法を利用するなどしてもよい。

ここで、瞳孔位置算出部１１は、時系列で瞳孔検出用カメラ９によって取得された複数フレームの顔画像を利用して、顔画像上の口領域ウィンドウＷＤ_１の位置を補正してもよい。すなわち、瞳孔位置算出部１１は、複数フレームの顔画像Ｇ_１上で設定した口領域ウィンドウＷＤ_１の範囲内の顔画像Ｇ_１を対象に、データ解析部７の処理と同様にして正規化口画像を生成する。さらに、瞳孔位置算出部１１は、データ解析部７の上記処理と同様にして、顔画像Ｇ_１上の口元の中心位置を算出し、その位置を口元の中心位置Ｍ_Ｃの座標とする。そして、瞳孔位置算出部１１は、中点の位置Ｐ_Ｍと口元の中心位置Ｍ_Ｃとの距離Ｄ_ＰＭを算出し、距離Ｄ_ＰＭを用いて上記（式３）を逆算することにより、定数ａ_１を補正する。その後、瞳孔位置算出部１１は、後続するフレームの顔画像Ｇ_１の処理においては、上記の補正後のａ_１を利用して口領域ウィンドウＷＤ_１の位置を算出することにより、その位置を補正する。このような複数フレームの顔画像Ｇ_１を対象とした処理においては、瞳孔位置算出部１１は、最初に設定する口領域ウィンドウＷＤ_１のサイズを大きめに設定してもよい。

また、データ解析部７は、瞳孔位置算出部１１が顔画像Ｇ_１上で口元の中心位置Ｍ_Ｃ及び口領域ウィンドウＷＤ_１の位置範囲を算出する代わりに、カラー画像上の座標に変換された左右の瞳孔の位置を用いて、カラー画像上で口元の中心位置Ｍ_Ｃ及び口領域ウィンドウＷＤ_１の位置範囲の両方を算出してもよい。また、データ解析部７は、カラー画像上の座標に変換された左右の瞳孔の位置及び口元の中心位置Ｍ_Ｃを用いて、カラー画像上で口領域ウィンドウＷＤ_１の位置範囲のみを算出してもよい。

次に、上述した自閉症乳幼児診断装置１における瞳孔位置算出部１１及びデータ解析部７を利用した口領域検出方法の手順について説明する。

まず、自閉症乳幼児診断装置１による診断処理が開始されると、時間的に連続してカラーカメラ３及び瞳孔検出用カメラ９による母親Ｍの顔画像が取得される。それに合わせて、注視点検出部２による乳幼児Ａの注視点の計測と、瞳孔位置検出部４による母親Ｍの右瞳孔と左瞳孔の３次元空間内での座標の計測が開始される。その後、瞳孔位置検出部４を構成する瞳孔位置算出部１１により、カラーカメラ３によって取得されるカラー画像上での口元の中心位置Ｍ_Ｃ、及びカラー画像上で口領域ウィンドウＷＤ_１の位置範囲が算出される。さら、データ解析部７によって、口領域ウィンドウＷＤ_１の位置範囲に相当する範囲のカラー画像を用いて正規化口画像が生成される。このような正規化口画像の生成は、カラーカメラ３及び瞳孔検出用カメラ９による顔画像の連続的な取得に応じて、連続して繰り返される。

以上説明した自閉症乳幼児診断装置１による口領域検出方法によれば、母親Ｍの顔を撮像することで顔画像が取得され、その顔画像から右の瞳孔の位置と左の瞳孔の位置とが算出され、それらの位置を基に顔画像における母親Ｍの口領域の位置及びサイズが算出され、算出された口領域に相当する顔画像から正規化口画像が生成される。これにより、顔画像を撮像する画像取得部と母親Ｍの顔との距離が変化したり、母親Ｍが様々入れ替わった場合であっても、正確に母親Ｍの口を含む口領域の画像を得ることができる。なおかつ、正規化された画像を生成することで、その画像に対する自閉症診断のための解析処理も安定して実行させることができる。特に、カラー画像から正規化口画像を生成することで、口の動きの検出等の解析処理の検出精度を向上させることができる。正規化口画像を解析することで母親Ｍの口が動いたタイミングが分かるので、乳幼児Ａの口の動きに対する反応の傾向（口の動きに対する視線方向の傾向）が分析でき、自閉症診断の精度も向上させることができる。一般に、母親Ｍが乳幼児Ａに話しかけたりあやすときには、母親Ｍの口が発声により動くだけでなく、母親の顔が前後及び上下に動いたりするが、そのような状況下でも、自閉症乳幼児診断装置１によれば母親の口領域の画像を実時間で正確に捉えることができる。

ここで、瞳孔位置算出部１１は、複数の顔画像に対応して生成された複数の正規化口画像を用いて特定された口の位置を用いて口領域の位置を補正する。これにより、母親Ｍが様々入れ替わった場合であっても、より正確に口領域の画像を得ることができる。

また、瞳孔位置算出部１１は、瞳孔検出用カメラ９によって撮像された顔画像上の母親Ｍの右の瞳孔の位置と左の瞳孔の位置とを算出し、その顔画像上の口領域の位置及びサイズを算出し、データ解析部７は、口領域内のカラー画像を画像変換することにより正規化口画像を生成する。これにより、顔画像上で口領域の計算が行われるので、計算が簡素化され、安定して口領域の画像を得ることができる。

また、瞳孔位置算出部１１は、顔画像上の右の瞳孔と左の瞳孔との距離を算出し、当該距離から、右の瞳孔及び左の瞳孔を基準とした口領域の位置及び口領域のサイズを算出する。この場合には、画像取得部と母親Ｍの顔との距離が変化した場合に顔画像中の口領域をその距離に応じて正確に切り出すことができる。加えて、顔の大きさが異なる母親Ｍに入れ替わっても顔画像中の口領域をその顔の大きさに応じて正確に切り出すことができる。さらには、母親の画像取得部に対する顔の傾きが変わっても正確に口領域の画像を切り出すことができる。

［第２実施形態］
次に、本発明の第２実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。

すなわち、第２実施形態にかかる瞳孔位置算出部１１は、以下のようにして、瞳孔検出用カメラ９によって取得された顔画像上で口領域ウィンドウの位置及びサイズを算出する。上述した第１実施形態では、口元の中心位置が不明な初期のタイミングでは、対象者によってパラメータａ_１の値が異なるため、口を確実に含む正規化口画像を生成するためには口領域ウィンドウのサイズを大きめに設定する必要がある。また、口の下唇付近の動きが大きくなりがちなので、口を確実に含む正規化口画像を生成するための口領域ウィンドウの位置を、様々な顔形状の対象者に対応して設定するのは難しい。また、対象者の顔の方向が変わった場合にその顔の方向に対応して口ウィンドウの位置を設定することも難しい。特に、顔の左右の傾きだけでなく顔の縦方向及び横方向の回転に対して口ウィンドウの位置を設定することも難しい。正しい位置に口ウィンドウを設定できない場合、特に顔の背景や鼻孔を口ウィンドウ内に含むことが多くなり、誤検出につながりやすくなるか、複雑な画像処理をしなければならなくなる。そこで、本実施形態では、顔画像上で右の鼻孔の位置と左の鼻孔の位置をさらに算出して、それらの位置を利用して口領域ウィンドウの位置及びサイズを算出する。

図６は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、瞳孔位置算出部１１は、顔画像Ｇ_１上で、右瞳孔の位置Ｐ_１及び左瞳孔の位置Ｐ_２に加えて、右の鼻孔の位置Ｎ_１及び左の鼻孔の位置Ｎ_２を算出する。また、瞳孔位置算出部１１は、顔画像Ｇ_１上において、右瞳孔の位置Ｐ_１及び左瞳孔の位置Ｐ_２の間の中点の位置Ｐ_Ｍに加えて、右の鼻孔の位置Ｎ_１及び左の鼻孔の位置Ｎ_２の間の中点の位置Ｎ_Ｍを算出し、中点の位置Ｐ_Ｍと中点の位置Ｎ_Ｍとの間の距離Ｄ_ＰＮを算出する。そして、瞳孔位置算出部１１は、右瞳孔の位置Ｐ_１及び左瞳孔の位置Ｐ_２を結ぶ直線に垂直な位置Ｐ_Ｍを通る直線上において、位置Ｐ_Ｍから下記（式６）で計算される距離Ｄ_ＰＭほど離れた点の位置Ｍ_Ｃを算出し、その位置Ｍ_Ｃを口元の中心の位置とする（ａ_１は予め設定された定数）。この際、瞳孔位置算出部１１は、顔画像から鼻孔位置を検出する手法としては、本願発明者らによる文献「“Face Pose Estimation Based on 3D Detection of Pupils and Nostrils”， Proceedings of the VECIMS 2005 - 2005 IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems,pp.92-97（2005）」に記載の手法を用いる。
Ｄ_ＰＭ＝ａ_１×Ｄ_ＰＮ …（式６）

さらに、瞳孔位置算出部１１は、算出した口元の中心位置Ｍ_Ｃを基準とした位置において、縦横のサイズが左右の瞳孔間の距離Ｗ_Ｐ、及び中点間の距離Ｄ_ＰＮを基に下記（式７）及び下記（式８）で計算されたサイズを有する長方形の口領域ウィンドウＷＤ_２を設定する。すなわち、瞳孔位置算出部１１は、口領域ウィンドウＷＤ_２の水平方向のサイズＨ_Ｍを下記（式７）；
Ｈ_Ｍ＝ａ_２×Ｗ_Ｐ …（式７）
により算出し（ａ_２は予め設定された定数）、口領域ウィンドウＷＤ_２の垂直方向のサイズＶ_ＭＵ，Ｖ_ＭＢを下記（式８）；
Ｖ_ＭＵ＝ａ_３×Ｄ_ＰＮ， Ｖ_ＭＢ＝ａ_４×Ｄ_ＰＮ …（式８）
により算出する（ａ_３，ａ_４は予め設定された定数）。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ_２の基準位置である口元の中心位置Ｍ_Ｃから上限までのサイズＶ_ＭＵと、口元の中心位置Ｍ_Ｃから下限までのサイズＶ_ＭＢとを別に算出する。このように、サイズＨ_Ｍを瞳孔間距離と比例関係にあるとすることで、母親Ｍの頭部の横方向の回転を許容でき、サイズＶ_ＭＵ，Ｖ_ＭＢを中点間の距離Ｄ_ＰＮと比例関係にあるとすることで、母親Ｍの頭部の縦方向の回転を許容できるようになる。

本実施形態によれば、瞳孔位置算出部１１が顔画像Ｇ_１上の母親Ｍの右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、右の瞳孔及び左の瞳孔と、右の鼻孔及び左の鼻孔との位置関係を算出し、当該位置関係から、口領域の位置及び口領域のサイズを算出する。この場合には、母親Ｍの画像取得部に対する姿勢が変わっても、４点の位置関係を用いて口領域を算出することで、顔画像中の口領域を正確に切り出すことができる。特に、母親Ｍの頭部の左右の傾きだけでなく縦方向及び横方向の回転に対しても対応して正規化口画像を生成することができる。

［第３実施形態］
次に、本発明の第３実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。

すなわち、第３実施形態にかかる瞳孔位置算出部１１は、以下のようにして、瞳孔検出用カメラ９によって取得された顔画像上で口領域ウィンドウの位置及びサイズを算出する。上述した第１実施形態及び第２実施形態では、母親Ｍの頭部が瞳孔検出用カメラ９に対して正面を向いているのが前提であった。本実施形態では、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）において、口領域ウィンドウを口の範囲に応じて適切に設定することができる。

図７は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、正面方向に対して斜め方向から見上げるように瞳孔検出用カメラ９を設置した場合、顔画像上では母親Ｍが水平方向を向いていたとしても２個の瞳孔の位置Ｐ_１，Ｐ_２を結ぶ直線に傾きが現れる。同時に、顔画像上では瞳孔の位置Ｐ_１，Ｐ_２を結ぶ直線と、瞳孔間中点と鼻孔間中点Ｎ_Ｍとを結ぶ直線とは必ずしも垂直にはならない。そこで、瞳孔位置算出部１１は、顔画像Ｇ_１上において、右瞳孔の位置Ｐ_１、左瞳孔の位置Ｐ_２、及び鼻孔間の中点の位置Ｎ_Ｍから、それらの重心を顔中心の位置Ｆ_Ｃとして算出し、その顔中心の位置Ｆ_Ｃから真下の位置であって、線分Ｐ_１，Ｐ_２上から下記（式９）で計算される距離Ｄ´_ＰＭの位置を口元の中心の位置Ｍ_Ｃと算出する（ａ_１は予め設定された定数、Ｄ´_ＰＮは、線分Ｐ_１Ｐ_２と線分Ｎ_１Ｎ_２との垂直方向の距離）。
Ｄ´_ＰＭ＝ａ_１×Ｄ´_ＰＮ …（式９）

さらに、瞳孔位置算出部１１は、算出した口元の中心位置Ｍ_Ｃを基準とした位置において、縦横のサイズが左右の瞳孔間の水平方向の距離Ｗ´_Ｐ、及び垂直方向の距離Ｄ´_ＰＮを基に下記（式１０）及び下記（式１１）で計算されたサイズを有する平行四辺形ＡＢＣＤの口領域ウィンドウＷＤ_３を設定する。ここで、平行四辺形ＡＢＣＤは、辺ＡＤ，ＢＣが線分Ｐ_１Ｐ_２と平行になり、辺ＡＢ，ＣＤが垂直方向となるように設定される。具体的には、瞳孔位置算出部１１は、口領域ウィンドウＷＤ_３の口元の中心位置Ｍ_Ｃから辺ＡＢ及び辺ＣＤまでの水平方向のサイズＨ´_Ｍ／２を下記（式１０）；
Ｈ_Ｍ＝ａ_２×Ｗ´_Ｐ …（式１０）
により算出し（ａ_２は予め設定された定数、Ｗ´_Ｐは、左右の瞳孔間の水平方向の距離）、口領域ウィンドウＷＤ_３の口元の中心位置Ｍ_Ｃからの垂直方向のサイズＶ´_ＭＵ，Ｖ´_ＭＢを下記（式１１）；
Ｖ´_ＭＵ＝ａ_３×Ｄ´_ＰＮ， Ｖ´_ＭＢ＝ａ_４×Ｄ´_ＰＮ …（式１１）
により算出する（ａ_３，ａ_４は予め設定された定数）。このとき、瞳孔位置算出部１１は、口元の中心位置Ｍ_Ｃから上限までの垂直方向のサイズＶ´_ＭＵと、口元の中心位置Ｍ_Ｃから下限までの垂直方向のサイズＶ´_ＭＢとを別に算出する。

これに対して、データ解析部７は、カラー画像上の口領域ウィンドウＷＤ_３の位置範囲を基に正規化口画像を生成する際には、口領域ウィンドウＷＤ_３に相当する範囲のカラー画像を抽出して、抽出したカラー画像を対象に拡大・縮小処理、及びスキュー（せん断）処理を含むアフィン変換を施すことにより、長方形の正規化口画像を生成する。

このような第３実施形態によれば、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合であっても（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）、口領域ウィンドウを母親Ｍの口の範囲を含むように適切に設定することができる。

［第４実施形態］
次に、本発明の第４実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。

すなわち、第４実施形態にかかる瞳孔位置算出部１１は、以下のようにして、２つの瞳孔検出用カメラ９によって取得された顔画像を用いて３次元空間内で口領域ウィンドウの位置及びサイズを算出する。上述した第３実施形態では、母親Ｍの頭部が瞳孔検出用カメラ９に対して斜めを向いている場合にも対応していたが、頭部のカメラに対する傾きに対応して口領域ウィンドウを設定していなかった。本実施形態では、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）において、頭部の傾きに対応して口領域ウィンドウを適切に設定することができる。

図８は、瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見たイメージを示す図、図９は、瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔のほぼ正面方向から見たイメージを示す図である。瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９によって得られた顔画像を利用して、右の瞳孔および左の瞳孔の世界座標系における３次元空間内での座標を算出するとともに、同様にして、右の鼻孔および左の鼻孔の世界座標系における３次元空間内での３次元座標を算出する。そして、これらの図に示すように、世界座標系の座標を３次元空間内での顔座標系（基準座標系）Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆの座標に変換することにより、顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆにおける右の瞳孔の位置Ｐ_１、左の瞳孔の位置Ｐ_２、右の鼻孔の位置Ｎ_１、および左の鼻孔の位置Ｎ_２を算出する。この顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆは、その原点を左右の鼻孔間の中点の位置Ｎ_Ｍとし、Ｘ_Ｆ軸を左右の鼻孔を結ぶ直線（軸）Ｎ_１Ｎ_２に一致するようにし、Ｙ_Ｆ軸を中点の位置Ｎ_Ｍを通り左右の瞳孔間を結ぶ線分Ｐ_１Ｐ_２に垂直とするように設定される。このような顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆにおいては、口の領域が固定されているため、頭部が回転または移動しても口領域の座標は変化しない。

そこで、瞳孔位置算出部１１は、顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆを基準にして口領域ウィンドウＷＤ_４の位置を算出する。具体的には、Ｘ_ＦＹ_Ｆ平面に対して角度δだけ傾斜した原点を通る平面を想定し、その平面から顔の後方に距離Ｄ_ｇａｐだけ離れた平面上の所定位置に口領域ウィンドウＷＤ_４の位置を設定する。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ_４の位置を、顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆ上の原点から距離Ｖｇａｐだけ顔の下方向に離れ、口領域ウィンドウＷＤ_４の縦横方向のサイズＨ_Ｍ，Ｖ_ＭＵ，Ｖ_ＭＢが上記（式７）及び上記（式８）で算出した値になるように設定する。また、瞳孔位置算出部１１は、瞳孔間を結ぶ線分Ｐ_１Ｐ_２と、鼻孔間を結ぶ線分Ｎ_１Ｎ_２と、口領域ウィンドウＷＤ_４の辺ＡＤ及び辺ＢＣとは平行になるように設定する。ただし、眼球回転（視線移動）が発生すると瞳孔位置Ｐ_１，Ｐ_２は上下左右に移動する。さらに、瞳孔位置算出部１１は、口領域ウィンドウＷＤ_４の顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆでの座標を、世界座標系を経由してカラー画像上での座標に変換する。

これに対して、データ解析部７は、３次元空間内の座標からカラー画像上の座標に変換された口領域ウィンドウＷＤ_４の位置範囲を基に、その位置範囲に相当する箇所のカラー画像を用いて正規化口画像を生成する。すなわち、データ解析部７は、カラー座標上の座標に変換された口領域ウィンドウＷＤ_４の４つの頂点Ａ，Ｂ，Ｃ，Ｄの座標を取得し、それらの頂点に囲まれた四角形領域内の画像を画像変換することにより正規化口画像を生成する。その際には、カラー座標上の座標に変換された口領域ウィンドウＷＤ_４は形状が歪んでいるので、所定の縦横の画素サイズの長方形の正規化口画像を生成するために射影変換を実行する。射影変換の手法は、文献「“認識で欠かせない！実用画像補正テクニック”、Ｉｎｔｅｒｆａｃｅ ２０１４年１月号、ｐ１５３−１５７」に記載の手法が採用される。

また、データ解析部７は、次のようにして正規化口画像を生成してもよい。図１０に示すように、データ解析部７は、３次元空間内での口領域ウィンドウＷＤ_４の長方形の範囲を、辺ＡＤ間を（ｍ−１）等分、辺ＡＢ間を（ｎ−１）等分（ｍ、ｎは所定の整数）するように区切ることにより、２次元状のグリッドで分けられたｍ×ｎ個の３次元空間内での座標を算出する。さらに、データ解析部７は、グリッドで区切られた３次元空間内のｍ×ｎ個の座標を順次カラー画像上の座標に変換し、変換された座標に相当する位置のカラー画像の画素値を求め、それらの画素値を順次ｍ×ｎの２次元配列の画像データに割り当てることで正規化口画像Ｇ_２を生成する。このとき、データ解析部７は、変換したカラー画像上の座標は必ずしもカラー画像の画素の位置に一致しないため、必要に応じて、バイリニア補間などの補間処理を行うことによりその座標に相当する位置の画素値を求める。

なお、ここでは、左右の瞳孔と左右の鼻孔の３次元座標を検出して、瞳孔検出用カメラ９で取得された白黒画像の顔画像Ｇ_１を利用して正規化口画像を生成してもよい。

このような第４実施形態によれば、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合において、頭部の傾きに対応して口領域ウィンドウを適切に設定することができる。また、顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆで口領域ウィンドウＷＤ_４の位置範囲を設定する際に、Ｙ_Ｆ軸を鼻孔間の中点位置Ｎ_Ｍから瞳孔間を結ぶ線分Ｐ_１Ｐ_２上の点Ｐ_Ｐに下した垂線と一致するように設定することにより、視線が動いても顔姿勢に対する顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆが安定して設定される。これは、鼻孔間の中心は頭部に対して固定されているのに対し、２つの瞳孔はそれらを結ぶ線の平行性は保ちながら上下左右に移動すると考えられるためである。そのため、頭部がどのように回転あるいは移動しても、鼻孔中心を原点とした顔座標系Ｘ_Ｆ−Ｙ_Ｆ−Ｚ_Ｆを用いて口領域が正確に設定される。

［第５実施形態］
次に、本発明の第５実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第４実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。

すなわち、第５実施形態にかかる瞳孔位置算出部１１は、２つの瞳孔検出用カメラ９によって取得された顔画像を用いて３次元空間内で曲面によって形成される口領域ウィンドウの位置及びサイズを算出する。図１１（ａ）は、本実施形態にかかる瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見た図であり、図１１（ｂ）は、本実施形態にかかる瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の上方向から見た図である。これらの図に示すように、瞳孔位置算出部１１は、第４実施形態のように長方形の口領域ウィンドウを算出する代わりに、円柱の側面形状を有する口領域ウィンドウを算出する。

詳細には、瞳孔位置算出部１１は、Ｙ_Ｆ軸に対してＹ_ＦＺ_Ｆ平面に沿って角度δだけ傾斜した線に沿った中心軸を有する所定半径Ｒ_１の円柱曲面上に、口領域ウィンドウＷＤ_５の位置を設定する。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ_５の位置範囲を、鼻孔間中点Ｎ_Ｍから顔の下方に距離Ｖ_ｇａｐだけ離れ、顔の上下方向（中心軸方向）に所定のサイズＶ_Ｍを有し、円柱側面の顔の水平方向の所定の中心角θ_１に対応する範囲に設定する。

また、データ解析部７は、３次元空間内での口領域ウィンドウＷＤ_５の円柱面上の範囲を、横方向に沿って（ｍ−１）等分、上下方向に（ｎ−１）等分（ｍ、ｎは所定の整数）するように区切ることにより、２次元状のグリッドで分けられたｍ×ｎ個の３次元空間内での座標を算出する。このとき、口領域ウィンドウＷＤ_５を横方向に沿って区切る際には、中心角を等角度で区切ることができる。その後、第４実施形態と同様にして、データ解析部７は、カラー画像の画素値を用いて正規化口画像Ｇ_２を生成する。

このような構成の第５実施形態によれば、平面の口領域ウィンドウを用いる場合に比べて、より高精度に正規化口画像を生成することができる。つまり、口領域ウィンドウを円柱側面上に張り付いていると仮定することで、実際の顔形状により一致して口の領域を正確に定めることができる。

［第６実施形態］
次に、本発明の第６実施形態にかかる装置の構成について説明する。本実施形態では、第１〜第５実施形態の構成の装置を口の動きを検出することにより読唇、すなわち会話内容の認識を実行する認識装置に応用する。本実施形態にかかる認識装置の構成は、第１〜第５実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。

すなわち、本実施形態の認識装置は、図１に示す構成のうち、認識対象者Ｓを撮影するカラーカメラ３と、認識対象者Ｓの瞳孔の空間座標を検出するための瞳孔位置検出部４と、光源発光回路６と、データ解析部７とを備える。データ解析部７は、上述した第１〜第５実施形態の手法によって得られた複数の時系列の正規化口画像の画像差分を用いて、認識対象者Ｓの唇の動きを検出する。

詳細には、データ解析部７は、画像差分により得られた差分画像を対象に、差分値の絶対値をＰタイル法等により予め設定された適切な閾値で二値化することにより、二値化画像を生成する。そして、データ解析部７は、取得した二値化画像中のエッジを検出することにより、上唇の下の境界ライン（上唇のエッジ）と、下唇の上の境界ライン（下唇のエッジ）を検出する。さらに、データ解析部７は、上唇のエッジと下唇のエッジとの距離を計測することにより、口の開き具合を数値化して検出する。このとき、データ解析部７は、正規化画像における口の横方向に沿った複数個所でエッジ間の距離を数値化する。例えば、図１２（ａ）及び図１２（ｂ）には、データ解析部７によるエッジ計測の対象となる正規化口画像の一例を示している。図１２（ａ）に示すように、認識対象者Ｓが「あ」、「い」を発音した際には口が横に広がった状態となり、図１２（ｂ）に示すように、認識対象者Ｓが「お」を発音した際には小さく丸まった状態となる。データ解析部７は、検出した上唇のエッジＥ_Ｕ及び下唇のエッジＥ_Ｌの距離を二値化画像において予め規定された横方向座標の５か所（図１２（ａ）及び図１２（ｂ）の矢印の箇所）で算出することにより、口の開き方の形状を認識する。そして、データ解析部７は、時系列の正規化画像に対して順次得られた複数の二値化画像に対して口形状の認識を繰り返すことにより、口の開き方の形状の時系列変化を認識する。その結果、データ解析部７は、認識対象者Ｓの会話内容を認識することができる。ここで、データ解析部７は、正規化画像を対象に認識処理を実行することで、図１２（ｃ）に示すように、カラーカメラ３で得られた画像において認識対象者Ｓの顔が回転していたような場合であっても、画像上で検出された認識対象者Ｓの瞳孔の位置Ｐ_１，Ｐ_２を基準に切り出された正規化口画像を基に、口の２つのエッジＥ_Ｕ、Ｅ_Ｌ間の距離を測る方向及び位置を適切に定めることができる。

このような第６実施形態によれば、認識対象者Ｓの口の開き方の形状を時系列に認識することができる。例えば、「お」と発音したときの口が小さく丸まった状態と、「あ」、「い」と発音したときの口が横に広がった状態を正確に区別して認識することができる。また、「わ」と発音したときに最初に口を尖らせてその後に口を開く状態も認識することができる。その結果、発声により唇が動作する場合においても、口の位置が安定して切り出された正規化口画像を用いることにより、正確に認識対象者Ｓの唇の動きを検出することができる。ただし、認識対象者Ｓの照明状態が悪ければ、必ずしも、上唇の下の境界ライン（上唇のエッジ）と、下唇の上の境界ライン（下唇のエッジ）は検出できない場合も考えられる。例えば、下唇に関しては、下唇の下の境界ラインと上の境界ラインのほぼ中間位置などが検出される場合である。その場合でも、下唇の動きが検出できるだけでなく、前述のような形状もおよそ検出できる。さらに、本手法によれば、いつも同じ位置およびサイズの正規化口画像が得られるので、特にカラー画像からは、画像処理範囲を狭めながら、効率的な画像処理、または、色を考慮した画像処理が容易であり、唇のエッジが容易に検出できる。

本発明は、上述した実施形態に限定されるものではない。

上記第１〜第６実施形態においては、２台の瞳孔位置検出用光学系８を用いて瞳孔或いは鼻孔の３次元空間内の３次元座標を検出していたが、１台のカメラを含む光学系で瞳孔或いは鼻孔の３次元座標を検出してもよい。このような構成としては、本発明者による特許第４４３１７４９号に記載の構成を採用できる。この構成の場合は、２台の瞳孔位置検出用光学系８を左右に離して配置して、これらの検出結果を統合することにより、母親Ｍあるいは認識対象者Ｓの顔姿勢の広い範囲で正規化口画像を生成することができる。その結果、母親Ｍあるいは認識対象者Ｓの顔の左右の大きな回転にも対応できる。母親Ｍあるいは認識対象者Ｓの顔の正面から大きく外れた方向から顔画像を撮影しその顔画像から正規化された口画像を生成すると、口角のあたりにおいては正規化された画像が正確ではない。しかし、その場合でも、第５実施形態のように曲面の口領域ウィンドウを設定することで精度を改善できる。

このように瞳孔位置検出用光学系を１台とした場合には、１つの光学系のみで白黒画像の正規化口画像を得ることができる。また、１台の瞳孔位置検出用光学系と１台のカラーカメラを用いることで、カラー画像の正規化口画像を得ることもできる。また、１台のカメラとして分割された画素ごとにカラー画像と白黒画像を得ることができるカメラを用いれば、１台のカメラでカラー画像の正規化口画像を得ることができる。このようにカラー画像の正規化口画像を得ることで、より正確に口の動きを検出できる。

第１実施形態に係るデータ解析部７は、カラー画像を用いて正規化口画像を生成する代わりに、瞳孔位置算出部１１によって設定された口領域ウィンドウＷＤ_１の位置範囲内の顔画像Ｇ_１を用いて、白黒画像から正規化口画像を生成してもよい。

また、上記第４および第５実施形態においては、口領域ウィンドウとして平面状又は円柱の側面形状のウィンドウを算出していたが、このような形状には限定されず、様々な曲面、平面、あるいはそれらの組み合わせで構成されるウィンドウを算出してもよい。

ここで、上記実施形態において、画像取得部は、複数の顔画像を連続して取得し、領域算出部は、複数の顔画像に対応して生成された複数の正規化口画像を用いて、複数の正規化口画像における対象者の口の位置を特定し、特定した口の位置を用いて口領域の位置を補正することとしてもよい。この場合、対象者が様々入れ替わった場合であっても、より正確に口領域の画像を得ることができる。

また、瞳孔位置算出部は、顔画像上の対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、領域算出部は、顔画像上の口領域の位置及びサイズを算出し、口画像生成部は、口領域内の顔画像を画像変換することにより正規化口画像を生成することとしてもよい。この場合には、顔画像上で口領域の計算が行われるので、計算が簡素化され、安定して口領域の画像を得ることができる。

また、領域算出部は、顔画像上の右の瞳孔と左の瞳孔との距離を算出し、当該距離から、右の瞳孔及び左の瞳孔を基準とした口領域の位置及び口領域のサイズを算出することとしてもよい。この場合には、画像取得部と対象者の顔との距離が変化した場合に顔画像中の口領域をその距離に応じて正確に切り出すことができる。加えて、顔の大きさが異なる対象者に入れ替わっても顔画像中の口領域をその顔の大きさに応じて正確に切り出すことができる。

また、瞳孔位置算出部は、顔画像上の対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、領域算出部は、右の瞳孔及び左の瞳孔と、右の鼻孔及び左の鼻孔との位置関係を算出し、当該位置関係から、口領域の位置及び口領域のサイズを算出することとしてもよい。この場合には、対象者の画像取得部に対する姿勢が変わっても、４点の位置関係を用いて口領域を算出することで、顔画像中の口領域を正確に切り出すことができる。

また、瞳孔位置算出部は、３次元空間内での対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、領域算出部は、３次元空間内での口領域の位置及びサイズを算出し、口画像生成部は、口領域に相当する箇所の顔画像を用いることにより正規化口画像を生成することとしてもよい。この場合、対象者の画像取得部に対する姿勢が変わっても、３次元空間内で口領域を算出することで、顔画像中の口領域をより正確に切り出すことができる。

また、瞳孔位置算出部は、３次元空間内での対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、領域算出部は、右の瞳孔、左の瞳孔、右の鼻孔、及び左の鼻孔の位置関係から基準座標系を決定し、当該基準座標系を基準にして口領域の位置を算出することとしてもよい。この場合は、対象者の画像取得部に対する姿勢が変わっても、４点の３次元の位置関係を用いて口領域を算出することで、顔画像中の口領域をより正確に切り出すことができる。

さらに、領域算出部は、右の鼻孔と左の鼻孔とを結ぶ軸を第１の座標軸とし、右の鼻孔と左の鼻孔との中点を通り、右の瞳孔と左の瞳孔とを結ぶ線に対する垂線を第２の座標軸とした座標系を決定することでもよい。こうすれば、対象者の視線変化により目が動いた場合であっても安定して対象者の顔姿勢が特定でき、その結果、視線変化にかかわらず顔画像中の口領域を正確に切り出すことができる。

また、口画像生成部は、口領域に相当する箇所の顔画像を射影変換することにより正規化口画像を生成することでもよい。こうすれば、画像取得部に対する対象者の顔姿勢が変化しても、顔画像から正規化された口画像を生成することができる。

また、口画像生成部は、口領域をグリッド分けした複数の位置を顔画像上の複数の座標に変換し、変換した複数の座標のそれぞれにおける顔画像の画素値を割り当てることにより正規化口画像を生成することでもよい。こうすれば、画像取得部に対する対象者の顔姿勢が変化しても、顔画像から正規化された口画像を生成することができる。

さらに、領域算出部は、円柱の側面形状の口領域の位置及びサイズを算出することでもよい。こうすれば、対象者の顔形状により一致した口画像を生成することができる。

また、上記形態の口領域検出方法は、正規化口画像を利用することによって対象者以外の被験者の注視点と口領域との関係を演算する自閉症診断のためのステップをさらに備えていてもよい。また、正規化口画像を利用することによって対象者の上唇と下唇との間の距離を基に対象者の口形状の認識を行う読唇のためのステップをさらに備えていてもよい。

本発明の一側面は、口領域検出装置及び口領域検出方法を使用用途とし、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出するものである。

Ｍ…母親（対象者）、Ｓ…認識対象者、Ｎ_１，Ｎ_２…左右の鼻孔の位置、Ｐ_１，Ｐ_２…左右の瞳孔の位置、ＷＤ_１，ＷＤ_２，ＷＤ_３，ＷＤ_４，ＷＤ_５…口領域ウィンドウ、１…自閉症乳幼児診断装置、３…カラーカメラ（画像取得部）、７…データ解析部（口画像生成部）、９…瞳孔検出用カメラ（画像取得部）、１１…瞳孔位置算出部（領域算出部）。

Claims (14)

1. 対象者の顔を撮像することで顔画像を取得する画像取得部と、
   前記顔画像を基に前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出する瞳孔位置算出部と、
   前記右の瞳孔の位置及び前記左の瞳孔の位置を基に、前記対象者の口を含む領域である口領域の位置及びサイズを算出する領域算出部と、
   前記口領域に相当する範囲の前記顔画像を用いて、前記対象者の口を含む既定の画素数の正規化口画像を生成する口画像生成部と、
   を備える口領域検出装置。
2. 前記画像取得部は、複数の前記顔画像を連続して取得し、
   前記領域算出部は、前記複数の顔画像に対応して生成された複数の正規化口画像を用いて、前記複数の正規化口画像における前記対象者の口の位置を特定し、特定した前記口の位置を用いて前記口領域の位置を補正する、
   請求項１記載の口領域検出装置。
3. 前記瞳孔位置算出部は、前記顔画像上の前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、
   前記領域算出部は、前記顔画像上の前記口領域の位置及びサイズを算出し、
   前記口画像生成部は、前記口領域内の前記顔画像を画像変換することにより前記正規化口画像を生成する、
   請求項１又は２記載の口領域検出装置。
4. 前記領域算出部は、前記顔画像上の前記右の瞳孔と前記左の瞳孔との距離を算出し、当該距離から、前記右の瞳孔及び前記左の瞳孔を基準とした前記口領域の位置及び前記口領域のサイズを算出する、
   請求項３記載の口領域検出装置。
5. 前記瞳孔位置算出部は、前記顔画像上の前記対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、
   前記領域算出部は、前記右の瞳孔及び前記左の瞳孔と、前記右の鼻孔及び前記左の鼻孔との位置関係を算出し、当該位置関係から、前記口領域の位置及び前記口領域のサイズを算出する、
   請求項３記載の口領域検出装置。
6. 前記瞳孔位置算出部は、３次元空間内での前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、
   前記領域算出部は、３次元空間内での前記口領域の位置及びサイズを算出し、
   前記口画像生成部は、前記口領域に相当する箇所の前記顔画像を用いることにより前記正規化口画像を生成する、
   請求項１又は２記載の口領域検出装置。
7. 前記瞳孔位置算出部は、３次元空間内での前記対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、
   前記領域算出部は、前記右の瞳孔、前記左の瞳孔、前記右の鼻孔、及び前記左の鼻孔の位置関係から基準座標系を決定し、当該基準座標系を基準にして前記口領域の位置を算出する、
   請求項６記載の口領域検出装置。
8. 前記領域算出部は、前記右の鼻孔と前記左の鼻孔とを結ぶ軸を第１の座標軸とし、前記右の鼻孔と前記左の鼻孔との中点を通り、前記右の瞳孔と前記左の瞳孔とを結ぶ線に対する垂線を第２の座標軸とした座標系を決定する、
   請求項７に記載の口領域検出装置。
9. 前記口画像生成部は、前記口領域に相当する箇所の前記顔画像を射影変換することにより前記正規化口画像を生成する、
   請求項６〜８のいずれか１項に記載の口領域検出装置。
10. 前記口画像生成部は、前記口領域をグリッド分けした複数の位置を前記顔画像上の複数の座標に変換し、変換した前記複数の座標のそれぞれにおける前記顔画像の画素値を割り当てることにより前記正規化口画像を生成する、
    請求項６〜８のいずれか１項に記載の口領域検出装置。
11. 前記領域算出部は、円柱の側面形状の口領域の位置及びサイズを算出する、
    請求項６〜１０のいずれか１項に記載の口領域検出装置。
12. 画像取得部が、対象者の顔を撮像することで顔画像を取得するステップと、
    瞳孔位置算出部が、前記顔画像を基に前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出するステップと、
    領域算出部が、前記右の瞳孔の位置及び前記左の瞳孔の位置を基に、前記対象者の口を含む領域である口領域の位置及びサイズを算出するステップと、
    口画像生成部が、前記口領域に相当する範囲の前記顔画像を用いて、前記対象者の口を含む既定の画素数の正規化口画像を生成するステップと、
    を備える口領域検出方法。
13. 前記正規化口画像を利用することによって前記対象者以外の被験者の注視点と前記口領域との関係を演算する自閉症診断のためのステップをさらに備える、
    請求項１２記載の口領域検出方法。
14. 前記正規化口画像を利用することによって前記対象者の上唇と下唇との間の距離を基に前記対象者の口形状の認識を行う読唇のためのステップをさらに備える、
    請求項１２記載の口領域検出方法。

Images