JP6307873B2 - 対象線検出装置、方法、及びプログラム - Google Patents

Description

本発明は、対象線検出装置、対象線検出方法、及び対象線検出プログラムに関する。

従来、顔写真画像における両目の夫々の位置を検出し、両目の夫々の位置に基づいて、顎の部位と顎の近傍領域とからなる顎範囲を推定し、非肌色画素を除去した顎範囲内において、顎の位置を検出する画像処理方法が提案されている。この画像処理方法では、推定した顎範囲内の各画素の画素値を、顔の縦方向に沿った軸に対して射影を行って、軸方向の高さ毎の射影情報を得る。そして、射影情報に基づいて、高さ毎のエッジ強度を求め、最も大きいエッジ強度を有する高さが対応する画素の位置を顎の位置として決定している。

また、与えられたカラー画像から顎の位置を算出する顎位置算出装置が提案されている。この装置では、カラー画像から肌色を有する顔を検出し、検出された顔に基づいて、顔に含まれる両目の中心位置および口の中心位置から基準線を算出する。そして、両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係を示すデータを取得し、位置関係を示すデータと算出された基準線から顔の顎の位置である率を算出する。さらに、基準線上に肌色の画素が存在する率を算出し、更に基準線上の輝度変化の率を算出し、算出されたそれぞれの率を組み合わせた結果から、顎の位置を算出している。

また、元画像データの画素ごとに周辺画素との輝度差を求め、輝度の勾配に基づいて、輪郭画像データにおけるその画素の輝度を決定するための輪郭度を評価する画像処理装置が提案されている。この画像処理装置では、輝度の勾配の絶対値が閾値よりも大きい画素の輪郭度を、輝度の勾配の傾き方向に応じて所定の方向に移動させる。

特開２００６−１３３８２４号公報 特開２００９−０８６８２４号公報 特開２００８−０８３８２０号公報

顎位置を検出する従来技術では、エッジ強度や輝度変化率を用いて顎位置を検出しているが、検出対象である顎の近くに、例えば、ほくろ、しみ、しわなど、検出対象以外にエッジ強度や輝度変化率が高くなる箇所が存在する場合もある。このような場合には、検出対象以外の箇所のエッジ強度や輝度変化率が高い部分を、検出対象である顎として誤検出する可能性がある。

また、輝度勾配を用いる従来技術は、輝度勾配の強度が閾値を超えるところを輪郭として取り出す方式である。しかし、例えば、顎やほうれい線などの輝度のコントラストが弱い箇所では、検出対象を検出できない場合がある。

一つの側面として、色差や輝度のコントラストが弱い箇所でも、 精度良く検出対象を示す線を検出することが目的である。

一つの態様では、入力画像の輝度成分から得られる輝度画像において、輝度勾配が第１方向である第１画素と隣接する第２画素の輝度勾配が前記第１方向とは反対の第２方向の場合、前記第１画素又は前記第２画素を変化点として検出する。そして、所定距離以内に存在する前記変化点同士を結んだ線の形状及び長さの少なくとも一方に基づいて、前記変化点同士を結んだ線から、検出対象を示す線を抽出する。

一つの側面として、色差や輝度のコントラストが弱い箇所でも、 精度良く検出対象を示す線を検出することができる、という効果を有する。

第１実施形態に係る対象線検出装置の機能的構成を示すブロック図である。 輝度勾配の算出を説明するための図である。 顎を示す線の検出を説明するための図である。 結合線の抽出を説明するための図である。 結合線リストの一例を示す図である。 第１実施形態に係る対象線検出装置として機能するコンピュータの概略構成を示すブロック図である。 第１実施形態における対象線検出処理の一例を示すフローチャートである。 候補抽出処理の一例を示すフローチャートである。 最下座標抽出処理の一例を示すフローチャートである。 前半部分チェック処理の一例を示すフローチャートである。 後半部分チェック処理の一例を示すフローチャートである。 第２実施形態に係る対象線検出装置の機能的構成を示すブロック図である。 顎領域の推定を説明するための図である。 第２実施形態における対象線検出処理の一例を示すフローチャートである。 顔画像のサイズまたはフィルタサイズの変更を説明するための図である。 顔領域のサイズとフィルタサイズとの対応関係を定めたテーブルの一例を示す図である。 フィルタサイズ変更処理の一例を示すフローチャートである。 画像サイズ変更処理の一例を示すフローチャートである。 ほうれい線を示す線の検出を説明するための図である。 第４実施形態における対象線検出処理の一例を示すフローチャートである。

以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。

＜第１実施形態＞
まず、第１実施形態について説明する。第１実施形態では、人の顔画像から、検出対象である顎を示す線を検出する場合について説明する。

例えば美容支援の分野などにおいて、人の顔画像から顔の部位を検出し、または人手で選択し、各部位間の距離などに基づいて、顔のバランスを測定することなどが行われている。顔のバランスの測定の一例としては、顔画像から髪の生え際、顎、顔の横部分の輪郭を検出し、生え際から顎までの長さと顔の横幅との比が理想的な数値（例えば、１．４６）に近いかどうかを測定する、というものがある。

上記のような測定において、髪の生え際や顔の横部分の輪郭は、顔の部分と髪の毛の部分や背景との間に生じる色や輝度の相違に基づいて、検出することができる。一方、顎の場合は、顎に沿った線より上の顔の部分と、顎に沿った線より下の首の部分とは、いずれも肌色であり、両者に色の相違が少ない。また、顎は、目などと比べ、明確なコントラストを示す箇所でもないため、エッジ強度が弱い。そのため、髪の生え際や顔の横部分の輪郭を検出するような方式で、顎を検出することは困難である。

また、エッジ抽出の手法を応用し、エッジ抽出フィルタの結果において、顎を検出するために予め定めた閾値の範囲内にエッジ強度がある画素の集まりを検出する手法も考えられる。しかし、エッジ強度は、撮影時の照明環境や背景の状況等の影響を受けるため、顎を検出可能な閾値を予め設定しておくことは困難である。なお、顎に限らず、例えばほうれい線など、被写体の凹凸に応じて生じる線であり、画像上での色差や輝度のコントラストが小さい箇所における線を検出対象とする場合には、同様の問題が生じる。

ここで、例えば上記のような顔のバランス測定を行うための顔画像は、多灯照明が可能な撮影スタジオなどではなく、一般的な室内照明のように、前方上方向から光が当たった照明環境において撮影されたものである場合が多い。このように、一方向から光が当たった照明環境で撮影した顔画像では、顔の凹凸に対する光の当たり具合の相違により、領域内の所定方向に向かって輝度が上昇する領域と、所定方向に向かって輝度が低下する領域とが存在する。具体的には、領域が顔の下方向に向かうほど前面に突き出る面の場合には、顔の上から下に向かって輝度が上昇し、領域が顔の下方向に向かうほど背後に後退する面の場合には、顔の上から下に向かって輝度が低下する。

例えば、顎を含む部分では、顎に沿った線より上の顔の領域と、顎に沿った線より下の首の領域とでは、光の当たり具合が相違する。その結果、顔の上から下に向かって輝度が上昇する領域と、顔の上から下に向かって輝度が低下する領域との境界が、画像上の顎を示す線上に表れることになる。

本実施形態では、この点に着目して、画像上での色差や輝度のコントラストが小さい箇所における検出対象を示す線を検出する。

図１に示すように、第１実施形態に係る対象線検出装置１０は、画像入力部１２、検出部１４、抽出部１６、及び検出結果出力部１８を備える。

画像入力部１２は、人物の顔を含む領域が撮影された顔画像が対象線検出装置１０に入力されると、入力された顔画像を受け付け、後段の検出部１４へ受け渡す。また、画像入力部１２は、従来既知の手法により、入力された顔画像から顔領域の検出を行うことで、顔の上下方向を特定し、顔の上下方向と顔画像の上下方向とが一致するように顔画像を回転させる。すなわち、画像入力部１２は、９０°横向きの顔画像が入力された場合には、顔画像を右または左に９０°回転させる。顔画像は、カラー画像であっても、モノクロ画像であってもよい。なお、本実施形態では、前方上方向から光が当たった照明環境において撮影され顔画像が入力されることを前提として説明する。

検出部１４は、画像入力部１２から受け渡された顔画像から、輝度成分のみを抽出した輝度画像を生成する。また、検出部１４は、輝度画像の各画素について、縦方向（顔画像の上下方向）の輝度勾配強度を算出する。具体的には、検出部１４は、図２に示すように、輝度画像６１に対して、所定サイズ（図２の例では３×３画素サイズ）の縦方向勾配フィルタ７０を適用する。なお、ここでは、画像入力部１２により、顔の上下方向と顔画像の上下方向とを一致させているが、一致していない場合には、検出部１４は、縦方向勾配フィルタ７０の向きを、顔画像における顔の上下方向に一致するように回転させてから適用してもよい。

上述のように、本実施形態では、前方上方向から光が当たった照明環境において撮影され顔画像を前提としている。そのため、図２に示すような縦方向勾配フィルタ７０を適用することにより、ある画素から見て下方向の画素に向かうほど輝度が上昇する場合、すなわち輝度勾配が下方向（顔の上から下へ向かう方向）となる場合、その画素の輝度勾配強度は正の値（＋）となる。一方、ある画素から見て上方向の画素に向かうほど輝度が上昇する場合、すなわち輝度勾配が上方向（顔の下から上へ向かう方向）となる場合、その画素の輝度勾配強度は負の値（−）となる。輝度勾配強度が正の値の画素は、その画素に対応する箇所を含む顔の面が、顔の下方向に向かうほど前面に突き出ている箇所である。一方、輝度勾配強度が負の値の画素は、その画素に対応する箇所を含む顔の面が、顔の下方向に向かうほど背後に後退している箇所である。

なお、上述の上方向及び下方向は、開示の技術の第１方向及び第２方向の一例である。第１方向及び第２方向は、上方向及び下方向に限定されるものではなく、検出対象に応じて異なる。従って、検出対象に応じた方向の勾配フィルタを適用して、検出対象に応じた第１方向及び第２方向の輝度勾配強度を算出すればよい。具体的には、検出対象を示す線と交差する方向の勾配フィルタを適用すればよい。

検出部１４は、図３に示すように、輝度画像６１に縦方向勾配フィルタ７０を適用したフィルタ結果から、輝度勾配強度が正の値の画素、負の値の画素、及びゼロの画素の三値で表した三値画像６２を生成する。例えば、検出部１４は、輝度勾配強度が正の値の画素を１（白）、負の値の画素を−１（グレー）、ゼロの値の画素を０（黒）とすることができる。

また、検出部１４は、フィルタ結果からノイズ成分を除去するために、フィルタ結果を示す三値画像６２において、画素値が同一の隣接する画素同士をグルーピングする。検出部１４は、図３に示すように、フィルタ結果を示す三値画像６２において、グルーピングした領域の面積が所定サイズ以下の小領域に含まれる画素の画素値を０にすることにより、小領域を除去した三値画像６３を生成する。

図３に示すように、フィルタ結果を示す三値画像６２または小領域を除去した三値画像６３では、顎を含む部分において、グレー画素（輝度勾配強度が負の値）の領域、及びグレー画素の領域の下に白画素（輝度勾配強度が正の値）の領域が形成されている。このグレー画素の領域と白画素の領域との境界が、顎を示す線上に現れている。

そこで、検出部１４は、上記領域の境界を抽出するために、まず、輝度勾配が上方向である画素と、輝度勾配が下方向である画素との変化点を検出する。具体的には、検出部１４は、小領域を除去した三値画像６３において、グレー画素のうち、そのグレー画素の上（顔の上方向）の画素もグレー画素で、かつそのグレー画素の下（顔の下方向）の画素が白画素であるグレー画素を、変化点に対応する画素として検出し、マークを付与する。なお、検出部１４は、白画素のうち、その白画素の下（顔の下方向）の画素も白画素で、かつその白画素の上（顔の上方向）の画素がグレー画素である白画素を、変化点に対応する画素として検出し、マークを付与してもよい。グレー画素群の領域と、白画素群の領域との上下方向の境界を検出するものであればよい。図３に、輝度画像６１において、マークを付与した画素を白画素としたマーク画像６４の一例を示す。

抽出部１６は、検出部１４により検出された変化点に対応する画素のうち、所定距離以内に存在する画素同士を結んだ結合線を抽出する。具体的には、抽出部１６は、図４に示すように、マーク画像６４において、マークが付与された画素を探索し、探索された画素を起点画素６７とする。そして、抽出部１６は、起点画素６７の周辺画素からマークが付与された画素を探索する。探索できた場合には、抽出部１６は、起点画素６７及び探索された画素を同じ線を示す画素として、その画素の座標（画素位置、［Ｘ，Ｙ］）を結合線リストに記録する。また、抽出部１６は、探索された画素を新たな起点画素６７として、周辺画素からマークが付与された画素を探索する処理を、マークが付与された画素の探索が途切れるまで繰り返す。

図５に、結合線リストの一例を示す。図５の例では、結合線リストは、抽出された結合線毎に、探索された画素の座標を、Ｘ座標の値が小さい順に並べた座標リストを有する。また、結合線リストは、結合線毎の長さの情報も含む。結合線の長さは、Ｘ方向の長さ（座標リストに含まれるＸ座標の最大値−Ｘ座標の最小値）とすることができる。また、Ｘ方向の長さと、Ｙ方向の長さ（座標リストに含まれるＹ座標の最大値−Ｙ座標の最小値）とを加えた値としてもよい。また、隣接する座標間の距離の総和としてもよい。図３に、抽出した結合線を輝度画像６１に重畳した結合線画像６５の一例を示す。

マークが付与された画素を探索する際の周辺画素は、起点画素６７を中心とした３×３画素、５×５画素等、顔画像のサイズや解像度等に応じて適宜設定することができる。なお、周辺画素の範囲を３×３画素とする場合には、マークが付与された画素同士が隣接している場合のみ、結合線として抽出するものである。また、周辺画素の範囲を５×５画素以上とする場合には、マークが付与された画素同士が１画素以上離れている場合も、結合線として抽出することを許容するものである。周辺画素を５×５画素とする場合には、まず、３×３画素範囲内でマークが付与された画素を探索し、探索できなかった場合に、５×５画素に探索範囲を広げるようにするとよい。

抽出部１６は、抽出した結合線の形状及び長さの少なくとも一方に基づいて、結合線から、検出対象である顎を示す対象線を抽出する。具体的には、抽出部１６は、結合線リストに記録された各結合線の座標リストに基づいて、下に凸の曲線状の結合線を抽出する。下に凸の曲線状とは、下向きの円弧状、楕円状等である。また、抽出部１６は、抽出した下に凸の曲線状の結合線のうち、結合線リストに記録されている長さに基づいて、最長の結合線を、顎を示す対象線として抽出する。

検出結果出力部１８は、抽出部１６により抽出された顎を示す対象線を、検出結果として出力する。例えば、図３に示すように、輝度画像６１に顎を示す対象線を重畳した検出結果画像６６として出力することができる。

対象線検出装置１０は、例えば図６に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、入出力インターフェース（Ｉ／Ｆ）４７、及びネットワークＩ／Ｆ４８を備えている。ＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。

記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部４６には、コンピュータ４０を対象線検出装置１０として機能させるための対象線検出プログラム５０が記憶されている。ＣＰＵ４２は、対象線検出プログラム５０を記憶部４６から読み出してメモリ４４に展開し、対象線検出プログラム５０が有するプロセスを順次実行する。

対象線検出プログラム５０は、画像入力プロセス５２、検出プロセス５４、抽出プロセス５６、及び検出結果出力プロセス５８を有する。ＣＰＵ４２は、画像入力プロセス５２を実行することで、図１に示す画像入力部１２として動作する。また、ＣＰＵ４２は、検出プロセス５４を実行することで、図１に示す検出部１４として動作する。また、ＣＰＵ４２は、抽出プロセス５６を実行することで、図１に示す抽出部１６として動作する。また、ＣＰＵ４２は、検出結果出力プロセス５８を実行することで、図１に示す検出結果出力部１８として動作する。これにより、対象線検出プログラム５０を実行したコンピュータ４０が、対象線検出装置１０として機能することになる。

なお、対象線検出装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に第１実施形態に係る対象線検出装置１０の作用について説明する。対象線検出装置１０に顔画像が入力されると、対象線検出装置１０により、図７に示す対象線検出処理が実行される。

図７に示す対象線検出処理のステップＳ１０で、画像入力部１２が、入力された顔画像を受け付ける。また、画像入力部１２は、入力された顔画像から顔領域の検出を行うことで、顔の上下方向を特定し、顔の上下方向と顔画像の上下方向とが一致するように顔画像を回転させる。

次に、ステップＳ１２で、検出部１４が、顔画像から輝度成分のみを抽出した輝度画像６１を生成する。次に、ステップＳ１４で、検出部１４が、輝度画像６１に対して縦方向勾配フィルタ７０を適用する。そして、検出部１４は、フィルタ結果から、輝度勾配強度が正の値の画素、負の値の画素、及びゼロの画素の三値で表した三値画像６２を生成する。

次に、ステップＳ１６で、検出部１４は、フィルタ結果を示す三値画像６２において、画素値が同一の隣接する画素同士をグルーピングする。そして、検出部１４は、フィルタ結果を示す三値画像６２において、グルーピングした領域の面積が所定サイズ以下の小領域に含まれる画素の画素値を０にすることにより、小領域を除去した三値画像６３を生成する。

次に、ステップＳ１８で、検出部１４は、小領域を除去した三値画像６３において、グレー画素のうち、そのグレー画素の上（顔の上方向）の画素もグレー画素で、かつそのグレー画素の下（顔の下方向）の画素が白画素であるグレー画素を、変化点に対応する画素として検出する。そして、検出部１４は、変化点に対応する画素にマークを付与する。

次に、ステップＳ２０で、抽出部１６が、所定距離以内に存在するマークが付与された画素（変化点に対応する画素）を探索し、探索された画素同士を結合した結合線を抽出する。具体的には、抽出部１６は、例えば図４に示すように、起点画素６７の右隣の列の所定個（図４の例では５個）の画素からマークが付与された画素を探索する。探索できた場合には、抽出部１６は、起点画素６７及び探索された画素を同じ結合線を示す画素として、その画素の座標（画素位置、［Ｘ，Ｙ］）を結合線リストに記録する。また、抽出部１６は、探索された画素を新たな起点画素６７として、周辺画素からマークが付与された画素を探索する処理を繰り返す。

抽出部１６は、マークが付与された画素が探索できなかった場合には、さらに１画素分右の列の所定個の画素から、マークが付与された画素を探索する。右Ｎ列分まで探索範囲を広げても、マークが付与された画素が探索できなかった場合には、最初に設定された起点画素６７の右側の探索を終了する。抽出部１６は、最初に設定された起点画素６７について、右側の探索と同様に、左側の探索も行う。抽出部１６は、左右両側の探索が終了すると、結合線リストに記録した座標を、Ｘ座標が小さい順に並べ替える。さらに、抽出部１６は、結合線の長さを求め、結合線リストに記録する。

次に、ステップＳ２２で、抽出部１６が、図８に詳細を示す候補抽出処理を結合線毎に実行して、下に凸の曲線状の結合線を抽出する。なお、ここでは、顔画像の左上の画素を原点とし、右に行くほどＸ座標が大きくなり、下に行くほどＹ座標が大きくなる画像座標系を用いる。また、結合線リストに記録された座標リストは、図５に示すように、Ｘ座標が小さい順に記録されており、Ｘ座標が小さい順に、０番目の座標、１番目の座標、・・・、Ｎ−１番目の座標とする。なお、Ｎは、各結合線リストに含まれる座標リストに記録された座標の総数である。

図８に示す候補抽出処理のステップＳ２６で、抽出部１６が、各結合線を示す結合線リストに含まれる座標リストに記録された座標のうち、Ｙ座標（Ｙ値）の最大値に対応する最大Ｙ値に０を設定する。また、抽出部１６が、最大Ｙ値を有する座標が座標リストの何番目の座標かに対応する最大Ｙ値ｉｎｄｅｘに０を設定する。

次に、ステップＳ２８で、抽出部１６が、図９に詳細を示す最下座標抽出処理を実行する。

図９に示す最下座標抽出処理のステップＳ４６で、抽出部１６が、変数ｉに０を設定する。次に、ステップＳ４８で、抽出部１６が、ｉがＮ（処理中の結合線リストに含まれる座標リストに記録されている座標数）より小さいか否かを判定する。ｉ＜Ｎの場合には、処理はステップＳ５０へ移行する。

ステップＳ５０では、抽出部１６が、ｉ番目の座標のＹ値が、最大Ｙ値に設定されている値を超えているか否かを判定する。ｉ番目の座標のＹ値＞最大Ｙ値の場合には、処理はステップＳ５２へ移行する。ステップＳ５２では、抽出部１６が、最大Ｙ値にｉ番目の座標のＹ値を設定すると共に、最大Ｙ値ｉｎｄｅｘにｉを設定し、処理はステップＳ５４へ移行する。一方、ｉ番目の座標のＹ値≦最大Ｙ値の場合には、ステップＳ５２をスキップして、処理はステップＳ５４へ移行する。

ステップＳ５４では、抽出部１６が、ｉを１インクリメントして、処理はステップＳ４８へ戻る。ステップＳ４８で、抽出部１６が、ｉ≧Ｎであると判定すると、処理は候補抽出処理へリターンする。このとき、最大Ｙ値ｉｎｄｅｘに設定されたｉにより特定される座標が最大Ｙ値を有する座標、すなわち最下座標として抽出される。

次に、図８に示す候補抽出処理のステップＳ３０で、抽出部１６が、Ｎを所定値（例えば「４」）で割った値を「ｍａｒｇｉｎ」として算出する。次に、ステップＳ３２で、抽出部１６が、上記ステップＳ２８で抽出した最下座標が、結合線の端部に偏っていないかを判定する。最下座標が結合線の端部に偏っている場合には、その結合線は、検出対象である顎を示す対象線ではない可能性が高いため、その結合線を対象線の候補として抽出しない。例えば、抽出部１６は、最大Ｙ値ｉｎｄｅｘ≧ｍａｒｇｉｎ、かつ最大Ｙ値ｉｎｄｅｘ＜（Ｎ−ｍａｒｇｉｎ）か否かを判定する。肯定判定の場合には、最下座標が結合線の端部に偏っていないと判定して、処理はステップＳ３４へ移行する。否定判定の場合には、最下座標が線の端部に偏っていると判定して、その結合線を対象線の候補として抽出することなく、その結合線についての候補抽出処理を終了する。

ステップＳ３４では、抽出部１６が、Ｎを所定値（例えば「８」）で割った値を「ｓｔｅｐ」として算出する。「ｓｔｅｐ」は、座標リストに記録されている座標を間引いて処理する際に、どの程度間引くか（座標を何個飛ばしで処理するか）を定めるための値である。間引くことなく全ての座標を処理対象とする場合には、ｓｔｅｐ＝１とすればよい。

次に、ステップＳ３６で、抽出部１６が、処理対象とした座標をカウントするための変数ａｌｌＣｏｕｎｔ、及び処理対象となった座標のうち、下に凸の曲線状という制約を満たす座標をカウントするための変数ｏｋＣｏｕｎｔの各々に０を設定する。

次に、ステップＳ３８で、抽出部１６が、図１０に詳細を示す前半部分チェック処理を実行する。

図１０に示す前半部分チェック処理のステップＳ５６で、抽出部１６が、変数ｉに（最大Ｙ値ｉｎｄｅｘ−ｓｔｅｐ）を設定する。次に、ステップＳ５８で、抽出部１６が、ｉが０以上か否かを判定する。ｉ≧０の場合には、処理はステップＳ６０へ移行する。

ステップＳ６０では、座標リストのｉ番目の座標のＹ値が（ｉ＋ｓｔｅｐ）番目の座標のＹ値より小さいか否かを判定する。ｉ番目の座標のＹ値＜（ｉ＋ｓｔｅｐ）番目の座標のＹ値の場合には、ｉ番目の座標は、下に凸の曲線状という制約を満たす座標であると判定して、処理はステップＳ６２へ移行する。ステップＳ６２では、抽出部１６が、ｏｋＣｏｕｎｔに１を加算して、ステップＳ６４へ移行する。一方、ｉ番目の座標のＹ値≧（ｉ＋ｓｔｅｐ）番目の座標のＹ値の場合には、ｉ番目の座標は、下に凸の曲線状という制約を満たさない座標であると判定して、ステップＳ６２をスキップして、処理はステップＳ６４へ移行する。

ステップＳ６４では、抽出部１６が、ａｌｌＣｏｕｎｔを１インクリメントする。次に、ステップＳ６６で、抽出部１６が、ｉに（ｉ−ｓｔｅｐ）を設定して、ステップＳ５８へ戻る。ステップＳ５８で、抽出部１６が、ｉ＜０であると判定すると、座標リストの前半部分、すなわち最下座標よりＸ値が小さい座標について、下に凸の曲線状という制約を満たすか否かの判定を終了し、処理は候補抽出処理へリターンする。

次に、図８に示す候補抽出処理のステップＳ４０で、抽出部１６が、図１１に詳細を示す後半部分チェック処理を実行する。

図１１に示す後半部分チェック処理のステップＳ６８で、抽出部１６が、変数ｉに（最大Ｙ値ｉｎｄｅｘ＋ｓｔｅｐ）を設定する。次に、ステップＳ７０で、抽出部１６が、ｉがＮより小さいか否かを判定する。ｉ＜Ｎの場合には、処理はステップＳ７２へ移行する。

ステップＳ７２では、抽出部１６が、座標リストのｉ番目の座標のＹ値が（ｉ−ｓｔｅｐ）番目の座標のＹ値より小さいか否かを判定する。ｉ番目の座標のＹ値＜（ｉ−ｓｔｅｐ）番目の座標のＹ値の場合には、ｉ番目の座標は、下に凸の曲線状という制約を満たす座標であると判定して、処理はステップＳ７４へ移行する。以下、ステップＳ７４〜Ｓ７８で、図１０に示す前半部分チェック処理のステップＳ６２〜Ｓ６６と同様に処理する。ステップＳ７０で、抽出部１６が、ｉ≧Ｎであると判定すると、座標リストの後半部分、すなわち最下座標よりＸ値が大きい座標について、下に凸の曲線状という制約を満たすか否かの判定を終了し、処理は候補抽出処理へリターンする。

次に、図８に示す候補抽出処理のステップＳ４２で、抽出部１６が、結合線リストに含まれる座標のうち、所定割合の座標が、下に凸の曲線状という制約を満たしたか否かを判定する。例えば、抽出部１６は、ｏｋＣｏｕｎｔ／ａｌｌＣｏｕｎｔ＞０．８か否かを判定する。肯定判定の場合には、処理はステップＳ４４へ移行し、抽出部１６が、その結合線を対象線の候補として抽出する。否定判定の場合には、その結合線を対象線の候補として抽出することなく、その結合線についての候補抽出処理を終了する。全ての結合線について、対象線の候補として抽出するか否かの判定を終了した場合には、処理は対象線検出処理にリターンする。

次に、図７に示す対象線検出処理のステップＳ２４で、抽出部１６が、抽出した対象線の候補となる下に凸の曲線状の結合線のうち、結合線リストに記録されている長さに基づいて、最長の結合線を、顎を示す対象線として抽出する。そして、検出結果出力部１８が、抽出部１６により抽出された顎を示す対象線を、検出結果として出力し、対象線検出処理は終了する。

以上説明したように、第１実施形態に係る対象線検出装置１０によれば、顔の凹凸に対する照明の当たり具合の相違に着目して、輝度勾配が下方向である画素と上方向である画素との変化点に対応する画素を検出する。そして、変化点に対応する画素を結んだ結合線を抽出し、結合線の形状及び長さに基づいて、抽出した結合線の中から、検出対象を示す対象線を抽出する。このため、色差や輝度のコントラストが弱い箇所でも、対象線を抽出することができ、ほくろやしわなどの検出対象以外の線を対象線として誤検出することを抑制し、精度良く対象線を検出することができる。

なお、第１実施形態では、結合線が下に凸の曲線状か否かを、座標値の大小に基づいて判定する場合について説明したが、これに限定されない。例えば、検出対象である顎を想定した下に凸の曲線を用意しておき、この曲線と抽出した結合線の各々とをフィッティングする。そして、曲線との一致度が所定値以上の結合線を、下に凸の曲線状であると判定することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態でも、第１実施形態と同様に、人の顔画像から、検出対象である顎を示す線を検出する場合について説明する。

図１２に示すように、第２実施形態に係る対象線検出装置２１０は、画像入力部１２、検出部１４、推定部２０、抽出部２１６、及び検出結果出力部１８を備える。なお、第１実施形態に係る対象線検出装置１０と同一の部分については、同一符号を付して詳細な説明を省略する。

推定部２０は、図１３に示すように、顔画像または輝度画像６１から目領域７１を検出し、目領域７１の検出結果に基づいて、顎領域７２を推定する。目領域７１の検出には、例えば辞書方式によるパターンマッチング等の従来既知の手法を用いることができる。また、目領域７１の検出結果に基づく顎領域７２の推定は、例えば、図１３に示すように、目領域７１の下で、かつ２つの目領域７１各々の中心間の距離の１倍〜１．５倍の範囲を縦幅とする顎領域７２を推定することができる。また、顎領域７２の横幅は、２つの目領域７１の外側の縦の辺間の幅とすることができる。

抽出部２１６は、第１実施形態における抽出部１６と同様に、検出部１４により検出された変化点に対応する画素のうち、所定距離以内に存在する画素同士を結んだ結合線を抽出する。また、抽出部２１６は、抽出した結合線の形状及び長さの少なくとも一方に基づいて、結合線の中から、検出対象である顎を示す対象線を抽出する。この際、抽出部２１６は、抽出した結合線のうち、推定部２０で推定された顎領域７２に含まれる結合線から、検出対象である顎を示す対象線を抽出する。

対象線検出装置２１０は、例えば図６に示すコンピュータ２４０で実現することができる。コンピュータ２４０は、バス４９を介して互いに接続されたＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８を備える。記憶部４６には、コンピュータ２４０を対象線検出装置２１０として機能させるための対象線検出プログラム２５０が記憶されている。ＣＰＵ４２は、対象線検出プログラム２５０を記憶部４６から読み出してメモリ４４に展開し、対象線検出プログラム２５０が有するプロセスを順次実行する。

対象線検出プログラム２５０は、画像入力プロセス５２、検出プロセス５４、推定プロセス６０、抽出プロセス２５６、及び検出結果出力プロセス５８を有する。ＣＰＵ４２は、推定プロセス６０を実行することで、図１２に示す推定部２０として動作する。また、ＣＰＵ４２は、抽出プロセス２５６を実行することで、図１２に示す抽出部２１６として動作する。他のプロセスについては、第１実施形態における対象線検出プログラム５０と同様である。これにより、対象線検出プログラム２５０を実行したコンピュータ２４０が、対象線検出装置２１０として機能することになる。

なお、対象線検出装置２１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に第２実施形態に係る対象線検出装置２１０の作用について説明する。対象線検出装置２１０に顔画像が入力されると、対象線検出装置２１０により、図１４に示す対象線検出処理が実行される。なお、第１実施形態における対象線検出処理と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１８の処理が終了すると、処理はステップＳ８０へ移行し、推定部２０が、顔画像または輝度画像６１から目領域７１を検出し、目領域７１の検出結果に基づいて、顎領域７２を推定する。次に、ステップＳ２０で、抽出部２１６が、検出された変化点に対応する画素のうち、所定距離以内に存在する画素同士を結んだ結合線を抽出する。次に、ステップＳ２２で、抽出部２１６が、上記ステップＳ８０で推定された顎領域７２に含まれる結合線について、図８に示す候補抽出処理を実行する。そして、抽出部２１６は、顎領域７２に含まれる結合線の中から、下に凸の曲線状の結合線を、検出対象である顎を示す対象線の候補として抽出する。

次に、ステップＳ２４で、抽出部２１６が、対象線の候補として抽出した結合線のうち、最長のものを検出対象である顎を示す対象線を抽出し、検出結果として出力して、対象線検出処理は終了する。

なお、上記の対象線検出処理では、輝度画像全体から変化点を検出し、変化点を結合した結合線を抽出した上で、推定した顎領域に含まれる結合線が下に凸の曲線状の結合線か否か判定する場合について説明した。しかし、結合線を抽出する前に顎領域を推定して、顎領域内の変化点を結合して結合線を抽出するようにしてもよい。さらに、変化点を検出する前に顎領域を推定して、顎領域内から変化点を検出するようにしてもよい。

以上説明したように、第２実施形態に係る対象線検出装置２１０によれば、検出対象が検出される領域を推定してから、検出対象を示す線を抽出する。このため、第１実施形態の効果に加え、処理量を削減することができると共に、背景などに下に凸の長い線が写り込んでいるような場合にも、誤検出を抑制することができる。

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態でも、第１実施形態と同様に、人の顔画像から、検出対象である顎を示す線を検出する場合について説明する。

図１に示すように、第３実施形態に係る対象線検出装置３１０は、画像入力部１２、検出部３１４、抽出部１６、及び検出結果出力部１８を備える。なお、第１実施形態に係る対象線検出装置１０と同一の部分については、同一符号を付して詳細な説明を省略する。

検出部３１４は、第１実施形態の検出部１４と同様に、画像入力部１２から受け渡された顔画像から、輝度成分のみを抽出した輝度画像を生成する。検出部３１４は、輝度画像の各画素について、上下方向の輝度勾配強度を、例えば図２に示すような縦方向勾配フィルタ７０を適用する。

ここで、顔画像に含まれる顔領域のサイズと、適用する縦方向勾配フィルタ７０のサイズとが適切に対応していない場合には、輝度勾配強度の算出精度が低下し、対象線の検出精度が低下する恐れがある。例えば、顔領域のサイズに対して縦方向勾配フィルタ７０のサイズが大きすぎる場合には、輝度勾配強度の値にノイズが加わってしまう場合がある。一方、顔領域のサイズに対して縦方向勾配フィルタ７０のサイズが小さすぎる場合には、算出される輝度勾配強度が局所的な値となり、所望の境界を検出できない場合がある。

そこで、検出部３１４は、顔領域のサイズ、すなわち輝度画像６１のサイズ、及び縦方向勾配フィルタ７０のサイズの少なくとも一方を変更して、顔領域のサイズと、縦方向勾配フィルタ７０のサイズとを適切に対応させる。

具体的には、検出部３１４は、従来既知の手法を用いて、輝度画像６１から、例えば矩形の顔領域を検出する。検出部３１４は、図１５の上段に示すように、検出した顔領域のサイズに対応するフィルタサイズを選択する。検出部３１４は、例えば図１６に示すような、顔領域のサイズとフィルタサイズとの適切な対応関係を、予め実験等により定めたテーブルを参照して、フィルタサイズを選択することができる。

または、検出部３１４は、図１５の下段に示すように、検出された顔領域のサイズが、用意されたフィルタのサイズに対応するサイズとなるような倍率を算出し、算出した倍率を用いて、輝度画像６１のサイズを変更（図１５中、６１Ａ）する。また、検出部３１４は、輝度画像６１のサイズ及びフィルタサイズの両方を変更して、顔領域のサイズとフィルタサイズとが適切な対応関係となるようにしてもよい。

対象線検出装置３１０は、例えば図６に示すコンピュータ３４０で実現することができる。コンピュータ３４０は、バス４９を介して互いに接続されたＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８を備える。記憶部４６には、コンピュータ３４０を対象線検出装置３１０として機能させるための対象線検出プログラム３５０が記憶されている。ＣＰＵ４２は、対象線検出プログラム３５０を記憶部４６から読み出してメモリ４４に展開し、対象線検出プログラム３５０が有するプロセスを順次実行する。

対象線検出プログラム３５０は、画像入力プロセス５２、検出プロセス３５４、抽出プロセス５６、及び検出結果出力プロセス５８を有する。ＣＰＵ４２は、検出プロセス３５４を実行することで、図１に示す検出部３１４として動作する。他のプロセスについては、第１実施形態における対象線検出プログラム５０と同様である。これにより、対象線検出プログラム３５０を実行したコンピュータ３４０が、対象線検出装置３１０として機能することになる。

なお、対象線検出装置３１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に第３実施形態に係る対象線検出装置３１０の作用について説明する。対象線検出装置３１０に顔画像が入力されると、対象線検出装置３１０により、図７に示す対象線検出処理が実行される。ただし、ステップＳ１４で、輝度画像６１に縦方向勾配フィルタ７０を適用する際に、図１７に示すフィルタサイズ変更処理、または図１８に示す画像サイズ変更処理が実行される。

図１７に示すフィルタサイズ変更処理のステップＳ８４で、検出部３１４が、輝度画像６１から、例えば矩形の顔領域を検出する。次に、ステップＳ８６で、検出部３１４が、顔領域のサイズとフィルタサイズとの対応関係のレベルを示す変数Ｌに１を設定する。顔領域のサイズとフィルタサイズとの対応関係、及びそのレベルは、例えば図１６に示すようなテーブルで定められているものとする。また、図１６の例では、顔領域のサイズ及びフィルタサイズが小さい順に、レベル１、レベル２、・・・と定められている。

次に、ステップＳ８８で、検出部３１４が、Ｌが図１６に示すテーブルに定められた最大レベルか、または、検出された顔領域のサイズが、レベルＬの顔領域のサイズより小さいか否かを判定する。肯定判定の場合には、処理はステップＳ９２へ移行し、検出部３１４が、レベルＮのフィルタサイズを、適用する縦方向勾配フィルタ７０のフィルタサイズとして設定する。一方、ステップＳ８８が否定判定の場合には、ステップＳ９０へ移行し、検出部３１４が、Ｌを１インクリメントして、処理はステップＳ８８へ戻る。

図１８に示す画像サイズ変更処理では、ステップＳ９４で、検出部３１４が、用意された縦方向勾配フィルタ７０のフィルタサイズに対応するレベルを目標レベルに設定する。次に、ステップＳ９６で、検出部３１４が、輝度画像６１から、例えば矩形の顔領域を検出する。

次に、ステップＳ９８で、検出部３１４が、上記ステップＳ９４で設定した目標レベルの顔領域のサイズを、上記ステップＳ９６で検出した顔領域のサイズで割って、倍率を算出する。次に、ステップＳ１００で、検出部３１４が、輝度画像６１の変更後の幅及び高さが、下記に示すサイズとなるように、輝度画像６１のサイズを変更する。
変更後の幅＝変更前の幅×倍率の平方根
変更後の高さ＝変更前の高さ×倍率の平方根

以上説明したように、第３実施形態に係る対象線検出装置３１０によれば、顔領域のサイズとフィルタサイズとを適切に対応させる。このため、第１実施形態の効果に加え、輝度勾配の算出精度を向上させることができ、対象線の検出精度が向上する。

なお、第３実施形態においても、第２実施形態のように、検出対象を含む領域を推定する推定部を設けてもよい。

また、第３実施形態では、画像サイズを変更する際、検出部３１４において、輝度画像のサイズを変更する場合について説明したが、これに限定されない。画像入力部で、上記と同様の処理により、顔画像を適切なサイズに変更した上で、検出部へ受け渡すようにしてもよい。

＜第４実施形態＞
次に、第４実施形態について説明する。第４実施形態では、人の顔画像から、検出対象として、ほうれい線を示す線を検出する場合について説明する。

図１に示すように、第４実施形態に係る対象線検出装置４１０は、画像入力部１２、検出部４１４、抽出部４１６、及び検出結果出力部１８を備える。なお、第１実施形態に係る対象線検出装置１０と同一の部分については、同一符号を付して詳細な説明を省略する。

検出部４１４は、第１実施形態の検出部１４と同様に、画像入力部１２から受け渡された顔画像から、輝度成分のみを抽出した輝度画像を生成する。検出部４１４は、輝度画像の各画素について、上下方向の輝度勾配強度を、例えば図２に示すような縦方向勾配フィルタ７０を適用して算出する。この際、検出部４１４は、図１９に示すように、縦方向勾配フィルタ７０の方向（ここでは上方向または下方向）と、検出対象であるほうれい線とが交差するように、輝度画像６１を所定角度回転する（図１９中、６１Ｂ）。

ここで、ほうれい線とは、鼻の両脇から唇の両端に伸びる線であり、頬周辺のくぼみが線として現れたものである。そこで、検出部４１４は、まず、輝度画像６１から２つの目領域と鼻領域を検出する。鼻領域の検出には、例えば、特開２００６−３８６８９号公報記載の手法のような従来既知の手法を用いることができる。検出部４１４は、２つの目領域及び鼻領域各々の中心を結ぶ三角形の辺のうち、右目領域と鼻領域とを結ぶ辺が、縦になるように、輝度画像を回転する。これにより、右頬（顔画像の左側）のほうれい線が、概ね水平方向に伸びる上に凸の曲線状の線として現れる。

また、ほうれい線より上（回転後の輝度画像６１Ｂの上方向）の領域は、下方向に向かうほど背後に後退する面であり、下に向かって輝度が低下する。一方、ほうれい線より下（回転後の輝度画像６１Ｂの下方向）の領域は、下方向に向かうほど前面に突き出る面であり、下に向かって輝度が上昇する。すなわち、輝度画像６１Ｂの上から下に向かって輝度が低下する領域と、輝度が上昇する領域との境界が、ほうれい線上に表れることになる。従って、図２に示す縦方向勾配フィルタ７０を、回転後の輝度画像６１Ｂに適用することで（図１９中、６３Ｂ）、ほうれい線に相当する境界を検出することができる。

また、上述のように、ほうれい線より上（回転後の輝度画像６１Ｂの上方向）の領域は、下方向に向かうほど背後に後退する面であり、ほうれい線より下（回転後の輝度画像６１Ｂの下方向）の領域は、下方向に向かうほど前面に突き出る面である。従って、検出部４１４は、検出対象が顎の場合と同様に、上側に輝度勾配強度が負の値の領域、下側に輝度勾配強度が正の値の領域との境界に対応する変化点を検出する。

また、検出部４１４は、左頬（顔画像の右側）のほうれい線を検出する際には、２つの目領域及び鼻領域各々の中心を結ぶ三角形の辺のうち、左目領域と鼻領域とを結ぶ辺が、縦になるように、輝度画像６１を回転する。

抽出部４１６は、第１実施形態における抽出部１６と同様に、検出部４１４により検出された変化点に対応する画素のうち、所定距離以内に存在する画素同士を結んだ結合線を抽出する（図１９中、６４Ｂ）。また、抽出部４１６は、抽出した結合線の中から、上に凸の曲線状の結合線を、対象線の候補として抽出する。上に凸か否かは、第１実施形態における候補抽出処理と同様に、座標値の大小を順次比較することで判定することができる。また、抽出部４１６は、対象線の候補となる結合線が複数存在する場合には、鼻領域に最も近い座標を持つ結合線を抽出する。

対象線検出装置４１０は、例えば図６に示すコンピュータ４４０で実現することができる。コンピュータ４４０は、バス４９を介して互いに接続されたＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８を備える。記憶部４６には、コンピュータ４４０を対象線検出装置４１０として機能させるための対象線検出プログラム４５０が記憶されている。ＣＰＵ４２は、対象線検出プログラム４５０を記憶部４６から読み出してメモリ４４に展開し、対象線検出プログラム４５０が有するプロセスを順次実行する。

対象線検出プログラム４５０は、画像入力プロセス５２、検出プロセス４５４、抽出プロセス４５６、及び検出結果出力プロセス５８を有する。ＣＰＵ４２は、検出プロセス４５４を実行することで、図１に示す検出部４１４として動作する。また、ＣＰＵ４２は、抽出プロセス４５６を実行することで、図１に示す抽出部４１６として動作する。他のプロセスについては、第１実施形態における対象線検出プログラム５０と同様である。これにより、対象線検出プログラム４５０を実行したコンピュータ４４０が、対象線検出装置４１０として機能することになる。

なお、対象線検出装置４１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に第４実施形態に係る対象線検出装置４１０の作用について説明する。対象線検出装置４１０に顔画像が入力されると、対象線検出装置４１０により、図２０に示す対象線検出処理が実行される。なお、第１実施形態における対象線検出処理と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１２の処理が終了すると、処理はステップＳ１０２へ移行する。ステップＳ１０２では、検出部４１４が、輝度画像６１から２つの目領域と鼻領域を検出する。そして。検出部４１４は、２つの目領域及び鼻領域各々の中心を結ぶ三角形の辺のうち、右目領域と鼻領域とを結ぶ辺が、縦になるように、輝度画像を回転する。

次に、第１実施形態の対象線検出処理と同様に、ステップＳ１４〜Ｓ２０の処理を実行する。次に、ステップＳ１０４で、図８に示す候補抽出処理を実行する。ただし、第４実施形態では、結合線が上に凸の曲線状か否かを判定する。そこで、図８に示す候補抽出処理において、最大Ｙ値は最小Ｙ値と読み替え、最小Ｙ値の初期値には大きな値（例えば、画像の縦幅、無限大等）を設定する。また、図８に示す候補抽出処理において、最下座標は最上座標（その結合線を示す結合線リストに含まれる座標リスト内の座標のうち、Ｙ値が最小のもの）と読み替える。

また、図９のステップＳ５０では、座標リストのｉ番目の座標のＹ値＜最小Ｙ値か否かを判定する。また、図１０のステップＳ６０では、座標リストのｉ番目の座標のＹ値＞（ｉ＋ｓｔｅｐ）番目の座標のＹ値か否かを判定する。また、図１１のステップＳ７２では、座標リストのｉ番目の座標のＹ値＜（ｉ−ｓｔｅｐ）番目の座標のＹ値か否かを判定する。

次に、ステップＳ１０６で、抽出部４１６が、対象線の候補となる結合線から、鼻領域に最も近い座標を持つ結合線を、ほうれい線を示す対象線として抽出する。そして、検出結果出力部１８が、抽出部４１６により抽出されたほうれい線を示す対象線を、検出結果として出力し、対象線検出処理は終了する。

以上説明したように、第４実施形態に係る対象線検出装置４１０によれば、ほうれい線の検出においても、顎を検出する場合と同様に、精度良く対象線を検出することができる。

なお、第４実施形態では、検出対象の線と勾配フィルタの方向とが交差するように、輝度画像または顔画像を回転させる場合について説明したが、勾配フィルタを回転させた上で、輝度画像に適用するようにしてもよい。例えば、２つの目領域及び鼻領域各々の中心を結ぶ三角形の辺のうち、右目領域または左目領域と鼻領域とを結ぶ辺と、勾配フィルタの方向とを一致させるように、勾配フィルタを回転させることができる。

また、第４実施形態においても、第２実施形態のように、検出対象を含む領域を推定する推定部を設けてもよい。また、第３実施形態のように、顔画像のサイズとフィルタサイズとが適切に対応するように、顔画像のサイズまたはフィルタサイズを変更してもよい。

また、上記第１〜第３実施形態では、検出対象を顎とする場合、第４実施形態では、検出対象をほうれい線とする場合について説明したが、これに限定されない。開示の技術は、輝度勾配が第１方向となる領域と、第１方向とは反対の第２方向となる領域との境界に生じる線であれば、他の検出対象についても適用可能である。上記のような輝度勾配が変化する境界に生じる線を抽出し、その線の形状及び長さの少なくとも一方が、検出対象の特徴を示すものか否かを判定すればよい。

また、上記では、対象線検出プログラム５０、２５０、３５０、４５０が記憶部４６に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
入力画像の輝度成分から得られる輝度画像（６１）において、輝度勾配が第１方向である画素と、輝度勾配が前記第１方向とは反対の第２方向である画素との変化点を検出する検出部と、
所定距離以内に存在する前記変化点同士を結んだ線の形状及び長さの少なくとも一方に基づいて、前記変化点同士を結んだ線から、検出対象を示す線を抽出する抽出部と、
を含む対象線検出装置。

（付記２）
前記検出対象を顎とした場合に、前記抽出部は、前記変化点同士を結んだ線から、下に凸の曲線状で、かつ最長の線を、前記検出対象を示す線として抽出する付記１記載の対象線検出装置。

（付記３）
目の位置の検出結果に基づいて、前記顎の位置を推定する推定部を含み、
前記抽出部は、前記推定部で推定された顎の位置を含む領域から、前記検出対象を示す線を抽出する付記２記載の対象線検出装置。

（付記４）
前記検出部は、前記輝度画像に輝度勾配フィルタを適用して各画素の輝度勾配を算出する際に、前記輝度画像に含まれる顔領域のサイズに基づいて、前記輝度画像または前記輝度勾配フィルタのサイズを変更する付記１〜付記３のいずれか１項記載の対象線検出装置。

（付記５）
コンピュータに、
入力画像の輝度成分から得られる輝度画像において、輝度勾配が第１方向である画素と、輝度勾配が前記第１方向とは反対の第２方向である画素との変化点を検出し、
所定距離以内に存在する前記変化点同士を結んだ線の形状及び長さの少なくとも一方に基づいて、前記変化点同士を結んだ線から、検出対象を示す線を抽出する
ことを含む処理を実行させる対象線検出方法。

（付記６）
前記検出対象を顎とした場合に、前記検出対象を示す線を抽出する際に、前記変化点同士を結んだ線から、下に凸の曲線状で、かつ最長の線を、前記検出対象を示す線として抽出する付記５記載の対象線検出方法。

（付記７）
前記コンピュータに、目の位置の検出結果に基づいて、前記顎の位置を推定することを含む処理を実行させ、
前記検出対象を示す線を抽出する際に、推定された顎の位置を含む領域から、前記検出対象を示す線を抽出する付記６記載の対象線検出方法。

（付記８）
前記輝度画像に輝度勾配フィルタを適用して各画素の輝度勾配を算出する際に、前記輝度画像に含まれる顔領域のサイズに基づいて、前記輝度画像または前記輝度勾配フィルタのサイズを変更する付記５〜付記７のいずれか１項記載の対象線検出装置。

（付記９）
コンピュータに、
入力画像の輝度成分から得られる輝度画像において、輝度勾配が第１方向である画素と、輝度勾配が前記第１方向とは反対の第２方向である画素との変化点を検出し、
所定距離以内に存在する前記変化点同士を結んだ線の形状及び長さの少なくとも一方に基づいて、前記変化点同士を結んだ線から、検出対象を示す線を抽出する
ことを含む処理を実行させるための対象線検出プログラム。

（付記１０）
前記検出対象を顎とした場合に、前記検出対象を示す線を抽出する際に、前記変化点同士を結んだ線から、下に凸の曲線状で、かつ最長の線を、前記検出対象を示す線として抽出する付記９記載の対象線検出プログラム。

（付記１１）
前記コンピュータに、目の位置の検出結果に基づいて、前記顎の位置を推定することを含む処理を実行させ、
前記検出対象を示す線を抽出する際に、推定された顎の位置を含む領域から、前記検出対象を示す線を抽出する付記１０記載の対象線検出プログラム。

（付記１２）
前記輝度画像に輝度勾配フィルタを適用して各画素の輝度勾配を算出する際に、前記輝度画像に含まれる顔領域のサイズに基づいて、前記輝度画像または前記輝度勾配フィルタのサイズを変更する付記９〜付記１１のいずれか１項記載の対象線検出プログラム。

１０、２１０、３１０、４１０ 対象線検出装置
１２ 画像入力部
１４、３１４、４１４ 検出部
１６、２１６、４１６ 抽出部
１８ 検出結果出力部
２０ 推定部
４０、２４０、３４０、４４０ コンピュータ
４２ ＣＰＵ
４４ メモリ
４６ 記憶部
５０、２５０、３５０、４５０ 対象線検出プログラム

Claims (6)

1. 入力画像の輝度成分から得られる輝度画像において、輝度勾配が第１方向である第１画素と隣接する第２画素の輝度勾配が前記第１方向とは反対の第２方向の場合、前記第１画素又は前記第２画素を変化点として検出する検出部と、
   所定距離以内に存在する前記変化点同士を結んだ線の形状及び長さの少なくとも一方に基づいて、前記変化点同士を結んだ線から、検出対象を示す線を抽出する抽出部と、
   を含む対象線検出装置。
2. 前記検出対象を顎とした場合に、前記抽出部は、前記変化点同士を結んだ線から、下に凸の曲線状で、かつ最長の線を、前記検出対象を示す線として抽出する請求項１記載の対象線検出装置。
3. 目の位置の検出結果に基づいて、前記顎の位置を推定する推定部を含み、
   前記抽出部は、前記推定部で推定された顎の位置を含む領域から、前記検出対象を示す線を抽出する請求項２記載の対象線検出装置。
4. 前記検出部は、前記輝度画像に輝度勾配フィルタを適用して各画素の輝度勾配を算出する際に、前記輝度画像に含まれる顔領域のサイズに基づいて、前記輝度画像または前記輝度勾配フィルタのサイズを変更する請求項１〜請求項３のいずれか１項記載の対象線検出装置。
5. コンピュータに、
   入力画像の輝度成分から得られる輝度画像において、輝度勾配が第１方向である第１画素と隣接する第２画素の輝度勾配が前記第１方向とは反対の第２方向の場合、前記第１画素又は前記第２画素を変化点として検出し、
   所定距離以内に存在する前記変化点同士を結んだ線の形状及び長さの少なくとも一方に基づいて、前記変化点同士を結んだ線から、検出対象を示す線を抽出する
   ことを含む処理を実行させる対象線検出方法。
6. コンピュータに、
   入力画像の輝度成分から得られる輝度画像において、輝度勾配が第１方向である第１画素と隣接する第２画素の輝度勾配が前記第１方向とは反対の第２方向の場合、前記第１画素又は前記第２画素を変化点として検出し、
   所定距離以内に存在する前記変化点同士を結んだ線の形状及び長さの少なくとも一方に基づいて、前記変化点同士を結んだ線から、検出対象を示す線を抽出する
   ことを含む処理を実行させるための対象線検出プログラム。