JPWO2019123554A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

顔画像のぼけ度を高速かつ高精度に推定するため、本発明の画像処理装置は、画像に含まれる対象物の認証に用いられる特徴点を検出する特徴点検出手段と、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算するぼけ度計算手段と、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定するぼけ度推定手段とを含む。

Description

本発明は、画像の処理に関し、特に、画像のぼけの処理に関する。

画像のぼけの程度（以下、「ぼけ度」と呼ぶ）に応じて画像を取捨選択したいという状況は、数多く存在する。

例えば、鑑賞用の画像において、被写体がぼけている画像は、好まれない。特に、人の顔に関しては、ぼけていない画像が、好まれることが多い。

また、画像において、ぼけは、情報の劣化とみなせる。そのため、ぼけた画像は、積極的に排除されることが多い。例えば、認証用の画像において、認証対象のぼけは、認証精度の低下につながる。顔認証においても、ぼけた顔画像は、認証失敗の原因となる。そのため、認証対象の顔がどの程度ぼけているのかを知ることは、有用である。

画像のぼけ度を推定する手法が、提案されている（例えば、特許文献１（ＰＴＬ１：Ｐａｔｅｎｔ Ｌｉｔｅｒａｔｕｒｅ １）及び非特許文献１（ＮＰＬ１：Ｎｏｎ−ｐａｔｅｎｔ Ｌｉｔｅｒａｔｕｅ １）を参照）。

ＰＴＬ１に記載の技術（以下、技術を含め単に「ＰＴＬ１」と呼ぶ）は、画像中の顔領域から「ぼけ度」を計算する。画像中に複数の顔が存在した場合、ＰＴＬ１は、顔の面積に比例した重みを用いて、複数の顔におけるぼけ度の平均を計算する。そして、ＰＴＬ１は、平均を、その画像のぼけ度とする。

ＰＴＬ１は、上記の計算において、顔領域全体の多重解像度画像に対して縦横斜めのエッジ点を抽出し、所定の基準値に基づいてエッジ点を分類し、一定の強度を有するエッジ点の中からぼけが発生しているエッジ点の割合を計算する。

ＮＰＬ１に記載の技術（以下、技術を含め単に「ＮＰＬ１」と呼ぶ）は、被写体のぼけ度から奥行きを推定する技術である。ＮＰＬ１は、奥行きの推定過程において、画素のぼけ度を推定する。ぼけ度の推定において、ＮＰＬ１は、画像中の任意の画素に対して周辺画素との差分の絶対値和を取り、絶対値和が一定値以上の画素を所定の領域内で総和したものを、ぼけ度とする。

特開２０１０−０７９４４６号公報

S. K. Nayar and Y. Nakagawa, "Shape from Focus", IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 16, Issue: 8, August 1994, pp. 824-831

ＰＴＬ１は、ぼけ度の計算の途中過程において、顔領域全体の多重解像度画像に対してエッジ抽出計算を必要とする。つまり、ＰＴＬ１は、顔領域に対して、複数の解像度における画像を処理する必要がある。そのため、ＰＴＬ１は、計算コストが高いという問題点があった。

ＮＰＬ１は、顔画像に限らず、任意の画像の任意の画素のぼけ度を、低い計算コストで推定できる。

しかし、顔画像などの所定の対象物を含む画像は、ぼけの影響を受けやすい部分と、受けにくい部分とがある。そのため、対象物を含む画像におけるぼけ度の推定は、ぼけ度を推定する位置などを考慮する必要がある。

しかし、ＮＰＬ１は、ぼけ度の推定における位置（例えば、顔画像のぼけ度を推定する位置）に関して、言及していない。つまり、ＮＰＬ１は、画素のぼけ度を推定できるが、対象物を含む画像のぼけ度を推定できないという問題点があった。

本発明の目的は、上記問題を解決し、画像における精度のよいぼけ度を、計算コストを低減して推定する画像処理装置などを提供することにある。

本発明の一形態に係る画像処理装置は、画像に含まれる対象物の認証に用いられる特徴点を検出する特徴点検出手段と、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算するぼけ度計算手段と、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定するぼけ度推定手段とを含む。

本発明の一形態に係る画像処理方法は、画像に含まれる対象物の認証に用いられる特徴点を検出し、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算し、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定する。

本発明の一形態に係る記録媒体は、画像に含まれる対象物の認証に用いられる特徴点を検出する処理と、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算する処理と、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定する処理とをコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する。

本発明に基づけば、画像における精度のよいぼけ度を、計算コストを低減して推定するとの効果を奏することができる。

図１は、本発明における第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 図３は、特徴点検出部の動作の一例を説明するための図である。 図４は、処理点選択部の動作の一例を説明するための図である。 図５は、第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図６は、第２の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 図７は、第１の実施形態に係る画像処理装置の概要の一例を示すブロック図である。 図８は、第１の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図９は、第１の実施形態に係る画像処理システムの構成の一例を示す図である。

以下、図面を参照して、本発明における実施形態について説明する。

各図面は、本発明における実施形態を説明するためのものである。ただし、以下の実施形態に記載されている構成要素は、例示であり、本発明を限定するものではない。

各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

なお、以下の説明において、実施形態における処理の対象として、「顔画像の認証」に影響する「画像のぼけ」を用いる。例えば、各実施形態は、顔認証に用いる特徴点を検出する。さらに、各実施形態は、特徴点から顔認証に影響するぼけに関連する処理点を選択する。

ただし、これは、各実施形態に関連する画像処理、処理対象の画像、画像に含まれる対象物、画像の劣化、及び、抽出する特徴点などを限定するものではない。

例えば、処理対象となる画像は、画像の処理に関連する特徴点（例えば、認証に用いる特徴点）を抽出できる画像であればよい。例えば、処理対象となる画像は、人、生物、又は車などの全体画像でもよい。

あるいは、特徴点は、認識対象を基に選択されればよい。例えば、特徴点は、文字認識などにおける端点、交点、分岐点、及び屈折点などでもよい。

あるいは、各実施形態は、焦点のずれなどに基づいて発生する「ぼけ」に限らず、照明不足、霧などの障害物、又は、対象物の移動など基づいて発生する画像の劣化を処理対象として用いてもよい。

＜第１の実施形態＞
以下、図面を参照して、本発明における第１の実施形態について説明する。
［構成の説明］
まず、図面を参照して、第１の実施形態に係る画像処理装置１０の構成について説明する。

図１は、本発明における第１の実施形態に係る画像処理装置１０の構成の一例を示すブロック図である。

画像処理装置１０は、画像受信部１００と、特徴点検出部１０１と、処理点選択部１０２と、ぼけ度計算部１０３と、ぼけ度推定部１０４とを含む。

画像受信部１００は、所定の装置（例えば、撮像装置）から、顔画像を受信する。あるいは、画像受信部１００は、所定の装置（例えば、記憶装置）から、顔画像を取得してもよい。以下、画像受信部１００が受信又は所得した顔画像を「対象顔画像」とも呼ぶ。

本実施形態において、対象顔画像は、限定されない。対象顔画像は、カラー画像でもよく、白黒画像でもよい。対象顔画像は、カメラ等の撮像装置が撮像した画像でもよいし、人物の顔が写った画像を保存する記録媒体又は記憶装置等から読み出された画像でもよい。さらに、対象顔画像は、補正された画像（例えば、トリミング又は色補正等が施された画像）でもよい。

特徴点検出部１０１は、顔認証に用いるため、対象顔画像に写った人物の顔領域、及び、顔の特徴点を検出する。

顔の特徴点とは、目及び口など、その人物の顔（顔の輪郭を含む）における、その人物の特徴を表す点である。

特徴点検出部１０１が用いる方法は、限定されない。例えば、顔領域及び顔の特徴点を検出する方法として、Ｖｉｏｌａ−Ｊｏｎｅｓ法がある。ただし、Ｖｉｏｌａ−Ｊｏｎｅｓ法は、特徴点検出部１０１が用いる方法の一例である。特徴点検出部１０１は、その他の手法を用いて、顔領域、及び、顔の特徴点を検出してもよい。

処理点選択部１０２は、検出された特徴点の中から、ぼけ度の計算の対象となる点（以下、「処理点」と呼ぶ）を選択する。処理点は、予め、対象物（今の場合、顔）におけるぼけの影響を受けやすい部分から決定された点である。

例えば、口及び目など顔の部分品、特に部分品の端点は、顔の認証に有効となる点である。これらの部分がぼけると、顔認証の精度が低下する。そこで、処理点として、例えば、対象物（今の場合、顔）の部分品（例えば、目及び口）の端点（例えば、目頭、目尻、及び口端）の少なくとも一部が選択される。例えば、処理点選択部１０２は、選択する処理点として、目、鼻、及び、口などの顔の主要な部分品（パーツ）の端点の少なくとも一部を保持し、特徴点からその処理点を選択する。

さらに、処理点選択部１０２は、部分品の端点に加え、２つの端点を結んだ線分の分割点（例えば、線分の中点、三等分点、及び／又は、四等分点）、及び／又は、その線分を延長した延長線上の点を選択してもよい。

処理点選択部１０２は、予め選択する処理点を保持していてもよい。あるいは、処理点選択部１０２は、対象となる顔画像と共に処理点を取得してもよい。なお、画像処理装置１０における処理点が固定の場合、特徴点検出部１０１又はぼけ度計算部１０３が、処理点選択部１０２の機能を含んでもよい。

ぼけ度計算部１０３は、選択された処理点それぞれに対して、ぼけ度（第１のぼけ度）を計算する。ただし、ぼけ度計算部１０３は、計算コストの低い計算方法を用いることが望ましい。例えば、ぼけ度計算部１０３は、ぼけ度の計算方法として、ＮＰＬ１に記載された方法を用いてもよい。ただし、ＮＰＬ１に記載の方法は、ぼけ度計算部１０３が用いる方法の一例である。ぼけ度計算部１０３は、その他の手法を用いて、ぼけ度を計算してもよい。

ぼけ度推定部１０４は、ぼけ度計算部１０３が計算したぼけ度を用いて、顔画像としてぼけ度（第２のぼけ度）を推定する。言い換えると、ぼけ度推定部１０４は、所定の処理点のぼけ度（第１のぼけ度）を用いて、顔画像としてのぼけ度（第２のぼけ度）の推定値を計算する。

ぼけ度推定部１０４が用いるぼけ度は、限定されない。顔画像のぼけ度は、対象となる顔画像、又は、ぼけ度を用いる装置など、所定の知見を基に決定されればよい。

例えば、算出したぼけ度が大きい処理点が顔画像のぼけ度として適切な場合、ぼけ度推定部１０４は、顔画像のぼけ度として、処理点のぼけ度の大きい方から所定数のぼけ度を平均した値を用いてもよい。あるいは、算出したぼけ度が小さい処理点が顔画像のぼけ度として適切な場合、ぼけ度推定部１０４は、顔画像のぼけ度として、処理点のぼけ度の小さい方から所定数のぼけ度を平均した値を用いてもよい。あるいは、算出したぼけ度が大きい処理点が顔画像のぼけ度として適切な場合、ぼけ度推定部１０４は、顔画像のぼけ度として、所定の閾値より大きな値である処理点のぼけ度の平均値を用いてもよい。あるいは、算出したぼけ度が小さい処理点が顔画像のぼけ度として適切な場合、ぼけ度推定部１０４は、顔画像のぼけ度として、所定の閾値より小さい値となる処理点のぼけ度の平均値を用いてもよい。さらに、ぼけ度推定部１０４は、平均値に限らず、中間値、又は、合計値など他の値を用いてもよい。

ぼけ度推定部１０４は、推定した顔画像のぼけ度を所定の装置に出力する。
［動作の説明］
次に、図面を参照して、第１の実施形態に係る画像処理装置１０の動作を説明する。

図２は、第１の実施形態に係る画像処理装置１０の動作の一例を示すフローチャートである。ただし、図２に示す動作の流れは、一例である。画像処理装置１０は、各動作を、必ずしも図２に示された順に実行しなくてもよい。例えば、画像処理装置１０は、処理点毎に、ステップＳ２２及びＳ２３を実行してもよい。

なお、画像受信部１００は、対象顔画像を受信済みとする。

特徴点検出部１０１は、対象顔画像における顔領域、及び、顔の特徴点を検出する（ステップＳ２１）。

図３は、特徴点検出部１０１の動作の一例を説明するための図である。

図３の左側が、対象顔画像の一例である。

図３の右側における円で示される点が、特徴点検出部１０１が検出した特徴点の一例である。図３の場合、特徴点検出部１０１は、特徴点として、目尻、目頭、鼻下、口端、眉端、及び、顔の輪郭（フェイスライン）を検出している。

図２を参照した説明に戻る。

処理点選択部１０２は、検出された特徴点から、ぼけ度を計算する処理点を選択する（ステップＳ２２）。処理点は、ぼけの影響を受けやすい点として、予め処理点選択部１０２に設定されている。例えば、顔の部分品（目、眉、鼻、及び、口を含む領域）は、ぼけの影響を受けやすい。そこで、例えば、処理点選択部１０２は、処理点として、顔の部分品の端点の特徴点を選択する。さらに、処理点選択部１０２は、処理点として、２つの処理点を結ぶ線分の間の点（例えば、処理点を結ぶ線分の中点）、及び／又は、その線分を延長した延長線上の点を選択してもよい。なお、処理点が、分割点などを含む場合、これらの点も、予め処理点選択部１０２に設定されている。

図４は、処理点選択部１０２の動作の一例を説明するための図である。

図４の左側が、図３の右側に対応する特徴点検出部１０１が検出した特徴点を示す。

図４の右側が、選択された処理点の一例を示す図である。図４の右側の四角形で示される点が、処理点である。図４の場合、処理点選択部１０２は、処理点として、特徴点から次の１１点を選択している。
（１）両目頭と両目尻（４点）
（２）鼻下（１点）
（３）口端（２点）
（４）両眉端（４点）
さらに、処理点選択部１０２は、上記に加え、次の４点を選択している。
（１）左目頭と鼻下とを結ぶ線分の中点
（２）右目頭と鼻下とを結ぶ線分の中点
（３）左目尻と左口端とを結ぶ線分の中点
（４）右目尻と右口端とを結ぶ線分の中点
図２を参照した説明に戻る。

上記のとおり、処理点選択部１０２は、顔画像における特徴点から、ぼけの影響を受けやすい点（例えば、部分品の端部）を選択する。そのため、以下の処理において、画像処理装置１０は、ぼけに対して精度の高い処理を実現できる。

ぼけ度計算部１０３は、選択された処理点に対して、ぼけ度を計算する（ステップＳ２３）。例えば、ぼけ度計算部１０３は、選択された処理点の各点に対して、ＮＰＬ１に記載された方法を用いてぼけ度を計算する。

参考として、ＮＰＬ１が用いるぼけ度を簡単に説明する。

等式１は、ＮＰＬ１に用いられているぼけ度であるぼけ指標値Ｆ（ｉ，ｊ）を求める式である。ｉ及びｊは、画像上の画素の位置（例えば、ｉが横座標の位置で、ｊが縦座標の位置）である。関数ＭＬ（）は、絶対値和の関数である。ｓは、対象画素と、予め決められた周辺画素との距離（画素数）である。一般的に、ｓは、「１」つまり、隣の画素である。しかし、ｓは、１より大きな数でもよい。関数Ｉ（）は、画素の値である。Ｔ_１は、所定の閾値である。Ｎは、所定の自然数である。

座標（ｉ，ｊ）の画素におけるぼけ指標値Ｆ（ｉ，ｊ）は、画素（ｉ，ｊ）を中心とした上下左右それぞれＮ画素までの領域「（２Ｎ＋１）×（２Ｎ＋１）」の各画素を対象として計算される。詳細には、ぼけ指標値Ｆ（ｉ，ｊ）は、各画素と、距離（画素）sだけ離れた周辺画素との差分の絶対値和ＭＬ（ｘ，ｙ）が、所定の閾値（Ｔ_１）以上となる絶対値和ＭＬ（ｘ，ｙ）の総和である。この場合のぼけ度は、その値が小さいほど、周辺画素との差が小さい、つまり、ぼけていることを示す指標である。

［等式１］

等式１を処理点に適用した場合、ぼけ度計算部１０３は、次のようにぼけ度（指標値（ｉ，ｊ））を計算する。まず、ぼけ度計算部１０３は、処理点を中心として上下左右それぞれ所定数（Ｎ）の画素までの領域の画素と処理点との絶対値和を算出する。そして、ぼけ度計算部１０３は、所定の閾値より大きい絶対値和の操作を、ぼけ度とする。

上記の等式１、つまり、ＮＰＬ１の計算は、一つの画像における加減算の処理のため、計算コストが低い。ぼけ度計算部１０３は、処理点におけるぼけ度の計算において、上記のような計算コストの低い方法を用いる。

ぼけ度推定部１０４は、処理点において計算されたぼけ度を用いて、顔画像のぼけ度を推定する（ステップＳ２４）。

顔認証において、認証において重要な部分（ぼけの影響を受けやすい部分）の中にぼけが少ない部分があると、顔認証の精度は、低下しにくい。顔認証においては、最もぼけていない部分でのぼけ度が、認証の精度に影響を与える。そこで、例えば、値が小さいほど画像がぼけているというぼけ度の場合、ぼけ度推定部１０４は、画像のぼけ度として、ぼけ度を値が大きい処理点（ぼけていない点）から所定数の処理点のぼけ度の平均値を計算する。ぼけ度推定部１０４は、平均値に替えて中央値又は総和を計算してもよい。平均値などの計算は、計算コストが低い計算の一例である。ぼけ度推定部１０４は、第２のぼけ度として、第１のぼけ度（処理点のぼけ度）の少なくとも一部の平均値、中央値、又は総和を計算する。

この場合、ぼけ度推定部１０４は、顔画像の全ての点におけるぼけ度ではなく、ぼけの影響を受けやすい一部の点（処理点）のぼけ度を用いたぼけ度を計算している。そのため、ぼけ度推定部１０４が計算したぼけ度は、顔画像のぼけ度の推定値である。ただし、この推定値は、ぼけの影響を受けやすい点を用いた推定である。そのため、この推定は、計算コストが低いが、顔画像のぼけ度の推定としては有効な推定となる。

このように、ぼけ度推定部１０４は、計算コストが低い計算方法を用いて画像のぼけ度の推定値を計算する。

以上のように、特徴点検出部１０１は、画像における対象物の特徴を示す特徴点を検出する。そして、処理点選択部１０２は、特徴点の中から、予め設定されたぼけの影響を受けやすい処理点を選択する。ぼけ度計算部１０３は、計算コストが低い計算方法を用いて、処理点のぼけ度を計算する。そして、ぼけ度推定部１０４は、計算コストの低い計算方法を用いて、処理点のぼけ度（第１のぼけ度）から画像のぼけ度（第２のぼけ度）を推定（計算）する。そのため、画像処理装置１０は、画像における精度のよいぼけ度を、計算コストを低減して得ることができる。

［効果の説明］
次に、第１の実施形態に係る画像処理装置１０の効果について説明する。

第１の実施形態に係る画像処理装置１０は、画像における精度のよいぼけ度を、計算コストを低減して計算するとの効果を得ることができる。

その理由は、次のとおりである。

画像処理装置１０は、特徴点検出部１０１と、処理点選択部１０２と、ぼけ度計算部１０３と、ぼけ度推定部１０４とを含む。特徴点検出部１０１は、画像に含まれる対象物の認証に用いられる特徴点を検出する。処理点選択部１０２は、特徴点から所定の処理点を選択する。ぼけ度計算部１０３は、処理点のぼけ度（第１のぼけ度）を計算する。ぼけ度推定部１０４は、処理点のぼけ度を用いて顔画像（対象物）のぼけ度（第２のぼけ度）を推定（計算）する。

特徴点検出部１０１は、画像における対象物の特徴を示す特徴点を検出する。

そして、処理点選択部１０２は、特徴点の中から、予め設定された処理点（例えば、ぼけの影響を受けやすい部分品の端点）を選択する。

ぼけ度計算部１０３は、処理点におけるぼけ度を計算する。ただし、既に説明したとおり、ぼけ度計算部１０３は、ＮＰＬ１など計算コストが低い計算方法を用いて、処理点におけるぼけ度を計算する。上記のとおり、処理点は、ぼけの影響を受けやすい点である。そのため、ぼけ度計算部１０３が計算したぼけ度は、ぼけの影響を受けやすい点におけるぼけ度である。ぼけ度計算部１０３は、計算コストを低減して、精度のよいぼけ度を計算する。

そして、ぼけ度推定部１０４は、ぼけ度計算部１０３が計算したぼけ度を用いて、画像におけるぼけ度を推定する。ただし、既に説明したとおり、ぼけ度推定部１０４は、平均値など計算コストの低い計算方法を用いて、画像におけるぼけ度を推定する。ぼけ度推定部１０４は、計算コストを低減して、精度のよい画像のぼけ度を推定する。

このように、画像処理装置１０は、画像における精度のよいぼけ度の推定値を、計算コストを低減して得ることができる。

［実施形態の概要］
図面を参照して第１の実施形態の概要を説明する。

図７は、第１の実施形態に係る画像処理装置１０の概要である画像処理装置１１の構成の一例を示すブロック図である。画像処理装置１１は、特徴点検出部１０１と、ぼけ度計算部１０３と、ぼけ度推定部１０４とを含む。特徴点検出部１０１は、画像に含まれる対象物の認証に用いられる特徴点を検出する。ぼけ度計算部１０３は、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算する。ぼけ度推定部１０４は、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定する。

特徴点検出部１０１は、画像における対象物の特徴を示す特徴点を検出する。

ぼけ度計算部１０３は、例えば、特徴点の中から、予め設定された処理点におけるぼけ度を計算してもよい。処理点は、ぼけの影響を受けやすい点（例えば、ぼけの影響を受けやすい部分品の端点）と仮定する。この場合、ぼけ度計算部１０３が計算したぼけ度は、ぼけの影響を受けやすい点におけるぼけ度である。その結果、ぼけ度計算部１０３は、計算コストを低減して、精度のよいぼけ度を計算する。すなわち、ぼけ度計算部１０３は、ＮＰＬ１など計算コストが低い計算方法を用いて、処理点におけるぼけ度を計算する。

そして、ぼけ度推定部１０４は、ぼけ度計算部１０３が計算したぼけ度を用いて、画像におけるぼけ度を推定する。この場合、既に説明したとおり、ぼけ度推定部１０４は、平均値など計算コストの低い計算方法を用いて、画像におけるぼけ度を推定することができる。その結果、ぼけ度推定部１０４は、計算コストを低減して、精度のよい画像のぼけ度を推定することができる。

要するに、第１の最小構成である画像処理装置１１は、画像処理装置１０と同様に、画像における精度のよいぼけ度を、計算コストを低減して計算するとの効果を奏することができる。

［ハードウェア構成］
画像処理装置１０を参照して、画像処理装置１０及び１１のハードウェアの構成について説明する。

画像処理装置１０は、次のように構成される。

例えば、画像処理装置１０の各構成部は、ハードウェア回路で構成されてもよい。

あるいは、画像処理装置１０において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。

あるいは、画像処理装置１０において、複数の構成部は、１つのハードウェアで構成されてもよい。

あるいは、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。画像処理装置１０は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Ｉｎｐｕｔ ａｎｄ Ｏｕｔｐｕｔ Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。画像処理装置１０は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。

図８は、第１の実施形態に係る画像処理装置１０のハードウェア構成の一例である画像処理装置６０の構成を示すブロック図である。

画像処理装置６０は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示される、画像受信部１００と、特徴点検出部１０１と、処理点選択部１０２と、ぼけ度計算部１０３と、ぼけ度推定部１０４としての各機能を実現する。

ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記録媒体として使用してもよい。

また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０又は内部記憶装置６４０に保存して、保存したプログラムを基に動作してもよい。

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ−ＲＯＭ）又はフラッシュＲＯＭである。

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Ｄｙｎａｍｉｃ−ＲＡＭ）である。

内部記憶装置６４０は、画像処理装置６０が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。

ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）カードである。さらに、ＩＯＣ６５０は、ＵＳＢのような有線に限らず、無線を用いてもよい。

入力機器６６０は、画像処理装置６０の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。

表示機器６７０は、画像処理装置６０の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カードである。さらに、ＮＩＣ６８０は、有線に限らず、無線を用いてもよい。

このように構成された画像処理装置６０は、画像処理装置１０と同様の効果を得ることができる。

その理由は、画像処理装置６０のＣＰＵ６１０が、プログラムに基づいて画像処理装置１０と同様の機能を実現できるためである。

＜第２の実施形態＞
次に、図面を参照して、第２の実施形態について説明する。

［構成の説明］
まず、図面を参照して、第２の実施形態に係る画像処理装置５０の構成について説明する。

図５は、第２の実施形態に係る画像処理装置５０の構成の一例を示すブロック図である。

画像処理装置５０は、第１の実施形態に係る画像処理装置１０と比較すると、処理点選択部１０２に替えて処理点選択部５０２を含む。さらに、画像処理装置５０は、正規化部５０５を含む。その他の構成は、第１の実施形態に係る画像処理装置１０の構成と同一のため、その詳細な説明を省略する。

画像処理装置５０は、画像処理装置１０と同様に、図８に示されるコンピュータ装置を用いて実現されてもよい。

正規化部５０５は、特徴点検出部１０１が検出した特徴点に基づいて、対象顔画像を正規化する。以下、正規化後の画像を「正規化画像」と呼ぶ。

本実施形態において、正規化の対象範囲は、限定されない。例えば、正規化は、顔画像の位置、顔画像の大きさ、及び／又は、顔画像の角度の正規化である。

また、正規化部５０５が用いる正規化の手法は、限定されない。例えば、正規化部５０５は、予め、基準特徴点を保持してもよい。基準特徴点とは、正規化において、予め決められた位置（この位置を「基準」と呼ぶ）に変換される特徴点である。正規化部５０５は、予め保持する基準特徴点と、対象顔画像における特徴点とを用いて、対象顔画像を変換する。

この場合、正規化部５０５は、基準特徴点に対応した対象顔画像の特徴点が、基準特徴点の位置となるように、対象顔画像を変換（例えば、アフィン変換）する。正規化部５０５は、正規化に用いる画像変換の方法として、アフィン変換に限らず、射影変換、相似変換、又は、透視投影変換などの方法を用いてもよい。

あるいは、正規化部５０５は、予め、基準特徴点の３次元情報及び／又は平均３次元顔形状情報も保持してもよい。この場合、正規化部５０５は、対象顔画像と、基準特徴点の３次元情報（及び／又は平均３次元顔座標情報）とを用いて、位置、大きさ、角度に加え、顔画像の向きを正規化してもよい。

平均３次元顔形状情報とは、所定数の顔形状の３次元情報を平均化して得られる顔形状情報である。平均に用いられる顔形状の３次元情報は、対象となる人物の顔形状の３次元情報を含んでもよく、含まなくてもよい。

正規化部５０５は、予め、基準特徴点の位置、基準特徴点の３次元情報、及び／又は、平均３次元顔形状情報を保持せず、処理に際して図示しない装置などから、これらの情報を取得してもよい。

処理点選択部５０２は、処理点を選択する。ただし、正規化部５０５が、特徴点を正規化している。そのため、処理点選択部５０２は、正規化後の特徴点から処理点を選択する。例えば、処理点選択部５０２は、正規化後の画像における目、眉、鼻、及び口の端点を選択する。この場合、処理点は、正規化画像に含まれる点となる。

ただし、正規化後の画像において、基準特徴点に対応する特徴点は、いずれの顔画像においても、同じ位置に変換される。そこで、処理点選択部５０２は、正規化後の顔画像における所定の座標の点（例えば、基準特徴点、又は、基準特徴点に対した所定の位置の点）を選択してもよい。この場合、処理点選択部５０２は、処理点として、全ての顔画像において同じ位置の点を選択できる。この場合、処理点は、正規化画像における予め設定された位置の点となる。

例えば、画像によっては、特徴点検出部１０１が、ぼけの影響を受けやすい部分での特徴点を検出しにくい場合がある。この場合、第１の実施形態に係る処理点選択部１０２は、その部分において処理点を選択できない。

しかし、第２の実施形態に係る処理点選択部５０２は、処理点として正規化後の画像における所定の座標の点を選択できる。そのため、画像処理装置５０は、ぼけの影響を受けやすい部分で特徴点が検出できない場合でも、その部分における処理点を選択できる。

このように、処理点選択部５０２は、処理点選択部１０２よりも頑強に処理点を選択できる。

［動作の説明］
次に、図面を参照して、第２の実施形態に係る画像処理装置５０の動作の一例を説明する。

図６は、第２の実施形態に係る画像処理装置５０の動作の一例を示すフローチャートである。ただし、図６に示す動作の流れは一例である。画像処理装置５０は、各動作を、必ずしも図６に示された順に実行しなくてもよい。例えば、画像処理装置５０は、処理点毎に、ステップＳ６２及びＳ２３を実行してもよい。

なお、第１の実施形態に係る画像処理装置１０の動作と同じ動作については、詳細な説明を省略する。

正規化部５０５は、検出された特徴点に基づいて、顔画像を正規化する（ステップＳ６５）。例えば、正規化部５０５は、予め、特徴点に対応した基準特徴点の３次元情報及び／又は平均３次元顔形状情報を保持する。そして、正規化部５０５は、基準特徴点を、検出された特徴点に変換する透視投影変換の変換パラメータを求める。そして、正規化部５０５は、求めた変換パラメータを用いて、平均３次元顔形状上に対象顔画像を投影する。このように、正規化部５０５は、位置などを正規化した顔画像を生成する。ただし、前述のとおり、正規化方法は、この方法に限らない。正規化部５０５は、任意の方法を用いてよい。

処理点選択部５０２は、正規化後の顔画像から、ぼけ度を計算する処理点を選択する（ステップＳ６２）。例えば、処理点選択部５０２は、処理点として、正規化された顔画像において特徴点に対応する点を選択する。処理点選択部５０２は、正規化された顔画像における特徴点から処理点を選択してもよいし、正規化に利用された基準特徴点の座標値を利用して処理点を選択してもよい。

［効果の説明］
次に、第２の実施形態に係る画像処理装置５０の効果について説明する。

第２の実施形態に係る画像処理装置５０は、第１の実施形態の効果に加え、ぼけ度をより高精度に推定するとの効果を得ることができる。

その理由は、次のとおりである。

処理点選択部１０２がぼけ度を計算する処理点を選択する前に、正規化部５０５が、顔画像を正規化する。その結果、正規化後の画像において、隣接画素間の関係性、及び、１画素が表す領域の大きさが、全ての顔画像において均一となる。

等式１を用いる場合、ぼけ度計算部１０３は、計算対象の画素と、その画素の周辺画素とを用いてぼけ度（等式１のぼけ指標値）を計算する。正規化部５０５は、計算対象の画素と周辺画素との間の関係を均一化する。そのため、処理点におけるぼけ度（ぼけ指標値）の計算精度は、正規化前に比べ、向上する。その結果、画像処理装置５０は、処理点におけるぼけ度を用いた画像のぼけ度の推定値の推定精度を向上できる。

さらに、第２の実施形態に係る画像処理装置５０は、より頑強にぼけ度を計算するとの効果を奏することができる。

その理由は、次のとおりである。

正規化部５０５が、特徴点の位置を正規化するように画像を変換する。そのため、特徴点は、同じ位置に変換される。その結果、特徴点検出部１０１が特徴点を検出できない画像においても、処理点選択部５０２は、正規化後の画像における位置を用いて、処理点を選択できるためである。

［詳細例］
次に、図面を参照して、第２の実施形態の詳細例について説明する。

（構成の説明）
以下の説明における画像処理装置５０の構成は、上記の説明と同じである。ただし、各構成は、次の説明するとおり、より詳細な動作を実行する。

画像受信部１００は、図示しないカメラから対象顔画像を受信する。

特徴点検出部１０１は、対象顔画像から顔の特徴点を検出する。検出する顔の特徴点は、図３に示されている、両目尻（２点）、両目頭（２点）、鼻下（１点）、口端（２点）、両眉端（４点）、及び、顔輪郭（７点）の１８点とする。

正規化部５０５は、検出された顔の特徴点を利用して、顔画像を正規化する。さらに、正規化部５０５は、平均３次元顔形状情報を用いて、顔の向きを正規化する。

処理点選択部５０２は、生成された正規化顔画像から処理点を選択する。処理点は、上記の１８個の特徴点から、輪郭の７個を除く１１個の特徴点（ただし、正規化後の特徴点）とする。

ぼけ度計算部１０３は、選択された処理点に対してぼけ度を計算する。ぼけ度計算部１０３は、ぼけ度（ぼけ指標値）の計算に、ＮＰＬ１の方法を利用する。

ぼけ度推定部１０４は、画像のぼけ度として、ぼけ度計算部１０３が計算したぼけ度の中で、値の大きい方から上位５点の平均値を計算する。

（動作の説明）
次に、詳細例の動作について説明する。動作フローは、図６である。

なお、画像受信部１００は、対象顔画像を受信済みとする。

特徴点検出部１０１が、対象顔画像中の顔の特徴点を検出する（ステップＳ２１）。例えば、特徴点検出部１０１は、Ｖｉｏｌａ−Ｊｏｎｅｓ法を用いて、両目尻、両目頭、鼻下、口端、眉、及び輪郭（フェイスライン）における特徴点（１８点）を検出する。

正規化部５０５が、特徴点に基づいて、顔画像を正規化する（ステップＳ６５）。正規化部５０５は、予め、特徴点に対応した基準特徴点の３次元情報及び平均３次元顔形状情報を保持する。そして、正規化部５０５は、基準特徴点を、検出された特徴点の位置に変換する透視投影変換の変換パラメータを求める。そして、正規化部５０５は、その変換パラメータを使って画素を平均３次元顔形状上へ投影する。このように、正規化部５０５は、位置、大きさ、角度、及び／又は、向きを正規化した顔画像を生成する。

処理点選択部５０２が、生成された正規化後の顔画像から、ぼけ度を計算する処理点を選択する（ステップＳ６２）。処理点選択部５０２は、処理点として、正規化された顔画像において、検出された特徴点（１８点）において輪郭の７点を除く残りの１１点に対応する点を選択する。処理点選択部５０２は、正規化された顔画像の特徴点の座標値として、正規化において利用された基準特徴点の座標値を利用する。

ぼけ度計算部１０３は、選択された処理点に対して、ぼけ度を計算する（ステップＳ２３）。ぼけ度計算部１０３は、選択された各処理点に対して、ＮＰＬ１に記載された計算方法を用いて、ぼけ度を計算する。具体的には、ぼけ度計算部１０３は、等式１において、「ｓ＝１，Ｎ＝２，Ｔ_１＝７」として、処理点のぼけ度（ぼけ指標値Ｆ（ｉ，ｊ））を計算する。

ぼけ度推定部１０４が、計算されたぼけ度（ぼけ指標値）を用いて、画像のぼけ度を推定（計算）する（ステップＳ２４）。今の場合、ぼけ度計算部１０３が計算したぼけ度（ぼけ指標値）は、値が小さいほどぼけていることを示す。そのため、ぼけ度推定部１０４は、ぼけ度を大きい順にソートし、画像のぼけ度として値が大きい上位５点のぼけ度の平均値を計算する。

＜画像処理システム＞
次に図面を参照して、画像処理装置１０を含む画像処理システム４０について説明する。画像処理システム４０は、画像処理装置１０に替えて、画像処理装置５０、又は、画像処理装置１１を含んでもよい。

図９は、画像処理システム４０の構成の一例を示すブロック図である。

画像処理システム４０は、画像処理装置１０と、画像送信装置２０と、画像受信装置３０とを含む。

画像送信装置２０は、対象顔画像を画像処理装置１０に送信する装置である。例えば、画像送信装置２０は、撮像装置２０１である。あるいは、画像送信装置２０は、画像を保存する画像記憶装置２０２である。画像送信装置２０は、複数の装置（例えば、撮像装置２０１と画像記憶装置２０２）を含んでもよい。ただし、画像送信装置２０は、上記に限定されない。

画像処理装置１０は、既に説明したとおり、対象顔画像を用いて、ぼけ度を推定（計算）する。

画像受信装置３０は、画像処理装置１０から画像のぼけ度（ぼけ度の推定値）を受信して、所定の画像を表示する。例えば、画像受信装置３０は、画像処理装置１０から、対象顔画像、及び、その画像のぼけ度を受信する。そして、画像受信装置３０は、ぼけ度を基に表示する対象顔画像を選択して表示する。

あるいは、画像受信装置３０は、ぼけ度を基に顔認証に用いる対象顔画像を選択してもよい。

さらに、画像受信装置３０は、受信した対象画像のぼけ度の推定値が所定の条件を満足しない場合（例えば、ぼけがひどい場合）、画像送信装置２０及び／又は画像処理装置１０に画像の再取得を依頼してもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、ぼけた顔画像の自動判定又は選別に利用可能である。

例えば、本発明を利用すると、デジタルカメラは、人物を撮影する際に、人物の顔が一定以上ぼけていると推定された場合に、自動でフォーカスを調整できる。あるいは、デジタルカメラは、撮影後の画像において、顔が一定以上ぼけていると推定された場合、自動的に消去候補とすることができる。また、顔認証装置は、本発明を利用して、認証対象の顔画像が一定以上ぼけていると推定される場合に、顔画像の撮影をやり直すように促したり、認証におけるスコアを補正したりできる。

１０ 画像処理装置
１１ 画像処理装置
２０ 画像送信装置
３０ 画像受信装置
５０ 画像処理装置
６０ 画像処理装置
１００ 画像受信部
１０１ 特徴点検出部
１０２ 処理点選択部
１０３ ぼけ度計算部
１０４ ぼけ度推定部
２０１ 撮像装置
２０２ 画像記憶装置
５０２ 処理点選択部
５０５ 正規化部
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ ＩＯＣ
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記録媒体

本発明の一形態に係るプログラムは、画像に含まれる対象物の認証に用いられる特徴点を検出する処理と、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算する処理と、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定する処理とをコンピュータに実行させる。

Claims (10)

1. 画像に含まれる対象物の認証に用いられる特徴点を検出する特徴点検出手段と、
   前記特徴点における所定の処理点のぼけ度である第１のぼけ度を計算するぼけ度計算手段と、
   前記第１のぼけ度を用いて前記対象物のぼけ度である第２のぼけ度を推定するぼけ度推定手段と
   を含む画像処理装置。
2. 前記特徴点から前記所定の処理点を選択する処理点選択手段を、
   さらに含む請求項１に記載の画像処理装置。
3. 前記処理点が、前記対象物に含まれる部分品の端点である
   請求項１又は２に記載に画像処理装置。
4. 前記処理点が、前記処理点の少なくとも一部を結んだ線分の分割点、及び、前記線分を延長した延長線上の点の少なくともどちらか一つをさらに含む
   請求項３に記載の画像処理装置。
5. 前記ぼけ度計算手段が、前記第１のぼけ度として、前記処理点を中心として上下左右それぞれ所定数の画素までの領域の画素と前記処理点との絶対値和を算出し、所定の閾値より大きい前記絶対値和の総和を算出し、
   前記ぼけ度推定手段が、前記第２のぼけ度として、前記第１のぼけ度の少なくとも一部の平均値、中央値、又は総和を算出する
   請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記対象物の位置、大きさ、角度、及び向きの少なくとも一つにおいて前記対象物を正規化した正規化画像を生成する正規化手段をさらに含み、
   前記処理点が、前記正規化画像に含まる点である
   請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記正規化手段が、
   正規化の基準となる所定の基準特徴点を保持し、
   前記特徴点と前記基準特徴点とを用いて前記正規化画像を生成する
   請求項６に記載の画像処理装置。
8. 前記処理点が、前記正規化画像における予め設定された位置の点である
   請求項６又は７に記載の画像処理装置。
9. 画像に含まれる対象物の認証に用いられる特徴点を検出し、
   前記特徴点における所定の処理点のぼけ度である第１のぼけ度を計算し、
   前記第１のぼけ度を用いて前記対象物のぼけ度である第２のぼけ度を推定する
   画像処理方法。
10. 画像に含まれる対象物の認証に用いられる特徴点を検出する処理と、
    前記特徴点における所定の処理点のぼけ度である第１のぼけ度を計算する処理と、
    前記第１のぼけ度を用いて前記対象物のぼけ度である第２のぼけ度を推定する処理と
    をコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する記録媒体。

Images