JP4692151B2 - 画像認識方法及び画像認識装置 - Google Patents

Description

本発明は、例えば人物の顔等の特定のオブジェクトが含まれた画像を識別する場合、特に、照明光の照度や照射の方向などの影響を受け難いロバストな識別を行うことができる画像認識方法及び画像認識装置並びに画像認識用プログラムに関する。

近年、特定のオブジェクトが含まれているか否かを識別（判定）する対象とされる判定対象画像について当該判定を実施するための手法としては、ニューラルネットなどの情報処理技術を利用したパターン認識によってこれを実行することが一般的に知られている。しかし、この手法では、計算量が多く、判定に時間がかかると言う欠点があった。
一方、パターン認識の画像照合における処理時間を増大させることなく照合のロバスト正を向上させようとする提案もなされている。この種の提案の一例では、パターン認識の画像照合に適用する画像を生成するについて、複数の見本画像について、二つの画素の異なる組み合わせについての濃淡差分値を量子化し、量子化された差分値の確率テンプレートを用いて類似度を算出して照合している（例えば、特許文献１参照）。
特開２００４−２４６６１８号公報（段落００１３〜段落００４５、図２）

しかしながら、上述した特許文献１に提案の技術では以下の課題を残す。即ち、濃淡差分値の確率を用いて類似度を計算するが、見本画像で出現しないパターンがある場合、類似度を算出することができない。特許文献１において実施例として呈示された手法では、確率の最低値（０．０１）を設定し、この問題を回避しようとしている。しかしながら、実際の見本画像によらない人為的な処理のため、類似度の正確性に影響を及ぼす可能性がある。更にまた、隣接画素のみを使用するために、部分的な隠れ（Ｏｃｃｌｕｓｉｏｎ）や照明光の照射方向による部分的による照度の変化の影響を強く受ける虞がある。

本発明は、照明の照度や照射の方向などの変化に対してロバストであり、かつ簡素な演算によって高速なオブジェクト認識を行うことによって、例えば人物の顔等の特定のオブジェクトが含まれた画像を的確に識別することができる画像認識方法及び画像認識装置並びに画像認識用プログラムを提供することを目的としている。

上記課題を解決するべく、本願では次に列記するような技術を提案する。
（１）所定のオブジェクトの有無を判定する対象とする判定対象画像に関して当該判定対象画像中の注目画素とこの注目画素とは所定の位置関係にある１個以上の各比較対象画素とを特定し、該特定された注目画素と各比較対象画素とを同種の画像特徴量で夫々比較し、該夫々の比較に関しその結果が所定の条件を満足する場合毎に注目画素に対応して所定のスコア平均値を加算し満足しない場合毎に該所定のスコア平均値を減算する加減算処理を当該特定された全比較対象画素に関して夫々行って全加減算処理を実行した累算結果値を当該注目画素に対応するスコア平均累算値とする一のスコア平均値累算処理を実行し、前記判定対象画像を構成する全画素について、それら全画素のうちの各一の画素を、逐次、前記注目画素として位置付け、該注目画素として位置付けられた各一の画素と前記所定の位置関係にある他の各画素を、逐次、比較対象画素として夫々位置付け、該逐次位置付けられた注目画素と各比較対象画素とに関して、前記一のスコア平均値累算処理と同様のスコア平均値累算処理を夫々逐次実行して、前記一のおよび逐次のスコア平均値累算処理によって前記判定対象画像の所定領域または全域に亘る各画素毎に各該当するスコア平均累算値を求め、更に、前記判定対象画像の所定領域または全域に亘る各画素毎に算出されたスコア平均累算値についてそれらの全合計値であるスコア平均合算値を求め、前記スコア平均合算値が所定の範囲内の値であるときに、前記判定対象画像は前記所定のオブジェクトを含む画像であると判定することを特徴とする画像認識方法。

上記（１）の画像認識方法によれば、注目画素と各比較対象画素とを同種の画像特徴量（輝度値）で夫々比較し、各比較の結果毎に、その結果が所定の条件を満足するか否かに応じて当該注目画素毎に所定のスコア平均値（所定のオブジェクトを含む参照画像に基づいて得たオブジェクトの有無と一定の相関を有する既知の値）を加算または減算して、全比較結果に係る加減算の累算値である一のスコア平均累算値を求め、同様の演算によって、全注目画素について夫々スコア平均累算値を求め、次いで、それら全てのスコア平均累算値を合算して、所定のオブジェクトの有無を判定する対象とする判定対象画像全体に対応した値であるスコア平均合算値を求め、このスコア平均合算値が所定の範囲内の値であるときに、前記判定対象画像は前記所定のオブジェクトを含む画像であると判定するようにしたため、前記比較を行う段階で照明光の影響（画像特徴量が輝度値でないときには該画像特徴量の多寡に関係する要素の影響）が相殺され、照明光の照射の状況の如何等に影響され難いロバストなオブジェクト検出処理が行われ得る。

（２）前記加減算処理における所定のスコア平均値の加算または減算の別を決するに依拠する前記所定の条件は、前記逐次位置付けられた注目画素と１個以上の各比較対象画素との前記画像特徴量に関する夫々の差の絶対値が全て一定の範囲内にあることとして設定することを特徴とする（１）の画像認識方法。

上記（２）の画像認識方法によれば、（１）の画像認識方法において特に、画像特徴量（例えば輝度である）に関する差が全て一定値以下であることを条件として、スコア算出処理における所定の正のスコア値または所定の負のスコア値の付与の別を決することにより、オブジェクト検出が的確に行われ得ることがデータ上（シミュレーションで）確認されている。

（３）前記注目画素と比較対象画素とに係る前記所定の位置関係は、当該注目画素と比較対象画素とが所定の方向に隣接する関係であるとして設定することを特徴とする（１）の画像認識方法。

上記（３）の画像認識方法によれば、（１）の画像認識方法において特に、画像特徴量（例えば輝度である）に関する差を見るべき注目画素と比較対象画素とは、所定の方向（例えば水平方向）に隣接する関係であり、これによりオブジェクト検出が的確に行われ得る。

（４）前記対象画像にオブジェクトが含まれるか否かの別を決するに依拠する前記スコア平均合算値に係る所定の範囲は、前記所定のオブジェクトを含む複数の参照画像に関して各一の参照画像中の注目画素とこの注目画素とは所定の位置関係にある１個以上の各比較対象画素とを特定し、該特定された注目画素と各比較対象画素とを同種の画像特徴量で夫々比較し該比較の結果が所定の条件を満足するときには注目画素に対して所定の正の値を付与し満足していないときには所定の負の値を付与する付与処理を当該特定された全比較対象画素に関して夫々行ってそれら付与処理によって付与される値の累算値を当該注目画素に対応するスコア値とする一のスコア算出処理を実行し、前記参照画像を構成する全画素についてそれらのうちの一の画素を、逐次、前記注目画素として夫々位置付け、該注目画素として位置付けられた当該画素と前記所定の位置関係にある他の１個以上の各画素を、逐次、比較対象画素として位置付け、該逐次位置付けられた注目画素と各比較対象画素とに関して前記一のスコア算出処理と同様のスコア算出処理を逐次実行して、前記一のおよび逐次のスコア算出処理によって前記参照画像の所定領域または全域に亘る各画素毎のスコア値を求め、更に、前記複数の各参照画像に関して、それらの前記所定領域または全域に亘る各画素毎に対応した前記スコア値を平均して各スコア平均値を求め、該各画素毎のスコア平均値を前記所定領域または全域に亘る各画素について合算したスコア合算値を求め、当該合算値との差が所定値以内である範囲として設定することを特徴とする（１）の画像認識方法。

上記（４）の画像認識方法によれば、（１）の画像認識方法において特に、対象画像にオブジェクトが含まれるか否かの別を決するに依拠する前記スコア平均合算値に係る所定の範囲（判定基準）の設定課程においても、所定のオブジェクトを含む複数の参照画像に関して、各参照画像を構成する画素たる注目画素と比較対象画素とを同種の画像特徴量で比較し、該比較の結果が所定の条件を満足するか否かに応じて各一の参照画像を構成する各注目画素毎に、正または負の値の付与の別（従って、これらの値の累算においては加算になるか減算になるかの別）を判別するようにして、付与値の累算値としてのスコア値を算出し、これら算出されたスコア値を参照画像（またはその中の或る領域）を構成する全画素（夫々、順次、注目画素として位置付けられる）に関して平均することにより各スコア平均値を求める処理を行い、該各画素毎のスコア平均値を前記所定領域または全域に亘る各画素について合算したスコア合算値を求め、このスコア合算値との差が所定値以内である範囲として判定基準たる合算値の範囲を設定するため、前記比較を行う段階で照明光の影響が相殺され、照明光の照射の状況の如何に影響され難いロバストなオブジェクト検出処理が行われ得る。

（５）前記付与処理における所定の正の値または所定の負の値の付与の別を決するに依拠する前記所定の条件は、前記逐次位置付けられた注目画素と１個以上の各比較対象画素との前記画像特徴量に関する夫々の差の絶対値が全て一定の範囲内にあることとして設定することを特徴とする（４）の画像認識方法。

上記（５）の画像認識方法によれば、（４）の画像認識方法において特に、画像特徴量（例えば輝度である）に関する差が全て一定値以下であることを条件として、スコア算出処理過程における所定の正の値または所定の負値の付与の別を決することにより、オブジェクト検出が的確に行われ得ることがデータ上（シミュレーションで）確認されている。

（６）前記注目画素と比較対象画素とに係る前記所定の位置関係は、当該注目画素と比較対象画素とが所定の方向に隣接する関係であるとして設定することを特徴とする（４）の画像認識方法。

上記（６）の画像認識方法によれば、（４）の画像認識方法において特に、画像特徴量（例えば輝度である）に関する差を見るべき注目画素と比較対象画素とは、所定の方向（例えば水平方向）に隣接する関係であり、これによりオブジェクト検出が的確に行われ得る。

（７）所定のオブジェクトを含む複数の参照画像に関して各一の参照画像中の注目画素とこの注目画素とは所定の位置関係にある１個以上の各比較対象画素とを特定し、該特定された注目画素と各比較対象画素とを同種の画像特徴量で夫々比較し該比較の結果が所定の条件を満足するときには注目画素に対して所定の正の値を付与し満足していないときには所定の負の値を付与する付与処理を当該特定された全比較対象画素に関して夫々行ってそれら付与処理によって付与される値の累算値を当該注目画素に対応するスコア値とする一のスコア算出処理を実行し、前記参照画像を構成する全画素についてそれらのうちの一の画素を、逐次、前記注目画素として夫々位置付け、該注目画素として位置付けられた当該画素と前記所定の位置関係にある他の１個以上の各画素を、逐次、比較対象画素として位置付け、該逐次位置付けられた注目画素と各比較対象画素とに関して前記一のスコア算出処理と同様のスコア算出処理を逐次実行して、前記一のおよび逐次のスコア算出処理によって前記参照画像の所定領域または全域に亘る各画素毎のスコア値を求め、更に、前記複数の各参照画像に関して、それらの前記所定領域または全域に亘る各画素毎に対応した前記スコア値を平均して各スコア平均値を求め、該各画素毎のスコア平均値を前記所定領域または全域に亘る各画素について合算したスコア合算値を求め、当該スコア合算値に対応した前記所定のオブジェクトの有無に係る確率分布を求め、前記所定のオブジェクトの有無を判定する対象とする判定対象画像に関して当該判定対象画像中の注目画素とこの注目画素とは所定の位置関係にある１個以上の各比較対象画素とを特定し、該特定された注目画素と各比較対象画素とを同種の画像特徴量で夫々比較し、該夫々の比較に関しその結果が所定の条件を満足する場合毎に注目画素に対応して所定のスコア平均値を加算し満足しない場合毎に該所定のスコア平均値を減算する加減算処理を当該特定された全比較対象画素に関して夫々行って全加減算処理を実行した累算結果値を当該注目画素に対応するスコア平均累算値とする一のスコア平均値累算処理を実行し、前記判定対象画像を構成する全画素について、それら全画素のうちの各一の画素を、逐次、前記注目画素として位置付け、該注目画素として位置付けられた各一の画素と前記所定の位置関係にある他の各画素を、逐次、比較対象画素として夫々位置付け、該逐次位置付けられた注目画素と各比較対象画素とに関して、前記一のスコア平均値累算処理と同様のスコア平均値累算処理を夫々逐次実行して、前記一のおよび逐次のスコア平均値累算処理によって前記判定対象画像の所定領域または全域に亘る各画素毎に各該当するスコア平均累算値を求め、更に、前記判定対象画像の所定領域または全域に亘る各画素毎に算出されたスコア平均累算値についてそれらの全合計値であるスコア平均合算値を求め、該スコア平均合算値を前記確率分布におけるスコア合算値に対応させて前記確率分布に照らしてこの判定対象画像に前記所定のオブジェクトが含まれる確率を求めることを特徴とする画像認識方法。

上記（７）の画像認識方法によれば、対象画像にオブジェクトが含まれるか否かの別を決するに依拠する前記スコア平均合算値に係る所定の範囲（判定基準）の設定課程においても、所定のオブジェクトを含む複数の参照画像に関して、各参照画像を構成する画素たる注目画素と比較対象画素とを同種の画像特徴量で比較し、該比較の結果が所定の条件を満足するか否かに応じて各一の参照画像を構成する各注目画素毎に、正または負の値の付与の別（従って、これらの値の累算においては加算になるか減算になるかの別）を判別するようにして、付与値の累算値としてのスコア値を算出し、これら算出されたスコア値を参照画像（またはその中の或る領域）を構成する全画素（夫々、順次、注目画素として位置付けられる）に関して平均することにより各スコア平均値を求める処理を行い、該各画素毎のスコア平均値を前記所定領域または全域に亘る各画素について合算したスコア合算値を求め、当該スコア合算値に対応した前記所定のオブジェクトの有無に係る確率分布を求め、一方、前記所定のオブジェクトの有無を判定する対象とする判定対象画像に関して、上述の参照画像に関するスコア合算値と略同様の処理であって、上記所定の正または負の値の付与に関しては所定値として上述のスコア平均値を適用した処理を実行した結果値としてのスコア平均合算値を求め、該スコア平均合算値を前記確率分布におけるスコア合算値に対応させて前記確率分布に照らしてこの判定対象画像に前記所定のオブジェクトが含まれる確率を求めるようにしたため、前記比較を行う段階で照明光の影響が相殺され、照明光の照射の状況の如何に影響され難くロバストにオブジェクト存否の確率が的確に判定され得る。

（８）前記加減算処理における所定のスコア平均値の加算または減算の別を決するに依拠する前記所定の条件は、前記逐次位置付けられた注目画素と１個以上の各比較対象画素との前記画像特徴量に関する夫々の差の絶対値が全て一定の範囲内にあることとして設定することを特徴とする（７）の画像認識方法。

上記（８）の画像認識方法によれば、（７）の画像認識方法において特に、画像特徴量（例えば輝度である）に関する差が全て一定値以下であることを条件として、前記加減算処理における所定のスコア平均値の加算または減算の別を決することにより、オブジェクト存否の確率が的確に判定され得ることがデータ上確認されている。

（９）前記注目画素と比較対象画素とに係る前記所定の位置関係は、当該注目画素と比較対象画素とが所定の方向に隣接する関係であるとして設定することを特徴とする（７）の画像認識方法。

上記（９）の画像認識方法によれば、（７）の画像認識方法において特に、画像特徴量（例えば輝度である）に関する差を見るべき注目画素と比較対象画素とは、所定の方向（例えば水平方向）に隣接する関係であり、これによりオブジェクト存否の確率が的確に判定され得る。

（１０）前記画素特徴量として、輝度、または、エッジの強度を適用することを特徴とする（１）〜（９）の何れか一に記載の画像認識方法。

上記（１０）の画像認識方法によれば、（１）〜（９）の画像認識方法において特に、前記画素特徴量として、輝度、または、エッジの強度を適用するため、実施が容易でオブジェクト検出が的確に行われ得る。

（１１）前記オブジェクトとして、顔画像を適用することを特徴とする（１）〜（９）の何れか一に記載の画像認識方法。

上記（１１）の画像認識方法によれば、（１）〜（９）の画像認識方法において特に、前記オブジェクトとして、顔画像を適用するため、多くの場面で実用性の高いオブジェクト検出が的確に行われ得る。

（１２）所定のオブジェクトの有無を判定する対象とする判定対象画像を表すデータを読み込む画像データ読込み手段と、
前記画像データ読込み手段によって読み込まれた判定対象画像を表すデータに関して当該判定対象画像中の注目画素とこの注目画素とは所定の位置関係にある一以上の比較対象画素とを特定し該特定された注目画素と比較対象画素とに関する所定の同種の画像特徴量を求め、更に、前記判定対象画像を構成する全画素について、それら全画素のうちの各一の画素を、逐次、前記注目画素として位置付け、該注目画素として位置付けられた各一の画素と前記所定の位置関係にある他の画素を、逐次、比較対象画素として位置付け、該逐次位置付けられた注目画素と比較対象画素とに関して夫々前記画像特徴量を求める画像特徴量算出手段と、
前記画像特徴量算出手段で算出された画像特徴量に関して前記特定された注目画素と比較対象画素とを比較し該比較の結果による差分値が所定の閾値以内であるという条件を満足するときには注目画素に対して所定の正のスコア平均値を加算し当該条件を満足しないときには該所定のスコア平均値を減算する加減算処理を実行し、更に、前記逐次位置付けられた注目画素と比較対象画素とに関して、前記加減算処理と同様の加減算処理を夫々行って全加減算処理を実行した累算結果値を当該注目画素に対応するスコア平均累算値とする一のスコア平均値累算処理を実行し、前記判定対象画像を構成する全画素について、それら全画素のうちの各一の画素を、逐次、前記注目画素として位置付け、該注目画素として位置付けられた各一の画素と前記所定の位置関係にある他の各画素を、逐次、比較対象画素として夫々位置付け、該逐次位置付けられた注目画素と各比較対象画素とに関して、前記一のスコア平均値累算処理と同様のスコア平均値累算処理を夫々逐次実行して、前記一のおよび逐次のスコア平均値累算処理によって前記判定対象画像の所定領域または全域に亘る各画素毎に各該当するスコア平均累算値を求め、更に、前記判定対象画像の所定領域または全域に亘る各画素毎に算出されたスコア平均累算値についてそれらの全合計値であるスコア平均合算値を求め、前記スコア平均合算値が所定の範囲内の値であるときに、前記判定対象画像は前記所定のオブジェクトを含む画像であると判定するスコア平均合算値算出・判定手段と、
を備えたことを特徴とする画像認識装置。

上記（１２）の画像認識装置によれば、注目画素と比較対象画素とを同種の画像特徴量（輝度値）で比較し、各比較の結果毎に、その結果が所定の条件を満足するか否かに応じて当該注目画素毎に所定のスコア平均値（所定のオブジェクトを含む参照画像に基づいて得たオブジェクトの有無と一定の相関を有する既知の値）を加算または減算して、全比較結果に係る加減算の累算値である一のスコア平均累算値を求め、同様の演算によって、全注目画素について夫々スコア平均累算値を求め、次いで、それら全てのスコア平均累算値を合算して、所定のオブジェクトの有無を判定する対象とする判定対象画像全体に対応した値であるスコア平均合算値を求め、このスコア平均合算値が所定の範囲内の値であるときに、前記判定対象画像は前記所定のオブジェクトを含む画像であると判定するようにしたため、前記比較を行う段階で照明光の影響（画像特徴量が輝度値でないときには該画像特徴量の多寡に関係する要素の影響）が相殺され、照明光の照射の状況の如何等に影響され難いロバストなオブジェクト検出処理が行われ得る。

（１３）所定のオブジェクトの有無を判定する対象とする判定対象画像に関して当該判定対象画像中の注目画素とこの注目画素とは所定の位置関係にある一以上の比較対象画素とを特定する処理と、該特定された注目画素と比較対象画素とを同種の画像特徴量で比較する処理と、該比較の結果が所定の条件を満足するときには注目画素に対して所定のスコア平均値を加算し満足しないときには該所定のスコア平均値を減算する加減算処理を当該特定された全比較対象画素に関して夫々行って全加減算処理を実行した累算結果値を当該注目画素に対応するスコア平均累算値とする一のスコア平均値累算処理と、前記判定対象画像を構成する全画素について、それら全画素のうちの各一の画素を、逐次、前記注目画素として位置付ける処理と、該注目画素として位置付けられた各一の画素と前記所定の位置関係にある他の画素を、逐次、比較対象画素として位置付ける処理と、該逐次位置付けられた注目画素と比較対象画素とに関して、前記一のスコア平均値累算処理と同様のスコア算出処理を逐次実行する処理と、前記一のおよび逐次のスコア平均値累算処理によって前記判定対象画像の所定領域または全域に亘る各画素毎に各該当するスコア平均累算値を求める処理と、更に、前記判定対象画像の所定領域または全域に亘る各画素毎に算出されたスコア平均累算値についてそれらの全合計値であるスコア平均合算値を求める処理と、前記スコア平均合算値が所定の範囲内の値であるときに、前記対象画像に前記所定のオブジェクトが含まれると判定する処理と、の各処理をコンピュータに実行させる画像認識用プログラム。

上記（１３）の画像認識用プログラムによれば、注目画素と各比較対象画素とを同種の画像特徴量（輝度値）で夫々比較し、各比較の結果毎に、その結果が所定の条件を満足するか否かに応じて当該注目画素毎に所定のスコア平均値（所定のオブジェクトを含む参照画像に基づいて得たオブジェクトの有無と一定の相関を有する既知の値）を加算または減算して、全比較結果に係る加減算の累算値である一のスコア平均累算値を求め、同様の演算によって、全注目画素について夫々スコア平均累算値を求め、次いで、それら全てのスコア平均累算値を合算して、所定のオブジェクトの有無を判定する対象とする判定対象画像全体に対応した値であるスコア平均合算値を求め、このスコア平均合算値が所定の範囲内の値であるときに、前記判定対象画像は前記所定のオブジェクトを含む画像であると判定するようにしたため、前記比較を行う段階で照明光の影響（画像特徴量が輝度値でないときには該画像特徴量の多寡に関係する要素の影響）が相殺され、照明光の照射の状況の如何等に影響され難いロバストなオブジェクト検出処理をコンピュータに実行させ得る。

以下、本発明の実施の形態を図面を参照して説明する。尚、以下に参照する図においては、便宜上、説明の主題となる要部は適宜誇張し、要部以外については適宜簡略化し乃至省略されている。
図１は、本発明の方法および装置を表す概念図である。画像認識装置１００は、本発明の画像認識用プログラムがインストールされた演算処理装置１１０がこれに接続された情報記憶装置１２０と所要のデータの授受を行って、その機能が模式的にブロックに区分して示された画像認識機能部１３０を統括的に制御することにより機能する。情報記憶装置１２０には画像認識の対象とするオブジェクトを含む複数（例えば数百枚乃至数千枚）の参照画像データ１２１が蓄積されている。また、同様に、上述のオブジェクトが含まれているか否かの判定の対象とされる判定対象画像データ１２２も蓄積されている。

これら、参照画像データ１２１および判定対象画像データ１２２は、例えば、適宜、スキャナーによって読み取られ、或いはまた、デジタルカメラで撮影され、乃至は、放送を受信して取得した後データ伝送路を通して伝送されるなどして、この情報蓄積部１２０に蓄積される。一方、画像認識機能部１３０は、画像データ読込み手段１３１と、画像特徴量算出手段１３２と、閾値比較手段１３３と、スコア合算平均値算出・判定手段１３４とを含んで構成される。

実際にオブジェクトの存否を判定するためには、判定の基準となるデータ（後述するスコア値によって表される一定の範囲の値）を上述の参照画像データ１２１に基づいて形成しておく必要があるが、これについては、図２を参照しての説明を待って後述する。説明の便宜上、ここでは、判定の基準は既に準備されているものとして、判定対象画像に対してオブジェクトが含まれているか否かの判定を行う機能部について先に説明する。

画像データ読込み手段１３１は、所定のオブジェクトの有無を判定する対象とする判定対象画像を表すデータ（判定対象画像データ１２２）を読み込む。
画像特徴量算出手段１３２は、画像データ読込み手段１３１によって読み込まれた判定対象画像データ１２２に関して当該判定対象画像中の注目画素とこの注目画素とは所定の位置関係にある一以上の比較対象画素とを特定し該特定された注目画素と比較対象画素とに関する所定の同種の画像特徴量（例えば、画素毎の輝度値、或いは、エッジの強度）を求める。

更に、前記判定対象画像を構成する全画素について、それら全画素のうちの各一の画素を、逐次、前記注目画素として位置付け、該注目画素として位置付けられた各一の画素と前記所定の位置関係にある他の画素を、逐次、比較対象画素として位置付け、該逐次位置付けられた注目画素と比較対象画素とに関して夫々画像特徴量（上述のものと同様の、画素毎の輝度値、或いは、エッジの強度）を求める。画像特徴量としてエッジの強度を使用する場合は、ＳｏｂｅｌオペレータやＰｒｅｗｉｔｔオペレータを使用する。

閾値比較手段１３３は、画像特徴量算出手段１３２で算出された画像特徴量（例えば、輝度値）に関して前記特定された注目画素と比較対象画素とを比較し該比較の結果による差分値が所定の閾値以内であるか否かを逐一検出する（尚、この閾値比較手段１３３は、次のスコア平均合算値算出・判定手段１３４における一つの機能を担うものとして観念され得る）。

スコア平均合算値算出・判定手段１３４は、画像特徴量算出手段で算出された画像特徴量に関して前記特定された注目画素と比較対象画素とを比較し該比較の結果による差分値が所定の閾値以内であるという条件を満足するときには注目画素に対して所定の正のスコア平均値を加算し当該条件を満足しないときには該所定のスコア平均値を減算する加減算処理を実行し、更に、前記逐次位置付けられた注目画素と比較対象画素とに関して、前記加減算処理と同様の加減算処理を夫々行って全加減算処理を実行した累算結果値を当該注目画素に対応するスコア平均累算値とする一のスコア平均値累算処理を実行し、前記判定対象画像を構成する全画素について、それら全画素のうちの各一の画素を、逐次、前記注目画素として位置付け、該注目画素として位置付けられた各一の画素と前記所定の位置関係にある他の各画素を、逐次、比較対象画素として夫々位置付け、該逐次位置付けられた注目画素と各比較対象画素とに関して、前記一のスコア平均値累算処理と同様のスコア平均値累算処理を夫々逐次実行して、前記一のおよび逐次のスコア平均値累算処理によって前記判定対象画像の所定領域または全域に亘る各画素毎に各該当するスコア平均累算値を求め、更に、前記判定対象画像の所定領域または全域に亘る各画素毎に算出されたスコア平均累算値についてそれらの全合計値であるスコア平均合算値を求め、前記スコア平均合算値が所定の範囲内の値であるときに、前記判定対象画像は前記所定のオブジェクトを含む画像であると判定する。

図２は、本発明の方法におけるスコアの算出（付与）方法について説明するための図である。図２（Ａ），（Ｂ），（Ｃ）において、各正方形は画像を構成する画素を示しており、ハッチングが施された正方形は注目画素である。本図では、説明の便宜上、ハッチングが施された注目画素と、これに隣接する何れか一または複数の白抜きで描かれた画素が比較対象画素である場合について描かれている。尚、本発明の思想においては、比較対象画素は、このように注目画素に隣接して存在する場合に限定されるものではなく、所定の画素ピッチ分だけ離隔した特定の（所定の）位置関係にある一以上の画素を比較対象画素として位置付ける場合を包摂する。

図２（Ａ）では、中央の注目画素に対して、これの下側に隣接する位置に、関連する意を矢線で結ぶようにして表記した、隣接する１画素が比較対象画素である。
図２（Ｂ）では、中央の注目画素に対して、これの下側および右側に各隣接する２画素が比較対象画素である。
図２（Ｃ）では、中央の注目画素に対して、これの上下および左右に各隣接する４画素が比較対象画素である。

先ず、所定のオブジェクトを含むことが既知である複数の参照画像に関して、画素単位でのスコアの付与について説明する。スコアの付与（算出）の対象とする一の参照画像について、その参照画像を構成する一の画素を注目画素として位置付け、その注目画素に対し、例えば隣接する等一定の関係にある複数の（或いは単一の）画素を選択して比較対象画素として位置付け、注目画素とこれら比較対象画素とについて画像特徴量（例えば、輝度値、または、エッジの強度）に関する差を算出する。

画像特徴量として輝度値を適用し、且つ、この輝度値を比較したときの差が所定の閾値以下であることを条件とした場合に、当該条件を満足するときには注目画素に対して所定の正の値（例えば＋１）を付与し満足していないときには所定の負の値（例えば−１）を付与する付与処理を当該特定された全比較対象画素に関して夫々行ってそれら付与処理によって付与される値の累算値を当該注目画素に対応するスコア値とする一のスコア算出処理を実行する。

更に、参照画像を構成する全画素についてそれらのうちの一の画素を、逐次、前記注目画素として夫々位置付け、該注目画素として位置付けられた当該画素と前記所定の位置関係にある他の１個以上の各画素を、逐次、比較対象画素として位置付け、該逐次位置付けられた注目画素と各比較対象画素とに関して前記一のスコア算出処理と同様のスコア算出処理を逐次実行して、前記一のおよび逐次のスコア算出処理によって前記参照画像の所定領域または全域に亘る各画素毎のスコア値を求める。

更にまた、前記複数の各参照画像に関して、それらの前記所定領域または全域に亘る各画素毎に対応した前記スコア値を平均して各スコア平均値を求め、該各画素毎のスコア平均値を前記所定領域または全域に亘る各画素について合算したスコア合算値を求め、当該合算値との差が所定値以内である範囲として設定する。この過程で、各参照画像に関するスコア合算値の最大値と最小値が判明するので、上記「範囲」は、例えば、この最大値と最小値の間の値として設定する。

次いで、判定対象画像に対して、上述の参照画像に関するスコア合算値と略同様の処理を行うが、このときには、上述の所定の正または負の値の付与（＋１または−１の付与）に関しては、所定値（先の例では１）として上述の「スコア平均値」を適用した処理を実行し、既述の「スコア合算値」と相似的な演算態様による演算結果値としての「スコア平均合算値」を求める。

即ち、当該判定対象画像中の注目画素とこの注目画素とは所定の位置関係にある１個以上の各比較対象画素とを特定し、該特定された注目画素と各比較対象画素とを同種の画像特徴量で夫々比較し、該夫々の比較に関しその結果が所定の条件を満足する場合毎に注目画素に対応して既述のスコア平均値を加算し満足しない場合毎に該スコア平均値を減算する加減算処理を当該特定された全ての比較対象画素に関して夫々行う。

全ての比較対象画素に関して加減算処理を実行した累算結果値を当該注目画素に対応するスコア平均累算値とする一のスコア平均値累算処理を実行し、前記判定対象画像を構成する全画素について、それら全画素のうちの各一の画素を、逐次、前記注目画素として位置付け、該注目画素として位置付けられた各一の画素と前記所定の位置関係にある他の各画素を、逐次、比較対象画素として夫々位置付け、該逐次位置付けられた注目画素と各比較対象画素とに関して、前記一のスコア平均値累算処理と同様のスコア平均値累算処理を夫々逐次実行して、前記一のおよび逐次のスコア平均値累算処理によって前記判定対象画像の所定領域または全域に亘る各画素毎に各該当するスコア平均累算値を求める。

更に、前記判定対象画像の所定領域または全域に亘る各画素毎に算出されたスコア平均累算値についてそれらの全合計値である「スコア平均合算値」を求める。
該「スコア平均合算値」が上記「範囲」内にあるか否かによって、範囲内であれば、この判定対象画像は想定した（所定の）オブジェクトを含むものと判定する。
尚、図２に表された注目画素と比較対象画素との関係と値の付与については、（ａ）のように、比較対象画素として１画素のみを選択しても良いし、（ｂ）、または、（ｃ）のように隣接２画素、隣接４画素を用いても良い。複数の画素を選択する場合は、注目画素から見た同じ方向の画素ごとに、スコアを算出する。

或いは、隣接画素全てが注目画素との閾値以下になったときに条件が成立しているとみなしてもよく、また、条件が成立した画素数に応じて重みを変更しても良い。すなわち、（ｃ）において、注目画素と隣接４画素との輝度差が全て上述の閾値以下ならば、＋４として、スコア値を付与しても良い。
図３は、参照画像および判定対象画像について判定処理の対象として設定した所定領域を示す図である。図３（Ａ）では、顔全体の内の両眼を含む横長の方形の領域を、図３の（Ｂ）では、顔全体の内の右眼を含んだ縦長の方形の領域を、判定処理の対象とする領域として設定している。既述の図２を参照しての説明においては、参照画像および判定対象画像についてそれらの全域を判定処理の対象としたが、このように画像の一部の領域（例えば、或る部分的領域、または、行、もしくは、列等）を判定処理の対象としても良い。

発明者は以下の２点を確認している。
（１）顔画像の場合、両眼を含む領域（図３（Ａ）に例示のような領域）が特に特徴的であり、顔画像全体で比較するより、画像を判定対象領域に分けて比較した方が判定精度は向上する。
（２）顔画像に部分的な隠れがあっても、他の判定対象領域を顔画像の判定に適用することによって判定を行うことができる。

図４は、参照顔画像について、本発明に基づく方法によってスコアを算出した結果を、画素に対応させて表現した図である。比較対象画素としては、注目画素の垂直（副走査方向）に隣接する１個の画素のみを適用している。
本図における表現方法では、スコア値が高い部分ほど相対的に輝度が高く（白く）、スコア値が低い部分ほど輝度が低く（黒く）表示されている。図４から視覚的にも理解されるように、本発明の方法によって算出されたスコア値の多寡によって顔のパターンが表わされることがわかり、本発明の有効性が示唆されている。

以上においては、画像特徴量として、通常の輝度値を適用した場合についての説明を主体に述べたが、部分的な照明変化を受けている場合でも、ロバストにオブジェクト画像の判定を行うために、輝度を次のように変換して、画像特徴量としてもよい。
変換輝度値＝（オブジェクト画像の輝度値−オブジェクト画像の輝度平均値）／
（オブジェクト画像の輝度の標準偏差）／補正値
ここで、補正値は、例えば、２．０を用いればよい。

また、既述のように、スコア値算定のために特定の画像特徴量を比較するのは、注目画素とその隣接画素に限られるものではない。オブジェクトが顔の場合は、そのパターンが左右略対象となるため、両眼位置に対応すると思われる画素を、注目画素および比較対象画素として位置付けてもよい。この場合は、注目画素および比較対象画素を分散させて用いることが可能になるため、部分的な隠れや照明の変化に対して、よりロバストになる。

図５は、本発明の画像認識方法に基づいて、判定対象画像中の特定の領域について判定処理を行う場合の手順を表すフローチャートである。
ステップＳ５０１で、判定対象画像全体のうち、特定の一の判定対象領域を選択する（この領域は、例えば、図３を参照して説明したような特定の領域であるが、画像全体を選択することを排除するものではない）。次いで、ステップＳ５０２では、注目画素と各比較対象画素とを同種の画像特徴量（輝度値）で夫々比較し、各比較の結果毎に、その結果が所定の条件を満足するか否かに応じて当該注目画素毎に所定のスコア平均値（既述のように、オブジェクトを含む参照画像に基づいて得たオブジェクトの有無と一定の相関を有する既知の値）を加算または減算して、全比較結果に係る加減算の累算値である一のスコア平均累算値を求め、同様の演算によって、全注目画素について夫々スコア平均累算値を求め、このようにして得たスコア平均累算値を合算する。

ステップＳ５０２でのスコア平均累算値の合算処理を行なって、その合算結果が既に所定範囲（オブジェクトを含むと判定される範囲内）を越えてしまわないかどうかをモニタし（ステップＳ５０３）、越えてしまわないうちは、次のステップＳ５０４に移行するが、その合算結果が既に上記所定範囲を越えてしまったときには、直ちにステップＳ５０６に移行し、当該判定対象画像はオブジェクトを含まない非オブジェクト画像であると判定して、処理を終了する。

一方、ステップＳ５０４に移行したときには、所定のオブジェクトの有無を判定する対象とする判定対象画像（領域）全体についてステップＳ５０２での合算を行なったか否かを判定し、この合算が達成されるまでステップＳ５０１からの処理を繰り返す。このスコア平均合算値の合算が所定範囲を超えずに最後まで達成されたときに当該判定対象画像はオブジェクトを含むオブジェクト画像であると判定して（ステップＳ５０５）処理を終了する。

尚、以上は、上述の判定対象画像についてのスコア平均合算値が、参照画像から求めた上述のスコア合算値の最大値と最小値との範囲内、或いはその近傍の所定の範囲内の値であるときに、前記対象画像に前記所定のオブジェクトが含まれると判定する例であったが、本発明は、このように所定のオブジェクトが含まれるか否かといった判定を行う他に、オブジェクトが含まれている確率は何程かといった判定を行う形態でも実施することができる。

この場合は、対象画像にオブジェクトが含まれるか否かの別を決するに依拠する前記スコア平均合算値に係る所定の範囲（判定基準）の設定課程においても、所定のオブジェクトを含む複数の参照画像に関して、各参照画像を構成する画素たる注目画素と比較対象画素とを同種の画像特徴量で比較し、該比較の結果が所定の条件を満足するか否かに応じて各一の参照画像を構成する各注目画素毎に、正または負の値の付与の別（従って、これらの値の累算においては加算になるか減算になるかの別）を判別するようにして、付与値の累算値としてのスコア値を算出する。

これら算出されたスコア値を参照画像（またはその中の或る領域）を構成する全画素（夫々、順次、注目画素として位置付けられる）に関して平均することにより各スコア平均値を求める処理を行い、該各画素毎のスコア平均値を前記所定領域または全域に亘る各画素について合算したスコア合算値を求め、当該スコア合算値に対応した前記所定のオブジェクトの有無に係る確率分布を求める。

一方、前記所定のオブジェクトの有無を判定する対象とする判定対象画像に関して、上述の参照画像に関するスコア合算値と略同様の処理であって、上記所定の正または負の値の付与に関しては所定値として上述のスコア平均値を適用した処理を実行した結果値としてのスコア平均合算値を求め、該スコア平均合算値を前記確率分布におけるスコア合算値に対応させて、前記確率分布に照らして、この判定対象画像に前記所定のオブジェクトが含まれる確率を求める。前記比較を行う段階で照明光の影響が相殺され、照明光の照射の状況の如何に影響され難くロバストにオブジェクト存否の確率が的確に判定され得る。

図６は、判定対象画像に関するオブジェクト画像を含む確率の判定に適用する、算出スコアの各合算値に対応した所定のオブジェクトの有無に係る確率分布の一例を表す概念図である。オブジェクトが顔画像であるような場合には、この確率分布の特性は図示のように、正規分布状をなす。
図７は、本発明の画像認識用プログラムの処理手順を表すフローチャートである。

先ず、所定のオブジェクトの有無を判定する対象とする判定対象画像に関して当該判定対象画像中の注目画素とこの注目画素とは所定の位置関係にある一以上の比較対象画素とを特定する処理を実行する（ステップＳ７０１）。次いで、このステップＳ７０１で特定された注目画素と比較対象画素とを同種の画像特徴量（例えば、輝度値）で比較する処理を実行する（ステップＳ７０２）。

次いで、ステップＳ７０２での比較の結果が所定の条件を満足するときには注目画素に対して所定値（既述の例では「スコア平均値」）を加算し満足しないときには該所定値を減算する加減算処理を実行する（ステップＳ７０３）。このステップＳ７０３での加減算処理を、判定対象画像の予定の全画素について実行したか否かを判定する（ステップＳ７０４）。当初は、最初の注目画素について所定値を付与しただけであるから、この判定は「Ｎｏ」であり、次のステップＳ７０５に移行する。

ステップＳ７０５では、注目画素を単位画素ピッチ分だけずれた位置にある画素にシフトさせ、これに伴って、比較対象画素に該当する画素も相応のシフトした位置の画素がこれに位置付けられる。尚、画像位置のシフトは、上述のように単位画素ピッチ相当の値に限られるものではなく、複数ピッチ相当分ずつ飛ばし飛ばしに（処理対象を間引く如くに）シフトすることも可能である。

この後、上述のステップＳ７０２に戻って処理が、ステップＳ７０３→ステップＳ７０４→ステップＳ７０５→ステップＳ７０２と循環的に、加減算処理（ステップＳ７０３）が判定対象画像の予定の全画素について実行されるまで繰り返される。
ステップＳ７０４で、加減算処理が判定対象画像の予定の全画素について実行されたと判定されたときには、次のステップＳ７０６で、判定対象画像の所定領域または全域に亘る各画素の加減算値の累算値についてそれらの合算値を求める処理が実行される。更に、次のステップＳ７０７では、ステップＳ７０６で求められた合算値が所定の範囲内の値であるか否かが判定され、合算値が所定の範囲内の値であるときには、前記対象画像に前記所定のオブジェクトが含まれると判定する（ステップＳ７０８）。一方、合算値が所定の範囲内の値ではないと判定されたときには、対象画像に所定のオブジェクトが含まれていないと判定する（ステップＳ７０９）。

尚、ステップＳ７０７での判断基準となる所定の範囲内の値は参照画像に基づいて既述のようにして求められる。
以上、説明した本発明によれば、画像特徴量の差分により、オブジェクトを判定するために、照明変化にロバストにオブジェクト画像を判定することができる。また、画像特徴量の大小判断と、スコア合計の演算のみで構成されるために、高速で、人為的な操作もなく、高精度な判定が行える。更に、注目画素、比較対照画素を距離的に離して設定できるために、このようにした場合には、部分的な影響を受けないようにできる。

本発明の方法および装置を表す概念図である。 本発明の方法におけるスコアの算出（付与）方法について説明するための図である。 参照画像および判定対象画像について判定処理の対象として設定した所定領域を示す図である。 参照顔画像について、本発明に基づく方法によってスコアを算出した結果を、画素に対応させて表現した図である。 本発明の画像認識方法に基づいて、判定対象画像中の特定の領域について判定処理を行う場合の手順を表すフローチャートである。 判定対象画像に関するオブジェクト画像を含む確率の判定に適用する、算出スコアの各合算値に対応した所定のオブジェクトの有無に係る確率分布の一例を表す概念図である。 本発明の画像認識用プログラムの処理手順を表すフローチャートである。

符号の説明

１００…画像認識装置 １１０…演算処理装置 １２０…情報記憶装置 １２１…参照画像データ １２２…判定対象画像データ １３０…画像認識機能部 １３１…画像データ読込み手段 １３２…画像特徴量算出手段 １３３…閾値比較手段 １３４…スコア合算平均値算出・判定手段

Claims (5)

1. 所定のオブジェクトを含む参照画像中の注目画素の画像特徴量と、前記注目画素と隣接する比較対象画素の画像特徴量との差分値を算出することと、
   前記差分値が所定の値以下である場合には前記注目画素に対して所定の正の値を付与し、前記差分値が所定の値よりも大きい場合には前記注目画素に対して所定の負の値を付与する付与処理を、全ての前記比較対象画素に関して行うことと、
   前記付与処理によって付与される値の累積値である、前記注目画素に対応するスコア値を算出することと、
   前記参照画像の所定領域を構成する全画素について算出したスコア値の合計値であるスコア合算値を算出することと、
   前記参照画像の所定領域を構成する全画素について算出したスコア値の平均値であるスコア平均値を算出することと、
   複数の前記参照画像についてそれぞれ算出した前記スコア合算値の最小値から最大値までの範囲を、所定の範囲とすることと、
   前記所定のオブジェクトの有無を判定する対象とする判定対象画像中の第２注目画素の画像特徴量と、前記第２注目画素と隣接する第２比較対象画素の前記画像特徴量との第２差分値を算出することと、
   前記第２差分値が前記所定の値以下である場合には前記第２注目画素に対して前記スコア平均値を加算し、前記第２差分値が所定の値よりも大きい場合には前記第２注目画素に対して前記スコア平均値を減算する加減算処理を、全ての前記第２比較対象画素に関して行うことと、
   前記加減算処理によって付与される値の累算値である、前記第２注目画素のスコア平均累算値を算出することと、
   前記判定対象画像の所定領域を構成する全画素について算出したスコア平均累積値の合計値であるスコア平均合算値を算出することと、
   前記スコア平均合算値が前記所定の範囲内の値である場合に、前記判定対象画像が前記所定のオブジェクトを含む画像であると判定することと、
   を含む画像認識方法。
2. 請求項１に記載の画像認識方法であって、
   前記所定のオブジェクトは、顔画像である、
   画像認識方法。
3. 請求項１または請求項２に記載の画像認識方法であって、
   前記画像特徴量は、輝度またはエッジの強度である、
   画像認識方法。
4. 所定のオブジェクトを含む参照画像中の注目画素の画像特徴量と、前記注目画素と隣接する比較対象画素の画像特徴量との差分値を算出し、
   前記差分値が所定の値以下である場合には前記注目画素に対して所定の正の値を付与し、前記差分値が所定の値よりも大きい場合には前記注目画素に対して所定の負の値を付与する付与処理を、全ての前記比較対象画素に関して行い、
   前記付与処理によって付与される値の累積値である、前記注目画素に対応するスコア値を算出し、
   前記参照画像の所定領域を構成する全画素について算出したスコア値の合計値であるスコア合算値を算出し、
   前記参照画像の所定領域を構成する全画素について算出したスコア値の平均値であるスコア平均値を算出し、
   複数の前記参照画像についてそれぞれ算出した前記スコア合算値の最小値から最大値までの範囲を、所定の範囲とし、
   前記所定のオブジェクトの有無を判定する対象とする判定対象画像中の第２注目画素の画像特徴量と、前記第２注目画素と隣接する第２比較対象画素の前記画像特徴量との第２差分値を算出し、
   前記第２差分値が前記所定の値以下である場合には前記第２注目画素に対して前記スコア平均値を加算し、前記第２差分値が所定の値よりも大きい場合には前記第２注目画素に対して前記スコア平均値を減算する加減算処理を、全ての前記第２比較対象画素に関して行い、
   前記加減算処理によって付与される値の累算値である、前記第２注目画素のスコア平均累算値を算出し、
   前記判定対象画像の所定領域を構成する全画素について算出したスコア平均累積値の合計値であるスコア平均合算値を算出し、
   前記スコア平均合算値が前記所定の範囲内の値である場合に、前記判定対象画像が前記所定のオブジェクトを含む画像であると判定する、
   画像認識装置。
5. 所定のオブジェクトを含む参照画像中の注目画素の画像特徴量と、前記注目画素と隣接する比較対象画素の画像特徴量との差分値を算出することと、
   前記差分値が所定の値以下である場合には前記注目画素に対して所定の正の値を付与し、前記差分値が所定の値よりも大きい場合には前記注目画素に対して所定の負の値を付与する付与処理を、全ての前記比較対象画素に関して行うことと、
   前記付与処理によって付与される値の累積値である、前記注目画素に対応するスコア値を算出することと、
   前記参照画像の所定領域を構成する全画素について算出したスコア値の合計値であるスコア合算値を算出することと、
   前記参照画像の所定領域を構成する全画素について算出したスコア値の平均値であるスコア平均値を算出することと、
   前記スコア合算値に対応する前記所定のオブジェクトの有無に係る確率分布を求めることと、
   前記所定のオブジェクトの有無を判定する対象とする判定対象画像中の第２注目画素の画像特徴量と、前記第２注目画素と隣接する第２比較対象画素の前記画像特徴量との第２差分値を算出することと、
   前記第２差分値が前記所定の値以下である場合には前記第２注目画素に対して前記スコア平均値を加算し、前記第２差分値が所定の値よりも大きい場合には前記第２注目画素に対して前記スコア平均値を減算する加減算処理を、全ての前記第２比較対象画素に関して行うことと、
   前記加減算処理によって付与される値の累算値である、前記第２注目画素のスコア平均累算値を算出することと、
   前記判定対象画像の所定領域を構成する全画素について算出したスコア平均累積値の合計値であるスコア平均合算値を算出することと、
   前記スコア平均合算値を、前記確率分布に対応させて、前記判定対象画像が前記所定のオブジェクトを含む確率を求めることと、
   を含む画像認識方法。

Images