JP4078135B2 - 画像認識方法、画像認識装置及びコンピュータプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像認識方法、画像認識装置及びコンピュータプログラムに係わり、特に、圧縮された画像データ形式であるJpegファイル画像を認識するために用いて好適なものである。
【０００２】
【従来の技術】
デジタルカメラなどで撮影したJpegファイル画像を、ＰＣプリンタもしくはダイレクトプリンタなどから印刷を行う場合や、ＤＰＥでプリントを行う場合がある。この時に、撮影画像データが良質な場合は忠実にプリントすればよいので問題は生じない。
【０００３】
しかしながら、撮影画像データによっては色被り、コントラスト不足、露出の不適切などがあり、良質な印刷結果を得るためには画像補正を施す必要がある。特に、人物を撮影した画像の場合には、一般に、人の顔の色が適正になるようにプリントすると写真を見た人に与える感じが良くなり、写真の質を高めることになる。
【０００４】
銀塩写真の場合、質の良い写真を得るためには原画像ごとに焼き付け時の露光量を変更することが好ましく、この焼付け時の露光量を決めるのに、人物が入った写真の場合には、人の顔の色に着目するのが便利である。何故ならば、人の顔は肌色であることが分かっているために、焼き付けられた写真における人の顔の色が肌色になるように露光量を決めることが可能であるからである。
【０００５】
また、デジタルデータの画像ファイルから画像認識する方法としては、例えば“特開平8-161497号”、“特開2000-48036”、“特開平11-238067号”などが知られている。これらの方法は、指定画像との類似度や一致度を検出するもので、“特開平8-161497号”の場合は、直流成分によるブロック単位での粗一致を求め、その後、候補画像領域に対して復元処理を行い、非圧縮データとして微一致を求める方式である。
【０００６】
また、“特開2000-48036”の場合は、検索データを入力作成し、このデータと複数の画像データの類似度を判定する画像処理装置である。さらに、“特開平11-238067号”の場合は、検索対象画像をウェーブレット変換して圧縮画像を作成する。また、指定された画像にもウェーブレット変換を施し、各々の特徴データを比較することで、類似度を判定するようにしている。
【０００７】
また、デジタルカメラで撮影した画像をプリントする際に、アプリケーションやプリンタドライバのアプリケーションにより、撮影データをヒストグラムなどで解析し、コントラスト、ホワイトバランス、露出補正、シャープネスなど画像補正を一様に施すものが知られている。
【０００９】
【発明が解決しようとする課題】
デジタルカメラなどで撮影したJpegファイル画像をプリントする場合に、銀塩写真のプリントのように、人物などの注目画像が、より良くプリントできるように必要に応じて補正を行えるように、Jpegファイル画像の中に注目画像を見つけ出す方法を決める必要がある。
【００１０】
また、デジタルカメラからプリンタへ直接プリントを行うダイレクトプリントなどデータ処理能力の低い機器でも使用できるように、検出処理はできうるだけ軽く済む方法が求められている。
本発明は上述の問題点にかんがみ、入力画像サイズに関係無しに処理負荷の少ない方法で画像ファイルの中の注目画像を検出できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明の画像認識方法は、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識方法であって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出工程と、上記データ抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かに基づいて、その部分領域が注目画像対象部分に入っているか否かを判定する判定工程と、上記判定工程の判定基準要素として、入力画像サイズにより上記空間周波数特性適正範囲を切替える切替え工程とを有することを特徴とする。
【００１２】
本発明の画像認識装置は、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識装置であって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出手段と、上記データ抽出手段によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かに基づいて、その部分領域が注目画像対象部分に入っているか否かを判定する判定手段と、上記判定手段の判定基準要素として、入力画像サイズにより上記空間周波数特性適正範囲を切替える切替え手段とを有することを特徴とする。
【００１３】
本発明のコンピュータプログラムは、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する工程をコンピュータに実行させるコンピュータプログラムであって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出工程と、上記データ抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かに基づいて、その部分領域が注目画像対象部分に入っているか否かを判定する判定工程と、上記判定工程の判定基準要素として、入力画像サイズにより上記空間周波数特性適正範囲を切替える切替え工程とをコンピュータに実行させることを特徴とする。
【００１５】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の画像認識方法、画像認識装置及びコンピュータプログラムの実施の形態を説明する。最初に、一般的なデジタルカメラのデータ圧縮記録形式であるＪｐｅｇファイル形式の画像データを印刷する際に、非圧縮データへ復元する前に、ブロック（８＊８画素）ごとに輝度、色度ベースのＤＣＴ（離散コサイン変換）されたデータも取得し、注目画像検索のために利用する。
【００１６】
このようにすることで、高度な計算をすることなく画像データブロックごとの交流成分情報等を取得して、周波数（交流）成分情報等を取得し、入力画像ごとに用意された部分領域の特徴量との比較を通じて利用可能となる。また、出力サイズとの関係で効果に対する処理効率を高めることが可能となる。
【００１７】
「第１の実施の形態」
最初に、現在、最も一般的な画像圧縮ファイルの“Jpegファイル”の情報省略と符号化・復号化について説明する。
【００１８】
まず、符号化であるが、通常、デジタルカメラやデジタルビデオなどでは、静止画をJpeg ファイルにて保存することが一般的になっている。この場合、入力機器の受光素子であるＣＣＤなどの入った信号をＡ／Ｄ変換した後、フレームメモリーに取り込み、ＲＧＢもしくはＣＭＹフィルタの情報を輝度と色度情報とに変換する。その後、８＊８（６４個）正方画素ブロックに分割する。
【００１９】
図３の▲１▼は、輝度データのビットマップを８＊８ブロックに分割したうちの１ブロックのデータ例を示している。また、図３の▲２▼においては、０〜２５５の画素値をレベルシフトして−１２８〜１２７の信号に変換する例を示している。さらに、図３の▲３▼においては、ＤＣＴ（離散コサイン変換）によりＤＣＴ係数を求める例を示している。
【００２０】
また、図３の▲４▼は、視覚特性を考慮した高周波成分の省略を大きくした量子化テーブルであり、このテーブルを用いて、上記図３の▲３▼の結果であるＤＣＴ係数に対して量子化する例を示している。
【００２１】
図３の▲５▼は、量子化を行った結果である。この値をエントロピー符号化してハフマン符号で表すことにより符号化信号である圧縮データを生成する。
【００２２】
次に、復号化においては、上述した符号化の逆の工程を行う。つまり、符号化信号を復号して、量子化ＤＣＴ係数の値を復号する。次に、逆量子化を行うために量子化テーブルを乗ずることでＤＣＴ係数を得る。その後、逆ＤＣＴを行うことでレベルシフトした画像が復元され、更に逆レベルシフトの値１２８を加算することで１ブロックの画像が復号される。
【００２３】
上記の説明では、輝度情報と色度情報とに分割したデータを合成してＲＧＢ画像に変換することを省略したが、符号化における流れとしては、図２に示すように、カラー画像を輝度成分（Y）と２つの色度成分（Cb、Cr）とに変換し、その各々を符号化して合成することで、圧縮画像データを生成している。
【００２４】
以上のような、圧縮された画像データファイルであるＪｐｅｇ画像をプリントする方法としては、入力機器からの圧縮画像データをＵＳＢや記憶メディアによって、パーソナルコンピュータ（以下、ＰＣとする）に取り込んで画像を展開し、必要に応じて画像補正を加えた後プリンタへデータを送る場合や、入力機器からの画像データを直接プリンタへ入力し、プリンタの中で、画像を解凍し、必要に応じて画像補正を加えた後で印刷を行うなど、幾種類かの選択肢がある。
【００２５】
いずれにしても、良好な画像をプリントするためには、撮影画像データが良質な撮影画像であるか、あるいは補正が必要な画像であるのかを判断して、忠実に印刷すべき良質な画像と、補正を行うことにより良質な画像に近付けた後に印刷を行うもとをより分ける必要がある。
【００２６】
良好な画像とは、下記のようなことが考えられる。
１）ホワイトバランスが良好である。
２）コントラストが適切である。
３）必要な部分の階調が割り当てられている。つまり、露出設定が良好である。４）彩度が適正である。
５）銀塩写真のような仕上がりである。
６）人物など注目される画像が中心に補正されている。
【００２７】
現在市販のＰＣプリンタやＰＣを経由しないダイレクトプリンタなどにおいても上記１）〜５）の項目においては、程度の差も有るが行われている。また、上記６）の注目画像に対する補正が行われていないのは、その検出に多大な処理が必要であることと、その方法が確立されていないことによる。
【００２８】
特に、処理能力のひ弱なダイレクトプリンタなどにおいては実施が難しいとされているが、本発明はこれを解決するものである。その手段としては、Jpeg画像ファイルに注目画像の存在の検出と、その検出した画像に対する補正の必要等の確認を経て、全体画像補正へ受け渡す方法となる。
【００２９】
図１は、Jpeg ファイルを解凍する過程とその際に取得する情報について表したブロック図である。
Jpeg ファイルをRGBのビットマップデータへ変換する過程においては、まず、符号テーブル２を用いてエントロピー復号化手段１にてエントロピー復号を行う。次に、逆量子化手段３において、逆量子化に使用する量子化テーブル４を、逆量子化を行う他にデータとして記憶する。
【００３０】
この逆量子化されたデータは、ブロック単位のデータとして周波数変換されたものであり、このデータを、画像周波数特性を得るためのデータとして取得する。その後、逆ＤＣＴ手段５において、逆ＤＣＴ処理と逆レベルシフトとを行いＹｃｃ−ＲＧＢ変換することで、通常のＲＧＢビットマップデータに展開する。
【００３１】
次に、この画像において、最も重要と思われる注目画像検出である人物検出のフローチャートを図６に示す。
最初のステップＳ６０１において、８＊８画素のブロック単位のＤＣＴデータを取得すると同時に、画像ファイルはＲＧＢビットマップデータに展開する。
次に、ステップＳ６０２に進んで、ＲＧＢビットマップデータにおいて、８＊８画素のブロック単位に注目画像である人の肌色の色度に対応するか検索を行う。
【００３２】
この場合、検索範囲は全画面を行ってもよいが、本実施の形態においては、注目画像が画像の端部に配置されているとは考えずらいので、画像端部より数ブロック分の領域は色度検索の対象から外して検索を行う。
【００３３】
色度の検索方法としては、複数の方法がある。知られているものとしては、
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。
２）図５の概念図に示すように、肌色を確率楕円にて表すことができる。求める式としては下記の式（１）〜式（３）になる。
【００３４】
【数１】

【００３５】
本実施の形態においては、処理の簡便さを考慮に入れた下記式（４）である色度分布範囲を肌色の色度範囲とした。この範囲を表したのが図２０である。
【００３６】
【数２】

【００３７】
本実施の形態においては、画像における周波数成分の特徴を検出する単位として８＊８画素単位のブロックで行っている関係で、構造的論理的な簡単さより色度判定においても８＊８画素単位にて実行する。
【００３８】
図７は、本実施の形態で用いている色度検出ポイントを図示したものである。これによると「８＊８画素」単位のブロックの四隅の色度の全てが色度範囲に入っているか否かを確認し、全てが範囲に入っている時は、そのブロックを適合色度と判定している。
【００３９】
図７においては、上段の左から２番目と下段の左から１，２，３ブロックが該当する。上段の一番左のブロックは４ポイントのうち左上の式度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。
【００４０】
図８は、「８＊８画素」単位のブロック全体の平均色度による判定である。このブロック内の平均色度の求め方としては、８＊８ブロック全ての画素値の平均値を取る方法の他に、解凍中の逆ＤＣＴを行う前の色度データ（Ｃb，Ｃr）の中のＤＣ成分から求めることも可能である。この方式の利点としては、ブロック全体の色調にて判定できるので、検出点の少ないものに比べて精度が高い期待ができる。ここで、自然画における色度のみの検出についての内容を見ることにする。
【００４１】
図９は、図７と同じ考えの中ではあるが、全体画像における検出間隔を等分化するためのものである。
【００４２】
図１０は、一般的なポートレート写真であり、図１４は人物の肌色色度と同様な色度範囲を有する枯木の林の写真である。図１０と図１４に対して、それぞれの画素に色度の適合だけで検出を行った結果を図１１と図１５に示す。
【００４３】
図１１のポートレートでの検出結果としては人物の肌色部分をよく検出しているが、その他に柵や背景の中で、ごみのような細かい部分においても適合色度を満たすものが検出されていることがわかる。このため、色度のみでは注目画像を特定できないことがわかる。
【００４４】
図１４においては、人物の肌色を検出する目的にもかかわらず同じ色度を持つ枯れ木の林が全面検出されている。このように、画素レベルでの色度判定を行った場合、注目画像を特定することは不可能である。
【００４５】
検出をブロックレベルにすることにより、特定のまとまりを持った状態が対象になるので、外来ノイズの影響は受けずらくなる。しかしながら、８＊８画素のブロックが適正なまとまりの大きさとは言えず、色度によるブロック検出においても縦方向及び横方向に隣接したブロックの連続検出という、制約を付けた検出を行うことで更に精度を上げることになる。
【００４６】
ここにおいて、人の肌色であってもプリントにおいて顔を認識できるデータ量を満たさないものにおいても適応外としてはじいてもよいと言う概念でノイズと判定する連続範囲を設定する。
【００４７】
この部分を表したのが、図６のステップＳ６０３以降の処理である。すなわち、ステップＳ６０３においては、画像に対して長手方向にブロックごとに色度検出を行い、連続検出ブロック数の多い順に候補を策定する。
【００４８】
次に、ステップＳ６０４において、その連続量が、注目画像としての適応する連続量に入っているか否かを比較する。この比較の結果、該当する連続ブロックがある場合はステップＳ６０５に進み、短い方向のブロック連続検出設定を満たすデータが画像に存在するか否かを検索を行う。
【００４９】
次に、ステップＳ６０６において、検出データが有るか否かを判断し、検出データが有る場合にはステップＳ６０８に進んで、この過程で残ったものの中から長手方向の連続ブロック量が大きいデータから順に候補番号を付ける。
【００５０】
また、ステップＳ６０６の判断の結果、検出データが無い場合にはステップＳ６０７に進み、「目的領域無し」をセットして処理を終了する。
【００５１】
ここで、話は少し戻るが、連続ブロックにて色度判定を施した場合の効果については、図１２と図１６で示す。
図１２においては、図１０のポートレート画像に対して検出を行った結果である。図１２において、検出候補の優先順位が高い方からカラーコード（１＝茶、２＝赤、３＝橙、４＝黄、５＝緑、６＝青、７＝紫、８＝灰）順に配置され、それ以外で検出されているのは色度のみ適性範囲に入っているものである。連続ブロック検出により画素レベルの色度検出と比べるとかなりの背景などの非該当候補を削除できていることが判る。
【００５２】
図１６においては、図１４の枯木の林に対して検出を行った結果で、連続ブロック検出においても注目画像以外を検出してしまうことがわかる。
【００５３】
次に、ＶＧＡ（video graphics array）サイズ（６４０＊４８０画素）の複数の画像サンプルを用いて人物肌と枯れ木の林の部分において、検出された適合色度連続ブロックにおける周波数特性を算出した。
【００５４】
図１８は、画像内に撮影されている人物肌の連続ブロック検出されたブロックのＤＣＴデータを周波数の低い順に並べたものを、周波数の低い方から１０個単位で加算し、連続ブロック数で除したもので、連続検出されたブロックの１個あたりの平均周波数成分をまとめたものである。
【００５５】
したがって、図面において横軸は、ＡＣ成分６３個の周波数成分をまとめたもので、１０個単位のまとまりが６グループと最も周波数の高いデータは３個分のデータとなる。縦軸は、各周波数成分の要素を加算した値である。
【００５６】
これにより、値が大きいほどそのブロックにおいて、該当周波数成分が高いことがわかる。また、検出した連続ブロック数ごとに色分けしたデータ線で表されている。例えば“Ｂ２"は連続ブロックが２個検出されているデータの平均した値を表し、“Ｂ１５"は連続ブロックが１５個検出されているデータの平均した値を表している。以下同じで、“Ｂ２〜Ｂ１５”までの複数画像からの平均的な人物肌色部分の連続検出値ごとの空間周波数特性を表している。
【００５７】
検出結果を見ると、
１）低い周波数成分の値が大きく低い周波数成分の下から３グループ以降は、連続ブロック数に係わり無く５０以下となっている。
２）連続ブロックの連続値が大きいほど周波数特性が低くなっている。
【００５８】
これらの結果から言えることは、人物の肌色部分の周波数特性は比較的低い周波数で構成されていることと、検出された連続ブロックの値が大きいことは、被写体の撮影された大きさが大きいことを示していて、この連続ブロックとしての平均値を出すことによって周波数成分が下がっていることがわかる。
【００５９】
連続ブロックの連続値により、同じ注目画像の色度を持っているものでも、その連続ブロックを１つの代表値にすること（例えば、Ｂ６のブロックの時は検出した６個のブロックの値を、各々周波数の低い順に１０個単位のグループとして加算したものをグループごとに加算した後、その連続値である６で除して平均を出している。）により、空間周波数特性の値が変わるので、連続検出値により適当な該当周波数特性が違うことが判る。
【００６０】
図１９は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真を複数用意して、検出を行った結果を図１８と同じように表したものである。
【００６１】
検出結果を見ると、
１）人物の肌の空間周波数特性と比べると高い周波数成分にデータ多くあることが確認できる。
２）一番低い周波数成分のグループは人物の肌の結果と大きくは違わない。
【００６２】
これらのことから、連続ブロックにおける周波数成分を検出することで、同じ色度を持った検出物体を周波数特性により区別することが可能であることがわかる。
【００６３】
図４は、本実施の形態において使用したもので、注目画像である人物肌の空間周波数特性を表したものである。上の段がＶＧＡ（６４０＊４８０）画像における周波数特性の適正範囲である。
【００６４】
連続ブロック値を２〜８個のグループ（〜L8）と９〜２０個のグループ（L9〜２0）と２１個以上のグループ（L２1〜）の３グループにまとめて、グループごとに周波数の適正範囲を設定したものである。周波数の適正範囲も先に示した１０個単位の７グループによる周波数特性を用いた。これは、処理の簡略化と検出精度のバランスで行ったもので、これに縛られる必要は無い。
【００６５】
次に、画像サイズがデジタルカメラで普及している２００万画素相当のUXGA(1600＊1200)画像について同じ撮影条件でＶＧＡ画像と比較してみる。
図２５は、図１８で使用したデータと同じシーンを対象にUXGAサイズにて撮影したものを検出した結果を、図１８と同じように周波数特性量と各レンジにおけるデータ量の平均を用いて表したものである。
【００６６】
VGA画像との検出特性の差を見ると、
１）連続検出ブロックの検出範囲が大きくなっている。具体的にはVGA画像検出での連続値は２から１５ブロックの連続検出である。それに対して、UXGA画像検出では検出値が４から４０の連続ブロックを検出している。
２）UXGAの方がブロック内の周波数特性が低い。例えば、１〜１０のブロック平均を見ると、VGA画像では３００〜１００のデータ量に分布しているのに対し、UXGA画像では２００〜３０の範囲にデータが分布している。一枚の画像に収まる中で、注目画像になりうるものは、全画像に対する大きさとしては、特定の比率の範囲に入っているのが一般的な考え方である。
【００６７】
例えば、画像全体の中で注目画像が長手方向で１００分の１しか占めない場合はどうであろうか、一般のプリントを考えた場合、その注目画像に対して最適な補正を掛けても、出力後の補正を行われた注目画像は、ほとんど紙面を占めておらず、特定の注目画像を補正するよりは画像全体を補正する方がその画像においては効果的と考えられ、注目の定義から外れると考えられる。
【００６８】
本実施の形態においても、各画像サイズに適したそれぞれの注目画像の適正範囲を持っている、この範囲以下でも以上でも補正対象とする注目画像の検出候補から外れる。
【００６９】
したがって、この例においては、UXGA画像における長手方向の１００分の１は１６００割る１００なので、１６pixelで２ブロック(8*8)分になり、色度と周波数成分が合致してもレングスの意味合いから候補の対象から外している。ちなみに、UXGA画像においては、検出連続範囲としては４〜６２ブロックと設定している。
【００７０】
VGA画像においては、同じ考えで１００分の１は６．４pixel となり、１ブロック分にも満たない。VGA画像においては、検出連続範囲としては２〜２５ブロックと設定している。この違いは、画像サイズによる１ブロック（8＊8）分の全画像に対する占有比率の差によるものが発生している。
【００７１】
画像全体中の一定の比率範囲に注目画像が入っていると考えると、画像サイズにより８＊８画素のブロックの空間周波数における意味合いは変わる。このため、同じ撮影画像でも画像サイズにより検出ロック数も違えば周波数特性も違ってくる。
【００７２】
本実施の形態では画像ごとに検出連続範囲を上記のように設定しているが、数式に置き換えることも可能である。 例えば、下記式（５）の様に最低連続数を設定することができる。
【００７３】
【数３】

【００７４】
次に、図２６を示す。図２６は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真であり、図１９においてはVGA画像としてのデータをしましたが、UXGAの画像としてデータをまとめたものである。
【００７５】
図１９との比較においては、先述の図１８と図２５の比較と同じ傾向がある。ＡＣ成分の２０以上のグループではかなり高周波成分が低減していることがわかる。しかしながら、人物肌とのデータとは分布が極端に違うので、周波数帯域ごとに適応範囲を設定することで、分離することが可能である。
【００７６】
このために設定したものが図２７のUXGA画像用判定テーブルである。構成は図４のVGA画像用判定テーブルと同じであり、画像サイズの違いによる平均ブロックの空間周波数特性の違いのみである。
【００７７】
図６の説明に戻る。上述したように、色度により検出された長手方向の連続量が大きいデータから順に注目画像の候補番号１〜ｎ（本実施の形態においてはｎ＝８）を付ける（ステップＳ６０８）。ｎ以降の検出したものについては候補番号を付けられない。
【００７８】
次に、ステップＳ６０９に進み、上記候補１〜ｎに対して、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。
【００７９】
この候補１〜ｎに対して、画像サイズがVGA(640*480)である時は、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。最初の連続検出ブロックから周波数特性の特徴量について、適合範囲内であるか比較を行う。この時、上述したように入力画像サイズが違う画像、例えばUXGA（1600＊1200）画像においては適合判定に図２７のUXGAテーブルを使用して比較判定を行う。
【００８０】
本実施の形態においては、画像サイズごと、もしくは、画像サイズ範囲（例えばVGA~XGAとSXGA~QXGAまでなど特定の画像範囲において共通のテーブル）ごとに設定した適応周波数特性判別テーブルにて周波数特性の比較判定を行ったが、数式を用いた判定基準を代わりに用意してもよい。
【００８１】
例えば、下記数式の作成方法としては、既に適正化テーブルがあるVGAとUXGAのテーブルを元にこの２点間の画像のサイズと周波数成分の値による変化量を対応付け、１次式にて近似して使用することができる。
【００８２】
この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。また、適合する候補が存在する場合においては以下に説明を行う。
図２２に、そのフローチャートを示す。
最初のステップＳ２２０１において、候補の数を確認する（１〜ｍ）。
次に、ステップＳ２２０２に進み、候補グループを形成する。この場合、候補に隣接する色度適合ブロックを候補グループとする。
【００８３】
次に、ステップＳ２２０３に進み、候補グループが複数であるか否かをを判断する。この判断の結果、候補グループの中に複数の候補が含まれた場合は、ステップＳ２２０４に進み、候補番号の若い方の番号を用いたグループとする。
【００８４】
そして、検出された各グループに対して、どちらのグループが補正対象となる注目画像としての重みが大きいかを判断するために、グループ内の確からしさをポイント換算で、比較を行い、よりポイントが高いグループが最終注目画像と設定される。
【００８５】
ポイントの方法としては、候補が“m”個存在する場合、候補１のポイントは“ｍ”。候補２のポイントは“ｍ−１”以下同様に候補ｍのポイントは“１”となる。
【００８６】
このようにして、候補グループ間の優位性を判断した結果の実例を図２３に示す。検出した候補グループは２グループあり、そのうち右のグループのポイントが左の候補グループのポイントを上回ったので、最終候補となっている。
【００８７】
また、ポイント数の絶対値は、対象となる候補グループの注目画像としての信頼度を表しているので、このポイントにより注目画像に対する補正強度を決定する。補正強度決定方法としては、ポイントによる閾値を設け、閾値の上下関係で強度の指定を行う。
【００８８】
但し、このようなポイントによる注目画像の検出ではなく、より軽い処理として、一番長い検出値の候補が入るグループもしくは、検出値そのものを注目画像としてもよい。この場合、本実施の形態より検出確率に多少の差は発生するが、処理能力の低い機器ではこの方式のほうが適合する場合もある。
【００８９】
先の、図１０と図１４に対する結果を図１３と図１７に示す。
図１３においては、注目画像である人物の顔の肌を検出している。また、図１７においては、各候補が周波数特性に適合せず候補部分が黒塗りの状態で表している。これは、注目画像が検出されなかった状態を表し、注目画像に重みを置いた画像補正の対象にならないことを示し意している。
【００９０】
こうして注目画像を検出することができる。通常の画像補正は、画像全体のバランスに亘って補正が行われるので、逆光などで本来注目したい画像の画質を落としてしまう場合が存在しているが、本実施の形態による注目画像検出により、補正項目として輝度の最適化のための露出、及び好ましい肌色のための色バランスや彩度補正を注目画像のデータを基に補正を行うことで、より高品質な画像を得ることができる。
【００９１】
図２４に、一般画像補正を行った結果と、本実施の形態の注目画像検出を利用して画像補正を行った結果の一例を示す。図２４に示したように、本実施の形態の注目画像検出を利用して画像補正を行った場合は、人物などの注目画像をより良くプリントすることができる。
【００９２】
本実施の形態においては、プリントのための最適画像処理用に注目画像を検出する方法を示しているが、表示用などにも使用できることは言うまでも無い。
【００９３】
また、本実施の形態においては、検出画像の周波数成分特性を見るために周波数情報を１０個単位で加算して周波数成分の６３個を７グループとして、画像の特性を判断したが、グループ化という発想をなくし、６３個全ての周波数をそのまま利用してもよいことは言うまでも無い。
【００９４】
更に、画像の長手方向からの連続量の検出後短い方向の検出を行ったが、この順序も逆になっても可能であり、この他、検出ブロックを一列のグループとして検出する方法以外にも色度で検出したグループにおける全ての方向に隣接したブロックグループという、とらえ方で空間周波数特性を確認する方法など、色度と周波数特性を組み合わせた検出方法はいくらでもあり、これら一連の検出方法は本発明に含まれることは言うまでも無い。
【００９５】
本実施の形態においては、図４や図２７のように、連続検出値を３グループに分け周波数特性の適正範囲との比較を行い周波数特性の合否を判定したが、連続検出を３グループ化したのは、実施形態を簡単化するためで、連続値ごとに適正範囲を設定してもよいし、連続値には相関関係が有るので、テーブル方式ではなく理論式による方法を用いてもよい。また、周波数特性も７グループ値を使用したが、６３個の周波数のすべてにて行ってもよいし、更には特定の周波数に注目して判定してもよい。
【００９６】
本実施の形態においては、検出の目的になっている注目画像は人物の肌の領域に設定して説明しているが、周波数成分、もしくは周波数成分と色度により検出可能なものは、人物の肌色に限らず、空、海、木々の緑なども存在する。
【００９７】
本実施の形態においては、８＊８ブロック単位データの周波数成分を周波数の低い順から１０個単位でまとめた値を用いて、その１０個の和によるグループ（最も高い周波数グループは３個の和）の特性から周波数特性を代表させているが、Jpeg ファイルの場合、ＤＣ成分１個に対し、ＡＣ成分６３個の構成で、周波数特性を表しているので、１０個の集合体として特性を見なくてもよい。
【００９８】
また、６３個の個々の特性より判断してもよいし、もっとグループ化してもよい。また、特定の周波数成分のみの利用により特性を導き出してもよい。このように、周波数特性を利用した特性を導くのにＡＣ成分の利用方法はいくらでもある。
【００９９】
更に、本実施の形態では８＊８ブロックの連結と言う概念で縦方向と横方向について注目画像を検出するために色度該当ブロックの連続性において、候補を抽出しているが、この時のブロック集合体の判定方法も、この方法に限られてものではないことは言うまでも無い。
【０１００】
本実施の形態では連続検出した色度ブロックに対して検出した連続値により、端のブロックを削除した値を特性利用しているが、周波数成分による適合から色度ブロックの境界を設定したり（図２１）、予め特定以上の周波数特性のあるブロックを、色度検索を行う前に除外してから行うようにしたりなど、ブロックの集合体を決定するための色度と周波数成分による分離の仕方は、複数の方法と組み合わせがあるが、本願特許の範囲に包含される。
【０１０１】
上記図２１について説明する。図２１の左側は元画像であり、このJpeg ファイル画像の圧縮単位である８＊８画素ブロックの周波成分における高周波成分の総データ値が閾値を超えるか超えないかで判定したのが右側の画像になる。明るい部分が高周波成分を持つ領域で、暗い部分が高周波成分の少ない領域である。この領域を境に設けた色度判定による注目画像検出も可能である。
【０１０２】
また、本実施の形態は、画像圧縮ファイルとして、“Jpegファイル”を利用した方法を開示したが、“Jpeg2000 file“など、周波数成分への変換を利用した他のファイルに対しても同様な考え方で、注目画像の検出を簡単な処理で実現できることは、言うまでもない。
【０１０３】
上記実施の形態においては、周波数成分と色度を中心に配置情報などを入れて注目画像検出を行ったが、このねらいは、注目画像を中心とした画像補正を行う為である。したがって、検出された注目画像領域の輝度を含むデータが補正を行うことが有効でない状態として検出された時、例えば暗過ぎる値でつぶれている時などは、補正として無理に諧調性を持たそうとすると、ノイズだらけになってしまう場合がある。
【０１０４】
この不都合を回避するために、図６の検出結果に対して、検出された部分領域の各ブロック直流成分データを利用して輝度平均を出し、補正に適した輝度範囲に入っているかを比較することで、更に精度の良い注目画像における画像補正を行うことができる。
【０１０５】
（本発明の他の実施の形態）
なお、以上に説明した本実施形態の画像認識装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
【０１０６】
したがって、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【０１０７】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【０１０８】
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていてもよい。例えば、画面入力処理は、遠隔端末コンピュータで行われ、各種判断、ログ記録等は他のセンターコンピュータ等で行われるようにしてもよい。
【０１０９】
【発明の効果】
以上説明したように本発明によれば、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するとともに、上記抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かに基づいて、その部分領域が注目画像対象部分に入っているか否かを判定する場合に、判定基準要素として、入力画像サイズにより上記空間周波数特性適正範囲を切替えるようにしたので、高度な計算をすることなく画像データブロックごとの交流成分情報を含む情報を取得して、画像ファイルの中の注目画像を検索するために利用することができる。これにより、入力画像サイズに関係無しに、処理負荷の少ない方法で注目画素を検出することができる。
【０１１０】
また、本発明のその他の特徴によれば、デジタルカメラから直接プリントする場合などのように、パーソナルコンピュータと比べて処理能力が低い組み込み式の機器においても、製品として使用可能な範囲の処理で、印刷する圧縮画像ファイルに補正の対象となる注目画像の有無、及びその値の適正度を検出することができ、必要に応じて注目画像を重視した画像補正を施すようにすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わるJpeg画像解凍時に必要なデータを取得する流れを示す概念図である。
【図２】実施の形態の画像データをJpeg形式へ変換する処理過程の流れを示す概念図である。
【図３】実施の形態のJpegの画像圧縮単位である8*8ブロックを例にしたJpeg形式へ変換する処理過程を示す図である。
【図４】実施の形態のJpegファイル画像圧縮単位である8*8ブロックのＡＣ成分特性を利用した判別テーブルを示す図である。
【図５】実施の形態の他にある肌色のＲＧ色度分布例を示す図である。
【図６】実施の形態のJpeg画像解凍からの注目画像検出フローチャートである。
【図７】実施の形態のJpegファイル画像圧縮単位である8*8ブロックにおける、色度検出方法を示す図である。
【図８】実施の形態のJpegファイル画像圧縮単位である8*8ブロックでのＤＣ成分を利用した色度検出方法を示す図である。
【図９】実施の形態の色度検出において、３ビット間引きを利用して検出をした場合の8*8ブロックにおける検出状況を示す図である。
【図１０】実施の形態の検出用Jpeg画像サンプルの第１の例を示す図である。
【図１１】第１の画像サンプルを色度のみによる検出を行った結果のBMP ファイルの一例を示す図である。
【図１２】第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１３】実施の形態の注目画像検出により、第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMPファイルの一例を示す図である。
【図１４】実施の形態の検出用Jpeg画像サンプルの第２の例を示す図である。
【図１５】第２の画像サンプルを色度のみによる検出を行った結果のBMPファイルの一例を示す図である。
【図１６】第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１７】実施の形態の注目画像検出により、第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMP ファイルの一例を示す図である。
【図１８】実施の形態の人物肌検出において、人物肌検出データの連続色度検出値におけるＡＣ成分の周波数特性を示す図である。
【図１９】実施の形態の人物肌検出において、枯れ林の検出データの連続色度検出値におけるＡＣ成分の周波数特性の表を示す図である。
【図２０】実施の形態の肌色のRG色度分布を示す図である。
【図２１】周波数特性による境界作成のための検出方法の一例を示す図である。
【図２２】実施の形態の候補グループの判定手順を示すフローチャートである。
【図２３】実施の形態の候補グループ判定の検出結果画像の一例を示す図である。
【図２４】実施の形態の注目画像検出を利用した画像補正の比較結果の一例を示す図である。
【図２５】本発明の人物肌検出において、UXGA(1600*1200)画像における人物肌検出データの連続色度検出値におけるAC成分の周波数特性を示す特性図である。
【図２６】本発明の人物肌検出において、UXGA(1600*1200)画像における枯れ林の検出データの連続色度検出値におけるAC成分の周波数特性の表を示す図である。
【図２７】本発明のJpegファイル画像圧縮単位である8*8ブロックのAC成分特性を利用したUXGA(1600*1200)画像に対する判別テーブルの一例を示す図である。
【符号の説明】
１ エントロピー復号化手段
２ 符号テーブル
３ 逆量子化手段
４ 量子化テーブル
５ 逆ＤＣＴ手段

Claims (13)

1. 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識方法であって、
   上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出工程と、
   上記データ抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かに基づいて、その部分領域が注目画像対象部分に入っているか否かを判定する判定工程と、
   上記判定工程の判定基準要素として、入力画像サイズにより上記空間周波数特性適正範囲を切替える切替え工程とを有することを特徴とする画像認識方法。
2. 上記圧縮データはJpegファイルデータであることを特徴とする請求項１に記載の画像認識方法。
3. 上記注目画像対象部分に入っているか否かの判定を行うための情報に、上記抽出された部分領域の画像全体における配置情報が加えられ、上記配置情報が画像の端部近傍を示す場合、上記画像の端部近傍に対しては判定を行わないことを特徴とする請求項１または２に記載の画像認識方法。
4. 上記注目画像対象部分に入っているか否かの判定を行うための情報に、上記抽出された部分領域の隣接した連続性情報が縦と横方向に加えられ、上記連続性情報が、所定の連続量に入っている場合、注目画像候補領域とすることを特徴とする請求項１乃至３の何れか１項に記載の画像認識方法。
5. 上記注目画像対象部分に入っているか否かの判定を行うための情報に、上記抽出された複数の部分画素領域からなる部分領域の直流成分が加えられたことを特徴とする請求項１乃至３の何れか１項に記載の画像認識方法。
6. 上記注目画像対象部分の判定において、上記設定範囲の中で複数の注目画像対象部分候補が検出された場合に、上記検出された複数の部分画素領域からなる部分領域の隣接した連続が一番多い注目画像対象部分候補を注目画像対象部分に該当すると判定することを特徴とする請求項３または４に記載の画像認識方法。
7. 上記検出された複数の部分画素領域からなる部分領域の隣接した連続が一番多い注目画像対象部分候補を含む複数の部分画素領域からなる部分領域に連続で隣接している複数の部分画素領域からなる部分領域において、色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が適正範囲に入っている注目画像対象部分候補を含めて注目画像とすることを特徴とする請求項６に記載の画像認識方法。
8. 上記検出した注目画像領域内において、複数の部分画素領域からなる部分領域の連続が２番目以降に長いものの含有率で検出した注目画像の検出の確からしさを求めることを行うようにしたことを特徴とする請求項７に記載の画像認識方法。
9. 上記検出した注目画像の確からしさを用いて画像補正強度を決定するようにしたことを特徴とする請求項８に記載の画像認識方法。
10. 上記検出した注目画像領域内の輝度情報を作成し、上記作成した輝度情報を元に、画像全体への露出補正を行うようにしたことを特徴とする請求項７乃至９の何れか１項に記載の画像認識方法。
11. 上記注目画像の検出長と出力プリントサイズとの関係により、上記注目画像サイズが上記出力プリントサイズ上一定の長さの許容に入らない場合は画像補正を行わないことを特徴とする請求項１乃至１０の何れか１項に記載の画像認識方法。
12. 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識装置であって、
    上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出手段と、
    上記データ抽出手段によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かに基づいて、その部分領域が注目画像対象部分に入っているか否かを判定する判定手段と、
    上記判定手段の判定基準要素として、入力画像サイズにより上記空間周波数特性適正範囲を切替える切替え手段とを有することを特徴とする画像認識装置。
13. 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する工程をコンピュータに実行させるコンピュータプログラムであって、
    上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出工程と、
    上記データ抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かに基づいて、その部分領域が注目画像対象部分に入っているか否かを判定する判定工程と、
    上記判定工程の判定基準要素として、入力画像サイズにより上記空間周波数特性適正範囲を切替える切替え工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images