JP4078136B2 - 画像認識方法、画像認識装置及びコンピュータプログラム - Google Patents
画像認識方法、画像認識装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP4078136B2 JP4078136B2 JP2002193622A JP2002193622A JP4078136B2 JP 4078136 B2 JP4078136 B2 JP 4078136B2 JP 2002193622 A JP2002193622 A JP 2002193622A JP 2002193622 A JP2002193622 A JP 2002193622A JP 4078136 B2 JP4078136 B2 JP 4078136B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- extracted
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像認識方法、画像認識装置及びコンピュータプログラムに係わり、特に、圧縮された画像データ形式であるJpegファイル画像を認識するために用いて好適なものである。
【０００２】
【従来の技術】
デジタルカメラなどで撮影したJpegファイル画像を、ＰＣプリンタもしくはダイレクトプリンタなどから印刷を行う場合や、ＤＰＥでプリントを行う場合がある。この時に、撮影画像データが良質な場合は忠実にプリントすればよいので問題は生じない。
【０００３】
しかしながら、撮影画像データによっては色被り、コントラスト不足、露出の不適切などがあり、良質な印刷結果を得るためには画像補正を施す必要がある。特に、人物を撮影した画像の場合には、一般に、人の顔の色が適正になるようにプリントすると写真を見た人に与える感じが良くなり、写真の質を高めることになる。
【０００４】
銀塩写真の場合、質の良い写真を得るためには原画像ごとに焼き付け時の露光量を変更することが好ましく、この焼付け時の露光量を決めるのに、人物が入った写真の場合には、人の顔の色に着目するのが便利である。何故ならば、人の顔は肌色であることが分かっているために、焼き付けられた写真における人の顔の色が肌色になるように露光量を決めることが可能であるからである。
【０００５】
また、デジタルデータの画像ファイルから画像認識する方法としては、例えば“特開平8-161497号”、“特開2000-48036”、“特開平11-238067号”などが知られている。
【０００６】
これらの方法は、指定画像との類似度や一致度を検出するもので、“特開平8-161497号”の場合は、直流成分によるブロック単位での粗一致を求め、その後、候補画像領域に対して復元処理を行い、非圧縮データとして微一致を求める方式である。
【０００７】
また、“特開2000-48036”の場合は、検索データを入力作成し、このデータと複数の画像データの類似度を判定する画像処理装置である。さらに、“特開平11-238067号”の場合は、検索対象画像をウェーブレット変換して圧縮画像を作成する。また、指定された画像にもウェーブレット変換を施し、各々の特徴データを比較することで、類似度を判定するようにしている。
【０００８】
また、デジタルカメラで撮影した画像をプリントする際に、アプリケーションやプリンタドライバのアプリケーションにより、撮影データをヒストグラムなどで解析し、コントラスト、ホワイトバランス、露出補正、シャープネスなど画像補正を一様に施すものが知られている。
【００１０】
【発明が解決しようとする課題】
デジタルカメラなどで撮影したJpegファイル画像をプリントする場合に、銀塩写真のプリントのように、人物など注目画像が、より良くプリント出来るように必要に応じて補正を行えるように、上記Jpegファイル画像の中に注目画像を見つけ出す方法を決める必要がある。
【００１１】
また、デジタルカメラからプリンタへ直接プリントを行うダイレクトプリントなどデータ処理能力の低い機器でも使用出来るように、検出処理は出来うるだけ軽く済む方法が求められていた。
【００１２】
また、先願に対しては、ＪＰＥＧによる圧縮画像の圧縮比率に関わる量子化テーブルの値が、撮影時やアプリケーションによる編集後の再保存により一様ではなく、高圧縮の量子化テーブルを使用すると、画像中の空間周波数が極端に変化してしまい、注目画像における周波数特徴量も影響を受け、検出精度が落ちてしまう可能性があった。
【００１３】
本発明は上述の問題点にかんがみ、画像ファイルの中の注目画像を検出する際に量子化テーブルの特性を利用した判定を行うようにして、処理負荷の少ない方法で注目画像を検出できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像認識方法は、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識方法であって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出工程と、上記抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定工程とを有することを特徴とする。
【００１５】
本発明の画像認識装置は、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識装置であって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出手段と、上記抽出手段によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定手段とを有することを特徴とする。
【００１６】
本発明のコンピュータプログラムは、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する工程をコンピュータに実行させるコンピュータプログラムであって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出工程と、上記抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定工程とをコンピュータに実行させることを特徴とする。
【００１８】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の画像認識方法、画像認識装置及びコンピュータプログラムの実施の形態を説明する。最初に、一般的なデジタルカメラのデータ圧縮記録形式であるＪｐｅｇファイル形式の画像データを印刷する際に、非圧縮データへ復元する前に、ブロック（８＊８画素）ごとに輝度、色度ベースのＤＣＴ（離散コサイン変換）されたデータも取得し、注目画像検索のために利用する。
【００１９】
この時、画像圧縮に利用している量子化テーブルの特性が適応範囲に入っているものは、画像データブロックごとの周波数（交流）成分情報等を取得することにより、入力画像ごとに用意された部分領域の特徴量との比較を通じて利用可能となり、高度な計算をする必要をなくすことが可能となる。また、出力サイズとの関係で効果に対する処理効率を高めることが可能となる。
【００２０】
「第１の実施の形態」
最初に、現在、最も一般的な画像圧縮ファイルの“Jpegファイル”の情報省略と符号化・復号化について説明する。
【００２１】
まず、符号化であるが、通常、デジタルカメラやデジタルビデオなどでは、静止画をJpeg ファイルにて保存することが一般的になっている。この場合、入力機器の受光素子であるＣＣＤなどの入った信号をＡ／Ｄ変換した後、フレームメモリーに取り込み、ＲＧＢもしくはＣＭＹフィルタの情報を輝度と色度情報とに変換する。その後、８＊８（６４個）正方画素ブロックに分割する。
【００２２】
図３の▲１▼は、輝度データのビットマップを８＊８ブロックに分割したうちの１ブロックのデータ例を示している。また、図３の▲２▼においては、０〜２５５の画素値をレベルシフトして−１２８〜１２７の信号に変換する例を示している。さらに、図３の▲３▼においては、ＤＣＴ（離散コサイン変換）によりＤＣＴ係数を求める例を示している。
【００２３】
また、図３の▲４▼は、視覚特性を考慮した高周波成分の省略を大きくした量子化テーブルであり、このテーブルを用いて、上記図３の▲３▼の結果であるＤＣＴ係数に対して量子化する例を示している。
【００２４】
図３の▲５▼は、量子化を行った結果である。この値をエントロピー符号化してハフマン符号で表すことにより符号化信号である圧縮データを生成する。
【００２５】
次に、復号化においては、上述した符号化の逆の工程を行う。つまり、符号化信号を復号して、量子化ＤＣＴ係数の値を復号する。次に、逆量子化を行うために量子化テーブルを乗ずることでＤＣＴ係数を得る。その後、逆ＤＣＴを行うことでレベルシフトした画像が復元され、更に逆レベルシフトの値１２８を加算することで１ブロックの画像が復号される。
【００２６】
上記の説明では、輝度情報と色度情報とに分割したデータを合成してＲＧＢ画像に変換することを省略したが、符号化における流れとしては、図２に示すように、カラー画像を輝度成分（Y）と２つの色度成分（Cb、Cr）とに変換し、その各々を符号化して合成することで、圧縮画像データを生成している。
【００２７】
以上のような、圧縮された画像データファイルであるＪｐｅｇ画像をプリントする方法としては、入力機器からの圧縮画像データをＵＳＢや記憶メディアによって、パーソナルコンピュータ（以下、ＰＣとする）に取り込んで画像を展開し、必要に応じて画像補正を加えた後プリンタへデータを送る場合や、入力機器からの画像データを直接プリンタへ入力し、プリンタの中で、画像を解凍し、必要に応じて画像補正を加えた後で印刷を行うなど、幾種類かの選択肢がある。
【００２８】
いずれにしても、良好な画像をプリントするためには、撮影画像データが良質な撮影画像であるか、あるいは補正が必要な画像であるのかを判断して、忠実に印刷すべき良質な画像と、補正を行うことにより良質な画像に近付けた後に印刷を行うもとをより分ける必要がある。
【００２９】
良好な画像とは、下記のようなことが考えられる。
１）ホワイトバランスが良好である。
２）コントラストが適切である。
３）必要な部分の階調が割り当てられている。つまり、露出設定が良好である。
４）彩度が適正である。
５）銀塩写真のような仕上がりである。
６）人物など注目される画像が中心に補正されている。
【００３０】
現在市販のＰＣプリンタやＰＣを経由しないダイレクトプリンタなどにおいても上記１）〜５）の項目においては、程度の差も有るが行われている。また、上記６）の注目画像に対する補正が行われていないのは、その検出に多大な処理が必要であることと、その方法が確立されていないことによる。
【００３１】
特に、処理能力のひ弱なダイレクトプリンタなどにおいては実施が難しいとされているが、本発明はこれを解決するものである。その手段としては、Jpeg画像ファイルに注目画像の存在の検出と、その検出した画像に対する補正の必要等の確認を経て、全体画像補正へ受け渡す方法となる。
【００３２】
図１は、Jpeg ファイルを解凍する過程とその際に取得する情報について表したブロック図である。
Jpeg ファイルをRGBのビットマップデータへ変換する過程においては、まず、符号テーブル２を用いてエントロピー復号化手段１にてエントロピー復号を行う。次に、逆量子化手段３において、逆量子化に使用する量子化テーブル４を、逆量子化を行う他にデータとして記憶する。
【００３３】
この逆量子化されたデータは、ブロック単位のデータとして周波数変換されたものであり、このデータを、画像周波数特性を得るためのデータとして取得する。その後、逆ＤＣＴ手段５において、逆ＤＣＴ処理と逆レベルシフトとを行いＹｃｃ−ＲＧＢ変換することで、通常のＲＧＢビットマップデータに展開する。
【００３４】
次に、この画像において、最も重要と思われる注目画像検出である人物検出のフローチャートを図６に示す。
最初のステップＳ６０１において、８＊８画素のブロック単位のＤＣＴデータと量子化テーブルとを取得すると同時に、画像ファイルはＲＧＢビットマップデータに展開する。
次に、ステップＳ６０２に進んで、ＲＧＢビットマップデータにおいて、８＊８画素のブロック単位に本実施の形態における注目画像である人の肌色の色度に対応するか検索を行う。
【００３５】
この場合、入力画像サイズにより８＊８画素ブロックの画像が全画像に対して占める割合が違うので、入力画像サイズに比例した端部の設定を行う。例えばＶＧＡ(640*480)では8ブロック分で、UXGA(1600*1200)画像においては２０ブロック分とする。
【００３６】
色度の検索方法としては、複数の方法がある。知られているものとしては、
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。
２）図５の概念図に示すように、肌色を確率楕円にて表すことができる。求める式としては下記の式（１）〜式（３）になる。
【００３７】
【数１】
【００３８】
本実施の形態においては、処理の簡便さを考慮に入れた下記式（４）である色度分布範囲を肌色の色度範囲とした。この範囲を表したのが図２０である。
【００３９】
【数２】
【００４０】
本実施の形態においては、画像における周波数成分の特徴を検出する単位として８＊８画素単位のブロックで行っている関係で、構造的論理的な簡単さより色度判定においても８＊８画素単位にて実行する。
【００４１】
図７は、本実施の形態で用いている色度検出ポイントを図示したものである。これによると「８＊８画素」単位のブロックの四隅の色度の全てが色度範囲に入っているか否かを確認し、全てが範囲に入っている時は、そのブロックを適合色度と判定している。
【００４２】
図７においては、上段の左から２番目と下段の左から１，２，３ブロックが該当する。上段の一番左のブロックは４ポイントのうち左上の式度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。
【００４３】
図８は、「８＊８画素」単位のブロック全体の平均色度による判定である。このブロック内の平均色度の求め方としては、８＊８ブロック全ての画素値の平均値を取る方法の他に、解凍中の逆ＤＣＴを行う前の色度データ（Ｃb，Ｃr）の中のＤＣ成分から求めることも可能である。この方式の利点としては、ブロック全体の色調にて判定できるので、検出点の少ないものに比べて精度が高い期待ができる。ここで、自然画における色度のみの検出についての内容を見ることにする。
【００４４】
図９は、図７と同じ考えの中ではあるが、全体画像における検出間隔を等分化するためのものである。
【００４５】
図１０は、一般的なポートレート写真であり、図１４は人物の肌色色度と同様な色度範囲を有する枯木の林の写真である。図１０と図１４に対して、それぞれの画素に色度の適合だけで検出を行った結果を図１１と図１５に示す。
【００４６】
図１１のポートレートでの検出結果としては人物の肌色部分をよく検出しているが、その他に柵や背景の中で、ごみのような細かい部分においても適合色度を満たすものが検出されていることがわかる。このため、色度のみでは注目画像を特定できないことがわかる。
【００４７】
図１４においては、人物の肌色を検出する目的にもかかわらず同じ色度を持つ枯れ木の林が全面検出されている。このように、画素レベルでの色度判定を行った場合、注目画像を特定することは不可能である。
【００４８】
検出をブロックレベルにすることにより、特定のまとまりを持った状態が対象になるので、外来ノイズの影響は受けずらくなる。しかしながら、８＊８画素のブロックが適正なまとまりの大きさとは言えず、色度によるブロック検出においても縦方向及び横方向に隣接したブロックの連続検出という、制約を付けた検出を行うことで更に精度を上げることになる。
【００４９】
ここにおいて、人の肌色であってもプリントにおいて顔を認識できるデータ量を満たさないものにおいても適応外としてはじいてもよいと言う概念でノイズと判定する連続範囲を設定する。
【００５０】
この部分を表したのが、図６のステップＳ６０３以降の処理である。すなわち、ステップＳ６０３においては、画像に対して長手方向にブロックごとに色度検出を行い、連続検出ブロック数の多い順に候補を策定する。
【００５１】
次に、ステップＳ６０４において、その連続量が、注目画像としての適応する連続量に入っているか否かを比較する。この比較の結果、該当する連続ブロックがある場合はステップＳ６０５に進み、短い方向のブロック連続検出設定を満たすデータが画像に存在するか否かを検索を行う。
【００５２】
次に、ステップＳ６０６において、検出データが有るか否かを判断し、検出データが有る場合にはステップＳ６０８に進んで、この過程で残ったものの中から長手方向の連続ブロック量が大きいデータから順に候補番号を付ける。
【００５３】
また、ステップＳ６０６の判断の結果、検出データが無い場合にはステップＳ６０７に進み、「目的領域無し」をセットして処理を終了する。
【００５４】
ここで、話は少し戻るが、連続ブロックにて色度判定を施した場合の効果については、図１２と図１６で示す。
図１２においては、図１０のポートレート画像に対して検出を行った結果である。図１２において、検出候補の優先順位が高い方から（検出ブロック長が長い方から）カラーコード（１＝茶、２＝赤、３＝橙、４＝黄、５＝緑、６＝青、７＝紫、８＝灰）順に配置され、それ以外で検出されているのは色度のみ適性範囲に入っているものである。連続ブロック検出により画素レベルの色度検出と比べるとかなりの背景などの非該当候補を削除できていることが判る。
【００５５】
図１６においては、図１４の枯木の林に対して検出を行った結果で、連続ブロック検出においても注目画像以外を検出してしまうことがわかる。
【００５６】
次に、ＶＧＡ（video graphics array）サイズ（６４０＊４８０画素）の複数の画像サンプルを用いて人物肌と枯れ木の林の部分において、検出された適合色度連続ブロックにおける周波数特性を算出した。
【００５７】
図１８は、画像内に撮影されている人物肌の連続ブロック検出されたブロックのＤＣＴデータを周波数の低い順に並べたものを、周波数の低い方から１０個単位で加算し、連続ブロック数で除したもので、連続検出されたブロックの１個あたりの平均周波数成分をまとめたものである。
【００５８】
したがって、図面において横軸は、ＡＣ成分６３個の周波数成分をまとめたもので、１０個単位のまとまりが６グループと最も周波数の高いデータは３個分のデータとなる。縦軸は、各周波数成分の要素を加算した値である。
【００５９】
これにより、値が大きいほどそのブロックにおいて、該当周波数成分が高いことがわかる。また、検出した連続ブロック数ごとに色分けしたデータ線で表されている。例えば“Ｂ２"は連続ブロックが２個検出されているデータの平均した値を表し、“Ｂ１５"は連続ブロックが１５個検出されているデータの平均した値を表している。以下同じで、“Ｂ２〜Ｂ１５”までの複数画像からの平均的な人物肌色部分の連続検出値ごとの空間周波数特性を表している。
【００６０】
検出結果を見ると、
１）低い周波数成分の値が大きく低い周波数成分の下から３グループ以降は、連続ブロック数に係わり無く５０以下となっている。
２）連続ブロックの連続値が大きいほど周波数特性が低くなっている。
【００６１】
これらの結果から言えることは、人物の肌色部分の周波数特性は比較的低い周波数で構成されていることと、検出された連続ブロックの値が大きいことは、被写体の撮影された大きさが大きいことを示していて、この連続ブロックとしての平均値を出すことによって周波数成分が下がっていることがわかる。
【００６２】
連続ブロックの連続値により、同じ注目画像の色度を持っているものでも、その連続ブロックを１つの代表値にすること（例えば、Ｂ６のブロックの時は検出した６個のブロックの値を、各々周波数の低い順に１０個単位のグループとして加算したものをグループごとに加算した後、その連続値である６で除して平均を出している。）により、空間周波数特性の値が変わるので、連続検出値により適当な該当周波数特性が違うことが判る。
【００６３】
図１９は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真を複数用意して、検出を行った結果を図１８と同じように表したものである。
【００６４】
検出結果を見ると、
１）人物の肌の空間周波数特性と比べると高い周波数成分にデータ多くあることが確認できる。
２）一番低い周波数成分のグループは人物の肌の結果と大きくは違わない。
【００６５】
これらのことから、連続ブロックにおける周波数成分を検出することで、同じ色度を持った検出物体を周波数特性により区別することが可能であることがわかる。
【００６６】
図４は、本実施の形態において使用したもので、注目画像である人物肌の空間周波数特性を表したものである。上の段がＶＧＡ（６４０＊４８０）画像における周波数特性の適正範囲である。
【００６７】
連続ブロック値を２〜８個のグループ（〜L8）と９〜２０個のグループ（L9~２0）と２１個以上のグループ（L２1~）の３グループにまとめて、グループごとに周波数の適正範囲を設定したものである。周波数の適正範囲も先に示した１０個単位の７グループによる周波数特性を用いた。これは、処理の簡略化と検出精度のバランスで行ったもので、これに縛られる必要は無い。
【００６８】
次に、画像サイズがデジタルカメラで普及している２００万画素相当のUXGA(1600＊1200)画像について同じ撮影条件でＶＧＡ画像と比較してみる。
図２５は、図１８で使用したデータと同じシーンを対象にUXGAサイズにて撮影したものを検出した結果を、図１８と同じように周波数特性量と各レンジにおけるデータ量の平均を用いて表したものである。
【００６９】
VGA画像との検出特性の差を見ると、
１）連続検出ブロックの検出範囲が大きくなっている。具体的にはVGA画像検出での連続値は２から１５ブロックの連続検出である。それに対して、UXGA画像検出では検出値が４から４０の連続ブロックを検出している。
２）UXGAの方がブロック内の周波数特性が低い。例えば、１〜１０のブロック平均を見ると、VGA画像では３００〜１００のデータ量に分布しているのに対し、UXGA画像では２００〜３０の範囲にデータが分布している。一枚の画像に収まる中で、注目画像になりうるものは、全画像に対する大きさとしては、特定の比率の範囲に入っているのが一般的な考え方である。
【００７０】
例えば、画像全体の中で注目画像が長手方向で１００分の１しか占めない場合はどうであろうか、一般のプリントを考えた場合、その注目画像に対して最適な補正を掛けても、出力後の補正を行われた注目画像は、ほとんど紙面を占めておらず、特定の注目画像を補正するよりは画像全体を補正する方がその画像においては効果的と考えられ、注目の定義から外れると考えられる。
【００７１】
本実施の形態においても、各画像サイズに適したそれぞれの注目画像の適正範囲を持っている、この範囲以下でも以上でも補正対象とする注目画像の検出候補から外れる。
【００７２】
したがって、この例においては、UXGA画像における長手方向の１００分の１は１６００割る１００なので、１６pixelで２ブロック(8*8)分になり、色度と周波数成分が合致してもレングスの意味合いから候補の対象から外している。ちなみに、UXGA画像においては、検出連続範囲としては４〜６２ブロックと設定している。
【００７３】
VGA画像においては、同じ考えで１００分の１は６．４pixel となり、１ブロック分にも満たない。VGA画像においては、検出連続範囲としては２〜２５ブロックと設定している。この違いは、画像サイズによる１ブロック（8＊8）分の全画像に対する占有比率の差によるものが発生している。
【００７４】
画像全体中の一定の比率範囲に注目画像が入っていると考えると、画像サイズにより８＊８画素のブロックの空間周波数における意味合いは変わる。このため、同じ撮影画像でも画像サイズにより検出ロック数も違えば周波数特性も違ってくる。
【００７５】
本実施の形態では画像ごとに検出連続範囲を上記のように設定しているが、数式に置き換えることも可能である。 例えば、下記式（５）の様に最低連続数を設定することができる。
【００７６】
【数３】
【００７７】
次に、図２６を示す。図２６は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真であり、図１９においてはVGA画像としてのデータをしましたが、UXGAの画像としてデータをまとめたものである。
【００７８】
図１９との比較においては、先述の図１８と図２５の比較と同じ傾向がある。ＡＣ成分の２０以上のグループではかなり高周波成分が低減していることがわかる。しかしながら、人物肌とのデータとは分布が極端に違うので、周波数帯域ごとに適応範囲を設定することで、分離することが可能である。
【００７９】
このために設定したものが図２７のUXGA画像用判定テーブルである。構成は図４のVGA画像用判定テーブルと同じであり、画像サイズの違いによる平均ブロックの空間周波数特性の違いのみである。
【００８０】
次に、量子化テーブルによる画像への特性を説明する。
図２８〜図３０は、代表的画像アプリケーションがＪｐｅｇファイルを作成する時の画像圧縮比率を決定する為の１３種類の量子化テーブルである。図２８〜図３０において、テーブル“００”は最も画像圧縮率を高めたものであり、テーブル“１２”は保存画質を高め、画像圧縮率を低めたものである。
【００８１】
テーブルについて説明すると、図３の▲３▼〜▲４▼で説明した８＊８画像のＤＣＴ後のデータをさらに圧縮するために使用するもので、画像における６４個の各空間周波数に対応した値に対して、同じ位置の位の値で量子化を行う。
【００８２】
テーブル“００”の場合で、図３の▲３▼を量子化する時は、例えば８＊８ブロックの左上の“２２４”の値をテーブル“００”の同じ位置の左上の値“３２”で量子化し“７”となす。また、最も周波数成分の高い８＊８ブロックの右下では“−１”を“１２”で量子化し“０”となる。
【００８３】
図３１に、図２８，２９，３０のテーブル“００”〜“１２”の特性及び市販のデジタルスチルカメラの記憶部で使用している量子化テーブルを示す。
横軸は、量子化テーブルＡＣ分６４個を１０個単位でまとめたものであり、縦軸は、その１０個単位の値の平均値である。したがって、どの空間周波数成分を多く量子化しているかを確認することができる。
【００８４】
テーブル“００”〜“０４”においては、低周波成分の量子化比率が大きくなっている。市販のデジタルスチルカメラでは、低周波成分での量子化量は少なく、高周波成分域においても“１５”未満である。これに対応する量子化比率は、アプリケーションにおけるテーブル“１０”以上であり、画像の量子化としては低圧縮率の分類になる。
【００８５】
ポートレートである図１０と、人物肌色度に一致する枯れ林である図１４の画像に対して、上記テーブルを１個飛びに用いて量子化を行った後の画像に対して、それぞれ注目画像検出を行った結果を、図３２及び図３３に示す。
【００８６】
図３２の場合、テーブル“００”を使用した時は低周波成分の量子化の大きさにより判定テーブル（図４）による人物特性から外れてしまっている。テーブル“０２”では、人物を検出したが、検出ポイントは低い。テーブル“０６”以上で安定した検出ができている。
【００８７】
図３３の場合、テーブル“００”を使用した時は、本来人物肌判定テーブル（図４）より高周波域で、外れてしまう検出値が量子化による誤差で、“検出判定”となり、誤判定になってしまっている。こちらの場合でも、テーブル“０８”以上で安定した検出ができている。
【００８８】
したがって、量子化テーブルの値により、判定の精度が変わるので、このための量子化テーブル判定を行う。本実施の形態においては、判定を簡単化するために量子化テーブルの各項目を加算し、その合計が“６３０”以下の場合のみ判定への使用を可能とする、対応画像と判断することとした。
【００８９】
量子化テーブルの判定方法は、この他に、低周波成分での値などに注目する方法、低域３０までの総和を“１５０”とする方法など、検出する注目画像の空間周波数特性により幾つも考えることができるが、量子化テーブルの特性を使用するようにしてもよい。
【００９０】
図６の説明に戻る。上述したように、色度により検出された長手方向の連続量が大きいデータから順に注目画像の候補番号１〜ｎ（本実施の形態においてはｎ＝８）を付ける（ステップＳ６０８）。ｎ以降の検出したものについては候補番号を付けられない。
【００９１】
次に、取得した量子化テーブルから図３４のフローチャートに示した処理を行い、ＡＣ成分特性判定テーブルを設定する。
処理としては、まず量子化テーブル内のすべての値を加算する。この値が、量子化の程度をあらわすことになる。この値が、６３０以上である場合は、注目画像の空間周波数特性が変わってしまっていると考えられるので、注目画像検出は中断する。６３０未満の場合は、注目画像の空間周波数特性に影響は無いと判断され、入力画像サイズによるＡＣ成分特性判定用テーブルの選択を行う。
【００９２】
次に、ステップＳ６０９に進み、上記候補１〜ｎに対して、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。
【００９３】
この候補１〜ｎに対して、画像サイズがVGA(640*480)である時は、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。最初の連続検出ブロックから周波数特性の特徴量について、適合範囲内であるか比較を行う。この時、上述したように入力画像サイズが違う画像、例えばUXGA（1600＊1200）画像においては適合判定に図２７のUXGAテーブルを使用して比較判定を行う。
【００９４】
本実施の形態においては、画像サイズごと、もしくは、画像サイズ範囲（例えばVGA~XGAとSXGA~QXGAまでなど特定の画像範囲において共通のテーブル）ごとに設定した適応周波数特性判別テーブルにて周波数特性の比較判定を行ったが、数式を用いた判定基準を代わりに用意してもよい。
【００９５】
例えば、下記数式の作成方法としては、既に適正化テーブルがあるVGAとUXGAのテーブルを元にこの２点間の画像のサイズと周波数成分の値による変化量を対応付け、１次式にて近似して使用することができる。
【００９６】
この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。また、適合する候補が存在する場合においては以下に説明を行う。
図２２に、そのフローチャートを示す。
最初のステップＳ２２０１において、候補の数を確認する（１〜ｍ）。
次に、ステップＳ２２０２に進み、候補グループを形成する。この場合、候補に隣接する色度適合ブロックを候補グループとする。
【００９７】
次に、ステップＳ２２０３に進み、候補グループが複数であるか否かをを判断する。この判断の結果、候補グループの中に複数の候補が含まれた場合は、ステップＳ２２０４に進み、候補番号の若い方の番号を用いたグループとする。
【００９８】
そして、検出された各グループに対して、どちらのグループが補正対象となる注目画像としての重みが大きいかを判断するために、グループ内の確からしさをポイント換算で、比較を行い、よりポイントが高いグループが最終注目画像と設定される。
【００９９】
ポイントの方法としては、候補が“m”個存在する場合、候補１のポイントは“ｍ”。候補２のポイントは“ｍ−１”以下同様に候補ｍのポイントは“１”となる。
【０１００】
このようにして、候補グループ間の優位性を判断した結果の実例を図２３に示す。検出した候補グループは２グループあり、そのうち右のグループのポイントが左の候補グループのポイントを上回ったので、最終候補となっている。
【０１０１】
また、ポイント数の絶対値は、対象となる候補グループの注目画像としての信頼度を表しているので、このポイントにより注目画像に対する補正強度を決定する。補正強度決定方法としては、ポイントによる閾値を設け、閾値の上下関係で強度の指定を行う。
【０１０２】
但し、このようなポイントによる注目画像の検出ではなく、より軽い処理として、一番長い検出値の候補が入るグループもしくは、検出値そのものを注目画像としてもよい。この場合、本実施の形態より検出確率に多少の差は発生するが、処理能力の低い機器ではこの方式のほうが適合する場合もある。
【０１０３】
先の、図１０と図１４に対する結果を図１３と図１７に示す。
図１３においては、注目画像である人物の顔の肌を検出している。また、図１７においては、各候補が周波数特性に適合せず候補部分が黒塗りの状態で表している。これは、注目画像が検出されなかった状態を表し、注目画像に重みを置いた画像補正の対象にならないことを示し意している。
【０１０４】
こうして注目画像を検出することができる。通常の画像補正は、画像全体のバランスに亘って補正が行われるので、逆光などで本来注目したい画像の画質を落としてしまう場合が存在しているが、本実施の形態による注目画像検出により、補正項目として輝度の最適化のための露出、及び好ましい肌色のための色バランスや彩度補正を注目画像のデータを基に補正を行うことで、より高品質な画像を得ることができる。
【０１０５】
図２４に、一般画像補正を行った結果と、本実施の形態の注目画像検出を利用して画像補正を行った結果の一例を示す。図２４に示したように、本実施の形態の注目画像検出を利用して画像補正を行った場合は、人物などの注目画像をより良くプリントすることができる。
【０１０６】
本実施の形態においては、プリントのための最適画像処理用に注目画像を検出する方法を示しているが、表示用などにも使用できることは言うまでも無い。
【０１０７】
また、本実施の形態においては、検出画像の周波数成分特性を見るために周波数情報を１０個単位で加算して周波数成分の６３個を７グループとして、画像の特性を判断したが、グループ化という発想をなくし、６３個全ての周波数をそのまま利用してもよいことは言うまでも無い。
【０１０８】
更に、画像の長手方向からの連続量の検出後短い方向の検出を行ったが、この順序も逆になっても可能であり、この他、検出ブロックを一列のグループとして検出する方法以外にも色度で検出したグループにおける全ての方向に隣接したブロックグループという、とらえ方で空間周波数特性を確認する方法など、色度と周波数特性を組み合わせた検出方法はいくらでもあり、これら一連の検出方法は本発明に含まれることは言うまでも無い。
【０１０９】
本実施の形態においては、図４や図２７のように、連続検出値を３グループに分け周波数特性の適正範囲との比較を行い周波数特性の合否を判定したが、連続検出を３グループ化したのは、実施形態を簡単化するためで、連続値ごとに適正範囲を設定してもよいし、連続値には相関関係が有るので、テーブル方式ではなく理論式による方法を用いてもよい。また、周波数特性も７グループ値を使用したが、６３個の周波数のすべてにて行ってもよいし、更には特定の周波数に注目して判定してもよい。
【０１１０】
本実施の形態においては、検出の目的になっている注目画像は人物の肌の領域に設定して説明しているが、周波数成分、もしくは周波数成分と色度により検出可能なものは、人物の肌色に限らず、空、海、木々の緑なども存在する。
【０１１１】
本実施の形態においては、８＊８ブロック単位データの周波数成分を周波数の低い順から１０個単位でまとめた値を用いて、その１０個の和によるグループ（最も高い周波数グループは３個の和）の特性から周波数特性を代表させているが、Jpeg ファイルの場合、ＤＣ成分１個に対し、ＡＣ成分６３個の構成で、周波数特性を表しているので、１０個の集合体として特性を見なくてもよい。
【０１１２】
また、６３個の個々の特性より判断してもよいし、もっとグループ化してもよい。また、特定の周波数成分のみの利用により特性を導き出してもよい。このように、周波数特性を利用した特性を導くのにＡＣ成分の利用方法はいくらでもある。
【０１１３】
更に、本実施の形態では８＊８ブロックの連結と言う概念で縦方向と横方向について注目画像を検出するために色度該当ブロックの連続性において、候補を抽出しているが、この時のブロック集合体の判定方法も、この方法に限られてものではないことは言うまでも無い。
【０１１４】
本実施の形態では連続検出した色度ブロックに対して検出した連続値により、端のブロックを削除した値を特性利用しているが、周波数成分による適合から色度ブロックの境界を設定したり（図２１）、予め特定以上の周波数特性のあるブロックを、色度検索を行う前に除外してから行うようにしたりなど、ブロックの集合体を決定するための色度と周波数成分による分離の仕方は、複数の方法と組み合わせがあるが、本願特許の範囲に包含される。
【０１１５】
上記図２１について説明する。図２１の左側は元画像であり、このJpeg ファイル画像の圧縮単位である８＊８画素ブロックの周波成分における高周波成分の総データ値が閾値を超えるか超えないかで判定したのが右側の画像になる。明るい部分が高周波成分を持つ領域で、暗い部分が高周波成分の少ない領域である。この領域を境に設けた色度判定による注目画像検出も可能である。
【０１１６】
また、本実施の形態は、画像圧縮ファイルとして、“Jpegファイル”を利用した方法を開示したが、“Jpeg2000 ファイル“など、周波数成分への変換を利用した他のファイルに対しても同様な考え方で、注目画像の検出を簡単な処理で実現できることは、言うまでもない。
【０１１７】
上記実施の形態においては、周波数成分と色度を中心に配置情報などを入れて注目画像検出を行ったが、このねらいは、注目画像を中心とした画像補正を行う為である。したがって、検出された注目画像領域の輝度を含むデータが補正を行うことが有効でない状態として検出された時、例えば暗過ぎる値でつぶれている時などは、補正として無理に諧調性を持たそうとすると、ノイズだらけになってしまう場合がある。
【０１１８】
この不都合を回避するために、図６の検出結果に対して、検出された部分領域の各ブロック直流成分データを利用して輝度平均を出し、補正に適した輝度範囲に入っているかを比較することで、更に精度の良い注目画像における画像補正を行うことができる。
【０１１９】
（本発明の他の実施の形態）
なお、以上に説明した本実施形態の画像認識装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
【０１２０】
したがって、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【０１２１】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【０１２２】
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていてもよい。例えば、画面入力処理は、遠隔端末コンピュータで行われ、各種判断、ログ記録等は他のセンターコンピュータ等で行われるようにしてもよい。
【０１２３】
【発明の効果】
上述したように、本発明によれば、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出し、上記抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定するようにしたので、高度な計算をすることなく画像データブロックごとの交流周波数成分情報を含む情報を取得して、画像ファイルの中の注目画像を検索することができる。
【０１２４】
また、本発明の他の特徴によれば、デジタルカメラから直接プリントする場合などのように、パーソナルコンピュータと比べて処理能力が低い組み込み式の機器においても、製品として使用可能な範囲の処理で、印刷する圧縮画像ファイルに補正の対象となる注目画像の有無、及びその値の適正度を検出することができ、必要に応じて注目画像を重視した画像補正を施すようにすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わるJpeg画像解凍時に必要なデータを取得する流れを示す概念図である。
【図２】実施の形態の画像データをJpeg形式へ変換する処理過程の流れを示す概念図である。
【図３】実施の形態のJpegの画像圧縮単位である8*8ブロックを例にしたJpeg形式へ変換する処理過程を示す図である。
【図４】実施の形態のJpegファイル画像圧縮単位である8*8ブロックのＡＣ成分特性を利用した判別テーブルを示す図である。
【図５】実施の形態の他にある肌色のＲＧ色度分布例を示す図である。
【図６】実施の形態のJpeg画像解凍からの注目画像検出フローチャートである。
【図７】実施の形態のJpegファイル画像圧縮単位である8*8ブロックにおける、色度検出方法を示す図である。
【図８】実施の形態のJpegファイル画像圧縮単位である8*8ブロックでのＤＣ成分を利用した色度検出方法を示す図である。
【図９】実施の形態の色度検出において、３ビット間引きを利用して検出をした場合の8*8ブロックにおける検出状況を示す図である。
【図１０】実施の形態の検出用Jpeg画像サンプルの第１の例を示す図である。
【図１１】第１の画像サンプルを色度のみによる検出を行った結果のBMP ファイルの一例を示す図である。
【図１２】第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１３】実施の形態の注目画像検出により、第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMPファイルの一例を示す図である。
【図１４】実施の形態の検出用Jpeg画像サンプルの第２の例を示す図である。
【図１５】第２の画像サンプルを色度のみによる検出を行った結果のBMPファイルの一例を示す図である。
【図１６】第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１７】実施の形態の注目画像検出により、第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMP ファイルの一例を示す図である。
【図１８】実施の形態の人物肌検出において、人物肌検出データの連続色度検出値におけるＡＣ成分の周波数特性を示す図である。
【図１９】実施の形態の人物肌検出において、枯れ林の検出データの連続色度検出値におけるＡＣ成分の周波数特性の表を示す図である。
【図２０】実施の形態の肌色のRG色度分布を示す図である。
【図２１】周波数特性による境界作成のための検出方法の一例を示す図である。
【図２２】実施の形態の候補グループの判定手順を示すフローチャートである。
【図２３】実施の形態の候補グループ判定の検出結果画像の一例を示す図である。
【図２４】実施の形態の注目画像検出を利用した画像補正の比較結果の一例を示す図である。
【図２５】本発明の人物肌検出において、UXGA(1600*1200)画像における人物肌検出データの連続色度検出値におけるAC成分の周波数特性を示す特性図である。
【図２６】本発明の人物肌検出において、UXGA(1600*1200)画像における枯れ林の検出データの連続色度検出値におけるAC成分の周波数特性の表を示す図である。
【図２７】本発明のJpegファイル画像圧縮単位である8*8ブロックのAC成分特性を利用したUXGA(1600*1200)画像に対する判別テーブルの一例を示す図である。
【図２８】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図２９】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図３０】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図３１】量子化テーブルにおける圧縮比率と周波数特性との関係を示す図である。
【図３２】注目画像検出を行った結果の一例を示す図である。
【図３３】注目画像検出を行った結果の一例を示す図である。
【図３４】取得した量子化テーブルからＡＣ成分特性判定テーブルを設定する手順の一例を示すフローチャートである。
【符号の説明】
１ エントロピー復号化手段
２ 符号テーブル
３ 逆量子化手段
４ 量子化テーブル
５ 逆ＤＣＴ手段
【発明の属する技術分野】
本発明は画像認識方法、画像認識装置及びコンピュータプログラムに係わり、特に、圧縮された画像データ形式であるJpegファイル画像を認識するために用いて好適なものである。
【０００２】
【従来の技術】
デジタルカメラなどで撮影したJpegファイル画像を、ＰＣプリンタもしくはダイレクトプリンタなどから印刷を行う場合や、ＤＰＥでプリントを行う場合がある。この時に、撮影画像データが良質な場合は忠実にプリントすればよいので問題は生じない。
【０００３】
しかしながら、撮影画像データによっては色被り、コントラスト不足、露出の不適切などがあり、良質な印刷結果を得るためには画像補正を施す必要がある。特に、人物を撮影した画像の場合には、一般に、人の顔の色が適正になるようにプリントすると写真を見た人に与える感じが良くなり、写真の質を高めることになる。
【０００４】
銀塩写真の場合、質の良い写真を得るためには原画像ごとに焼き付け時の露光量を変更することが好ましく、この焼付け時の露光量を決めるのに、人物が入った写真の場合には、人の顔の色に着目するのが便利である。何故ならば、人の顔は肌色であることが分かっているために、焼き付けられた写真における人の顔の色が肌色になるように露光量を決めることが可能であるからである。
【０００５】
また、デジタルデータの画像ファイルから画像認識する方法としては、例えば“特開平8-161497号”、“特開2000-48036”、“特開平11-238067号”などが知られている。
【０００６】
これらの方法は、指定画像との類似度や一致度を検出するもので、“特開平8-161497号”の場合は、直流成分によるブロック単位での粗一致を求め、その後、候補画像領域に対して復元処理を行い、非圧縮データとして微一致を求める方式である。
【０００７】
また、“特開2000-48036”の場合は、検索データを入力作成し、このデータと複数の画像データの類似度を判定する画像処理装置である。さらに、“特開平11-238067号”の場合は、検索対象画像をウェーブレット変換して圧縮画像を作成する。また、指定された画像にもウェーブレット変換を施し、各々の特徴データを比較することで、類似度を判定するようにしている。
【０００８】
また、デジタルカメラで撮影した画像をプリントする際に、アプリケーションやプリンタドライバのアプリケーションにより、撮影データをヒストグラムなどで解析し、コントラスト、ホワイトバランス、露出補正、シャープネスなど画像補正を一様に施すものが知られている。
【００１０】
【発明が解決しようとする課題】
デジタルカメラなどで撮影したJpegファイル画像をプリントする場合に、銀塩写真のプリントのように、人物など注目画像が、より良くプリント出来るように必要に応じて補正を行えるように、上記Jpegファイル画像の中に注目画像を見つけ出す方法を決める必要がある。
【００１１】
また、デジタルカメラからプリンタへ直接プリントを行うダイレクトプリントなどデータ処理能力の低い機器でも使用出来るように、検出処理は出来うるだけ軽く済む方法が求められていた。
【００１２】
また、先願に対しては、ＪＰＥＧによる圧縮画像の圧縮比率に関わる量子化テーブルの値が、撮影時やアプリケーションによる編集後の再保存により一様ではなく、高圧縮の量子化テーブルを使用すると、画像中の空間周波数が極端に変化してしまい、注目画像における周波数特徴量も影響を受け、検出精度が落ちてしまう可能性があった。
【００１３】
本発明は上述の問題点にかんがみ、画像ファイルの中の注目画像を検出する際に量子化テーブルの特性を利用した判定を行うようにして、処理負荷の少ない方法で注目画像を検出できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像認識方法は、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識方法であって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出工程と、上記抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定工程とを有することを特徴とする。
【００１５】
本発明の画像認識装置は、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識装置であって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出手段と、上記抽出手段によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定手段とを有することを特徴とする。
【００１６】
本発明のコンピュータプログラムは、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する工程をコンピュータに実行させるコンピュータプログラムであって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出工程と、上記抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定工程とをコンピュータに実行させることを特徴とする。
【００１８】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の画像認識方法、画像認識装置及びコンピュータプログラムの実施の形態を説明する。最初に、一般的なデジタルカメラのデータ圧縮記録形式であるＪｐｅｇファイル形式の画像データを印刷する際に、非圧縮データへ復元する前に、ブロック（８＊８画素）ごとに輝度、色度ベースのＤＣＴ（離散コサイン変換）されたデータも取得し、注目画像検索のために利用する。
【００１９】
この時、画像圧縮に利用している量子化テーブルの特性が適応範囲に入っているものは、画像データブロックごとの周波数（交流）成分情報等を取得することにより、入力画像ごとに用意された部分領域の特徴量との比較を通じて利用可能となり、高度な計算をする必要をなくすことが可能となる。また、出力サイズとの関係で効果に対する処理効率を高めることが可能となる。
【００２０】
「第１の実施の形態」
最初に、現在、最も一般的な画像圧縮ファイルの“Jpegファイル”の情報省略と符号化・復号化について説明する。
【００２１】
まず、符号化であるが、通常、デジタルカメラやデジタルビデオなどでは、静止画をJpeg ファイルにて保存することが一般的になっている。この場合、入力機器の受光素子であるＣＣＤなどの入った信号をＡ／Ｄ変換した後、フレームメモリーに取り込み、ＲＧＢもしくはＣＭＹフィルタの情報を輝度と色度情報とに変換する。その後、８＊８（６４個）正方画素ブロックに分割する。
【００２２】
図３の▲１▼は、輝度データのビットマップを８＊８ブロックに分割したうちの１ブロックのデータ例を示している。また、図３の▲２▼においては、０〜２５５の画素値をレベルシフトして−１２８〜１２７の信号に変換する例を示している。さらに、図３の▲３▼においては、ＤＣＴ（離散コサイン変換）によりＤＣＴ係数を求める例を示している。
【００２３】
また、図３の▲４▼は、視覚特性を考慮した高周波成分の省略を大きくした量子化テーブルであり、このテーブルを用いて、上記図３の▲３▼の結果であるＤＣＴ係数に対して量子化する例を示している。
【００２４】
図３の▲５▼は、量子化を行った結果である。この値をエントロピー符号化してハフマン符号で表すことにより符号化信号である圧縮データを生成する。
【００２５】
次に、復号化においては、上述した符号化の逆の工程を行う。つまり、符号化信号を復号して、量子化ＤＣＴ係数の値を復号する。次に、逆量子化を行うために量子化テーブルを乗ずることでＤＣＴ係数を得る。その後、逆ＤＣＴを行うことでレベルシフトした画像が復元され、更に逆レベルシフトの値１２８を加算することで１ブロックの画像が復号される。
【００２６】
上記の説明では、輝度情報と色度情報とに分割したデータを合成してＲＧＢ画像に変換することを省略したが、符号化における流れとしては、図２に示すように、カラー画像を輝度成分（Y）と２つの色度成分（Cb、Cr）とに変換し、その各々を符号化して合成することで、圧縮画像データを生成している。
【００２７】
以上のような、圧縮された画像データファイルであるＪｐｅｇ画像をプリントする方法としては、入力機器からの圧縮画像データをＵＳＢや記憶メディアによって、パーソナルコンピュータ（以下、ＰＣとする）に取り込んで画像を展開し、必要に応じて画像補正を加えた後プリンタへデータを送る場合や、入力機器からの画像データを直接プリンタへ入力し、プリンタの中で、画像を解凍し、必要に応じて画像補正を加えた後で印刷を行うなど、幾種類かの選択肢がある。
【００２８】
いずれにしても、良好な画像をプリントするためには、撮影画像データが良質な撮影画像であるか、あるいは補正が必要な画像であるのかを判断して、忠実に印刷すべき良質な画像と、補正を行うことにより良質な画像に近付けた後に印刷を行うもとをより分ける必要がある。
【００２９】
良好な画像とは、下記のようなことが考えられる。
１）ホワイトバランスが良好である。
２）コントラストが適切である。
３）必要な部分の階調が割り当てられている。つまり、露出設定が良好である。
４）彩度が適正である。
５）銀塩写真のような仕上がりである。
６）人物など注目される画像が中心に補正されている。
【００３０】
現在市販のＰＣプリンタやＰＣを経由しないダイレクトプリンタなどにおいても上記１）〜５）の項目においては、程度の差も有るが行われている。また、上記６）の注目画像に対する補正が行われていないのは、その検出に多大な処理が必要であることと、その方法が確立されていないことによる。
【００３１】
特に、処理能力のひ弱なダイレクトプリンタなどにおいては実施が難しいとされているが、本発明はこれを解決するものである。その手段としては、Jpeg画像ファイルに注目画像の存在の検出と、その検出した画像に対する補正の必要等の確認を経て、全体画像補正へ受け渡す方法となる。
【００３２】
図１は、Jpeg ファイルを解凍する過程とその際に取得する情報について表したブロック図である。
Jpeg ファイルをRGBのビットマップデータへ変換する過程においては、まず、符号テーブル２を用いてエントロピー復号化手段１にてエントロピー復号を行う。次に、逆量子化手段３において、逆量子化に使用する量子化テーブル４を、逆量子化を行う他にデータとして記憶する。
【００３３】
この逆量子化されたデータは、ブロック単位のデータとして周波数変換されたものであり、このデータを、画像周波数特性を得るためのデータとして取得する。その後、逆ＤＣＴ手段５において、逆ＤＣＴ処理と逆レベルシフトとを行いＹｃｃ−ＲＧＢ変換することで、通常のＲＧＢビットマップデータに展開する。
【００３４】
次に、この画像において、最も重要と思われる注目画像検出である人物検出のフローチャートを図６に示す。
最初のステップＳ６０１において、８＊８画素のブロック単位のＤＣＴデータと量子化テーブルとを取得すると同時に、画像ファイルはＲＧＢビットマップデータに展開する。
次に、ステップＳ６０２に進んで、ＲＧＢビットマップデータにおいて、８＊８画素のブロック単位に本実施の形態における注目画像である人の肌色の色度に対応するか検索を行う。
【００３５】
この場合、入力画像サイズにより８＊８画素ブロックの画像が全画像に対して占める割合が違うので、入力画像サイズに比例した端部の設定を行う。例えばＶＧＡ(640*480)では8ブロック分で、UXGA(1600*1200)画像においては２０ブロック分とする。
【００３６】
色度の検索方法としては、複数の方法がある。知られているものとしては、
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。
２）図５の概念図に示すように、肌色を確率楕円にて表すことができる。求める式としては下記の式（１）〜式（３）になる。
【００３７】
【数１】
本実施の形態においては、処理の簡便さを考慮に入れた下記式（４）である色度分布範囲を肌色の色度範囲とした。この範囲を表したのが図２０である。
【００３９】
【数２】
本実施の形態においては、画像における周波数成分の特徴を検出する単位として８＊８画素単位のブロックで行っている関係で、構造的論理的な簡単さより色度判定においても８＊８画素単位にて実行する。
【００４１】
図７は、本実施の形態で用いている色度検出ポイントを図示したものである。これによると「８＊８画素」単位のブロックの四隅の色度の全てが色度範囲に入っているか否かを確認し、全てが範囲に入っている時は、そのブロックを適合色度と判定している。
【００４２】
図７においては、上段の左から２番目と下段の左から１，２，３ブロックが該当する。上段の一番左のブロックは４ポイントのうち左上の式度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。
【００４３】
図８は、「８＊８画素」単位のブロック全体の平均色度による判定である。このブロック内の平均色度の求め方としては、８＊８ブロック全ての画素値の平均値を取る方法の他に、解凍中の逆ＤＣＴを行う前の色度データ（Ｃb，Ｃr）の中のＤＣ成分から求めることも可能である。この方式の利点としては、ブロック全体の色調にて判定できるので、検出点の少ないものに比べて精度が高い期待ができる。ここで、自然画における色度のみの検出についての内容を見ることにする。
【００４４】
図９は、図７と同じ考えの中ではあるが、全体画像における検出間隔を等分化するためのものである。
【００４５】
図１０は、一般的なポートレート写真であり、図１４は人物の肌色色度と同様な色度範囲を有する枯木の林の写真である。図１０と図１４に対して、それぞれの画素に色度の適合だけで検出を行った結果を図１１と図１５に示す。
【００４６】
図１１のポートレートでの検出結果としては人物の肌色部分をよく検出しているが、その他に柵や背景の中で、ごみのような細かい部分においても適合色度を満たすものが検出されていることがわかる。このため、色度のみでは注目画像を特定できないことがわかる。
【００４７】
図１４においては、人物の肌色を検出する目的にもかかわらず同じ色度を持つ枯れ木の林が全面検出されている。このように、画素レベルでの色度判定を行った場合、注目画像を特定することは不可能である。
【００４８】
検出をブロックレベルにすることにより、特定のまとまりを持った状態が対象になるので、外来ノイズの影響は受けずらくなる。しかしながら、８＊８画素のブロックが適正なまとまりの大きさとは言えず、色度によるブロック検出においても縦方向及び横方向に隣接したブロックの連続検出という、制約を付けた検出を行うことで更に精度を上げることになる。
【００４９】
ここにおいて、人の肌色であってもプリントにおいて顔を認識できるデータ量を満たさないものにおいても適応外としてはじいてもよいと言う概念でノイズと判定する連続範囲を設定する。
【００５０】
この部分を表したのが、図６のステップＳ６０３以降の処理である。すなわち、ステップＳ６０３においては、画像に対して長手方向にブロックごとに色度検出を行い、連続検出ブロック数の多い順に候補を策定する。
【００５１】
次に、ステップＳ６０４において、その連続量が、注目画像としての適応する連続量に入っているか否かを比較する。この比較の結果、該当する連続ブロックがある場合はステップＳ６０５に進み、短い方向のブロック連続検出設定を満たすデータが画像に存在するか否かを検索を行う。
【００５２】
次に、ステップＳ６０６において、検出データが有るか否かを判断し、検出データが有る場合にはステップＳ６０８に進んで、この過程で残ったものの中から長手方向の連続ブロック量が大きいデータから順に候補番号を付ける。
【００５３】
また、ステップＳ６０６の判断の結果、検出データが無い場合にはステップＳ６０７に進み、「目的領域無し」をセットして処理を終了する。
【００５４】
ここで、話は少し戻るが、連続ブロックにて色度判定を施した場合の効果については、図１２と図１６で示す。
図１２においては、図１０のポートレート画像に対して検出を行った結果である。図１２において、検出候補の優先順位が高い方から（検出ブロック長が長い方から）カラーコード（１＝茶、２＝赤、３＝橙、４＝黄、５＝緑、６＝青、７＝紫、８＝灰）順に配置され、それ以外で検出されているのは色度のみ適性範囲に入っているものである。連続ブロック検出により画素レベルの色度検出と比べるとかなりの背景などの非該当候補を削除できていることが判る。
【００５５】
図１６においては、図１４の枯木の林に対して検出を行った結果で、連続ブロック検出においても注目画像以外を検出してしまうことがわかる。
【００５６】
次に、ＶＧＡ（video graphics array）サイズ（６４０＊４８０画素）の複数の画像サンプルを用いて人物肌と枯れ木の林の部分において、検出された適合色度連続ブロックにおける周波数特性を算出した。
【００５７】
図１８は、画像内に撮影されている人物肌の連続ブロック検出されたブロックのＤＣＴデータを周波数の低い順に並べたものを、周波数の低い方から１０個単位で加算し、連続ブロック数で除したもので、連続検出されたブロックの１個あたりの平均周波数成分をまとめたものである。
【００５８】
したがって、図面において横軸は、ＡＣ成分６３個の周波数成分をまとめたもので、１０個単位のまとまりが６グループと最も周波数の高いデータは３個分のデータとなる。縦軸は、各周波数成分の要素を加算した値である。
【００５９】
これにより、値が大きいほどそのブロックにおいて、該当周波数成分が高いことがわかる。また、検出した連続ブロック数ごとに色分けしたデータ線で表されている。例えば“Ｂ２"は連続ブロックが２個検出されているデータの平均した値を表し、“Ｂ１５"は連続ブロックが１５個検出されているデータの平均した値を表している。以下同じで、“Ｂ２〜Ｂ１５”までの複数画像からの平均的な人物肌色部分の連続検出値ごとの空間周波数特性を表している。
【００６０】
検出結果を見ると、
１）低い周波数成分の値が大きく低い周波数成分の下から３グループ以降は、連続ブロック数に係わり無く５０以下となっている。
２）連続ブロックの連続値が大きいほど周波数特性が低くなっている。
【００６１】
これらの結果から言えることは、人物の肌色部分の周波数特性は比較的低い周波数で構成されていることと、検出された連続ブロックの値が大きいことは、被写体の撮影された大きさが大きいことを示していて、この連続ブロックとしての平均値を出すことによって周波数成分が下がっていることがわかる。
【００６２】
連続ブロックの連続値により、同じ注目画像の色度を持っているものでも、その連続ブロックを１つの代表値にすること（例えば、Ｂ６のブロックの時は検出した６個のブロックの値を、各々周波数の低い順に１０個単位のグループとして加算したものをグループごとに加算した後、その連続値である６で除して平均を出している。）により、空間周波数特性の値が変わるので、連続検出値により適当な該当周波数特性が違うことが判る。
【００６３】
図１９は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真を複数用意して、検出を行った結果を図１８と同じように表したものである。
【００６４】
検出結果を見ると、
１）人物の肌の空間周波数特性と比べると高い周波数成分にデータ多くあることが確認できる。
２）一番低い周波数成分のグループは人物の肌の結果と大きくは違わない。
【００６５】
これらのことから、連続ブロックにおける周波数成分を検出することで、同じ色度を持った検出物体を周波数特性により区別することが可能であることがわかる。
【００６６】
図４は、本実施の形態において使用したもので、注目画像である人物肌の空間周波数特性を表したものである。上の段がＶＧＡ（６４０＊４８０）画像における周波数特性の適正範囲である。
【００６７】
連続ブロック値を２〜８個のグループ（〜L8）と９〜２０個のグループ（L9~２0）と２１個以上のグループ（L２1~）の３グループにまとめて、グループごとに周波数の適正範囲を設定したものである。周波数の適正範囲も先に示した１０個単位の７グループによる周波数特性を用いた。これは、処理の簡略化と検出精度のバランスで行ったもので、これに縛られる必要は無い。
【００６８】
次に、画像サイズがデジタルカメラで普及している２００万画素相当のUXGA(1600＊1200)画像について同じ撮影条件でＶＧＡ画像と比較してみる。
図２５は、図１８で使用したデータと同じシーンを対象にUXGAサイズにて撮影したものを検出した結果を、図１８と同じように周波数特性量と各レンジにおけるデータ量の平均を用いて表したものである。
【００６９】
VGA画像との検出特性の差を見ると、
１）連続検出ブロックの検出範囲が大きくなっている。具体的にはVGA画像検出での連続値は２から１５ブロックの連続検出である。それに対して、UXGA画像検出では検出値が４から４０の連続ブロックを検出している。
２）UXGAの方がブロック内の周波数特性が低い。例えば、１〜１０のブロック平均を見ると、VGA画像では３００〜１００のデータ量に分布しているのに対し、UXGA画像では２００〜３０の範囲にデータが分布している。一枚の画像に収まる中で、注目画像になりうるものは、全画像に対する大きさとしては、特定の比率の範囲に入っているのが一般的な考え方である。
【００７０】
例えば、画像全体の中で注目画像が長手方向で１００分の１しか占めない場合はどうであろうか、一般のプリントを考えた場合、その注目画像に対して最適な補正を掛けても、出力後の補正を行われた注目画像は、ほとんど紙面を占めておらず、特定の注目画像を補正するよりは画像全体を補正する方がその画像においては効果的と考えられ、注目の定義から外れると考えられる。
【００７１】
本実施の形態においても、各画像サイズに適したそれぞれの注目画像の適正範囲を持っている、この範囲以下でも以上でも補正対象とする注目画像の検出候補から外れる。
【００７２】
したがって、この例においては、UXGA画像における長手方向の１００分の１は１６００割る１００なので、１６pixelで２ブロック(8*8)分になり、色度と周波数成分が合致してもレングスの意味合いから候補の対象から外している。ちなみに、UXGA画像においては、検出連続範囲としては４〜６２ブロックと設定している。
【００７３】
VGA画像においては、同じ考えで１００分の１は６．４pixel となり、１ブロック分にも満たない。VGA画像においては、検出連続範囲としては２〜２５ブロックと設定している。この違いは、画像サイズによる１ブロック（8＊8）分の全画像に対する占有比率の差によるものが発生している。
【００７４】
画像全体中の一定の比率範囲に注目画像が入っていると考えると、画像サイズにより８＊８画素のブロックの空間周波数における意味合いは変わる。このため、同じ撮影画像でも画像サイズにより検出ロック数も違えば周波数特性も違ってくる。
【００７５】
本実施の形態では画像ごとに検出連続範囲を上記のように設定しているが、数式に置き換えることも可能である。 例えば、下記式（５）の様に最低連続数を設定することができる。
【００７６】
【数３】
次に、図２６を示す。図２６は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真であり、図１９においてはVGA画像としてのデータをしましたが、UXGAの画像としてデータをまとめたものである。
【００７８】
図１９との比較においては、先述の図１８と図２５の比較と同じ傾向がある。ＡＣ成分の２０以上のグループではかなり高周波成分が低減していることがわかる。しかしながら、人物肌とのデータとは分布が極端に違うので、周波数帯域ごとに適応範囲を設定することで、分離することが可能である。
【００７９】
このために設定したものが図２７のUXGA画像用判定テーブルである。構成は図４のVGA画像用判定テーブルと同じであり、画像サイズの違いによる平均ブロックの空間周波数特性の違いのみである。
【００８０】
次に、量子化テーブルによる画像への特性を説明する。
図２８〜図３０は、代表的画像アプリケーションがＪｐｅｇファイルを作成する時の画像圧縮比率を決定する為の１３種類の量子化テーブルである。図２８〜図３０において、テーブル“００”は最も画像圧縮率を高めたものであり、テーブル“１２”は保存画質を高め、画像圧縮率を低めたものである。
【００８１】
テーブルについて説明すると、図３の▲３▼〜▲４▼で説明した８＊８画像のＤＣＴ後のデータをさらに圧縮するために使用するもので、画像における６４個の各空間周波数に対応した値に対して、同じ位置の位の値で量子化を行う。
【００８２】
テーブル“００”の場合で、図３の▲３▼を量子化する時は、例えば８＊８ブロックの左上の“２２４”の値をテーブル“００”の同じ位置の左上の値“３２”で量子化し“７”となす。また、最も周波数成分の高い８＊８ブロックの右下では“−１”を“１２”で量子化し“０”となる。
【００８３】
図３１に、図２８，２９，３０のテーブル“００”〜“１２”の特性及び市販のデジタルスチルカメラの記憶部で使用している量子化テーブルを示す。
横軸は、量子化テーブルＡＣ分６４個を１０個単位でまとめたものであり、縦軸は、その１０個単位の値の平均値である。したがって、どの空間周波数成分を多く量子化しているかを確認することができる。
【００８４】
テーブル“００”〜“０４”においては、低周波成分の量子化比率が大きくなっている。市販のデジタルスチルカメラでは、低周波成分での量子化量は少なく、高周波成分域においても“１５”未満である。これに対応する量子化比率は、アプリケーションにおけるテーブル“１０”以上であり、画像の量子化としては低圧縮率の分類になる。
【００８５】
ポートレートである図１０と、人物肌色度に一致する枯れ林である図１４の画像に対して、上記テーブルを１個飛びに用いて量子化を行った後の画像に対して、それぞれ注目画像検出を行った結果を、図３２及び図３３に示す。
【００８６】
図３２の場合、テーブル“００”を使用した時は低周波成分の量子化の大きさにより判定テーブル（図４）による人物特性から外れてしまっている。テーブル“０２”では、人物を検出したが、検出ポイントは低い。テーブル“０６”以上で安定した検出ができている。
【００８７】
図３３の場合、テーブル“００”を使用した時は、本来人物肌判定テーブル（図４）より高周波域で、外れてしまう検出値が量子化による誤差で、“検出判定”となり、誤判定になってしまっている。こちらの場合でも、テーブル“０８”以上で安定した検出ができている。
【００８８】
したがって、量子化テーブルの値により、判定の精度が変わるので、このための量子化テーブル判定を行う。本実施の形態においては、判定を簡単化するために量子化テーブルの各項目を加算し、その合計が“６３０”以下の場合のみ判定への使用を可能とする、対応画像と判断することとした。
【００８９】
量子化テーブルの判定方法は、この他に、低周波成分での値などに注目する方法、低域３０までの総和を“１５０”とする方法など、検出する注目画像の空間周波数特性により幾つも考えることができるが、量子化テーブルの特性を使用するようにしてもよい。
【００９０】
図６の説明に戻る。上述したように、色度により検出された長手方向の連続量が大きいデータから順に注目画像の候補番号１〜ｎ（本実施の形態においてはｎ＝８）を付ける（ステップＳ６０８）。ｎ以降の検出したものについては候補番号を付けられない。
【００９１】
次に、取得した量子化テーブルから図３４のフローチャートに示した処理を行い、ＡＣ成分特性判定テーブルを設定する。
処理としては、まず量子化テーブル内のすべての値を加算する。この値が、量子化の程度をあらわすことになる。この値が、６３０以上である場合は、注目画像の空間周波数特性が変わってしまっていると考えられるので、注目画像検出は中断する。６３０未満の場合は、注目画像の空間周波数特性に影響は無いと判断され、入力画像サイズによるＡＣ成分特性判定用テーブルの選択を行う。
【００９２】
次に、ステップＳ６０９に進み、上記候補１〜ｎに対して、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。
【００９３】
この候補１〜ｎに対して、画像サイズがVGA(640*480)である時は、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。最初の連続検出ブロックから周波数特性の特徴量について、適合範囲内であるか比較を行う。この時、上述したように入力画像サイズが違う画像、例えばUXGA（1600＊1200）画像においては適合判定に図２７のUXGAテーブルを使用して比較判定を行う。
【００９４】
本実施の形態においては、画像サイズごと、もしくは、画像サイズ範囲（例えばVGA~XGAとSXGA~QXGAまでなど特定の画像範囲において共通のテーブル）ごとに設定した適応周波数特性判別テーブルにて周波数特性の比較判定を行ったが、数式を用いた判定基準を代わりに用意してもよい。
【００９５】
例えば、下記数式の作成方法としては、既に適正化テーブルがあるVGAとUXGAのテーブルを元にこの２点間の画像のサイズと周波数成分の値による変化量を対応付け、１次式にて近似して使用することができる。
【００９６】
この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。また、適合する候補が存在する場合においては以下に説明を行う。
図２２に、そのフローチャートを示す。
最初のステップＳ２２０１において、候補の数を確認する（１〜ｍ）。
次に、ステップＳ２２０２に進み、候補グループを形成する。この場合、候補に隣接する色度適合ブロックを候補グループとする。
【００９７】
次に、ステップＳ２２０３に進み、候補グループが複数であるか否かをを判断する。この判断の結果、候補グループの中に複数の候補が含まれた場合は、ステップＳ２２０４に進み、候補番号の若い方の番号を用いたグループとする。
【００９８】
そして、検出された各グループに対して、どちらのグループが補正対象となる注目画像としての重みが大きいかを判断するために、グループ内の確からしさをポイント換算で、比較を行い、よりポイントが高いグループが最終注目画像と設定される。
【００９９】
ポイントの方法としては、候補が“m”個存在する場合、候補１のポイントは“ｍ”。候補２のポイントは“ｍ−１”以下同様に候補ｍのポイントは“１”となる。
【０１００】
このようにして、候補グループ間の優位性を判断した結果の実例を図２３に示す。検出した候補グループは２グループあり、そのうち右のグループのポイントが左の候補グループのポイントを上回ったので、最終候補となっている。
【０１０１】
また、ポイント数の絶対値は、対象となる候補グループの注目画像としての信頼度を表しているので、このポイントにより注目画像に対する補正強度を決定する。補正強度決定方法としては、ポイントによる閾値を設け、閾値の上下関係で強度の指定を行う。
【０１０２】
但し、このようなポイントによる注目画像の検出ではなく、より軽い処理として、一番長い検出値の候補が入るグループもしくは、検出値そのものを注目画像としてもよい。この場合、本実施の形態より検出確率に多少の差は発生するが、処理能力の低い機器ではこの方式のほうが適合する場合もある。
【０１０３】
先の、図１０と図１４に対する結果を図１３と図１７に示す。
図１３においては、注目画像である人物の顔の肌を検出している。また、図１７においては、各候補が周波数特性に適合せず候補部分が黒塗りの状態で表している。これは、注目画像が検出されなかった状態を表し、注目画像に重みを置いた画像補正の対象にならないことを示し意している。
【０１０４】
こうして注目画像を検出することができる。通常の画像補正は、画像全体のバランスに亘って補正が行われるので、逆光などで本来注目したい画像の画質を落としてしまう場合が存在しているが、本実施の形態による注目画像検出により、補正項目として輝度の最適化のための露出、及び好ましい肌色のための色バランスや彩度補正を注目画像のデータを基に補正を行うことで、より高品質な画像を得ることができる。
【０１０５】
図２４に、一般画像補正を行った結果と、本実施の形態の注目画像検出を利用して画像補正を行った結果の一例を示す。図２４に示したように、本実施の形態の注目画像検出を利用して画像補正を行った場合は、人物などの注目画像をより良くプリントすることができる。
【０１０６】
本実施の形態においては、プリントのための最適画像処理用に注目画像を検出する方法を示しているが、表示用などにも使用できることは言うまでも無い。
【０１０７】
また、本実施の形態においては、検出画像の周波数成分特性を見るために周波数情報を１０個単位で加算して周波数成分の６３個を７グループとして、画像の特性を判断したが、グループ化という発想をなくし、６３個全ての周波数をそのまま利用してもよいことは言うまでも無い。
【０１０８】
更に、画像の長手方向からの連続量の検出後短い方向の検出を行ったが、この順序も逆になっても可能であり、この他、検出ブロックを一列のグループとして検出する方法以外にも色度で検出したグループにおける全ての方向に隣接したブロックグループという、とらえ方で空間周波数特性を確認する方法など、色度と周波数特性を組み合わせた検出方法はいくらでもあり、これら一連の検出方法は本発明に含まれることは言うまでも無い。
【０１０９】
本実施の形態においては、図４や図２７のように、連続検出値を３グループに分け周波数特性の適正範囲との比較を行い周波数特性の合否を判定したが、連続検出を３グループ化したのは、実施形態を簡単化するためで、連続値ごとに適正範囲を設定してもよいし、連続値には相関関係が有るので、テーブル方式ではなく理論式による方法を用いてもよい。また、周波数特性も７グループ値を使用したが、６３個の周波数のすべてにて行ってもよいし、更には特定の周波数に注目して判定してもよい。
【０１１０】
本実施の形態においては、検出の目的になっている注目画像は人物の肌の領域に設定して説明しているが、周波数成分、もしくは周波数成分と色度により検出可能なものは、人物の肌色に限らず、空、海、木々の緑なども存在する。
【０１１１】
本実施の形態においては、８＊８ブロック単位データの周波数成分を周波数の低い順から１０個単位でまとめた値を用いて、その１０個の和によるグループ（最も高い周波数グループは３個の和）の特性から周波数特性を代表させているが、Jpeg ファイルの場合、ＤＣ成分１個に対し、ＡＣ成分６３個の構成で、周波数特性を表しているので、１０個の集合体として特性を見なくてもよい。
【０１１２】
また、６３個の個々の特性より判断してもよいし、もっとグループ化してもよい。また、特定の周波数成分のみの利用により特性を導き出してもよい。このように、周波数特性を利用した特性を導くのにＡＣ成分の利用方法はいくらでもある。
【０１１３】
更に、本実施の形態では８＊８ブロックの連結と言う概念で縦方向と横方向について注目画像を検出するために色度該当ブロックの連続性において、候補を抽出しているが、この時のブロック集合体の判定方法も、この方法に限られてものではないことは言うまでも無い。
【０１１４】
本実施の形態では連続検出した色度ブロックに対して検出した連続値により、端のブロックを削除した値を特性利用しているが、周波数成分による適合から色度ブロックの境界を設定したり（図２１）、予め特定以上の周波数特性のあるブロックを、色度検索を行う前に除外してから行うようにしたりなど、ブロックの集合体を決定するための色度と周波数成分による分離の仕方は、複数の方法と組み合わせがあるが、本願特許の範囲に包含される。
【０１１５】
上記図２１について説明する。図２１の左側は元画像であり、このJpeg ファイル画像の圧縮単位である８＊８画素ブロックの周波成分における高周波成分の総データ値が閾値を超えるか超えないかで判定したのが右側の画像になる。明るい部分が高周波成分を持つ領域で、暗い部分が高周波成分の少ない領域である。この領域を境に設けた色度判定による注目画像検出も可能である。
【０１１６】
また、本実施の形態は、画像圧縮ファイルとして、“Jpegファイル”を利用した方法を開示したが、“Jpeg2000 ファイル“など、周波数成分への変換を利用した他のファイルに対しても同様な考え方で、注目画像の検出を簡単な処理で実現できることは、言うまでもない。
【０１１７】
上記実施の形態においては、周波数成分と色度を中心に配置情報などを入れて注目画像検出を行ったが、このねらいは、注目画像を中心とした画像補正を行う為である。したがって、検出された注目画像領域の輝度を含むデータが補正を行うことが有効でない状態として検出された時、例えば暗過ぎる値でつぶれている時などは、補正として無理に諧調性を持たそうとすると、ノイズだらけになってしまう場合がある。
【０１１８】
この不都合を回避するために、図６の検出結果に対して、検出された部分領域の各ブロック直流成分データを利用して輝度平均を出し、補正に適した輝度範囲に入っているかを比較することで、更に精度の良い注目画像における画像補正を行うことができる。
【０１１９】
（本発明の他の実施の形態）
なお、以上に説明した本実施形態の画像認識装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
【０１２０】
したがって、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【０１２１】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【０１２２】
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていてもよい。例えば、画面入力処理は、遠隔端末コンピュータで行われ、各種判断、ログ記録等は他のセンターコンピュータ等で行われるようにしてもよい。
【０１２３】
【発明の効果】
上述したように、本発明によれば、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出し、上記抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定するようにしたので、高度な計算をすることなく画像データブロックごとの交流周波数成分情報を含む情報を取得して、画像ファイルの中の注目画像を検索することができる。
【０１２４】
また、本発明の他の特徴によれば、デジタルカメラから直接プリントする場合などのように、パーソナルコンピュータと比べて処理能力が低い組み込み式の機器においても、製品として使用可能な範囲の処理で、印刷する圧縮画像ファイルに補正の対象となる注目画像の有無、及びその値の適正度を検出することができ、必要に応じて注目画像を重視した画像補正を施すようにすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わるJpeg画像解凍時に必要なデータを取得する流れを示す概念図である。
【図２】実施の形態の画像データをJpeg形式へ変換する処理過程の流れを示す概念図である。
【図３】実施の形態のJpegの画像圧縮単位である8*8ブロックを例にしたJpeg形式へ変換する処理過程を示す図である。
【図４】実施の形態のJpegファイル画像圧縮単位である8*8ブロックのＡＣ成分特性を利用した判別テーブルを示す図である。
【図５】実施の形態の他にある肌色のＲＧ色度分布例を示す図である。
【図６】実施の形態のJpeg画像解凍からの注目画像検出フローチャートである。
【図７】実施の形態のJpegファイル画像圧縮単位である8*8ブロックにおける、色度検出方法を示す図である。
【図８】実施の形態のJpegファイル画像圧縮単位である8*8ブロックでのＤＣ成分を利用した色度検出方法を示す図である。
【図９】実施の形態の色度検出において、３ビット間引きを利用して検出をした場合の8*8ブロックにおける検出状況を示す図である。
【図１０】実施の形態の検出用Jpeg画像サンプルの第１の例を示す図である。
【図１１】第１の画像サンプルを色度のみによる検出を行った結果のBMP ファイルの一例を示す図である。
【図１２】第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１３】実施の形態の注目画像検出により、第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMPファイルの一例を示す図である。
【図１４】実施の形態の検出用Jpeg画像サンプルの第２の例を示す図である。
【図１５】第２の画像サンプルを色度のみによる検出を行った結果のBMPファイルの一例を示す図である。
【図１６】第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１７】実施の形態の注目画像検出により、第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMP ファイルの一例を示す図である。
【図１８】実施の形態の人物肌検出において、人物肌検出データの連続色度検出値におけるＡＣ成分の周波数特性を示す図である。
【図１９】実施の形態の人物肌検出において、枯れ林の検出データの連続色度検出値におけるＡＣ成分の周波数特性の表を示す図である。
【図２０】実施の形態の肌色のRG色度分布を示す図である。
【図２１】周波数特性による境界作成のための検出方法の一例を示す図である。
【図２２】実施の形態の候補グループの判定手順を示すフローチャートである。
【図２３】実施の形態の候補グループ判定の検出結果画像の一例を示す図である。
【図２４】実施の形態の注目画像検出を利用した画像補正の比較結果の一例を示す図である。
【図２５】本発明の人物肌検出において、UXGA(1600*1200)画像における人物肌検出データの連続色度検出値におけるAC成分の周波数特性を示す特性図である。
【図２６】本発明の人物肌検出において、UXGA(1600*1200)画像における枯れ林の検出データの連続色度検出値におけるAC成分の周波数特性の表を示す図である。
【図２７】本発明のJpegファイル画像圧縮単位である8*8ブロックのAC成分特性を利用したUXGA(1600*1200)画像に対する判別テーブルの一例を示す図である。
【図２８】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図２９】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図３０】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図３１】量子化テーブルにおける圧縮比率と周波数特性との関係を示す図である。
【図３２】注目画像検出を行った結果の一例を示す図である。
【図３３】注目画像検出を行った結果の一例を示す図である。
【図３４】取得した量子化テーブルからＡＣ成分特性判定テーブルを設定する手順の一例を示すフローチャートである。
【符号の説明】
１ エントロピー復号化手段
２ 符号テーブル
３ 逆量子化手段
４ 量子化テーブル
５ 逆ＤＣＴ手段
Claims (14)
- 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識方法であって、
上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出工程と、
上記抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定工程とを有することを特徴とする画像認識方法。 - 上記抽出された部分領域の周波数成分の特徴量特性を上記量子化テーブルの特性により変更してから、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて、判定対象の部分領域が注目画像対象部分に入っているか否かを判定するようにしたことを特徴とする請求項１に記載の画像認識方法。
- 上記圧縮データはJpegファイルデータであることを特徴とする請求項１または２に記載の画像認識方法。
- 上記判定対象の部分領域が注目画像対象部分に入っているか否かの判定は、画像全体における抽出された部分領域の配置情報を加えて行われ、前記配置情報が画像の端部近傍を示す場合、前記画像の端部近傍に対しては判定を行わないことを特徴とする請求項１乃至３の何れか１項に記載の画像認識方法。
- 上記判定対象の部分領域が注目画像対象部分に入っているか否かの判定は、抽出された部分領域の隣接した連続性情報が縦と横方向に加えて行われ、前記連続性情報が、所定の連続量に入っている場合、注目画像候補領域とすることを特徴とする請求項１乃至３の何れか１項に記載の画像認識方法。
- 上記判定対象の部分領域が注目画像対象部分に入っているか否かの判定は、抽出された部分領域の直流成分を加えて行うことを特徴とする請求項１乃至５の何れか１項に画像認識方法。
- 上記注目画像の候補が所定の設定範囲の中で複数個検出された場合には、検出された部分領域の隣接した連続が一番多いものを注目画像に該当すると判定することを特徴とする請求項４乃至６の何れか１項に記載の画像認識方法。
- 上記検出した部分領域の隣接した連続が一番多いものを含む部分領域において、色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が適正範囲に入っているものを含めて注目画像とするようにしたことを特徴とする請求項７に記載の画像認識方法。
- 上記検出した部分領域内において、部分領域連続が２番目以降に長いものの含有率で上記検出した注目画像の検出の確からしさを求めるようにしたことを特徴とする請求項８に記載の画像認識方法。
- 上記検出した確からしさを用いて画像補正強度決定するようにしたことを特徴とする請求項９に記載の画像認識方法。
- 上記検出した注目画像領域内の輝度情報を作成し、上記輝度情報を元にして画像全体への露出補正を行うようにしたことを特徴とする請求項９または１０に記載の画像認識方法。
- 上記注目画像の検出長と出力プリントサイズとの関係により、注目画像サイズが出力プリントサイズ上一定の長さの許容に入らない場合は画像補正を行なわないことを特徴とする請求項１乃至１１の何れか１項に画像認識方法。
- 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する画像認識装置であって、
上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出手段と、
上記抽出手段によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定手段とを有することを特徴とする画像認識装置。 - 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用する工程をコンピュータに実行させるコンピュータプログラムであって、
上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータ及び量子化テーブルを抽出する抽出工程と、
上記抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、上記抽出工程で抽出された量子化テーブル内の各値の加算値が所定値以下の場合、前記検出されたブロックの交流周波数成分の各値が、注目画像の空間周波数特性適正範囲内に収まっているか否かを判断し、その判断結果に基づいて上記部分領域が注目画像対象部分に入っているか否かを判定する判定工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002193622A JP4078136B2 (ja) | 2002-07-02 | 2002-07-02 | 画像認識方法、画像認識装置及びコンピュータプログラム |
| US10/608,001 US7356190B2 (en) | 2002-07-02 | 2003-06-30 | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof |
| US11/970,359 US7542615B2 (en) | 2002-07-02 | 2008-01-07 | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002193622A JP4078136B2 (ja) | 2002-07-02 | 2002-07-02 | 画像認識方法、画像認識装置及びコンピュータプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004038482A JP2004038482A (ja) | 2004-02-05 |
| JP2004038482A5 JP2004038482A5 (ja) | 2006-08-10 |
| JP4078136B2 true JP4078136B2 (ja) | 2008-04-23 |
Family
ID=31702546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002193622A Expired - Fee Related JP4078136B2 (ja) | 2002-07-02 | 2002-07-02 | 画像認識方法、画像認識装置及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4078136B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4301193B2 (ja) | 2005-03-31 | 2009-07-22 | ソニー株式会社 | 画像比較装置及び方法、画像検索装置及び方法、並びにプログラム及び記録媒体 |
-
2002
- 2002-07-02 JP JP2002193622A patent/JP4078136B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004038482A (ja) | 2004-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7542615B2 (en) | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof | |
| Kee et al. | Digital image authentication from JPEG headers | |
| TWI426774B (zh) | 用於針對ｊｐｅｇ壓縮歷史紀錄分類為壓縮影像的方法、及用於針對影像是否已經過jpeg壓縮而分類影像的設備及影像分類方法 | |
| US6389162B2 (en) | Image processing apparatus and method and medium | |
| KR101369915B1 (ko) | 영상 식별자 추출 장치 | |
| US7903888B2 (en) | Image encoding apparatus and image decoding apparatus | |
| US8452112B2 (en) | Image encoding apparatus and method of controlling the same | |
| EP2645697B1 (en) | Image processing apparatus and method | |
| JP2019092027A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| WO2003010716A2 (en) | Image block classification based on entropy of pixel differences | |
| US7027646B2 (en) | Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure | |
| US7315652B2 (en) | Image processing apparatus | |
| US7106908B2 (en) | Method and apparatus for selecting a format in which to re-encode a quantized image | |
| US8275198B2 (en) | Image processing apparatus, image processing method and computer readable medium with compression processing for each color | |
| US20060165305A1 (en) | Image compression method and image compression device | |
| CN106717006B (zh) | 用于根据图像类型选择压缩算法的方法 | |
| JP3977291B2 (ja) | 画像再生方法及び画像処理装置 | |
| JP4078136B2 (ja) | 画像認識方法、画像認識装置及びコンピュータプログラム | |
| JP4006276B2 (ja) | 画像認識方法、画像認識装置及びコンピュータプログラム | |
| US7146055B2 (en) | Image processing decompression apparatus and method of using same different scaling algorithms simultaneously | |
| JP4078135B2 (ja) | 画像認識方法、画像認識装置及びコンピュータプログラム | |
| US8213713B2 (en) | Image processing apparatus and computer readable medium | |
| JPH08307666A (ja) | 文書・写真混在多階調画像のデータ処理装置 | |
| JP2024064449A (ja) | 画像処理方法、画像処理装置、及びプログラム | |
| JP2005062964A (ja) | 画像処理装置、画像検出処理方法、プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060623 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4078136 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |