JP4235592B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像認識方法および画像処理装置に関し、特に、デジタルカメラなどで撮影して得た画像データの内容を解析し、その結果に基づいて画像データを補正する処理に関するものである。

デジタルカメラや、小型カメラを装備した携帯用電子機器などの普及により、撮影されたデジタル画像データをＰＣプリンタやダイレクトプリンタで印刷することが一般的に行われるようになって来ている。また、この際に、撮影によって得た画像データに基づき簡単な手順でその画像データの内容に応じた適切な画質の画像を印刷するため、ユーザーがアプリケーションソフトウェアなどで画像補正処理を容易に施すことができるようになりつつある。このようなアプリケーションでは、先ず画像データの内容を解析し、その解析結果に基づいて画像データに対して適切な補正をすることが行われている。

画像解析の手法として、全画素あるいは一定間隔でサンプリングされた画素から累積ヒストグラムを作成することにより、画像全体の露出、コントラスト、色合い等の情報を取得し、それらに基づいて画像の見映えを補正することが知られている。また、ＪＰＥＧ画像ファイルなど圧縮画像を利用した画像解析手法として、特許文献１に記載のものが知られている。ここでは、復号されたＪＰＥＧ画像データの直流成分から参照画像を生成し、参照画像に基づいて復元画像の補正情報を生成し、復元画像データを補正することが行われている。

画像データ解析の別の形態として、特許文献２に開示されるような、特定対象物を検出するものが知られている。ここでは、ＪＰＥＧ画像から復号されたデータの直流成分および交流成分を利用してダイレクトプリント環境など処理能力の低い機器でも簡単に人物など注目画像を検出することにより、その注目画像を中心とした画像補正を行うことが記載されている。

しかし、以上のような画像データの解析結果を用いて一律に画像補正を行うと、例えば、撮影者がカメラのマニュアルモードなどで意図的に設定した画像まで補正してしまうおそれがある。あるいは、既にカメラに内蔵の処理装置で補正や特殊効果を加えたにもかかわらず、再度、補正を適用してしまい過度な出力等が得られるおそれもある。

このような問題に対処するため、近年では、撮影時の撮影条件などの付属情報を、画像データと共に記録できる画像ファイルフォーマットの利用が普及しつつある。印刷時にこの付属情報を参照することにより、撮影時の画像取得条件や撮影者の意図に沿ったより適切な補正処理を行うことが可能となっている。

すなわち、付属情報が、例えば撮影シーン情報である場合、画像データの内容が特定の撮影シーンであるときは、それに特化した補正を適用する。これにより、撮影対象に合った適切な印刷出力を得ることができる。例えば、付属情報が示す撮影シーンが風景である場合には、より色彩を鮮やかに出力することで見映えが良い印刷画像を得ることができる。また、人物を対象としたポートレート写真のような場合には、人物が最適な明るさや色合いになるように補正する。また、夜景の場合には、コントラストを強くし彩度を強調するといった補正をする。なお、付属情報を含んでいる画像ファイルフォーマットとしては、ＥｘｉｆやＰＩＭなどが知られている。

特開２０００−５９６３５号公報 特開２００４−３８４８０号公報

しかしながら、現在提供されている多様なデジタルカメラなどにおいて、付属情報が実際にはその記述内容が不足したものであったり、付属情報と実際の撮影状況が合っていなかったりする等、付属情報が適切に利用されていないことがある。そして、結果として、付属情報を用いた適切な画像補正を行うことができないという問題がある。

詳しくは、印刷のための画像処理アプリケーションの構成は、通常、画像ファイル入力部、画像ファイル解析部、画像ファイル補正部、および画像ファイル出力部に大きく分けられる。そして、画像ファイル解析部では、２種類の解析が行われる。ヘッダに記載された付属情報の解析と、画像データの解析である。この付属情報の解析では、付属情報が正しく記載されていることが前提となっている。

これに対し、例えば、印刷時に付属情報を参照しようとしたときに、撮影したカメラによっては参照したい付属情報自体が存在しない場合がある。これは、カメラメーカーに要求される付属情報の記載内容のレベルとして「必須」のものが限られている場合があるからである。あるいは付属情報の規格やバージョンが古いために付属情報が存在しないこともある。

また、付属情報が結果として誤っている場合もある。撮影モードのような人為的に設定されるタグについて、例えば、前日の夜に夜景モードで撮影するべくそのタグを設定し、次の日の昼間に設定ダイヤルを戻し忘れたまま撮影した場合、アプリケーションで判断する付属情報は前日に設定された夜景シーンのものであり、その判断に基づいて彩度を上げるなどの補正をしてしまうことがある。また、このような場合に対処するため、画像処理アプリケーションは、通常、付属情報が誤っているケースを考慮しそれによる補正が破綻しない程度の控えめな補正しか適用できないことが多く、このため、撮影対象に合った適切な補正がなされた画像を印刷することができないという問題がある。

さらに、ユーザーの中には、シャッターチャンスを逃すまいとして標準モードや自動モードですべてのシーンを撮影してしまう人もいる。この場合、付属情報として記載されている内容が「標準」や「自動」などの場合は、事実上付属情報が存在しないことと大差がない。

本発明は、以上説明した問題を解消するためになされたものであり、その目的とするところは、画像データの付属情報とその画像の解析結果である画像情報の両方から総合的に判断して画像データの適切な補正処理を行うことを可能とする画像処理方法および画像処理装置を提供することにある。

そのために本発明では、撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理方法であって、前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる、当該画像の撮影シーンまたは人物画像を示す情報とが一致しているか否かを判断する工程と、該判断工程において一致していると判断したとき、当該画像データに対して当該一致した付属情報に対応した画像補正を行なう工程と、を有することを特徴とする。
他の形態では、撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理方法であって、前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる当該画像の撮影シーンのシーン度と人物画像の検出結果と、の組み合わせに基づき、複数の画像補正レベルのうち特定のレベルを選択する第１の選択工程と、前記第１の選択工程において選択されたレベルに応じて、前記画像データに対して画像補正を行う工程と、を有することを特徴とする。

また、撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理装置であって、前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる、当該画像の撮影シーンまたは人物画像を示す情報とが一致しているか否かを判断する手段と、該判断手段において一致していると判断したとき、当該画像データに対して当該一致した付属情報に対応した画像補正を行なう手段と、を有することを特徴とする。
他の形態では、撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理装置であって、前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる当該画像の撮影シーンのシーン度と人物画像の検出結果と、の組み合わせに基づき、複数の画像補正レベルのうち特定のレベルを選択する第１の選択手段と、前記第１の選択手段によって選択されたレベルに応じて、前記画像データに対して画像補正を行う手段と、を有することを特徴とする。

以上の構成によれば、画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、画像データを解析して得られる、当該画像の撮影シーンまたは人物画像を示す情報とが一致しているか否かを判断し、一致していると判断したとき、上記画像データを補正するので、例えば、付属情報が撮影時の実際の状況と異なっている場合には、その違った付属情報に応じた補正をしないなど、付属情報と実際の撮影画像を解析して得られる情報に適応した補正をするようにすることができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。
印刷装置
図１は、本発明の一実施形態に係る印刷システムの構成を示すブロック図である。

図１において、印刷システム１００は、撮影によって得られるデジタル画像データを取得し、その取得した画像データとその付属情報をそれぞれ解析し、その解析結果に基づいてその画像データの補正処理を行う。そして、その補正データに基づいて印刷装置で印刷出力を行う。具体的には、パーソナルコンピュータとプリンタを有して構成されるものである。

デジタルカメラなどで撮影されたＪＰＥＧ方式等を利用した圧縮画像データは、ＦＤ、メモリカードなどの記録メディア１０１に記録されて本印刷システムに入力される。なお、この入力の形態は、このような記録メディアを用いたものに限られないことはもちろんであり、例えば、デジタルカメラと本システムのパーソナルコンピュータとを所定の通信ケーブルによって接続し、このケーブルを介して撮影して得られる圧縮画像データを入力するようにしてもよい。あるいは、プリンタ自体が図１に示す全体の構成を備え、デジタルカメラを通信ケーブルによって直接プリンタに接続し画像データを入力するような形態であってもよい。

印刷システム１００では、メディア１０１に記録される画像データを画像取得装置１０２によって読み出し、主記憶装置１０４または外部記憶装置（不図示）に保存する。その後、ユーザーによって、印刷処理が指示されると、読み出し可能な記憶媒体であるプログラム保持部１０３に保持されている画像処理プログラムが、主記憶装置１０４に一時的に読み込まれる。これにより、ＣＰＵ１０５は、そのプログラムに従い、主記憶装置１０３または外部記憶装置に保存されている圧縮画像データに対して、解析処理およびこれに基づく画像補正処理を施す。補正された画像データは、パラレル／シリアルインターフェース１０６から伝送路を通って印刷装置１０７にデータ転送されて印刷される。なお、印刷装置１０７は、例えば、インクジェット方式のプリンタとすることができるが、本発明の適用がこの形態に限定されないことは以下の説明からも明らかである。また、ＣＰＵ／記憶装置ブリッジ回路１１０やＩ／Ｏポートブリッジ回路１１１は、上記のデータ転送もしくは制御信号転送を媒介する。また、ユーザーは、ディスプレー表示装置１０９に表示される情報に従い、また、表示される情報を参照しながら、キーボード／マウス１０８を介して所要の入力を行う。

図２は、図１に示したプログラム保持部１０３に記録されて用いられる画像処理プログラム２００の構成を主に示すブロック図であり、図３以降で後述される処理を実行するためのプログラムを示している。このプログラムは、大別して、圧縮画像読み込み部２０１、画像解析系２０４、画像補正系２０６、画像出力部２０７を有して構成される。

図１に示したように画像取得装置１０２によって読み取られた圧縮画像データは、画像読み込み部２０１の処理によって主記憶装置１０４に記憶される。この画像読込み部２０１の処理は、ＥｘｉｆやＰＩＭのように撮影時の条件を画像付属情報として画像データのヘッダ部に記載する方式の画像ファイルフォーマットの場合、その画像付属情報を取得して主記憶装置１０４に記憶するヘッダ読込み部も備えている。主記憶装置１０４に記憶された圧縮画像データは、復号器２０２によって非圧縮画像に戻される。

復号器２０２によって非圧縮画像に戻された画像データは、前処理部２０８の処理が施された後、図４以降で詳細に説明されるように、画像解析系２０４の処理によって種々の解析ないしは検出が行われる。そして、画像解析系２０４のそれぞれの解析結果は、図１３にて後述されるように、解析統合部２０５の処理によって統合的に用いられる。画像補正系２０６は補正処理部１、２、３を有し、解析統合部２０５の統合的な解析結果に応じて、露出補正、色かぶり補正、階調補正、コントラスト補正、彩度補正などの各補正処理を行う。すなわち、統合的な解析結果に基づいて実行する補正処理部が選択され、それぞれ補正量が決定される。そして、補正された画像データは、後処理部２０９の処理を行った後、画像出力部２０７によって印刷装置１０７に出力され、印刷が行われる。

ここで、画像圧縮方式の中で、多くのデジタルカメラで採用されているＪＰＥＧ圧縮方式において、その符号化と復号化について説明する。

画像圧縮のための符号化では、先ず、直交変換の一つであるＤＣＴ（離散コサイン変換）を用い、撮影によって入力する入力画像信号を空間周波数領域の画像信号に変換する。本実施形態では、入力画像データは、輝度−色差信号のものである。最初に、画像データを８×８画素から構成されるブロック単位に分割する。このとき、色差信号は人間の視覚では劣化が検知しにくい特性を利用して縦横間引きされる。色差信号は、それぞれ輝度信号と色差信号の複数のブロックから成る代表値であるＭＣＵ（Ｍｉｎｉｍｕｍ Ｃｏｄｅｄ Ｕｎｉｔ）の構成時に間引く割合を指定する。

ＤＣＴによって、８×８＝６４画素の輝度信号および色差信号それぞれの２次元画像に対応して、２次元のＤＣＴ係数が同数の６４個算出される。ここで、１番目の係数は直流成分（ＤＣ成分）、残りの６３個を交流成分（ＡＣ成分）である。次に、得られたＤＣＴ係数に対して量子化を行う。量子化では、高い周波数の劣化は検知しにくいという人間の視覚特性を用いて、周波数成分が高い領域ほど量子化ステップサイズを粗くとることで情報の省略を行っている。最後に、エントロピー符号化によりハフマン符号で表すことにより、最終的なＪＰＥＧ圧縮画像のビットストリームが生成される。

次に、上述のように圧縮されたＪＰＥＧ圧縮画像を復号器２０２で復号化し非圧縮画像とする処理について説明する。図３は、復号化の処理手順を示す図である。複合化では、符号化と逆の工程を行う。まず、ＪＰＥＧ圧縮画像のヘッダ部分に付加された符号化テーブルを参照して、符号化された信号を復号する（ステップＳ３０１）。次に、同じようにヘッダ部分に付加された量子化テーブルを参照して、量子化されたＤＣＴ係数の逆量子化を行う（ステップＳ３０２）。最後に、ＤＣＴ係数を逆ＤＣＴ変換することにより（ステップＳ３０３）、画像の８×８画素から構成されるブロックが復元される。この処理を全ての符号化されたブロックに対して適用する。

以上のように復号器２０２によって、圧縮画像が逆量子化されたときのＤＣＴ係数を、メモリであるブロック情報保持部２０３に記憶しておく。これにより、後に、画像解析系２０４の画像データ解析部および画像特徴検出部はＤＣＴ係数を参照することが可能となる。

画像解析系２０４の画像データ解析部２０４１は、復号器２０２によって逆量子化されブロック情報保持部２０３に記憶されたＤＣＴ係数を用いた処理を行い、その画像データについてシーン解析を行う。すなわち、撮影画像が、風景、夜景、夕景、雪景色などのいずれであるか、あるいは、ポートレート、接写などであるかを、ＤＣＴ係数を用いて解析する。この画像データ解析部２０４１のシーン解析手法の一形態を、シーンが夜景であると判断する場合を例にとり以下に説明する。

シーン解析手法１
始めに、「夜景シーン」の定義をすると次のようになる。現行のデジタルカメラにおいて設定される「夜景モード」では、夕暮れや夜景を背景にした人物の撮影を想定している場合が多い。しかし、実際にシーン解析をする際には、夜景の定義を広げるよりも純粋な遠景としての夜景を定義して解析し、人物を含んだ場合など、定義から外れる画像については他の検出系との組み合わせによって解析を行う方が都合がよいことが多い。そこで、本実施形態では、純粋な遠景のみを夜景の定義とし、画像の平均輝度と画像全体に占める面積比率を用い、夜景シーンらしさの画像情報量である夜景シーン度［％］を算出する。また、もう一つの夜景の判断手法として空間周波数情報であるＤＣＴ係数のＡＣ（交流成分）特性を使用した解析を行う。そして、人物の検出は、後述するように、画像解析系２０４の画像特徴検出部２０４３の処理によって行う。

図４（ａ）〜（ｃ）は、画像データ解析部２０４１によるシーン解析の処理手順を示すフローチャートである。

図４（ａ）において、最初に、図２にて上述したように、復号器２０２によって圧縮画像を解凍する際に（ステップＳ４０１）、ステップＳ４０２で画像内のブロックごとにＤＣＴ係数を取得し、ブロック情報保持部２０３に記憶しておく。そして、本解析処理が開始されると、ステップ４０３で、各ブロックの平均輝度に相当するＤＣＴ係数のＤＣ（直流）成分を用いて、画像全体に対して輝度をベースにしたブロックごとの領域分割を行う。一般的に輝度による領域分割には様々な方法が知られている。単純に固定の閾値を用いる方法や、浮動閾値を用いる方法、あるいは画像内の最大輝度または平均輝度に対する比率を用いる方法などが挙げられるが、本実施形態では、画像内の最大輝度に対する輝度比率を用いる。

図４（ｂ）は、このステップＳ４０３の領域分割の詳細を示すフローチャートである。
最初に、最大輝度Ｋｍａｘを算出し（ステップＳ４１１）、次に、例えば、最大輝度Ｋｍａｘの５０％の値を閾値として領域の判断をする（ステップＳ４１２）。そして、閾値よりＤＣ成分の値が低いときはそのブロックは、低輝度領域に（ステップＳ４１３）、また、高いときは高輝度領域に決定する（ステップＳ４１４）。図６（ｂ）は、画像を低輝度領域と高輝度領域の２種類に分割した一例を示す図である。ここで、白い領域が高輝度領域である。なお、図６（ａ）は、上記分割された画像の原画像を示している。以上の処理を総てのブロックについて行う（ステップＳ４１５）。

図４（ａ）を再び参照すると、ステップＳ４０４で、分割された領域の面積比率を算出する。図５は、縦軸に低輝度領域の画像全体に対する占有面積比率、横軸にＤＣＴ係数のＤＣ成分をそれぞれとったときの特徴空間、すなわち、それぞれＤＣ成分に対応した平均輝度を有する特徴空間の分布を表した図である。この図は、特徴空間のうち、暗い部分の面積が画像全体に対して広いもの程、あるいは画像全体の平均輝度が低いもの程、夜景シーン度が高い画像であることを示している。すなわち、同図に示す座標空間の左上方の隅へ近づくほど夜景シーン度が高くなり、右下方の隅へ近づくほど夜景シーン度が低くなる。

図５は、実際に夜景らしさが異なるシーンそれぞれの画像サンプルを複数枚用意し、それらの画像のうちＤＣ成分を有した空間である特徴空間について上記のように面積占有率とＤＣ成分によって分布させたものである。例えば、夜景の画像群と昼間の画像群を入力した場合、特徴空間において夜景と昼間の画像では、分布する位置が異なってくる。この特徴空間に対して直線、あるいは曲線などを用いて画像データのクラス分けをすることでシーン解析を行なう。他に考えられるクラス分けの方法としては、２次元の確率密度関数モデルをデータ群に対して当てはめることで、円のように閉曲線の内部だけを抽出するような閾値設定も可能である。さらには、主成分分析を利用して主成分２軸による楕円の当てはめ、あるいは主成分軸からの距離によってシーン解析を実行することも考えられる。

また、シーンというものは連続的、段階的に変化すると考えられる。例えば、図５に示す特徴空間の分布において閾値付近の点で表される画像は、曇り空で撮影した画像や、室内の薄暗い条件下で撮影した画像などである。特に、画像補正を考える場合には、シーンの度合いを考慮した補正が適切である。

そこで、本実施形態では、次のステップＳ４０５において、一次式で表される閾値の直線から入力画像の点Ａまでの距離Ｄを、シーン度［％］として求める。

図４（ｃ）は、このステップＳ４０５の処理の詳細を示すフローチャートである。
最初に、分布する特徴空間を示す点Ａの座標を求め（ステップＳ４２１）、次に、点Ａと閾値線との距離Ｄを算出する（ステップＳ４２２）。そして、この距離Ｄが所定の距離Ｄｍａｘより小さいか否かを判断する（ステップＳ４２３）。距離Ｄｍａｘは、大量の画像データサンプルから図５のような特徴空間を作成した上で経験的に決定する値であって、曇り空、室内、夕焼け空など夜/昼どちらでもない画像が特徴空間に分布する範囲をグレーゾーンとすると、グレーゾーンを含まないように閾値から充分な距離を取った値である。例えば、図５のサンプルデータにおいてはＤｍａｘ＝２５〜３５でシーン度を算出している。距離Ｄが距離Ｄｍａｘより小さいときは、次の式によってシーン度を求める（ステップＳ４２４）。
シーン度［％］＝Ｄ／Ｄｍａｘ
すなわち、Ｄｍａｘと距離Ｄとの比としてシーン度を算出する。ステップＳ４２３で、距離ＤがＤｍａｘ以上と判断したときはシーン度１００％とする。

再び図４（ａ）を参照すると、シーン度を算出した後は、ＤＣＴ係数のＡＣ成分を用いて画像の周波数特性を利用した夜景判定をさらにステップＳ４０６〜Ｓ４０８で行う。

図７は、２４個の夜間画像それぞれの低輝度領域について、ＤＣＴ係数のＡＣ成分の量を表した図であり、ＡＣ成分である６３個のＤＣＴ係数を順次１０個ないし１３個ごとにグループ化し、それぞれのグループについてＡＣ成分を加算した量を示したものである。詳しくは、１つのブロックでＡＣ成分は６３個あるので、合計６つの周波数帯域ごとの合計を算出する（ステップＳ４０６）。そして、この処理を、分割された領域の総てのブロックに適用して周波数帯域ごとに加算した後、領域内のブロック数で割って領域ごとの平均値として算出する（ステップＳ４０７）。

図７に示す夜間画像群の周波数特性と、昼間画像群それぞれの低輝度領域を入力とした同様の図である図８に示す周波数特性とを比較すると、ＡＣ成分量の出現範囲が似通っているため、分割された単独領域の周波数特性の比較だけでは夜景判定には不十分であることが分かる。図９および図１０は、それぞれ高輝度領域の夜間画像群および昼間画像群の図７、図８と同様の図である。これらの場合も、ＡＣ成分量の出現範囲を比較すると同様に判定には不充分である。

そこで、複数領域間の相対的な関係である差分を用いてＡＣ成分量の範囲を比較すると、図１１（夜間画像）と図１２（中間画像）のように出現する範囲の異なった周波数特性が表れる。すなわち、夜景シーンの場合は、差分値が比較的大きい値となり、昼間シーンの場合は、差分値が比較的小さい値となる。したがって、本実施形態では、ＡＣ成分差分値の所定の範囲に上限下限の閾値を設けることによって夜景シーンの判定を行う（ステップＳ４０８）。

以下の式は、ＡＣ成分の差分値の所定の範囲に上限下限の閾値を設ける判定方法を示している。

ここで、係数グループｉ＝｛１〜１０，１１〜２０，２１〜３０，３１〜４０，４１〜５０，５１〜６３｝とする。

ステップＳ４０８の処理では、各係数グループにおいて上の式を適用していき、すべての係数グループに対して上の式を満たした時に、夜景であると判定し、それ以外は夜景以外と判定する。

なお、以上のように複数領域間のＡＣ成分の相対的な関係でシーン解析ができる理由は以下の通りであると考えられる。夜景の画像における輝度ヒストグラムは、画像全体が暗いので低輝度側に偏った分布になる傾向がある。また、夜景では、カメラでの撮影範囲に輝度の極端に低い領域と輝度の極端に高い領域が混在することが多い。そのためデジタルカメラで撮影する際にダイナミックレンジを確保する為に最も暗い部分の情報をつぶしてしまうので暗部は階調が減少している。従って低輝度領域の周波数情報は低くなる。その結果、夜景シーン度の高い画像では、図１１に示すように低輝度領域と高輝度領域のＡＣ成分グループの各平均値を比較した時に差分量が大きくなる傾向にある。

夜景以外のシーンは、風景、ポートレートなど多種多様であるため、一意的に定義することは困難であるが、夜景と比べると輝度ヒストグラムが全体的に分散する傾向がある。夜景以外のシーンでは輝度ヒストグラムが高輝度、低輝度領域のどちらかに極端に偏ることは少なく、ＡＣ成分の差分は図１２に示すように比較的少量となる傾向にある。特に、晴れた日の空を含む画像の場合は、高輝度領域に階調数の少ない部分が存在する為、ＡＣ成分の差分は負の値をとりやすい。

なお、以上説明した実施形態では、シーン解析を特化した例として夜景シーン解析の例を挙げたが、他のシーン解析への応用を考えた場合、領域分割する際に、必ずしも輝度ベースで行なう必要はない。ＪＰＥＧ画像を解凍する際に得られるＤＣＴ係数は、輝度信号だけでなく、色差信号もあるため、これを利用することも可能である。また、解析の対象としては夜景以外にも、夕景、雪景色、マクロ（接写）等の特定のシーンを解析することが考えられる。

シーン解析手法２
ＤＣＴ係数のＡＣ成分を用いる、画像の周波数特性を利用した夜景判定（ステップＳ４０６〜Ｓ４０８）は、以下に示す方法でも実施することが可能である。

ＤＣＴ係数はそれぞれ分割された領域において加算する。また、１つのブロックに対して、割り当てられている６３個あるＤＣＴ係数のＡＣ成分の合計値を算出する。この処理を分割された領域の全てのブロックに適用して加算した後、領域内のブロック数で割って平均値を算出する。
以下の式はＡＣ成分量の合計値に閾値を設ける場合の判定方法を表している。

グラフの横軸に相当するＤＣＴ係数のＡＣ成分をｉ＝１〜６３で表している。例えば、ｉ＝３のときは、領域内の全ブロックのＤＣＴ係数のＡＣ成分の３番目の係数の総和を算出し、領域内のブロック数で割って平均値を算出する。低輝度及び高輝度領域でそれぞれ算出された平均ＡＣ成分量の差分値を算出する。夜景シーンの場合は、差分量が比較的大きい値となる。

次に、画像解析系２０４における画像特徴検出部２０４３による処理を説明する。

画像特徴検出部２０４３は、人物や青空などの画像内の特定対象を検出するための処理を行う。この処理は、上述した画像データ解析部２０４１が解析結果として出力するシーン度のような段階的な出力をするものではなく、検出／非検出のように人物等が存在するか否かという出力結果となる。画像特徴検出部２０４３による具体的な検出処理は、例えば、特許文献２に記載の方法を用いることができ、ここではその説明を省略する。

次に、以上説明した、画像データ解析部２０４１の処理によるシーン解析と、画像特徴検出部２０４３の処理による人物検出を、撮影画像の付属情報に関連付ける解析統合部２０５の処理とその結果に基づく画像補正部２０６による補正処理のいくつかの実施形態について説明する。

（第１実施形態）
図１３は、本発明の第一の実施形態にかかる、解析統合部２０５の処理とそれに基づく画像補正系２０６の補正処理を示すフローチャートである。

本実施形態は、画像解析系２０４における画像データ解析部２０４１の解析結果と画像特徴検出部２０４３の検出結果を画像付属情報と関連付ける例として、付属情報を含む画像ファイル構造と付属情報を含まない画像ファイル構造のいずれが入力されても取り扱うことの可能な処理に関するものである。本実施形態では、付属情報を含むファイル構造として、例えば、Ｅｘｉｆ規格の画像ファイルを用いる。Ｅｘｉｆ規格のＶｅｒ．２．２の付属情報には、デジタルカメラによって撮影された際に設定された撮影モードを、撮影シーンタイプという付属情報として記録している。この撮影シーンタイプには、０〜３の数値フラグが指定できるようになっており、印刷時には、このフラグを印刷アプリケーションソフトなどで読み込みその特定シーンに適切な補正処理を行うことにより、シーンにより適した印刷出力を行うことを可能にしている。

撮影シーンタイプのフラグは以下のような設定になっている。
０：標準
１：風景
２：人物
３：夜景
なお、Ｅｘｉｆ画像ファイルの記録形式は圧縮ファイルの場合はＪＰＥＧ圧縮を使用し、非圧縮ファイルの場合はＴＩＦＦ形式を使用することになっている。画像の記録形式が圧縮、非圧縮に関わらずＴＩＦＦ規格の付属情報形式を用いることでＥｘｉｆ画像ファイル間の付属情報データの交換を容易にしている。また、解析の方法として前述したシーン解析手法以外の方法、または非圧縮のファイルを用いた場合でも本実施形態を適用することは可能である。

図１３において、画像解析系２０４によって上述したシーン解析および人物検出を含む画像解析を行った後（ステップＳ１３０１）、同じく画像解析系２０４の付属情報解析部２０４２によって画像付属情報を取得するとともにその解析を行う（ステップＳ１３０２）。具体的には、Ｅｘｉｆ付属情報の撮影シーンタイプタグを取得しその有無を含めて解析をする。

次に、この取得した付属情報に、予め定められた、参照している付属情報が存在するか否かを判断する（ステップＳ１３０３）。この付属情報が有るときは、ステップＳ１３０６で、ステップＳ１３０１の画像解析結果である画像情報としての、解析されたシーンまたは人物等検出されたものが付属情報に一致するか否かを判断する。付属情報に一致する画像情報が検出されているときは、画像補正系２０６によって、その画像情報に合った個別の補正を行う（ステップＳ１３０７）。

ステップＳ１３０６で、付属情報に一致する画像情報が検出されないときは、付属情報の信頼性が低いと判断し、付属情報利用の処理および特定の補正処理の実行をキャンセルする（ステップＳ１３０８、Ｓ１３０９）。例えば、人物モードで撮影し付属情報が人物に設定されているにもかかわらず、人物の画像情報が検出されていない場合などである。

ステップＳ１３０３で、上記参照している付属情報が存在しないと判断したときは、ステップＳ１３０４で、それらの付属情報のいずれかに相当する画像情報が検出されているか否かを判断すべく画像データ解析結果を参照する。付属情報に相当する画像情報が検出されているときは、付属情報に合った補正を設定し（ステップＳ１３０５）、補正を行う（ステップＳ１３０７）。

付属情報に相当する画像情報が検出されないときは、特定の補正処理をしないようにする（ステップＳ１３０９）。

ここで、付属情報が存在しない場合について詳しく説明すると、例えば、Ｅｘｉｆ２．２では撮影シーンタイプがサポートされているが、Ｅｘｉｆ２．１／ＪＦＩＦでは同タグが存在しないといった場合があり、この場合には付属情報が無いことと同じである。さらに、撮影シーンタイプタグに限らないが、付属情報が存在して内容が記述されていても、「標準」あるいは「自動」のように、付属情報が特定の内容を指定していないような場合も同様に付属情報が無いことと等しく見なせる場合がある。例えば、夜景のような特定のシーンを撮影する場合でも、多くのユーザーが、シャッターチャンスを逃すまいと標準モードで撮影してしまうような場合である。あるいは多機能化されたカメラの設定を使いこなせずにほとんど設定を変えずに撮影をする場合も考えられる。

なお、撮影シーンタイプタグを利用する場合、人物もポートレートモードという一つのシーンと考えることができる。この場合、画像解析と付属情報から総合的に判断して、ポートレート画像であると決定した場合は、検出した人物領域に対して露出補正を適用することが考えられる。

図１５は、図１３に示す処理で判断される組合せであって、画像解析系２０４の画像データ解析部２０４１および画像特徴検出部２０４３それぞれの解析結果である画像情報と、画像付属情報解析部２０４３の解析結果との組合せについて、どのような補正処理を実行するかを示す図である。なお、説明の簡略化のため、画像データ解析では夜景シーンを検出した否かのみを示している。

図１５に示すように、付属情報が存在する場合は、解析結果との整合性を見て、一致している場合は、付属情報による撮影モードに適した補正処理を行う。例えば、夜景シーンである可能性が十分であると判断された場合は、夜空などの暗い部分はより黒く、照明などの明るい部分はより明るくするために、夜景に特化したコントラスト補正を行い、また、より鮮やかな色合いを出すために彩度を上げる補正を行う。ただし、夜景シーンと同時に人物を検出した場合は、彩度を上げすぎると印象がきつくなったり、顔が赤みを帯びてしまったり破綻する可能性があるので、彩度補正は行わない。なお、夜景モードの時に、夜景シーンが検出されるような、画像付属情報と画像データ解析結果が一致した場合は、信頼性が高いので補正量をさらに強調することも可能となる。

以上のように、撮影対象や撮影時の動作モードなどの撮影モードを示す付属情報の有無およびその内容と画像の内容を表す画像情報との一致の度合いに応じてその画像の補正を行うので、付属情報の有無やその内容と実際の撮影対象の不一致にもかかわらず、実際に撮影した対象に適した補正を行うことができる。

（第２実施形態）
図１４は、本発明の第二の実施形態に係る解析統合部２０５の処理とそれに基づく画像補正系２０６の補正処理を示すフローチャートである。本実施形態が上述の第一の実施形態と基本的に異なる点は、ステップＳ１４０６およびその処理に基づくステップＳ１４０７の処理と、ステップＳ１４０４の処理である。

すなわち、ステップＳ１４０６では、第１実施形態のステップＳ１３０６と同様に画像特徴検出部２０４３が検出する人物などの画像情報と付属情報の一致／不一致を判断するが、それ以外に、図５にて前述した画像データ解析部２０４１が解析したシーン度が所定の閾値以上か否かを判断する。そして、解析されたシーン度が一定の閾値以上であるときは、ステップＳ１４０７で、そのシーン度に応じた補正を行う。また、シーン度が一定閾値以下のときは、付属情報の信頼性が低いと判断し補正処理ルーチンの実行をキャンセルするか、控えめな補正をする。例えば、前日撮影モードを夜景に設定して撮影し、翌日撮影モードダイヤルを戻し忘れて撮影するといった場合である。

参照している付属情報が存在しない場合は、ステップＳ１４０４で、付属情報のいずれかに相当するシーンのシーン度が一定の閾値以上であるか否かを判断する。この閾値は必ずしも付属情報が存在した場合のステップＳ１４０６で用いる閾値と同じ値である必要は無い。

図１６は、図１４に示す処理で判断される組合せであって、画像解析系２０４の画像データ解析部２０４１および画像特徴検出部２０４３それぞれの解析結果である画像情報と、画像付属情報解析部２０４３の解析結果との組合せについて、どのような補正処理を実行するかを示す図である。

本実施形態では、シーン度［％］の閾値を甘く設定しておき、シーン度が閾値以下すなわち対象シーンの信頼性が十分に満たない画像に関しては、そのシードに応じてコントラストの強さや彩度のあげ方などに関して控えめな補正をすることができる。逆にシーン度が一定の閾値を超える信頼性の高い画像に対しては、より強調した補正量を適用することも可能となる。このように補正量はシーン度に比例した量を適用することができる。

（他の実施形態）
本発明は上述のように、複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。

また、図１３、図１４にて前述した実施形態の機能を実現するように各種のデバイスを動作させるように該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。

またこの場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

本発明の一実施形態に係る印刷システムの構成を示すブロック図である。 図１に示したプログラム保持部１０３に記録されて用いられる画像処理プログラム２００の構成を主に示すブロック図である。 図２に示す復号器による復号化の処理手順を示す図である。 （ａ）〜（ｃ）は、図２に示す画像データ解析部２０４１によるシーン解析の処理手順を示すフローチャートである。 縦軸に低輝度領域の画像全体に対する占有面積比率、横軸にＤＣＴ係数のＤＣ成分をそれぞれとったときの特徴空間の分布を表した図である。 （ａ）は、上記分割された画像の原画像を示す図であり、（ｂ）は、この原画像を低輝度領域と高輝度領域の２種類に分割した一例を示す図である。 ２４個の夜間画像それぞれの低輝度領域について、ＤＣＴ係数のＡＣ成分の量を表した図である。 ２４個の昼画像それぞれの低輝度領域について、ＤＣＴ係数のＡＣ成分の量を表した図である。 ２４個の夜間画像それぞれの高輝度領域について、ＤＣＴ係数のＡＣ成分の量を表した図である。 ２４個の昼画像それぞれの高輝度領域について、ＤＣＴ係数のＡＣ成分の量を表した図である。 ２４個の夜間画像それぞれの輝度領域の差分について、ＤＣＴ係数のＡＣ成分の量を表した図である。 ２４個の昼画像それぞれの輝度領域の差分について、ＤＣＴ係数のＡＣ成分の量を表した図である。 本発明の第一の実施形態にかかる、解析統合部２０５の処理とそれに基づく画像補正系２０６の補正処理を示すフローチャートである。 本発明の第二の実施形態に係る解析統合部２０５の処理とそれに基づく画像補正系２０６の補正処理を示すフローチャートである。 図１３に示す処理で判断される組合せであって、画像解析系２０４の画像データ解析部２０４１および画像特徴検出部２０４３それぞれの解析結果である画像情報と、画像付属情報解析部２０４３の解析結果との組合せについて、どのような補正処理を実行するかを示す図である。 図１４に示す処理で判断される組合せであって、画像解析系２０４の画像データ解析部２０４１および画像特徴検出部２０４３それぞれの解析結果である画像情報と、画像付属情報解析部２０４３の解析結果との組合せについて、どのような補正処理を実行するかを示す図である。

符号の説明

１００ 印刷システム
１０１ 記録メディア
１０２ 画像取得装置
１０３ プログラム保持部
１０４ 主記憶装置
１０５ 中央演算処理ユニット（ＣＰＵ）
１０６ シリアル／パラレルインターフェース
１０７ 印刷装置
２００ プログラム保持部１０３に保持されているプログラム
２０１ 圧縮画像読み込み部
２０２ 圧縮画像復号器
２０３ ＪＰＥＧ画像から取得したブロック情報の保持部
２０４ 画像解析系
２０５ 解析統合部
２０６ 画像補正系
２０７ 画像出力部
２０４１ 画像データ解析部
２０４２ 付属情報解析部
２０４３ 画像特徴検出部
２０４４ 解析結果

Claims (17)

1. 撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理方法であって、
   前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる、当該画像の撮影シーンまたは人物画像を示す情報とが一致しているか否かを判断する工程と、
   該判断工程において一致していると判断したとき、当該画像データに対して当該一致した付属情報に対応した画像補正を行なう工程と、
   を有することを特徴とする画像処理方法。
2. 前記付属情報が前記画像データに関連して存在するか否かを判断する工程と、
   前記判断する工程によって前記付属情報が存在していないと判断されたとき、予め定めた付属情報に相当する前記画像情報が前記画像データにあるか否かを判断する工程をさらに有し、
   前記補正工程は、前記判断する工程が前記予め定めた付属情報に相当する画像情報が前記画像データにあると判断したとき、前記画像データに対して前記付属情報に対応した画像補正を行うことを特徴とする請求項１に記載の画像処理方法。
3. 撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理方法であって、
   前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる当該画像の撮影シーンのシーン度と人物画像の検出結果と、の組み合わせに基づき、複数の画像補正レベルのうち特定のレベルを選択する第１の選択工程と、
   前記第１の選択工程において選択されたレベルに応じて、前記画像データに対して画像補正を行う工程と、
   を有することを特徴とする画像処理方法。
4. 前記付属情報が前記画像データに関連して存在するか否かを判断する工程と、該工程が付属情報が存在していないと判断したとき、前記画像データを解析して得られる当該画像の撮影シーンのシーン度と、前記画像データを解析して得られる人物画像の検出結果と、の組み合わせに基づき、複数の画像補正レベルのうち特定のレベルを選択する第２の選択工程をさらに有し、前記補正工程は、前記第２選択工程が選択するレベルに応じて、前記画像データに対して画像補正を行うことを特徴とする請求項３に記載の画像処理方法。
5. 前記画像情報を得る解析の対象である画像データは、圧縮画像データを復号化した非圧縮データであることを特徴とする請求項１ないし４のいずれかに記載の画像処理方法。
6. 前記撮影シーンタイプは、標準、風景、人物、夜景のうち少なくとも1つを含むことを特徴とする請求項１ないし５のいずれかに記載の画像処理方法。
7. 前記撮影シーンは、風景、夜景、夕景、雪景色、ポートレート、接写のうちのいずれかであることを特徴とする請求項１ないし６のいずれかに記載の画像処理方法。
8. 前記画像補正は、コントラスト補正または彩度補正であることを特徴とする請求項１ないし７のいずれかに記載の画像処理方法。
9. 撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理装置であって、
   前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる、当該画像の撮影シーンまたは人物画像を示す情報とが一致しているか否かを判断する手段と、
   該判断手段において一致していると判断したとき、当該画像データに対して当該一致した付属情報に対応した画像補正を行なう手段と、
   を有することを特徴とする画像処理装置。
10. 前記付属情報が前記画像データに関連して存在するか否かを判断する手段と、
    前記判断する手段によって前記付属情報が存在していないと判断されたとき、予め定めた付属情報に相当する前記画像情報が前記画像データにあるか否かを判断する手段をさらに有し、
    前記補正手段は、前記判断する手段が前記予め定めた付属情報に相当する画像情報が前記画像データにあると判断したとき、前記画像データに対して前記付属情報に対応した画像補正を行うことを特徴とする請求項９に記載の画像処理装置。
11. 撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理装置であって、
    前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる当該画像の撮影シーンのシーン度と人物画像の検出結果と、の組み合わせに基づき、複数の画像補正レベルのうち特定のレベルを選択する第１の選択手段と、
    前記第１の選択手段によって選択されたレベルに応じて、前記画像データに対して画像補正を行う手段と、
    を有することを特徴とする画像処理装置。
12. 前記付属情報が前記画像データに関連して存在するか否かを判断する手段と、
    該手段が付属情報が存在していないと判断したとき、前記画像データを解析して得られる当該画像の撮影シーンのシーン度と、前記画像データを解析して得られる人物画像の検出結果と、の組み合わせに基づき、複数の画像補正レベルのうち特定のレベルを選択する第２の選択手段をさらに有し、前記補正手段は、前記第２選択手段が選択するレベルに応じて、前記画像データに対して画像補正を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像情報を得る解析の対象である画像データは、圧縮画像データを復号化した非圧縮データであることを特徴とする請求項９ないし１２のいずれかに記載の画像処理装置。
14. 前記撮影シーンタイプは、標準、風景、人物、夜景のうち少なくとも1つを含むことを特徴とする請求項９ないし１３のいずれかに記載の画像処理装置。
15. 前記撮影シーンは、風景、夜景、夕景、雪景色、ポートレート、接写のうちのいずれかであることを特徴とする請求項９ないし１４のいずれかに記載の画像処理装置。
16. 前記画像補正は、コントラスト補正または彩度補正であることを特徴とする請求項９ないし１５のいずれかに記載の画像処理装置。
17. 情報処理装置に、撮影して得られた画像データに基づいて当該画像データの補正を行う画像処理を実行させるプログラムであって、該処理は、
    前記画像データを得る撮影時に設定されている撮影シーンタイプを示す付属情報と、前記画像データを解析して得られる、当該画像の撮影シーンまたは人物画像を示す情報とが一致しているか否かを判断する工程と、
    該判断工程において一致していると判断したとき、当該画像データに対して当該一致した付属情報に対応した画像補正を行なう工程と、
    を有することを特徴とするプログラム。

Images