JP4096989B2 - 撮影場面の判定および撮影場面に応じた画像処理 - Google Patents

Description

本発明は、撮影場面に応じた画像処理を実行する画像処理装置に関する。

ディジタルスチルカメラの普及と共に画像データに対する様々な画像処理技術が研究、実用化されている。例えば、撮影時における撮影場面（撮影シーン）の情報を撮影時情報として画像データに関連付ける技術を利用し、画像データに関連付けられた撮影場面の情報を用いて画像データに対して撮影場面に応じた適切な画像処理を行う技術が知られている。

また、画像処理に際して、ユーザが撮影場面を指定することで、画像データに対して撮影場面に応じた適切な画像処理を可能にする技術も知られている。

さらに、撮影場面の情報を用いることなく、画像データを解析し、得られた解析結果、例えば統計値、に基づいて画像データに対する画像処理を行う技術も知られている（例えば、特許文献１参照）。

特開平１０−１８１０３号公報

しかしながら、従来の画像処理技術のうち、ユーザによって撮影場面を指定する技術では、画像データを大量に処理する場合には、個々の画像データに対する撮影場面の指定は煩雑である。

また、撮影時情報を用いる技術では、ユーザが誤った撮影シーンを設定した場合には現実の撮影シーンに対して不適当な画像処理が行われる可能性があり、さらに、複合的な撮影シーンに対しては適切な撮影シーンを設定すること自体が困難であり、現実の撮影シーンに対して適切な撮影シーンが設定されない可能性が高くなる。

さらに、従来の画像データの解析結果を用いる技術では、撮影シーンまでを判定した画像処理は行われておらず、撮影シーンを反映した画像処理は行われていなかった。

本発明は、上記課題を解決するためになされたものであり、画像データを解析することによって、撮影場面を判定することを目的とする。また、画像データの解析により得られた画像データの特性または撮影場面に応じて、画像データに対して適切な画像処理を実行することを目的とする。

上記課題を解決するために本発明の第１の態様は、画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、画像データを取得する画像データ取得手段と、前記取得した画像データを解析して画像データを特徴付ける特徴的色相を決定する決定手段と、前記決定された特徴的色相に応じて前記画像データに対する画質調整を実行する画質調整手段を備えることを特徴とする。

本発明の第１の態様に係る画像処理装置によれば、画像データを解析して画像データを特徴付ける特徴的色相を決定し、決定した特徴的色相に応じて画像データに対する画質調整を実行するので、画像データの特徴的な色相を阻害することなく、画像データに対して適切な画像処理を実行することができる。

本発明の第１の態様に係る画像処理装置はさらに、前記取得した画像データにおいて、前記決定された特徴的色相に対応する領域を特定する領域特定手段と、前記特定された領域に対応する画像データについてテクスチャを抽出するテクスチャ抽出手段とを備え、前記画質調整手段は、前記決定した特徴的色相に加えて、前記抽出したテクスチャに応じて前記画像データに対する画質調整を実行しても良い。かかる場合には、特徴的色相に対応する領域に対してテクスチャを抽出するので、特徴的色相に対応する領域の画像の模様を判定することが可能となり、さらに適切に画像データに対して画像処理を実行することができる。

本発明の第１の態様に係る画像処理装置において、前記画像データには撮影時における撮影場面に関する情報である撮影時情報または前記画像データの画像処理条件を指定する画像処理制御情報の少なくとも一方が関連付けられており、前記画像データに対する画質調整は、さらに、前記撮影時情報を適用して実行されても良い。かかる場合には、撮影場面に応じた撮影時情報または画像データの画像処理条件を指定する画像処理制御情報の少なくとも一方を利用することにより、特徴的色相、テクスチャと相まって、画像データに対して撮影場面に対応した画像処理を実行することができる。

本発明の第２の態様は、画像処理装置を提供する。本発明の第２の態様に係る画像処理装置は、画像データを取得する画像データ取得手段と、前記取得した画像データを解析して画像データを特徴付ける特徴的色相を決定する決定手段と、前記決定された特徴的色相を用いて撮影場面を判定する撮影場面判定手段とを備えることを特徴とする。

本発明の第２の態様に係る画像処理装置によれば、取得した画像データを解析して画像データを特徴付ける特徴的色相を決定し、決定した特徴的色相を用いて撮影場面を判定するので、画像データを解析することによって、撮影場面を判定することができる。

本発明の第２の態様に係る画像処理装置はさらに、前記取得した画像データにおいて、前記決定された特徴的色相に対応する領域を特定する領域特定手段と、前記特定された領域に対応する画像データについてテクスチャを抽出するテクスチャ抽出手段とを備え、前記撮影場面判定手段は、前記決定した特徴的色相に加えて、前記抽出したテクスチャを用いて撮影場面を判定しても良い。かかる場合には、特徴的色相に対応する領域に対してテクスチャを抽出するので、特徴的色相に対応する領域の画像の模様を判定することが可能となり、さらに適切に撮影場面を判定することができる。

本発明の第２の態様に係る画像処理装置において、前記画像データには撮影時における撮影場面に関する情報である撮影時情報または前記画像データの画像処理条件を指定する画像処理制御情報の少なくとも一方が関連付けられており、前記撮影場面の判定は、さらに、前記撮影時情報を適用して実行されても良い。かかる場合には、撮影場面に応じた撮影時情報または画像データの画像処理条件を指定する画像処理制御情報の少なくとも一方を利用することにより、さらに適切に撮影場面を判定することができる。

本発明の第２の態様に係る画像処理装置はさらに、撮影場面に適した画質補正条件を格納する画質補正条件記憶手段と、前記判定された撮影場面に対応する画質補正条件を前記画質補正条件記憶手段から取得し、取得した画質補正条件を適用して前記画像データに対する画質調整を実行する画質調整手段を備えても良い。かかる場合には、画像データの解析によって判定された撮影場面に応じた画質調整を適切に行うことができる。

本発明の第２の態様に係る画像処理装置において、前記撮影場面判定手段に代えて、予め用意された複数の撮影場面から、前記決定された特徴的色相に対応する撮影場面を選択する撮影場面選択手段を備えても良い。かかる場合には、代表的な撮影場面を用意しておくことによって撮影場面を迅速に選択することができる。

本発明の第３の態様は、画像処理装置を提供する。本発明の第３の態様に係る画像処理装置は、複数の画素データから構成される画像データを取得する画像データ取得手段と、前記取得した画像データを画素単位にて解析して画像データの色相情報およびテクスチャ情報を取得する取得手段と、前記取得された色相情報を用いて前記画像データを特徴付ける特徴的色相を決定する特徴的色相決定手段と、前記取得した画像データにおいて、前記決定された特徴的色相を有する画素データを特定する特定手段と、前記テクスチャ情報を用いて、前記特定された画素データにより形成される領域のテクスチャを決定するテクスチャ決定手段と、前記決定された特徴的色相および前記抽出したテクスチャに応じて前記画像データに対する画質補正条件を決定する画質補正条件決定手段と、前記決定された画質補正条件を適用して前記画像データに対する画質調整を実行する画質調整手段とを備えることを特徴とする。

本発明の第３の態様に係る画像処理装置によれば、画像データを解析して画像データの色相情報およびテクスチャ情報を取得し、取得した色相情報を用いて画像データを特徴付ける特徴的色相を決定し、取得したテクスチャ情報を用いて、特定された画素データにより形成される領域のテクスチャを決定し、決定された特徴的色相および抽出したテクスチャに応じて画像データに対する画質補正条件を決定し、決定した画質補正条件を適用して画像データに対する画質調整を実行することができる。したがって、画像データを解析することによって、画像データの特性に合った画像データの画質補正条件を決定し、画像データに対して適切な画質調整を実行することができる。

本発明の第３の態様に係る画像処理装置において、前記画質補正条件決定手段は、
前記決定された特徴的色相および前記決定されたテクスチャを用いて撮影場 面を判定する撮影場面判定手段と、
撮影場面に適した画質補正条件を格納する画質補正条件記憶手段とを備え、
前記画像データに対する画質調整は、前記判定された撮影場面に対応する画質補正条件を前記画質補正条件記憶手段から取得し、取得した画質補正条件を前記画像データに適用することによって実行されても良い。かかる場合には、画像データを解析することによって、撮影場面を判定することができると共に、判定した撮影場面に合った画像データの画質補正条件を決定し、画像データに対して適切な画質調整を実行することができる。

本発明の第３の態様に係る画像処理装置において、前記画質補正条件決定手段は、
予め用意された複数の撮影場面から、前記決定された特徴的色相および前記 決定されたテクスチャに対応する撮影場面を選択する撮影場面選択手段と、
撮影場面に適した画質補正条件を格納する画質補正条件記憶手段とを備え、
前記画像データに対する画質調整は、前記選択された撮影場面に対応する画質補正条件を前記画質補正条件記憶手段から取得し、取得した画質補正条件を前記画像データに適用することによって実行されても良い。かかる場合には、代表的な撮影場面を用意しておくことによって撮影場面を迅速に選択することができると共に、選択される撮影場面の幅が予め予定されているので、予定されている撮影場面に応じて適切な画質補正条件を設定することができる。

本発明の第４の態様は画像処理方法を提供する。本発明の第４の態様に係る画像処理方法は、画像データを取得し、前記取得した画像データを解析して画像データを特徴付ける特徴的色相を決定し、前記決定した色相に応じて前記画像データに対する画質調整を実行することを特徴とする。

本発明の第４の態様に係る画像処理方法は、本発明の第１の態様に係る画像処理装置と同様の作用効果を有する。また、本発明の第４の態様に係る画像処理方法は、本発明の第１の態様に係る画像処理装置ど同様にして種々の態様によって実現され得る。

本発明の第５の態様は、画像処理方法を提供する。本発明の第５の態様に係る画像処理方法は、画像データを取得し、前記取得した画像データを解析して画像データを特徴付ける特徴的色相を決定し、前記決定した特徴的色相を用いて撮影場面を判定することを特徴とする。

本発明の第５の態様に係る画像処理方法は、本発明の第２の態様に係る画像処理装置と同様の作用効果を有する。また、本発明の第５の態様に係る画像処理方法は、本発明の第２の態様に係る画像処理装置ど同様にして種々の態様によって実現され得る。

本発明の第６の態様は、画像処理方法を提供する。本発明の第６の態様に係る画像処理方法は、複数の画素データから構成される画像データを取得し、前記取得した画像データを画素単位にて解析して画像データの色相情報およびテクスチャ情報を取得し、前記取得した色相情報を用いて、前記画像データを特徴付ける特徴的色相を決定し、前記取得した画像データにおいて、前記決定した特徴的色相を有する画素データを特定し、前記取得したテクスチャ情報を用いて、前記特定された画素データにより形成される領域のテクスチャを決定し、前記決定した特徴的色相およびテクスチャに応じて前記画像データに対する画質補正条件を決定し、前記決定された画質補正条件を適用して前記画像データに対する画質調整を実行することを特徴とする。

本発明の第６の態様に係る画像処理方法は、本発明の第３の態様に係る画像処理装置と同様の作用効果を有する。また、本発明の第６の態様に係る画像処理方法は、本発明の第３の態様に係る画像処理装置ど同様にして種々の態様によって実現され得る。

本発明の第４ないし第６の態様に係る画像処理方法は、この他にも、画像処理プログラムおよび画像処理プログラムが記録された記録媒体としても実現され得る。

以下、本発明に係る画像処理装置および画像処理方法について図面を参照して、実施例に基づいて説明する。

Ａ．画像処理システムの構成：
本実施例に係る画像処理装置を適用可能な画像処理システムの構成について図１を参照して説明する。図１は本実施例に係る画像処理装置としてのパーソナルコンピュータを含む画像処理システムの一例を示す説明図である。

画像処理システムは、画像データを生成する入力装置としてのディジタルスチルカメラ１０、ディジタルスチルカメラ１０にて生成された画像データを解析して画像の撮影シーンを判定すると共に、判定したシーンに適した画像処理を実行し、印刷用画像データを出力する画像処理装置としてのパーソナルコンピュータＰＣ、印刷用画像データを用いて画像を出力する出力装置としてのカラープリンタ２０を備えている。なお、カラープリンタ２０は、パーソナルコンピュータＰＣが備える画像処理機能を備えていても良く、かかる場合には、スタンドアローンにて画像処理、画像出力を実行することができる。また、出力装置としては、プリンタ２０の他に、ＣＲＴディスプレイ、ＬＣＤディスプレイ等のモニタ４０、プロジェクタ等が用いられ得る。以下の説明では、パーソナルコンピュータＰＣと接続されて用いられるカラープリンタ２０を出力装置として用いるものとする。

パーソナルコンピュータＰＣは、一般的に用いられているタイプのコンピュータであり、画像データを解析して実行される撮影シーン判定処理を含む画像処理プログラムを実行するＣＰＵ３０、ＣＰＵ３０における演算結果、画像データ等を一時的に格納するＲＡＭ３１、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）３２を備えている。パーソナルコンピュータＰＣは、メモリカードＭＣを装着するためのカードスロット３３、ディジタルスチルカメラ１０等からの接続ケーブルを接続するための入出力端子３４を備えている。

ディジタルスチルカメラ１０は、光の情報を光電変換素子（ＣＣＤや光電子倍増管）に結像させることによりディジタル画像を取得するカメラであり、光情報を電気情報に変換するためのＣＣＤ等を備える光電変換回路、光電変換回路を制御して画像を取得するための画像取得回路、取得したディジタル画像を加工処理するための画像処理回路等を備えている。ディジタルスチルカメラ１０は、取得した画像をディジタルデータとして記憶装置としてのメモリカードＭＣに保存する。ディジタルスチルカメラ１０における画像データの保存形式としては、非可逆圧縮保存方式としてＪＰＥＧデータ形式、可逆圧縮保存方式としてＴＩＦＦデータ形式が一般的であるが、この他にもＲＡＷデータ形式、ＧＩＦデータ形式、ＢＭＰデータ形式等の保存形式が用いられ得る。

ディジタルスチルカメラ１０において生成された画像データは、例えば、ケーブルＣＶ、コンピュータＰＣを介して、あるいは、ケーブルＣＶを介してカラープリンタ２０に送出される。あるいは、ディジタルスチルカメラ１０にて画像データが格納されたメモリカードＭＣが、メモリカード・スロット３３に装着されたコンピュータＰＣを介して、あるいは、メモリカードＭＣをプリンタ２０に対して直接、接続することによって画像データがカラープリンタ２０に送出される。なお、以下の説明では、画像データに対する画像処理がパーソナルコンピュータＰＣにて実行され、処理済みの画像データが印刷制御コマンドと共にカラープリンタ２０に対して出力される場合について説明する。

カラープリンタ２０は、カラー画像の出力が可能なプリンタであり、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロ（Ｙ）、ブラック（Ｋ）の４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン、ＬＣ）、ライトマゼンタ（薄いマゼンタ、ＬＭ）、ダークイエロ（暗いイエロ、ＤＹ）を用いても良い。

Ｂ．パーソナルコンピュータＰＣにおける画像処理：
図２〜図９を参照してパーソナルコンピュータ２０において実行される画像処理について説明する。図２は本実施例に係るパーソナルコンピュータＰＣのＣＰＵ３０によって実現される機能をブロック図にて示す説明図である。図３は本実施例に係るパーソナルコンピュータにて実行される画像処理の処理ルーチンを示すフローチャートである。図４は空を中心とする画像データの縮小画像データバッファの一例を概念的に示す説明図である。図５は図４に示す縮小画像データバッファに対して２次元フーリエ変換を実行した結果得られるグラフの一例を示す説明図である。図６は海を中心とする画像データの縮小画像データバッファの一例を概念的に示す説明図である。図７は図６に示す縮小画像データバッファに対して２次元フーリエ変換を実行した結果得られるグラフの一例を示す説明図である。図８は画像データの特徴的色相と特徴的色相領域のテクスチャとを用いて撮影シーンを判定するためのマップの一例を示す説明図である。図９は判定された撮影シーンに対応する各画質パラメータの補正内容を記述するマップの一例を示す説明図である。

先ず、図２を参照してＣＰＵ３０によって実現される機能について説明する。ＣＰＵ３０の解析用縮小画像データ生成部３０１は、入力された画像データからデータ解析用の縮小画像データを生成する。ＣＰＵ３０の画像データ解析部３０２は、生成された解析用縮小データを一画素単位で解析し、解析用縮小画像データ（画像データ）を構成する各画素についてＲＧＢ成分を取得する。ＣＰＵ３０の特徴的色相決定部３０３は、解析用縮小画像データの解析結果を用いて、画像データを特徴付ける色相である特徴的色相を決定する。ＣＰＵ３０のテクスチャ抽出部３０４は、特徴色相決定部３０３によって決定された特徴的色相に対応する画素領域を決定し、２次元フーリエ変換等によって解析用縮小画像データの周波数解析を実行し、特徴的色相に対応する画素領域のテクスチャを抽出する。ＣＰＵ３０のシーン決定部３０５は、得られた特徴的色相と特徴的色相を形成する画素領域のテクスチャとに基づいて、撮影画像（画像データ）の撮影シーンを決定する。

図３を参照してパーソナルコンピュータＰＣにおいて実行される撮影シーン判定処理および判定された撮影シーンに基づいた画質調整処理について説明する。パーソナルコンピュータＰＣ（ＣＰＵ３０）は、スロット３３にメモリカードＭＣが差し込まれると、あるいは、ディジタルスチルカメラ１０に接続されている接続ケーブルＣＶが入出力端子３４に接続されると本判定処理および画像処理のプログラムを起動する。ＣＰＵ３０は、ユーザによって選択された画像データをメモリカードＭＣから取得し（読み出し）、取得した画像データをＲＡＭ３１に一時的に格納する（ステップＳ１００）。

ＣＰＵ３０（解析用縮小画像データ生成部３０１）は、取得した画像データから画像データ解析用の縮小画像データバッファを生成する（ステップＳ１１０）。ＣＰＵ３０は（画像データ解析部３０２）、生成された縮小画像データバッファをｎ方向に走査して（図４および図６において横方向）、画像データの色相情報を取得する（ステップＳ１２０）。具体的には、ＣＰＵ３０は、各画素について座標位置（ｎ，ｍ）と関連付けてＲＧＢ値を取得する。

ＣＰＵ３０（特徴的色相決定部３０３）は、取得した色相情報を用いて撮影画像を特徴付ける画像データの特徴的色相を決定する（ステップＳ１３０）。具体的には、ＣＰＵ３０は、縮小画像データバッファを構成する全画素に対して、注目画素と隣接画素（ｎ方向）とが同一の色相を有している場合には着目画素を色相と対応付けてカウントし、注目画素と隣接画素（ｎ方向）とが同一の色相を有していない場合には着目画素をカウントしない処理を実行する。本実施例では、青、緑、肌色、赤の色相についてそれぞれ判定され、色相が同一であるか否かはＲＧＢ値の厳密な同一性をもって判断されるのではなく、ＲＧＢ値が所定の範囲内の値を有していれば同一の色相であると判断される。

ＣＰＵ３０は、縮小画像データバッファを構成する全画素数に対する各色相についてカウントされた画素数の割合を求め、予め用意されているマップを用いて画像データの特徴的色相を決定する。マップには、例えば、各色相を構成する画素数の割合と特徴的色相とが対応付けて記述されている。

図４および図６の例では、それぞれ空を中心とする風景画像の画像データ、海を中心とする風景画像の画像データであるから、特徴的色相は青となる。ただし、青の色相が空を表しているのか、海を表しているのかは不明である。

そこで、ＣＰＵ３０（テクスチャ抽出部３０４）は、決定された特徴的色相領域のテクスチャを取得する（ステップＳ１４０）。具体的には、ＣＰＵ３０は、特徴的色相を構成する画素領域を特定し、特定した画素領域に対して周波数解析を実行する。特徴的色相を構成する画素領域は、色相情報に含まれている各画素の色相と座標位置の情報に基づいて特定される。特定された画素領域に対する周波数解析は、以下の式１に示す２次元フーリエ変換式を用いて解析用縮小画像データバッファのｎ方向およびｍ方向について実行される。

式１において、ｇ（ｎ，ｍ）は解析用縮小画像データバッファにおける各画素位置を示し、ＮおよびＭは解析用縮小画像データバッファにおけるｎ方向およびｍ方向の画素数を示す。ＸおよびＹは、変換後の周波数領域（空間軸）を示す。式１によって得られるＧ_XYは、変換後の（Ｘ，Ｙ）座標に対応する解析用縮小画像データバッファにおけるｇ（ｎ，ｍ）の画素の周波数である。

図４〜図７を参照して２次元フーリエ変換により得られた結果と、テクスチャとの関係について説明する。図４に示す解析用縮小画像データバッファは、既述の通り空を中心とする風景を撮影した画像に対応しており、特徴的色相は青となる。この解析用縮小画像データバッファに対して２次元フーリエ変換を実行すると図５に示すグラフが得られる。一般的に、空に対応する画像は滑らかであり、あまり模様を有さないことが多い。したがって、低周波成分は多く、高周波成分は少なく現れる傾向にある。

一方、図６に示す解析用縮小画像データバッファは、既述の通り海を中心とする風景を撮影した画像に対応しており、特徴的色相は青となる。この解析用縮小画像データバッファに対して２次元フーリエ変換を実行すると図７に示すグラフが得られる。一般的に、海に対応する画像はさざ波等に起因する模様を多く有する。したがって、低周波成分は少なく、高周波成分は多く現れる傾向にある。

これらの傾向を考慮すれば、たとえ特徴的色相が同一の色相であったとしても、特徴的色相を形成する領域のテクスチャを判定することによって、さらに画像の特徴（被写体）を特定することが可能である。したがって、撮影シーンを精度良く特定することができる。

ＣＰＵ３０（シーン決定部３０５）は、取得した特徴的色相と特徴的色相に対応する画素領域のテクスチャとを用いて撮影シーンを決定する（ステップＳ１５０）。撮影シーンの決定には、例えば図８に示すマップが用いられる。

（１）特徴的色相が緑であり、抽出されたテクスチャが高周波である場合には、山、平原といった緑を中心とした風景であると決定（判定）される。
（２）特徴的色相が青であり、抽出されたテクスチャが低周波である場合には、空を中心とした風景であると決定される。
（３）特徴的色相が青であり、抽出されたテクスチャが高周波である場合には、海を中心とした風景であると決定される。
（４）特徴的色相が肌色であり、抽出されたテクスチャが低周波である場合には、人を中心とした人物撮影シーンであると決定される。
（５）特徴的色相が肌色であり、抽出されたテクスチャが高周波である場合には、浜辺もしくはそれに類する風景であると決定される。
（６）特徴的色相として特定の色相が大半を占め、抽出されたテクスチャの周波数があまり高くない場合には、マクロ撮影であると決定される。さらに、高彩度の領域が多い場合や、緑の色相領域が見られる場合には、マクロ撮影の中でも花の撮影シーンであると判定する。

ＣＰＵ３０は、決定した撮影シーンに対応する各パラメータの補正量を決定する（ステップＳ１６０）。具体的には、ＣＰＵ３０は、図９に示すマップを参照して、判定（決定）した撮影シーンに適した各画質パラメータの補正内容を取得することで補正量を決定する。本実施例では、撮影シーンによって、コントラスト、シャープネス、彩度（強調）といった画質パラメータの補正量が決定される。

なお、（５）の撮影シーンにおいては、海が一緒に写っている可能性が高いことを考慮して、彩度強調＝強め（青）、ｓＲＧＢ色域外の利用といった補正内容を追加しても良い。また、（６）の撮影シーンにおいて、花の撮影シーンであると判定された場合には、コントラスト＝やや軟調、シャープネス＝普通、彩度強調＝やや強め、記憶色＝緑色とする補正内容としても良い。

ＣＰＵ３０は、決定した補正量を用いて画像データに対する画質調整を実行して本処理ルーチンを終了する（ステップＳ１７０）。画像データに対する画質調整では、決定した補正量（補正内容）をそのまま画像データに適用して画質を調整しても良い。あるいは、画像データを解析して、画像データを特徴付ける各画質パラメータの値（統計値）を取得し、各画質パラメータの値と予め各画質パラメータに対して用意されている目標値（基準値）との偏差を解消または低減するように画質を調整しても良い。本実施例において決定された補正の内容は、各画質パラメータの値と予め各画質パラメータの目標値との偏差の解消または低減の程度を補正するために用いられる。なお、画像データの解析は新たに実行されてもよく、あるいは色相情報を取得するため画像データの解析時に各画質パラメータの値についても取得しておき、その解析結果を利用しても良い。画像データの補正は、例えば、求めた補正量を入力値に対する出力値の関係を規定するトーンカーブに適用して修正し、かかるトーンカーブを用いて画像データの各画素のＲ、Ｇ、Ｂ値を変更することにより実行される。

画質調整が施された画像データは、プリンタドライバへ出力される。プリンタドライバでは、画像データ（ＲＧＢデータ）をＣＭＹＫデータに変換する色変換処理が実行される。すなわち、画像データの表色系をカラープリンタ２０が印刷処理を実行する際に用いる表色系であるＣＭＹＫ表色系に変換する。具体的には、ＨＤＤ３２に格納されているＲＧＢ表色系とＣＭＹＫ表色系とを対応付けたルックアップデーブルを用いて実行される。また、ハーフトーン処理、解像度変換処理が実行され、印刷用制御コマンドを含むラスタデータとしてカラープリンタ２０に出力される。

以上説明したように、本実施例に係る画像処理装置としてのパーソナルコンピュータＰＣによれば、画像データを解析して得られる特徴的色相と特徴的色相を構成する領域のテクスチャとを用いて撮影シーンを判定するので、画像データの解析に基づいて正確な撮影シーンの判定を行うことができる。

すなわち、各撮影シーンには撮影シーンを特徴付ける色相が存在するので、画像データを特徴付ける特徴的色相と各撮影シーンを特徴付ける色相とを対比することによって画像データから撮影シーンを特定することができる。また、画像データの特徴的色相により形成される領域を構成する構成画素について、周波数解析を行ってテクスチャを抽出するので、複数の撮影シーンが同一の色相を特徴的な色相とする場合であっても、撮影シーンを適切に決定することができる。

したがって、画像データに撮影シーンに関する情報が付されていない場合であっても、画像データのみから撮影シーンを特定することが可能となり、ユーザのてを煩わすことなく、画像データに対して撮影シーンに応じた画質調整を実行することができる。

・その他の実施例：
上記実施例では、画像データの特徴的色相および特徴的色相領域のテクスチャを用いて撮影シーンを判定するが、この他にも画像処理時の画像処理条件を指定する画像処理制御情報、撮影時の撮影条件を記述する撮影時情報を用いても良い。画像処理制御情報は、ディジタルスチルカメラ１０において指定された撮影シーンに対応する各画質パラメータの値を指定することが可能である。また、撮影時情報はディジタルスチルカメラ１０において設定された撮影シーンを記述することが可能である。したがって、指定された画質パラメータ値または設定された撮影シーンと画像データの解析によって得られた撮影シーンの双方を利用することによって、より適切に撮影シーンを特定し、撮影シーンに適した画質調整を実行することができる。

上記実施例では、画像データの色相、周波数を求める際に解析用縮小画像データバッファを用いているが、原画像データ（非縮小画像データ）を用いても良い。かかる場合には、より正確な解析を実行することができる。

上記実施例では、特徴的色相とテクスチャとを用いて撮影シーンを特定しているが、特徴的色相だけを用いて、あるいは、特徴的色相と撮影時情報および画像処理制御情報を用いて撮影シーンを決定しても良い。

上記実施例における人物を中心としたポートレート画像のシーン判定において、更に、全体の顔パーツのエッジに関するパターンマッチング、各々の顔パーツのパターンマッチング、学習済みニューロによる判別を行っても良い。かかる場合には、処理対象の画像データが人物を中心とする撮影画像に対応する画像データであるか否かをより正確に判定することができる。また、人物領域から顔領域を抽出することが可能なので、顔領域が暗い場合には逆光であると判定し、通常の明度補正よりも暗部を明るくする補正（ガンマ補正）を実行してもよい。

上記実施例では、テクスチャ抽出にあたって２次元フーリエ変換を用いているが、この他にもウェーブレット変換等を用いても良い。画像データの周波数解析（テクスチャ抽出）を実行することができれば良い。

上記実施例では、画像データの特徴的色相を求め、特徴的色相によって形成されている領域（かかる領域を構成する構成画素）についてテクスチャ抽出（周波数解析）を実行しているが、画像データ全体に対してテクスチャ抽出を実行してもよい。かかる場合には、テクスチャ抽出の結果と、画像データ上の領域（位置）情報とを関連付けておき、特徴的色相の領域情報と照らし合わせることによって、特徴的色相を構成する領域のテクスチャを取得することができる。

上記実施例では、特徴的色相とテクスチャとをパラメータとして予め用意された撮影シーン候補から対応する撮影シーンを決定しているが、特徴的色相とテクスチャとに基づいて随時、各画質パラメータの補正量を決定しても良い。

上記実施例では、撮影シーンという用語を用いて撮影場面に対応した画質調整を実行しているが、撮影シーンという用語を用いることなく、単に、特徴的色相とテクスチャとによって所定の画質調整パラメータからなるパラメータ群を特定し、各画質調整パラメータの値を決定しても良い。

上記実施例では、画像処理装置として、パーソナルコンピュータＰＣを用いて画像処理を実行しているが、このほかにも、例えば、画像処理機能を備えるスタンドアローン型のプリンタ、ディジタルスチルカメラを画像処理装置として用いてもよく、係る場合にはプリンタ、ディジタルスチルカメラにおいて上記画像処理が実行される。また、画像処理装置等のハードウェア構成を伴うことなく、プリンタドライバ、画像処理アプリケーション（プログラム）としても実現され得る。

以上、実施例に基づき本発明に係る画像処理装置、画像処理方法および画像処理プログラムを説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。

本実施例に係る画像処理装置としてのパーソナルコンピュータを含む画像処理システムの一例を示す説明図である。 本実施例に係るパーソナルコンピュータＰＣのＣＰＵ３０によって実現される機能をブロック図にて示す説明図である。 本実施例に係るパーソナルコンピュータにて実行される画像処理の処理ルーチンを示すフローチャートである。 空を中心とする画像データの縮小画像データバッファの一例を概念的に示す説明図である。 図４に示す縮小画像データバッファに対して２次元フーリエ変換を実行した結果得られるグラフの一例を示す説明図である。 海を中心とする画像データの縮小画像データバッファの一例を概念的に示す説明図である。 図６に示す縮小画像データバッファに対して２次元フーリエ変換を実行した結果得られるグラフの一例を示す説明図である。 画像データの特徴的色相と特徴的色相領域のテクスチャとを用いて撮影シーンを判定するためのマップの一例を示す説明図である。 判定された撮影シーンに対応する各画質パラメータの補正内容を記述するマップの一例を示す説明図である。

符号の説明

１０・・・ディジタルスチルカメラ（ＤＳＣ）
２０・・・カラープリンタ
ＰＣ・・・パーソナルコンピュータ
３０・・・中央演算装置（ＣＰＵ）
３０１・・・解析用縮小画像データ生成部
３０２・・・画像データ解析部
３０３・・・特徴的色相決定部
３０４・・・テクスチャ抽出部
３０５・・・シーン決定部
３１・・・ランダムアクセスメモリ（ＲＡＭ）
３２・・・ハードディスク（ＨＤＤ）
３３・・・カードスロット
３４・・・入出力端子
４０・・・表示装置
ＭＣ・・・メモリカード
ＣＶ・・・接続ケーブル

Claims (3)

1. 画像処理装置であって、
   画像データを取得する画像データ取得手段と、
   前記取得した画像データを解析して画像データを特徴付ける特徴的色相を決定する決定手段と、
   前記取得した画像データにおいて、前記決定された特徴的色相に対応する領域を特定する領域特定手段と、
   前記特定された領域に対応する画像データについてテクスチャの特徴を抽出するテクスチャ抽出手段と、
   前記決定された特徴的色相および抽出されたテクスチャの特徴を用いて撮影場面を判定する撮影場面判定手段であって、前記決定された特徴的色相が肌色の場合に、前記抽出されたテクスチャの特徴が低周波成分が多い場合には人を中心とした人物撮影シーンであると判定し、前記抽出されたテクスチャの特徴が高周波成分が多い場合には前記人物撮影シーン以外の撮影シーンであると判定し、前記決定された特徴的色相として特定の色相が大半を占め、前記抽出されたテクスチャの特徴が中間周波数成分が多い場合にはマクロ撮影シーンであると判定する撮影場面判定手段と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記人物撮影シーン以外の撮影シーンは、浜辺の風景シーンである画像処理装置。
3. 画像処理方法であって、
   画像データを取得し、
   前記取得した画像データを解析して画像データを特徴付ける特徴的色相を決定し、
   前記取得した画像データにおいて、前記決定した特徴的色相に対応する領域を特定し、
   前記特定した領域に対応する画像データについてテクスチャの特徴を抽出し、
   前記決定された特徴的色相が肌色の場合に、前記抽出されたテクスチャの特徴が低周波成分が多い場合には人を中心とした人物撮影シーンであると判定し、前記抽出されたテクスチャの特徴が高周波成分が多い場合には前記人物撮影シーン以外の撮影シーンであると判定し、前記決定された特徴的色相として特定の色相が大半を占め、前記抽出されたテクスチャの特徴が中間周波数成分が多い場合にはマクロ撮影シーンであると判定する画像処理方法。

Images