JP4760044B2 - 画像における主要被写体の決定 - Google Patents

Description

本発明は、画像を特徴付ける被写体である主要被写体を決定する技術に関する。

ディジタルスチルカメラ等において生成されたディジタル画像データに対しては、撮像後に任意の画質調整処理が可能であり、例えば、ユーザはレタッチソフトを用いて画質調整処理を行うことができる。一方で、的確な画質調整処理には、経験や慣れを要するため、ユーザの手を煩わせることなく基準値を用いた、いわゆる自動画質補正の技術が種々提案されている（例えば、特許文献１参照）。

特開２００１−９２９５６号公報

しかしながら、自動画質調整技術では、画像を特徴付ける主要被写体の判定が的確に実行されていることを前提にして各種画質調整が実行されるので、主要被写体の判定を誤ると却って画質の低下を招いてしまう。したがって、画像データに対する自動画質調整技術においては、例えば、画像を特徴付ける主要被写体が何であるかといった画像データの特徴を正確に解析することが重要であり、主要被写体を的確に判定するための技術が望まれる。

本発明は、上記課題を解決するためになされたものであり、画像を特徴付ける被写体である主要被写体を正しく判定することを目的とする。

上記課題を解決するために本発明の第１の態様は、画像を特徴付ける被写体である主要被写体を決定する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、判定の対象となる画像のデータであって、複数の画素データから構成される画像データを取得する画像データ取得手段と、前記画像を複数の領域に分割した際の各領域に対応して前記画像データを複数の画素データ群に分割し、前記画像データを前記画素データ群単位にて解析し、前記各画素データ群が示す色域を決定する色域決定手段と、特定の色域を示す画素データ群について、同一の色域を示すと共に互いに隣接する画素データ群を関連付けて色域領域を形成する色域領域形成手段と、前記色域領域についての位置情報を取得する位置情報取得手段と、前記特定の色域に対応する被写体が存在すべき位置を規定する位置条件を取得する位置条件取得手段と、前記色域領域の色域および位置情報と前記位置条件とを用いて、前記色域領域に対応する主要被写体を決定する主要被写体決定手段とを備えることを特徴とする。

本発明の第１の態様に係る画像処理装置によれば、各画素データ群が示す色域を決定し、特定の色域を示す画素データ群について、同一の色域を示すと共に互いに隣接する画素データ群を関連付けて色域領域を形成し、色域領域の色域および位置情報と特定の色域に対応する被写体が存在すべき位置を規定する位置条件とを用いて、色域領域に対応する主要被写体を決定するので、画像を特徴付ける被写体である主要被写体を正しく判定することができる。

本発明の第１の態様に係る画像処理装置において、前記主要被写体決定手段は、前記色域領域が空色の色域を示し、前記色域領域の存在位置が前記画像の上方領域である場合には、前記主要被写体を空に決定しても良い。かかる場合には、空色の色域を有すると共に、画像において空が存在する確率の高い画像の上方領域に存在する色域領域に対応する主要被写体を空と決定するので、主要被写体としての空を正しく判定することができる。

本発明の第１の態様に係る画像処理装置において、前記主要被写体決定手段は、前記色域領域が緑色の色域を示し、前記色域領域の存在位置が前記画像の下方領域である場合には、前記主要被写体を植物に決定しても良い。かかる場合には、緑色の色域を有すると共に、画像において草、森、木立といった植物が存在する確率の高い画像の下方領域に存在する色域領域に対応する主要被写体を植物と決定するので、主要被写体としての植物を正しく判定することができる。

本発明の第１の態様に係る画像処理装置において、前記主要被写体決定手段は、前記色域領域が肌色の色域を示し、前記色域領域の存在位置が前記画像の中央領域を含む領域である場合には、前記主要被写体を人に決定しても良い。かかる場合には、肌色の色域を有すると共に、画像において人が存在する確率の高い画像の中央領域に存在する色域領域に対応する主要被写体を人と決定するので、主要被写体としての人を正しく判定することができる。

本発明の第２の態様は、画像を特徴付ける被写体である主要被写体を決定する画像処理装置を提供する。本発明の第２の態様に係る画像処理装置は、判定の対象となる画像のデータである画像データを取得する画像データ取得手段と、前記画像データを複数の領域に分割し、領域単位にて解析する画像データ解析手段と、前記画像データの各領域の位置情報を取得する位置情報取得手段と、取得した前記位置情報と前記解析結果とを用いて前記主要被写体を決定する判定手段とを備えることを特徴とする。

本発明の第２の態様に係る画像処理装置によれば、取得した画像データの各領域の位置情報と解析結果とを用いて主要被写体を決定するので、画像を特徴付ける被写体である主要被写体を正しく判定することができる。

本発明の第２の態様に係る画像処理装置において、前記解析結果は、前記画像データの前記各領域が有する色域の情報を含み、前記主要被写体の決定は、前記画像データの各領域の前記位置情報および前記色域情報と、色域と存在位置とによって被写体を規定する被写体判定条件とを用いて実行されても良い。かかる場合には、画像データの各領域の色域および位置情報と、色域と存在位置とによって被写体を規定する被写体判定条件とを用いて主要被写体を決定するので、画像を特徴付ける被写体である主要被写体を更に精度良く判定することができる。

本発明の第２の態様に係る画像処理装置において、前記主要被写体決定手段は、前記領域の色域が空色であり、前記領域の存在位置が前記画像の上方領域である場合には、前記主要被写体を空に決定しても良い。かかる場合には、空色の色域を有すると共に、画像において空が存在する確率の高い画像の上方領域に存在する領域に対応する主要被写体を空と決定するので、主要被写体としての空を正しく判定することができる。

本発明の第２の態様に係る画像処理装置において、前記主要被写体決定手段は、前記領域の色域が緑色であり、前記領域の存在位置が前記画像の下方領域である場合には、前記主要被写体を植物に決定しても良い。かかる場合には、緑色の色域を有すると共に、画像において草、森、木立といった植物が存在する確率の高い画像の下方領域に存在する領域に対応する主要被写体を植物と決定するので、主要被写体としての植物を正しく判定することができる。

本発明の第２の態様に係る画像処理装置において、前記主要被写体決定手段は、前記領域の色域が肌色であり、前記色域の存在位置が前記画像の中央領域を含む領域である場合には、前記主要被写体を人に決定しても良い。かかる場合には、肌色の色域を有すると共に、画像において人が存在する確率の高い画像の中央領域に存在する領域に対応する主要被写体を人と決定するので、主要被写体としての人を正しく判定することができる。

本発明の第１または第２の態様に係る画像処理装置において、前記各領域は１の画素で構成されており、前記各領域に対応する前記複数の画素データ群は１の画素データで構成されていても良く、あるいは、前記各領域は複数の画素で構成されており、前記各領域に対応する前記複数の画素データ群は複数の画素データで構成されていても良い。

本発明の第３の態様は、画像を特徴付ける被写体である主要被写体を決定する画像処理装置を提供する。本発明の第３の態様に係る画像処理装置は、判定の対象となる画像のデータであって、複数の画素データから構成される画像データを取得する画像データ取得手段と、前記画像を複数の領域に分割した際の各領域に対応して前記画像データを複数の画素データ群に分割し、前記画像データを前記画素データ群単位にて解析する画像データ解析手段と、前記各画素データ群の位置情報を取得する位置情報取得手段と、取得した前記位置情報と解析結果とを用いて前記主要被写体を決定する主要被写体決定手段とを備えることを特徴とする。

本発明の第３の態様に係る画像処理装置によれば、取得した各画素データ群の位置情報と解析結果とを用いて主要被写体を決定するので、画像を特徴付ける被写体である主要被写体を正しく判定することができる。

本発明の第３の態様に係る画像処理装置において、前記解析結果は、前記各画素データ群が示す色域の情報を含み、
前記主要被写体決定手段は、被写体を色域と存在位置とによって識別するための被写体判定条件を取得する被写体判定条件取得手段と、前記画素データ群の色域および位置情報と、前記取得した被写体判定条件とを用いて前記主要被写体を判別する主要被写体判別手段とを備えても良い。

かかる場合には、画素データ群の色域および位置情報と、取得した被写体を色域と存在位置とによって識別するための被写体判定条件とを用いて主要被写体を判別するので、画像を特徴付ける被写体である主要被写体を更に精度良く判定することができる。

本発明の第３の態様に係る画像処理装置において、前記主要被写体判別手段は、前記画素データ群の色域が空色であり、前記画素データ群の存在位置が前記画像の上方領域である場合には、前記主要被写体を空に決定しても良い。かかる場合には、空色の色域を有すると共に、画像において空が存在する確率の高い画像の上方領域に存在する画素データ群に対応する主要被写体を空と決定するので、主要被写体としての空を正しく判定することができる。

本発明の第３の態様に係る画像処理装置において、前記主要被写体判別手段は、前記画素データ群の色域が緑色であり、前記画素データ群の存在位置が前記画像の下方領域である場合には、前記主要被写体を植物に決定しても良い。かかる場合には、緑色の色域を有すると共に、画像において草、森、木立といった植物が存在する確率の高い画像の下方領域に存在する画素データ群に対応する主要被写体を植物と決定するので、主要被写体としての植物を正しく判定することができる。

本発明の第３の態様に係る画像処理装置において、前記主要被写体判別手段は、前記画素データ群の色域が肌色であり、前記画素データ群の存在位置が前記画像の中央領域を含む領域である場合には、前記主要被写体を人に決定しても良い。かかる場合には、肌色の色域を有すると共に、画像において人が存在する確率の高い画像の中央領域に存在する画素データ群に対応する主要被写体を人と決定するので、主要被写体としての人を正しく判定することができる。

本発明の第１ないし第３の態様に係る画像処理装置において、前記色域は少なくとも色相をパラメータに含んでも良い。色相は、主要被写体を特徴付けるパラメータとして有用であり、色相を色域のパラメータとすることによって、主要被写体の判定精度を向上させることができる。

本発明の第４の態様は、画像を特徴付ける被写体である主要被写体を決定する方法を提供する。本発明の第４の態様に係る方法は、判定の対象となる画像のデータであって、複数の画素データから構成される画像データを取得し、前記画像を複数の領域に分割した際の各領域に対応して前記画像データを複数の画素データ群に分割し、前記画像データを前記画素データ群単位にて解析して、前記各画素データ群が示す色域を取得し、特定の色域を示す画素データ群について、同一の色域を示す画素データ群を関連付けて色域領域を形成し、前記色域領域についての位置情報を取得し、前記特定の色域に対応する被写体が存在すべき位置を規定する位置条件を取得し、前記取得した色域領域の色域および位置情報と前記位置条件とを用いて前記画像を特徴付ける主要被写体を決定することを特徴として備える。

本発明の第４の態様に係る方法によれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第４の態様に係る方法は、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。

本発明の第５の態様は、画像を特徴付ける被写体である主要被写体を決定する方法を提供する。本発明の第５の態様に係る方法は、判定の対象となる画像のデータである画像データを取得し、前記画像データを複数の領域に分割し、領域単位にて解析し、前記画像データの各領域の位置情報を取得し、取得した前記位置情報と前記解析結果とを用いて前記主要被写体を決定することを特徴として備える。

本発明の第５の態様に係る方法によれば、本発明の第２の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第５の態様に係る方法は、本発明の第２の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。

本発明の第６の態様は、画像を特徴付ける被写体である主要被写体を決定する方法を提供する。本発明の第６の態様に係る方法は、判定の対象となる画像のデータであって、複数の画素データから構成される画像データを取得し、前記画像を複数の領域に分割した際の各領域に対応して前記画像データを複数の画素データ群に分割し、前記画像データを前記画素データ群単位にて解析し、前記各画素データ群の位置情報を取得し、取得した前記位置情報と解析結果とを用いて前記主要被写体を決定することを特徴として備える。

本発明の第６の態様に係る方法によれば、本発明の第３の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第６の態様に係る方法は、本発明の第３の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。

本発明の第４ないし第６の態様に係る方法は、この他にも、プログラム、およびプログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。

以下、本発明に係る画像処理装置、および画像処理方法について図面を参照しつつ、実施例に基づいて説明する。

図１および図２を参照して本実施例に係る画像処理装置を含む画像処理システムについて説明する。図１は本実施例に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。図２は本実施例に係る画像処理装置の概略構成を示す説明図である。

画像処理システムは、画像データ生成装置としてのディジタルスチルカメラ１０、画像データＧＤに対する画像処理を実行する画像処理装置としての表示装置２０、パーソナルコンピュータ３０、カラープリンタ４０を備えている。

ディジタルスチルカメラ１０は、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管といった光電変換素子）に結像させることによりディジタル画像データを取得（生成）するカメラである。ディジタルスチルカメラ１０は、例えば、各構成画素に対してＲ、Ｇ、Ｂの各フィルタが所定の規則に従って配置されたＣＣＤを備え、被写体に対応したディジタル画像データを生成する。より具体的には、Ｒフィルタを有する画素においては、Ｒ成分の画素データを直接取得する他、周囲の画素データを基にしてＧ成分、Ｂ成分の画素データを補間演算によって生成する。生成された画像データは、記憶装置としてのメモリカードＭＣに保存される。ディジタルスチルカメラ１０における画像データの保存形式としては、非可逆圧縮保存方式としてＪＰＥＧデータ形式、可逆圧縮保存方式としてＴＩＦＦデータ形式が一般的であるが、この他にもＲＡＷデータ形式、ＧＩＦデータ形式、ＢＭＰデータ形式等の保存形式が用いられ得る。なお、画像データ生成装置としては、この他にもスキャナ等の撮像装置が用いられても良い。

表示装置２０は、画像を表示するための表示ディスプレイ２１を有する、例えば、電子式の写真フレームとして機能する表示装置であり、スタンドアローンにて後述するカラープリンタ４０における画像処理と同等の画像処理を画像データに対して実行し、出力画像を表示する。表示装置２０は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルスチルカメラ１０、ネットワーク上のサーバ（図示しない）から画像データを取得する。表示ディスプレイ２１は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。

パーソナルコンピュータ３０は、例えば、汎用タイプのコンピュータであり、ＣＰＵ、ＲＡＭ、ハードディスク等を備えて、後述するカラープリンタ４０における画像処理と同等の画像処理を実行する。パーソナルコンピュータ３０は、この他にも、メモリカードＭＣを装着するためのメモリカードスロット、ディジタルスチルカメラ１０等からの接続ケーブルを接続するための入出力端子を備えている。

カラープリンタ４０は、カラー画像の出力が可能なプリンタであり、本実施例では、スタンドアローンにて、画像データに対する画像処理を実行して、画像を出力する。カラープリンタ４０は、図２に示すように、制御回路４１、入出力操作部４２、印刷画像出力部４３、メモリカードスロット４４、データ入出力部４５を備えている。

制御回路４１は、画像データに対する画像処理、解析処理等の各種演算処理を実行する中央演算装置（ＣＰＵ）４１１、画像処理が施された画像データ、演算結果等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）４１２、ＣＰＵ１１１によって実行されるプログラム、画像を特徴付ける被写体である主要被写体を識別するための被写体判定条件の各パラメータを示すテーブル等を格納するリードオンリメモリ（ＲＯＭ）／ハードディスクドライブ（ＨＤＤ）４１３を備えている。

入力操作部４２は、外部からの入力を受け付けるインターフェース部であり、例えば、キー操作部、スクロール操作部、タッチパネル式操作部として実現される。

印刷画像出力部４３は、制御回路４１から出力される印刷用画像データに基づいて、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式の印刷画像出力部である。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式の印刷画像出力部である。色インクには、上記４色に加えて、ライトシアン（薄いシアン、ＬＣ）、ライトマゼンタ（薄いマゼンタ、ＬＭ）、ブルー、レッドを用いても良い。

メモリカードスロット４４は、各種メモリカードを装填するための装填部であり、メモリカードスロット１４に装填されたメモリカードに対する読み出しまたは書き込みは、制御回路４１によって実行される。

データ入出力部４５は、接続ケーブルＣＶ等が接続される端子、信号変換処理機能を有し、外部器機との間で画像データをやりとりするために用いられる。

図３を参照してカラープリンタ４０が備える制御回路４１によって実現されるモジュールの概略について説明する。図３は本実施例に係るカラープリンタ４０が備える制御回路４１によって実現される機能モジュールのブロック図である。なお、図３に示す各モジュールは、ＣＰＵ４１１単独で、あるいは制御回路４１として実現され、また、ハードウェア、ソフトウェアのいずれによっても実現され得る。

画像データは、画像データ取得モジュールＭ１によって制御回路４１に取得され、画像データ解析モジュール（色域取得モジュール）Ｍ２に送られる。

画像データ解析モジュールＭ２は、画像データを複数の領域（複数の画素データ群）に分割し、各分割領域毎に色域を決定する。画像の各領域は１または複数の画素で構成されており、各領域に割り当てられる画像データの複数の領域（複数の画素データ群）はそれぞれ１または複数の画素データによって構成されている。色域領域形成モジュールＭ３は、決定された色域の情報を用いて同一の色域を示すと共に隣接する画像データの領域を関連付けて色域領域を形成する。位置情報取得モジュールＭ４は、画像データの解析結果を利用して形成された色域領域について画像の上方に存在する画像の縁部を形成しているといった位置情報を取得する。位置条件取得モジュールＭ５は、特定の色域を示す被写体が存在すべき位置を規定する位置条件を取得する。

主要被写体決定モジュールＭ６は、色域領域の色域および位置情報と、位置条件とを用いて色域領域に対応する主要被写体を決定する。主要被写体決定モジュールＭ６は、被写体判定条件取得モジュールＭ６１および主要被写体判別モジュールＭ６２としても実現され得る。かかる場合には、色域領域形成モジュールＭ３および位置条件取得モジュールＭ５は備えることなく、主要被写体を決定することができる。主要被写体条件取得モジュールＭ６１は、被写体を色域と存在位置とによって識別するための被写体判定条件を取得し、主要被写体判別モジュールＭ６２は、画素データ群（領域）の色域および位置情報と、被写体判定条件とを用いて主要被写体を決定する。

画質調整モジュールＭ７は、主要被写体決定モジュールＭ６によって決定された主要被写体の情報を用いて、画像データの主要被写体に対応する領域（あるいは、画素データ群）に対して決定された主要被写体に応じた画質調整を実行する。画像出力モジュールＭ８は、画質調整が施された画像データを用いて出力画像を出力する。

図４〜図１１を参照して、本実施例に係る画像処理装置としてのカラープリンタ４０にて実行される主要被写体判別処理について説明する。図４は処理対象となる画像の一例を模式的に示す説明図である。図５は本実施例に係るカラープリンタにおいて実行される主要被写体判定処理の処理ルーチンを示すフローチャートである。図６は本実施例に係るカラープリンタにおいて実行される主要被写体の判定処理の過程を模式的に示す説明図である。図７は画像データの領域（画素データ群）の解析結果の一例を示す説明図である。図８は本実施例に係るカラープリンタにおいて実行される主要被写体の判定処理の他の過程を模式的に示す説明図である。図９は図８に続く主要被写体の判定処理の過程を模式的に示す説明図である。図１０は画素データ群を示す色相を決定するために用いられる判定しきい値を格納するテーブルの一例を模式的に示す説明図である。図１１は画素データ群（色域領域）に対応する被写体を決定するために用いられる被写体判定条件の一例を示す説明図である。

本処理ルーチンの対象となる画像データＧＤは図４に示す画像に対応する画像データＧＤである。以下の説明で用いる、画像上方、画像中央、画像下方、画像縁部はそれぞれ図４に示す部位、領域を指す。

図５の処理ルーチンは、例えば、カラープリンタ４０のメモリスロット４４にメモリカードＭＣが差し込まれたとき、あるいは、ケーブルＣＶを介してカラープリンタ４０にディジタルスチルカメラ１０が接続されたときに開始される。

制御回路４１（ＣＰＵ４１１）は、画像処理を開始すると、選択された画像データＧＤを取得してＲＡＭ４１２に一時的に格納する（ステップＳ１００）。一般的に、ディジタルスチルカメラ１０において生成された画像データＧＤは、ＹＣｂＣｒデータであるため、ＣＰＵ４１１は、選択された画像データＧＤが開かれるとＹＣｂＣｒデータをＲＧＢデータへと変換する。画像データＧＤの選択は、例えば、カラープリンタ４０と有線または無線にて接続されているディジタルスチルカメラ１０上において行われていても良く、あるいは、カラープリンタ４０上において、メモリカードＭＣに格納されている画像データＧＤの中から選択されても良い。さらには、ネットワークを介してサーバ上に格納されている複数の画像データＧＤから選択されても良い。

ＣＰＵ４１１は、選択された画像データＧＤを図６に示すように複数の領域、例えば６４の領域（画素データ群）に分割する（ステップＳ１１０）。ただし、図６は説明を容易にするため画像データＧＤがメモリ上に展開された仮想状態を模式的に示している。具体的に説明すると、画像データＧＤは複数の画素データから構成されており、各画素データには、例えば、ｘ−ｙ座標で示される位置情報が割り振られている。そこで、位置情報を利用して、画像を複数の領域に分割した各領域と各領域に対応する画素データ群とを対応付けることで、図６に示すように画像の分割領域と画像データＧＤの仮想的な分割領域とを対応付けることができる。本明細書中では、画像の分割領域に併せて分割された画像データＧＤの分割単位を、画像データＧＤの領域または画素データ群という。また、図５に示すフローチャートは、画像データの領域または画素データ群が複数の画素データから構成されている場合について各ステップを示している。画像データの領域または画素データ群が一の画素データから構成されている場合には、ステップＳ１１０は省略され、ステップＳ１２０における「領域単位」は「画素（画素データ）」と、Ｓ１３０における「各領域」は「各画素（各画素データ）」と、Ｓ１４０における「同一の色域を有する領域」は、「同一の色域を有する画素（画素データ）」と読み替えられる。

ＣＰＵ４１１は、画像データＧＤを領域単位にて解析し（ステップＳ１２０）、画像データＧＤの各領域の色域（色彩値）を決定する（ステップＳ１３０）。以降の説明では説明を簡潔にするため、色域のパラメータとして色相を用いる場合について説明する。具体的には、ＣＰＵ４１１は、例えば、ＲＧＢ画像データＧＤをＨＳＶ画像データに変換し、画像データの各領域単位にて色相について、図７に示すようなヒストグラムを生成する。ここで、ＨＳＶ色空間は、色相Ｈ、彩度Ｓ、輝度Ｖによって画像データＧＤを表す色空間である。画像データＧＤの色相Ｈは、この他にもＨＳＬ色空間へと画像データＧＤを変換することによっても得ることができる。ＲＧＢ画像データＧＤをＨＳＶ画像データへと変換するにあたっては、Ｒ，Ｇ，Ｂ成分を有する各画素データに対して以下の式（１）〜（３）が適用される。

ここで、Ｖmax＝max{Ｒ,Ｇ,Ｂ}、Ｖmin＝min{Ｒ,Ｇ,Ｂ}である。Ｖmax＝Ｖminの場合には、色相は不定（無彩色）となる。また、色相Ｈ＜０の場合には、算出された色相Ｈに２πを加える。この結果、色相Ｈの値域は０〜２πとなるが、本実施例では、値域を０〜３６０度として色相Ｈを表す。

図７に示すヒストグラムにおいて、肌色に対応する色相範囲はＲfl、緑色に対応する色相範囲はＲgr、空色に対応する色相範囲はＲsk、赤色に対応する色相範囲はＲrdにてそれぞれ示されている。図７に例示するヒストグラムでは、空色の色相が高い頻度で現れており、解析の対象となった画像データ領域空を中心とする被写体に対応するものであることが推察できる。

ＣＰＵ４１１は、画像データＧＤの各領域を構成する全画素データ数に対する特定の色相を示す画素データ数の割合を求め、その中で最も高い割合を示す特定の色相範囲の割合を最大割合Ｈumaxに決定する。具体的には、各画素データは、Ｒ、Ｇ、Ｂ成分によって特定の色相を表しているので、特定の色相について各色相を示す画素データ数をそれぞれ算出し、次の式（４）を用いて、画像データＧＤの各領域における各色相の割合Ｈurateを算出する。

ＣＰＵ４１１は、各色相の割合Ｈurateと画像データＧＤの各領域の色相（各領域を代表する色相、各領域が示す色相）を判定するための色相判定しきい値（Ｈuref_sk、Ｈuref_gr、Ｈuref_fl、Ｈuref_rd）を用いて（図１０参照）、画像データＧＤの各領域の色相を決定する。ここで、色相判定しきい値は、色相毎に値が異なっており、複数の色相が色相判定しきい値を満たす場合には、例えば、より低い（小さい）値の色相判定しきい値に対応する色相を、画像データＧＤの領域の色相とすればよい。

ＣＰＵ４１１は、画像データＧＤの各領域について色相を決定すると、隣接する同一色域の領域を関連付けて、色域領域を決定する（ステップＳ１４０）。具体的には次の通り実行される。図６に示すように、左上の領域（０，０）から矢印Ｘが示す方向へと各領域を走査して各領域の色域を判定し、同一の色域の領域については同一の符号を付していく。図６の例では、空色の色相を示す領域にはＳｎ、肌色の色相を示す領域にはＦｎの符号、赤色の色相を示す領域にはＲｎが付される（ｎは同一色相の色域領域を区別するための番号）。ＣＰＵ４１１は、右上の領域（７，０）に到達したところで、矢印Ｙが示す方向へ１つ移動し、同様にして矢印Ｘが示す方向へと領域の走査、領域の色域の判定を右下の領域（７，７）まで繰り返して実行する。図６の例では、空色の色域を示す色域領域が２つ（Ａ１、Ａ２）存在し、肌色の色域を示す色域領域が１つ（Ａ３）存在する。

色域領域の決定処理の他の例について、図８および図９を参照して説明する。図８に示すように、この他の例では、当初、空色の色域を示す色域領域が３つ（Ａ４、Ａ５、Ａ６）存在し、肌色の色域を示す色域領域が１つ（Ａ７）存在する。これは、領域（０，３）の隣接領域に空色を示す領域が存在しないからである。しかしながら、領域（０，３）から始まる空色の色域領域Ａ５は領域（７，３）において空色の色域領域Ａ４の領域（７，２）と隣接する。そこで、ＣＰＵ４１１は、図９に示すように、空色の色域領域Ａ４と空色の色域領域Ａ５は同一の色域領域Ａ４であると判定し、色域領域Ａ５の各領域にはＳ１の符号をふり直し、新たに色域領域Ａ４を決定する。

ＣＰＵ４１１は、色域領域を決定すると、各色域領域、例えば、図６においてはＡ１〜Ａ３の位置情報を取得する（ステップＳ１５０）。既述の通り、各領域を構成する画素データには予め位置情報が割り振られているので、例えば、この位置情報を利用して各色域領域の境界位置を特定し、各色域領域の位置情報として取得する。

ＣＰＵ４１１は、ＲＯＭ/ＨＤＤ４１３から位置条件（被写体判定条件）を取得する（ステップＳ１６０）。位置条件（被写体判定条件）は、色域領域が所定の被写体に該当するか否かを、色域領域の色域と位置情報にて判定するために用いられる判定条件であり、例えば、図１１に示すようなテーブルとしてＲＯＭ/ＨＤＤ４１３に格納されている。具体的な手法の一例について説明する。

ＣＰＵ４１１は、先ず色域領域の色相に基づいて、各色域領域に対応する主要被写体候補を「空、緑、人」のいずれかに絞る。図６の例では、色域領域Ａ１、Ａ２は空色を示すため、「空」が主要被写体候補となり、色域領域Ａ３は肌色を示すため、「人（顔）」が主要被写体候補となる。

ＣＰＵ４１１は次に、色域領域Ａ１、Ａ２の位置情報と、空に対応する位置条件とを対比して主要被写体を決定し（ステップＳ１７０）、本処理ルーチンを終了する。位置条件は、空に対しては画像上方かつ画像縁部と接していることが、緑色に対しては画像下方かつ画像縁部と接していることが、肌色に対しては画像中央であることが規定されている。言い換えれば、位置条件は、空に対しては領域（ｘ，０）：０≦ｘ≦７、領域（０，ｙ）：０≦ｙ≦２、領域（７，ｙ）：０≦ｙ≦５のいずれかを含むことが規定されている。また、緑に対しては領域（ｘ，７）：０≦ｘ≦７、領域（０，ｙ）：４≦ｙ≦７、領域（７，ｙ）：４≦ｙ≦７のいずれかを含むことが規定されている。さらに、人に対しては領域（ｘ，ｙ）：２≦ｘ≦５、２≦ｙ≦５のいずれかを含むことが規定されている。

この条件を考慮すると、色域領域Ａ１は、位置条件を満たす領域、例えば、領域（０，０）を含むので、対応する主要被写体は「空」であると決定することができる。一方、色域領域Ａ２は、位置条件を満たす領域を含んでいないので、対応する主要被写体は「空」でないと決定することができる。色域領域Ａ２は、例えば、空色の被服に該当する。

色域領域Ａ３は、位置条件を満たす領域、例えば、領域（３，４）を含むので、対応する主要被写体は「人（顔）」であると決定することができる。

以上説明したとおり、本実施例に係る画像処理装置としてのカラープリンタ４０によれば、画像を特徴付ける被写体である主要被写体を判別（決定）する際に、画像データＧＤを複数の領域に分割（区画）し、同一の色域を示す隣接領域を関連付けて色域領域を決定し、色域領域が示す色域および色域領域の位置情報を用いて色域領域が対応する主要被写体を決定する。すなわち、色域領域に対応する主要被写体の判定に際して、特定の主要被写体が有すべき色域情報のみならず、特定の主要被写体が存在すべき位置条件を用いて判定を実行する。したがって、色域情報のみを用いて主要被写体を判定する場合と比較して、その判定精度を向上、すなわち判定誤差を低減することができる。具体的には、上述の通り、色域情報のみを用いた場合には、画像中央付近に存在する空色の被服に対応する色域領域を「空」と誤判定する可能性が高いが、本実施例に係る画像処理装置、画像処理方法によれば、「空」が存在すべき位置条件を考慮するので、空色の被服を「空」と誤判定することがない。

・その他の実施例：
（１）主要被写体判定処理の処理の他の実施例について図１２を参照して説明する。図１２は他の実施例に係るカラープリンタにおいて実行される主要被写体判定処理の処理ルーチンを示すフローチャートである。なお、図１２に示すステップのうち、図５に示すステップと同様のステップについては簡単な説明に止める。

図１２の処理ルーチンは、例えば、カラープリンタ４０のメモリスロット４４にメモリカードＭＣが差し込まれたとき、あるいは、ケーブルＣＶを介してカラープリンタ４０にディジタルスチルカメラ１０が接続されたときに開始される。

制御回路４１（ＣＰＵ４１１）は、画像処理を開始すると、選択された画像データＧＤを取得すると共に、画像データＧＤに付随するＥｘｉｆ情報を取得してＲＡＭ４１２に一時的に格納する（ステップＳ１００Ａ）。Ｅｘｉｆ情報は、ディジタルスチルカメラ１０によって生成される画像データを含むファイルフォーマットの統一規格であるＥｘｉｆ（Exchangeable image file format）に準拠するＥｘｉｆファイルにおいて画像データと共に記録される撮影時の条件を示す情報である。Ｅｘｉｆの規格は、財団法人電子情報技術産業協会によって取りまとめられている。Ｅｘｉｆ情報としては、例えば、露出時間、光源、被写体領域、撮影シーンタイプ、撮影時間（原画像データの生成日時またはディジタルデータの生成日時）、ジャイロ情報（正位置からの回転角度）が記述されている。Ｅｘｉｆ情報は、ファイルのヘッダ部にオフセット情報と実情報とを含む形式で記載されており、各情報に対して規定されているオフセット情報に基づいて必要な情報にアクセスすることができる。画像データＧＤ（画像ファイル）の選択は既述のようにして行われる。

ＣＰＵ４１１は、既述のように、選択された画像データＧＤを図６に示すように複数の領域、例えば６４の領域（画素データ群）に分割する（ステップＳ１１０）。ＣＰＵ４１１は、画像データＧＤを領域単位にて解析し（ステップＳ１２０）、画像データＧＤの各領域の色域（色相）を決定する（ステップＳ１３０）。ＣＰＵ４１１は、画像データＧＤの各領域について色相を決定すると、隣接する同一色域の領域を関連付けて、色域領域を決定する（ステップＳ１４０）。ＣＰＵ４１１は、色域領域を決定すると、各色域領域、例えば、図６においてはＡ１〜Ａ３の位置情報を取得する（ステップＳ１５０）。ステップＳ１２０〜Ｓ１５０における具体的な処理については図５を用いて説明済みであるから説明を省略する。

ＣＰＵ４１１は、ＲＯＭ／ＨＤＤ４１３から位置条件（被写体判定条件）を取得し、先に取得したＥｘｉｆ情報を考慮して位置条件（被写体判定条件）を決定する（ステップＳ１６０Ａ）。位置条件（被写体判定条件）は、色域領域が所定の被写体に該当するか否かを、色域領域の色域と位置情報にて判定するために用いられる判定条件であり、例えば、図１１に示すようなテーブルとしてＲＯＭ/ＨＤＤ４１３に格納されている。また、本実施例では、図１１に示すテーブルから得られた位置条件を、例えば、ジャイロ情報を考慮して修正し、最終的な位置条件（被写体判定条件）を決定する。

すなわち、図１１に示す位置条件では、空に対しては画像上方かつ画像縁部と接していることが、緑色に対しては画像下方かつ画像縁部と接していることが、肌色に対しては画像中央であることが規定されている。しかしながら、例えば、撮影者がディジタルスチルカメラ１０を逆さまに構えて撮影した場合には、天地が反転するため空は画像下方かつ画像縁部と接することとなり、緑色の対象物は画像上方かつ画像縁部と接することとなる。この結果、ディジタルスチルカメラ１０を正位置に構えて撮影することを前提とした図１１に示す位置条件を用いることができなくなる。

そこで、本実施例では、正位置に対する回転角度を示すジャイロ情報を考慮して、位置条件を修正し、最終的な位置条件を決定する。上記例の場合には、ジャイロ情報は約１８０度の値を示しているため、図１１に示す位置条件は、それぞれ、空は画像下方かつ画像縁部と接しており、緑色の対象物は画像上方かつ画像縁部と接していると修正される。なお、この他にも、ディジタルスチルカメラ１０が正位置に対して左に約９０度回転させて用いられる場合には、空は画像側方（例えば、右側方）かつ画像縁部と接しており、緑色の対象物は画像側方（例えば、左側方）かつ画像縁部と接していると修正される。ジャイロ情報は、左回り、右回りのいずれかを基準として０〜３５９度の値で表される。

ＣＰＵ４１１は、色域領域の位置情報と、位置条件と、Ｅｘｉｆ情報とを対比して主要被写体を決定し（ステップＳ１７０Ａ）、本処理ルーチンを終了する。位置条件を考慮すると、図６に示す色域領域Ａ１は、位置条件を満たす領域、例えば、領域（０，０）を含むので、対応する主要被写体は「空」であると決定することができる。さらに、Ｅｘｉｆ情報に含まれる時刻情報を考慮することによって、色域領域Ａ１の色相が、昼間の場合には空色、夕方の場合には赤色、夜間の場合には黒色のいずれかの色相を示す場合には、色域領域Ａ１に対応する主要被写体は「空」であると決定することができる。あるいは、Ｅｘｉｆ情報に含まれる撮影シーンタイプを考慮することによって、色域領域Ａ１の色相が、撮影シーンタイプが風景を示す場合には空色、夕景を示す場合には赤色、夜景を示す場合には黒色のいずれかの色相を示す場合には、色域領域Ａ１に対応する主要被写体は「空」であると決定しても良い。

さらに、撮影シーンタイプが人物（ポートレート）を示す場合には、位置条件を満たす領域を含んでいないことに加え、主要被写体は「人」であることから、図６に示す色域領域Ａ２が、たとえ、空色の色相を示す場合であっても、対応する主要被写体は「空」でないと決定することができる。色域領域Ａ２は、例えば、空色の被服に該当する。

また、撮影シーンタイプが人物（ポートレート）を示す場合には、図６に示す色域領域Ａ３は、位置条件を満たす領域、例えば、領域（３，４）を含むと共に、主要被写体は「人」であることから、対応する主要被写体は「人（顔）」であるとより精度良く決定することができる。

Ｅｘｉｆ情報を用いる上記実施例によれば、撮影条件を参照することによって、主要被写体が何であるかをより精度良く特定することができる。

（２）上記実施例では、色域領域の位置情報として色域領域を構成する各領域の位置情報を用いているが、色域領域を構成する各画素データの位置情報を用いても良い。かかる場合には、より具体的に、位置条件との対比を行うことが可能となり、色域領域の位置判定精度をさらに向上させることができる。

（３）上記実施例では、主要被写体の判定に際して、同一色域を有する隣接領域を関連付けた色域領域を用いているが、色域領域を用いることなく領域単位、または画素データ単位にて主要被写体の判定を行っても良い。領域単位で主要被写体の判定が行われる場合には、先ず、各領域について対応する主要被写体を決定し、後に同一の主要被写体に対応する全領域をまとめることにより、主要被写体に対応する画像データＧＤの領域を形成することができる。より詳細には、位置条件（被写体判定条件）として、所定の主要被写体に対応する領域が満たすべき領域の色域および位置情報を規定しておき、各領域の色域および位置情報と対比することによって実行される。

あるいは、画素データ単位で主要被写体の判定が行われる場合には、先ず、各画素データについて対応する主要被写体を決定し、後に同一の主要被写体に対応する全画素データをまとめることにより、主要被写体に対応する画像データＧＤの領域（画素データ群）を形成することができる。より詳細には、位置条件（被写体判定条件）として、所定の主要被写体に対応する画素データが満たすべき領域の色域および位置情報を規定しておき、各画素データの色域および位置情報と対比することによって実行される。かかる場合には、色域および位置の両面から、より正確に主要被写体を特定することができる。

（４）上記実施例では画像データＧＤの各領域（画素データ群）の色域のパラメータとして色相Ｈのみを用いた場合について説明しているが、色相Ｈに加えて、彩度Ｓ、明度（輝度）Ｖの少なくとも１つをパラメータとして加え、総合的に判断しても良い。さらに、ＨＳＶ色空間に代えて、ＲＧＢ色空間、または、ＹＣｂＣｒ色空間にて、画像データＧＤの各領域（画素データ群）の色域を特定しても良い。

（５）上記実施例では、画像処理装置として、カラープリンタ４０が用いられているが、この他にも、表示装置２０、パーソナルコンピュータ３０が用いられても良い。かかる場合にも上記実施例と同等の効果を得ることができる。

（６）上記実施例では、画像処理がソフトウェア的に、すなわちコンピュータプログラムの態様にて実行されているが、上記各処理（ステップ）を実行する論理回路を備えた画像処理ハードウェア回路を用いて実行されてもよい。かかる場合には、４１１の負荷を軽減することができると共に、より高速な各処理を実現することができる。画像処理ハードウェア回路は、例えば、表示装置２０およびカラープリンタ４０に対しては実装回路として、パーソナルコンピュータ３０に対してはアドオンカードとして実装され得る。

以上、実施例に基づき本発明に係る画像処理装置、画像処理方法および画像処理プログラムを説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。

本実施例に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。 本実施例に係る画像処理装置の概略構成を示す説明図である。 本実施例に係るカラープリンタ４０が備える制御回路４１によって実現される機能モジュールのブロック図である。 処理対象となる画像の一例を模式的に示す説明図である。 本実施例に係るカラープリンタにおいて実行される主要被写体判定処理の処理ルーチンを示すフローチャートである。 本実施例に係るカラープリンタにおいて実行される主要被写体の判定処理の過程を模式的に示す説明図である。 画像データの領域（画素データ群）の解析結果の一例を示す説明図である。 本実施例に係るカラープリンタにおいて実行される主要被写体の判定処理の他の過程を模式的に示す説明図である。 図８に続く主要被写体の判定処理の過程を模式的に示す説明図である。 画素データ群を示す色相を決定するために用いられる判定しきい値を格納するテーブルの一例を模式的に示す説明図である。 画素データ群（色域領域）に対応する被写体を決定するために用いられる被写体判定条件の一例を示す説明図である。 他の実施例に係るカラープリンタにおいて実行される主要被写体判定処理の処理ルーチンを示すフローチャートである。

符号の説明

１０…ディジタルスチルカメラ
２０…表示装置
２５…表示ディスプレイ
３０…パーソナルコンピュータ
３１…表示ディスプレイ
４０…カラープリンタ
４１…制御回路
４１１…中央演算装置（ＣＰＵ）
４１２…ランダムアクセスメモリ（ＲＡＭ）
４１３…ハードディスク（ＨＤＤ）／ＲＯＭ
４２…入力操作部
４３…印刷画像出力部
４４…メモリカードスロット
４５…データ入出力部
ＭＣ…メモリカード
ＧＤ…画像データ

Claims (15)

1. 画像を特徴付ける被写体である主要被写体を決定する画像処理装置であって、
   判定の対象となる画像のデータである画像データを取得する画像データ取得手段と、
   取得した前記画像データに付随する撮影条件を取得する撮影条件取得手段と、
   前記画像データを複数の領域に分割し、領域単位にて解析する画像データ解析手段と、
   前記画像データの各領域の位置情報を取得する位置情報取得手段と、
   前記主要被写体を判定するために予め定められた被写体判定条件を取得し、前記撮影条件に含まれているジャイロ情報を用いて前記取得した被写体判定条件を修正して最終的な被写体判定条件を決定する被写体判定条件決定手段と、
   決定した前記最終的な被写体判定条件と、前記解析結果に含まれる前記画像データの前記各領域が有する色域の情報である色域情報と前記各領域の前記位置情報とを対比し、対比の結果に前記撮影条件に含まれる撮影シーン情報を考慮して前記主要被写体を決定する主要被写体決定手段とを備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記被写体判定条件は、色域と存在位置とによって被写体を規定する条件であり、
   前記主要被写体の決定は、前記画像データの各領域の前記位置情報および前記色域情報と、前記最終的な被写体判定条件に含まれる色域および存在位置と、を対比し、さらに、前記撮影シーン情報が示す被写体を考慮することによって実行される画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記主要被写体決定手段は、前記領域の色域が空色であり、前記領域の存在位置が前記画像の上方領域である場合には、前記主要被写体を空に決定する画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記主要被写体特定手段は、前記領域の色域が緑であり、前記領域の存在位置が前記画像の下方領域である場合には、前記主要被写体を植物に決定する画像処理装置。
5. 請求項２に記載の画像処理装置において、
   前記主要被写体特定手段は、前記領域の色域が肌色であり、前記領域の存在位置が前記画像の中央領域を含む領域である場合には、前記主要被写体を人に決定する画像処理装置。
6. 画像を特徴付ける被写体である主要被写体を決定する画像処理装置であって、
   判定の対象となる画像のデータであって、複数の画素データから構成される画像データを取得する画像データ取得手段と、
   取得した前記画像データに付随する撮影条件を取得する撮影条件取得手段と、
   前記画像を複数の領域に分割した際の各領域に対応して前記画像データを複数の画素データ群に分割し、前記画像データを前記画素データ群単位にて解析する画像データ解析手段と、
   前記各画素データ群の位置情報を取得する位置情報取得手段と、
   前記主要被写体を判定するために予め定められた被写体判定条件を取得し、前記撮影条件に含まれているジャイロ情報を用いて前記取得した被写体判定条件を修正して最終的な被写体判定条件を決定する被写体判定条件決定手段と、
   決定した前記最終的な被写体判定条件と、前記解析結果に含まれる前記各画素データ群が示す色域の情報である色域情報と前記各領域の前記位置情報とを対比し、対比の結果に前記撮影条件に含まれる撮影シーン情報を考慮して前記主要被写体を決定する主要被写体決定手段とを備える画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記被写体判定条件は、色域と存在位置とによって被写体を規定する条件であり、
   前記主要被写体決定手段は、
   前記画素データ群の色域および位置情報と、前記最終的な被写体判定条件に含まれる色域および存在位置と、を対比し、さらに、前記撮影シーン情報が示す被写体を考慮することによって前記主要被写体を判別する主要被写体判別手段を備える画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記主要被写体判別手段は、前記画素データ群の色域が空色であり、前記画素データ群の存在位置が前記画像の上方領域である場合には、前記主要被写体を空に決定する画像処理装置。
9. 請求項７に記載の画像処理装置において、
   前記主要被写体判別手段は、前記画素データ群の色域が緑色であり、前記画素データ群の存在位置が前記画像の下方領域である場合には、前記主要被写体を植物に決定する画像処理装置。
10. 請求項７に記載の画像処理装置において、
    前記主要被写体判別手段は、前記画素データ群の色域が肌色であり、前記画素データ群の存在位置が前記画像の中央領域を含む領域である場合には、前記主要被写体を人に決定する画像処理装置。
11. 請求項６に記載の画像処理装置において、
    前記各領域は１の画素で構成されており、前記各領域に対応する前記複数の画素データ群は１の画素データで構成されている画像処理装置。
12. 請求項６に記載の画像処理装置において、
    前記各領域は複数の画素で構成されており、前記各領域に対応する前記複数の画素データ群は複数の画素データで構成されている画像処理装置。
13. 請求項１ないし請求項１０のいずれかに記載の画像処理装置において、
    前記色域は少なくとも色相をパラメータに含む画像処理装置。
14. 画像を特徴付ける被写体である主要被写体を決定する方法であって、
    判定の対象となる画像のデータである画像データを取得し、
    取得した前記画像データに付随する撮影条件を取得し、
    前記画像データを複数の領域に分割し、領域単位にて解析し、
    前記画像データの各領域の位置情報を取得し、
    前記主要被写体を判定するために予め定められた被写体判定条件を取得し、前記撮影条件に含まれているジャイロ情報を用いて前記取得した被写体判定条件を修正して最終的な被写体判定条件を決定し、
    決定した前記最終的な被写体判定条件と、前記解析結果に含まれる前記画像データの前記各領域が有する色域の情報である色域情報と前記各領域の前記位置情報とを対比し、対比の結果に前記撮影条件に含まれる撮影シーン情報を考慮して前記主要被写体を決定する方法。
15. 画像を特徴付ける被写体である主要被写体を決定する方法であって、
    判定の対象となる画像のデータであって、複数の画素データから構成される画像データを取得し、
    前記画像データに付随する撮影条件を取得し、
    前記画像を複数の領域に分割した際の各領域に対応して前記画像データを複数の画素データ群に分割し、前記画像データを前記画素データ群単位にて解析し、
    前記各画素データ群の位置情報を取得し、
    前記主要被写体を判定するために予め定められた被写体判定条件を取得し、前記撮影条件に含まれているジャイロ情報を用いて前記取得した被写体判定条件を修正して最終的な被写体判定条件を決定し、
    決定した前記最終的な被写体判定条件と、前記解析結果に含まれる前記各画素データ群が示す色域の情報である色域情報と前記各領域の前記位置情報と、を対比し、対比の結果に前記撮影条件に含まれる撮影シーン情報を考慮して前記主要被写体を決定する方法。

Images