JP4336950B2

JP4336950B2 - 画像処理装置

Info

Publication number: JP4336950B2
Application number: JP2003136759A
Authority: JP
Inventors: 優奥津; 吉晴日比
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2003-05-15
Filing date: 2003-05-15
Publication date: 2009-09-30
Anticipated expiration: 2023-05-15
Also published as: US7515744B2; US20080187217A1; US20040228524A1; US7369698B2; JP2004341762A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー画像に対して、色に関係する所定の処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
カラーの画像データを表現する方法としては、さまざまなものがある。例えばＲＧＢと呼ばれる色空間を用いた表現では、画像データを構成する各ピクセルの色を赤、緑、青の三原色の輝度の情報で表す。また、インキの原色のシアン（C）、マジェンタ（M）、イエロー（Y）、ブラック（Ｋ）で表現されるものもある。このような色表現は、一般的にデバイスに依存した色表現であるため、たとえば同じＲＧＢ値であっても、使用される色度の原色や、白点の定義等により、人間の感覚では異なった色に見えるものである。たとえば、ＨＤＴＶのカラー基準を意識して策定されたｓＲＧＢと呼ばれる規格に比べ、ａｄｏｂｅＲＧＢと呼ばれる規格は、色域が広く、同じＲＧＢ値でも同一色とはならない。同様に、「JapanColor」の印刷色見本を基準としたCMYK値と、米国の印刷基準である「SWOP」の印刷色見本を基準としたCMYK値とは、同じ値であっても、同一の色ではない。
【０００３】
近年、こうした色表現の不一致を解消するために、画像データの表現に利用されている色空間を特定する情報（色空間特定情報）を当該画像データに含める画像データフォーマットも開発されている。具体的にはICC(Internatinal Color Consortium)プロファイルと呼ばれる、色情報を記載したデータフォーマットが知られている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来から多くの機器で生成され、利用されている画像データの多くには、かかる色空間特定情報が含まれていないのが実情である。このため、色空間の変更など、色空間を特定する必要がある場合は、予め想定されている色空間と仮定して処理する方法と、ユーザに画像データの色空間特定情報を入力させて処理する方法とが広く採用されている。しかし、予め想定されている色空間と仮定する方法では、現実に利用されている色空間が想定されている色空間と異なる場合に、所望の処理結果が得られない。
【０００５】
また、ユーザに色空間特定情報を入力させる場合は、ユーザが色空間を調べる必要があって、利便性が低いという問題点があった。
【０００６】
さらに、色空間特定情報が画像データに含まれていたとしても、それが誤っている場合も考えられ、その正当性を検証する方法が求められている。
【０００７】
本発明は上記実情に鑑みて為されたもので、処理対象となった画像データに係る色空間特定情報を容易に生成、検証できる画像処理装置を提供することを、その目的の一つとする。
【０００８】
【課題を解決するための手段】
上記従来例の問題点を解決するための本発明は、画像認識の対象となるオブジェクトごとに、そのオブジェクトを画像データから認識する際に用いられる特徴量情報と、そのオブジェクトの色を表す色情報とを関連づけて保持するデータベースに対してアクセス可能に接続される画像処理装置であって、処理対象となった画像データに対して、前記データベースに保持される特徴量情報を用いた画像認識処理を実行し、処理対象となった画像データの中での、当該画像認識処理によって認識されたオブジェクトの色情報を取得する手段と、前記画像認識処理によって認識されたオブジェクトについて、その色を表す情報を、前記データベースから参照し、前記取得した色情報との比較により、前記処理対象となった画像データで利用されている色空間を特定する手段と、を含むことを特徴としている。
【０００９】
また、上記従来例の問題点を解決するための本発明は、画像認識の対象となるオブジェクトごとに、そのオブジェクトを画像データから認識する際に用いられる特徴量情報と、そのオブジェクトの色を表す色情報とを関連づけて保持するデータベースに対してアクセス可能に接続される画像処理装置であって、前記処理対象となった画像データとともに入力される付帯データに、当該画像データで利用される色空間を表す情報が含まれているときに、当該情報が所定の条件を満足するか否かを判断する手段と、前記付帯データに含まれる色空間を表す情報が前記所定の条件を満足しないと判断されたときに、処理対象となった画像データに対して、前記データベースに保持される特徴量情報を用いた画像認識処理を実行し、処理対象となった画像データの中での、当該画像認識処理によって認識されたオブジェクトの色情報を取得する手段と、前記画像認識処理によって認識されたオブジェクトについて、その色を表す情報を、前記データベースから参照し、前記取得した色情報との比較により、前記処理対象となった画像データで利用されている色空間を特定する手段と、を含むことを特徴としている。
【００１０】
ここで、過去に処理対象となった各画像データについて、その各画像データで利用されていた色空間の特定結果に関する統計処理を行う手段、をさらに含み、当該統計処理の結果を用いた所定の処理が行われることとするのも好ましい。
【００１１】
また、本発明の一態様に係る画像処理方法は、画像認識の対象となるオブジェクトごとに、そのオブジェクトを画像データから認識する際に用いられる特徴量情報と、そのオブジェクトの色を表す色情報とを関連づけて保持するデータベースに対してアクセス可能に接続される画像処理装置を用いた画像処理方法であって、処理対象となった画像データに対して、前記データベースに保持される特徴量情報を用いた画像認識処理を実行し、処理対象となった画像データの中での、当該画像認識処理によって認識されたオブジェクトの色情報を取得する工程と、前記画像認識処理によって認識されたオブジェクトについて、その色を表す情報を、前記データベースから参照し、前記取得した色情報との比較により、前記処理対象となった画像データで利用されている色空間を特定する工程と、を含むことを特徴としている。
【００１２】
さらに、本発明の別の態様に係る画像処理プログラムは、画像認識の対象となるオブジェクトごとに、そのオブジェクトを画像データから認識する際に用いられる特徴量情報と、そのオブジェクトの色を表す色情報とを関連づけて保持するデータベースに対してアクセス可能に接続されるコンピュータに、処理対象となった画像データに対して、前記データベースに保持される特徴量情報を用いた画像認識処理を実行し、処理対象となった画像データの中での、当該画像認識処理によって認識されたオブジェクトの色情報を取得する手順と、前記画像認識処理によって認識されたオブジェクトについて、その色を表す情報を、前記データベースから参照し、前記取得した色情報との比較により、前記処理対象となった画像データで利用されている色空間を特定する手順と、を実行させることを特徴としている。
【００１３】
【発明の実施の形態】
［第１実施形態］
本発明の第１の実施の形態について図面を参照しながら説明する。本実施の形態に係る画像処理装置は、図１に示すように制御部１１と、記憶部１２と、入出力インタフェース部１３と、操作部１４と、表示部１５とを含んで構成されている。
【００１４】
制御部１１は、記憶部１２に格納されているプログラムに従って動作し、入出力インタフェース部１３から入力される画像データを処理対象として、所定処理を行い、入出力インタフェース部１３を介して外部に出力する。この制御部１１の具体的処理の内容については、後に詳しく説明する。記憶部１２は、ＲＡＭ等の記憶素子とハードディスク等のディスク装置とを含む。この記憶部１２は、コンピュータ可読な記録媒体として動作している。
【００１５】
入出力インタフェース部１３は、外部の装置から画像データの入力を受けて、制御部１１に出力する。また、この入出力インタフェース部１３は、制御部１１から入力される処理後の画像データを外部の装置に出力する。操作部１４は、キーボードやマウス等であり、ユーザの操作内容を制御部１１に出力する。表示部１５は、ＣＲＴディスプレイやＬＣＤディスプレイ等であり、制御部１１から入力される指示に従って、画像データをユーザに提示する。
【００１６】
ここで、制御部１１の具体的処理の内容について説明する。この制御部１１によって実行されるプログラムは、機能的には、図２に示すように、受入部２１と、色空間推定部２６と、信頼性判定部２３と、画像処理部２４と、出力部２５とを含んで構成される。また、ここで制御部１１によって処理されるデータは、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）によって規定される構造を有するものとする。このデータ構造は、日本電子工業振興協会により広く公開されているものであるから、ここでの詳細な説明を省略する。なお、Ｅｘｉｆのデータ構造には、付属情報と呼ばれるものが含まれ、それらは、Ａ．バージョンに関するタグ（Exifデータ構造のバージョン（Exif Version）など）、Ｂ．画像データの特性に関するタグ（色空間情報（ColorSpace））、Ｃ．構造に関するタグ（画像圧縮モード（CompressedBitsPerPixel）など）、Ｄ．ユーザ情報に関するタグ、Ｅ．関連ファイル情報に関するタグ、Ｆ．日時に関するタグ（原画像データの生成日時（DateTimeOriginal）や、ディジタルデータの作成日時（DateTimeDigitized）等）、Ｇ．撮影条件に関するタグなどといった情報を含む。尤も、これらの情報は付加的な情報であるため、設定されていないこともある。
【００１７】
受入部２１は、画像データの入力を受け入れて、この画像データに色空間情報が含められているか否かを調べ、含められていなければ、色空間推定部２６に、この画像データを出力する。また、色空間情報が含められていれば、信頼性判定部２３にこの画像データを出力する。
【００１８】
信頼性判定部２３は、画像データに付帯している色空間情報を参照して、当該色空間情報が予め定められた条件を満足するか否かを調べ、予め定められた条件を満足しない場合、色空間推定部２６に当該画像データを出力する。また、予め定められた条件を満足する場合は、当該画像データに付帯している色空間情報により特定される色空間の情報を出力する。
【００１９】
ここで、信頼性判定部２３の処理についてより詳しく説明する。信頼性判定部２３は、一例としては、図３に示すように、オブジェクトデータベース３１と、前処理部３２と、領域抽出部３３と、色変換部３５と、色判定部３６とを含んで機能的に構成されている。
【００２０】
オブジェクトデータベース３１は、図４に示すように、オブジェクトを特定する情報Ａと、そのオブジェクトの画像認識のための特徴量Ｂと、色判定のための基準色情報Ｃとを互いに関連づけたものである。ここでオブジェクトは、例えば人の顔などであり、その特徴量は、例えばエントロピーや輪郭形状などによって表される。また、基準色情報Ｃは、予め定められた特定の色空間（以下、基準色空間と呼ぶ）で表現された基準色の情報であり、図４に示すように、彩度の範囲や色相の範囲を特定する情報によって表されてもよいし、目標となる色（ＲＧＢ値等）を特定する情報によって表されてもよい。
【００２１】
前処理部３２は、信頼性判定の対象となる画像データに対して所定の前処理を行い、その処理結果を領域抽出部３３に出力する。具体的にここでの前処理は、輝度情報への変換とすることができる。例えば本実施の形態において、入力される画像データがＲＧＢ値で張られる色空間が利用されて表現されていることは既知であるとして、それが、ｓＲＧＢ、ａｄｏｂｅＲＧＢ、ＡｐｐｌｅＲＧＢなどのいずれの色空間であるかが不明である場合、各ピクセルの輝度情報Ｙを次の（１）式により演算する。
【数１】
Ｙ＝0.299Ｒ＋0.587Ｇ＋0.114Ｂ（１）
ここで、Ｒ、Ｇ、Ｂは、画像データのＲＧＢ値である。そして、この輝度情報を領域抽出部３３に出力する。
【００２２】
領域抽出部３３は、前処理の結果として得られた輝度情報と、オブジェクトデータベース３１に格納されている各オブジェクトの特徴量とを比較して、画像データ中で特徴量に合致する輝度情報分布を有する範囲があれば、当該範囲を注目領域として特定し、この注目領域を画定するための情報と、合致した特徴量に対応するオブジェクトの特定情報とを注目領域画定情報として出力する。これら前処理部３２と領域抽出部３３とによって行われる処理は、オブジェクトデータベース３１に格納されているオブジェクトを画像データ中から認識して、その領域を画定する処理であり、ここに述べた方法のみならず、オブジェクトが含まれる領域が画定できればよい。
【００２３】
色変換部３５は、入力される画像データが、当該画像データに付帯している色空間情報で特定される色空間を利用して表現されているとして、当該入力された画像データを、基準色空間のデータに変換し、その結果を色判定部３６に出力する。
【００２４】
色判定部３６は、色変換部３５から入力される画像データのうち、領域抽出部３３が出力する領域画定情報によって画定される領域を抽出し、当該抽出した領域内のピクセルの色に関する情報（例えば彩度ヒストグラムや、色相ヒストグラム、色平均値などの統計情報であってもよいので、以下、統計情報であるとする）を演算して、統計情報を得る。そして、領域画定情報に含まれるオブジェクトの特定情報に関連づけられてオブジェクトデータベース３１内に保持されている基準色情報と、この統計情報とを比較する。
【００２５】
そして、比較の結果、彩度や色相、明度の範囲に当該演算した統計情報によって表される値が入っている場合、又は、目標色と色平均値との差が所定のしきい値以内である場合など、所定の条件を満足する場合は、当該画像データに付帯している色空間情報により特定される色空間の情報を出力する。また、上記所定の条件を満足しない場合、付帯していた色空間の情報の信頼性がないと判断して、問い合わせ処理部２２に当該画像データを出力し、ユーザに対して色空間を問い合わせる処理を行う。
【００２６】
つまり、ここでの信頼性判定の処理では、予めその色調が既知である部分、例えば人の顔であれば肌色の部分を画像認識の処理によって確定し、当該部分の色が、予め定められた色に合致するか否かによって、画像データに付帯していた情報の信頼性を検証するのである。
【００２７】
なお、ここでは入力された画像データに対してそのサイズのままで前処理や、色変換の処理等を行っているが、これらに先立って入力された画像データに対してサイズを縮小する処理を行って、縮小処理後の画像データに対して各処理を実行するようにしてもよい。
【００２８】
本実施の形態では、この信頼性判定部２３と、後に説明する色空間推定部２６とが、入力された画像データにおいて利用される色空間の推定を行って、その推定の結果を出力している。画像処理部２４は、信頼性判定部２３と色空間推定部２６とのいずれかから、推定された色空間を特定する情報の入力を受けて、受入部２１が受け入れた画像データに対して、所定の画像処理を遂行する。ここで所定の画像処理は、画像データの色変換、彩度・明度・コントラストの補正等である。またこの画像処理部２４は、その画像処理後の画像データを、表示部１５に表示させ、ユーザから当該処理結果が妥当であることを表す操作の入力を受けてから、出力部２５に当該処理した画像データを出力するようにしてもよい。出力部２５は、画像処理部２４から画像処理後の画像データの入力を受けて、当該画像データを外部の装置等に出力する。
【００２９】
色空間推定部２６は、信頼性判定部２３と略共通の構成をとるものであるが、色変換部３５′の動作が異なっている。すなわち、色空間推定部２６は、図５に示すように、オブジェクトデータベース３１と、前処理部３２と、領域抽出部３３と、色変換候補記憶部３４と、色変換部３５′と、色判定部３６とを含んで機能的に構成されている。なお、ここでの説明では、信頼性判定部２３と共用可能な構成となるものについては、同じ符号を付している。
【００３０】
オブジェクトデータベース３１は、図４に示したように、オブジェクトを特定する情報Ａと、そのオブジェクトの画像認識のための特徴量Ｂと、色判定のための基準色情報Ｃとを互いに関連づけたものである。ここでオブジェクトは、例えば人の顔などであり、その特徴量は、例えばエントロピーや輪郭形状などによって表される。また、基準色情報Ｃは、図４に示すように、彩度の範囲や色相の範囲を特定する情報によって表されてもよいし、目標となる色（ＲＧＢ値等）を特定する情報によって表されてもよい。
【００３１】
前処理部３２は、信頼性判定の対象となる画像データに対して所定の前処理を行い、その処理結果を領域抽出部３３に出力する。具体的にここでの前処理は、輝度情報への変換とすることができる。例えば本実施の形態において、入力される画像データがＲＧＢ値で張られる色空間が利用されて表現されていることは既知であるとして、それが、ｓＲＧＢ、ａｄｏｂｅＲＧＢ、ＡｐｐｌｅＲＧＢなどのいずれの色空間であるかが不明である場合、各ピクセルの輝度情報Ｙとして、（１）式の演算をする。ここで、Ｒ、Ｇ、Ｂは、画像データのＲＧＢ値である。そして、この輝度情報を領域抽出部３３に出力する。
【００３２】
領域抽出部３３は、前処理の結果として得られた輝度情報と、オブジェクトデータベース３１に格納されている各オブジェクトの特徴量とを比較して、画像データ中で特徴量に合致する輝度情報分布を有する範囲があれば、当該範囲を注目領域として特定し、この注目領域を画定するための情報と、合致した特徴量に対応するオブジェクトの特定情報とを注目領域画定情報として出力する。これら前処理部３２と領域抽出部３３とによって行われる処理は、オブジェクトデータベース３１に格納されているオブジェクトを画像データ中から認識して、その領域を画定する処理（いわゆる画像認識処理）であり、ここに述べた方法のみならず、オブジェクトが含まれる領域が画定できればよい。
【００３３】
色変換候補記憶部３４は、記憶部１２に格納された色空間候補情報の設定をそのまま用いれば実現できる。色変換部３５′は、前処理前の画像データに対して、色変換候補記憶部３４に記憶されている、各色空間候補情報をソース色空間として、オブジェクトデータベース３１に格納されている基準色情報で利用される色空間への色変換処理を行う。
【００３４】
この処理は、具体的には次のように行われる。すなわち、色空間候補情報の設定に含まれている色空間候補情報を一つ選択し、画像データが、当該選択した色空間候補情報によって特定される色空間で表されているとして色変換処理を行い、その結果を、選択した色空間候補情報に関連づけて記憶部１２に格納する。そして色変換候補記憶部３４に、いまだ選択していない色空間候補情報が含まれているか否かを調べ、含まれていれば、いまだ選択していない色空間候補情報の一つを選択して、色変換処理を繰り返して実行する。
【００３５】
さらに、色空間候補情報の設定に含まれる色空間候補情報がすべて選択された（いまだ選択していない色空間候補情報がなくなった）ときに、処理を終了したものとして、その旨を色判定部３６に出力する。
【００３６】
色判定部３６は、色変換部３５′から処理を終了した旨の入力を受けて、記憶部１２に格納されている、各色空間候補情報に対応する複数の処理結果のうち、領域抽出部３３が出力する領域画定情報によって画定される領域の色に関する情報（例えば彩度ヒストグラムや、色相ヒストグラム、色平均値などの統計情報であってもよいので、以下、統計情報であるとする）をそれぞれ演算して、複数の統計情報を得る。そして、領域画定情報に含まれるオブジェクトの特定情報に関連づけられてオブジェクトデータベース３１内に保持されている、基準色情報と、この演算した複数の統計情報のそれぞれとを比較する。
【００３７】
そして、色判定部３６では、この比較の結果、彩度や色相、明度の範囲に当該演算した統計情報によって表される値が入っている場合、又は、目標色と色平均値との差が所定のしきい値以内である場合など、所定の条件を満足する統計情報を見いだし、当該見いだした統計情報に対応する色空間候補情報によって特定される色空間の情報を出力する。
【００３８】
つまり、ここでの色空間推定の処理では、予めその色調が既知である部分、例えば人の顔であれば肌色の部分を画像認識の処理によって画定し、当該部分の色が、予め定められた色に合致するか否かによって、元の画像データがどの色空間を利用して表現されていたかを推定するのである。
【００３９】
なお、色空間推定部２６においては、前処理の際、またはそれに先立って、処理対象の画像データに、そのサイズを縮小する処理を施して縮小画像データを生成し、当該縮小画像データに対して上述の色空間推定の処理を実行するようにしても構わない。
【００４０】
［動作］
次に、本実施の形態の動作について説明する。入出力インタフェース部１３を介して入力された画像データは、記憶部１２に処理対象として格納される。制御部１１は、記憶部１２に格納されているプログラムに従って図６に示すような処理を開始し、まず、処理対象となった画像データに色空間を特定する情報が含まれているか否かを調べる（Ｓ１）。ここで色空間情報がなければ（Ｎｏならば）、色空間推定部２６としての処理を開始し、処理対象となった画像データで利用されている色空間の推定結果を得る（Ｓ２）。そして、当該推定された色空間の情報を利用した所定の画像処理を行い（Ｓ３）、当該画像処理後の画像データを、入出力インタフェース部１３を介して出力させて（Ｓ４）、処理を終了する。
【００４１】
また、処理対象となった画像データに、色空間情報が含まれている場合（Ｙｅｓならば）、制御部１１は、信頼性判定部２３の処理により、その信頼性を判定する処理を行って、色空間を推定する。具体的に、信頼性判定部２３の処理により、色空間情報が所定の条件を満足するか否かが判定され（Ｓ５）、条件を満足しない場合（Ｎｏの場合）は、処理Ｓ２へ移行して色空間推定部２６による処理を行う。また、処理Ｓ５において条件を満足した場合（Ｙｅｓの場合）は、当該画像データに含まれていた色空間情報を、そのまま色空間の推定結果とし（Ｓ６）、処理Ｓ３に移行する。
【００４２】
すなわち、本実施の形態では、制御部１１は、信頼性判定部２３が信頼性ありと判断した色空間情報、又は色空間推定部２６によって推定された色空間の情報を用いて、所定の画像処理を行い、当該画像処理後の画像データを、入出力インタフェース部１３を介して出力させる。
【００４３】
このように色空間推定部２６を用いると、ユーザに対する問い合わせをすることなく、処理対象となった画像データで利用されている色空間が推定できる。すなわち、画像データに色空間の情報が付帯していない場合、あるいは、付帯していても信頼性がないとされる場合に、この色空間推定部によって色空間を推定し、その推定結果に基づいて画像処理部２４が所定の画像処理を行う。
【００４４】
［第２の実施の形態］
また、ここまでで説明したような、人手によらない色空間の推定処理に代えて、ユーザに対して問い合せを行いながら色空間の推定を行うこともできるので、以下、そのような本発明の第２の実施の形態に係る画像処理装置について説明する。
【００４５】
本発明の第２の実施の形態に係る画像処理装置は、図１に示した第１の実施の形態の画像処理装置と同様の構成をとるものであるが、制御部１１の処理の内容が若干異なっている。具体的には制御部１１が処理するプログラムは、図２に代えて、図７に示すように受入部２１と、問い合わせ処理部２２と、信頼性判定部２３と、画像処理部２４と、出力部２５とを含んで構成される。
【００４６】
問い合わせ処理部２２は、予め記憶部１２に格納されている色空間候補情報の設定に基づき、入力された画像データに対して、各色空間候補情報に対応する複数の色変換処理結果を得て、表示部１５に対して表示させ、ユーザに正しい色変換となっている色変換処理結果を特定する情報を操作部１４を介して入力させ、当該特定された色変換処理結果に対応する色空間候補情報を、当該画像データで利用されている色空間であるとして、当該色空間を特定する情報を出力する。
【００４７】
具体的に、記憶部１２には、色空間候補情報の設定が予め格納されているとし、この色空間候補情報の設定は、例えば、入力される画像データで利用され得ると想定される色空間を特定する情報のセットであるとして問い合せ処理部２２の動作をより詳しく説明すると、次のようになる。
【００４８】
問い合わせ処理部２２では、まず、入力された画像データに対して縮小処理を行い、縮小画像データを生成する。そして、色空間候補情報の設定に含まれている色空間候補情報を一つ選択し、生成した縮小画像データが、当該選択した色空間候補情報によって特定される色空間で表されているとして所定の画像処理を行う。換言すれば、選択した色空間候補情報によって特定される色空間をソース色空間として、画像データに対して所定の画像処理を行うことになる。ここで行われる所定の画像処理は、選択した色空間候補情報で特定される色空間から、別の所定の色空間への色変換処理などであってもよい。なお、色空間の変換は、広く知られている、マトリクス演算による方法を用いるものであり、詳細な説明を省略する。
【００４９】
この所定の画像処理の結果は、選択した色空間候補情報に関連づけられて、問い合せ候補画像データとして記憶部１２に格納される。そして問い合わせ処理部２２においては、色空間候補情報の設定に、いまだ選択していない色空間候補情報が含まれているか否かを調べ、含まれていれば、いまだ選択していない色空間候補情報の一つを選択して、所定の画像処理を繰り返して実行する。
【００５０】
さらに、色空間候補情報の設定に含まれる色空間候補情報がすべて選択された（いまだ選択していない色空間候補情報がなくなった）ときに、記憶部１２に格納した、各問い合せ画像データに基づく画像を表示部１５に表示させる。
【００５１】
そしてユーザから、いずれかの画像を選択する操作が、操作部１４を介して行われるのを待機し、いずれかの画像が選択されると、当該選択された画像に対応する問い合せ画像データに含まれる色空間候補情報を取得し、当該取得した色空間候補情報によって特定される色空間の情報を出力する。
【００５２】
すなわち、問い合わせ処理部２２では、入力される画像データが、想定される複数の色空間で表現された画像データであると仮定してそれぞれ画像処理を行い、当該それぞれの画像処理の結果をユーザに提示して、正しい処理が行われているものをユーザに選択させる。本実施の形態においては、この処理対象の画像データが予め縮小処理されているので、処理負荷を軽減できる。尤も、この縮小処理は必ずしも必要ではなく、もとのサイズの画像データに対して処理を行っても構わない。
【００５３】
［動作］
ここで、本実施の形態の画像処理装置の基本的な動作について説明する。入出力インタフェース部１３を介して入力された画像データは、記憶部１２に処理対象として格納される。制御部１１は、記憶部１２に格納されているプログラムに従って図８に示す処理を開始し、まず、処理対象となった画像データに色空間を特定する情報（色空間情報）が含まれているか否かを調べる（Ｓ１１）。ここで色空間情報がなければ（Ｎｏならば）、問い合わせ処理部２２としての処理を開始し、画像データに基づいて、縮小画像データを生成する（Ｓ１２）。そして、予め設定された複数の色空間候補情報のそれぞれを、画像データのソース色空間であると仮定して所定の色空間に変換する色変換処理を行い、その色変換処理により得られた複数の結果を表示部１５に表示してユーザに提示する（問い合せ画像データの提示処理；Ｓ１３）。そしてユーザによる選択を受け入れるまで待機し（Ｓ１４）、選択を受け入れたときに、当該選択された色変換処理の結果に対応する色空間候補情報によって特定される色空間の情報を、入力された画像データで利用される色空間の情報と推定して（Ｓ１５）、当該推定された色空間の情報を利用した所定の画像処理を行って（Ｓ１６）、当該画像処理後の画像データを、入出力インタフェース部１３を介して出力させ（Ｓ１７）、処理を終了する。
【００５４】
なお、処理Ｓ１４において、ユーザは最も好適な変換結果を選択するのであるが、妥当な変換結果が表示部１５に表示された一覧に含まれていない場合は、色空間を特定する文字列や、色変換に利用されるマトリクス値など、色変換を指定する情報の入力を行い、制御部１１が当該指定された情報に基づいて色空間を推定することとしてもよい。
【００５５】
さらに、処理Ｓ１１において、色空間情報が含まれている場合（Ｙｅｓの場合）、制御部１１は、信頼性を判定する処理を行って、色空間情報が所定の条件を満足するか否かを判断する（Ｓ１８）。そして、色空間情報が所定の条件を満足する場合（Ｙｅｓの場合）に、当該色空間情報の信頼性があるとして、当該画像データに含まれていた色空間情報を、そのまま色空間の推定結果とし（Ｓ１９）、処理Ｓ１６に移行して、処理Ｓ１９において推定された色空間の情報を用いて所定の画像処理を行い、当該画像処理後の画像データを、入出力インタフェース部１３を介して出力させて（処理Ｓ１７）、処理を終了する。また、制御部１１は、処理Ｓ１８において、色空間情報が所定の条件を満足しないと判断されたとき（Ｎｏのとき）には、当該色空間情報に信頼性がないとして、処理Ｓ１２に移行して処理を続ける。
【００５６】
［信頼性判定の他の例］
ここまでの第１、第２の実施の形態の説明では、画像データに付随して入力される色空間の情報について、その信頼性を判定する際に、画像認識処理を用いることとして説明したが、信頼性の判定は、他の方法によって行うこともできる。例えば、画像データ形式を表す情報としての、Exifデータ構造のバージョン（Exif Version）に基づき、それが「2.2」以下であれば、ｓＲＧＢ色空間が使用されていることが多いことが経験的に知られているので、Exifデータ構造のバージョンが2.2以下であり、かつ付帯情報に示される色空間の情報が「ｓＲＧＢ」を示していれば、当該色空間の情報に信頼性があるとして、当該色空間の情報をそのまま推定結果とし、Exifデータ構造のバージョンが2.2以下であり、かつ付帯情報に示される色空間の情報が「ｓＲＧＢ」でなければ、当該色空間の情報に信頼性がないとして色空間推定部２６や問い合わせ処理部２２の処理を開始してもよい。なおExifデータ構造のバージョンが2.2より大きい場合は、ほかの方法によって信頼性を判断することとしてもよい。
【００５７】
また、日時に関するタグ情報を利用して、画像が生成された日時（DateTimeOriginal）と、ディジタルデータの作成日時（DateTimeDigitized）とを比較し、これらが一致しているときには、画像データの編集等が行われていないと判断して、付帯情報に示されている色空間の情報をそのまま推定結果とすることとしてもよい。また、画像が生成された日時（DateTimeOriginal）と、ディジタルデータの作成日時（DateTimeDigitized）とが一致していないときには、付帯情報に示されている色空間の情報の信頼性がないと判断して、色空間推定部２６や問い合わせ処理部２２の処理を開始してもよい。
【００５８】
さらに、ユーザ情報に関するタグ、例えばUserComment等を参照すると、編集履歴が記述されている場合もある。これは、アプリケーションソフトウエアによっては、それにおける編集履歴をユーザ情報に関するタグに設定するものがあるからである。そこで、これらを参照し、色空間の変換等の編集履歴を参照して、利用している色空間を推定し、その推定結果と、付帯情報に示されている色空間の情報とを比較し、一致する場合に、当該付帯情報に示されている色空間の情報を推定結果とし、一致しない場合に、付帯情報に示されている色空間の情報に信頼性がないと判断して、色空間推定部２６や問い合わせ処理部２２の処理を開始してもよい。
【００５９】
［色空間を特定する情報の上書き］
さらに、本発明の第１、第２の実施の形態の画像処理装置は、推定された色空間を特定する情報を、処理対象となった画像データに含めるようにしてもよい。具体的には、制御部１１が、画像処理部２４の処理として、Exif形式の画像データに対して、推定の結果として得られた色空間の情報を、色空間のタグ（ColorSpace）として含める。
【００６０】
［色空間の出現頻度］
さらに、本発明の第１、第２の実施の形態の画像処理装置では、処理対象となった画像データごとの色空間の推定結果を統計処理し、推定の結果得られた色空間を特定する情報の出現頻度を記憶しておき、これを推定処理や、画像データの出力の処理に利用してもよい。具体的には、制御部１１の問い合わせ部２２の処理において、過去の推定結果である色空間の出現頻度順に色空間候補情報を選択し、当該選択した色空間候補情報によって特定される色空間をソース色空間とした処理結果を、当該出現頻度順で表示部１５に表示する。
【００６１】
また、本発明の第１の実施の形態に係る画像処理装置において、色空間推定部２６が上述の色空間の推定処理に失敗した場合、例えば領域抽出部３３によるオブジェクトに対応する領域の抽出ができなかった場合等において、色空間推定部２６は、この統計処理の結果の例である、出現頻度を用いて、過去に処理した画像データにおいて出現頻度の最も高い色空間を、処理対象の画像データが利用する色空間の推定結果として出力するようにしてもよい。
【００６２】
［他の色空間］
ここまでの説明では、処理対象となった画像データで利用される色空間が、ｓＲＧＢやａｄｏｂｅＲＧＢであるなど、基本的にＲＧＢである場合を例として説明したが、本実施の形態の画像処理装置は、この例に限られるものではない。
【００６３】
例えばCMYK色空間であらわされた画像に対して、「JapanColor」、「SWOP」といった、印刷基準を推定する場合にも本実施の形態の画像処理装置を用いることができる。この場合、たとえば、CMYKを一旦RGBへ変換して前記した実施例に適用することが可能である。また、RGBとHSBとのいずれの色空間表現であるかを推定する場合にも、本実施例の形態の画像処理装置を用いることができる。
【００６４】
また、ここでの説明ではExif形式の例を示したが、他の画像形式でも本発明を適用できる。
【００６５】
［第１、第２の実施の形態の組み合わせ］
さらに、本発明の第１の実施の形態に係る画像処理装置において、第２の実施の形態において説明した問い合せ処理部２２を含め、色空間推定部２６が上述の色空間の推定処理に失敗した場合、例えば領域抽出部３３によるオブジェクトに対応する領域の抽出ができなかった場合等に、画像データを問い合せ処理部２２に出力して、ユーザに対して問い合せを行って色空間の推定を行うようにしても構わない。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成ブロック図である。
【図２】本発明の第１の実施の形態に係る画像処理装置の処理の例を表す機能ブロック図である。
【図３】信頼性判定部２３の一例を表す機能ブロック図である。
【図４】オブジェクトデータベースの内容の一例の概要を表す説明図である。
【図５】色空間推定部２６の一例を表す機能ブロック図である。
【図６】本発明の第１の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。
【図７】本発明の第２の実施の形態に係る画像処理装置の処理の例を表す機能ブロック図である。
【図８】本発明の第２の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。
【符号の説明】
１１制御部、１２記憶部、１３入出力インタフェース部、１４操作部、１５表示部、２１受入部、２２問い合せ処理部、２３信頼性判定部、２４画像処理部、２５出力部、２６色空間推定部、３１オブジェクトデータベース、３２前処理部、３３領域抽出部、３４色変換候補記憶部、３５，３５′ 色変換部、３６色判定部。

Claims

画像認識の対象となるオブジェクトごとに、そのオブジェクトを画像データから認識する際に用いられる特徴量情報と、前記特徴量情報によって特定されるオブジェクトの領域内の色に関する情報と比較される、予め定められた色空間で表現された基準色の情報と、を関連づけて保持するデータベースに対してアクセス可能に接続され、
処理対象となった画像データについて、予め定められた各色空間候補情報をソース色空間として、前記データーベースに格納されている基準色の情報で利用される色空間へ色変換処理を行う手段と、
処理対象となった画像データについて、前記データベースに保持される特徴量情報を用いた画像認識処理を実行し、処理対象となった画像データのうちからオブジェクトの領域を特定する手段と、
前記色変換処理の結果の各々について、前記特定したオブジェクトの領域内の色に関する情報を演算する手段と、
前記画像認識処理によって認識されたオブジェクトに関連づけられた基準色の情報を、前記データベースから取得し、当該取得した基準色の情報と、前記色変換処理の結果の各々について演算された色に関する情報とを比較して、予め定めた条件を満足する、色に関する情報に対応する色空間候補情報によって特定される色空間の情報を出力する手段と、
を含むことを特徴とする画像処理装置。
画像認識の対象となるオブジェクトごとに、そのオブジェクトを画像データから認識する際に用いられる特徴量情報と、前記特徴量情報によって特定されるオブジェクトの領域内の色に関する情報と比較される、予め定められた色空間で表現された基準色の情報と、を関連づけて保持するデータベースに対してアクセス可能に接続される画像処理装置であって、
前記処理対象となった画像データに、当該画像データで利用される色空間を表す情報が含まれているときに、当該画像データが当該情報で表される色空間で表されているとして、前記基準色の情報で利用される色空間へ色変換処理を行う手段と、
処理対象となった画像データに対して、前記データベースに保持される特徴量情報を用いた画像認識処理を実行し、処理対象となった画像データのうちからオブジェクトの領域を特定する手段と、
前記色変換処理の結果について、前記特定したオブジェクトの領域内の色に関する情報を演算する手段と、
前記画像認識処理によって認識されたオブジェクトに関連づけられた基準色の情報を、前記データベースから取得し、当該取得した基準色の情報と、前記色変換処理の結果について演算された色に関する情報とを比較して、当該比較の結果に基づいて、前記画像データに含まれる色空間の情報の信頼性を判断する手段と、
を含むことを特徴とする画像処理装置。
請求項１又は２に記載の画像処理装置であって、
前記処理対象となった画像データに、当該画像データで利用される色空間を表す情報が含まれているときに、過去に処理対象となった各画像データについての色空間の変換の編集履歴を参照して、利用している色空間を推定し、当該推定結果と、前記画像データに含まれる情報で表される色空間とが一致する場合には、色空間の推定、または色空間の情報の信頼性の判定の処理を行わないことを特徴とする画像処理装置。
画像認識の対象となるオブジェクトごとに、そのオブジェクトを画像データから認識する際に用いられる特徴量情報と、前記特徴量情報によって特定されるオブジェクトの領域内の色に関する情報と比較される、予め定められた色空間で表現された基準色の情報と、を関連づけて保持するデータベースに対してアクセス可能に接続された画像処理装置を用い、
処理対象となった画像データについて、予め定められた各色空間候補情報をソース色空間として、前記データーベースに格納されている基準色の情報で利用される色空間へ色変換処理を行う工程と、
処理対象となった画像データについて、前記データベースに保持される特徴量情報を用いた画像認識処理を実行し、処理対象となった画像データのうちからオブジェクトの領域を特定する工程と、
前記色変換処理の結果の各々について、前記特定したオブジェクトの領域内の色に関する情報を演算する工程と、
前記画像認識処理によって認識されたオブジェクトに関連づけられた基準色の情報を、前記データベースから取得し、当該取得した基準色の情報と、前記色変換処理の結果の各々について演算された色に関する情報とを比較して、予め定めた条件を満足する、色に関する情報に対応する色空間候補情報によって特定される色空間の情報を出力する工程と、
を含むことを特徴とする画像処理方法。
画像認識の対象となるオブジェクトごとに、そのオブジェクトを画像データから認識する際に用いられる特徴量情報と、前記特徴量情報によって特定されるオブジェクトの領域内の色に関する情報と比較される、予め定められた色空間で表現された基準色の情報と、を関連づけて保持するデータベースに対してアクセス可能に接続されたコンピュータを、
処理対象となった画像データについて、予め定められた各色空間候補情報をソース色空間として、前記データーベースに格納されている基準色の情報で利用される色空間へ色変換処理を行う手段と、
処理対象となった画像データについて、前記データベースに保持される特徴量情報を用いた画像認識処理を実行し、処理対象となった画像データのうちからオブジェクトの領域を特定する手段と、
前記色変換処理の結果の各々について、前記特定したオブジェクトの領域内の色に関する情報を演算する手段と、
前記画像認識処理によって認識されたオブジェクトに関連づけられた基準色の情報を、前記データベースから取得し、当該取得した基準色の情報と、前記色変換処理の結果の各々について演算された色に関する情報とを比較して、予め定めた条件を満足する、色に関する情報に対応する色空間候補情報によって特定される色空間の情報を出力する手段と、
として機能させることを特徴とする画像処理プログラム。