JP4202692B2 - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP4202692B2 JP4202692B2 JP2002221301A JP2002221301A JP4202692B2 JP 4202692 B2 JP4202692 B2 JP 4202692B2 JP 2002221301 A JP2002221301 A JP 2002221301A JP 2002221301 A JP2002221301 A JP 2002221301A JP 4202692 B2 JP4202692 B2 JP 4202692B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- type
- area
- image
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像に含まれるオブジェクトの画像処理条件を自動的に設定する画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
デジタルカメラ等で撮像した画像情報において、画像情報にどのような画像が撮像されているかを識別することができれば、たとえば画像データに含まれるオブジェクトの種類毎に分類、検索もしくは画像処理等などをすることができる。
【０００３】
たとえば画像処理を行う場合、高画質化処理の一例として、たとえば特公平５−６２８７９号で開示されているように特定色領域を識別して異なる処理をする方法が知られている。これは、雑音成分が目立ちやすい領域を色で識別して、雑音除去を行うものである。
【０００４】
また、上述した色の違いによる画像処理条件の設定に限らず、たとえばテクスチャ情報や輝度情報等の画像の物理的特徴に基づいて画像処理を行うことが考えられる。
【０００５】
【発明が解決しようとする課題】
しかし、色もしくはその他の物理的特徴に基づいて画像処理条件を設定した場合、正しい画像処理条件が得られない場合がある。具体的には、画像に砂のオブジェクトと人間、特に肌のオブジェクトが含まれていたとする。このとき、砂と肌との色は近似しているため、砂の領域を肌の領域と誤って認識して、砂の領域に雑音除去を行ってしまう場合がある。すると、砂特有のテクスチャが失われて不自然な画像になるおそれがある。
【０００６】
そこで、本発明は、画像に含まれるオブジェクトの種類に合った画像処理条件により画像処理を行うことができる画像処理方法および装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理方法は、画像から複数のオブジェクト領域を抽出するステップと、抽出した前記複数のオブジェクト領域毎にオブジェクトの種類と、前記オブジェクト領域が識別した前記種類であることの種類信頼度とを検出するステップと、検出した前記オブジェクトの種類と前記種類信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定するステップと、設定した前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行うステップとを有することを特徴とする。
【０００８】
本発明の画像処理装置は、複数のオブジェクトを含む画像から複数のオブジェクト領域を抽出するオブジェクト抽出手段と、抽出された前記複数のオブジェクト領域のオブジェクトの種類と、前記オブジェクト領域が識別された前記種類であることの種類信頼度とを検出するオブジェクト識別手段と、検出された前記オブジェクトの種類と前記種類信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定する処理条件設定手段と、設定された前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行う画像処理手段とを有することを特徴とする。
【０００９】
ここで、「オブジェクト」はたとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、「オブジェクト領域」は被写体が画像内に占める領域を意味する。
【００１０】
「オブジェクトの種類を識別する」とは、画像内のオブジェクトがたとえば「山」、「海」、「花」、「空」等の種類であることを特定することを意味し、さらにオブジェクトの種類がわからない場合に「不明」であることを特定することも含む。
【００１１】
「処理条件設定手段」は、画像に含まれるオブジェクト領域の画像処理条件を設定するものであればよく、種類信頼度に依存する処理効果係数を算出し、オブジェクトの種類毎に設定された初期画像処理条件に算出された処理効果係数を乗じて画像処理条件を設定するものであってもよい。
【００１２】
「オブジェクト識別手段」は、オブジェクト領域の前記種類信頼度とともに、該オブジェクト領域が人工画からなる人工オブジェクト領域であるか自然画からなる自然オブジェクト領域であるかのカテゴリーを識別するとともに、該カテゴリーであることのカテゴリー信頼度を算出するものであってもよい。
【００１３】
「処理条件設定手段」は、画像に人工オブジェクト領域と自然オブジェクト領域が含まれている場合、前記オブジェクト領域の種類信頼度とカテゴリー信頼度とを用いて前記オブジェクト領域の前記画像処理条件を設定するものであってもよい。
【００１４】
また、「画像処理手段」は、設定された画像処理条件に従い、たとえば周波数処理や雑音除去処理等の画像処理を行うものであって、人工オブジェクト領域に対して画像処理を行わないようにしてもよい。
【００１５】
【発明の効果】
本発明の画像処理方法および装置によれば、画像から複数のオブジェクト領域を抽出し、複数のオブジェクト領域毎にオブジェクトの種類とオブジェクト領域が識別した種類であることの種類信頼度とを検出し、オブジェクトの種類と種類信頼度とを用いて、オブジェクト領域の画像処理条件を設定してオブジェクト領域毎に画像処理を行うことにより、オブジェクト領域の種類に即した画像処理を自動的に行うことができるようになり、画質の向上を図ることができる。
【００１６】
なお、オブジェクト識別手段が、オブジェクトの前記種類信頼度とともに、該オブジェクト領域が人工画からなる人工オブジェクト領域であるか自然画からなる自然オブジェクト領域であるかのカテゴリーを識別するとともに、該カテゴリーであることのカテゴリー信頼度を算出することにより、オブジェクト領域の種類のみならず、オブジェクト領域のカテゴリーによっても画像処理条件を変えることができるようになり、自動的にオブジェクト領域に対して画像処理を行ったときの画質の劣化を防止することができる。
【００１７】
また、画像に人工オブジェクト領域と自然オブジェクト領域が含まれている場合、処理条件設定手段が、オブジェクト領域の種類信頼度とカテゴリー信頼度とを用いて前記オブジェクト領域の前記画像処理条件を設定することにより、人工オブジェクト領域を自然オブジェクト領域と誤って認識した場合、誤って認識された人工オブジェクト領域の画像処理の効果を弱めることができるため、作成者が意図して作製した人工オブジェクト領域の画像処理による変更を低減させることができる。
【００１８】
【発明の実施の形態】
図１は本発明の画像処理装置の第１の実施の形態を示すブロック図であり、図１を参照して画像処理装置１について説明する。画像処理装置１は画像Ｐに含まれる各オブジェクト毎に該オブジェクトの種類に応じた画像処理を行うものであって、ブロック領域生成手段１０、オブジェクト抽出手段２０、ブロック領域識別手段３０、オブジェクト識別手段７０、処理条件設定手段８０、画像処理手段９０等を有する。
【００１９】
図１のブロック領域生成手段１０は、図２（ａ）に示すように、画像Ｐを設定画素数毎に分割したブロック領域ＢＲを生成する機能を有する。そして、ブロック領域生成手段１０は生成したブロック領域ＢＲをブロック領域識別手段３０に送る。たとえば設定画素数が３２画素×３２画素である場合、画像Ｐから３２×３２画素からなるブロック領域ＢＲが生成されることになる。
【００２０】
オブジェクト抽出手段２０は、図２（ｂ）に示すように、画像Ｐを各オブジェクト毎に領域分割してオブジェクト領域ＯＲを生成する機能を有する。そしてオブジェクト抽出手段２０は生成した各オブジェクト領域ＯＲをオブジェクト識別手段７０に送る。
【００２１】
ブロック領域識別手段３０は生成された各ブロック領域ＢＲ毎に種類を識別する機能を有する。すなわち、ブロック領域識別手段３０は、画像内のオブジェクトが「山」、「海」、「花」、「空」等の種類であることを特定するようになっている。ブロック領域識別手段３０は識別した種類情報ＫＩをオブジェクト識別手段７０に送るようになっている。
【００２２】
オブジェクト識別手段７０は、送られたブロック領域ＢＲ毎の種類情報ＫＩを用いて、分割されたオブジェクト領域ＯＲ毎に種類情報ＫＩを付与して、オブジェクト領域ＯＲの種類を識別可能にする機能を有する。具体的には、オブジェクト識別手段７０は、オブジェクト領域ＯＲ内の各ブロック領域ＢＲの種類情報ＫＩを集計する。そして、オブジェクト識別手段７０は、あるオブジェクト領域ＯＲにおいて集計されたブロック領域ＢＲの種類情報ＫＩのうち、最も多いブロック領域ＢＲの最大種類情報ＫＩｍａｘをオブジェクトの種類と識別する。なお、オブジェクト識別手段７０は、複数のオブジェクト領域ＯＲにまたがっているブロック領域ＢＲは、カウントしないようになっている。すると、図２（ｃ）に示すように、各オブジェクト領域ＯＲに種類情報ＫＩが付された状態になり、オブジェクト領域ＯＲが種類情報ＫＩによって識別可能となる。
【００２３】
また、オブジェクト識別手段７０は、決定した種類の得票率を種類信頼度ＫＲとして算出する機能を有する。具体的には、オブジェクト識別手段７０は、オブジェクト領域ＯＲの種類と同一種類のブロック領域ＢＲの数を、オブジェクト領域ＯＲを構成する全ブロック領域数で割ることにより、種類信頼度ＫＲ（０≦ＫＲ≦１）を算出する。そして、オブジェクト識別手段７０は、算出した種類信頼度ＫＲおよび種類情報ＫＩを処理条件設定手段８０に送るようになっている。
【００２４】
なお、図１のオブジェクト識別手段７０において、オブジェクトの種類情報ＫＩを多数決により決定するようにしているが、集計された種類情報ＫＩのうち最も多い最大種類情報ＫＩｍａｘの割合（最大種類情報ＫＩｍａｘの数／オブジェクトを構成する全ブロック領域数）が種類情報しきい値ＫＩｒｅｆより小さい場合、オブジェクト識別手段７０がオブジェクトの種類情報ＫＩとして「不明」を出力する機能を有していてもよい。あるいは、最大種類情報ＫＩｍａｘの割合と２番目に多い種類情報ＫＩの割合との差が小さい場合、オブジェクト識別手段７０がオブジェクトの種類情報ＫＩとして「不明」を出力するようにしてもよい。これは、オブジェクトの種類情報ＫＩを誤って識別するよりも、「不明」と判断された方がユーザーにとって好ましい場合があるためである。
【００２５】
図３はオブジェクト抽出手段２０の一例を示すブロック図であり、図３を参照してオブジェクト抽出手段２０について説明する。なお、以下に示すオブジェクト抽出手段２０は一例であり、たとえばエッジ検出により各オブジェクト領域ＯＲを生成する手法等により行うようにしてもよい。
【００２６】
オブジェクト抽出手段２０は、画像Ｐを構成する各画素から複数の画素特徴量を抽出して、類似した画素特徴量毎に画素を分類する画像の特徴量分類手段１００と、画素の分類毎に領域分割して複数のクラスタリング領域を生成する領域分割手段１０１と、生成されたクラスタリング領域を統合してオブジェクト領域を抽出する領域統合手段１１０とを有する。
【００２７】
たとえば、類似した特徴を有する画素が図４（ａ）に示すように並んだ画像があると仮定する。すると、特徴量分類手段１００において、各画素から複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、図４（ｂ）に示すように、複数の特徴ベクトルが類似する特徴ベクトル毎に分類される（クラスタリング）。
【００２８】
その後、領域分割手段１０１が、特徴量分類手段１００によりクラスタリングされた結果を実際の画像に写像する。すると、図５（ａ）に示すように、類似した画素からなる複数のクラスタリング領域が形成される。このクラスタリング領域は、データベース１１１に記憶される。
【００２９】
領域統合手段１１０は、領域分割手段１０１により分割されたクラスタリング領域を統合してオブジェクト領域ＯＲを抽出する機能を有する。具体的には、領域統合手段１１０は最小クラスタ領域抽出手段１１２、統合領域判断手段１１３と接続されている。最小クラスタ領域抽出手段１１２は、データベース１１１内のクラスタリング領域のうち、最も画素数の少ない最小クラスタリング領域を抽出して領域統合手段１１０に送る。また、統合領域判断手段１１３は、抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域をデーベース１１１内から抽出して領域統合手段１１０に送る。
【００３０】
そして、最小クラスタリング領域が所定の微小画素しきい値以下の画素数（たとえば全画素数の１／１００）の場合、領域統合手段１１０は、最小クラスタリング領域を境界画素数（周囲長）の最も多い隣接クラスタリング領域と統合させる。具体的には、図５（ａ）のクラスタリング領域Ａが所定の微小画素しきい値以下の画素数を有する最小クラスタリング領域であるとする。クラスタリング領域Ａは、クラスタリング領域Ｃ、Ｄと隣接しているため、クラスタリング領域Ｂ、Ｃが隣接クラスタリング領域となる。
【００３１】
そこで、領域統合手段１１０において、最小クラスタリング領域Ａとクラスタリング領域Ｃ、Ｄとが接している隣接画素数がそれぞれ算出される。図５（ａ）においては隣接クラスタリング領域Ｄとの境界画素数の方が隣接クラスタリング領域Ｃとの境界画素数よりも多い。このためクラスタリング領域Ａは図５（ｂ）のようにクラスタリング領域Ｄと統合する。
【００３２】
また、最小クラスタリング領域が所定の小画素しきい値以下の画素数（たとえば全画素数の１／１０）の場合、領域統合手段１１０は、最小クラスタリング領域を特徴空間での距離が近い隣接クラスタリング領域と統合させる。具体的には、図５（ｂ）において、クラスタリング領域Ｂが所定の小画素しきい値以下の最小クラスタリング領域であるとする。すると、クラスタリング領域Ｂの隣接クラスタリング領域はクラスタリング領域Ｃ、Ｄである。そこで、たとえばテクスチャ情報を距離を基準とした場合、どちらのクラスタリング領域Ｃ、Ｄのテクスチャがクラスタリング領域Ｂのテクスチャに近いかが判断される。そして、図５（ｃ）のように、クラスタリング領域Ｂが特徴空間での最も近い距離であるクラスタリング領域Ｄと統合される。
【００３３】
領域統合手段１１０において、上述した作業がたとえば最小クラスタ領域抽出手段１１２から送られる最小クラスタリング領域が所定の小画素しきい値よりも大きい画素数になるまで行われる。すると、画像を各オブジェクト領域ＯＲ毎に領域分割することができる。
【００３４】
次に、図１を参照してブロック領域識別手段３０について説明する。ブロック領域識別手段３０は、ブロック特徴量抽出手段４０、写像手段５０、種類出力手段６０等を有する。特徴量抽出手段４０は、ブロック領域ＢＲから複数のブロック特徴量ＢＣＱを抽出する機能を有する。写像手段５０は、たとえば自己組織化マップからなる２次元空間ＳＯＭを有し、複数のブロック特徴量ＢＣＱ（多次元特徴量）を二次元空間ＳＯＭ上に写像するものである。種類出力手段６０は、２次元空間ＳＯＭ上の位置毎に種類情報ＫＩを定義した種類頻度分布マップＫＤＭを有する。そして、種類出力手段６０は写像手段５０により写像された２次元空間ＳＯＭ上の座標情報ＣＩから種類頻度分布マップＫＤＭを用いてブロック領域ＢＲの種類情報ＫＩを出力するものである。以下にブロック領域識別手段３０の各構成について具体的に説明していく。
【００３５】
図６は特徴量抽出手段４０の一例を示すブロック図であり、図６を参照して特徴量抽出手段４０について説明する。ブロック特徴量抽出手段４０は、色成分、明度成分および像的特徴成分からなる１５個のブロック特徴量ＢＣＱを出力するものであって、Ｌａｂ変換手段４１、第１平均値算出手段４２、第１ウェーブレット変換手段４３、距離画像生成手段４６、第２ウェーブレット変換手段４７等を有する。
【００３６】
Ｌａｂ変換手段４１は、ＲＧＢ画像からなるブロック領域ＢＲをＬａｂ画像に変換する機能を有する。平均値算出手段４２は、Ｌａｂ変換されたブロック領域ＢＲのＬ成分、ａ成分およびｂ成分の平均値Ｌ−ａｖｅ、ａ−ａｖｅ、ｂ−ａｖｅをそれぞれ算出する機能を有する。そして、算出された平均値Ｌ−ａｖｅ、ａ−ａｖｅ、ｂ−ａｖｅが色成分を抽出したブロック特徴量ＢＣＱとなる。
【００３７】
第１ウェーブレット変換手段４３は、Ｌａｂ変換されたブロック領域ＢＲの明度成分をウェーブレット変換して高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨを算出するものである。また第１ウェーブレット変換手段４３に平均値算出手段４４と最大値算出手段４５とが接続されている。
【００３８】
平均値算出手段４４は、第１ウェーブレット変換手段４３により算出された高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨの平均値Ｌ−ＬＨ−ａｖｅ、Ｌ−ＨＬ−ａｖｅ、Ｌ−ＨＨ−ａｖｅを算出するものである。そして、算出された平均値Ｌ−ＬＨ−ａｖｅ、Ｌ−ＨＬ−ａｖｅ、Ｌ−ＨＨ−ａｖｅが明度成分を抽出したブロック特徴量ＢＣＱとなる。
【００３９】
また、最大値算出手段４５は、第１ウェーブレット変換手段４３により算出された高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨの頻度分布において大きい方から５％の値を算出するものである。この最大値Ｌ−ＬＨ−ｍａｘ、Ｌ−ＨＬ−ｍａｘ、Ｌ−ＨＨ−ｍａｘが明度成分を抽出したブロック特徴量ＢＣＱとなる。
【００４０】
このように、Ｌ成分のブロック特徴量ＢＣＱとして平均値と最大値とを利用することにより、平均的に一定強度の高周波成分が分布してブロック領域ＢＲと、一部に強い高周波成分があるブロック領域ＢＲとを区別することができるようになり、ブロック領域ＢＲの種類の識別を正確に行うことができるようになる。
【００４１】
距離画像生成手段４６は、Ｌａｂ変換手段４１によりＬａｂ変換されたブロック領域ＢＲから距離画像Ｄを生成する機能を有する。ここで、距離画像Ｄは、一般的な距離画像とは異なり、図７に示すように、Ｌａｂ変換した３変数のブロック領域ＢＲと、ウェーブレット変換した際に生成したブロック領域ＢＲの低周波成分からなるボケ画像をとのユークリッド距離を画像化したものである。すなわち、Ｌａｂ空間における３次元距離画像は、均等色空間における信号変動の様子を１枚の画像にしたものであり、人が知覚する変動を表現したものとして説明することができる。３次元空間での変動を扱うことにより、明度画像から得られない像構造的特徴を引き出すことができるため、種類情報ＫＩの識別をより正確に行うことができる。
【００４２】
つまり、各画素毎に抽出した画素特徴量に基づいて種類情報ＫＩを識別した場合、像構造による種類の識別を行うことができないため、たとえば「空」と「海」のように像構造は異なるが明度や色が類似した種類情報ＫＩの識別を精度よく行うことができない。一方、ブロック領域ＢＲ毎に距離画像Ｄを生成した像構造により種類情報ＫＩの抽出を行うことにより、種類の識別をより正確に行うことができる。
【００４３】
第２ウェーブレット変換手段４７は生成された距離画像Ｄをウェーブレット変換して、その高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨを出力する機能を有する。第２ウェーブレット変換手段４７に平均値算出手段４８と最大値算出手段４９とが接続されている。
【００４４】
平均値算出手段４８は、第２ウェーブレット変換手段４７により算出された高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨの平均値Ｄ−ＬＨ−ａｖｅ、Ｄ−ＨＬ−ａｖｅ、Ｄ−ＨＨ−ａｖｅを算出するものである。そして、算出された平均値Ｄ−ＬＨ−ａｖｅ、Ｄ−ＨＬ−ａｖｅ、Ｄ−ＨＨ−ａｖｅが像的特徴成分を抽出したブロック特徴量ＢＣＱとなる。
【００４５】
また、最大値算出手段４９は、第１ウェーブレット変換手段４３により算出された高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨの頻度分布において大きい方から５％の値を算出するものである。この最大値Ｄ−ＬＨ−ｍａｘ、Ｄ−ＨＬ−ｍａｘ、Ｄ−ＨＨ−ｍａｘが像的特徴成分を抽出したブロック特徴量ＢＣＱとなる。
【００４６】
このように、Ｄ（距離）成分のブロック特徴量ＢＣＱとして平均値と最大値とを利用することにより、平均的に一定強度の高周波成分が分布してブロック領域ＢＲと、一部に強い高周波成分があるブロック領域ＢＲとを区別することができるようになり、ブロック領域ＢＲの種類の判別を正確に行うことができるようになる。
【００４７】
次に、図８は写像手段５０および種類出力手段６０の一例を示す模式図であり、図１と図８を参照して写像手段５０および種類出力手段６０について説明する。この写像手段５０および種類出力手段６０には自己組織化マップを用いた修正対向伝搬ネットワーク（参考文献：徳高、岸田、藤村「自己組織化マップの応用−多次元情報の２次元可視化」海文堂、１９９９）が用いられている。
【００４８】
写像手段５０は、複数のニューロンＮをマトリックス状に配置した自己組織化マップからなる２次元空間ＳＯＭを有し、複数の特徴量（多次元特徴量）を２次元空間ＳＯＭ上に写像する機能を有する。各ニューロンＮはそれぞれブロック特徴量ＢＣＱと同一次元のベクトル座標を有する。本実施の形態においてはブロック特徴量ＢＣＱは１５個のブロック特徴量ＢＣＱからなっているため、各ニューロンは１５次元の結合荷重ベクトルからなっていることになる。
【００４９】
そして、写像手段５０は、１つのブロック領域ＢＲから抽出された１５個のブロック特徴量ＢＣＱを自己組織化マップＳＯＭ上のニューロンＮの中から、最も近似した（たとえば最もユークリッド距離等の近い）ニューロンＮｉ（発火要素）を選択する。これにより、複数のブロック特徴量ＢＣＱからなる多次元空間から２次元空間ＳＯＭ上に写像されたことになる。そして、写像手段５０は選択したニューロンＮｉの座標情報ＣＩを種類出力手段６０に送るようになっている。
【００５０】
種類出力手段６０は、２次元空間ＳＯＭと同一の座標系を有する複数の種類頻度分布マップＫＤＭを有しており、写像手段５０により写像された２次元空間ＳＯＭ上の座標情報ＣＩから、種類頻度分布マップＫＤＭ上でその座標情報ＣＩの示す部位が示す種類情報ＫＩを出力する機能を有する。この種類頻度分布マップＫＤＭは、図９に示すように、各種類情報ＫＩ毎に２次元空間上に様々な種類情報ＫＩの分布が形成されており、各種類情報ＫＩ毎にそれぞれ種類頻度分布マップＫＤＭが用意されている。たとえば、種類情報ＫＩが「空」の分布は、図９（ａ）のように種類頻度分布マップＫＤＭの右側および左上部の領域に形成されている。同様に、図９（ｂ）の種類情報ＫＩが「建物」の種類頻度分布マップＫＤＭ、図９（ｃ）の種類情報がＫＩが「木」の種類頻度分布マップＫＤＭおよび図９（ｄ）の種類情報ＫＩが「海」の種類頻度分布マップＫＤＭをそれぞれ示している。
【００５１】
なお、各種類情報ＫＩ毎に種類頻度分布マップＫＤＭが用意されている場合について例示しているが、１枚の種類頻度分布マップＫＤＭに複数の種類情報ＫＩの分布が形成されていてもよい。
【００５２】
ここで、上述した種類情報ＫＩを識別する際（認識モード）に使用される自己組織化マップＳＯＭおよび種類頻度分布マップＫＤＭは、予め学習されたものが使用される。すなわち、２次元空間ＳＯＭおよび種類頻度分布マップＫＤＭは学習機能を有しており、予め種類情報ＫＩが判っているブロック領域ＢＲから抽出されたブロック特徴量ＢＣＱからなる学習用入力データを用いて各ニューロンＮおよび種類頻度分布マップＫＤＭが学習される。
【００５３】
具体的には、まず自己組織化マップＳＯＭの学習について説明する。自己組織化マップＳＯＭのニューロンは、初期状態においてランダムな結合荷重ベクトルを有している。そして、予め種類情報ＫＩのわかっている学習用入力データが写像手段５０に入力される。すると、写像手段５０により学習用入力データと最も近似したニューロンＮｉ（発火要素）が選択される。同時に、選択されたニューロンＮｉ（発火要素）を取り囲むたとえば３×３個のニューロンが選択される。そして、ニューロンＮｉ（発火要素）およびその近傍にあるニューロンＮの結合荷重ベクトルが学習用入力データに近づく方向に更新されて、自己組織化マップＳＯＭのニューロンＮが学習される。
【００５４】
この作業が複数の学習用入力データを用いて行われる。さらに、この学習用入力データが複数回繰り返し自己組織化マップＳＯＭに入力される。ここで、複数の学習用入力データの入力が繰り返されるに連れて、結合荷重ベクトルが更新されるニューロンＮの近傍領域の範囲が狭くなっていき、最後には選択されたニューロンＮｉ（発火要素）のみの結合荷重ベクトルが更新される。
【００５５】
次に、種類頻度分布マップＫＤＭの学習について説明する。種類頻度分布マップＫＤＭにおいてすべての座標の初期値は０になっている。上述したように、自己組織化マップＳＯＭに学習用入力データが写像された際に、自己組織化マップＳＯＭ上の座標情報ＣＩが出力される。すると、学習用入力データの種類に対応する種類頻度分布マップＫＤＭ内の座標情報ＣＩに当たる部位およびそれを取り囲む領域（たとえば３×３個）に正の整数値（たとえば「１」）が加算される。
【００５６】
そして、学習用入力データが入力されて行くにつれて、種類頻度分布マップＫＤＭ上の特定の領域ついて学習用入力データの入力により数値が加算されて大きくなっていく。つまり、同じ種類のブロック領域ＢＲであれば、ブロック特徴量ＢＣＱが類似していることになる。ブロック特徴量ＢＣＱが類似していれば、自己組織化マップＳＯＭ上の近くの座標に写像されることが多くなるため、種類頻度分布マップＫＤＭにおいても特定の座標の数値が大きくなっていく。
【００５７】
最後に、種類頻度分布マップＫＤＭの各座標にある数値を全入力学習データ数×学習回数で割ると、各座標に０．０から１．０までの確率が入力された種類頻度分布マップＫＤＭが生成される。この確率が大きければ大きいほど、その種類である確率が大きくなることを意味する。図９の種類頻度分布マップＫＤＭにおいては、白の範囲が０．８〜１．０の信頼度（確率）、グレーの範囲が０．２〜０．８の信頼度（確率）、黒の範囲が０．０〜０．２の信頼度（確率）を示している。このように種類頻度分布マップＫＤＭがたとえば「空」、「建物」、「木」、「海」等の種類情報ＫＩ毎にそれぞれ形成されていく。
【００５８】
そして、実際のブロック領域ＢＲについて種類の識別をする際（認識モード）では、種類出力手段６０は、複数の種類頻度分布マップＫＤＭからそれぞれ座標情報ＣＩの部位が有する信頼度を抽出する。具体的には、写像手段５０から座標情報ＣＩが送られてきた場合、たとえば「空」、「建物」、「木」、「海」等のそれぞれの種類頻度分布マップＫＤＭ上の座標情報ＣＩに該当する部位の信頼度を抽出する。そして、種類出力手段６０は、各種類頻度分布マップＫＤＭから得られた確率をベクトル成分とする種類ベクトルを生成する。この場合、空の信頼度、建物の信頼度、木の信頼度および海の信頼度をベクトル成分とする種類ベクトルが生成される。その後、種類出力手段６０は最も大きい確率を有する種類情報ＫＩをブロック領域ＢＲの種類情報であると識別して、種類情報ＫＩをオブジェクト識別手段７０に送る。
【００５９】
なお、種類出力手段６０において、上述した種類ベクトルを構成するベクトル成分が、所定のベクトル成分しきい値より小さい場合、ブロック領域ＢＲの種類情報ＫＩの識別の確信度が低いと判断して、「不明」とした種類情報ＫＩをオブジェクト識別手段７０に送るようにしてもよい。もしくは最も大きいベクトル成分と２番目に大きいベクトル成分との差が小さい場合にも同様に、ブロック領域ＢＲの種類情報ＫＩの識別の確信度が低いと判断して、種類情報ＫＩを「不明」としてオブジェクト識別手段７０に送るようにしてもよい。これにより、種類情報ＫＩの識別について信頼性の低いブロック領域ＢＲについてはオブジェクト領域ＯＲの種類情報ＫＩの識別に与える影響を少なくすることができるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。
【００６０】
さらに、写像手段５０が送られた複数のブロック特徴量ＢＣＱを自己組織化マップＳＯＭに写像する際に、最も近似したニューロンＮｉ（発火要素）と複数のブロック特徴量ＢＣＱとの距離（たとえばユークリッド距離等）が所定の距離しきい値より大きい場合、写像手段５０は種類出力手段６０に対してマッチング処理を行わない旨の情報を送るようにしてもよい。その場合、種類出力手段６０においても、種類情報ＫＩを「不明」としてをオブジェクト識別手段７０に送るようにしてもよい。この場合であっても、種類情報ＫＩの識別について信頼性の低いブロック領域ＢＲについてはオブジェクト領域ＯＲの種類情報ＫＩの識別に与える影響を少なくすることができるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。
【００６１】
図１０はオブジェクト識別方法の一例を示すフローチャート図であり、図１から図１０を参照してオブジェクト識別方法について説明する。まず、オブジェクト抽出手段２０により入力された画像をオブジェクト毎に領域分割したオブジェクト領域ＯＲが生成される。一方では、ブロック領域生成手段１０により入力された画像を設定画素数（たとえば３２×３２画素）からなる、オブジェクト領域ＯＲより小さい複数のブロック領域ＢＲが生成される。（ステップＳＴ１）。
【００６２】
次に、ブロック特徴量抽出手段４０により１５個の特徴量ＢＣＱが抽出される（ステップＳＴ２）。その後、抽出した特徴量ＢＣＱが写像手段５０により自己組織化マップＳＯＭに写像されて、自己組織化マップＳＯＭの位置ＣＩが種類出力手段６０に送られる（ステップＳＴ３）。種類出力手段６０において、種類頻度分布マップＫＤＭから位置ＣＩの種類情報ＫＩを抽出して、オブジェクト識別手段７０に送る（ステップＳＴ４）。この作業がすべてのブロック領域ＢＲについて行われる（ステップＳＴ５）。
【００６３】
その後、オブジェクト識別手段７０において、各オブジェクト領域ＯＲ毎に付与された種類情報ＫＩを集計する（ステップＳＴ６）。そして、最も多い種類情報ＫＩがそのオブジェクト領域ＯＲの種類情報として出力される（ステップＳＴ７）。
【００６４】
次に、図１を参照して処理条件設定手段８０について説明する。処理条件設定手段８０は、オブジェクト識別手段７０から送られた各オブジェクト毎の種類および種類信頼度ＫＲを用いて、各オブジェクト領域ＯＲ毎に画像処理条件ＯＰを設定するものである。具体的には、処理条件設定手段８０は、オブジェクト領域ＯＲの種類毎に設定された初期画像処理条件ＯＰｒｅｆを有している。そして、処理条件設定手段８０は、送られた種類情報ＫＩを用いて種類に合った初期画像処理条件ＯＰｒｅｆを抽出するようになっている。
【００６５】
さらに、処理条件設定手段８０は、抽出した初期画像処理条件ＯＰｒｅｆに種類信頼度ＫＲを用いた処理効果係数を乗じて、そのオブジェクト領域ＯＲの画像処理条件ＯＰを設定するようになっている。たとえば、オブジェクト領域ＯＲの種類が「空」もしくは「肌」の場合、雑音成分の抑制効果を得るため、処理条件設定手段８０は、高周波ゲインＧｈ＝ＯＰｒｅｆ×（１−ＫＲ×０．５）を算出して、この高周波ゲインＧｈを画像処理条件ＯＰとする。一方、オブジェクト領域ＯＲの種類が「建物」の場合、鮮鋭度の強調効果を得るため、処理条件設定手段８０は、高周波ゲインＧｈ＝ＯＰｒｅｆ×（１＋ＫＲ×０．５）を算出して、この高周波ゲインＧｈを画像処理条件ＯＰとする。さらに、オブジェクト領域ＯＲの種類が「不明」の場合、処理条件設定手段８０は、初期画像処理条件ＯＰｒｅｆを画像処理条件ＯＰと設定する。
【００６６】
このように、種類信頼度ＫＲが低い場合、より初期画像処理条件ＯＰｒｅｆに近いものを画像処理条件ＯＰとして用いるようになっている。すなわち、種類信頼度ＫＲが低い場合、雑音成分の抑制効果が極端にならないようにすることができる。
【００６７】
次に、図１を参照して画像処理手段９０について説明する。画像処理手段９０は、処理条件設定手段８０において設定された画像処理条件ＯＰを用いて各オブジェクト領域ＯＲ毎に画像処理を行うものである。具体的には、上述したように、高周波ゲインが画像処理条件ＯＰとして設定されている場合、画像処理手段９０は、処理後の画像Ｐ＝Ｉ＿Ｌ（低周波成分）＋Ｇｈ×Ｉ＿Ｈ（高周波成分）となるように画像処理を行う。
【００６８】
図１１は本発明の画像処理方法の好ましい実施の形態を示すフローチャート図であり、図１１を参照して画像処理方法について説明する。まず、オブジェクト抽出手段２０において、入力された画像Ｐがオブジェクト領域ＯＲ毎に領域分割される（ステップＳＴ１０）。その後、オブジェクト識別手段７０において、上述したステップＳＴ１〜ステップＳＴ７の手法により、抽出されたオブジェクト領域ＯＲ毎に種類情報ＫＩが付される（ステップＳＴ１１）。また、オブジェクト識別手段７０において、付された種類の種類信頼度ＫＲが算出される。そして、各オブジェクト領域ＯＲに対して付された複数の種類情報ＫＩおよび種類信頼度ＫＲが処理条件設定手段８０に入力される。
【００６９】
すると、処理条件設定手段８０において、各オブジェクト領域ＯＲについてそれぞれ画像処理条件ＯＰが生成される（ステップＳＴ１２）。その後、画像処理手段９０において、設定された画像処理条件ＯＰに従って画像処理が行われて、各オブジェクト領域ＯＲの種類に合った画像処理が行われる（ステップＳＴ１３）。
【００７０】
上記実施の形態によれば、画像Ｐから複数のオブジェクト領域ＯＲを抽出し、複数のオブジェクト領域ＯＲ毎にオブジェクトの種類とオブジェクト領域ＯＲが識別した種類であることの種類信頼度ＫＲとを検出し、オブジェクト領域ＯＲの種類と種類信頼度ＫＲとを用いて、オブジェクト領域ＯＲの画像処理条件ＯＰを設定してオブジェクト領域ＯＲ毎に画像処理を行うことにより、オブジェクト領域ＯＲの種類に応じた画像処理を行うことができるようになり、画質の向上を図ることができる。すなわち、たとえば色やテクスチャ情報等の画像Ｐの物理的特徴を用いて画像処理条件ＯＰを設定した場合、たとえば「砂」と「肌」のように物理的特徴の近似した種類の異なる特徴のオブジェクト領域ＯＲは、同一の処理条件ＯＰにより画像処理されてしまう。よって、オブジェクト領域ＯＲによっては画像処理により好ましくない結果になってしまう。
【００７１】
一方、オブジェクト領域ＯＲの種類から画像処理条件ＯＰを設定することにより、オブジェクト領域ＯＲの種類の有する画像の特徴に合わせた画像処理条件ＯＰを設定することができるため、画質の向上を図ることができる。さらに、オブジェクト領域ＯＲの種類情報ＫＩとともに種類信頼度ＫＲを用いて画像処理条件ＯＰを設定することにより、オブジェクトの種類信頼度ＫＲに応じて画像処理効果に強弱をつけることができるため、オブジェクトの種類を誤って識別した場合であっても、画像処理による画質の劣化を最小限に抑えることができる。
【００７２】
本発明の実施の形態は、上記各実施の形態に限定されない。たとえば、図１の処理条件設定手段８０において、高周波ゲインを画像処理条件ＯＰとして用いた場合について例示しているが、階調処理のためのヒストグラム、濃度その他のパラメータを種類信頼度ＫＲを用いて設定するようにしてもよい。
【００７３】
また、図１のオブジェクト識別手段７０において、種類情報ＫＩと種類信頼度ＫＲを検出するようにしているが、種類情報ＫＩの他に「自然画」からなる自然オブジェクト領域ＯＲｎであるか「人工画」からなる人工オブジェクト領域ＯＲａであるかのカテゴリーを識別して処理条件設定手段８０に送る機能を有していてもよい。このとき、オブジェクト識別手段７０において、予め種類情報ＫＩが人工画であるか自然画であるかがカテゴリー分類がなれている。具体的には、オブジェクト識別手段７０は、「空」「木」「建物」等の種類情報ＫＩを「自然画」のカテゴリーとして定義し、「文字」「外枠」等の種類情報ＫＩを「人工画」のカテゴリーとして定義している。
【００７４】
さらに、オブジェクト識別手段７０は、オブジェクト領域ＯＲがそのカテゴリーであるカテゴリー信頼度ＣＲを算出する機能を有する。これは、上述した種類信頼度ＫＲを算出する場合と同様の手法により行われる。そして、処理条件設定手段８０は、オブジェクト領域ＯＲについて画像処理条件ＯＰを設定する場合、オブジェクト領域ＯＲの種類信頼度ＫＲとカテゴリー信頼度ＣＲを用いて画像処理条件ＯＰを設定する。
【００７５】
具体的には、たとえば、オブジェクト領域ＯＲの種類が「空」もしくは「肌」の場合、雑音成分の抑制効果を得るため、処理条件設定手段８０は、高周波ゲインＧｈ＝ＯＰｒｅｆ×（１−ＫＲ×ＣＲ×０．５）を算出して、この高周波ゲインＧｈを画像処理条件ＯＰとする。つまり、オブジェクト領域ＯＲの画像処理の効果をカテゴリー信頼度ＣＲで弱めている事になる。
【００７６】
たとえば、人工オブジェクト領域ＯＲａに対して自然画であると認識して画像処理を行った場合、人工画を作成した人の意図と異なったオブジェクトとなる場合がある。そこで、オブジェクト領域ＯＲの画像処理条件ＯＰがカテゴリー信頼度ＣＲに依存するように設定する。すると、人工オブジェクト領域ＯＲａを自然オブジェクト領域ＯＲｎと誤って識別してしまった場合であっても、人工オブジェクト領域ＯＲａの画像処理の効果が弱められることになり、画像処理による副作用を弱めることができる。
【００７７】
また、画像処理手段９０は、人工オブジェクト領域ＯＲａに対して画像処理を行わない機能を有していてもよい。これにより、人工オブジェクト領域ＯＲａに対して画像処理を行うことを防止することができる。
【００７８】
さらに、画像処理装置１は、画像処理プログラムをコンピュータに組み込むことにより、ソフトウェアとハードウェア資源との協働作業により実現されるようにしてもよい。この画像処理プログラムは、画像から複数のオブジェクト領域を抽出する手順と、抽出した前記複数のオブジェクト領域毎にオブジェクトの種類と、前記オブジェクト領域が識別した前記種類であることの信頼度とを検出する手順と、検出した前記オブジェクトの種類と前記信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定する手順と、設定した前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行う手順とをコンピュータに実行させるための画像処理プログラム、ということができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の第１の実施の形態を示すブロック図
【図２】本発明の画像処理装置において、画像に含まれるオブジェクト毎に種類が識別される様子を示す図
【図３】本発明の画像処理装置におけるオブジェクト抽出手段の一例を示すブロック図
【図４】図２のオブジェクト抽出手段により画像が領域分割される様子を示す図
【図５】図２のオブジェクト抽出手段によりクラスタリング領域が統合されてオブジェクト領域が形成される様子を示す図
【図６】本発明の画像処理装置におけるブロック特徴量抽出手段の一例を示すブロック図
【図７】本発明の画像処理装置における距離画像生成手段における距離画像の生成の様子を示すブロック図
【図８】本発明の画像処理装置における写像手段および種類出力手段の一例を示すブロック図
【図９】本発明の画像処理装置における種類頻度分布マップの一例を示すブロック図
【図１０】本発明のオブジェクト識別方法の一例を示すフローチャート図
【図１１】本発明のオブジェクト識別方法の好ましい実施の形態を示すフローチャート図
【符号の説明】
１ 画像処理装置
２０ オブジェクト抽出手段
７０ オブジェクト識別手段
８０ 処理条件設定手段
９０ 画像処理手段
ＣＲ カテゴリー信頼度
ＯＰ 画像処理条件
ＯＰｒｅｆ 初期画像処理条件
ＫＩ 種類情報
ＫＲ 種類信頼度
ＯＲ オブジェクト領域
ＯＲａ 人工オブジェクト領域
ＯＲｎ 自然オブジェクト領域
Ｐ 画像
【発明の属する技術分野】
本発明は、画像に含まれるオブジェクトの画像処理条件を自動的に設定する画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
デジタルカメラ等で撮像した画像情報において、画像情報にどのような画像が撮像されているかを識別することができれば、たとえば画像データに含まれるオブジェクトの種類毎に分類、検索もしくは画像処理等などをすることができる。
【０００３】
たとえば画像処理を行う場合、高画質化処理の一例として、たとえば特公平５−６２８７９号で開示されているように特定色領域を識別して異なる処理をする方法が知られている。これは、雑音成分が目立ちやすい領域を色で識別して、雑音除去を行うものである。
【０００４】
また、上述した色の違いによる画像処理条件の設定に限らず、たとえばテクスチャ情報や輝度情報等の画像の物理的特徴に基づいて画像処理を行うことが考えられる。
【０００５】
【発明が解決しようとする課題】
しかし、色もしくはその他の物理的特徴に基づいて画像処理条件を設定した場合、正しい画像処理条件が得られない場合がある。具体的には、画像に砂のオブジェクトと人間、特に肌のオブジェクトが含まれていたとする。このとき、砂と肌との色は近似しているため、砂の領域を肌の領域と誤って認識して、砂の領域に雑音除去を行ってしまう場合がある。すると、砂特有のテクスチャが失われて不自然な画像になるおそれがある。
【０００６】
そこで、本発明は、画像に含まれるオブジェクトの種類に合った画像処理条件により画像処理を行うことができる画像処理方法および装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理方法は、画像から複数のオブジェクト領域を抽出するステップと、抽出した前記複数のオブジェクト領域毎にオブジェクトの種類と、前記オブジェクト領域が識別した前記種類であることの種類信頼度とを検出するステップと、検出した前記オブジェクトの種類と前記種類信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定するステップと、設定した前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行うステップとを有することを特徴とする。
【０００８】
本発明の画像処理装置は、複数のオブジェクトを含む画像から複数のオブジェクト領域を抽出するオブジェクト抽出手段と、抽出された前記複数のオブジェクト領域のオブジェクトの種類と、前記オブジェクト領域が識別された前記種類であることの種類信頼度とを検出するオブジェクト識別手段と、検出された前記オブジェクトの種類と前記種類信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定する処理条件設定手段と、設定された前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行う画像処理手段とを有することを特徴とする。
【０００９】
ここで、「オブジェクト」はたとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、「オブジェクト領域」は被写体が画像内に占める領域を意味する。
【００１０】
「オブジェクトの種類を識別する」とは、画像内のオブジェクトがたとえば「山」、「海」、「花」、「空」等の種類であることを特定することを意味し、さらにオブジェクトの種類がわからない場合に「不明」であることを特定することも含む。
【００１１】
「処理条件設定手段」は、画像に含まれるオブジェクト領域の画像処理条件を設定するものであればよく、種類信頼度に依存する処理効果係数を算出し、オブジェクトの種類毎に設定された初期画像処理条件に算出された処理効果係数を乗じて画像処理条件を設定するものであってもよい。
【００１２】
「オブジェクト識別手段」は、オブジェクト領域の前記種類信頼度とともに、該オブジェクト領域が人工画からなる人工オブジェクト領域であるか自然画からなる自然オブジェクト領域であるかのカテゴリーを識別するとともに、該カテゴリーであることのカテゴリー信頼度を算出するものであってもよい。
【００１３】
「処理条件設定手段」は、画像に人工オブジェクト領域と自然オブジェクト領域が含まれている場合、前記オブジェクト領域の種類信頼度とカテゴリー信頼度とを用いて前記オブジェクト領域の前記画像処理条件を設定するものであってもよい。
【００１４】
また、「画像処理手段」は、設定された画像処理条件に従い、たとえば周波数処理や雑音除去処理等の画像処理を行うものであって、人工オブジェクト領域に対して画像処理を行わないようにしてもよい。
【００１５】
【発明の効果】
本発明の画像処理方法および装置によれば、画像から複数のオブジェクト領域を抽出し、複数のオブジェクト領域毎にオブジェクトの種類とオブジェクト領域が識別した種類であることの種類信頼度とを検出し、オブジェクトの種類と種類信頼度とを用いて、オブジェクト領域の画像処理条件を設定してオブジェクト領域毎に画像処理を行うことにより、オブジェクト領域の種類に即した画像処理を自動的に行うことができるようになり、画質の向上を図ることができる。
【００１６】
なお、オブジェクト識別手段が、オブジェクトの前記種類信頼度とともに、該オブジェクト領域が人工画からなる人工オブジェクト領域であるか自然画からなる自然オブジェクト領域であるかのカテゴリーを識別するとともに、該カテゴリーであることのカテゴリー信頼度を算出することにより、オブジェクト領域の種類のみならず、オブジェクト領域のカテゴリーによっても画像処理条件を変えることができるようになり、自動的にオブジェクト領域に対して画像処理を行ったときの画質の劣化を防止することができる。
【００１７】
また、画像に人工オブジェクト領域と自然オブジェクト領域が含まれている場合、処理条件設定手段が、オブジェクト領域の種類信頼度とカテゴリー信頼度とを用いて前記オブジェクト領域の前記画像処理条件を設定することにより、人工オブジェクト領域を自然オブジェクト領域と誤って認識した場合、誤って認識された人工オブジェクト領域の画像処理の効果を弱めることができるため、作成者が意図して作製した人工オブジェクト領域の画像処理による変更を低減させることができる。
【００１８】
【発明の実施の形態】
図１は本発明の画像処理装置の第１の実施の形態を示すブロック図であり、図１を参照して画像処理装置１について説明する。画像処理装置１は画像Ｐに含まれる各オブジェクト毎に該オブジェクトの種類に応じた画像処理を行うものであって、ブロック領域生成手段１０、オブジェクト抽出手段２０、ブロック領域識別手段３０、オブジェクト識別手段７０、処理条件設定手段８０、画像処理手段９０等を有する。
【００１９】
図１のブロック領域生成手段１０は、図２（ａ）に示すように、画像Ｐを設定画素数毎に分割したブロック領域ＢＲを生成する機能を有する。そして、ブロック領域生成手段１０は生成したブロック領域ＢＲをブロック領域識別手段３０に送る。たとえば設定画素数が３２画素×３２画素である場合、画像Ｐから３２×３２画素からなるブロック領域ＢＲが生成されることになる。
【００２０】
オブジェクト抽出手段２０は、図２（ｂ）に示すように、画像Ｐを各オブジェクト毎に領域分割してオブジェクト領域ＯＲを生成する機能を有する。そしてオブジェクト抽出手段２０は生成した各オブジェクト領域ＯＲをオブジェクト識別手段７０に送る。
【００２１】
ブロック領域識別手段３０は生成された各ブロック領域ＢＲ毎に種類を識別する機能を有する。すなわち、ブロック領域識別手段３０は、画像内のオブジェクトが「山」、「海」、「花」、「空」等の種類であることを特定するようになっている。ブロック領域識別手段３０は識別した種類情報ＫＩをオブジェクト識別手段７０に送るようになっている。
【００２２】
オブジェクト識別手段７０は、送られたブロック領域ＢＲ毎の種類情報ＫＩを用いて、分割されたオブジェクト領域ＯＲ毎に種類情報ＫＩを付与して、オブジェクト領域ＯＲの種類を識別可能にする機能を有する。具体的には、オブジェクト識別手段７０は、オブジェクト領域ＯＲ内の各ブロック領域ＢＲの種類情報ＫＩを集計する。そして、オブジェクト識別手段７０は、あるオブジェクト領域ＯＲにおいて集計されたブロック領域ＢＲの種類情報ＫＩのうち、最も多いブロック領域ＢＲの最大種類情報ＫＩｍａｘをオブジェクトの種類と識別する。なお、オブジェクト識別手段７０は、複数のオブジェクト領域ＯＲにまたがっているブロック領域ＢＲは、カウントしないようになっている。すると、図２（ｃ）に示すように、各オブジェクト領域ＯＲに種類情報ＫＩが付された状態になり、オブジェクト領域ＯＲが種類情報ＫＩによって識別可能となる。
【００２３】
また、オブジェクト識別手段７０は、決定した種類の得票率を種類信頼度ＫＲとして算出する機能を有する。具体的には、オブジェクト識別手段７０は、オブジェクト領域ＯＲの種類と同一種類のブロック領域ＢＲの数を、オブジェクト領域ＯＲを構成する全ブロック領域数で割ることにより、種類信頼度ＫＲ（０≦ＫＲ≦１）を算出する。そして、オブジェクト識別手段７０は、算出した種類信頼度ＫＲおよび種類情報ＫＩを処理条件設定手段８０に送るようになっている。
【００２４】
なお、図１のオブジェクト識別手段７０において、オブジェクトの種類情報ＫＩを多数決により決定するようにしているが、集計された種類情報ＫＩのうち最も多い最大種類情報ＫＩｍａｘの割合（最大種類情報ＫＩｍａｘの数／オブジェクトを構成する全ブロック領域数）が種類情報しきい値ＫＩｒｅｆより小さい場合、オブジェクト識別手段７０がオブジェクトの種類情報ＫＩとして「不明」を出力する機能を有していてもよい。あるいは、最大種類情報ＫＩｍａｘの割合と２番目に多い種類情報ＫＩの割合との差が小さい場合、オブジェクト識別手段７０がオブジェクトの種類情報ＫＩとして「不明」を出力するようにしてもよい。これは、オブジェクトの種類情報ＫＩを誤って識別するよりも、「不明」と判断された方がユーザーにとって好ましい場合があるためである。
【００２５】
図３はオブジェクト抽出手段２０の一例を示すブロック図であり、図３を参照してオブジェクト抽出手段２０について説明する。なお、以下に示すオブジェクト抽出手段２０は一例であり、たとえばエッジ検出により各オブジェクト領域ＯＲを生成する手法等により行うようにしてもよい。
【００２６】
オブジェクト抽出手段２０は、画像Ｐを構成する各画素から複数の画素特徴量を抽出して、類似した画素特徴量毎に画素を分類する画像の特徴量分類手段１００と、画素の分類毎に領域分割して複数のクラスタリング領域を生成する領域分割手段１０１と、生成されたクラスタリング領域を統合してオブジェクト領域を抽出する領域統合手段１１０とを有する。
【００２７】
たとえば、類似した特徴を有する画素が図４（ａ）に示すように並んだ画像があると仮定する。すると、特徴量分類手段１００において、各画素から複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、図４（ｂ）に示すように、複数の特徴ベクトルが類似する特徴ベクトル毎に分類される（クラスタリング）。
【００２８】
その後、領域分割手段１０１が、特徴量分類手段１００によりクラスタリングされた結果を実際の画像に写像する。すると、図５（ａ）に示すように、類似した画素からなる複数のクラスタリング領域が形成される。このクラスタリング領域は、データベース１１１に記憶される。
【００２９】
領域統合手段１１０は、領域分割手段１０１により分割されたクラスタリング領域を統合してオブジェクト領域ＯＲを抽出する機能を有する。具体的には、領域統合手段１１０は最小クラスタ領域抽出手段１１２、統合領域判断手段１１３と接続されている。最小クラスタ領域抽出手段１１２は、データベース１１１内のクラスタリング領域のうち、最も画素数の少ない最小クラスタリング領域を抽出して領域統合手段１１０に送る。また、統合領域判断手段１１３は、抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域をデーベース１１１内から抽出して領域統合手段１１０に送る。
【００３０】
そして、最小クラスタリング領域が所定の微小画素しきい値以下の画素数（たとえば全画素数の１／１００）の場合、領域統合手段１１０は、最小クラスタリング領域を境界画素数（周囲長）の最も多い隣接クラスタリング領域と統合させる。具体的には、図５（ａ）のクラスタリング領域Ａが所定の微小画素しきい値以下の画素数を有する最小クラスタリング領域であるとする。クラスタリング領域Ａは、クラスタリング領域Ｃ、Ｄと隣接しているため、クラスタリング領域Ｂ、Ｃが隣接クラスタリング領域となる。
【００３１】
そこで、領域統合手段１１０において、最小クラスタリング領域Ａとクラスタリング領域Ｃ、Ｄとが接している隣接画素数がそれぞれ算出される。図５（ａ）においては隣接クラスタリング領域Ｄとの境界画素数の方が隣接クラスタリング領域Ｃとの境界画素数よりも多い。このためクラスタリング領域Ａは図５（ｂ）のようにクラスタリング領域Ｄと統合する。
【００３２】
また、最小クラスタリング領域が所定の小画素しきい値以下の画素数（たとえば全画素数の１／１０）の場合、領域統合手段１１０は、最小クラスタリング領域を特徴空間での距離が近い隣接クラスタリング領域と統合させる。具体的には、図５（ｂ）において、クラスタリング領域Ｂが所定の小画素しきい値以下の最小クラスタリング領域であるとする。すると、クラスタリング領域Ｂの隣接クラスタリング領域はクラスタリング領域Ｃ、Ｄである。そこで、たとえばテクスチャ情報を距離を基準とした場合、どちらのクラスタリング領域Ｃ、Ｄのテクスチャがクラスタリング領域Ｂのテクスチャに近いかが判断される。そして、図５（ｃ）のように、クラスタリング領域Ｂが特徴空間での最も近い距離であるクラスタリング領域Ｄと統合される。
【００３３】
領域統合手段１１０において、上述した作業がたとえば最小クラスタ領域抽出手段１１２から送られる最小クラスタリング領域が所定の小画素しきい値よりも大きい画素数になるまで行われる。すると、画像を各オブジェクト領域ＯＲ毎に領域分割することができる。
【００３４】
次に、図１を参照してブロック領域識別手段３０について説明する。ブロック領域識別手段３０は、ブロック特徴量抽出手段４０、写像手段５０、種類出力手段６０等を有する。特徴量抽出手段４０は、ブロック領域ＢＲから複数のブロック特徴量ＢＣＱを抽出する機能を有する。写像手段５０は、たとえば自己組織化マップからなる２次元空間ＳＯＭを有し、複数のブロック特徴量ＢＣＱ（多次元特徴量）を二次元空間ＳＯＭ上に写像するものである。種類出力手段６０は、２次元空間ＳＯＭ上の位置毎に種類情報ＫＩを定義した種類頻度分布マップＫＤＭを有する。そして、種類出力手段６０は写像手段５０により写像された２次元空間ＳＯＭ上の座標情報ＣＩから種類頻度分布マップＫＤＭを用いてブロック領域ＢＲの種類情報ＫＩを出力するものである。以下にブロック領域識別手段３０の各構成について具体的に説明していく。
【００３５】
図６は特徴量抽出手段４０の一例を示すブロック図であり、図６を参照して特徴量抽出手段４０について説明する。ブロック特徴量抽出手段４０は、色成分、明度成分および像的特徴成分からなる１５個のブロック特徴量ＢＣＱを出力するものであって、Ｌａｂ変換手段４１、第１平均値算出手段４２、第１ウェーブレット変換手段４３、距離画像生成手段４６、第２ウェーブレット変換手段４７等を有する。
【００３６】
Ｌａｂ変換手段４１は、ＲＧＢ画像からなるブロック領域ＢＲをＬａｂ画像に変換する機能を有する。平均値算出手段４２は、Ｌａｂ変換されたブロック領域ＢＲのＬ成分、ａ成分およびｂ成分の平均値Ｌ−ａｖｅ、ａ−ａｖｅ、ｂ−ａｖｅをそれぞれ算出する機能を有する。そして、算出された平均値Ｌ−ａｖｅ、ａ−ａｖｅ、ｂ−ａｖｅが色成分を抽出したブロック特徴量ＢＣＱとなる。
【００３７】
第１ウェーブレット変換手段４３は、Ｌａｂ変換されたブロック領域ＢＲの明度成分をウェーブレット変換して高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨを算出するものである。また第１ウェーブレット変換手段４３に平均値算出手段４４と最大値算出手段４５とが接続されている。
【００３８】
平均値算出手段４４は、第１ウェーブレット変換手段４３により算出された高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨの平均値Ｌ−ＬＨ−ａｖｅ、Ｌ−ＨＬ−ａｖｅ、Ｌ−ＨＨ−ａｖｅを算出するものである。そして、算出された平均値Ｌ−ＬＨ−ａｖｅ、Ｌ−ＨＬ−ａｖｅ、Ｌ−ＨＨ−ａｖｅが明度成分を抽出したブロック特徴量ＢＣＱとなる。
【００３９】
また、最大値算出手段４５は、第１ウェーブレット変換手段４３により算出された高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨの頻度分布において大きい方から５％の値を算出するものである。この最大値Ｌ−ＬＨ−ｍａｘ、Ｌ−ＨＬ−ｍａｘ、Ｌ−ＨＨ−ｍａｘが明度成分を抽出したブロック特徴量ＢＣＱとなる。
【００４０】
このように、Ｌ成分のブロック特徴量ＢＣＱとして平均値と最大値とを利用することにより、平均的に一定強度の高周波成分が分布してブロック領域ＢＲと、一部に強い高周波成分があるブロック領域ＢＲとを区別することができるようになり、ブロック領域ＢＲの種類の識別を正確に行うことができるようになる。
【００４１】
距離画像生成手段４６は、Ｌａｂ変換手段４１によりＬａｂ変換されたブロック領域ＢＲから距離画像Ｄを生成する機能を有する。ここで、距離画像Ｄは、一般的な距離画像とは異なり、図７に示すように、Ｌａｂ変換した３変数のブロック領域ＢＲと、ウェーブレット変換した際に生成したブロック領域ＢＲの低周波成分からなるボケ画像をとのユークリッド距離を画像化したものである。すなわち、Ｌａｂ空間における３次元距離画像は、均等色空間における信号変動の様子を１枚の画像にしたものであり、人が知覚する変動を表現したものとして説明することができる。３次元空間での変動を扱うことにより、明度画像から得られない像構造的特徴を引き出すことができるため、種類情報ＫＩの識別をより正確に行うことができる。
【００４２】
つまり、各画素毎に抽出した画素特徴量に基づいて種類情報ＫＩを識別した場合、像構造による種類の識別を行うことができないため、たとえば「空」と「海」のように像構造は異なるが明度や色が類似した種類情報ＫＩの識別を精度よく行うことができない。一方、ブロック領域ＢＲ毎に距離画像Ｄを生成した像構造により種類情報ＫＩの抽出を行うことにより、種類の識別をより正確に行うことができる。
【００４３】
第２ウェーブレット変換手段４７は生成された距離画像Ｄをウェーブレット変換して、その高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨを出力する機能を有する。第２ウェーブレット変換手段４７に平均値算出手段４８と最大値算出手段４９とが接続されている。
【００４４】
平均値算出手段４８は、第２ウェーブレット変換手段４７により算出された高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨの平均値Ｄ−ＬＨ−ａｖｅ、Ｄ−ＨＬ−ａｖｅ、Ｄ−ＨＨ−ａｖｅを算出するものである。そして、算出された平均値Ｄ−ＬＨ−ａｖｅ、Ｄ−ＨＬ−ａｖｅ、Ｄ−ＨＨ−ａｖｅが像的特徴成分を抽出したブロック特徴量ＢＣＱとなる。
【００４５】
また、最大値算出手段４９は、第１ウェーブレット変換手段４３により算出された高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨの頻度分布において大きい方から５％の値を算出するものである。この最大値Ｄ−ＬＨ−ｍａｘ、Ｄ−ＨＬ−ｍａｘ、Ｄ−ＨＨ−ｍａｘが像的特徴成分を抽出したブロック特徴量ＢＣＱとなる。
【００４６】
このように、Ｄ（距離）成分のブロック特徴量ＢＣＱとして平均値と最大値とを利用することにより、平均的に一定強度の高周波成分が分布してブロック領域ＢＲと、一部に強い高周波成分があるブロック領域ＢＲとを区別することができるようになり、ブロック領域ＢＲの種類の判別を正確に行うことができるようになる。
【００４７】
次に、図８は写像手段５０および種類出力手段６０の一例を示す模式図であり、図１と図８を参照して写像手段５０および種類出力手段６０について説明する。この写像手段５０および種類出力手段６０には自己組織化マップを用いた修正対向伝搬ネットワーク（参考文献：徳高、岸田、藤村「自己組織化マップの応用−多次元情報の２次元可視化」海文堂、１９９９）が用いられている。
【００４８】
写像手段５０は、複数のニューロンＮをマトリックス状に配置した自己組織化マップからなる２次元空間ＳＯＭを有し、複数の特徴量（多次元特徴量）を２次元空間ＳＯＭ上に写像する機能を有する。各ニューロンＮはそれぞれブロック特徴量ＢＣＱと同一次元のベクトル座標を有する。本実施の形態においてはブロック特徴量ＢＣＱは１５個のブロック特徴量ＢＣＱからなっているため、各ニューロンは１５次元の結合荷重ベクトルからなっていることになる。
【００４９】
そして、写像手段５０は、１つのブロック領域ＢＲから抽出された１５個のブロック特徴量ＢＣＱを自己組織化マップＳＯＭ上のニューロンＮの中から、最も近似した（たとえば最もユークリッド距離等の近い）ニューロンＮｉ（発火要素）を選択する。これにより、複数のブロック特徴量ＢＣＱからなる多次元空間から２次元空間ＳＯＭ上に写像されたことになる。そして、写像手段５０は選択したニューロンＮｉの座標情報ＣＩを種類出力手段６０に送るようになっている。
【００５０】
種類出力手段６０は、２次元空間ＳＯＭと同一の座標系を有する複数の種類頻度分布マップＫＤＭを有しており、写像手段５０により写像された２次元空間ＳＯＭ上の座標情報ＣＩから、種類頻度分布マップＫＤＭ上でその座標情報ＣＩの示す部位が示す種類情報ＫＩを出力する機能を有する。この種類頻度分布マップＫＤＭは、図９に示すように、各種類情報ＫＩ毎に２次元空間上に様々な種類情報ＫＩの分布が形成されており、各種類情報ＫＩ毎にそれぞれ種類頻度分布マップＫＤＭが用意されている。たとえば、種類情報ＫＩが「空」の分布は、図９（ａ）のように種類頻度分布マップＫＤＭの右側および左上部の領域に形成されている。同様に、図９（ｂ）の種類情報ＫＩが「建物」の種類頻度分布マップＫＤＭ、図９（ｃ）の種類情報がＫＩが「木」の種類頻度分布マップＫＤＭおよび図９（ｄ）の種類情報ＫＩが「海」の種類頻度分布マップＫＤＭをそれぞれ示している。
【００５１】
なお、各種類情報ＫＩ毎に種類頻度分布マップＫＤＭが用意されている場合について例示しているが、１枚の種類頻度分布マップＫＤＭに複数の種類情報ＫＩの分布が形成されていてもよい。
【００５２】
ここで、上述した種類情報ＫＩを識別する際（認識モード）に使用される自己組織化マップＳＯＭおよび種類頻度分布マップＫＤＭは、予め学習されたものが使用される。すなわち、２次元空間ＳＯＭおよび種類頻度分布マップＫＤＭは学習機能を有しており、予め種類情報ＫＩが判っているブロック領域ＢＲから抽出されたブロック特徴量ＢＣＱからなる学習用入力データを用いて各ニューロンＮおよび種類頻度分布マップＫＤＭが学習される。
【００５３】
具体的には、まず自己組織化マップＳＯＭの学習について説明する。自己組織化マップＳＯＭのニューロンは、初期状態においてランダムな結合荷重ベクトルを有している。そして、予め種類情報ＫＩのわかっている学習用入力データが写像手段５０に入力される。すると、写像手段５０により学習用入力データと最も近似したニューロンＮｉ（発火要素）が選択される。同時に、選択されたニューロンＮｉ（発火要素）を取り囲むたとえば３×３個のニューロンが選択される。そして、ニューロンＮｉ（発火要素）およびその近傍にあるニューロンＮの結合荷重ベクトルが学習用入力データに近づく方向に更新されて、自己組織化マップＳＯＭのニューロンＮが学習される。
【００５４】
この作業が複数の学習用入力データを用いて行われる。さらに、この学習用入力データが複数回繰り返し自己組織化マップＳＯＭに入力される。ここで、複数の学習用入力データの入力が繰り返されるに連れて、結合荷重ベクトルが更新されるニューロンＮの近傍領域の範囲が狭くなっていき、最後には選択されたニューロンＮｉ（発火要素）のみの結合荷重ベクトルが更新される。
【００５５】
次に、種類頻度分布マップＫＤＭの学習について説明する。種類頻度分布マップＫＤＭにおいてすべての座標の初期値は０になっている。上述したように、自己組織化マップＳＯＭに学習用入力データが写像された際に、自己組織化マップＳＯＭ上の座標情報ＣＩが出力される。すると、学習用入力データの種類に対応する種類頻度分布マップＫＤＭ内の座標情報ＣＩに当たる部位およびそれを取り囲む領域（たとえば３×３個）に正の整数値（たとえば「１」）が加算される。
【００５６】
そして、学習用入力データが入力されて行くにつれて、種類頻度分布マップＫＤＭ上の特定の領域ついて学習用入力データの入力により数値が加算されて大きくなっていく。つまり、同じ種類のブロック領域ＢＲであれば、ブロック特徴量ＢＣＱが類似していることになる。ブロック特徴量ＢＣＱが類似していれば、自己組織化マップＳＯＭ上の近くの座標に写像されることが多くなるため、種類頻度分布マップＫＤＭにおいても特定の座標の数値が大きくなっていく。
【００５７】
最後に、種類頻度分布マップＫＤＭの各座標にある数値を全入力学習データ数×学習回数で割ると、各座標に０．０から１．０までの確率が入力された種類頻度分布マップＫＤＭが生成される。この確率が大きければ大きいほど、その種類である確率が大きくなることを意味する。図９の種類頻度分布マップＫＤＭにおいては、白の範囲が０．８〜１．０の信頼度（確率）、グレーの範囲が０．２〜０．８の信頼度（確率）、黒の範囲が０．０〜０．２の信頼度（確率）を示している。このように種類頻度分布マップＫＤＭがたとえば「空」、「建物」、「木」、「海」等の種類情報ＫＩ毎にそれぞれ形成されていく。
【００５８】
そして、実際のブロック領域ＢＲについて種類の識別をする際（認識モード）では、種類出力手段６０は、複数の種類頻度分布マップＫＤＭからそれぞれ座標情報ＣＩの部位が有する信頼度を抽出する。具体的には、写像手段５０から座標情報ＣＩが送られてきた場合、たとえば「空」、「建物」、「木」、「海」等のそれぞれの種類頻度分布マップＫＤＭ上の座標情報ＣＩに該当する部位の信頼度を抽出する。そして、種類出力手段６０は、各種類頻度分布マップＫＤＭから得られた確率をベクトル成分とする種類ベクトルを生成する。この場合、空の信頼度、建物の信頼度、木の信頼度および海の信頼度をベクトル成分とする種類ベクトルが生成される。その後、種類出力手段６０は最も大きい確率を有する種類情報ＫＩをブロック領域ＢＲの種類情報であると識別して、種類情報ＫＩをオブジェクト識別手段７０に送る。
【００５９】
なお、種類出力手段６０において、上述した種類ベクトルを構成するベクトル成分が、所定のベクトル成分しきい値より小さい場合、ブロック領域ＢＲの種類情報ＫＩの識別の確信度が低いと判断して、「不明」とした種類情報ＫＩをオブジェクト識別手段７０に送るようにしてもよい。もしくは最も大きいベクトル成分と２番目に大きいベクトル成分との差が小さい場合にも同様に、ブロック領域ＢＲの種類情報ＫＩの識別の確信度が低いと判断して、種類情報ＫＩを「不明」としてオブジェクト識別手段７０に送るようにしてもよい。これにより、種類情報ＫＩの識別について信頼性の低いブロック領域ＢＲについてはオブジェクト領域ＯＲの種類情報ＫＩの識別に与える影響を少なくすることができるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。
【００６０】
さらに、写像手段５０が送られた複数のブロック特徴量ＢＣＱを自己組織化マップＳＯＭに写像する際に、最も近似したニューロンＮｉ（発火要素）と複数のブロック特徴量ＢＣＱとの距離（たとえばユークリッド距離等）が所定の距離しきい値より大きい場合、写像手段５０は種類出力手段６０に対してマッチング処理を行わない旨の情報を送るようにしてもよい。その場合、種類出力手段６０においても、種類情報ＫＩを「不明」としてをオブジェクト識別手段７０に送るようにしてもよい。この場合であっても、種類情報ＫＩの識別について信頼性の低いブロック領域ＢＲについてはオブジェクト領域ＯＲの種類情報ＫＩの識別に与える影響を少なくすることができるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。
【００６１】
図１０はオブジェクト識別方法の一例を示すフローチャート図であり、図１から図１０を参照してオブジェクト識別方法について説明する。まず、オブジェクト抽出手段２０により入力された画像をオブジェクト毎に領域分割したオブジェクト領域ＯＲが生成される。一方では、ブロック領域生成手段１０により入力された画像を設定画素数（たとえば３２×３２画素）からなる、オブジェクト領域ＯＲより小さい複数のブロック領域ＢＲが生成される。（ステップＳＴ１）。
【００６２】
次に、ブロック特徴量抽出手段４０により１５個の特徴量ＢＣＱが抽出される（ステップＳＴ２）。その後、抽出した特徴量ＢＣＱが写像手段５０により自己組織化マップＳＯＭに写像されて、自己組織化マップＳＯＭの位置ＣＩが種類出力手段６０に送られる（ステップＳＴ３）。種類出力手段６０において、種類頻度分布マップＫＤＭから位置ＣＩの種類情報ＫＩを抽出して、オブジェクト識別手段７０に送る（ステップＳＴ４）。この作業がすべてのブロック領域ＢＲについて行われる（ステップＳＴ５）。
【００６３】
その後、オブジェクト識別手段７０において、各オブジェクト領域ＯＲ毎に付与された種類情報ＫＩを集計する（ステップＳＴ６）。そして、最も多い種類情報ＫＩがそのオブジェクト領域ＯＲの種類情報として出力される（ステップＳＴ７）。
【００６４】
次に、図１を参照して処理条件設定手段８０について説明する。処理条件設定手段８０は、オブジェクト識別手段７０から送られた各オブジェクト毎の種類および種類信頼度ＫＲを用いて、各オブジェクト領域ＯＲ毎に画像処理条件ＯＰを設定するものである。具体的には、処理条件設定手段８０は、オブジェクト領域ＯＲの種類毎に設定された初期画像処理条件ＯＰｒｅｆを有している。そして、処理条件設定手段８０は、送られた種類情報ＫＩを用いて種類に合った初期画像処理条件ＯＰｒｅｆを抽出するようになっている。
【００６５】
さらに、処理条件設定手段８０は、抽出した初期画像処理条件ＯＰｒｅｆに種類信頼度ＫＲを用いた処理効果係数を乗じて、そのオブジェクト領域ＯＲの画像処理条件ＯＰを設定するようになっている。たとえば、オブジェクト領域ＯＲの種類が「空」もしくは「肌」の場合、雑音成分の抑制効果を得るため、処理条件設定手段８０は、高周波ゲインＧｈ＝ＯＰｒｅｆ×（１−ＫＲ×０．５）を算出して、この高周波ゲインＧｈを画像処理条件ＯＰとする。一方、オブジェクト領域ＯＲの種類が「建物」の場合、鮮鋭度の強調効果を得るため、処理条件設定手段８０は、高周波ゲインＧｈ＝ＯＰｒｅｆ×（１＋ＫＲ×０．５）を算出して、この高周波ゲインＧｈを画像処理条件ＯＰとする。さらに、オブジェクト領域ＯＲの種類が「不明」の場合、処理条件設定手段８０は、初期画像処理条件ＯＰｒｅｆを画像処理条件ＯＰと設定する。
【００６６】
このように、種類信頼度ＫＲが低い場合、より初期画像処理条件ＯＰｒｅｆに近いものを画像処理条件ＯＰとして用いるようになっている。すなわち、種類信頼度ＫＲが低い場合、雑音成分の抑制効果が極端にならないようにすることができる。
【００６７】
次に、図１を参照して画像処理手段９０について説明する。画像処理手段９０は、処理条件設定手段８０において設定された画像処理条件ＯＰを用いて各オブジェクト領域ＯＲ毎に画像処理を行うものである。具体的には、上述したように、高周波ゲインが画像処理条件ＯＰとして設定されている場合、画像処理手段９０は、処理後の画像Ｐ＝Ｉ＿Ｌ（低周波成分）＋Ｇｈ×Ｉ＿Ｈ（高周波成分）となるように画像処理を行う。
【００６８】
図１１は本発明の画像処理方法の好ましい実施の形態を示すフローチャート図であり、図１１を参照して画像処理方法について説明する。まず、オブジェクト抽出手段２０において、入力された画像Ｐがオブジェクト領域ＯＲ毎に領域分割される（ステップＳＴ１０）。その後、オブジェクト識別手段７０において、上述したステップＳＴ１〜ステップＳＴ７の手法により、抽出されたオブジェクト領域ＯＲ毎に種類情報ＫＩが付される（ステップＳＴ１１）。また、オブジェクト識別手段７０において、付された種類の種類信頼度ＫＲが算出される。そして、各オブジェクト領域ＯＲに対して付された複数の種類情報ＫＩおよび種類信頼度ＫＲが処理条件設定手段８０に入力される。
【００６９】
すると、処理条件設定手段８０において、各オブジェクト領域ＯＲについてそれぞれ画像処理条件ＯＰが生成される（ステップＳＴ１２）。その後、画像処理手段９０において、設定された画像処理条件ＯＰに従って画像処理が行われて、各オブジェクト領域ＯＲの種類に合った画像処理が行われる（ステップＳＴ１３）。
【００７０】
上記実施の形態によれば、画像Ｐから複数のオブジェクト領域ＯＲを抽出し、複数のオブジェクト領域ＯＲ毎にオブジェクトの種類とオブジェクト領域ＯＲが識別した種類であることの種類信頼度ＫＲとを検出し、オブジェクト領域ＯＲの種類と種類信頼度ＫＲとを用いて、オブジェクト領域ＯＲの画像処理条件ＯＰを設定してオブジェクト領域ＯＲ毎に画像処理を行うことにより、オブジェクト領域ＯＲの種類に応じた画像処理を行うことができるようになり、画質の向上を図ることができる。すなわち、たとえば色やテクスチャ情報等の画像Ｐの物理的特徴を用いて画像処理条件ＯＰを設定した場合、たとえば「砂」と「肌」のように物理的特徴の近似した種類の異なる特徴のオブジェクト領域ＯＲは、同一の処理条件ＯＰにより画像処理されてしまう。よって、オブジェクト領域ＯＲによっては画像処理により好ましくない結果になってしまう。
【００７１】
一方、オブジェクト領域ＯＲの種類から画像処理条件ＯＰを設定することにより、オブジェクト領域ＯＲの種類の有する画像の特徴に合わせた画像処理条件ＯＰを設定することができるため、画質の向上を図ることができる。さらに、オブジェクト領域ＯＲの種類情報ＫＩとともに種類信頼度ＫＲを用いて画像処理条件ＯＰを設定することにより、オブジェクトの種類信頼度ＫＲに応じて画像処理効果に強弱をつけることができるため、オブジェクトの種類を誤って識別した場合であっても、画像処理による画質の劣化を最小限に抑えることができる。
【００７２】
本発明の実施の形態は、上記各実施の形態に限定されない。たとえば、図１の処理条件設定手段８０において、高周波ゲインを画像処理条件ＯＰとして用いた場合について例示しているが、階調処理のためのヒストグラム、濃度その他のパラメータを種類信頼度ＫＲを用いて設定するようにしてもよい。
【００７３】
また、図１のオブジェクト識別手段７０において、種類情報ＫＩと種類信頼度ＫＲを検出するようにしているが、種類情報ＫＩの他に「自然画」からなる自然オブジェクト領域ＯＲｎであるか「人工画」からなる人工オブジェクト領域ＯＲａであるかのカテゴリーを識別して処理条件設定手段８０に送る機能を有していてもよい。このとき、オブジェクト識別手段７０において、予め種類情報ＫＩが人工画であるか自然画であるかがカテゴリー分類がなれている。具体的には、オブジェクト識別手段７０は、「空」「木」「建物」等の種類情報ＫＩを「自然画」のカテゴリーとして定義し、「文字」「外枠」等の種類情報ＫＩを「人工画」のカテゴリーとして定義している。
【００７４】
さらに、オブジェクト識別手段７０は、オブジェクト領域ＯＲがそのカテゴリーであるカテゴリー信頼度ＣＲを算出する機能を有する。これは、上述した種類信頼度ＫＲを算出する場合と同様の手法により行われる。そして、処理条件設定手段８０は、オブジェクト領域ＯＲについて画像処理条件ＯＰを設定する場合、オブジェクト領域ＯＲの種類信頼度ＫＲとカテゴリー信頼度ＣＲを用いて画像処理条件ＯＰを設定する。
【００７５】
具体的には、たとえば、オブジェクト領域ＯＲの種類が「空」もしくは「肌」の場合、雑音成分の抑制効果を得るため、処理条件設定手段８０は、高周波ゲインＧｈ＝ＯＰｒｅｆ×（１−ＫＲ×ＣＲ×０．５）を算出して、この高周波ゲインＧｈを画像処理条件ＯＰとする。つまり、オブジェクト領域ＯＲの画像処理の効果をカテゴリー信頼度ＣＲで弱めている事になる。
【００７６】
たとえば、人工オブジェクト領域ＯＲａに対して自然画であると認識して画像処理を行った場合、人工画を作成した人の意図と異なったオブジェクトとなる場合がある。そこで、オブジェクト領域ＯＲの画像処理条件ＯＰがカテゴリー信頼度ＣＲに依存するように設定する。すると、人工オブジェクト領域ＯＲａを自然オブジェクト領域ＯＲｎと誤って識別してしまった場合であっても、人工オブジェクト領域ＯＲａの画像処理の効果が弱められることになり、画像処理による副作用を弱めることができる。
【００７７】
また、画像処理手段９０は、人工オブジェクト領域ＯＲａに対して画像処理を行わない機能を有していてもよい。これにより、人工オブジェクト領域ＯＲａに対して画像処理を行うことを防止することができる。
【００７８】
さらに、画像処理装置１は、画像処理プログラムをコンピュータに組み込むことにより、ソフトウェアとハードウェア資源との協働作業により実現されるようにしてもよい。この画像処理プログラムは、画像から複数のオブジェクト領域を抽出する手順と、抽出した前記複数のオブジェクト領域毎にオブジェクトの種類と、前記オブジェクト領域が識別した前記種類であることの信頼度とを検出する手順と、検出した前記オブジェクトの種類と前記信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定する手順と、設定した前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行う手順とをコンピュータに実行させるための画像処理プログラム、ということができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の第１の実施の形態を示すブロック図
【図２】本発明の画像処理装置において、画像に含まれるオブジェクト毎に種類が識別される様子を示す図
【図３】本発明の画像処理装置におけるオブジェクト抽出手段の一例を示すブロック図
【図４】図２のオブジェクト抽出手段により画像が領域分割される様子を示す図
【図５】図２のオブジェクト抽出手段によりクラスタリング領域が統合されてオブジェクト領域が形成される様子を示す図
【図６】本発明の画像処理装置におけるブロック特徴量抽出手段の一例を示すブロック図
【図７】本発明の画像処理装置における距離画像生成手段における距離画像の生成の様子を示すブロック図
【図８】本発明の画像処理装置における写像手段および種類出力手段の一例を示すブロック図
【図９】本発明の画像処理装置における種類頻度分布マップの一例を示すブロック図
【図１０】本発明のオブジェクト識別方法の一例を示すフローチャート図
【図１１】本発明のオブジェクト識別方法の好ましい実施の形態を示すフローチャート図
【符号の説明】
１ 画像処理装置
２０ オブジェクト抽出手段
７０ オブジェクト識別手段
８０ 処理条件設定手段
９０ 画像処理手段
ＣＲ カテゴリー信頼度
ＯＰ 画像処理条件
ＯＰｒｅｆ 初期画像処理条件
ＫＩ 種類情報
ＫＲ 種類信頼度
ＯＲ オブジェクト領域
ＯＲａ 人工オブジェクト領域
ＯＲｎ 自然オブジェクト領域
Ｐ 画像
Claims (8)
- 画像を設定画素ごとに分割したブロック領域を生成するブロック領域生成ステップと、
生成された前記各ブロック領域毎に該ブロック領域の種類を識別するブロック領域識別ステップと、
前記画像を前記複数のオブジェクト毎に領域分割してオブジェクト領域を生成するオブジェクト抽出ステップと、
前記オブジェクト領域内に含まれる前記複数のブロック領域の種類情報を用いて前記オブジェクト領域毎に種類情報を識別するとともに、該オブジェクト領域を構成する前記全ブロック領域のうち、識別した該種類情報の前記ブロック領域が占める割合を種類信頼度として算出するステップと、
検出した前記オブジェクト領域の種類と前記信頼度とによって該オブジェクト領域に施す画像処理の強さを前記オブジェクト領域毎に各々設定するステップと、
前記オブジェクト領域毎に各々設定した前記画像処理の強さで前記オブジェクト領域毎に各々画像処理を行うステップと
を有することを特徴とする画像処理方法。 - 画像を設定画素ごとに分割したブロック領域を生成するブロック領域生成手段と、
該ブロック領域生成手段により生成された前記各ブロック領域毎に該ブロック領域の種類を識別するブロック領域識別手段と、
前記画像を前記複数のオブジェクト毎に領域分割してオブジェクト領域を生成するオブジェクト抽出手段と、
該オブジェクト抽出手段により抽出された前記オブジェクト領域内に含まれる前記複数のブロック領域の種類情報を用いて前記オブジェクト領域毎に種類情報を識別するとともに、該オブジェクト領域を構成する前記全ブロック領域のうち、識別した該種類情報の前記ブロック領域が占める割合を種類信頼度として算出するオブジェクト識別手段と、
検出した前記オブジェクト領域の種類と前記信頼度とによって該オブジェクト領域に施す画像処理の強さを前記オブジェクト領域毎に各々設定する条件設定手段と、
前記オブジェクト領域毎に各々設定した前記画像処理の強さで前記オブジェクト領域毎に各々画像処理を行う画像処理手段と
を有することを特徴とする画像処理装置。 - 前記処理条件設定手段が、前記種類信頼度に依存する処理効果係数を算出し、前記オブジェクトの種類毎に設定された初期画像処理条件に算出された前記処理効果係数を乗じて前記画像処理の強さを設定するものであることを特徴とする請求項２に記載の画像処理装置。
- 前記オブジェクト識別手段が、前記オブジェクト領域の前記種類信頼度とともに、該オブジェクト領域が人工画からなる人工オブジェクト領域であるか自然画からなる自然オブジェクト領域であるかのカテゴリーを識別し、該カテゴリーであることのカテゴリー信頼度を算出する機能を有することを特徴とする請求項２または請求項３に記載の画像処理装置。
- 前記画像に前記人工オブジェクト領域と前記自然オブジェクト領域とが含まれている場合、前記処理条件設定手段が、前記オブジェクト領域の前記種類信頼度と前記カテゴリー信頼度とを用いて前記オブジェクト領域に施す前記画像処理の強さを設定するものであることを特徴とする請求項４に記載の画像処理装置。
- 前記画像処理手段が前記画像の画質を向上させるための画像処理を行うものであることを特徴とする請求項２から５のいずれか１項記載の画像処理装置。
- 前記画像処理がノイズ抑制処理または鮮鋭度強調処理であり、前記画像処理の強さが周波数成分のゲインであることを特徴とする請求項６記載の画像処理装置。
- 前記条件設定手段が、前記種類信頼度が大きければ大きいほど前記画像処理の度合いを強く設定するものであることを特徴とする請求項２から７のいずれか１項記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002221301A JP4202692B2 (ja) | 2002-07-30 | 2002-07-30 | 画像処理方法および装置 |
| US10/628,286 US7620246B2 (en) | 2002-07-30 | 2003-07-29 | Method and apparatus for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002221301A JP4202692B2 (ja) | 2002-07-30 | 2002-07-30 | 画像処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004062604A JP2004062604A (ja) | 2004-02-26 |
| JP4202692B2 true JP4202692B2 (ja) | 2008-12-24 |
Family
ID=31941657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002221301A Expired - Lifetime JP4202692B2 (ja) | 2002-07-30 | 2002-07-30 | 画像処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4202692B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4760044B2 (ja) * | 2004-03-08 | 2011-08-31 | セイコーエプソン株式会社 | 画像における主要被写体の決定 |
| JP2005293555A (ja) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | 画像における肌領域の特定 |
| JP2009188697A (ja) | 2008-02-06 | 2009-08-20 | Fujifilm Corp | 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム |
| JP5127738B2 (ja) * | 2009-02-06 | 2013-01-23 | キヤノン株式会社 | 画像処理方法および画像処理装置およびプログラム |
| KR102287043B1 (ko) | 2017-05-22 | 2021-08-06 | 삼성전자주식회사 | 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법 |
| JP2022546885A (ja) * | 2020-08-01 | 2022-11-10 | 商▲湯▼国▲際▼私人有限公司 | 目標対象認識方法及び装置 |
-
2002
- 2002-07-30 JP JP2002221301A patent/JP4202692B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004062604A (ja) | 2004-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10339643B2 (en) | Algorithm and device for image processing | |
| JP4098021B2 (ja) | シーン識別方法および装置ならびにプログラム | |
| Celik | Spatial entropy-based global and local image contrast enhancement | |
| Celik | Spatial mutual information and PageRank-based contrast enhancement and quality-aware relative contrast measure | |
| US7528991B2 (en) | Method of generating a mask image of membership of single pixels to certain chromaticity classes and of adaptive improvement of a color image | |
| CN109086723B (zh) | 一种基于迁移学习的人脸检测的方法、装置以及设备 | |
| Bhandari et al. | A novel fuzzy clustering-based histogram model for image contrast enhancement | |
| CN110390643B (zh) | 一种车牌增强方法、装置及电子设备 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| JP2004348674A (ja) | 領域検出方法及びその装置 | |
| US20150139546A1 (en) | Image segmenting apparatus and method | |
| JP2007257087A (ja) | 肌色領域検出装置及び肌色領域検出方法 | |
| US7620246B2 (en) | Method and apparatus for image processing | |
| CN108875623B (zh) | 一种基于图像特征融合对比技术的人脸识别方法 | |
| CN111127476A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| JP2019175093A (ja) | 推定装置、推定方法、推定プログラム、学習装置、学習方法、及び学習プログラム | |
| JP4202692B2 (ja) | 画像処理方法および装置 | |
| JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
| Lee et al. | Ramp distribution-based contrast enhancement techniques and over-contrast measure | |
| JP2009123234A (ja) | オブジェクト識別方法および装置ならびにプログラム | |
| CN112819838B (zh) | 图像增强方法、电子装置和存储介质 | |
| Shin et al. | Adversarial context aggregation network for low-light image enhancement | |
| JP3979122B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4080276B2 (ja) | オブジェクト抽出方法および装置ならびにプログラム | |
| JP2004086538A (ja) | 画像の特徴量分類方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081009 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4202692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |