JP4164907B2 - カラー画像の領域統合方法およびプログラム記憶媒体 - Google Patents
カラー画像の領域統合方法およびプログラム記憶媒体 Download PDFInfo
- Publication number
- JP4164907B2 JP4164907B2 JP24004698A JP24004698A JP4164907B2 JP 4164907 B2 JP4164907 B2 JP 4164907B2 JP 24004698 A JP24004698 A JP 24004698A JP 24004698 A JP24004698 A JP 24004698A JP 4164907 B2 JP4164907 B2 JP 4164907B2
- Authority
- JP
- Japan
- Prior art keywords
- color image
- divided
- color
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、画像検索等の形状抽出において用いられるカラー画像の領域統合方法およびプログラム記憶媒体に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
従来より、カラー画像の検索において、検索条件とする画像の物体形状を抽出するための前処理として色特徴による物体領域抽出処理が行われる。ところが、自然画像では、例えば空や海の背景にはグラデーション、物体には陰影がつくため、画像を単純に色で複数領域に分割するだけでは、グラデーションや陰影を含む背景や物体の領域が複数領域として抽出されてしまうという問題がある。このため、物体領域と背景との境界を精度よく抽出するには、グラデーションや陰影等の連続した小領域間の特徴も考慮して物体領域を判定しなくてならない。
【０００３】
そこで、この発明の目的は、グラデーションや陰影を含む物体の領域を1つの領域として抽出できるカラー画像の領域統合方法およびプログラム記憶媒体を提供することにある。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、請求項１のカラー画像の領域統合方法は、カラー画像の色情報に基づいて分割された分割領域を統合するカラー画像の領域統合方法において、上記カラー画像の画素間の色差に基づいて、上記分割領域のうちの連続する分割領域群がグラデーション領域であるかを判定するためのグラデーション領域判定値を求めるステップと、上記グラデーション領域判定値と上記連続する分割領域群の各境界における色変化の連続性とによって上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域と判定された上記連続する分割領域群を統合するステップとを有することを特徴としている。
【０００５】
上記請求項１のカラー画像の領域統合方法によれば、上記カラー画像の画素間の色差に基づいて求められたグラデーション領域判定値と上記カラー画像の色情報に基づいて分割された分割領域間の境界における色変化の連続性とによって、上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域であると判定された上記分割領域群を１つの領域に統合する。そうすることによって、背景や物体の複数の小領域に分割されたグラデーション領域を統合する。このように、上記グラデーション領域判定値と共に上記分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して、背景や物体の複数の小領域に分割されたグラデーション領域を統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を１つの領域として抽出できる。
【０００６】
また、請求項２のカラー画像の領域統合方法は、請求項１のカラー画像の領域統合方法において、上記グラデーション領域判定値を求めるステップにおいて、上記カラー画像の画素間の色差の平均値を上記グラデーション領域判定値とすることを特徴としている。
【０００７】
上記請求項２のカラー画像の領域統合方法によれば、上記カラー画像全体の色の変化の度合いを表す上記カラー画像の画素間の色差の平均値を上記グラデーション領域判定値とすることによって、グラデーション領域の判定に適切なグラデーション領域判定値を得ることができる。
【０００８】
また、請求項３のカラー画像の領域統合方法は、請求項１のカラー画像の領域統合方法において、上記グラデーション領域と判定された上記分割領域を統合するステップにおいて、上記分割領域のうちの上記カラー画像の所定の方向に沿って連なる少なくとも３つの分割領域からなる分割領域群について、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界における色の変化方向が同一方向のとき、上記分割領域群をグラデーション領域として統合することを特徴としている。
【０００９】
上記請求項３のカラー画像の領域統合方法によれば、上記カラー画像の所定の方向(例えば水平方向または垂直方向)に沿って連続する少なくとも３つの分割領域群がある場合、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界で色の変化方向が同一方向のとき、グラデーション領域であるとして上記分割領域群を統合する。こうして、上記カラー画像の全分割領域について連続する少なくとも３つの分割領域群の判定と統合とを行うことによって、グラデーション領域を確実に判定して統合できる。
【００１０】
また、請求項４のカラー画像の領域統合方法は、請求項１乃至３のいずれか１つのカラー画像の領域統合方法において、上記カラー画像の画素の彩度に基づいて、上記カラー画像全体の色調値を求めるステップと、上記分割領域間の境界線を挟む画素間の色差に基づいて、上記分割領域のうちの隣接する分割領域が物体領域であるかを判定するための物体領域判定値を求めるステップと、上記カラー画像全体の色調値に応じて加工された上記物体領域判定値によって上記隣接する分割領域が物体領域であるか判定して、物体領域と判定された上記隣接する分割領域を統合するステップとを有することを特徴としている。
【００１１】
上記請求項４のカラー画像の領域統合方法によれば、上記カラー画像の画素の彩度に基づいて上記カラー画像全体の色彩の濃淡を表す色調値を求めると共に、上記分割領域間の境界線を挟む画素間の色差に基づいて物体領域判定値を求める。そして、上記カラー画像全体の色調値に応じて加工された上記物体領域判定値(例えば色空間における軸方向成分のいずれかが選択および加工された物体領域判定値)によって、上記隣接する分割領域が物体領域であるか判定して、物体領域であると判定された上記隣接する分割領域を１つの領域に統合する。このようにしてグラデーションや陰影を含む物体の領域を１つの物体領域として統合できる。
【００１２】
また、請求項５のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素の彩度の平均値を上記色調値とすることを特徴としている。
【００１３】
上記請求項５のカラー画像の領域統合方法によれば、上記カラー画像の全画素の彩度の平均値によって、上記カラー画像全体の色調値を容易に表すことができる。
【００１４】
また、請求項６のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素について彩度の軸方向に分割された分割域毎の画素数を表すヒストグラムを作成し、その各分割域の代表彩度値が鮮やかなほど大きくなるように上記各分割域の上記代表彩度値に重み付けされた上記ヒストグラムより彩度の平均値を求めて、上記彩度の平均値を上記色調値とすることを特徴としている。
【００１５】
上記請求項６のカラー画像の領域統合方法によれば、上記カラー画像の全画素について彩度の軸方向に分割して作成されたヒストグラムの各分割域の代表彩度値に鮮やかになるほど大きくなるように重み付けし、その各分割域の代表彩度値が重み付けされたヒストグラムより彩度の平均値求める。そうして求めた彩度の平均値によって、色彩の淡いカラー画像においても色彩の特徴を顕著に表す色調値を得ることができる。
【００１６】
また、請求項７のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記物体領域判定値を求めるステップにおいて、上記分割領域間の境界線を挟む画素間の色差の平均値,標準偏差値に基づいて求めた判定値を上記物体領域判定値とすることを特徴としている。
【００１７】
上記請求項７のカラー画像の領域統合方法によれば、上記分割領域間の境界線を挟む画素間の色差の平均値,標準偏差値に基づいて求めた判定値を上記物体領域判定値とすることによって、物体領域判定値を大きくし、物体領域の判定レベルをゆるやかにして、背景と物体との境界の色差があまり明確でないカラー画像についても、物体領域の判定を容易にする。
【００１８】
また、請求項８のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記物体領域と判定された上記隣接する分割領域を統合するステップにおいて、上記分割領域毎にその分割領域に含まれる画素の色平均値を夫々求め、上記隣接する分割領域の色平均値の差が上記カラー画像全体の色調値に応じて加工された上記物体領域判定値よりも小さいとき、上記隣接する分割領域を物体領域として統合することを特徴としている。
【００１９】
上記請求項８のカラー画像の領域統合方法によれば、上記分割領域毎にその領域に含まれる画素の色平均値を求め、上記カラー画像の全分割領域のうちの隣接する分割領域について、隣接する分割領域の色平均値の差が上記カラー画像全体の色調値に応じて加工された上記物体領域判定値よりも小さいとき、隣接する分割領域を物体領域として統合する。このように、上記隣接する分割領域の色平均値の差と上記物体領域判定値とを比較することによって、物体領域を確実に判定して統合できる。
【００２０】
また、請求項９のプログラム記憶媒体は、カラー画像の色情報に基づいて分割された分割領域を統合する情報処理プログラムが記憶されたプログラム記憶媒体であって、上記カラー画像の画素間の色差に基づいて、上記分割領域のうちの連続する分割領域群がグラデーション領域であるかを判定するためのグラデーション領域判定値を求めるステップと、上記グラデーション領域判定値と上記連続する分割領域群の各境界における色変化の連続性とによって上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域と判定された上記連続する分割領域群を統合するステップとを有する情報処理プログラムを記憶したことを特徴としている。
【００２１】
上記請求項９のプログラム記憶媒体によれば、上記カラー画像の画素間の色差に基づいて求められたグラデーション領域判定値と上記カラー画像の色情報に基づいて分割された分割領域間の境界における色変化の連続性とによって、上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域であると判定された上記分割領域群を１つの領域に統合する。そうすることによって、背景や物体の複数の小領域に分割されたグラデーション領域を統合する。このように、上記グラデーション領域判定値と共に上記分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して、背景や物体の複数の小領域に分割されたグラデーション領域を統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を１つの領域として抽出できる。
【００２２】
【発明の実施の形態】
以下、この発明のカラー画像の領域統合方法およびプログラム記憶媒体を図示の実施の形態により詳細に説明する。
【００２３】
図１はこの発明の実施の一形態のカラー画像の領域統合方法を用いた特徴領域抽出装置の機能ブロック図であり、１は画像データや各種指示等が入力される入力部、２はカラー画像の物体領域抽出を行う物体領域抽出部、３は上記物体領域抽出部２により物体領域が抽出された画像データの特徴量を抽出する特徴量抽出部である。上記物体領域抽出部２は、画像データの色情報に基づいて領域分割する領域分割手段２aと、上記領域分割手段２aにより分割された分割領域を統合する領域統合手段２bと、上記領域統合手段２bによる領域統合の後の各分割領域から物体領域を判定する物体領域判定手段２cとを有している。
【００２４】
また、図２は図１の機能を実現するためのハードウェア構成を示す図である。上記色特徴抽出装置は、図２に示すように、装置全体の動作を制御する制御装置１１と、画像,文字等を表示すると共に、操作のための各種表示等を行うＣＲＴ(カソード・レイ・チューブ)１２と、各種入力操作,指示操作等を行うためのキーボード１３およびマウス１４と、上記制御装置１１に内蔵され、データ保管媒体であるフロッピーディスク１５aの記録再生を行うフロッピーディスクドライブ１５bと、ハードディスク装置１６と、画像データあるいは画像編成により作成した図面等を出力するためのプリンタ１７と、画像データを取り込むためのスキャナ１８と、上記制御装置１１に内蔵され、ＣＤ(コンパクト・ディスク)１９aの再生を行うＣＤ−ＲＯＭドライブ１９bと、音声出力のためのスピーカ２０と、音声入力のためのマイクロフォン２１とによって構成されている。上記ＣＲＴ１２,キーボード１３,マウス１４,ハードディスク装置１６,プリンタ１７,スキャナ１８,スピーカ２０およびマイクロフォン２１を制御装置１１に接続している。
【００２５】
図３は図２の制御装置１１に搭載されたＣＰＵ(中央処理装置)２５を中心としたブロック図である。
【００２６】
図３に示すように、上記ＣＰＵ２５には、たとえばインテル社製の品番ｉ８０４８６ＤＸ等を用いている。そして、上記ＣＰＵ２５は、装置全体を制御するプログラムが格納されるＲＯＭ(リード・オンリー・メモリー)２８と、各種データおよびプログラムが格納されるＲＡＭ(ランダム・アクセス・メモリー)２９と、画像あるいは文字等をＣＲＴ１２に表示させる表示制御回路３０と、上記キーボード１３からの入力を転送制御するキーボード制御回路３１と、上記マウス１４からの入力を転送制御するマウス制御回路３２と、上記フロッピーディスクドライブ１５bを制御するフロッピーディスクドライブ制御回路３３と、上記ハードディスク装置１６を制御するハードディスク制御回路３４と、上記プリンタ１７への出力を制御するプリンタ制御回路３５と、上記スキャナ１８を制御するスキャナ制御回路３６と、上記ＣＤ−ＲＯＭドライブ１９bを制御するＣＤ−ＲＯＭドライブ制御回路３７と、上記スピーカ２０を制御するスピーカ制御回路３８と、上記マイクロフォン２１を制御するマイクロフォン制御回路３９とをデータバス２６を介して接続している。
【００２７】
また、上記ＣＰＵ２５に、装置全体を動作させるために必要な基準クロックを発生するクロック２７を接続し、さらにデータバス２６を介して各種拡張ボードを接続するための拡張スロット４０を接続している。なお、上記拡張スロット４０にＳＣＳＩＩボードを接続して、フロッピーディスクドライブ１５b,ハードディスク装置１６,スキャナ１８およびＣＤ−ＲＯＭドライブ１９b等を接続してもよい。
【００２８】
上記特徴領域抽出装置では、上記キーボード１３,マウス１４,スキャナ１８およびＣＤ−ＲＯＭドライブ１９bで図１に示す入力部１を構成すると共に、ＣＰＵ２５で図１に示す物体領域抽出部２および特徴量抽出部３を構成している。
【００２９】
上記構成の特徴領域抽出装置は、図４,図５,図６および図７のフローチャートに従って動作する。図４は上記特徴領域抽出装置のプログラムのメインルーチンを示すフローチャートである。
【００３０】
図４において、まず、プログラムが起動されると、ステップＳ１において、後述する処理で必要なフラグの初期化や初期画面表示等が行われる。
次に、ステップＳ２に進み、ＣＲＴ１２に表示された初期画面からジョブメニューの「物体領域抽出」が選択されたか否かを判定して、「物体領域抽出」が選択されたと判定すると、ステップＳ３に進み、物体領域抽出部2により物体領域抽出処理を行って、ステップＳ９に進む。一方、ステップＳ２で「物体領域抽出」が選択されていないと判定すると、ステップＳ４に進む。
次に、ステップＳ４で「特徴量抽出」が選択されたか否かを判定して、「特徴量抽出」が選択されたと判定すると、ステップＳ５に進み、特徴量抽出部３により特徴量抽出処理を行って、ステップＳ９に進む。一方、ステップＳ４で「特徴量抽出」が選択されていないと判定すると、ステップＳ６に進む。
次に、ステップＳ６で「その他のメニュー」が選択されたか否かを判定して、「その他のメニュー」が選択されたと判定すると、ステップＳ７に進み、その他のメニュー処理を行って、ステップＳ９に進む。一方、「その他のメニュー」が選択されていないと判定すると、ステップＳ８に進む。
そして、ステップＳ８で「終了」が選択されたか否かを判定して、「終了」が選択されたと判定すると、この処理を終了する。一方、ステップＳ８で「終了」が選択されていないと判定すると、ステップＳ９に進み、ステップＳ９でその他の処理を行った後、ステップＳ２に戻る。
【００３１】
以下、上記ステップＳ３の物体領域抽出処理およびステップＳ５の特徴量抽出処理について説明する。なお、その他のステップについては、この発明に直接関係しないので、詳細な説明は省略する。
［物体領域抽出処理］
図５は、上記物体領域抽出部２によるステップＳ３の物体領域抽出処理サブルーチンを示すフローチャートである。
まず、ステップＳ３１で物体領域抽出処理を行う画像データを読み込む。
次に、ステップＳ３２に進み、領域分割手段２aによって、画像の色情報を利用して領域分割を行う。この領域分割については、例えば、画像の色情報に合わせて色を分類し、その色分類毎に領域を分割する方法がある。
次に、ステップＳ３３に進み、領域統合手段２bによって、領域分割により分割された分割領域のうちの同一領域と判定される分割領域を統合する。
次に、ステップＳ３４に進み、物体領域判定手段２cによって、各分割領域について物体領域を判定する。上記物体領域判定は、例えば次の(１),(２)の方法により行う。
(１) 画像内の中心付近にある分割領域を物体領域とする。
(２) 画像の端にかかる一定の大きさ以上の分割領域を背景領域とし、残った分割領域を物体領域とする。
そして、ステップＳ３５に進み、物体領域データを保存して、上位の処理に戻る。
【００３２】
図６は、上記ステップＳ３３の領域統合処理サブルーチンを示すフローチャートである。
まず、ステップＳ３３１で画像の色情報から画像全体の色調値を計算する。上記画像の色調を数値化するには、例えば次の(ｉ),(ii)の方法を行う。
(ｉ) 次式により求めた画像全体の彩度の平均値を色調値とする。
【数１】
(ii) 彩度方向を任意の数に分割してヒストグラムを取り、そのヒストグラムの各分割域の代表彩度値に彩度が鮮やかなほど大きくなるように重みを付けて重心値(重み付けされた代表彩度値の平均値)を次のとおり計算し、その重心値を色調値とする。
【数２】
次に、ステップＳ３３２に進み、隣り合う画素間の色差に基づいてグラデーション領域判定値を計算する。上記グラデーション領域判定値には、以下に示すように、隣り合う画素間の色相差,明度差および彩度差の各平均値を利用する。
【数３】
次に、ステップＳ３３３に進み、互いに隣接する分割領域の境界線上の画素間の色差から物体領域判定値を計算する。上記物体領域判定値には、以下に示すように、領域境界上の隣り合う画素間の色差の平均値と標準偏差値とに基づいて求められた物体領域色相判定値,体領域明度判定値および物体領域彩度判定値を利用する。
【数４】
そして、画像全体の色調値に合わせて、次の▲１▼〜▲３▼に示すように、物体領域色相判定値,物体領域明度判定値および物体領域彩度判定値を選択し加工する。
▲１▼ 色調値が所定の下しきい値よりも低いとき、物体領域判定値のうちの物体領域色相判定値,物体領域明度判定値を判定条件とする。
【００３３】
▲２▼ 色調値が所定の下しきい値と上しきい値との間のとき、物体領域判定値のうちの物体領域色相判定値を判定条件とすると共に、物体領域明度判定値,物体領域彩度判定値については、一定値以上のときに判定条件とする。
【００３４】
▲３▼ 色調値が所定の上しきい値よりも高いとき、物体領域色相判定値,物体領域明度判定値および物体領域彩度判定値を判定条件とし、各判定値が一定値以上の大きさのときはさらに各判定値を大きくする。
【００３５】
次に、ステップＳ３３４に進み、ステップＳ３３３で選択された物体領域判定値を利用して物体領域の統合を行う。この物体領域統合処理では、分割領域毎にその領域に含まれる画素の色(色相,明度および彩度)の平均値を計算した後、隣接する分割領域同士の色平均値の差を取り、色平均値の差が上記物体領域判定値よりも小さい場合は、同一物体領域とみなしてその隣接する分割領域を統合する。
【００３６】
次に、ステップＳ３３５に進み、グラデーション領域判定値を利用して各領域のグラデーション領域の統合を行う。このグラデーション領域統合処理では、画像の水平方向または垂直方向に連なる３つの分割領域を捜し出し、その３つの分割領域間の境界線を挟む画素間の色差を計算して、画素間の色差がグラデーション領域判定値よりも小さく、かつ、2つの境界で色(色相,明度および彩度)の変化方向が同一方向の場合、上記３つの分割領域をグラデーション領域として統合する。
【００３７】
そして、ステップＳ３３６に進み、領域統合処理の1回目で、かつ、色調値が色調判定値よりも大きいと判別すると、ステップＳ３３３に進み、再度、物体領域の統合処理,グラデーション領域の統合処理を行う。一方、ステップＳ３３６で領域統合処理の1回目で、かつ、色調値が色調判定値未満であると判別すると、上位の処理に戻る。
【００３８】
［特徴量抽出処理］
図７は、上記特徴量抽出部３によるステップＳ4の特徴量抽出処理を示すフローチャートである。
まず、ステップＳ５１で特徴量抽出処理を行う画像データを読み込む。
次に、ステップＳ５２に進み、画像データに対応する物体領域データを読み込む。
次に、ステップＳ５３に進み、画像データおよび物体領域データから画像の特徴量を抽出する。
そして、ステップＳ５４に進み、抽出された特徴量を保存した後、上位の処理に戻る。
【００３９】
上記ステップＳ５３の画像データおよび物体領域データから抽出される特徴量としては、例えば、次の(a),(b)等がある。
(a) 画像全体の色情報、テクスチャ情報
(b) 分割領域の大きさ、色情報、輪郭線の形状、テクスチャ情報
そして、これら特徴量は、画像認識,画像検索等に利用される。
【００４０】
このように、上記グラデーション領域判定値と共に分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して、背景や物体の複数の小領域に分割されたグラデーション領域を統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を1つの領域として抽出することができる。
【００４１】
また、上記カラー画像の画素間の色差(色相差,明度差および彩度差)の平均値を上記グラデーション領域判定値とすることによって、グラデーション領域の判定に適切なグラデーション領域判定値を得ることができる。
【００４２】
また、上記カラー画像の水平方向または垂直方向にいずれか一方向に沿って連続する３つの分割領域群がある場合、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界で色の変化方向が同一方向のとき、グラデーション領域であるとして上記分割領域群を統合することによって、グラデーション領域を確実に判定して統合することができる。なお、グラデーション領域の統合は、連続する３つの分割領域群に限らず、連続する４以上の分割領域群をグラデーション領域として統合してもよい。また、グラデーションの判定は、水平方向、垂直方向以外の方向に沿って連続する分割領域について行ってもよい。
【００４３】
また、上記カラー画像全体の色調値に応じて加工された上記物体領域判定値によって、上記隣接する分割領域が物体領域であるか判定して、物体領域であると判定された上記隣接する分割領域を１つの領域に統合することによって、グラデーションや陰影を含む物体の領域を１つの物体領域として統合することができる。
【００４４】
また、上記カラー画像の全画素の彩度の平均値を上記色調値とした場合、上記カラー画像の全画素の彩度の平均値によって、上記カラー画像全体の色調値を容易に表すことができる。
【００４５】
また、上記カラー画像全体について彩度の軸方向に分割して作成されたヒストグラムについて各分割域の代表彩度値に鮮やかになるほど大きくなるように重み付けし、その各分割域の代表彩度値が重み付けされたヒストグラムより求めた彩度の平均値によって、カラー画像の色彩の特徴を顕著に表す色調値が容易に得られ、色彩の淡いカラー画像においても有効な色調値を物体領域の統合に用いることができる。
【００４６】
また、上記分割領域間の境界線を挟む画素間の色相差,明度差および彩度差の平均値,標準偏差値に基づいて求めた判定値を物体領域判定値(物体領域色相判定値,物体領域明度判定値および物体領域彩度判定値)として、平均値に標準偏差値の条件に加えることにより物体領域判定値を大きくすることによって、背景と物体との境界の色差が明確に判定することができる。
【００４７】
また、上記隣接する分割領域の色平均値の差と上記色調値に応じて加工された物体領域判定値とを比較することによって、物体領域を確実に判定して統合することができる。
【００４８】
上記実施の形態では、画像データ保管媒体としてフロッピーディスク１５aおよびハードディスク装置１６で構成しているが、光磁気ディスク装置等の他の情報記憶装置であってもよい。また、上記入力部１としては、スキャナ１８,ＣＤ−ＲＯＭドライブ１９bを用いているが、スチルカメラやデジタルカメラ等の他の入力装置を用いてもよい。また、出力装置としてプリンタ１７を用いているが、デジタル複写機等の他の出力装置を用いてもよい。
【００４９】
上記実施の形態では、ＨＬＳ色空間において分割領域を統合したが、色空間はこれに限らず、Ｌ＊ａ＊ｂ＊色空間(ＪＩＳ Ｚ８７２９−(１９８０))等でもよいのは勿論である。
【００５０】
また、上記実施の形態では、制御装置１１全体を制御するプログラムがＲＯＭ２８に記憶されている特徴領域抽出装置について説明しているが、この発明によるプログラムの一部または全部をフロッピーディスク等のプログラム記憶媒体に保管して、必要に応じて上記プログラムをパーソナルコンピュータ等の情報処理装置に読み込んで、実行させてもよい。
【００５１】
【発明の効果】
以上より明らかなように、請求項１の発明のカラー画像の領域統合方法は、カラー画像の色情報に基づいて分割された分割領域を統合するカラー画像の領域統合方法において、上記カラー画像の画素間の色差に基づいて求められたグラデーション領域判定値と上記カラー画像の色情報に基づいて分割された分割領域間の境界における色変化の連続性とによって、上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域であると判定された上記分割領域群について１つの分割領域に統合するものである。
【００５２】
したがって、請求項１の発明のカラー画像の領域統合方法によれば、上記グラデーション領域判定値と共に上記分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して、背景や物体の複数の小領域に分割されたグラデーション領域を統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を１つの領域として抽出することができる。
【００５３】
また、請求項２の発明のカラー画像の領域統合方法は、請求項１のカラー画像の領域統合方法において、上記グラデーション領域判定値を求めるステップにおいて、上記カラー画像の画素間の色差の平均値を上記グラデーション領域判定値とするので、グラデーション領域の判定に適切なグラデーション領域判定値を得ることができる。
【００５４】
また、請求項３の発明のカラー画像の領域統合方法は、請求項１のカラー画像の領域統合方法において、上記カラー画像の所定の方向に沿って連続する少なくとも３つの分割領域群がある場合、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界で色の変化方向が同一方向のとき、グラデーション領域であるとして上記分割領域群を統合して、上記カラー画像の全分割領域について連続する少なくとも３つの分割領域群の判定と統合とを行うので、グラデーション領域を確実に判定して統合することができる。
【００５５】
また、請求項４の発明のカラー画像の領域統合方法は、請求項１乃至３のいずれか１つのカラー画像の領域統合方法において、上記カラー画像の画素の彩度に基づいて上記カラー画像全体の色彩の濃淡を表す色調値を求めると共に、上記隣接する分割領域間の境界線を挟む画素間の色差に基づいて物体領域判定値を求めて、上記カラー画像全体の色調値に応じて加工された上記物体領域判定値によって上記隣接する分割領域が物体領域であるか判定して、物体領域であると判定された上記隣接する分割領域について１つの分割領域に統合するので、グラデーションや陰影を含む物体の領域を１つの物体領域として統合することができる。
【００５６】
また、請求項５の発明のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素の彩度の平均値を上記色調値とするので、上記カラー画像の全画素の彩度の平均値によりカラー画像全体の色調値を容易に表すことができる。
【００５７】
また、請求項６の発明のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素について彩度の軸方向に分割された分割域毎の画素数を表すヒストグラムを作成し、その各分割域の代表彩度値に彩度が鮮やかになるほど大きくなるように上記各分割域の代表彩度値に重み付けされた上記ヒストグラムより彩度の平均値を求めて、上記彩度の平均値を上記色調値とするので、その彩度の平均値により色彩の淡いカラー画像においても色彩の特徴を顕著に表す色調値を得ることができる。
【００５８】
また、請求項７の発明のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記物体領域判定値を求めるステップにおいて、上記分割領域間の境界線を挟む画素間の色差の平均値,標準偏差値に基づいて求めた判定値を上記物体領域判定値とするので、背景と物体との境界の色差があまり明確でないカラー画像についても物体領域の判定を容易に行うことができる。
【００５９】
また、請求項８の発明のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記分割領域毎にその領域に含まれる画素の色平均値を求め、上記カラー画像の全分割領域のうちの隣接する分割領域について、隣接する分割領域の色平均値の差が上記カラー画像全体の色調値に応じて加工された上記物体領域判定値よりも小さいとき、その隣接する分割領域を物体領域として統合するので、物体領域を確実に判定して統合できる。
【００６０】
また、請求項９の発明のプログラム記憶媒体は、カラー画像の色情報に基づいて分割された分割領域を統合する情報処理プログラムが記憶されたプログラム記憶媒体であって、上記カラー画像の画素間の色差に基づいて、上記分割領域のうちの連続する分割領域群がグラデーション領域であるかを判定するためのグラデーション領域判定値を求めるステップと、上記グラデーション領域判定値と上記連続する分割領域群の各境界における色変化の連続性とによって上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域と判定された上記連続する分割領域群を統合するステップとを有する情報処理プログラムを記憶したものである。
【００６１】
したがって、請求項９の発明のプログラム記憶媒体に記憶された上記情報処理プログラムをパーソナルコンピュータ等の情報処理装置に読み込んで実行することによって、上記グラデーション領域判定値と共に上記分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を１つの領域として抽出することができる。
【図面の簡単な説明】
【図１】 図１はこの発明の実施の一形態のカラー画像の領域統合方法を用いた特徴領域抽出装置の機能ブロック図である。
【図２】 図２は図１の機能を実現するハードウェア構成を示す図である。
【図３】 図３は図２に示す制御装置に搭載されたＣＰＵを中心としたブロック図である。
【図４】 図４は図３のＣＰＵの基本処理動作を説明するフローチャートである。
【図５】 図５は図４の物体領域抽出処理を示すフローチャートである。
【図６】 図６は図５の領域統合処理を示すフローチャートである。
【図７】 図７は図４の特徴量抽出処理を示すフローチャートである。
【符号の説明】
１…入力部、
２…物体領域抽出部、
２a…領域分割手段、
２b…領域統合手段、
２c…物体領域判定手段、
３…特徴量抽出部。
【発明の属する技術分野】
この発明は、画像検索等の形状抽出において用いられるカラー画像の領域統合方法およびプログラム記憶媒体に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
従来より、カラー画像の検索において、検索条件とする画像の物体形状を抽出するための前処理として色特徴による物体領域抽出処理が行われる。ところが、自然画像では、例えば空や海の背景にはグラデーション、物体には陰影がつくため、画像を単純に色で複数領域に分割するだけでは、グラデーションや陰影を含む背景や物体の領域が複数領域として抽出されてしまうという問題がある。このため、物体領域と背景との境界を精度よく抽出するには、グラデーションや陰影等の連続した小領域間の特徴も考慮して物体領域を判定しなくてならない。
【０００３】
そこで、この発明の目的は、グラデーションや陰影を含む物体の領域を1つの領域として抽出できるカラー画像の領域統合方法およびプログラム記憶媒体を提供することにある。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、請求項１のカラー画像の領域統合方法は、カラー画像の色情報に基づいて分割された分割領域を統合するカラー画像の領域統合方法において、上記カラー画像の画素間の色差に基づいて、上記分割領域のうちの連続する分割領域群がグラデーション領域であるかを判定するためのグラデーション領域判定値を求めるステップと、上記グラデーション領域判定値と上記連続する分割領域群の各境界における色変化の連続性とによって上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域と判定された上記連続する分割領域群を統合するステップとを有することを特徴としている。
【０００５】
上記請求項１のカラー画像の領域統合方法によれば、上記カラー画像の画素間の色差に基づいて求められたグラデーション領域判定値と上記カラー画像の色情報に基づいて分割された分割領域間の境界における色変化の連続性とによって、上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域であると判定された上記分割領域群を１つの領域に統合する。そうすることによって、背景や物体の複数の小領域に分割されたグラデーション領域を統合する。このように、上記グラデーション領域判定値と共に上記分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して、背景や物体の複数の小領域に分割されたグラデーション領域を統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を１つの領域として抽出できる。
【０００６】
また、請求項２のカラー画像の領域統合方法は、請求項１のカラー画像の領域統合方法において、上記グラデーション領域判定値を求めるステップにおいて、上記カラー画像の画素間の色差の平均値を上記グラデーション領域判定値とすることを特徴としている。
【０００７】
上記請求項２のカラー画像の領域統合方法によれば、上記カラー画像全体の色の変化の度合いを表す上記カラー画像の画素間の色差の平均値を上記グラデーション領域判定値とすることによって、グラデーション領域の判定に適切なグラデーション領域判定値を得ることができる。
【０００８】
また、請求項３のカラー画像の領域統合方法は、請求項１のカラー画像の領域統合方法において、上記グラデーション領域と判定された上記分割領域を統合するステップにおいて、上記分割領域のうちの上記カラー画像の所定の方向に沿って連なる少なくとも３つの分割領域からなる分割領域群について、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界における色の変化方向が同一方向のとき、上記分割領域群をグラデーション領域として統合することを特徴としている。
【０００９】
上記請求項３のカラー画像の領域統合方法によれば、上記カラー画像の所定の方向(例えば水平方向または垂直方向)に沿って連続する少なくとも３つの分割領域群がある場合、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界で色の変化方向が同一方向のとき、グラデーション領域であるとして上記分割領域群を統合する。こうして、上記カラー画像の全分割領域について連続する少なくとも３つの分割領域群の判定と統合とを行うことによって、グラデーション領域を確実に判定して統合できる。
【００１０】
また、請求項４のカラー画像の領域統合方法は、請求項１乃至３のいずれか１つのカラー画像の領域統合方法において、上記カラー画像の画素の彩度に基づいて、上記カラー画像全体の色調値を求めるステップと、上記分割領域間の境界線を挟む画素間の色差に基づいて、上記分割領域のうちの隣接する分割領域が物体領域であるかを判定するための物体領域判定値を求めるステップと、上記カラー画像全体の色調値に応じて加工された上記物体領域判定値によって上記隣接する分割領域が物体領域であるか判定して、物体領域と判定された上記隣接する分割領域を統合するステップとを有することを特徴としている。
【００１１】
上記請求項４のカラー画像の領域統合方法によれば、上記カラー画像の画素の彩度に基づいて上記カラー画像全体の色彩の濃淡を表す色調値を求めると共に、上記分割領域間の境界線を挟む画素間の色差に基づいて物体領域判定値を求める。そして、上記カラー画像全体の色調値に応じて加工された上記物体領域判定値(例えば色空間における軸方向成分のいずれかが選択および加工された物体領域判定値)によって、上記隣接する分割領域が物体領域であるか判定して、物体領域であると判定された上記隣接する分割領域を１つの領域に統合する。このようにしてグラデーションや陰影を含む物体の領域を１つの物体領域として統合できる。
【００１２】
また、請求項５のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素の彩度の平均値を上記色調値とすることを特徴としている。
【００１３】
上記請求項５のカラー画像の領域統合方法によれば、上記カラー画像の全画素の彩度の平均値によって、上記カラー画像全体の色調値を容易に表すことができる。
【００１４】
また、請求項６のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素について彩度の軸方向に分割された分割域毎の画素数を表すヒストグラムを作成し、その各分割域の代表彩度値が鮮やかなほど大きくなるように上記各分割域の上記代表彩度値に重み付けされた上記ヒストグラムより彩度の平均値を求めて、上記彩度の平均値を上記色調値とすることを特徴としている。
【００１５】
上記請求項６のカラー画像の領域統合方法によれば、上記カラー画像の全画素について彩度の軸方向に分割して作成されたヒストグラムの各分割域の代表彩度値に鮮やかになるほど大きくなるように重み付けし、その各分割域の代表彩度値が重み付けされたヒストグラムより彩度の平均値求める。そうして求めた彩度の平均値によって、色彩の淡いカラー画像においても色彩の特徴を顕著に表す色調値を得ることができる。
【００１６】
また、請求項７のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記物体領域判定値を求めるステップにおいて、上記分割領域間の境界線を挟む画素間の色差の平均値,標準偏差値に基づいて求めた判定値を上記物体領域判定値とすることを特徴としている。
【００１７】
上記請求項７のカラー画像の領域統合方法によれば、上記分割領域間の境界線を挟む画素間の色差の平均値,標準偏差値に基づいて求めた判定値を上記物体領域判定値とすることによって、物体領域判定値を大きくし、物体領域の判定レベルをゆるやかにして、背景と物体との境界の色差があまり明確でないカラー画像についても、物体領域の判定を容易にする。
【００１８】
また、請求項８のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記物体領域と判定された上記隣接する分割領域を統合するステップにおいて、上記分割領域毎にその分割領域に含まれる画素の色平均値を夫々求め、上記隣接する分割領域の色平均値の差が上記カラー画像全体の色調値に応じて加工された上記物体領域判定値よりも小さいとき、上記隣接する分割領域を物体領域として統合することを特徴としている。
【００１９】
上記請求項８のカラー画像の領域統合方法によれば、上記分割領域毎にその領域に含まれる画素の色平均値を求め、上記カラー画像の全分割領域のうちの隣接する分割領域について、隣接する分割領域の色平均値の差が上記カラー画像全体の色調値に応じて加工された上記物体領域判定値よりも小さいとき、隣接する分割領域を物体領域として統合する。このように、上記隣接する分割領域の色平均値の差と上記物体領域判定値とを比較することによって、物体領域を確実に判定して統合できる。
【００２０】
また、請求項９のプログラム記憶媒体は、カラー画像の色情報に基づいて分割された分割領域を統合する情報処理プログラムが記憶されたプログラム記憶媒体であって、上記カラー画像の画素間の色差に基づいて、上記分割領域のうちの連続する分割領域群がグラデーション領域であるかを判定するためのグラデーション領域判定値を求めるステップと、上記グラデーション領域判定値と上記連続する分割領域群の各境界における色変化の連続性とによって上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域と判定された上記連続する分割領域群を統合するステップとを有する情報処理プログラムを記憶したことを特徴としている。
【００２１】
上記請求項９のプログラム記憶媒体によれば、上記カラー画像の画素間の色差に基づいて求められたグラデーション領域判定値と上記カラー画像の色情報に基づいて分割された分割領域間の境界における色変化の連続性とによって、上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域であると判定された上記分割領域群を１つの領域に統合する。そうすることによって、背景や物体の複数の小領域に分割されたグラデーション領域を統合する。このように、上記グラデーション領域判定値と共に上記分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して、背景や物体の複数の小領域に分割されたグラデーション領域を統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を１つの領域として抽出できる。
【００２２】
【発明の実施の形態】
以下、この発明のカラー画像の領域統合方法およびプログラム記憶媒体を図示の実施の形態により詳細に説明する。
【００２３】
図１はこの発明の実施の一形態のカラー画像の領域統合方法を用いた特徴領域抽出装置の機能ブロック図であり、１は画像データや各種指示等が入力される入力部、２はカラー画像の物体領域抽出を行う物体領域抽出部、３は上記物体領域抽出部２により物体領域が抽出された画像データの特徴量を抽出する特徴量抽出部である。上記物体領域抽出部２は、画像データの色情報に基づいて領域分割する領域分割手段２aと、上記領域分割手段２aにより分割された分割領域を統合する領域統合手段２bと、上記領域統合手段２bによる領域統合の後の各分割領域から物体領域を判定する物体領域判定手段２cとを有している。
【００２４】
また、図２は図１の機能を実現するためのハードウェア構成を示す図である。上記色特徴抽出装置は、図２に示すように、装置全体の動作を制御する制御装置１１と、画像,文字等を表示すると共に、操作のための各種表示等を行うＣＲＴ(カソード・レイ・チューブ)１２と、各種入力操作,指示操作等を行うためのキーボード１３およびマウス１４と、上記制御装置１１に内蔵され、データ保管媒体であるフロッピーディスク１５aの記録再生を行うフロッピーディスクドライブ１５bと、ハードディスク装置１６と、画像データあるいは画像編成により作成した図面等を出力するためのプリンタ１７と、画像データを取り込むためのスキャナ１８と、上記制御装置１１に内蔵され、ＣＤ(コンパクト・ディスク)１９aの再生を行うＣＤ−ＲＯＭドライブ１９bと、音声出力のためのスピーカ２０と、音声入力のためのマイクロフォン２１とによって構成されている。上記ＣＲＴ１２,キーボード１３,マウス１４,ハードディスク装置１６,プリンタ１７,スキャナ１８,スピーカ２０およびマイクロフォン２１を制御装置１１に接続している。
【００２５】
図３は図２の制御装置１１に搭載されたＣＰＵ(中央処理装置)２５を中心としたブロック図である。
【００２６】
図３に示すように、上記ＣＰＵ２５には、たとえばインテル社製の品番ｉ８０４８６ＤＸ等を用いている。そして、上記ＣＰＵ２５は、装置全体を制御するプログラムが格納されるＲＯＭ(リード・オンリー・メモリー)２８と、各種データおよびプログラムが格納されるＲＡＭ(ランダム・アクセス・メモリー)２９と、画像あるいは文字等をＣＲＴ１２に表示させる表示制御回路３０と、上記キーボード１３からの入力を転送制御するキーボード制御回路３１と、上記マウス１４からの入力を転送制御するマウス制御回路３２と、上記フロッピーディスクドライブ１５bを制御するフロッピーディスクドライブ制御回路３３と、上記ハードディスク装置１６を制御するハードディスク制御回路３４と、上記プリンタ１７への出力を制御するプリンタ制御回路３５と、上記スキャナ１８を制御するスキャナ制御回路３６と、上記ＣＤ−ＲＯＭドライブ１９bを制御するＣＤ−ＲＯＭドライブ制御回路３７と、上記スピーカ２０を制御するスピーカ制御回路３８と、上記マイクロフォン２１を制御するマイクロフォン制御回路３９とをデータバス２６を介して接続している。
【００２７】
また、上記ＣＰＵ２５に、装置全体を動作させるために必要な基準クロックを発生するクロック２７を接続し、さらにデータバス２６を介して各種拡張ボードを接続するための拡張スロット４０を接続している。なお、上記拡張スロット４０にＳＣＳＩＩボードを接続して、フロッピーディスクドライブ１５b,ハードディスク装置１６,スキャナ１８およびＣＤ−ＲＯＭドライブ１９b等を接続してもよい。
【００２８】
上記特徴領域抽出装置では、上記キーボード１３,マウス１４,スキャナ１８およびＣＤ−ＲＯＭドライブ１９bで図１に示す入力部１を構成すると共に、ＣＰＵ２５で図１に示す物体領域抽出部２および特徴量抽出部３を構成している。
【００２９】
上記構成の特徴領域抽出装置は、図４,図５,図６および図７のフローチャートに従って動作する。図４は上記特徴領域抽出装置のプログラムのメインルーチンを示すフローチャートである。
【００３０】
図４において、まず、プログラムが起動されると、ステップＳ１において、後述する処理で必要なフラグの初期化や初期画面表示等が行われる。
次に、ステップＳ２に進み、ＣＲＴ１２に表示された初期画面からジョブメニューの「物体領域抽出」が選択されたか否かを判定して、「物体領域抽出」が選択されたと判定すると、ステップＳ３に進み、物体領域抽出部2により物体領域抽出処理を行って、ステップＳ９に進む。一方、ステップＳ２で「物体領域抽出」が選択されていないと判定すると、ステップＳ４に進む。
次に、ステップＳ４で「特徴量抽出」が選択されたか否かを判定して、「特徴量抽出」が選択されたと判定すると、ステップＳ５に進み、特徴量抽出部３により特徴量抽出処理を行って、ステップＳ９に進む。一方、ステップＳ４で「特徴量抽出」が選択されていないと判定すると、ステップＳ６に進む。
次に、ステップＳ６で「その他のメニュー」が選択されたか否かを判定して、「その他のメニュー」が選択されたと判定すると、ステップＳ７に進み、その他のメニュー処理を行って、ステップＳ９に進む。一方、「その他のメニュー」が選択されていないと判定すると、ステップＳ８に進む。
そして、ステップＳ８で「終了」が選択されたか否かを判定して、「終了」が選択されたと判定すると、この処理を終了する。一方、ステップＳ８で「終了」が選択されていないと判定すると、ステップＳ９に進み、ステップＳ９でその他の処理を行った後、ステップＳ２に戻る。
【００３１】
以下、上記ステップＳ３の物体領域抽出処理およびステップＳ５の特徴量抽出処理について説明する。なお、その他のステップについては、この発明に直接関係しないので、詳細な説明は省略する。
［物体領域抽出処理］
図５は、上記物体領域抽出部２によるステップＳ３の物体領域抽出処理サブルーチンを示すフローチャートである。
まず、ステップＳ３１で物体領域抽出処理を行う画像データを読み込む。
次に、ステップＳ３２に進み、領域分割手段２aによって、画像の色情報を利用して領域分割を行う。この領域分割については、例えば、画像の色情報に合わせて色を分類し、その色分類毎に領域を分割する方法がある。
次に、ステップＳ３３に進み、領域統合手段２bによって、領域分割により分割された分割領域のうちの同一領域と判定される分割領域を統合する。
次に、ステップＳ３４に進み、物体領域判定手段２cによって、各分割領域について物体領域を判定する。上記物体領域判定は、例えば次の(１),(２)の方法により行う。
(１) 画像内の中心付近にある分割領域を物体領域とする。
(２) 画像の端にかかる一定の大きさ以上の分割領域を背景領域とし、残った分割領域を物体領域とする。
そして、ステップＳ３５に進み、物体領域データを保存して、上位の処理に戻る。
【００３２】
図６は、上記ステップＳ３３の領域統合処理サブルーチンを示すフローチャートである。
まず、ステップＳ３３１で画像の色情報から画像全体の色調値を計算する。上記画像の色調を数値化するには、例えば次の(ｉ),(ii)の方法を行う。
(ｉ) 次式により求めた画像全体の彩度の平均値を色調値とする。
【数１】
【数２】
【数３】
【数４】
▲１▼ 色調値が所定の下しきい値よりも低いとき、物体領域判定値のうちの物体領域色相判定値,物体領域明度判定値を判定条件とする。
【００３３】
▲２▼ 色調値が所定の下しきい値と上しきい値との間のとき、物体領域判定値のうちの物体領域色相判定値を判定条件とすると共に、物体領域明度判定値,物体領域彩度判定値については、一定値以上のときに判定条件とする。
【００３４】
▲３▼ 色調値が所定の上しきい値よりも高いとき、物体領域色相判定値,物体領域明度判定値および物体領域彩度判定値を判定条件とし、各判定値が一定値以上の大きさのときはさらに各判定値を大きくする。
【００３５】
次に、ステップＳ３３４に進み、ステップＳ３３３で選択された物体領域判定値を利用して物体領域の統合を行う。この物体領域統合処理では、分割領域毎にその領域に含まれる画素の色(色相,明度および彩度)の平均値を計算した後、隣接する分割領域同士の色平均値の差を取り、色平均値の差が上記物体領域判定値よりも小さい場合は、同一物体領域とみなしてその隣接する分割領域を統合する。
【００３６】
次に、ステップＳ３３５に進み、グラデーション領域判定値を利用して各領域のグラデーション領域の統合を行う。このグラデーション領域統合処理では、画像の水平方向または垂直方向に連なる３つの分割領域を捜し出し、その３つの分割領域間の境界線を挟む画素間の色差を計算して、画素間の色差がグラデーション領域判定値よりも小さく、かつ、2つの境界で色(色相,明度および彩度)の変化方向が同一方向の場合、上記３つの分割領域をグラデーション領域として統合する。
【００３７】
そして、ステップＳ３３６に進み、領域統合処理の1回目で、かつ、色調値が色調判定値よりも大きいと判別すると、ステップＳ３３３に進み、再度、物体領域の統合処理,グラデーション領域の統合処理を行う。一方、ステップＳ３３６で領域統合処理の1回目で、かつ、色調値が色調判定値未満であると判別すると、上位の処理に戻る。
【００３８】
［特徴量抽出処理］
図７は、上記特徴量抽出部３によるステップＳ4の特徴量抽出処理を示すフローチャートである。
まず、ステップＳ５１で特徴量抽出処理を行う画像データを読み込む。
次に、ステップＳ５２に進み、画像データに対応する物体領域データを読み込む。
次に、ステップＳ５３に進み、画像データおよび物体領域データから画像の特徴量を抽出する。
そして、ステップＳ５４に進み、抽出された特徴量を保存した後、上位の処理に戻る。
【００３９】
上記ステップＳ５３の画像データおよび物体領域データから抽出される特徴量としては、例えば、次の(a),(b)等がある。
(a) 画像全体の色情報、テクスチャ情報
(b) 分割領域の大きさ、色情報、輪郭線の形状、テクスチャ情報
そして、これら特徴量は、画像認識,画像検索等に利用される。
【００４０】
このように、上記グラデーション領域判定値と共に分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して、背景や物体の複数の小領域に分割されたグラデーション領域を統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を1つの領域として抽出することができる。
【００４１】
また、上記カラー画像の画素間の色差(色相差,明度差および彩度差)の平均値を上記グラデーション領域判定値とすることによって、グラデーション領域の判定に適切なグラデーション領域判定値を得ることができる。
【００４２】
また、上記カラー画像の水平方向または垂直方向にいずれか一方向に沿って連続する３つの分割領域群がある場合、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界で色の変化方向が同一方向のとき、グラデーション領域であるとして上記分割領域群を統合することによって、グラデーション領域を確実に判定して統合することができる。なお、グラデーション領域の統合は、連続する３つの分割領域群に限らず、連続する４以上の分割領域群をグラデーション領域として統合してもよい。また、グラデーションの判定は、水平方向、垂直方向以外の方向に沿って連続する分割領域について行ってもよい。
【００４３】
また、上記カラー画像全体の色調値に応じて加工された上記物体領域判定値によって、上記隣接する分割領域が物体領域であるか判定して、物体領域であると判定された上記隣接する分割領域を１つの領域に統合することによって、グラデーションや陰影を含む物体の領域を１つの物体領域として統合することができる。
【００４４】
また、上記カラー画像の全画素の彩度の平均値を上記色調値とした場合、上記カラー画像の全画素の彩度の平均値によって、上記カラー画像全体の色調値を容易に表すことができる。
【００４５】
また、上記カラー画像全体について彩度の軸方向に分割して作成されたヒストグラムについて各分割域の代表彩度値に鮮やかになるほど大きくなるように重み付けし、その各分割域の代表彩度値が重み付けされたヒストグラムより求めた彩度の平均値によって、カラー画像の色彩の特徴を顕著に表す色調値が容易に得られ、色彩の淡いカラー画像においても有効な色調値を物体領域の統合に用いることができる。
【００４６】
また、上記分割領域間の境界線を挟む画素間の色相差,明度差および彩度差の平均値,標準偏差値に基づいて求めた判定値を物体領域判定値(物体領域色相判定値,物体領域明度判定値および物体領域彩度判定値)として、平均値に標準偏差値の条件に加えることにより物体領域判定値を大きくすることによって、背景と物体との境界の色差が明確に判定することができる。
【００４７】
また、上記隣接する分割領域の色平均値の差と上記色調値に応じて加工された物体領域判定値とを比較することによって、物体領域を確実に判定して統合することができる。
【００４８】
上記実施の形態では、画像データ保管媒体としてフロッピーディスク１５aおよびハードディスク装置１６で構成しているが、光磁気ディスク装置等の他の情報記憶装置であってもよい。また、上記入力部１としては、スキャナ１８,ＣＤ−ＲＯＭドライブ１９bを用いているが、スチルカメラやデジタルカメラ等の他の入力装置を用いてもよい。また、出力装置としてプリンタ１７を用いているが、デジタル複写機等の他の出力装置を用いてもよい。
【００４９】
上記実施の形態では、ＨＬＳ色空間において分割領域を統合したが、色空間はこれに限らず、Ｌ＊ａ＊ｂ＊色空間(ＪＩＳ Ｚ８７２９−(１９８０))等でもよいのは勿論である。
【００５０】
また、上記実施の形態では、制御装置１１全体を制御するプログラムがＲＯＭ２８に記憶されている特徴領域抽出装置について説明しているが、この発明によるプログラムの一部または全部をフロッピーディスク等のプログラム記憶媒体に保管して、必要に応じて上記プログラムをパーソナルコンピュータ等の情報処理装置に読み込んで、実行させてもよい。
【００５１】
【発明の効果】
以上より明らかなように、請求項１の発明のカラー画像の領域統合方法は、カラー画像の色情報に基づいて分割された分割領域を統合するカラー画像の領域統合方法において、上記カラー画像の画素間の色差に基づいて求められたグラデーション領域判定値と上記カラー画像の色情報に基づいて分割された分割領域間の境界における色変化の連続性とによって、上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域であると判定された上記分割領域群について１つの分割領域に統合するものである。
【００５２】
したがって、請求項１の発明のカラー画像の領域統合方法によれば、上記グラデーション領域判定値と共に上記分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して、背景や物体の複数の小領域に分割されたグラデーション領域を統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を１つの領域として抽出することができる。
【００５３】
また、請求項２の発明のカラー画像の領域統合方法は、請求項１のカラー画像の領域統合方法において、上記グラデーション領域判定値を求めるステップにおいて、上記カラー画像の画素間の色差の平均値を上記グラデーション領域判定値とするので、グラデーション領域の判定に適切なグラデーション領域判定値を得ることができる。
【００５４】
また、請求項３の発明のカラー画像の領域統合方法は、請求項１のカラー画像の領域統合方法において、上記カラー画像の所定の方向に沿って連続する少なくとも３つの分割領域群がある場合、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界で色の変化方向が同一方向のとき、グラデーション領域であるとして上記分割領域群を統合して、上記カラー画像の全分割領域について連続する少なくとも３つの分割領域群の判定と統合とを行うので、グラデーション領域を確実に判定して統合することができる。
【００５５】
また、請求項４の発明のカラー画像の領域統合方法は、請求項１乃至３のいずれか１つのカラー画像の領域統合方法において、上記カラー画像の画素の彩度に基づいて上記カラー画像全体の色彩の濃淡を表す色調値を求めると共に、上記隣接する分割領域間の境界線を挟む画素間の色差に基づいて物体領域判定値を求めて、上記カラー画像全体の色調値に応じて加工された上記物体領域判定値によって上記隣接する分割領域が物体領域であるか判定して、物体領域であると判定された上記隣接する分割領域について１つの分割領域に統合するので、グラデーションや陰影を含む物体の領域を１つの物体領域として統合することができる。
【００５６】
また、請求項５の発明のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素の彩度の平均値を上記色調値とするので、上記カラー画像の全画素の彩度の平均値によりカラー画像全体の色調値を容易に表すことができる。
【００５７】
また、請求項６の発明のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素について彩度の軸方向に分割された分割域毎の画素数を表すヒストグラムを作成し、その各分割域の代表彩度値に彩度が鮮やかになるほど大きくなるように上記各分割域の代表彩度値に重み付けされた上記ヒストグラムより彩度の平均値を求めて、上記彩度の平均値を上記色調値とするので、その彩度の平均値により色彩の淡いカラー画像においても色彩の特徴を顕著に表す色調値を得ることができる。
【００５８】
また、請求項７の発明のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記物体領域判定値を求めるステップにおいて、上記分割領域間の境界線を挟む画素間の色差の平均値,標準偏差値に基づいて求めた判定値を上記物体領域判定値とするので、背景と物体との境界の色差があまり明確でないカラー画像についても物体領域の判定を容易に行うことができる。
【００５９】
また、請求項８の発明のカラー画像の領域統合方法は、請求項４のカラー画像の領域統合方法において、上記分割領域毎にその領域に含まれる画素の色平均値を求め、上記カラー画像の全分割領域のうちの隣接する分割領域について、隣接する分割領域の色平均値の差が上記カラー画像全体の色調値に応じて加工された上記物体領域判定値よりも小さいとき、その隣接する分割領域を物体領域として統合するので、物体領域を確実に判定して統合できる。
【００６０】
また、請求項９の発明のプログラム記憶媒体は、カラー画像の色情報に基づいて分割された分割領域を統合する情報処理プログラムが記憶されたプログラム記憶媒体であって、上記カラー画像の画素間の色差に基づいて、上記分割領域のうちの連続する分割領域群がグラデーション領域であるかを判定するためのグラデーション領域判定値を求めるステップと、上記グラデーション領域判定値と上記連続する分割領域群の各境界における色変化の連続性とによって上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域と判定された上記連続する分割領域群を統合するステップとを有する情報処理プログラムを記憶したものである。
【００６１】
したがって、請求項９の発明のプログラム記憶媒体に記憶された上記情報処理プログラムをパーソナルコンピュータ等の情報処理装置に読み込んで実行することによって、上記グラデーション領域判定値と共に上記分割領域間の境界の色変化の方向も考慮してグラデーション領域を判定して統合することによって、物体領域の抽出時にグラデーションや陰影を含む物体の領域を１つの領域として抽出することができる。
【図面の簡単な説明】
【図１】 図１はこの発明の実施の一形態のカラー画像の領域統合方法を用いた特徴領域抽出装置の機能ブロック図である。
【図２】 図２は図１の機能を実現するハードウェア構成を示す図である。
【図３】 図３は図２に示す制御装置に搭載されたＣＰＵを中心としたブロック図である。
【図４】 図４は図３のＣＰＵの基本処理動作を説明するフローチャートである。
【図５】 図５は図４の物体領域抽出処理を示すフローチャートである。
【図６】 図６は図５の領域統合処理を示すフローチャートである。
【図７】 図７は図４の特徴量抽出処理を示すフローチャートである。
【符号の説明】
１…入力部、
２…物体領域抽出部、
２a…領域分割手段、
２b…領域統合手段、
２c…物体領域判定手段、
３…特徴量抽出部。
Claims (9)
- カラー画像の色情報に基づいて分割された分割領域を統合するカラー画像の領域統合方法において、
上記カラー画像の画素間の色差に基づいて、上記分割領域のうちの連続する分割領域群がグラデーション領域であるかを判定するためのグラデーション領域判定値を求めるステップと、
上記グラデーション領域判定値と上記連続する分割領域群の各境界における色変化の連続性とによって上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域と判定された上記連続する分割領域群を統合するステップとを有することを特徴とするカラー画像の領域統合方法。 - 請求項１に記載のカラー画像の領域統合方法において、
上記グラデーション領域判定値を求めるステップにおいて、上記カラー画像の画素間の色差の平均値を上記グラデーション領域判定値とすることを特徴とするカラー画像の領域統合方法。 - 請求項１に記載のカラー画像の領域統合方法において、
上記グラデーション領域と判定された上記分割領域を統合するステップにおいて、上記分割領域のうちの上記カラー画像の所定の方向に沿って連なる少なくとも３つの分割領域からなる分割領域群について、上記分割領域群の各境界線を挟む画素間の色差が上記グラデーション領域判定値よりも小さく、かつ、上記分割領域群の各境界における色の変化方向が同一方向のとき、上記分割領域群をグラデーション領域として統合することを特徴とするカラー画像の領域統合方法。 - 請求項１乃至３のいずれか１つに記載のカラー画像の領域統合方法において、
上記カラー画像の画素の彩度に基づいて、上記カラー画像全体の色調値を求めるステップと、
上記分割領域間の境界線を挟む画素間の色差に基づいて、上記分割領域のうちの隣接する分割領域が物体領域であるかを判定するための物体領域判定値を求めるステップと、
上記カラー画像全体の色調値に応じて加工された上記物体領域判定値によって上記隣接する分割領域が物体領域であるか判定して、物体領域と判定された上記隣接する分割領域を統合するステップとを有することを特徴とするカラー画像の領域統合方法。 - 請求項４に記載のカラー画像の領域統合方法において、
上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素の彩度の平均値を上記色調値とすることを特徴とするカラー画像の領域統合方法。 - 請求項４に記載のカラー画像の領域統合方法において、
上記カラー画像全体の色調値を求めるステップにおいて、上記カラー画像の全画素について彩度の軸方向に分割された分割域毎の画素数を表すヒストグラムを作成し、その各分割域の代表彩度値が鮮やかなほど大きくなるように上記各分割域の上記代表彩度値に重み付けされた上記ヒストグラムより彩度の平均値を求めて、上記彩度の平均値を上記色調値とすることを特徴とするカラー画像の領域統合方法。 - 請求項４に記載のカラー画像の領域統合方法において、
上記物体領域判定値を求めるステップにおいて、上記分割領域間の境界線を挟む画素間の色差の平均値,標準偏差値に基づいて求めた判定値を上記物体領域判定値とすることを特徴とするカラー画像の領域統合方法。 - 請求項４に記載のカラー画像の領域統合方法において、
上記物体領域と判定された上記隣接する分割領域を統合するステップにおいて、上記分割領域毎にその分割領域に含まれる画素の色平均値を夫々求め、上記隣接する分割領域の色平均値の差が上記カラー画像全体の色調値に応じて加工された上記物体領域判定値よりも小さいとき、上記隣接する分割領域を物体領域として統合することを特徴とするカラー画像の領域統合方法。 - カラー画像の色情報に基づいて分割された分割領域を統合する情報処理プログラムが記憶されたプログラム記憶媒体であって、
上記カラー画像の画素間の色差に基づいて、上記分割領域のうちの連続する分割領域群がグラデーション領域であるかを判定するためのグラデーション領域判定値を求めるステップと、
上記グラデーション領域判定値と上記連続する分割領域群の各境界における色変化の連続性とによって上記連続する分割領域群がグラデーション領域であるか判定して、グラデーション領域と判定された上記連続する分割領域群を統合するステップとを有する情報処理プログラムを記憶したことを特徴とするプログラム記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24004698A JP4164907B2 (ja) | 1998-08-26 | 1998-08-26 | カラー画像の領域統合方法およびプログラム記憶媒体 |
| US09/377,835 US6731792B1 (en) | 1998-08-24 | 1999-08-20 | Method and apparatus for accurately dividing a color image into proper regions, and storage media storing a program for executing such a method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24004698A JP4164907B2 (ja) | 1998-08-26 | 1998-08-26 | カラー画像の領域統合方法およびプログラム記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000067244A JP2000067244A (ja) | 2000-03-03 |
| JP4164907B2 true JP4164907B2 (ja) | 2008-10-15 |
Family
ID=17053681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24004698A Expired - Fee Related JP4164907B2 (ja) | 1998-08-24 | 1998-08-26 | カラー画像の領域統合方法およびプログラム記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4164907B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4739082B2 (ja) * | 2006-03-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
| JP4799246B2 (ja) * | 2006-03-30 | 2011-10-26 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
| JP5079753B2 (ja) * | 2009-07-24 | 2012-11-21 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
| JP5843474B2 (ja) * | 2011-05-09 | 2016-01-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| JP6521650B2 (ja) * | 2015-02-04 | 2019-05-29 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
-
1998
- 1998-08-26 JP JP24004698A patent/JP4164907B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000067244A (ja) | 2000-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
| JP3747589B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
| KR100667663B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 | |
| US7352898B2 (en) | Image processing apparatus, image processing method and program product therefor | |
| CN102194227B (zh) | 图像属性判别装置及方法、属性判别支援装置及控制方法 | |
| JP4704224B2 (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
| US6587593B1 (en) | Image processing device and image processing method | |
| US8094935B2 (en) | Representative color extracting method and apparatus based on human color sense and data histogram distributions | |
| EP0369702A2 (en) | Image processing apparatus and method | |
| US20110050723A1 (en) | Image processing apparatus and method, and program | |
| JPH05303632A (ja) | スポットカラーイメージの類似カラー領域同定のための方法と装置 | |
| JP2005151282A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US6731792B1 (en) | Method and apparatus for accurately dividing a color image into proper regions, and storage media storing a program for executing such a method | |
| US20180232888A1 (en) | Removal of background information from digital images | |
| US6963663B1 (en) | Image processing for image correction | |
| US6731789B1 (en) | Image processing apparatus and method, and storage medium | |
| JP4164907B2 (ja) | カラー画像の領域統合方法およびプログラム記憶媒体 | |
| JP4052128B2 (ja) | 画像トリミング装置、画像のトリミング方法、及びプログラム | |
| CN115967823A (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
| JP4693289B2 (ja) | 画像圧縮装置及び画像圧縮方法並びにプログラムコード、記憶媒体 | |
| US6985629B2 (en) | Image processing method, relative density detecting method and image processing apparatus | |
| WO2009104325A1 (ja) | 線画処理装置、プログラム及び線画処理方法 | |
| JP4207256B2 (ja) | カラー画像の領域分割方法およびプログラム記憶媒体 | |
| JPH07129762A (ja) | 素描風画像生成装置 | |
| CN115689882A (zh) | 一种图像处理方法、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050818 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060613 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080721 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |