JP5149858B2

JP5149858B2 - カラー画像の代表色決定装置およびその動作制御方法

Info

Publication number: JP5149858B2
Application number: JP2009101723A
Authority: JP
Inventors: 恒史遠藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-04-20
Filing date: 2009-04-20
Publication date: 2013-02-20
Anticipated expiration: 2029-04-20
Also published as: CN101867829B; EP2244209A2; EP2244209A3; JP2010250726A; CN101867829A; US20100266199A1; EP2244209B1; US8509529B2

Description

この発明は，カラー画像の代表色決定装置およびその動作制御方法に関する。

多数の画像の中から所望の画像を見つけ出す場合，色を検索キーとして利用することがある。検索キーとして指定された色をもつ画像が多数の画像の中から見つけられる。たとえば，カラー画像について色ヒストグラムを生成し，その色ヒストグラムの極大区間に対して頻度，色相，彩度，明度，画像上での位置をもとにスコア付けし，スコアが上位の区間から代表色を一つずつ出力するもの（特許文献１），画像から人の印象に寄与する代表色を色相の頻度にもとづいて抽出するもの（特許文献２），画像データを減色して少数の代表色で表示する場合に，元の画像に対して違和感のないように減色するもの（特許文献３）などがある。

しかしながら，人間の印象に残りやすい色を代表色とすることは考えられていない。

特開2008-234124号公報特開平10-289242号公報特開平6-259539号公報

この発明は，人間の印象に残りやすい色を代表色とすることを目的とする。

この発明による代表色決定装置は，与えられるカラー画像データによって表されるカラー画像を構成する画素を，色空間上において互いに近い位置の画素が同じグループに属するように色空間上において複数のグループに分けるグループ分け手段，上記グループ分け手段によって分けられた複数のグループのそれぞれのグループに属する色（画素）のうちのいずれかの１つの色（画素の色）を代表候補色と，グループごとに決定する代表候補色決定手段，および上記代表候補色決定手段によって，グループごとに決定される複数の代表候補色のうち，上記色空間上においてグレーの位置から遠い位置に存在する１または複数の画素の色を上記カラー画像の代表色と決定する代表色決定手段を備えていることを特徴とする。代表候補色決定手段は，グループに属する画素の色に決定してもよいし，グループ内の色空間における重心位置のようにグループ内の色空間における色であればカラー画像を構成する画素が有していない色でもよい。グループごとにグループの代表候補色が決定されればよい。

この発明は，上記カラー画像の代表色決定装置に適した動作制御方法も提供している。すなわち，この方法は，グループ分け手段が，与えられるカラー画像データによって表されるカラー画像を構成する画素を，色空間上において互いに近い位置の画素が同じグループに属するように色空間において複数のグループに分け，代表候補色決定手段が，上記グループ分け手段によって分けられた複数のグループのそれぞれのグループに属する色のうちのいずれかの１つの色を代表候補色と，グループごとに決定し，代表色決定手段が，上記代表候補色決定手段によって，グループごとに決定される複数の代表候補色のうち，上記色空間上においてグレーの位置から遠い位置に存在する１または複数の画素の色を上記カラー画像の代表色と決定するものである。

この発明は，上記カラー画像の代表色決定装置の動作制御方法を実現するためのプログラムも提供している。また，そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

この発明によると，カラー画像を構成する画素が，色空間上において互いに近い位置の画素ごとに複数のグループに分けられる（複数の色空間グループが生成される）。複数のグループのそれぞれのグループにおいて，グループに属する色のうちのいずれか一つの色が代表候補色として決定される。グループごとに代表候補色が決定され，複数のグループに対応する複数の代表候補色のうち，色空間においてグレーから遠い位置に存在する１または複数の画素の色がカラー画像の代表色として決定される。この発明によると，グレーの位置から遠い位置に存在する画素の色が代表色として決定される。グレーは，人間の印象に残りにくいが，そのような色から遠い色が代表色となるので，人間の印象に残りやすい色が代表色となる。また，複数の代表候補色のそれぞれは，色空間上において離れているので，複数の代表候補色の中から複数の色が代表色として決定される場合には，決定された複数の代表色が似た色となってしまうことを未然に防止できる。

上記代表色決定手段は，たとえば，上記代表候補色決定手段によって，グループごとに決定された複数の代表候補色のうち，彩度または明度がグレーから，上記色空間上において遠い位置に存在する１または複数の画素の色を上記カラー画像の代表色と決定するものである。

上記グループ分け手段は，たとえば，与えられるカラー画像データによって表されるカラー画像を構成する画素を，色度平面に投影させた場合における色度平面での色空間上において互いに近い位置の画素が同じグループに属するように色度平面での色空間上において複数のグループに分けるものである。

上記グループ分け手段は，たとえば，色空間における色の位置が近い画素が属し，かつそれぞれの大きさが等しい複数のグループ空間に分けるものである。この場合，上記代表色決定手段は，上記代表候補色決定手段によってグループごとに決定された代表候補色と，あらかじめ決定されている色との，上記色空間上における距離をスコア化する第１のスコア算出手段，およびグループ空間内に属する画素数をスコア化する第２のスコア算出手段を備える。そして，上記第１のスコア算出手段によって得られたスコアと上記第２のスコア算出手段によって得られたスコアとにもとづいて上記カラー画像の代表色を決定するものとなろう。

上記代表色決定手段は，たとえば，決定された代表色の色相値を表すデータを出力するものである。

カラー画像の代表色決定装置の電気的構成を示すブロック図である。カラー画像の代表色決定装置の処理手順を示すフローチャートである。画素の分布の様子を示している。グループ分けされている様子を示している。グループの重心位置を示している。代表候補色を示している。代表色を示している。ＲＧＢ色空間を示している。 L*a*b*色空間を示している。 L*a*b*色空間を示している。 L*a*b*色空間を示している。

図１は，この発明の実施例を示すもので，カラー画像の代表色決定装置１の電気的構成を示すブロック図である。

カラー画像の代表色決定装置１の全体の動作は，制御装置２によって制御される。

代表色決定装置１には，多数の画像を表す画像データが格納されている画像データベース５が含まれている。代表色決定装置１には，ネットワークと接続するための通信インターフェイス６が含まれている。通信インターフェイス６から入力した画像データが画像データベース５に格納される。もっとも，代表色決定装置１に画像データ入力装置を設け，その画像データ入力装置から入力した画像データが画像データベース５に格納されるようにしてもよい。

代表色決定装置１には入力装置４および表示装置３も設けられている。入力装置４によって，代表色を決定するカラー画像が指定される。指定されたカラー画像を表す画像データが画像データベース５から読み取られ，後述するようにカラー画像の代表色が決定される。

さらに，代表色決定装置１には，CD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）７も設けられている。後述する動作をするプログラムが格納されているCD-ROM８がCD-ROMドライブ７に装填され，プログラムが読み取られることより，そのプログラムが代表色決定装置１にインストールされる。もっとも，プログラムはCD-ROM８から読み取られなくとも，ネットワークを介してダウンロードされてもよいし，代表色決定装置１にプレインストールされていてもよい。

図２は，代表色決定装置１の処理手順を示すフローチャートである。

入力装置４によって代表色を決定するカラー画像が指定され，その指定されたカラー画像を表すカラー画像データが画像データベース５から読み取られる（ステップ11）。読み取られたカラー画像データによって表されるカラー画像を構成する画素がL*a*b*表色系の色空間（L*a*b*色空間）上に分布させられる（ステップ12）。L*a*b*色空間上に分布させられた画素が，L*a*b*色空間におけるa*b*平面上に投影させられる（ステップ13）。

図３は，L*a*b*色空間におけるa*b*平面上に投影させられた画素分布を示している。

カラー画像を構成する画素がa*b*平面上に投影させられることにより，a*b*平面上に投影させられた画素ｐの分布図が得られる。画素ｐの色相と彩度（色度）との値に応じたa*b*平面上の位置に分布させられている。

図２に戻って，a*b*平面上に分布させられた画素ｐがグループ分けさせられ，複数のグループに分けられる（ステップ14）。

図４は，a*b*平面上に分布させられた画素ｐがグループに分けられた様子を示している。この実施例では，k-means法により多数の画素ｐがグループg1〜g6の６つのグループに分けられている。

円で示されている６つのグループg1〜g6は，それぞれの円の大きさが同じとなるようにグループ空間が形成されている。グループg1〜g6の中に属する画素の数はグループごとに異なっている。

再び図２に戻って，各グループの重心が算出され，算出された重心の位置が示す色が各代表候補色として決定される（ステップ15）。

図５は，各グループg1〜g5における重心の位置を示している。

グループg1の重心はCP1であり，グループg2の重心はCP2であり，グループg3の重心はCP3であり，グループg4の重心はCP4であり，グループg5の重心はCP5である。これらの重心CP1〜CP5が代表候補色とされる。

再び図２に戻って，a*b*平面の原点と代表候補色CP1〜CP5のそれぞれとの距離が算出され，その算出された距離にもとづいて第１のスコアＳ１が算出される（ステップ16）。

図６は，a*b*平面上における代表候補色CP1〜CP5を示している。

a*b*平面上において，原点から代表候補色CP1〜CP5のそれぞれまでの距離は，L1〜L5で表される。これらのL1〜L5のそれぞれが必要に応じて正規化されることにより，代表色候補ごとに第１のスコアが算出される。たとえば，第１の代表候補色CP1，第２の代表候補色CP2，第３の代表候補色CP3，第４の代表候補色CP4および第５の代表候補色CP5のそれぞれの第１のスコアはS11，S12，S13，S14およびS15となる。原点から代表候補色CP1〜CP5までの距離そのものを第１のスコアとしてもよい。

a*b*平面における原点はグレーを示している。原点から遠いということは，グレーと近似しない色を表すものである。グレーは人間の印象に残りづらい色であるため，グレーと近似しない色を代表色とすることにより人間の印象に残りやすい色を代表色として決定することができる。とくに，上述した実施例では，画素をa*b*平面に分布させた上でグレーの位置から遠い色を代表色の候補とするので，彩度がグレーから遠い色が代表色の候補となる。高彩度の色を代表色として決定することができる。

図２に戻って，グループごとにグループに含まれている画素数が算出され，画素数から第２のスコアが算出される（ステップ17）。グループごとに算出された画素数が必要であれば正規化され，正規化された画素数が第２のスコアとして算出される。たとえば，第１の代表候補色CP1，第２の代表候補色CP2，第３の代表候補色CP3，第４の代表候補色CP4および第５の代表候補色CP5のそれぞれの第２のスコアはS21，S22，S23，S24およびS25となる。画素数そのものを第２のスコアとしてもよい。

つづいて，算出された第１のスコアと第２のスコアとからグループごとに最終スコアが算出される（ステップ18）。たとえば，第１の代表候補色CP1，第２の代表候補色CP2，第３の代表候補色CP3，第４の代表候補色CP4および第５の代表候補色CP5のそれぞれの最終スコアは，(S11+S21)，(S12+S22)，(S13+S23)，(S14+S24)および(S15+S25)となる。最終スコアは，このように第１のスコアと第２のスコアとの和でもよいし，積でもよい。また，第１のスコアと第２のスコアとに適当な重み付けを行ったうえで，和を求めたものを最終スコアとしてもよい。

すべての代表候補色について最終スコアが算出されると，最終スコアの上位３つの最終スコアを与える代表候補色が，カラー画像についての代表色と決定される（ステップ19）。

図７は，決定された代表色のa*b*平面上の位置を示している。この実施例では，a*b*平面の原点から遠い３つの代表候補色CP1，CP3およびCP6が代表色として決定されている。

このようにして決定された代表色を示すデータは，カラー画像データが格納されている画像ファイルのヘッダ記録領域に記録される。検索キーとして色が利用される場合には，指定された色を代表色にもつカラー画像が見つけられることとなる。

上述の実施例においては，L*a*b*色空間が利用されているが，L*a*b*色空間以外の色空間，YCrCb色空間，RGB色空間，L*u*v*色空間，HSV色空間などを利用することもできる。また，画素がa*b*平面に投影されているが，a*b*平面に投影せずにL*a*b*色空間上において上述の処理を行うようにしてもよい。L*a*b*色空間上において上述の処理が行われる場合には，明度方向(Ｌ方向)にグレーから遠い色を代表色の候補とすることもできる。白または黒に近い色を代表色と決定できる。

さらに，グループ分けはk-means法を利用して，各グループ空間の大きさが同じとなるように分けられているが，グループ空間（グループ）の大きさは必ずしも同じでなくともよい。また，第１のスコアまたは第２のスコアのいずれか一方のスコアのみを用いて代表候補色から代表色を決定するようにしてもよい。また，グループの重心の位置の色を代表候補色とせずにグループの中心などの位置の色を代表候補色としてもよい。

さらに，上述のようにして決定された代表色は，色相値のみを代表色として得る(出力する)ようにしてもよい。データ量を少なくできる。

図８は，他の実施例を示すもので，RGB色空間上に分布された多数の画素(図示略)をグループ化した様子を示している。

RGB色空間上において，上述のように，カラー画像を構成する多数の画素が分布され，それらの画素がグループ化されることによりグループg11〜g16が形成される。グループg11〜g16のそれぞれのグループにおいて，グループの重心の色が代表候補色CP11〜CP16と決定される。

グレーの位置Ｇｒから代表候補色までの距離にもとづいて得られる第１のスコアとグループに属する画素の数にもとづいて得られる第２のスコアとから最終スコアが算出される。算出された最終スコアの上位３つのスコアを与える代表候補色が代表色と決定される。

上述の実施例においては，代表色を３つに決定しているが，１つまたは３つ以外の数を代表色の色数としてもよい。代表候補色同士は色空間上で離れているので，代表色を複数とする場合，近似した色が代表色となってしまうことを未然に防止できる。

さらに，上述の実施例によるカラー画像の代表色決定装置をディジタル・スチル・カメラ（ディジタル・カメラ），スチル機能をもつディジタル・ムービ・ビデオ・カメラに搭載するようにしてもよい。カメラを用いた撮像によって得られたカラー画像の代表色を決定することができるようになる。

図９から図11は，L*a*b*色空間での代表候補色を示している。

L*a*b*色空間のように三次元色空間上において代表候補色を決定し，その代表候補色の位置とグレーの位置の位置との距離は，図９に示すように色空間の原点から代表候補色ＣＰ11までの距離Ｌ11を考えてもよいし，図10に示すように明度軸L*に対して垂直となるように代表候補色ＣＰ12から明度軸L*に伸ばした距離Ｌ12を考えてもよいし，図11に示すようにa*b*平面と垂直となるように代表候補色ＣＰ13からa*b*平面に伸ばした距離Ｌ13を考えてもよい。すなわち，代表候補色の位置までの距離を考える場合のグレーの位置は，図９に示すように色空間の原点でもよいし，図10に示すように彩度が０である明度軸のいずれかの位置でもよい。さらに，図11に示すように明度の中点（原点Ｏは，明度軸上では中点となる）を通るa*b*平面上の位置をグレーの位置としてもよい。

上述のことは，L*a*b*色空間だけでなく，ある方向が明度を表す色空間についても適用できるのはいうまでもない。

もっとも，グレーの位置は完全に彩度が０，中点の明度でなくとも多少ずれた位置でもよいのはいうまでもない。たとえば，蛍光灯で緑がかっているカラー画像の場合にはグレーが緑方向にずれているので，緑方向にずれた位置をグレーの位置としたり，夜景モードのときは多少明るくとも印象に残るので，明度の中点よりも暗い側にずらした位置をグレーの位置とすることが考えられる。

上述のようにして決定されたカラー画像の代表色を表すデータは，そのカラー画像を表すデータが格納されている画像ファイルのヘッダに記録する（たとえば，Exifタグに記録する）ことができる。画像ファイルのヘッダに代表色を表すデータが記録されることにより，画像検索装置，画像表示装置，画像サーバ，ディジタル・カメラ（ディジタル・スチル・カメラ）などの再生時において，カラー画像に付随している代表色を利用して検索により所望の代表色をもつカラー画像を見つけることができる。

１カラー画像の代表色決定装置
２制御装置（画素分布手段，グループ分け手段，代表候補色決定手段，代表色決定手段）

Claims

与えられるカラー画像データによって表されるカラー画像を構成する画素を，色空間上において互いに近い位置の画素が同じグループに属するように色空間上において複数のグループに分けるグループ分け手段，
上記グループ分け手段によって分けられた複数のグループのそれぞれのグループに属する色のうちのいずれかの１つの色を代表候補色と，グループごとに決定する代表候補色決定手段，および
上記代表候補色決定手段によって，グループごとに決定される複数の代表候補色のうち，上記色空間上においてグレーの位置から遠い位置に存在する１または複数の画素の色を上記カラー画像の代表色と決定する代表色決定手段，
を備えたカラー画像の代表色決定装置。
上記代表色決定手段は，上記代表候補色決定手段によって，グループごとに決定された複数の代表候補色のうち，彩度または明度がグレーの位置から，上記色空間上において遠い位置に存在する１または複数の画素の色を上記カラー画像の代表色と決定するものである，
請求項１に記載のカラー画像の代表色決定装置。
上記グループ分け手段が，
与えられるカラー画像データによって表されるカラー画像を構成する画素を，色度平面に投影させた場合における色度平面での色空間上において互いに近い位置の画素が同じグループに属するように色度平面での色空間上において複数のグループに分けるものである，
請求項１または２に記載のカラー画像の代表色決定装置。
上記グループ分け手段が，
色空間における色の位置が近い画素が属し，かつそれぞれの大きさが等しい複数のグループ空間に分けるものであり，
上記代表色決定手段は，
上記代表候補色決定手段によってグループごとに決定された代表候補色と，あらかじめ決定されている色との，上記色空間上における距離をスコア化する第１のスコア算出手段，および
グループ空間内に属する画素数をスコア化する第２のスコア算出手段を備え，
上記第１のスコア算出手段によって得られたスコアと上記第２のスコア算出手段によって得られたスコアとにもとづいて上記カラー画像の代表色を決定するものである，
請求項１から３のうちいずれか一項に記載のカラー画像の代表色決定装置。
上記代表色決定手段は，決定された代表色の色相値を表すデータを出力するものである，請求項１から４のうちいずれか一項に記載のカラー画像の代表色決定装置。
グループ分け手段が，与えられるカラー画像データによって表されるカラー画像を構成する画素を，色空間上において互いに近い位置の画素が同じグループに属するように色空間上において複数のグループに分け，
代表候補色決定手段が，上記グループ分け手段によって分けられた複数のグループのそれぞれのグループに属する色のうちのいずれかの１つの色を代表候補色と，グループごとに決定し，
代表色決定手段が，上記代表候補色決定手段によって，グループごとに決定される複数の代表候補色のうち，上記色空間上においてグレーの位置から遠い位置に存在する１または複数の画素の色を上記カラー画像の代表色と決定する，
カラー画像の代表色決定装置の動作制御方法。
カラー画像の代表色決定装置のコンピュータを制御するプログラムであって，
与えられるカラー画像データによって表されるカラー画像を構成する画素を，色空間上において近い位置の画素が同じグループに属するように色空間上に複数のグループに分けさせ，
分けられた複数のグループのそれぞれのグループに属する色のうちのいずれかの１つの色を代表候補色と，グループごとに決定させ，
グループごとに決定される複数の代表候補色のうち，上記色空間上においてグレーの位置から遠い位置に存在する１または複数の画素の色を上記カラー画像の代表色と決定させるようにカラー画像の代表色決定装置のコンピュータを制御するコンピュータ読み取り可能なプログラム。