JP5070116B2 - テーブルデータ生成装置及びテーブルデータ生成方法 - Google Patents

Description

本発明は、主要色に基づいて画像を分類する際に用いられる、例えばカラーマッピング用ルックアップテーブル（ＬＵＴ）等のテーブルデータを生成する装置及びテーブルデータを生成する方法に関する。

カラーマッピング用ＬＵＴは、入力された色をある空間上にマッピングするために参照されるテーブルである。このカラーマッピング用ＬＵＴは、離散化した色空間の格子点を指定し、指定された格子点に該当する色に対する色空間データをテーブル化することにより生成される。このカラーマッピング用ＬＵＴを生成する場合、変換前の色空間としてＣＩＥＬＡＢ色空間やＣＩＥＸＹＺ色空間、或いはＣＩＥＣＡＭ色空間が用いられ、変換後の色空間としてＨＳＶ色空間やＨＳＩ色空間が用いられている（特許文献１参照）。このような色空間を用いることにより、画像に用いられる主要色を最適に再現することができる。
特開２００６−２０３８９６号公報

しかしながら、ＹＣｂＣｒ色空間を用いて、人間の色空間に近い基準でカラーマッピング用ＬＵＴを作成しようとした場合、ＨＳＶ色空間にて主要色を選定し、選定された主要色をＹＣｂＣｒ色空間に変換する作業を行う必要がある。この作業は手間のかかる作業であり、非効率である。また、ＨＳＶ色空間で主要色を選定することから、実際の画像を用いた場合に、画像から受ける色の印象とＨＳＶ色空間で選定した主要色とに乖離が見られることから、主要色の抽出精度が低いという問題がある。

本発明は、上述した課題を解決するために発明されたものであり、人間の色感覚に近い基準で画像を分類するためのカラーマッピング用ＬＵＴを容易に、また、高精度に生成することができるようにした、テーブルデータ生成装置及びテーブルデータ生成方法を提供することを目的とする。

第1の発明のテーブルデータ生成装置は、画像を色により分類する基準として予め選定された選定色と同一系統の色を主要色とする画像をまとめた画像群から、該画像群の代表色を取得する代表色取得手段と、前記代表色に基づいて、色空間ヒストグラムを生成するヒストグラム生成手段と、前記色空間ヒストグラムから前記選定色における色空間値を取得する空間値取得手段と、前記色空間値を用いて、カラーマッピング用のテーブルデータを生成するテーブル生成手段と、を備えたことを特徴とする。

第２の発明は、第１の発明において、前記代表色取得手段は、前記画像群の各画像から代表色を算出し、取得された各画像の代表色を前記画像群の代表色とすることを特徴とする。

第３の発明は、第１及び第２の発明において、前記色空間ヒストグラムにおける色空間は、色相、彩度、及び明度で示される色空間であり、前記テーブルにおける色空間は、輝度及び色度で示される色空間であることを特徴とする。

第４の発明は、第１〜第３の発明のいずれかにおいて、前記画像群は、前記基本色と同一系統の色を主要色とした画像をまとめたものであり、前記画像群は、基本色毎に設けられることを特徴とする。

第５の発明のテーブルデータ生成方法は、画像を色により分類する基準として予め選定された選定色と同一系統の色を主要色とする画像をまとめた画像群から、該画像群の代表色を取得する代表色算出工程と、前記代表色に基づいて、色空間ヒストグラムを生成するヒストグラム生成工程と、前記色空間ヒストグラムから前記選定色における色空間値を算出する空間値算出工程と、前記色空間値を用いて、カラーマッピング用のテーブルデータを生成するテーブル生成工程と、を備えたことを特徴とする。

第６の発明は、第５の発明において、前記代表色取得工程は、前記画像群の各画像から代表色を取得し、取得された各画像の代表色を前記画像群の代表色とすることを特徴とする。

第７の発明は、第５又は第６の発明において、前記色空間ヒストグラムにおける色空間は、色相、彩度、及び明度で示される色空間であり、前記テーブルデータにおける色空間は、輝度及び色度で示される色空間であることを特徴とする。

第８の発明は、第５〜第７の発明のいずれかにおいて、前記画像群は、前記基本色と同一系統の色を主要色とした画像をまとめたものであり、前記画像群は、基本色毎に設けられることを特徴とする

本発明によれば、人間の色間隔に近い基準で画像を分類する際に用いられるカラーマッピング用ＬＵＴを効率的に且つ高精度に生成することが可能となる。

図１は、カラーマッピング用ルックアップテーブル（ＬＵＴ）を生成する際に用いられるコンピュータの概略図を示す。コンピュータ１０は、ＣＰＵ１５、ＲＯＭ１６、ＲＡＭ１７、ストレージ１８、マウス１９、キーボード２０及びディスプレイ２１から構成され、各部がバス２２を介して接続される。ＣＰＵ１５は、不図示の制御プログラムを実行することで、コンピュータ１０の各部を統括的に制御する。ＲＯＭ１６には、上述した制御プログラムや、後述するＬＵＴ生成プログラム２５や、これらプログラムによって使用されるデータが格納される。

ＲＡＭ１７は、上述した各プログラムを実行したときに生成される演算子などを一時記憶する。また、このＲＡＭ１７には、後述するヒストグラムを格納するヒストグラム格納領域２６を備えている。

ストレージ１８は、例えば光学ディスクドライブや、ハードディスクドライブ（ＨＤＤ）が挙げられる。このストレージ１８は、画像格納領域３０を備えている。この画像格納領域３０には、画像データが格納されるフォルダが複数設けられている。これらフォルダは、ユーザがマウス１９やキーボード２０を操作する、又はプログラムを実行する等により生成される。以下では、４個のフォルダが画像格納領域３０に設けられている場合について説明する。例えばフォルダ名「画像グループ１」のフォルダＦ１には、「赤色」を主要色とする画像データＰｒ_ｉ（ｉ＝１，２，・・・）が格納され、フォルダ名「画像グループ２」のフォルダＦ２には、「青色」を主要色とする画像データＰｂ_ｊ（ｊ＝１，２，・・・）が格納される。また、フォルダ名「画像グループ３」のフォルダＦ３には、「緑色」を主要色とする画像データＰｇ_ｋ（ｋ＝１，２，・・・）が格納され、フォルダ名「画像グループ４」のフォルダＦ４には、「赤色」、「青色」及び「緑色」以外の色（その他の色）を主要色とする画像データＰｏ_ｌ（ｌ＝１，２，・・・）が格納される。例えば主要色を「赤色」とした場合、主要色には三原色で示される赤色の他に、赤色の系統色が含まれる。このようにして、画像データがフォルダ毎に格納されることで、画像データが主要色毎に分類（グループ化）される。なお、上述した「赤色」、「青色」、「緑色」及び「その他の色」は、画像を色により分類する基準として予め選定された色（以下、選定色）である。

なお、画像データを分類する際に用いる主要色はユーザが選定する、或いは上述したＬＵＴ生成プログラム２５を実行したときに自動的に選定されるものであり、上述した赤色、青色、緑色及び、その他の色の４種類に限定されるものではない。また、画像データをフォルダ毎に格納する方法としては、ユーザがディスプレイ２１に表示された画像の主要色を推定し、該当するフォルダに該画像の基になる画像データを該当するフォルダ内に格納されるように、マウス１９やキーボード２０を操作する。

ＣＰＵ１５は、ＲＯＭ１６に記憶されたＬＵＴ生成プログラム２５を実行することで、コンピュータ１０をテーブルデータ生成装置として機能させる。図２に示すように、ＣＰＵ１５がＬＵＴ生成プログラム２５を実行すると、ＣＰＵ１５は、代表色取得部３５、ヒストグラム生成部３６、ＨＳＶ算出部３７、ＬＵＴ生成部３８の機能を有している。

代表色取得部３５は、ストレージ１８の画像格納領域３０の各フォルダに格納された画像データを用いて、フォルダ毎の代表色を取得する。代表色を取得する具体的な手順としては、画像データの代表色を、同一のフォルダに格納された画像データ全てに対して取得し、得られた全画像データの代表色をフォルダの代表色とする。

例えば画像データの色情報が、色相（Ｈ）値、彩度（Ｓ）値、明度（Ｖ）値の色空間値からなる場合、代表色取得部３５は、まず各画素の色情報から色相値を読み出して、色相値についてのヒストグラム（以下、Ｈヒストグラム）をＲＡＭ１７のヒストグラム格納領域２６に生成する。

図３は、青色を主要色とした画像Ｐと、この画像から得られるＨヒストグラムとを示している。図３（ａ）に示す画像Ｐは、ベースを青色、クロスラインを白色とする旗と青空とが写り込んだ画像であり、画像Ｐの主要色は青色となる。図３（ｂ）は、図３（ａ）に示す画像のＨヒストグラムを示すものであり、横軸は色相値、縦軸はその度数である。色相値に対応する色相は、「赤色」、「黄色」、「緑色」、「青色」、「紫色」の順となる。ここの画像ＰにおけるＨヒストグラムを生成すると、「青色」となる色相値の度数が、その他の色の色相値の度数よりも高くなる。

図３（ｃ）は、図３（ｂ）のＨヒストグラムのうち、「青色」の色相値について切り出した図である。代表色取得部３５は、代表色を取得する処理として、Ｈヒストグラムにおいて度数の高い色相値を抽出する。例えば、図３（ｂ）に示すＨヒストグラムにおいては、「青色」の色相値に対する度数が高いことから、青色の色相値における度数の高い点Ｄ１〜Ｄ１０における色相値を抽出する。この色相値の抽出の後、画像Ｐの基となる画像データの色情報を用いて、抽出された色相値に対応する彩度値と、明度値とを色相値毎に抽出する。これにより、画像の代表色が取得される。なお、代表色取得部３５における代表色の抽出は、同一のフォルダ内に格納された全ての画像データについて、また、全フォルダに対して実行される。

ヒストグラム生成部３６は、代表色取得部３５によって抽出された代表色を用いて、Ｈヒストグラム、彩度値に対するヒストグラム（Ｓヒストグラム）、明度値に対するヒストグラム（Ｖヒストグラム）をそれぞれ生成する（図４参照）。

ＨＳＶ算出部３７は、ヒストグラム生成部３６によって作成されたＨヒストグラム、Ｓヒストグラム及びＶヒストグラムを参照して、色相値、彩度値、明度値の色空間値が取り得る範囲から色情報を生成する。この色情報を生成する手順としては、各ヒストグラムから、色空間値毎の取り得る範囲、色空間値毎の最小値及び最大値をそれぞれ求める。なお、これらヒストグラムは、各画像から取得される代表色から生成されるヒストグラムであることから、代表色が少ないとばらつきが大きく、代表色が多いと偏りが大きくなる。なお、色相値に関して言えば、色相値が取り得る範囲がわかれば、その範囲内の色相値を用いた色情報は、近似色を示す色情報となる。このため、各ヒストグラムにおいて、色空間値が取り得る範囲がわかれば、その取り得る範囲を等分割したときの値を仮想的に求め補完し、これら値を組み合わせることで、選定色に含まれる色情報をばらつきなく生成することができ、さらには、カラーマッピング用ＬＵＴを高精度に生成することができる。

ＬＵＴ生成部３８は、ＨＳＶ算出部３７により取得された色情報を用いて、カラーマッピング用ＬＵＴ４０を生成する。上述したように、生成された色情報はＨＳＶ色空間上で示される色空間値を用いたものであるのに対して、撮像により取得される画像データの色情報は、ＹＣｂＣｒ色空間上で示される色空間値を用いたものである。このため、取得された色情報を、色相値、彩度値及び明度値からなる色空間値から、Ｙ値、Ｃｂ値及びＣｒ値からなる色空間値に変換する。つまり、ＨＳＶ色空間で示される色情報が、ＹＣｂＣｒ色空間で示される色情報に変換される。なお、この変換については、以下の式を用いて行われる。

このようにして座標変換された色空間値をＹ・Ｃｂ・Ｃｒ座標にプロットする。図５に示すように、Ｙ・Ｃｂ・Ｃｒ座標は、Ｙ方向が例えば分割数８で等分割され、Ｃｂ方向及びＣｒ方向のそれぞれの方向は、その中央部が密に、中央部から周縁部に向けて疎になるように８分割される。本実施形態においては、Ｃｂ方向及びＣｒ方向を、４：２：１：１：１：１：２：４の比率となるようにそれぞれ分割されている。座標変換された色空間値を、分割されたＹ・Ｃｂ・Ｃｒ座標上にプロットすると、Ｙ・Ｃｂ・Ｃｒ座標の領域のいずれかに該当する。座標変換後の色空間値が、選定色のうち、「青色」に分類された画像データから取得されたものであれば、プロットしたときに該当する領域に対して「青色」が割り当てられる。このようにして、座標変換された色空間値全てをプロットしたときに該当する領域に対して、選定色のいずれかが割り当てられていき、カラーマッピング用ＬＵＴ４０が生成される。なお、Ｙ・Ｃｂ・Ｃｒ座標を分割した領域を選定色の何れかとして割り当てたときに、割り当てられた領域に選定色に応じてラベリングされる。例えば「赤色」に割り当てられた時には「１」が、「青色」に割り当てられたときには「２」がそれぞれラベリングされる。また、「緑色」に割り当てられたときには「３」が、「その他の色」に割り当てられた時には「４」がそれぞれラベリングされる。

次に、カラーマッピング用ＬＵＴ４０を生成する手順について、図６のフローチャートに基づいて説明する。カラーマッピング用ＬＵＴ４０を生成する場合、予め、ストレージ１８の画像格納領域３０には、ユーザにより選定色毎に分類された画像データが、フォルダ毎に格納されている。ステップＳ１０１は、ＲＡＭ１７のヒストグラム格納領域２６を初期化する処理である。

ステップＳ１０２は、フォルダ内の画像データの代表色を抽出する処理である。このステップＳ１０２の処理は、代表色取得部３５によって実行される。まず、フォルダ名が「画像グループ１」となるフォルダＦ１に格納された画像データＰｒ１を読み出し、ＲＡＭ１７のヒストグラム格納領域２６にＨヒストグラムを生成する。生成されたＨヒストグラムのうち、度数が高くなる点を、度数の高い方から例えば１０カ所（図３中Ｄ１〜Ｄ１０）抜き出し、抜き出された度数が高い点に対する色相値を読み出す。そして、読み出された色相値に対応する彩度値及び明度値を、画像データＰｒ１を用いて取得することで、代表色が抽出される。

ステップＳ１０３は、同一のフォルダに格納された画像データに対する代表色を全画像データから抽出したか否かを判定する処理である。この判定で、全ての画像データに対して代表色の抽出を行っていると判定された場合（ステップＳ１０３の判定でＹｅｓとなる場合）には、ステップＳ１０４に進む。一方、全ての画像データに対して代表色の抽出を実行していないと判定された場合（ステップＳ１０３の判定でＮｏとなる場合）には、ステップＳ１０２に戻る。

ステップＳ１０４は、抽出した代表色に基づいてＨヒストグラム、Ｓヒストグラム及びＶヒストグラムをそれぞれ生成する処理である。このステップＳ１０４の処理は、ヒストグラム生成部で実行される。ステップＳ１０２において、フォルダ内の全画像データのそれぞれから代表色を抽出していることから、このステップＳ１０４の処理では、これら抽出された全画像データの代表色をそれぞれ用いる。例えば、フォルダＦ１に格納される画像データがＰｒ１〜Ｐｒ３となる場合には、各画像データから１０個、計３０個の代表色が抽出されるので、これら３０個の代表色を用いて、Ｈヒストグラム、Ｓヒストグラム及びＶヒストグラムをそれぞれ生成する。

ステップＳ１０５は、ステップＳ１０４の処理によって生成されたＨヒストグラム、Ｓヒストグラム及びＶヒストグラムから、色情報を取得する処理である。なお、この処理は、ＨＳＶ算出部３７にて実行される。まず、Ｈヒストグラムにおいて、色相値が取り得る範囲を求め、その取り得る範囲の最小の色相値と、最大の色相値とを求めた後、該取り得る範囲を等分割したときの各色相値を算出する。同様にして、Ｓヒストグラム及びＶヒストグラムを用いて、彩度値の最小値、最大値及び彩度値が取り得る範囲を等分割したときの各彩度値や、明度値の最小値、最大値及び明度値が取り得る範囲を等分割したときの各明度値をそれぞれ算出する。そして、色相値のそれぞれに対応する彩度値及び明度値を対応付けることで、色情報を生成する。これにより、フォルダ毎の色情報、つまり選定色に対する色情報が取得される。

ステップＳ１０６は、全フォルダに対して色情報の取得が終了したか否かを判定するステップである。なお、全フォルダに対して色情報の取得が行われている場合（ステップＳ１０６の処理でＹｅｓとなる場合）には、ステップＳ１０７に進む。一方、全フォルダに対して色情報の取得が行われていない場合には、ステップＳ１０１に進む。これにより、ユーザによって分類された選定色毎の色情報が、選定色毎に取得される。

ステップＳ１０７は、フォルダ毎に取得された色情報を用いてカラーマッピング用ＬＵＴ４０を生成する処理である。このステップＳ１０７の処理はＬＵＴ生成部３８にて実行される。まず、ステップＳ１０６において生成されたＨＳＶ色空間で示される色情報を、上述した式を用いてＹＣｂＣｒ色空間で示される色情報に変換する。ステップＳ１０６において生成された色情報は、色相値、彩度値及び明度値の色空間値からなることから、これら色空間値を、彩度値及び色度値の色空間値に変換する。なお、この座標変換はフォルダ毎に実行される。

全てのフォルダの色情報を座標変換した後、Ｙ・Ｃｂ・Ｃｒ座標にプロットする。予め、Ｙ・Ｃｂ・Ｃｒ座標は複数の領域に分割されていることから、座標変換された色情報をＹ・Ｃｂ・Ｃｒ座標にプロットすると、上述した複数の領域の何れかが該当する。この該当した領域が、選定色に割り当てられた領域となる。つまり、全フォルダの色情報を用いて領域の割り当てを行うことでカラーマッピング用ＬＵＴが生成される。なお、割り当てられた領域に対しては、選定色に対するラベリングが施される。

本実施形態では、Ｈヒストグラムから抽出した代表色の色相値、彩度値及び明度値を用いずに、これら色空間値が取り得る範囲を等分割したときの各色空間値を組み合わせて色情報を取得しているが、これに限定する必要はなく、これらヒストグラムは、離散データを用いていることから、ヒストグラムにおいては隣り合う色空間値との間隔が広くなることから、隣り合う色空間値の間隔が他の間隔よりも広くなる場合には、その広くなる範囲を等分割し、仮想的に色空間値を求めた上で、色情報を生成することも可能である。

本実施形態では、コンピュータ上で、カラーマッピング用ＬＵＴを生成しているが、これに限定される必要はなく、デジタルカメラにおいてカラーマッピング用ＬＵＴを生成することも可能である。

コンピュータの電気的構成を示す機能ブロック図である。 ＣＰＵの構成を示す機能ブロック図である。 画像と、画像におけるＨヒストグラムとの一例を示す図である。 Ｈヒストグラム、Ｓヒストグラム及びＶヒストグラムの一例を示す図である。 ＹＣｂＣｒ座標を複数の領域に分割した場合の一例を示す図である。 カラーマッピング用ＬＵＴを生成する流れを示すフォローチャートである。

符号の説明

１０…コンピュータ、１５…ＣＰＵ、１６…ＲＯＭ、１７…ＲＡＭ、１８…ストレージ、２５…ＬＵＴ生成プログラム、２６…ヒストグラム格納領域、３５…代表色取得部、３６…ヒストグラム生成部、３７…ＨＳＶ算出部、３８…ＬＵＴ生成部、４０…カラーマッピング用ＬＵＴ

Claims (8)

1. 画像を色により分類する基準として予め選定された選定色と同一系統の色を主要色とする画像をまとめた画像群から、該画像群の代表色を取得する代表色取得手段と、
   前記代表色に基づいて、色空間ヒストグラムを生成するヒストグラム生成手段と、
   前記色空間ヒストグラムから前記選定色における色空間値を取得する空間値取得手段と、
   前記色空間値を用いて、カラーマッピング用のテーブルデータを生成するテーブル生成手段と、
   を備えたことを特徴とするテーブルデータ生成装置。
2. 請求項１記載のテーブルデータ生成装置において、
   前記代表色取得手段は、前記画像群の各画像から代表色を取得し、取得された各画像の代表色を前記画像群の代表色とすることを特徴とするテーブルデータ生成装置。
3. 請求項１又は２記載のテーブルデータ生成装置において、
   前記色空間ヒストグラムにおける色空間は、色相、彩度、及び明度で示される色空間であり、前記テーブルにおける色空間は、輝度及び色度で示される色空間であることを特徴とするテーブルデータ生成装置。
4. 請求項１〜３いずれか１項に記載のテーブルデータ生成装置において、
   前記画像群は、前記選定色と同一系統の色を主要色とした画像をまとめたものであり、前記画像群は、前記選定色毎に設けられることを特徴とするテーブルデータ生成装置。
5. 画像を色により分類する基準として予め選定された選定色と同一系統の色を主要色とする画像をまとめた画像群から、該画像群の代表色を取得する代表色算出工程と、
   前記代表色に基づいて、色空間ヒストグラムを生成するヒストグラム生成工程と、
   前記色空間ヒストグラムから前記選定色における色空間値を算出する空間値算出工程と、
   前記色空間値を用いて、カラーマッピング用のテーブルデータを生成するテーブル生成工程と、
   を備えたことを特徴とするテーブルデータ生成方法。
6. 請求項５記載のテーブルデータ生成方法において、
   前記代表色取得工程は、前記画像群の各画像から代表色を取得し、取得された各画像の代表色を、前記画像群の代表色とすることを特徴とするテーブルデータ生成方法。
7. 請求項５又は６記載のテーブルデータ生成方法において、
   前記色空間ヒストグラムにおける色空間は、色相、彩度、及び明度で示される色空間であり、前記テーブルデータにおける色空間は、輝度及び色度で示される色空間であることを特徴とするテーブルデータ生成方法。
8. 請求項５〜７いずれか１項に記載のテーブルデータ生成方法において、
   前記画像群は、前記選定色と同一系統の色を主要色とした画像をまとめたものであり、前記画像群は、前記選定色毎に設けられることを特徴とするテーブルデータ生成方法。

Images