JP5682569B2 - 色彩解析装置、色彩解析方法、及び色彩解析プログラム - Google Patents

Description

本発明は、自然言語文の色に関する記述に基づいて色彩を解析する色彩解析装置、色彩解析方法、及び色彩解析プログラムに関する。

近年、デジタルの静止画像／動画像を直接撮影できるデジタルスチルカメラやデジタルビデオカメラが広く普及し、大量のデジタル画像をデータとして蓄積できるとともに、それらのデータを容易に参照できるようになってきている。例えば、静止画像共有サービスのＦｌｉｃｋｒ（ｈｔｔｐ：／／ｗｗｗ．ｆｌｉｃｋｒ．ｃｏｍ）や動画像共有サービスのＹｏｕＴｕｂｅ（ｈｔｔｐ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ）等のＷｅｂサイトでは、世界中から静止画像／動画像を自由に登録し、検索し、閲覧できるサービスを提供している。また、殆どの商品販売サイトやオークションサイトでも、物品を確認／比較するために豊富な写真画像を提供している。

また、監視カメラによる撮影映像もデジタルデータとして蓄積されるようになり、映像解析による人や物の探索を計算機を利用して行うことによって、人や物の探索が効率化されてきている。

デジタル画像を検索する場合、探したい対象の物と同一の物又は類似する物のデジタル画像が手元にあれば、計算機を用いて画像データ同士を照合することによって、高速に類似画像を検索することができる（例えば、非特許文献１参照）。しかし、そのような照合サンプルとしてのデジタル画像を容易に入手したり作成したりすることができない場合がある。例えば、実物を見たことが無く他人から聞いた話や文書上の記述内容等を手掛かりに画像を検索しなければならない場合には、言葉により画像の特徴を記述したものを元に画像を検索しなければならない。

自然言語により記述された問合せ文（クエリ）に基づいて画像を検索する関連手法として、予め各画像に付与しておいた自然言語の語句により記述されたメタデータを問合せ文と照合して検索する方法がある。また、問合せ文に含まれる色や形状に関する自然言語表現をそれぞれ画像の特徴量に変換して検索する方法がある。

メタデータを用いる前者の検索方法を用いる場合、基本的には通常のキーワード検索と同じ処理を行う。例えば、非特許文献２には、文書（ブログ）から自動抽出した画像にツールを使ってメタデータを付与し、文書の全文検索と同様に画像を検索できる方法が開示されている。このようにメタデータを問合せ文と照合する方法では、全ての画像に予め必要十分なメタデータを付与しておく必要があり、運用コストやメタデータの網羅性が課題となる。

また、後者の検索方法として、形状に関する自然言語表現を画像の形状特徴量に変換して検索する方法がある。例えば、非特許文献３には、「角張った」や「すっきりした」等の感覚的な言葉と、画像内に含まれる椅子等の物体の各部分の長さや角度等を記号や数値で表した形状特徴量とを対応づけて検索する方法が開示されている。

一方、後者の検索方法として、色に関する自然言語表現を画像の色彩特徴量に変換して検索する方法がある。例えば、特許文献１には、「青い」や「黄色っぽい」といった言葉による色の表現と、ＲＧＢやＨＳＩ等の色空間上の値の分布として表した色彩特徴量とをそれぞれ対応づけて、衣服や風景写真等を検索する方法が開示されている。このような色彩特徴量による画像検索方法は、予めメタデータが付与されていない画像の検索を行う場合にも適用できる。また、形状特徴量を用いた画像検索が効果的に行えない場合（例えば、Ｔシャツやハンカチ等同じ形状の商品を専門に検索する場合や、自然の景色のように形状不定な写真画像を検索する場合等）にも有効である。

特開２００９−３５８１号公報

小早川 他、"ウェーブレット変換を用いた対話的類似画像検索と民俗資料データベースへの適用"、情処学会論文誌、Ｖｏｌ．４０，Ｎｏ．３，ｐｐ．８９９−９１１，１９９９． 原 他、"もぶろげっと：画像情報を含むＢｌｏｇ記事検索システム"、インタラクティブシステムとソフトウェアに関するワークショップ（ＷＩＳＳ２００５）論文集、ｐｐ．６９−７４，２００５． 原田 他、"感性語句を含む自然言語による画像検索のための形状特徴空間の構築"、情処学会論文誌、Ｖｏｌ．４０，Ｎｏ．５，ｐｐ．２３５６−２３６６，１９９９．

しかし、特許文献１に記載されたような自然言語文により記述された色の表現を色彩特徴量に変換する方法では、１つの検索対象画像又は画像中の１つの対象物について１色の指定しかできない。例えば、問合せ文において「赤と青の柄模様のセーター」や「白地に青のラインが入ったシャツ」等の複数色の組み合わせで表現される場合には、それら複数色を指定した画像検索を行うことができず、対象物画像を精度よく検索することができない。

そこで、本発明は、上記の課題を解決するためになされたものであって、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、所望の画像を精度よく検索できる色彩解析装置、色彩解析方法、及び色彩解析プログラムを提供することを目的とする。

本発明による色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定する色比率判定手段を備えたことを特徴とする。

本発明による色彩解析装置の他の態様は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定する色比率判定手段を備えたことを特徴とする。

本発明による色彩解析方法は、情報処理装置が、自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定することにより、所定の色空間上の値の分布を示すデータを生成することを特徴とする。

本発明による色彩解析方法の他の態様は、情報処理装置が、自然言語で表現された色についての記述である自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定することにより、所定の色空間上の値の分布を示すデータを生成することを特徴とする。

本発明による色彩解析プログラムは、コンピュータに、自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定する処理と、所定の色空間上の値の分布を示すデータを生成する処理とを実行させるためのものである。

本発明による色彩解析プログラムの他の態様は、コンピュータに、自然言語で表現された色についての記述である自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定する処理と、所定の色空間上の値の分布を示すデータを生成する処理とを実行させるためのものである。

本発明によれば、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、所望の画像を精度よく検索することができる。

本発明による色彩解析装置の機能構成の一例を示すブロック図である。 色彩解析装置に入力される入出力デーと、色彩解析装置を用いた画像検索の例を示す説明図である。 辞書の具体例を示す説明図である。 色比率判定手段による処理の例を示す説明図である。 色彩解析装置のハードウェア構成の例を示すブロック図である。 色彩解析装置が自然言語文を入力して検索対象の画像に含まれる色彩を解析する処理の一例を示す流れ図である。 第２の実施形態における色彩解析装置の機能構成例を示すブロック図である。 第２の実施形態における辞書の具体例を示す説明図である。 第２の実施形態における対象構成知識が含むクラスを示す情報及び各クラス間の関係を示す情報の具体例を示す説明図である。 第２の実施形態における色彩値調整手段が検索対象の画像に含まれる各色の色空間上の領域を補正する処理の実行例を示す説明図である。 第２の実施形態における色比率調整手段が色領域の面積比率を調整する処理の例を示す説明図である。 第３の実施形態における色彩解析装置の機能構成例を示すブロック図である。 第３の実施形態における色領域調整手段が各局所領域の色空間上でのサイズを調整する処理の例を示す説明図である。 色彩解析装置の最小の機能構成例を示すブロック図である。

実施形態１．
以下、本発明の第１の実施形態を、図面を参照して説明する。図１は、本発明による色彩解析装置の機能構成の一例を示すブロック図である。図１に示すように、本実施形態では、色彩解析装置は、辞書１０１と、自然言語文入力手段１０２と、色記述抽出手段１０３と、色比率判定手段１０４と、画像特徴量生成手段１０５とを含む。そして、色彩解析装置は、それらの手段を用いて、入力した色に関する自然言語の記述に対応した画像特徴量データを生成できる。すなわち、本発明において、色彩解析装置は、自然言語文の色に関する記述を画像の特徴量に変換する。なお、色彩解析装置は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。

また、本発明による色彩解析装置は、例えば、蓄積されたカメラ撮影映像を対象とした画像検索を行う用途に適用できる。そのような用途に適用することによって、人から聞いた被写体の特徴（聞き込み情報等）から画像検索を行うことが可能になる。また、本発明による色彩解析装置は、特に、希望する服や靴等の商品／備品を検索する用途や、自然言語文から生成した色分布と本来検索したい対象物の色分布とを比較し、人の記憶色と実際の色との差異の分析や、照明による影響の分析／照明の調整等を行う用途に応用できる。

辞書１０１は、色を表す自然言語の単語（以下、色記述ともいう）や、色と色との関係を表す自然言語の単語（以下、関係語ともいう）を含む辞書である。なお、辞書１０１は、具体的には、磁気ディスク装置や光ディスク装置等の記憶装置に記憶される。

自然言語文入力手段１０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵ、及びキーボードやマウス等の入力デバイスによって実現される。自然言語文入力手段１０２は、ユーザの操作に従って、検索対象の画像について自然言語で記述した問合せ文を入力する機能を備える。なお、自然言語文入力手段１０２は、特に、検索対象の画像の色彩に関する特徴を記述した問合せ文を入力するものとする。

なお、自然言語文入力手段１０２は、例えば、検索対象の画像について記述した問合せ文を含むファイルを入力又は受信するものであってもよい。

色記述抽出手段１０３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色記述抽出手段１０３は、辞書１０１を用いて、自然言語文入力手段１０２が入力した問合せ文から、色を表す単語（色記述）を抽出する機能を備える。また、色記述抽出手段１０３は、辞書１０１を用いて、自然言語文入力手段１０２が入力した問合せ文から関係語を抽出する機能を備える。

色比率判定手段１０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色比率判定手段１０４は、色記述抽出手段１０３が抽出した色記述及び関係語に基づいて、問合せ文に含まれる複数の色の間の比率を判定する機能を備える。本実施形態では、色比率判定手段１０４は、色記述抽出手段１０３が抽出した色記述に対応する色空間を示す値や関係語に対応する分割比を、辞書１０１から抽出する。そして、色比率判定手段１０４は、抽出した色空間を示す値や分割比に基づいて、検索対象の画像内の色領域と色の比率（問合せ文に含まれる色が示す領域の割合）とを求める。

画像特徴量生成手段１０５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。画像特徴量生成手段１０５は、色比率判定手段１０４が判定した色の比率に基づいて、検索対象の画像の色彩に関する特徴を示す画像特徴量（所定の色空間上の値の分布を示すデータ）を生成する機能を備える。本実施形態では、画像特徴量生成手段１０５は、色比率判定手段１０４が求めた色領域と色の比率とを対応付けて含む画像特徴量を生成する。

図２は、色彩解析装置に入力される入出力データと、色彩解析装置を用いた画像検索の例を示す説明図である。図２に示すように、本実施形態では、自然言語文入力手段１０２は、例えば、ユーザの操作に従って、「青地に黄色のラインが入ったシャツを・・・」等の問合せ文を入力する。図２に示す例のように、本実施形態では、色彩解析装置は、「青地に黄色のライン」といった複数色を用いて記述された検索対象の画像についても、自然言語で記述された文（以下、自然言語文という）から、色空間上の特定範囲を占める１つ以上の局所領域と、各局所領域内の色が検索対象画像の全領域に占める面積の割合（色比率）とを含む画像特徴量データを生成することができる。そして、色彩解析装置が生成した画像特徴量を用いて画像の照合を行うことにより、検索対象の画像検索等を行うことができる。

図３は、辞書１０１の具体例を示す説明図である。色記述抽出手段１０３による自然言語文からの色に関する記述（色記述）の抽出、及び色比率判定手段１０４による自然言語文に記載された各色の色空間上の領域それぞれが占める色比率の決定処理は、図３に示すような内容構成で用意された辞書１０１を参照することにより実行できる。

例えば、自然言語文入力手段１０２が入力した自然言語文が「青地に黄色のライン」であった場合、色記述抽出手段１０３は、図３に例示した辞書１０１を参照することにより、色名である「青」と「黄」とを抽出できる。また、色記述抽出手段１０３は、色名の間にある関係を表す関係語「に」を抽出できる。ただし、色記述抽出手段１０３は、関係を表す語（関係語）として、問合せ文に含まれる２つの色名の間に位置する文字列のみから合致する単語を抽出する。本例では、色記述抽出手段１０３は、問合せ文から抽出される順に、色記述や関係語を［色名：青］、［関係：に］及び［色名：黄］のように抽出する。

次に、色比率判定手段１０４が、抽出された一連の語から各色の色空間上での領域及び各領域の色比率を求める処理を説明する。図４は、色比率判定手段１０４による処理の例を示す説明図である。図４（ａ）に示すように、入力した自然言語文が「青地に黄色」であれば、色記述抽出手段１０３は、上記と同様の処理に従って、［色名：青］、［関係：に］及び［色名：黄］を抽出する。ここで、色比率判定手段１０４は、再び図３に示す辞書１０１を参照すると、［色名：青］の色空間上の値（図３に示す辞書１０１ではＨＳＶ空間）に色領域幅Ｗを加えた領域（２４０，１．０，０．５，０．１５）を求めることができる。また、色比率判定手段１０４は、同様の処理に従って、［色名：黄］の領域（６０，１．０，０．５，０．０８）を求めることができる。

次いで、色比率判定手段１０４は、これら求めた２色の色空間上の領域それぞれについて、両色を結びつける関係語［関係：に］が示す色領域の面積分割比を適用して、色間の比率を求める。本例では、［関係：に］に対する分割比として、図３に示す辞書１０１により０．８：０．２と指定されている。そのため、色比率判定手段１０４は、［色名：青］の領域が対象画像上に占める面積比率が０．８（８０％）であり、［色名：黄］の領域が対象画像上に占める面積比率が０．２（２０％）であると判定できる。

また、他の例として、入力した自然言語文に「白地に青と赤」という色の記述があった場合を説明する。この場合も、図４（ａ）と同様の処理に従って、色比率判定手段１０４は、図４（ｂ）に示すように、白、青、赤の各色について、それぞれ０．８，０．１，０．１の割合で面積比率を割り当てることができ、ある１つの対象画像を構成する色の色比率を決定することができる。ただし図４（ｂ）に示す例では、色比率判定手段１０４は、色名同士の結合について、［関係：に］よりも［関係：と］を優先して比率を求めることとしている。

なお、色比率判定手段１０４は、図３に例示した辞書１０１に含まれるデフォルト色の値をさらに用いて色領域の面積比率を決定してもよい。例えば、自然言語文から抽出した色に関する記述に含まれる色名の数が０個であったり、色に関する記述が１つしか含まれていなかった場合に限り、色比率判定手段１０４は、デフォルト色を適用して、色の比率を判定してもよい。また、色比率判定手段１０４は、例えば、問合せ文に２つ以上の色名が含まれている場合であっても、それら２つ以上の色同士を結び付ける関係語が［関係：と］のように等分割を表す場合には、デフォルト色も等分割対象色の１つに加えて、色の比率を判定してもよい。

図３に示す辞書１０１の例では、デフォルト色を白としているため、例えば、自然言語文から抽出した色が［色名：赤］のみであった場合には、色比率判定手段１０４は、デフォルト色を等分割の１色として適用して、色の比率を判定してもよい。この場合、色比率判定手段１０４は、問合せ文に含まれる色記述や関係語が［色名：白］、［関係：と］及び［色名：赤］に相当すると判断して、式（１）のように、色の比率を判定する。

［ＨＳＶＷ：１８０，０，１．０，０．１］×［０．５］
［ＨＳＶＷ：０，１．０，０．５，０．１］×［０．５］ ・・・ 式（１）

なお、辞書１０１に含まれる各色に対する色空間を示す値（本例では、ＨＳＶを用いた値）や、各関係語に対する分割比の値は、例えば、色彩解析装置を管理するシステム管理者等によって予め入力され登録されているものとする。なお、各関係語に対する分割比の値は、例えば、過去の画像検索の際の履歴を集計して統計値として求めることができる。例えば、本実施形態では、過去の画像検索の履歴を集計した結果、関係語「と」が用いられている場合には、色間の比率が約５０パーセントであった旨の統計値が得られ、関係語「に」が用いられている場合には、色間の比率が８０：２０であった旨の統計値が得られていたものとする。そして、それらの統計値に基づいて、予め辞書１０１が設定されているものとする。

また、本実施形態では、各色の色空間としてＨＳＶ空間を用いる場合を示しているが、色空間を表すものであれば、本実施形態で示したものに限らず、例えば、ＲＧＢ空間やＨＬＳ空間を用いてもよい。

以上の処理に従って、辞書１０１に記載された対象名によって識別される１画像中の各対象の色について、それぞれ図４のように色の領域と比率とが決定できる。そのため、図１に示した画像特徴量生成手段１０５は、色比率判定手段１０４が求めた１つ以上の色領域と色比率との組を画像特徴量として出力できる。

以上のような構成を備えるとともに処理を実行することにより、色彩解析装置は、入力した自然言語文（問合せ文）から、画像を構成する１色又は２色以上の色についての色空間上の領域と占有面積の比率とを含む画像特徴量を生成できる。そのため、図２に示す例のように、２色以上で構成される画像を自然言語文に基づいて検索することが可能となる。

次に、色彩解析装置のハードウェア構成について説明する。図５は、色彩解析装置のハードウェア構成の例を示すブロック図である。図５に示すように、色彩解析装置１２は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２１、主記憶部１２２、出力部１２３、入力部１２４、通信部１２５、及び補助記憶部１２６を含む。

主記憶部１２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメインメモリであって、データの作業領域やデータの一時退避領域に用いられる。出力部１２３は、液晶ディスプレイ装置等の表示装置、又はプリンタ等の印刷装置であり、データを出力する機能を備える。入力部１２４は、キーボードやマウス等の入力デバイスであり、データを入力する機能を備える。また、ファイル読み込みによってデータ入力を行う場合には、入力部１２４は、外部記録媒体読取装置等であってもよい。通信部１２５は、周辺機器と接続され、データの送受信を行う機能を備える。補助記憶部１２６は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク装置等である。

また、図５に示すように、以上の各構成要素１２１〜１２６は、システムバス１２７を介して、相互に接続されている。

図５に示す例において、色彩解析装置１２の補助記憶部１２６は、自然言語文として入力された問合せ文に基づいて、検索対象の画像に含まれる色彩を解析するための各種プログラムを記憶している。例えば、補助記憶部１２６は、コンピュータに、自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定する処理と、所定の色空間上の値の分布を示すデータを生成する処理とを実行させるための色彩解析プログラムを記憶している。

なお、色彩解析装置１２は、色彩解析装置１２内部に、図１に示すような機能を実現するプログラムを組み込んだＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等のハードウェア部品からなる回路部品を実装して、ハードウェア的に実現してもよい。また、図５に示すように、上記した図１に示すような各構成要素の各機能を提供するプログラムを、コンピュータのＣＰＵ１２１に実行させることにより、ソフトウェア的に実現してもよい。すなわち、ＣＰＵ１２１は、補助記憶部１２６に格納されているプログラムを、主記憶部１２２にロードして実行し、色彩解析装置１２の動作を制御することにより、上述した各機能をソフトウェア的に実現することができる。

次に、動作について説明する。図６は、色彩解析装置が自然言語文を入力して検索対象の画像に含まれる色彩を解析する処理の一例を示す流れ図である。まず、ユーザは、画像検索を行いたい場合、色彩解析装置を操作して、検索したい画像の特徴（特に、色彩）を自然言語を用いて記述した問合せ文（自然言語文）の入力指示を行う。すると、色彩解析装置の自然言語文入力手段１０２は、ユーザの操作に従って、自然言語文を入力する（ステップＳ１０）。

次いで、色彩解析装置の色記述抽出手段１０３は、辞書１０１に基づいて、自然言語文入力手段１０２が入力した自然言語文から、検索対象の画像についての色記述及び関係語を抽出する（ステップＳ１１）。次いで、色彩解析装置の色比率判定手段１０４は、色記述抽出手段１０３が抽出した色記述及び関係語に基づいて、問合せ文に含まれる複数の色の間の比率を判定する（ステップＳ１２）。本実施形態では、色比率判定手段１０４は、抽出した色記述に対応する色空間を示す値や関係語に対応する分割比を、辞書１０１から抽出する。そして、色比率判定手段１０４は、抽出した色空間を示す値や分割比に基づいて、検索対象の画像内の色領域と色の比率とを求める。

次いで、色彩解析装置の画像特徴量生成手段１０５は、色比率判定手段１０４が判定した色の比率に基づいて、検索対象の画像の色彩に関する特徴を示す画像特徴量を生成する（ステップＳ１３）。本実施形態では、画像特徴量生成手段１０５は、色比率判定手段１０４が求めた色領域と色の比率とを対応付けて含む画像特徴量を生成する。

その後、色彩解析装置が生成した画像特徴量が、画像検索を行う画像検索装置（図示せず）に入力される。そして、画像検索装置は、色彩解析装置が生成した画像特徴量に基づいて、画像検索を行い、検索対象の画像に合致する画像を検索して抽出する。なお、画像検索装置と色彩解析装置とは、同じ１つの情報処理装置を用いて実現されてもよいし、別々の情報処理装置を用いて実現されてもよい。

以上に説明したように、本実施形態によれば、色彩解析装置は、キーボード又はファイルの読み込みによって入力し、又はネットワークを介して通信部を用いて受信した自然言語文から、画像特徴量を表すデータを生成する。そして、ネットワークで接続された画像検索装置（図示せず）、又は色彩解析装置１２と同じハードウェア内部で実行される画像検索プログラムを用いて、１色又は２色以上の色で構成された画像の検索を実現できる。

具体的には、色彩解析装置は、入力した自然言語文に含まれる複数の色記述を抽出するとともに関係語を抽出する。そして、色彩解析装置は、抽出した色記述及び関係語に基づいて、複数の色について色領域及び色の比率を求める。そして、色彩解析装置は、求めた色領域及び色の比率とを対応付けて含む画像特徴量を生成する。そのため、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、画像上の色彩特徴量に変換することができる。従って、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、所望の画像を精度よく検索することができる。言い換えれば、検索対象の画像が複数の色で構成されている場合であっても、平易な自然言語による表現に基づいて、所望の画像を精度よく検索することができる。

実施形態２．
次に、本発明の第２の実施形態について、図面を参照して説明する。図７は、第２の実施形態における色彩解析装置の機能構成例を示すブロック図である。図７に示すように、本実施形態では、色彩解析装置は、図１に示した構成要素に加えて、対象構成知識１０７、対象記述抽出手段１０８、色彩値調整手段１０９、及び色比率調整手段１１０を含む点で、第１の実施形態と異なる。また、本実施形態では、辞書１０６が含む情報が、第１の実施形態で示した辞書１０１が含む情報と異なる。

なお、本実施形態において、自然言語文入力手段１０２、色記述抽出手段１０３、色比率判定手段１０４、及び画像特徴量生成手段１０５の機能は、それぞれ第１の実施形態で示したそれらの機能と同様であるため、説明を省略する。

図８は、第２の実施形態における辞書１０６の具体例を示す説明図である。図８に示すように、本実施形態では、辞書１０６は、図３に示した辞書１０１に比べて、対象名辞書、前置修飾語辞書及び後置修飾語辞書をさらに含む点で、第１の実施形態と異なる。

対象名辞書には、検索対象の画像の特徴となりうる単語のうち、色彩以外の対象名（例えば、衣服等の対象物）が含まれる。例えば、図８に示すように、対象名辞書に含まれる「服名：ジャージ，衣服，青」という記述により、「服名：ジャージ」という単語で示される対象が「衣服」というクラスのインスタンス（例）であることがわかる。また、図８に示す例では、「青」は「服名：ジャージ」に対するデフォルト色であり、画像上でジャージと識別された領域において、第１の実施形態で示した辞書１０１におけるデフォルト色と同様に利用することができる。

なお、本実施形態では、検索対象の画像に含まれうる対象として、ジャージやジャケット等の衣服を例に説明しているが、本実施形態で示したものに限らず、例えば、カバンやカメラ等の持ち物を対象として解析を行ってもよい。

また、図８に示すように、前置修飾語辞書には、検索対象の画像の特徴となりうる単語のうち、「明るい」や「薄い」等の前置修飾語が含まれる。また、後置修飾語辞書には、検索対象の画像の特徴となりうる単語のうち、「〜っぽい」や「〜系」等の後置修飾語が含まれる。

対象構成知識１０７は、検索対象の画像に含まれうる対象が属するカテゴリであるクラスを示す情報と、各クラス間の関係を示す情報とを含む。図９は、第２の実施形態における対象構成知識１０７が含むクラスを示す情報及び各クラス間の関係を示す情報の具体例を示す説明図である。なお、対象構成知識１０７は、具体的には、磁気ディスク装置や光ディスク装置等の記憶装置に記憶される。

図９に示す例おいて、「衣服」や「上衣上着」、「上半身」等がクラスを表しており、クラス間を結ぶ矢印線に付与された「分類」や「上書」、「優先」等がそれぞれ特定の関係（クラス間の関係）を表している。また、クラス間の関係のうち「上書」と「優先」とについては、図９に示すように、それらのクラス間の関係を表す矢印の根元に位置するクラスが、矢印の先に位置するクラスに対して画像上の共有領域の何割を占めるかも記載されている。

また、図９に例示した対象構成知識１０７では、例えば、共に同じ「上半身」に分類されることで同じ領域を共有する「上衣上着」と「上衣」とについて、「上衣上着」が「上衣」に「優先」するように設定されている。これにより、「上衣上着」と「上衣」とのそれぞれに相当する対象が自然言語文に同時に記載されていた場合には、図９に示す指定により、「上衣上着」に相当する対象の色が共有領域の０．７（７０％）を占め、「上衣」に相当する対象の色は同じ共有領域の残り０．３（３０％）を占めると判定することができる。一方、「上書」するように設定されている場合には、共有領域において矢印の根元に位置するクラスに相当する対象の色が１．０（１００％）、すなわち領域全体を占めると判定することができる。

なお、辞書１０６に含まれる対象名辞書や、前置修飾語辞書、後置修飾語辞書は、例えば、色彩解析装置を管理するシステム管理者等によって予め入力され登録されているものとする。また、対象構成知識１０７も、例えば、色彩解析装置を管理するシステム管理者等によって予め入力され登録されているものとする。

図７において、対象記述抽出手段１０８は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。対象記述抽出手段１０８は、辞書１０６を参照することにより、自然言語文入力手段１０２が入力した自然言語文から、辞書１０６に含まれる対象名辞書に記載されている対象名を抽出する機能を備える。また、対象記述抽出手段１０８は、対象名辞書から、抽出した対象名が属するクラスを抽出する機能を備える。また、対象記述抽出手段１０８は、対象名が属するクラスと、色記述抽出手段１０３が抽出した対象名に関する色記述（色記述抽出手段１０３が抽出した色記述のうち、対象記述抽出手段１０８が抽出した対象名に関連するもの）との対応関係を判定する機能を備える。すなわち、対象記述抽出手段１０８は、辞書１０６を用いて、自然言語文から対象の名称を抽出し、当該対象の種類を判別する。

なお、図７に示す例では、色記述抽出手段１０３の後にプロセスを実行する手段として対象記述抽出手段１０８を配置しているが、これら色記述抽出手段１０３と対象記述抽出手段１０８との前後関係は、図７に示した例に限定されない。例えば、対象記述抽出手段１０８を色記述抽出手段１０３の前段に配置してもよい。この場合、まず、対象記述抽出手段１０８が、自然言語文入力手段１０２が入力した自然言語文から対象名を抽出する処理を実行してから、色記述抽出手段１０３が、自然言語文から色記述を抽出する処理を実行することになる。また、色記述抽出手段１０３及び対象記述抽出手段１０８による処理を同時に、並行して実行してもよい。

図７において、色彩値調整手段１０９は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色彩値調整手段１０９は、辞書１０６を参照することにより、自然言語文入力手段１０２が入力した自然言語文から、色名と色に関する修飾語とを抽出する機能を備える。具体的には、色彩値調整手段１０９は、前置修飾語辞書に含まれる前置修飾語や、後置修飾語辞書に含まれる後置修飾語を抽出する。また、色彩値調整手段１０９は、抽出した修飾語や後置修飾語に基づいて、各色の色空間上の領域を補正する機能を備える。すなわち、色彩値調整手段１０９は、辞書１０６に含まれる色の修飾語句を用いて、所定の色空間上で自然言語文において自然言語によって表現された色が占める領域の位置又はサイズを調整する。

図１０は、第２の実施形態における色彩値調整手段１０９が検索対象の画像に含まれる各色の色空間上の領域を補正する処理の例を示す説明図である。例えば、図１０に示すように、入力した自然言語文に「赤っぽい」という記述がある場合、色彩値調整手段１０９は、この「赤っぽい」という記述から、[色名：赤］と［後置修飾語：っぽい］との連続した組を抽出する。次いで、色彩値調整手段１０９は、「赤」に対する色空間上の領域を示す値（０，１．０，０．５，０．１）を、「っぽい」がもつ補正値（０，−０．１，０，０．２）で補正する（本例では、加算する）ことにより、補正後の領域を示す値（０，０．９，０．５，０．３）を求める。そして、色彩値調整手段１０９は、この補正後の値を「赤っぽい」を示す領域の値とする。

なお、本実施形態では、色比率判定手段１０４は、色彩値調整手段１０９が求めた補正値を用いて、検索対象の画像内の色領域と色の比率とを求める。

図７において、色比率調整手段１１０は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色比率調整手段１１０は、辞書１０６及び対象構成知識１０７を参照することにより、色比率判定手段１０４が求めた各色の領域が１つの対象全体に占める面積比率を調整する機能を備える。具体的には、色比率調整手段１１０は、対象領域が複数の部分対象物の組み合わせによって構成されている場合、それぞれの部分対象物表面を占める色の面積比率を、部分対象物同士の構成比に応じて変更する。すなわち、色比率調整手段１１０は、対象構成知識１０７に含まれる対象の種類間の関係を用いて、各対象に相当する画像上の特定領域を占める各色の面積比率を決定する。

図１１は、第２の実施形態における色比率調整手段１１０が色領域の面積比率を調整する処理の例を示す説明図である。図１１に示す例では、辞書１０６には、少なくとも服名として「上衣上着」クラスに属する「ジャケット」と、「上衣」クラスに属する「セーター」とが記載されているものとする。また、対象構成知識１０７（図１１では、単に知識と記載している）には、少なくとも「上衣上着」クラスが「上半身」クラスに「分類」されるという関係を示す情報と、「上衣」クラスが「上半身」クラスに「分類」されるという関係を示す情報と、「上衣上着」クラスが「上衣」クラスに「優先」するという関係を示す情報と、「優先」される側のクラスのインスタンスがもつ色は面積比率が全体の０．７（７０％）を占めるということ（優先：０．７）を示す情報とが記載されているものとする。

図１１に示す例において、入力した自然言語文が「ベージュのジャケットに赤のセーター」であった場合（ｓｔｅｐ０）、色比率調整手段１１０は、辞書１０６の内容に基づいて、ジャケットを占める色についてベージュが１００％（色比率１．０）であり、セーターを占める色について赤が１００％（色比率１．０）であると判断する（ｓｔｅｐ１）。

次に、色比率調整手段１１０は、辞書１０６の内容に基づいて、ジャケットが上衣上着の一種（「上衣上着」クラスのインスタンス）であり、セーターが上衣の一種（「上衣」クラスのインスタンス）であると判断する（ｓｔｅｐ２）。

さらに、色比率調整手段１１０は、対象構成知識１０７の内容に基づいて、「上衣上着」クラスと「上衣」クラスとがともに「上半身」クラスに分類されると判断することができる。また、色比率調整手段１１０は、「上衣上着」クラスが「上衣」クラスと比較して重なり時（上衣上着と上衣とが重複したとき）に「優先」されると判断することができる。また、色比率調整手段１１０は、「優先」された方の色が「上半身」クラスのインスタンス全体において面積比率「０．７」（７０％）を占めると判断することができる。そのため、色比率調整手段１１０は、ジャケットの色である「ベージュ」が「上半身」全体に占める色比率が１．０×０．７であり、セーターの色である「赤」が「上半身」全体に占める色比率が１．０×（１．０−０．７）であると求めることができる（ｓｔｅｐ３）。そして、色比率調整手段１１０は、その求めた結果として、色の構成比がベージュ０．７であり、赤０．３であると求めることができる（ｓｔｅｐ４）。

なお、本実施形態では、画像特徴量生成手段１０５は、色比率調整手段１１０による面積比率調整後の各色領域に基づいて、画像特徴量を生成する。

なお、本実施形態で示した色彩解析装置は、図５に示した第１の実施形態における色彩解析装置と同様のハードウェア構成により実現可能である。

以上に説明したように、本実施形態によれば、色彩解析装置は、入力した自然言語文から対象名やクラスを抽出し、検索対象の画像に含まれる各色の色空間上の領域を補正する。そして、色彩解析装置は、検索対象の画像に含まれる各色領域の面積比率を調整し、面積比率調整後の各色領域に基づいて、画像特徴量を生成する。そのため、本実施形態によれば、自然言語文から、色の異なる複数の対象物が重なりあっているような場合であっても、画像の色空間における画像特徴量を生成することができる。従って、色の異なる複数の対象物が重なりあっているような画像であっても、自然言語文を用いて検索することが可能になる。

実施形態３．
次に、本発明の第３の実施形態について、図面を参照して説明する。図１２は、第３の実施形態における色彩解析装置の機能構成例を示すブロック図である。図１２に示すように、本実施形態では、色彩解析装置は、図１に示した構成要素に加えて、色領域調整手段１１１を含む点で、第１の実施形態と異なる。

なお、本実施形態において、辞書１０１が含む情報は、第１の実施形態と同様であるため、説明を省略する。また、本実施形態において、自然言語文入力手段１０２、色記述抽出手段１０３、色比率判定手段１０４、及び画像特徴量生成手段１０５の機能は、それぞれ第１の実施形態で示したそれらの機能と同様であるため、説明を省略する。

図１２に示すように、本実施形態では、色彩解析装置は、第１の実施形態で示した構成要素に加えて、色領域調整手段１１１を新たに備える。色領域調整手段１１１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色領域調整手段１１１は、色記述抽出手段１０３が自然言語文から複数の色名を抽出した場合に、抽出した各色名が示す色空間上の局所領域同士の距離に応じて、各局所領域の色空間上でのサイズを調整する機能を備える。すなわち、色領域調整手段１１１は、自然言語文が対象とする画像の領域全体に対して、自然言語文に含まれる各色が占める領域間の所定の色空間上での距離に応じて、当該自然言語文に含まれる各色が占める領域の大きさ調整する。

図１３は、第３の実施形態における色領域調整手段１１１が各局所領域の色空間上でのサイズを調整する処理の例を示す説明図である。例えば、図１３（ａ）に示すように、色領域調整手段１１１は、色空間上の局所領域１と局所領域２とのそれぞれの境界色の間の距離がある特定の値となる位置関係となった場合には、局所領域１と局所領域２とについて、ともに色空間上でのそれぞれの中心色から境界色までの距離を変更する処理を特に行わない。一方、図１３（ｂ）に示すように、色領域調整手段１１１は、局所領域１と局所領域２とが特定の距離よりも遠い位置にある場合には、両局所領域における中心色から境界色までの距離を、両局所領域の境界色同士の距離の最小値が特定の値となるまで拡大する処理を行う。また、逆に、図１３（ｃ）に示すように、色領域調整手段１１１は、局所領域１と局所領域２とが特定の距離よりも近い位置にある場合には、両局所領域における中心色から境界色までの距離を、両局所領域の局所領域の距離の最小値が特定の値となるまで、又は両局所領域の重複がなくなるまで縮小する処理を行う。

なお、図１３（ｂ），（ｃ）に示す場合において、両局所領域における中心色から境界色までの距離を拡大又は縮小する割合について制限値を設けてもよい。また、局所領域の境界色間の距離を拡大又は縮小するのではなく、中心色間の距離を測り、図１３（ｄ）に示すように、色領域調整手段１１１は、局所領域１と局所領域２とのそれぞれが向き合う側の領域を縮小して重なりを回避する処理を行い、ともに反対側の領域を拡大して色空間上に占める範囲を維持又は増加させてもよい。

なお、本実施形態では、画像特徴量生成手段１０５は、色領域調整手段１１１によるサイズ調整後の各色領域に基づいて、画像特徴量を生成する。

なお、本実施形態で示した色彩解析装置は、図５に示した第１の実施形態における色彩解析装置と同様のハードウェア構成により実現可能である。

以上に説明したように、本実施形態によれば、色彩解析装置は、自然言語文から複数の色名を抽出した場合に、各局所領域の色空間上でのサイズを調整する。そして、色彩解析装置は、サイズ調整後の各色領域に基づいて、画像特徴量を生成する。そのため、自然言語で指定された複数の色それぞれが対応する色空間上の局所領域の相対距離に応じて各局所領域のサイズを調整することにより、生成した画像特徴量に適合する画像の対象範囲を広く保ちつつ、自然言語で指定された各色の独立性も保持することができる。従って、自然言語文を入力とし、網羅性が高く且つ自然言語文で入力した要件をよく反映した画像の検索を可能とすることができる。

以上、第１の実施形態〜第３の実施形態において、本発明の好ましい実施形態を参照して説明したが、本発明による色彩解析装置は、上記各実施形態に限定されるものではない。すなわち、本発明による色彩解析装置の構成や機能は、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

次に、本発明による色彩解析装置の最小構成について説明する。図１４は、色彩解析装置の最小の機能構成例を示すブロック図である。図１４に示すように、色彩解析装置は、最小の構成要素として、色比率判定手段１０４を含む。図１４に示す最小構成の色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える処理を行う。また、色比率判定手段１０４は、自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定する機能を備える。

図１４に示す最小構成の色彩解析装置によれば、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、所望の画像を精度よく検索することができる。

なお、上記に示した各実施形態では、以下の（１）〜（１６）に示すような色彩解析装置の特徴的構成が示されている。

（１）色彩解析装置は、自然言語で表現された色についての記述である自然言語記述（例えば、自然言語文）を、所定の色空間上の値の分布を示すデータ（例えば、画像特徴量）に置き換える色彩解析装置であって、自然言語記述に含まれる色同士の関係を示す語句（例えば、関係語）を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合（例えば、色の比率）を決定する色比率判定手段（例えば、色比率判定手段１０４によって実現される）を備えたことを特徴とする。

（２）色彩解析装置は、色比率判定手段の決定結果に基づいて、所定の色空間上の値の分布を示すデータを生成するデータ生成手段（例えば、画像特徴量生成手段１０５によって実現される）を備え、データ生成手段は、色空間上の値の分布を示すデータとして、所定の色空間上で自然言語記述において自然言語によって表現された色が占める領域（例えば、色領域）と、自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める面積比率（例えば、色の比率）とを含むデータを生成するように構成されていてもよい。

（３）色彩解析装置は、自然言語の文から色についての記述を特定するための色名、及び色同士の関係を示す語句に関する情報を少なくとも含む辞書（例えば、辞書１０１）を記憶する辞書記憶手段（例えば、辞書１０１を記憶する記憶装置）を備えるように構成されていてもよい。

（４）色彩解析装置において、辞書記憶手段は、色同士の関係を示す語句として少なくとも並立助詞（例えば、「と」や「に」等の助詞）を含む辞書を記憶するように構成されていてもよい。

（５）色彩解析装置において、辞書記憶手段は、色の修飾語句に関する情報（例えば、前置修飾語、後置修飾語）をさらに含む辞書を記憶し、辞書に含まれる色の修飾語句を用いて、所定の色空間上で自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する色彩値調整手段（例えば、色彩値調整手段１０９によって実現される）をさらに備えるように構成されていてもよい。

（６）色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、自然言語記述により特定した色と、予め記憶する所定の色（例えば、図３に示すデフォルト色）とについて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれるそれぞれの色が占める領域の割合を決定する色比率判定手段（例えば、色比率判定手段１０４によって実現される）を備えるように構成されていてもよい。

（７）色彩解析装置において、辞書記憶手段は、画像の一部として識別する対象の名称と当該対象の種類に関する情報（例えば、図８に示す対象名辞書に含まれる情報）とをさらに含む辞書を記憶し、異なる対象の種類間の関係に関する情報を少なくとも含む対象構成知識（例えば、対象構成知識１０７）を記憶する知識記憶手段（例えば、対象構成知識１０７を記憶する記憶装置）と、辞書記憶手段が記憶する辞書を用いて、自然言語記述から対象の名称を抽出し、当該対象の種類を判別する対象記述抽出手段（例えば、対象記述抽出手段１０８によって実現される）と、対象構成知識に含まれる対象の種類間の関係を用いて、各対象に相当する画像上の特定領域を占める各色の面積比率を決定する色比率調整手段（例えば、色比率調整手段１１０によって実現される）とをさらに備えるように構成されていてもよい。

（８）色彩解析装置は、自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる各色が占める領域間の所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する色領域調整手段（例えば、色領域調整手段１１１によって実現される）をさらに備えるように構成されていてもよい。

（９）色彩解析装置は、自然言語で表現された色についての記述である自然言語記述（例えば、自然言語文）を、所定の色空間上の値の分布を示すデータ（例えば、画像特徴量）に置き換える色彩解析装置であって、自然言語記述に含まれる色同士の関係を示す語句（例えば、関係語）を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合（例えば、色の比率）を決定する色比率判定部（例えば、色比率判定手段１０４によって実現される）を備えたことを特徴とする。

（１０）色彩解析装置は、色比率判定部の決定結果に基づいて、所定の色空間上の値の分布を示すデータを生成するデータ生成部（例えば、画像特徴量生成手段１０５によって実現される）を備え、データ生成部は、色空間上の値の分布を示すデータとして、所定の色空間上で自然言語記述において自然言語によって表現された色が占める領域（例えば、色領域）と、自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める面積比率（例えば、色の比率）とを含むデータを生成するように構成されていてもよい。

（１１）色彩解析装置は、自然言語の文から色についての記述を特定するための色名、及び色同士の関係を示す語句に関する情報を少なくとも含む辞書（例えば、辞書１０１）を記憶する辞書記憶部（例えば、辞書１０１を記憶する記憶装置）を備えるように構成されていてもよい。

（１２）色彩解析装置において、辞書記憶部は、色同士の関係を示す語句として少なくとも並立助詞（例えば、「と」や「に」等の助詞）を含む辞書を記憶するように構成されていてもよい。

（１３）色彩解析装置において、辞書記憶部は、色の修飾語句に関する情報（例えば、前置修飾語、後置修飾語）をさらに含む辞書を記憶し、辞書に含まれる色の修飾語句を用いて、所定の色空間上で自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する色彩値調整部（例えば、色彩値調整手段１０９によって実現される）をさらに備えるように構成されていてもよい。

（１４）色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、自然言語記述により特定した色と、予め記憶する所定の色（例えば、図３に示すデフォルト色）とについて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれるそれぞれの色が占める領域の割合を決定する色比率判定部（例えば、色比率判定手段１０４によって実現される）を備えるように構成されていてもよい。

（１５）色彩解析装置において、辞書記憶部は、画像の一部として識別する対象の名称と当該対象の種類に関する情報（例えば、図８に示す対象名辞書に含まれる情報）とをさらに含む辞書を記憶し、異なる対象の種類間の関係に関する情報を少なくとも含む対象構成知識（例えば、対象構成知識１０７）を記憶する知識記憶部（例えば、対象構成知識１０７を記憶する記憶装置）と、辞書記憶部が記憶する辞書を用いて、自然言語記述から対象の名称を抽出し、当該対象の種類を判別する対象記述抽出部（例えば、対象記述抽出手段１０８によって実現される）と、対象構成知識に含まれる対象の種類間の関係を用いて、各対象に相当する画像上の特定領域を占める各色の面積比率を決定する色比率調整部（例えば、色比率調整手段１１０によって実現される）とをさらに備えるように構成されていてもよい。

（１６）色彩解析装置は、自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる各色が占める領域間の所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する色領域調整部（例えば、色領域調整手段１１１によって実現される）をさらに備えるように構成されていてもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記各実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年１０月１６日に出願された日本特許出願２００９−２３９０００を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、蓄積されたカメラ撮影映像を対象とした画像検索を行う用途に適用できる。また、本発明は、特に、希望する服や靴等の商品／備品を検索する用途や、自然言語文から生成した色分布と本来検索したい対象物の色分布とを比較し、人の記憶色と実際の色との差異の分析や、照明による影響の分析／照明の調整等を行う用途に応用できる。

１０１ 辞書
１０２ 自然言語文入力手段
１０３ 色記述抽出手段
１０４ 色比率判定手段
１０５ 画像特徴量生成手段
１０６ 辞書
１０７ 対象構成知識
１０８ 対象記述抽出手段
１０９ 色彩値調整手段
１１０ 色比率調整手段
１１１ 色領域調整手段
１２ 色彩解析装置
１２１ ＣＰＵ
１２２ 主記憶部
１２３ 出力部
１２４ 入力部
１２５ 通信部
１２６ 補助記憶部
１２７ システムバス

Claims (21)

1. 自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、
   前記自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める領域の割合を決定する色比率判定手段を
   備えたことを特徴とする色彩解析装置。
2. 色比率判定手段の決定結果に基づいて、所定の色空間上の値の分布を示すデータを生成するデータ生成手段を備え、
   前記データ生成手段は、前記色空間上の値の分布を示すデータとして、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域と、前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語によって表現された色が占める面積比率とを含むデータを生成する
   請求項１記載の色彩解析装置。
3. 自然言語の文から色についての記述を特定するための色名、及び色同士の関係を示す語句に関する情報を少なくとも含む辞書を記憶する辞書記憶手段を備えた
   請求項１又は請求項２記載の色彩解析装置。
4. 前記辞書記憶手段は、色同士の関係を示す語句として少なくとも並立助詞を含む辞書を記憶する
   請求項３記載の色彩解析装置。
5. 前記辞書記憶手段は、色の修飾語句に関する情報をさらに含む辞書を記憶し、
   前記辞書に含まれる色の修飾語句を用いて、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する色彩値調整手段をさらに備えた
   請求項３又は請求項４記載の色彩解析装置。
6. 自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、
   前記自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定する色比率判定手段を
   備えたことを特徴とする色彩解析装置。
7. 前記辞書記憶手段は、画像の一部として識別する対象の名称と当該対象の種類に関する情報とをさらに含む辞書を記憶し、
   異なる前記対象の種類間の関係に関する情報を少なくとも含む対象構成知識を記憶する知識記憶手段と、
   前記辞書記憶手段が記憶する辞書を用いて、前記自然言語記述から前記対象の名称を抽出し、当該対象の種類を判別する対象記述抽出手段と、
   前記対象構成知識に含まれる前記対象の種類間の関係を用いて、前記各対象に相当する画像上の特定領域を占める各色の面積比率を決定する色比率調整手段とを
   さらに備えた請求項３から請求項５のうちのいずれか１項に記載の色彩解析装置。
8. 前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる各色が占める領域間の前記所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する色領域調整手段をさらに備えた
   請求項１から請求項７のうちのいずれか１項に記載の色彩解析装置。
9. 情報処理装置が、自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める領域の割合を決定することにより、所定の色空間上の値の分布を示すデータを生成する
   ことを特徴とする色彩解析方法。
10. 情報処理装置が、前記色空間上の値の分布を示すデータとして、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域と、前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める面積比率とを含むデータを生成する
    請求項９に記載の色彩解析方法。
11. 記憶装置が、自然言語の文から色についての記述を特定するための色名、及び色同士の関係を示す語句に関する情報を少なくとも含む辞書を記憶する
    請求項９又は請求項１０記載の色彩解析方法。
12. 記憶装置が、色同士の関係を含む語句として少なくとも並立助詞を含む辞書を記憶する
    請求項１１に記載の色彩解析方法。
13. 記憶装置が、色の修飾語句に関する情報をさらに含む辞書を記憶し、
    情報処理装置が、前記辞書に含まれる色の修飾語句を用いて、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する
    請求項１１又は請求項１２記載の色彩解析方法。
14. 情報処理装置が、自然言語で表現された色についての記述である自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定することにより、所定の色空間上の値の分布を示すデータを生成する
    ことを特徴とする色彩解析方法。
15. 記憶装置が、画像の一部として識別する対象の名称と当該対象の種類に関する情報と、異なる前記対象の種類間の関係に関する情報とをさらに含む辞書を記憶し、
    前記記憶装置が、異なる前記対象の種類間の関係に関する情報を少なくとも含む対象構成知識を記憶し、
    情報処理装置が、前記辞書を用いて、前記自然言語記述から前記対象の名称を抽出し、当該対象の種類を判別し、
    前記情報処理装置が、前記対象構成知識に含まれる前記対象の種類間の関係を用いて、前記各対象に相当する画像上の特定領域を占める各色の面積比率を決定する
    請求項１１から請求項１３のうちのいずれか１項に記載の色彩解析方法。
16. 情報処理装置が、前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる各色が占める領域間の前記所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する
    請求項９から請求項１５のうちのいずれか１項に記載の色彩解析方法。
17. コンピュータに、
    自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める領域の割合を決定する処理と、
    所定の色空間上の値の分布を示すデータを生成する処理とを
    実行させるための色彩解析プログラム。
18. 前記コンピュータに、
    前記自然言語記述に含まれる色の修飾語句を用いて、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する処理を実行させる
    請求項１７記載の色彩解析プログラム。
19. コンピュータに、
    自然言語で表現された色についての記述である自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定する処理と、
    所定の色空間上の値の分布を示すデータを生成する処理とを
    実行させるための色彩解析プログラム。
20. 前記コンピュータに、
    前記自然言語記述から画像の一部として識別する対象の名称を抽出し、当該対象の種類を判別する処理と、
    異なる前記対象の種類間の関係に関する情報を用いて、前記各対象に相当する画像上の特定領域を占める各色の面積比率を決定する処理とを実行させる
    請求項１７から請求項１９のうちのいずれか１項に記載の色彩解析プログラム。
21. 前記コンピュータに、
    前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる各色が占める領域間の前記所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する処理を実行させる
    請求項１７から請求項２０のうちのいずれか１項に記載の色彩解析プログラム。

Images