JP6048492B2 - 色彩情報記憶装置、色彩情報記憶方法およびコンピュータ・プログラム - Google Patents

Description

本発明は、色彩を抽出する情報処理の技術分野に関する。

配色評価や支援技術等は、ユーザビリティが良好となる配色設計のために、必要である。特許文献が開示する配色評価装置や自動配色装置は、色の組み合わせや属性情報に着目して、配色が適切か否かを評価し、自動的に配色する。

特許文献１が開示する配色評価装置は、色や画像の情報をＷｅｂコンテンツから抽出し、階層・配色情報を解析する。次に、その配色評価装置は、上記の色や画像の情報から可読性に関わる指標値（明度・色相・彩度）を計算する。最後に、その配色評価装置は、計算した指標値を使い、解析した情報を基にして、可読性を多段的且つ総合的に評価する。そのようにして、その配色評価装置は、文字色と背景色の可読性を検査し、更に推薦色を提示する。

特許文献２が開示する技術は、文書を構成するオブジェクトの面積や占有率に応じて、基調色や強調色を割り当てる。その技術は、最も面積が小さいオブジェクトに対して、強調色であるアクセントカラーを、最も面積が大きなオブジェクトに対して、基調色であるベースカラーを、それぞれ配色する。

特許文献３が開示する装置は、「色の組み合わせ」と、その「色の組み合わせ」が与える雰囲気に関する配色ムードとを関連付けた配色データベースを持つ。その装置は、配色データベースの情報に基づいて、入力された配色情報を解析し、「色の組み合わせ」に応じて、配色ムードを特定する。

特開２００２−１９７４０３号公報 特開２００６−０５８９５０号公報 特開２０１１−２２１６０５号公報

配色評価や配色設計支援のために、評価や設計支援をする判断基準となる色彩専門知識を保持する色彩データベースは、必要である。その色彩データベースを人手で構築するためには、多大な労力と時間が必要になる。

そこで、本発明の主たる目的は、色が持つ意味を抽出することが可能な色彩情報記憶装置等を提供することである。

本発明に係る色彩情報記憶装置は、以下の構成を備えることを特徴とする。

即ち、本発明に係る色彩情報記憶装置は、入力画像の部分領域を特定する部分画像特定部と、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する情報取得部と、前記色情報と前記文字列とを関連付けて記憶する記憶部とを備える。

また、本発明の他の見地として、本発明に係る色彩情報記憶方法は、入力画像の部分領域を特定するステップと、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得するステップと、前記色情報と前記文字列とを関連付けて記憶するステップとを含む。

また、同目的は、上記構成を有する色彩情報記憶装置、並びに対応する方法を、コンピュータを使って実現するコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体を使っても達成される。

本発明によれば、色が持つ意味を抽出することが可能な色彩情報記憶装置等を提供することができる。

第１の実施形態に係る色彩抽出装置の構成を示すブロック図である。 第１の実施形態における画面情報の一例を示す図である。 第１の実施形態における領域情報テーブルの一例を示す図である。 第１の実施形態における基本色リストの一例を示す図である。 第１の実施形態における作成する色彩イメージ候補テーブルの一例を示す図である。 第１の実施形態における色彩イメージテーブルの一例を示す図である。 第１の実施形態に係る色彩抽出装置における処理のフローチャートである。 第２の実施形態に係る色彩抽出装置の構成を示すブロック図である。 第２の実施形態に係る色彩抽出装置における処理のフローチャートである。 実施形態に係る色彩抽出装置を実現可能な計算処理装置のハードウェア構成を、概略的に示すブロック図である。

次に、実施形態について図面を参照して説明する。

＜第１の実施形態＞
図１は、第１の実施形態に係る色彩抽出装置（色彩情報記憶装置）の構成を示すブロック図である。

図１を参照すると、第１の実施形態に係る色彩抽出装置１０１は、入力画像の部分領域を特定する部分画像特定部である分割部１０２と、部分領域に含まれる色を特定する色情報と、部分領域に含まれる文字列とを取得する部分画像特定部である取得部１０３と、色情報と文字列とを関連付けて記憶する記憶部である作成部１０４とを備える。

図６は、第１の実施形態における色彩イメージテーブルＴ１の一例を示す図である。図６は、第１の実施形態だけでなく、第２の実施形態における色彩イメージテーブルの一例を示す図でもある。色彩イメージテーブルＴ１は、色彩の名称である色名と、その色名に対応する１６進数を使った表記（以降、「１６進表記」と略記する）と、Ｈｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｓａｔｕｒａｔｉｏｎ値（以降、「ＨＬＳ値」と略記する）と、色彩イメージを表現する文字列等とを関連付けている。色彩イメージテーブルＴ１は、上記以外の値と関連付けしていてもよい。また、色彩イメージテーブルＴ１は、ここに例示した情報と、必ずしも関連付けをしていなくてもよい。

図２は、第１の実施形態における画面情報の一例を示す図である。図２は、第１の実施形態だけでなく、第２の実施形態における画面情報の一例を示す図でもある。画面情報は、画面の題名を示すタイトル領域１０５と、画面のナビゲーションを表示するナビゲーション領域１０６と、見出しを表す見出し領域１０７と、情報などを入力する入力領域１０８と、その入力領域のラベルを表すラベル領域１０９等の情報を、含んでいる。画面情報は、上記以外の領域を含んでいてもよい。また、画面情報は、ここに例示した情報を必ずしも含んでいなくてもよい。

次に、図１を使って、第１の実施形態に係る色彩抽出装置１０１の動作について説明する。色彩抽出装置１０１は、色彩イメージテーブルＴ１の構築に用いる抽出対象の画面情報Ｉ１を受け取る。画面情報Ｉ１は、ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ等の（以降、「ＨＴＭＬ」と略記する）言語と、ビットマップ形式等の画像データ等とを使って、表現されている。作成する色彩イメージテーブルＴ１において領域数を表す行数は、画面情報Ｉ１に存在する領域数が多いほど、増える。以下では、ＨＴＭＬやビットマップなどの用語を使って説明を行うが、その他の言語や、フォーマットによって表現されていても、同様の動作をする。

分割部１０２は、表示画像（以降、「画面」と略記する）を少なくとも１つ以上の小領域に分割する。例えば、抽出対象の画面における画面情報がＨＴＭＬを使って記述されている場合には、一つの小領域は、ある開始タグとそれに対応する終了タグとに囲まれた記述部分に対応する。また、抽出対象の画面が、画像データにより記述されている場合には、一つの小領域は、画像処理の結果に応じて決まる領域に対応する。

本説明においては、ある開始タグとそれに対応する終了タグとに囲まれた記述部分を、「タグスコープ」と定義する。分割部１０２は、ＨＴＭＬなどの言語で記述されている場合には、タグスコープに基づいて、上記のように表示画像を各小領域に分ける。画面が画像データで記述されている場合には、分割部１０２は、既存の画像処理技術等を使って、その画像データを、類似した特徴を持つ小領域に分割する。例えば、図２に示すような画面が抽出対象である場合に、分割部１０２は、画面を、タイトル領域１０５と、ナビゲーション領域１０６と、見出し領域１０７と、ラベル領域１０９と、入力領域１０８と、補助情報領域１１０と、補助情報領域１１１と、ボタン領域１１２と、背景領域１１３との９つの領域に分割する。また、図２に示す各領域は、色付けが行われている。例えば、タイトル領域１０５は、濃紺色で色付けられている。ナビゲーション領域１０６は灰色で色付けられている。見出し領域１０７は青色で色付けられている。入力領域１０８は白色で色付けられている。補助情報領域１１０は、赤色で色付けられている。補助情報領域１１１は紫色で色付けられている。

以下の説明において、「構成部品」は、タグスコープの解析や画像処理等に応じて分割した小領域を意味している。また、「画面構成」は、画面における構成部品を組み合わせた状態を指す。また、画面構成を調べることは、上述のように、タグスコープを抽出すること、あるいは画像処理技術等により、具体化することができる。さらに、「分割」は、構成部品が１つである場合も含んでいる。

次に、取得部１０３は、分割部１０２が作成した小領域に関連付けされた情報が伝える意味を表す文字列Ｓ１を取得する。その小領域に関連付けされた情報が伝える意味を表す文字列Ｓ１は、領域ごとに、その画面を見た利用者に伝える情報の意味を表現している。領域に関連付けされた情報は、その領域に存在する情報だけではなく、補助情報領域とそれに関連したラベル領域などの情報を含んでいる。

例えば、図２においては、抽出対象の画面における補助情報領域１１０は、「禁止」を伝える文章を表示する領域である。その場合、取得部１０３は、補助情報領域１１０に関連付けされた「禁止」という文字列を取得する。

図３は、第１の実施形態における領域情報テーブルの一例を示す図である。図３は、第１の実施形態だけでなく、第２の実施形態における領域情報テーブルの一例を示す図でもある。領域情報テーブルＴ２は、抽出対象の画像における各小領域に関する情報を、その位置座標と、その高さと、その幅と、その小領域の色を表す文字情報（以降、「色情報」と略記する）と、そこに存在する表示情報が伝える意味を表す文字列と、その属性等とを関連付けしている。ここで、色情報として、数値で表現される情報を用いることもできる。

図２及び図３を参照しながら、分割部１０２、取得部１０３の動作を説明する。以下の説明において、画面情報Ｉ１は、ＨＴＭＬを使って記述されていると仮定するが、ＨＴＭＬ以外の言語であってもよい。

分割部１０２は、抽出対象画面を、少なくとも１つ以上の領域に分割する。例えば、抽出対象の画面における画面情報Ｉ１がＨＴＭＬを使って記述されている場合には、分割部１０２は、タグスコープに応じて、上記のように、小領域に分ける。あるいは、分割部１０２は、抽出対象の画面における画面情報Ｉ１が画像データを使って記述されている場合には、画像処理技術等を使って、上記のように、小領域に分ける。

次に、取得部１０３は、分割部１０２が分割した各小領域の色情報Ｉ２を取得する。取得部１０３は、カスケーディングスタイルシート（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ、以下、ＣＳＳと記すことがある）などを参照して、各小領域における色情報Ｉ２と、位置座標と、高さと、幅と、その小領域に付随した属性などを取得する。取得部１０３は、小領域内の色が均一でないと判定した場合には、中央値などをその小領域を表す色とする処理を行ってもよい。

次に、取得部１０３は、分割部１０２が分割した小領域ごとに、そこに関連付けされた文字列を取得する。文字列の取得方法は、Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ（以降、「ＯＣＲ」と略記する）であってもよいし、文字列として読み取ってもよい。そして、作成部１０４は、小領域ごとに、取得部１０３が取得した文字列と、色情報Ｉ２と、位置座標と、高さと、幅と、領域の属性などを関連付けする。

取得部１０３及び作成部１０４が実施する処理は、分割部１０２が作成したすべての小領域について行ってもよい。また、取得部１０３及び作成部１０４が実施する処理は、取得部１０３が文字列を取得できる小領域について行ってもよい。作成部１０４は、上記のように関連付けを行い、分割部１０２が分割した小領域に対する、領域情報テーブルＴ２の行を作成する。

図４は、第１の実施形態における基本色リストの一例を示す図である。図４は、第１の実施形態だけでなく、第２の実施形態における基本色リストの一例を示す図である。基本色リストは、色名と、その色についての色情報等の情報とを、関連付けしている。基本色リストは、上記以外の情報を関連付けしていてもよい。また、基本色リストは、上記の情報を、必ずしもすべて関連付けしていなくてもよい。

図５は、第１の実施形態において作成される色彩イメージ候補テーブルＴ３の一例を示す図である。図５は、第１の実施形態だけでなく、第２の実施形態における作成する色彩イメージ候補テーブルＴ３の一例を示す図である。色彩イメージ候補テーブルＴ３は、一つの色情報に対して、少なくとも１種類以上の色彩イメージ候補を表す文字列と、各色彩イメージ候補を表す文字列が出現する出現数とを、関連付けている。

例えば、図５における色彩イメージ候補テーブルＴ３は、「赤」であれば、関連付いていることを表す行を参照することにより、「禁止」が６０回、「エラー」が１００回出現していることを意味する。テーブルにおける各行は、お互いに関連付いていることを表している。他の説明においても、テーブルの種類によらず、同様である。

図４及び図５を参照しながら、作成部１０４の動作について説明をする。

作成部１０４は、図４のような基本色リストＬ１から、色名とそれに関連付けされた色情報を抜き出す。次に、作成部１０４は、図３のような領域情報テーブルＴ２にある色情報が、前述の色情報に一致する行を選び、その行の表示情報が伝える意味を表す文字列を取得する。

次に、作成部１０４は、その小領域に関連付けされた情報が伝える意味を表す文字列Ｓ１を、色彩イメージを表す文字列（この場合、色彩イメージを示す文字列は、小領域に関連付けされた情報が伝える意味を表す文字列Ｓ１の値と同じであるため、以降、統一して「文字列」として表記する。）とし、それと色情報とを関連付けする。次に、作成部１０４は、その関連付けに応じて、図５のような色彩イメージ候補テーブルＴ３を、以下の処理を行って、更新する。

作成部１０４は、色彩イメージ候補テーブルＴ３に、既に、色情報とそれに関連する文字列との組が、関連付けされている場合に、その組に関連した出現数を１増やす。逆に、色情報とそれに関連する文字列との組が色彩イメージ候補テーブルＴ３に存在しない場合に、作成部１０４は、色情報とそれに関連する文字列と出現数（値は、１とする）とを関連付けする。その後に、作成部１０４は、その関連付けしたものを、色彩イメージ候補テーブルＴ３に追加する。

作成部１０４は、領域情報テーブルＴ２が保有する全ての領域について上記処理を実行することによって、色彩イメージ候補テーブルＴ３を作成する。

作成部１０４は、色彩イメージ候補テーブルＴ３に含まれる各色について、その色と関連付いた文字列と、それらの組み合わせの出現数とを組として取り出す。作成部１０４は、それを色彩イメージ候補テーブルＴ３に出現するすべての色について行う。

次に、作成部１０４は、それらの組の中から、その組における出現数が所定の閾値Ｔｈ１（以降、単に「所定の閾値」と表す）以上の組を、すべて抽出する。作成部１０４は、抽出した組に含まれる、色と文字列との組について、色ごとに文字列を区切りながら１列にする。その後、作成部１０４は、上記のように作成した文字列と色とを関連付けすることによって、色彩意味リストを作成する。

次に、作成部１０４は、基本色リストＬ１から、作成した色彩意味リストに含まれる色に関連する色情報を取り出す。その後、作成部１０４は、色彩意味リストにおいて、その色情報に関連する文字列を取り出す。次に、作成部１０４は、上記のように取り出した色情報等と文字列を関連付けし、その関連を色彩イメージテーブルＴ１に登録する。

色彩イメージ候補テーブルＴ３における、各色について、その出現数が所定の閾値未満のものしか存在しない場合に、作成部１０４は、色彩イメージを表す文字列として、空欄などの「該当なし」を示す情報をいれ、色彩イメージテーブルＴ１に登録する。

結果として、作成部１０４は、色彩イメージテーブルＴ１を作成する。色彩イメージテーブルＴ１は色情報と文字列とを関連付け、色情報で、その色情報と関連付けされた文字列を検索できるデータベースである、と説明されうる。

図７は、第１の実施形態に係る色彩抽出装置における処理のフローチャートである。

次に、図１及び図７を参照しながら、第１の実施形態に係る色彩抽出装置の処理フローについて説明する。

分割部１０２は、上述のようなタグスコープの解析や画像処理等の結果に応じて、画面を少なくとも１つ以上の小領域に分割する。次に、取得部１０３は、上述のように解析した情報を使って、各領域の位置座標、高さ、幅、表示情報が伝える意味を表す文字列、色情報を取得する。次に、作成部１０４は、上記のように取得した領域に関する情報を、関連付けする。取得した各領域について関連付けをすることにより、作成部１０４が、領域情報テーブルＴ２を作成する（ステップＳ１０１）。

次に、作成部１０４は、領域情報テーブルＴ２と基本色リストＬ１双方から、その色情報と関連付いたデータをそれぞれ読み出し、取り出したデータを関連付けすることで、色彩イメージ候補テーブルＴ３を作成する（ステップＳ１０２）。次に、作成部１０４は、色彩イメージ候補テーブルＴ３における、各色の色彩イメージを表す文字列に関し、その出現数が所定の閾値以上か否かを調べる（ステップＳ１０３）。

作成部１０４は、出現数が所定の閾値以上の文字列Ｓ３に関連したデータを取り出し、それを、色彩イメージテーブルＴ１へ追加する（ステップＳ１０４）。作成部１０４は、ある色に関して、すべての文字列の出現数が所定の閾値未満であると判定した場合には、「該当なし」を示す情報を生成し、それを、色彩イメージテーブルＴ１へ追加する（ステップＳ１０５）。作成部１０４は、すべての色について同様の処理を行う（ステップＳ１０６）。

第１の実施形態に係る色彩抽出装置は、上記のような処理に従い、抽出対象の画像情報から、色と、その色を割り当てた領域の表示情報が伝える意味を表す文字列との関連付けを行い、その関連を色彩イメージテーブルに登録する。

その結果、第１の実施形態に係る色彩抽出装置によれば、色と、その色を割り当てた領域の表示情報が伝える意味を表す文字列とを関連付ける。その結果、第１の実施形態に係る色彩抽出装置によれば、抽出した色彩イメージテーブルに関連した、色彩イメージデータベースを自動で構築することが可能になる。

即ち、第１の実施形態に係る色彩抽出装置によれば、色彩データベースを自動的に抽出することが可能になる。

＜第２の実施形態＞
次に、上述した第１の実施形態を基本とする第２の実施形態について説明する。以下の説明においては、本実施形態と第１の実施形態との差異を中心に説明する。上述した第１の実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明は省略する。

図８及び図５を参照しながら、第２の実施形態に係る色彩抽出装置について説明する。図８は、第２の実施形態に係る色彩抽出装置１１４の構成を示すブロック図である。図８を参照すると、第２の実施形態に係る色彩抽出装置１１４は、入力画像の部分領域を特定する部分画像特定部である分割部１０２と、部分領域に含まれる色を特定する色情報と、部分領域に含まれる文字列とを取得する情報取得部である取得部１０３と、色情報と文字列とを関連付けて記憶する記憶部である作成部１１５と、文字列の類似度を計算する類似度計算部１１６とを備える。

類似度計算部１１６は、複数の文字列間の意味的類似度を計算する。意味的類似度の計算方法の一例として、潜在意味解析（Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ａｎａｌｙｓｉｓ）（以降、「ＬＳＡ」と記述する）などの手法がある。ＬＳＡは、例えば、領域の意味を表す文字列と、その領域の色彩イメージを表す文字列を、それぞれ意味空間内のベクトルとして表す。次に、ＬＳＡは、これらのベクトルの成す角の余弦を計算し、その結果を意味的類似度とする。意味的類似度は、文字列間の類似度が高いほど高い値になる。第２の実施形態に係る色彩抽出装置における意味的類似度は、上述した方法に限定されるものではない。

作成部１１５は、色彩イメージ候補テーブルＴ３と、色彩イメージテーブルＴ１を作成する。色彩イメージ候補テーブルＴ３を作成する方法は、第一の実施形態と同様である。

作成部１１５が色彩イメージテーブルＴ１を作成する方法について説明する。

作成部１１５は、色彩イメージ候補テーブルＴ３に含まれる各色について、その色と関連付いた文字列と、それらの組み合わせの出現数とを組として取り出す。そして、作成部１１５は、それらの組の中から、その組における出現数が閾値Ｔｈ１以上の組を抽出する（ここで抽出された組に含まれる文字列からなる文字列を文字列Ｓ３と記すことがある）。作成部１１５は、抽出した組に含まれる、色と文字列Ｓ３との組について、色ごとに文字列を区切りながら１列にする。その後、作成部１１５は、上記のように作成した文字列Ｓ３と色とを関連付けすることによって、色彩意味リストを作成する。次に、作成部１１５は、基本色リストＬ１から、作成した色彩意味リストに含まれる色に関連する色情報を取り出す。次に、作成部１１５は、色彩意味リストにおいて、その色情報に関連する文字列Ｓ３を取り出す。そして、作成部１１５は、上記のように取り出した色情報等と文字列Ｓ３を関連付けし、その関連を色彩イメージテーブルＴ１に登録する。

さらに、作成部１１５は、色彩イメージ候補テーブルＴ３を参照して、色と文字列との組み合わせの出現数が閾値Ｔｈ１未満の組を抽出する（ここで抽出された組に含まれる文字列からなる文字列を文字列Ｓ４と記すことがある）。そして、作成部１１５は、類似度計算部１１６を用いて、文字列Ｓ３と文字列Ｓ４との意味的類似度を計算する。計算された意味的類似度が所定の意味的類似度閾値Ｔｈ２（以降、単に「所定の意味的類似度閾値」と表す）以上であれば、作成部１１５は、文字列Ｓ４を色彩イメージテーブルＴ１に追加する。作成部１１５は、算出した意味的類似度が所定の意味的類似度閾値未満であれば、追加しない。

作成部１１５が文字列Ｓ４を追加する方法は、例えば、以下のようである。計算された意味的類似度が所定の意味的類似度閾値以上である、文字列Ｓ４と色の組について、色ごとに文字列を区切りながら１列にする。その後、作成部１１５は、１列にされた文字列Ｓ４と色とを関連付けすることによって、色彩意味リストを作成する。次に、作成部１１５は、基本色リストＬ１から、作成した色彩意味リストに含まれる色に関連する色情報を取り出す。その後、作成部１１５は、色彩意味リストにおいて、その色情報に関連する文字列Ｓ４を取り出す。次に、作成部１１５は、色彩イメージテーブルＴ１において、取り出し色情報に関連付けされた文字列に、文字列Ｓ４を追加する。

作成部１１５は、もし、色彩イメージ候補テーブルＴ３における、各色について、その出現数が所定の閾値未満のものしか存在しないと判定した場合には、色彩イメージを表す文字列として、空欄などの「該当なし」を示す情報をいれ、上記と同様の動作の後、色彩イメージテーブルＴ１に登録する。

図９は、第２の実施形態に係る色彩抽出装置における処理のフローチャートを示している。

次に、図９を参照しながら、第２の実施形態に係る色彩抽出装置における処理フローについて説明する。以下の説明においては、本実施形態と第１の実施形態との差異を中心に説明する。上述した第１の実施形態と同様な処理フローについては、同一の参照番号を付すことにより、重複する説明は省略する。

作成部１１５は、色彩イメージ候補テーブルＴ３における、各色の色彩イメージを表す文字列に関し、その出現数が、所定の閾値Ｔｈ１以上である文字列Ｓ３を取得する（ステップＳ２０３）。そして、作成部１１５は、文字列Ｓ３に関連したデータを取り出し、色彩イメージテーブルＴ１へ追加する。この動作は、作成部１０４（図１）におけるステップＳ１０４と同様の動作でもよい。

次に、類似度計算部１１６は、文字列Ｓ３と、各色の色彩イメージを表す文字列に関しその出現数がＴｈ１未満である文字列Ｓ４と、の類似度を算出する（ステップＳ２０４）。そして、作成部１１５は、文字列Ｓ３と文字列Ｓ４の意味的類似度が所定の意味的類似度閾値Ｔｈ２以上であるか否かを判定する（ステップＳ２０５）。意味的類似度がＴｈ２以上である場合、上述のように色彩イメージテーブルＴ１へ追加する（ステップＳ２０６）。作成部１１５は、この処理を、各色の色彩イメージを表す文字列に関しその出現数がＴｈ１未満である文字列Ｓ４のすべてについて実行してもよい（ステップＳ２０７）。作成部１１５は、色彩イメージに該当する文字列が存在するかどうかを判定する（ステップＳ２０８）。例えば、作成部１１５は、ステップＳ２０５で、Ｔｈ２以上であると判定された文字列Ｓ４の数が一つ以上あるかどうかを調べることによって、ステップＳ２０８の判定を行うことができる。そして、作成部１１５は、ステップＳ２０８で、色彩イメージに該当する文字列が存在しないと判定した場合、色彩イメージテーブルＴ１に「該当なし」を示す情報を追加する（ステップＳ２０９）。

第２の実施形態に係る色彩抽出装置は、第１の実施形態に係る色彩抽出装置に、類似度計算部１１６が追加されたものであり、第１の実施形態に係る色彩抽出装置の効果は、そのまま保有している。即ち、第２の実施形態に係る色彩抽出装置によれば、色彩データベースを自動的に抽出することが可能になる。

第２の実施形態に係る色彩抽出装置は、色彩イメージ候補を表す文字列と色彩イメージを表す文字列との意味的類似度を算出する。そのため、第２の実施形態に係る色彩抽出装置の効果は、第１の実施形態の効果に加え、より精度良く色彩イメージ文字列を取得することが可能になる。

（ハードウェア構成例）
図１０は実施形態に係る色彩抽出装置を実現可能な計算処理装置のハードウェア構成を、概略的に示す図である。

次に、上述した各実施形態における色彩抽出装置を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、係る色彩抽出装置は、物理的または機能的に少なくとも２種類の計算処理装置を用いて実現してもよい。また、係る色彩抽出装置は、専用の装置として実現してもよい。

図１０は、第１乃至第２の実施形態に係る色彩抽出装置を実現可能な計算処理装置のハードウェア構成を概略的に示す図である。計算処理装置１２２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１７、メモリ１１８、ディスク１１９、出力装置１２０、および入力装置１２１を有する。

即ち、ＣＰＵ１１７は、ディスク１１９が記憶しているソフトウェア・プログラム（コンピュータ・プログラム）：以下、単にプログラムと称する）を、実行時にメモリ１１８にコピーし、演算処理を実行する。ＣＰＵ１１７は、プログラム実行に必要なデータをメモリ１１８から読み込む。表示が必要な場合には、ＣＰＵ１１７は、出力装置１２０に出力結果を表示する。外部からプログラムを入力する場合、ＣＰＵ１１７は、入力装置１２１からプログラムを読み取る。ＣＰＵ１１７は、メモリ１１８にある色彩抽出プログラム解釈し実行を行う。ＣＰＵ１１７は、上述した各実施形態において参照したフローチャート（図７、図９）、式に応じた処理を順次行う。

以上実施形態について説明したが、上記実施形態は理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
尚、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力画像の部分領域を特定する部分画像特定部と、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する情報取得部と、前記色情報と前記文字列とを関連付けて記憶する記憶部とを備える色彩情報記憶装置。

（付記２）
前記記憶部は、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、付記１に記載の色彩情報記憶装置。

（付記３）
前記文字列の類似度を計算する類似度計算部、を更に備え、前記記憶部は、関連付けないと判定された前記文字列と、関連付けると判定された前記文字列との類似度が閾値以上である場合に、関連付けないと判定された前記文字列を前記色情報と関連付ける、付記１または付記２に記載の色彩情報記憶装置。

（付記４）
前記画像は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）の記述に基づいて作成されるものであり、前記部分画像特定部は、タグスコープの解析結果に応じて、前記部分領域を特定する、付記１乃至付記３のいずれか１項記載の色彩情報記憶装置。

（付記５）
前記部分画像特定部は、画像処理の結果に応じて、前記部分領域を特定する、付記１乃至付記３のいずれか１項記載の色彩情報記憶装置。

（付記６）
入力画像の部分領域を特定するステップと、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得するステップと、前記色情報と前記文字列とを関連付けて記憶するステップとを含む色彩情報記憶方法。

（付記７）
前記記憶するステップにおいて、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に、前記色情報と前記文字列とを関連付ける、付記６に記載の色彩情報記憶方法。

（付記８）
前記文字列の類似度を計算するステップを更に含み、前記記憶するステップにおいて、関連付けないと判定された前記文字列と、関連付けると判定された前記文字列との類似度が閾値以上である場合に、関連付けないと判定された前記文字列を前記色情報と関連付ける、付記６または付記７に記載の色彩情報記憶方法。

（付記９）
コンピュータに、入力画像の部分領域を特定する特定処理と、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する取得処理と、前記色情報と前記文字列とを関連付けて記憶する記憶処理とを実行させるコンピュータ・プログラム。

（付記１０）
前記記憶処理において、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、付記９に記載のコンピュータ・プログラム。

この出願は、２０１２年３月２９日に出願された日本出願特願２０１２−０７７５６４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Ｉ１ 画面情報
Ｔ１ 色彩イメージテーブル
Ｔ２ 領域情報テーブル
Ｔ３ 色彩イメージ候補テーブル
Ｓ１ 小領域に関連付けされた情報が伝える意味を表す文字列
Ｓ３ 閾値以上の文字列
Ｔｈ１ 所定の閾値
Ｔｈ２ 所定の意味的類似度閾値
１０１ 色彩抽出装置
１０２ 分割部
１０３ 取得部
１０４ 作成部
１０５ タイトル領域
１０６ ナビゲーション領域
１０７ 見出し領域
１０８ 入力領域
１０９ ラベル領域
１１０ 補助情報領域
１１１ 補助情報領域
１１２ ボタン領域
１１３ 背景領域
１１４ 色彩抽出装置
１１５ 作成部
１１６ 類似度計算部
１１７ ＣＰＵ
１１８ メモリ
１１９ ディスク
１２０ 出力装置
１２１ 入力装置
１２２ 計算処理装置

Claims (7)

1. 入力画像の部分領域を特定する部分画像特定部と、
   前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する情報取得部と、
   前記色情報と前記文字列とを関連付けて記憶する記憶部と
   を備え、
   前記記憶部は、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、
   色彩情報記憶装置。
2. 前記文字列の類似度を計算する類似度計算部、を更に備え、
   前記記憶部は、関連付けないと判定された前記文字列と、関連付けると判定された前記文字列との類似度が閾値以上である場合に、関連付けないと判定された前記文字列を前記色情報と関連付ける、請求項１に記載の色彩情報記憶装置。
3. 前記画像は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）の記述に基づいて作成されるものであり、
   前記部分画像特定部は、タグスコープの解析結果に応じて、前記部分領域を特定する、
   請求項１又は請求項２記載の色彩情報記憶装置。
4. 前記部分画像特定部は、画像処理の結果に応じて、前記部分領域を特定する、
   請求項１又は請求項２記載の色彩情報記憶装置。
5. 色彩情報記憶装置が、
   入力画像の部分領域を特定するステップと、
   前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得するステップと、
   前記色情報と前記文字列とを関連付けて記憶するステップとを行い、
   前記色彩情報記憶装置が、前記記憶するステップにおいて、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、
   色彩情報記憶方法。
6. 前記色彩情報記憶装置が、前記文字列の類似度を計算するステップを更に含み、
   前記色彩情報記憶装置が、前記記憶するステップにおいて、関連付けないと判定された前記文字列と、関連付けると判定された前記文字列との類似度が閾値以上である場合に、関連付けないと判定された前記文字列を前記色情報と関連付ける、
   請求項５に記載の色彩情報記憶方法。
7. コンピュータに、
   入力画像の部分領域を特定する特定処理と、
   前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する取得処理と、
   前記色情報と前記文字列とを関連付けて記憶する記憶処理と
   を実行させ、
   前記記憶処理において、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、
   コンピュータ・プログラム。

Images