JP7272349B2 - 色対応情報生成システム、プログラム及び色対応情報生成方法 - Google Patents

Description

本発明は、色対応情報生成システム、プログラム及び色対応情報生成方法に関する。
本願は、２０１８年３月２２日に、日本に出願された特願２０１８－０５５２０５号に基づき優先権を主張し、これらの内容をここに援用する。

標準光源下ではなく任意の光源の環境光下で撮像した場合、撮像対象物を撮像した画像(以下、撮像対象画像という)において、撮像対象物の実物の色と、表示装置に表示させた撮像対象物の撮像対象画像の色の見えとが異なってしまう。このため、撮像対象物の実物の色と表示装置に表示される撮像対象画像の色の各々の見え（視認される色）を一致させる、撮像対象画像の色を補正するカラーマネジメントという手法が知られている。
例えば、特許文献１には、被写体（対象物）の撮像画像と、既知の分光反射率をもつ複数の色票からなる指定チャートの撮像画像とを取得することにより、被写体の分光反射率を推定する技術が開示されている。

日本国特開２００２－１５２７６８号公報

しかしながら、特許文献１においては、被写体と指定チャートを一緒に撮像する場合には撮像時に指定チャートを所持していなければならず、ユーザとしては指定チャートの入手などの処理が必要となり手間がかかる。
また、任意の光源の環境光下で撮像した画像を、異なる光源の環境光下で観察した色の見えで表示する場合、撮像対象物を実物で観察する環境における光源の分光エネルギー分布が必要となるが、全てのユーザが光源の分光エネルギー分布を計測する計測器を有しているわけではない。

本発明は、このような状況に鑑みてなされたもので、ユーザが指定チャートを有している必要が無く、撮像時の光源の環境光や撮像デバイス（撮像装置）の特性に依存せずに、光源の分光エネルギー分布を計測する特別な計測器を有さずとも所定の光源の環境光下における実物の色の見えに近い画面表示を実現する色対応情報生成システム、プログラム及び色対応情報生成方法を提供する。

本発明の第１態様は、光源の環境下で第１物体を撮像した第１画像から、色情報と、当該色情報の色の特性を示す色特性情報との対応関係を示す色対応情報を生成する色対応情報生成システムであり、所定の複数の第１の物体のそれぞれを認識する認識情報と、当該認識情報が示す物体の前記色特性情報とが対応して格納された物体データベースと、前記第１画像と前記認識情報とにより、前記第１画像における前記第１物体を認識し、前記第１画像における当該第１物体の画像領域と、前記第１物体に対応する色特性情報である第１色特性情報とを出力する物体認識部と、前記画像領域に含まれる画素の前記色情報と前記第１色特性情報とから、前記色情報と前記色特性情報との対応関係である前記色対応情報を生成する色対応情報生成部と、前記第１物体と当該第１物体とは異なる第２物体とが同一画像として撮像された前記第１画像と、または第１物体が撮像された第１画像と同一の光源下で前記第２物体が撮像された画像である第２画像と、前記色対応情報とから、前記第２物体の色特性情報である第２色特性情報を推定する色特性情報推定部と、前記第１画像中の前記第１物体に対応する領域内の各画素の画素値がＲＧＢ空間内に張る部分空間に対し、前記第１画像または前記第２画像中の前記第２物体に対応する領域の各画素の画素値が含まれる割合である再現色充足率を生成する再現色域判定部とを備え、前記色特性情報が前記認識情報と一対一の対応関係にあり、または前記色特性情報が前記認識情報そのものである。

本発明の第２態様は、上記第１態様の色対応情報生成システムにおいて、前記所定の複数の第１物体の少なくともいずれか一つは色票と異なる物体である。

本発明の第３態様は、上記第２態様の色対応情報生成システムにおいて、前記色票と異なる物体が、一般のユーザが入手可能な商品、当該商品のパッケージ及び容器を含む、複数の色を有する物体である。

本発明の第４態様は、上記第１からは第３態様のいずれか一態様の色対応情報生成システムにおいて、前記色対応情報と、前記第１物体とは異なる他の物体の色特性情報とから、前記光源の環境下における前記他の物体の色情報を推定する色情報推定部をさらに備える。

本発明の第５態様は、上記第１から第４態様のいずれか一態様の色対応情報生成システムにおいて、前記色特性情報が標準光源の環境下で撮像された一つあるいは複数の前記第１物体の色情報である基準色情報であり、前記色対応情報が、色の変換を行なう色補正マトリクスである。

本発明の第６態様は、上記第１態様から第４態様のいずれか一態様の色対応情報生成システムにおいて、前記第１画像の撮像に用いた撮像装置の分光感度特性が記憶された分光感度特性データベースをさらに備え、前記色特性情報が一つあるいは複数の前記第１物体の分光反射率であり、前記色対応情報が、前記光源の分光エネルギー分布及び前記分光感度特性の組合せである。

本発明の第７態様は、上記第１態様から第６態様のいずれか一態様の色対応情報生成システムにおいて、ユーザが所有するユーザ端末装置とネットワークを介して接続され、データの送受信を前記ネットワークを介して前記ユーザ端末装置と行ない、前記ユーザ端末装置から受信する前記データが前記第１画像を含んでおり、前記ユーザ端末装置に送信するデータが前記第１画像の使用可否を示す合否判定情報を含んでいる。

本発明の第８態様は、上記第７態様の色対応情報生成システムにおいて、前記物体認識部が、前記第１物体と、前記物体データベースに登録されている各物体の認識情報との類似度を算出し、当該類似度が所定の条件を満たす複数の認識情報に一対一対応するサムネイル画像をそれぞれ生成し、前記ユーザ端末装置に送信するデータが、前記類似度とサムネイル画像とを含んでおり、前記ユーザ端末装置から受信するデータが、前記サムネイル画像のいずれを選択したかを示す指定情報を含み、前記物体認識部が、前記指定情報に対応した前記認識情報の物体を選択する。

本発明の第９態様は、上記第８態様の色対応情報生成システムにおいて、前記ユーザ端末装置に送信するデータが、前記画像領域を示す情報である画像領域情報を含む。

本発明の第１０態様は、上記第５態様の色対応情報生成システムにおいて、ユーザが所有するユーザ端末装置とネットワークを介して接続され、データの送受信を前記ネットワークを介して前記ユーザ端末装置と行い、前記ユーザ端末装置から受信する前記データが前記第１画像を含んでおり、前記ユーザ端末装置に送信するデータが前記第１画像の使用可否を示す合否判定情報を含んでおり、前記再現色域判定部が、前記再現色充足率が所定の閾値未満である場合、前記合否判定情報に否を示す情報を設定する。

本発明の第１１態様は、上記第１態様の色対応情報生成システムにおいて、ユーザが所有するユーザ端末装置とネットワークを介して接続され、データの送受信を前記ネットワークを介して前記ユーザ端末装置と行い、前記ユーザ端末装置から受信する前記データが前記第１画像を含んでおり、前記ユーザ端末装置に送信するデータが前記再現色充足率を含んでいる。

本発明の第１２態様は、上記第７態様の色対応情報生成システムにおいて、前記第１色特性情報を、所定の条件に対応させて、前記色情報である第１色情報に変換し、前記第１色情報により再現可能な色域の所定の標準とする色域に対する割合であるカバー率を生成し、当該カバー率が所定の閾値未満か否かの判定を行なう再現色域判定部をさらに備え、前記再現色域判定部が、前記カバー率が所定の閾値未満である場合、前記合否判定情報に否を示す情報を付加する。

本発明の第１３態様は、上記第７態様の色対応情報生成システムにおいて、前記第１色特性情報を、所定の条件に対応させて、前記色情報である第１色情報に変換し、前記第１色情報により再現可能な色域の所定の標準とする色域に対する割合であるカバー率を生成する再現色域判定部をさらに備え、前記ユーザ端末装置に送信するデータが前記カバー率を含んでいる。

本発明の第１４態様は、上記第７、第１０または第１２態様のいずれか一項に記載の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、前記コンピュータに、前記色対応情報生成システムに前記第１画像を送信するステップ、前記色対応情報生成システムから前記合否判定情報を受信するステップを実行させる。

本発明の第１５態様は、上記第１４態様のプログラムにおいて、前記コンピュータに、前記合否判定情報が否を示している場合、前記第１画像における第１物体とはことなる物体を新たに加えて撮影することをユーザに対して勧告するステップを実行させる。

本発明の第１６態様は、上記第８態様の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、前記コンピュータに、前記色対応情報生成システムから前記第１物体と類似する候補物体の画像のサムネイル画像と、当該候補物体と第１物体との類似度情報とを受信するステップ、前記サムネイル画像と当該サムネイル画像に対応する前記候補物体の類似度とをユーザに提示するステップ、前記候補物体のいずれを選択したかを示す指定情報を前記色対応情報生成システムに送信するステップを実行させる。

本発明の第１７態様は、上記第９態様の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、前記コンピュータに、前記色対応情報生成システムから前記第１物体の前記画像領域を受信するステップ、前記第１画像において前記画像領域の示す範囲をマーキングしてユーザに提示するステップを実行させる。

本発明の第１８態様は、上記第１１態様の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、前記コンピュータに、前記色対応情報生成システムから前記再現色充足率を受信するステップと、前記再現色充足率をユーザに提示するステップを実行させる。

本発明の第１９態様は、上記第１３態様の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、前記コンピュータに、前記色対応情報生成システムから前記カバー率を受信するステップと、前記カバー率をユーザに提示するステップを実行させる。

本発明の第２０態様は、上記第７態様の色対応情報生成システムとユーザが所有するユーザ端末装置とによる色対応情報生成方法であり、前記色対応情報生成システムが前記ユーザ端末装置とネットワークを介して接続され、データの送受信を前記ネットワークを介して前記ユーザ端末装置と行ない、前記色対応情報生成システムが前記ユーザ端末装置から受信する前記データには前記第１画像が含まれており、前記色対応情報生成システムが前記ユーザ端末装置に送信するデータには、前記第１画像の使用可否を示す合否判定情報、前記第１画像中の前記第１物体に対応する領域内の各画素の画素値がＲＧＢ空間内に張る部分空間に対し、前記第１画像または前記第２画像中の前記第２物体に対応する領域の各画素の画素値が含まれる割合である再現色充足率、前記第１色特性情報を所定の条件に対応させて変換した第１色情報により再現可能な色域の所定の標準とする色域に対する割合であるカバー率のいずれかが含まれている。

本発明の第２１態様は、上記第２０態様に記載の色対応情報生成方法であり、前記物体認識部が、前記第１物体と、前記物体データベースに登録されている各物体の認識情報との類似度を算出し、当該類似度が所定の条件を満たす複数の認識情報に一対一対応するサムネイル画像をそれぞれ生成し、前記色対応情報生成システムが、前記類似度とサムネイル画像とを含んだデータを前記ユーザ端末装置に送信し、前記ユーザ端末装置が、前記色対応情報生成システムから受信した、前記第１物体と類似する候補物体の画像のサムネイル画像と、当該候補物体と第１物体との類似度情報をユーザに提示し、前記ユーザ端末装置が、前記サムネイル画像のいずれを選択したかを示す指定情報を含むデータを前記色対応情報生成システムに送信し、前記物体認識部が、前記指定情報に対応した前記認識情報の物体を選択する。

本発明の第２２態様は、上記第２０または第２１態様に記載の色対応情報生成方法であり、前記色対応情報生成システムが、前記画像領域を示す情報である画像領域情報を含むデータを前記ユーザ端末装置に送信し、前記ユーザ端末装置が、像領域情報を含むデータを受信し、前記第１画像において前記画像領域の示す範囲をマーキングしてユーザに提示する。

以上説明したように、本発明によれば、ユーザが指定チャートを有している必要が無く、撮像時の光源の環境光や撮像デバイスの特性に依存せずに、光源の分光エネルギー分布を計測する特別な計測器を有さずとも所定の光源の環境光下における実物の色の見えに近い画面表示を実現する色対応情報生成システム、プログラム及び色対応情報生成方法を提供することが可能となる。

本発明の第１の実施形態による色対応情報生成システムの構成例を示すブロック図である。 色補正用物体データベース１２に予め書き込まれている色補正用物体テーブルの構成例を示す図である。 図１の色対応情報生成システム１における画像補正サーバ１１の第１の実施形態の構成例を示すブロック図である。 画像補正サーバ１１による撮像画像から基準光源の環境光下で撮像された撮像画像を生成する流れを説明する概念図である。 再現色域判定部６４が算出する再現色充足率及び色域カバー率を説明する概念図である。 本実施形態による画像補正ステムによる提示側の撮像画像から基準光源の環境光下で撮像された撮像画像を生成する処理の動作を示すフローチャートである。 本発明の第２の実施形態による色対応情報生成システムの構成例を示すブロック図である。 図７の色対応情報生成システム１Ａにおける画像補正サーバ１１Ａの第２の実施形態の構成例を示すブロック図である。 画像補正サーバ１１Ａによる撮像画像から分光画像を生成する流れを説明する概念図である。 再現色域判定部７５が算出する再現色充足率及び色域カバー率を説明する概念図である。 本実施形態による色対応情報生成システムによる提示側の撮像画像の分光画像を生成する処理の動作例を示すフローチャートである。 本実施形態による色対応情報生成システムによる表示側における分光画像から表示画像を生成する処理の動作例を示すフローチャートである。 本実施形態による色対応情報生成システムによる表示側における対象物の基準ＲＧＢ画像から表示画像を生成する処理の動作例を示すフローチャートである。 色補正用物体データベース１２の色補正用物体テーブルにおける分光反射率の推定方法を説明する概念図である。

本発明においては、色補正用物体の標準光源の環境光下で撮像されたＲＧＢ画像（以下、基準ＲＧＢ画像という）に基づいて撮像画像を補正する方法と、色補正用物体の分光反射率に基づいて撮像画像を補正する方法との、以下に示す第１の実施形態及び第２の実施形態の２つの実施形態について記述する。
また、以下の説明において、撮像画像２０として、色補正用物体と、色対応情報を作成する対象の被写体（色補正用物体とは異なる物体であり、例えば、後述する対象物Ｔ、すなわち第２物体）とがともに同一の画像として撮像されている場合を例に説明している。しかしながら、撮像画像２０として色補正用物体を撮像しておき、この撮像画像２０を撮像した光源と同一（あるいは同様）の光源の環境下で撮像した他の画像（第２画像）における被写体（例えば、後述する対象物Ｔ、すなわち第２物体）に対する色対応情報を作成し、この他の画像に対する分光反射率や基準ＲＧＢなどの色特性情報の推定、及び色変換マトリクスや光源の分光エネルギー分布及び撮像装置の分光感度特性の組合せなどの色特性情報の生成を行なうこととしても良い。ここで、撮像画像２０（第１画像）における色補正用物体以外の領域（背景を含め）あるいは他の画像（第２画像）全て、あるいは撮像画像２０及び他の画像の一部に対応する被写体が第２物体の一例である。この一部とは、色補正用物体を含まない画像領域（ピクセル単体を含む）、あるいはユーザが選択した第２物体の存在する画像領域、撮像画像２０あるいは他の画像における物体の画像領域を抽出する輪郭抽出の処理を行い、抽出された画像領域である。

第１の実施形態においては、色補正用物体の基準ＲＧＢ画像（第１色特性情報）に基づいた撮像画像の補正方法は、色補正用物体の分光反射率を使用しないため、分光反射率を測定するための機材を必要せず、容易に撮像画像を基準ＲＧＢ画像（第２色特性情報）に変換することを可能とする。
また、任意の撮影条件（カメラの感度特性等）及び表示条件（ディスプレイの表示特性等）において、撮影対象の測色値と表示画像の測色値が一致する際の画素値同士の対応関係が既知であれば、当該撮影条件下で撮影した色補正用物体の画像と上記撮像画像の基準ＲＧＢ画像とから、当該表示条件に基づいて表示した際に、対象物Ｔの色の見えを再現する画像を生成（色情報推定）することが可能となる。以下、第１の実施形態の色情報推定において当該対応関係は既知であるとして説明を行う。
また、第１色特性情報として、上述した基準ＲＧＢ画像ではなく、単一の基準色（例えば、ＲＧＢ値）または複数の基準色（例えば、ＲＧＢ値の複数の組合せ）の色情報を用いても良い。

また、第２の実施形態においては、色補正用物体の分光画像（第１色特性情報）に基づいた撮像画像の補正方法は、撮像画像の分光画像（第２色特性情報）を生成することを可能とする。
また、任意の表示条件（ディスプレイの表示特性等）について、当該表示条件に基づく画素値と測色値との対応関係が既知であれば、当該表示条件に基づいて表示した際に、任意の光源の環境光下での対象物Ｔの色の見えを基準色情報を用いた補正方法より高精度に再現する画像を生成することが可能となる。以下、第２の実施形態において当該対応関係は既知であるとして説明を行う。
また、第１色特性情報としては、上述した色補正用物体の分光画像ではなく、単一または複数の分光反射率を用いても良い。

以下、図１における色対応情報生成システムの構成例について、図面を参照して説明する。
図１は、本発明の第１の実施形態による色対応情報生成システム構成例を示すブロック図である。

図１において、色対応情報生成システム１は、画像補正サーバ１１及び色補正用物体データベース１２を備えている。また、色対応情報生成システム１は、ネットワーク５を介して、ユーザ端末装置２－１及びユーザ端末装置２－２と通信可能に接続されている。色対応情報生成システム１は、任意の光源下で撮像された、提示側における対象物（撮像対象物）の撮像画像の基準ＲＧＢ画像を生成し（後述の第１の実施形態）、参照側に対して生成した基準ＲＧＢ画像から参照側の環境における上記対象物の色の見えを再現した画像を供給する処理を行う。
ここで、ネットワーク５は、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。

ユーザ端末装置２－１及びユーザ端末装置２－２の各々は、ユーザが使用するネットワーク端末であり、例えばパーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末などである。また、ユーザ端末装置２－１及びユーザ端末装置２－２には、画像共有アプリケーションがインストールされる。画像共有アプリケーションは、例えば、ユーザがスマートフォンのカメラを使って撮像した対象物Ｔの撮像画像を、他のユーザと共有することができるアプリケーションソフトウェアである。画像共有アプリケーションが動作するユーザ端末装置では、例えば、商品として出品した対象物Ｔの撮像画像を他のユーザと共有し、その対象物Ｔの撮像画像を見て気に入った他のユーザに対し、ユーザが商品を販売することができる。

撮像装置３－１は、ユーザ端末装置２－１に接続された撮像機能を有する機器であり、例えばデジタルカメラ、ユーザ端末装置２－１が持つ撮像機能などである。同様に、撮像装置３－２は、ユーザ端末装置２－２に接続された撮像機能を有する機器であり、例えばデジタルカメラ、ユーザ端末装置２－２が持つ撮像機能などである。
表示装置４－１は、ユーザ端末装置２－１に接続された表示機能を有する機器であり、例えば液晶ディスプレイ、ユーザ端末装置２－１が持つ表示機能などである。同様に、表示装置４－２は、ユーザ端末装置２－２に接続された表示機能を有する機器であり、例えば液晶ディスプレイ、ユーザ端末装置２－２が持つ表示機能などである。

色補正用物体データベース１２には、本実施形態において色票の代わりに使用する色補正用物体の色特性情報及び物体認識情報の各々が予め書き込まれて記憶されている。
本実施形態において、色補正用物体データベース１２に登録された色補正用物体の少なくとも一部は色票と異なる物体である。この色票と異なる物体は、例えば、一般に流通している（ユーザが入手可能な）商品の容器、パッケージ、外観、ラベル及びポスターなどのいずれかであり、かつ単色あるいは複数の色を有する印刷物である。
また、色補正用物体には、バーコードやＱＲコード（登録商標）等の画像認識可能なコードが一つまたは複数設けられていても良い。

図２は、色補正用物体データベース１２に予め書き込まれている色補正用物体テーブルの構成例を示す図である。色補正用物体テーブルは、レコード毎に、色補正用物体識別情報、第１色特性情報及び物体認識情報の各々の項目が記載されている。物体認識情報は、認識情報の一例である。
ここで、色補正用物体識別情報は、色補正用物体の各々を個別に識別するための識別情報である。第１色特性情報は、本発明の第１の実施形態においては、基準ＲＧＢ画像（第１物体の画像）であり、本発明の第２の実施形態においては、分光反射率とこの分光反射率を示す色補正用物体における位置（例えば、画素毎、画像における同一色の領域毎）を示す位置情報とから構成されている。
基準ＲＧＢ画像は、例えば標準光源には標準光源Ｄ５０や標準光源Ｄ６５などの特定のひとつの環境光下で撮像された画像である。また、標準光源は、特定のひとつの光源に統一されているならば任意の光源を使用してもよい。分光反射率は、製版データとベタ指定色の測色値とから推定される推定分光反射率（後述）でも良い。物体認識情報は、色補正用物体の画像情報、または形状及び色の特徴情報、または色補正用物体識別情報そのもののいずれかが用いられ、第１色特性情報である基準ＲＧＢ画像や分光画像（分光反射率）と一対一で対応している。また、例えば、物体認識情報が基準ＲＧＢ画像である場合、第１色特性情報はこの物体認識情報そのものであっても良い。

（第１の実施形態）
図３は、図１の色対応情報生成システム１における画像補正サーバ１１の第１の実施形態の構成例を示すブロック図である。図３において、画像補正サーバ１１は、撮像画像取得部６１、色補正用物体認識部６２、色補正マトリクス算出部６３、再現色域判定部６４、基準ＲＧＢ画像生成部６５及び記憶部６６の各々を備えている。

撮像画像取得部６１は、撮像画像を外部装置から入力し、一旦、記憶部６６に書き込んで記憶させる。例えば、撮像画像取得部６１は、ユーザ端末装置２－１から撮像装置３－１で撮像した撮像画像を入力し、記憶部６６に書き込む。本実施形態においては、ユーザ端末装置２－１が撮像画像を提示する提示側とし、ユーザ端末装置２－２が撮像画像を表示する表示側として説明する。

色補正用物体認識部６２は、撮像画像における色補正用物体の画像領域の認識処理を行い、撮像画像に含まれる色補正用物体の画像を抽出する。
このとき、色補正用物体認識部６２は、色補正用物体データベース１２における色補正用物体テーブルを参照し、物体認識情報を読み出して、この物体認識情報に対応する画像を撮像画像において抽出する。ここで、物体認識情報が色補正用物体の画像（テンプレート画像）である場合、色補正用物体認識部６２は、色補正用物体の認識率として、撮像画像における輪郭抽出した画像と、テンプレート画像との類似度を求める。一方、物体認識情報が色補正用物体の特徴情報（形状及び色などの特徴）である場合、撮像画像における輪郭抽出した画像から特徴情報を抽出し、色補正用物体テーブルにおける特徴情報と比較し、類似度の算出を行う。また、色補正用物体認識部６２は、撮像画像中にバーコードやＱＲコード（登録商標）等の画像認識可能なコードが撮像されている場合、これを検出してもよく、さらにこの検出結果を類似度の算出及び色補正用物体の画像の抽出のために利用してもよい。この場合、上記コードは予め色補正用物体に一つまたは複数設けられており、例えば、前記コードが予め色補正用物体識別情報に紐付けられていれば、上記検出結果から前記コードに紐づいた色補正用物体に対応する類似度を最大とすることが可能である。また、色補正用物体の形状と上記コードとの位置関係が既知であれば、撮像画像中の上記コードの形状及び位置関係（複数の場合）をもとに撮像画像から色補正用物体の画像を抽出することも可能である。上記コードを用いた類似度の算出及び色補正用物体の画像の抽出の方法は、他の方法（例えば、前述のテンプレート画像や特徴情報を用いた方法）と併用してもよいし、いずれか一つのみ利用してもよい。

また、色補正用物体認識部６２は、表示装置４－１の表示画面に表示されている撮像画像において、輪郭抽出して色補正用物体と認識された画像の輪郭にマークを表示する。
図４は、画像補正サーバ１１による撮像画像から基準ＲＧＢ画像を生成する流れを説明する概念図である。

図４（ａ）は、第１光源７０１の環境光下において、対象物Ｔとともに色補正用物体３０及び４０の各々を、撮像装置３－１で撮像した撮像画像２０を示している。すなわち、撮像画像２０は、対象物Ｔの画像、色補正用物体３０及び４０の各々が含まれた一枚の撮像画像である。また、撮像画像２０は、第１画像の一例である。この撮像画像２０に撮像されている被写体の全て（ただし、第１物体である色補正用物体の画像の領域は除く）、あるいは一部、またはユーザが選択した画像領域、輪郭抽出された画像領域に対応する被写体が第２物体である。

図４（ｂ）は、表示装置４－１の表示画面２１に対して表示された、対象物Ｔの画像ＴＧと、色補正用物体３０及び４０の各々の画像３１、４１を示している。また、画像３１、４１の各々の近傍には、色補正用物体認識部６２が算出した類似度１７１、１８１それぞれが表示される。また、画像３１、４１はそれぞれ輪郭がマーク（例えば、輪郭線が示されるなど）される。

図４（ｃ）は、図４（ｂ）の表示に加え、選択された色補正用物体の基準ＲＧＢ画像に基づく色域カバー率や再現色充足率の数値５１が表示される。上記基準ＲＧＢ画像は、第１色特性情報の一例である。

図４（ｄ）は、色補正マトリクス算出部６３が生成する色補正マトリクス１００（後述）を示している。色補正マトリクスは、色対応情報の一例である。

図４（ｅ）は、撮像画像２０と色補正マトリクス１００とから、対象物Ｔの標準光源の環境光下での色の見えを再現した画像（第２色特性情報）を示している。

図４（ｆ）は、何れの色補正用物体を色補正マトリクスの推定に用いるかをユーザが選択することを示している。

図４（ｇ）は、選択した色補正用物体の候補群（色補正用物体の画像３１＿１、３１＿２、３１＿３）の表示画面２１における表示を示している。

図４（ｈ）は、図４（ｇ）において、色補正用物体の候補群からユーザがいずれかを選択することにより、画像３１に対応する色補正用物体が特定されたことをユーザに示すため、画像３１にマークされた輪郭を強調（例えば、輪郭線の色を変えたり太くしたりする等）する表示を示している。

図３に戻り、色補正用物体認識部６２は、図４（ｂ）に示すように、撮像画像２０をユーザ端末装置２－１に対して送信する。ユーザ端末装置２－１は、受信した撮像画像２０を、表示装置４－１の表示画面２１に表示する。また、色補正用物体認識部６２は、求めた色補正用物体３０及び４０の各々の類似度１７１、１８１及び、各々の輪郭（画像領域を示す情報）も、撮像画像２０とともにユーザ端末装置２－１に対して送信する。ユーザ端末装置２－１は、上記表示画面２１の撮像画像２０において、色補正用物体３０及び４０の各々の類似度１７１、１８１それぞれを、輪郭がマーク（例えば、輪郭線が示されるなど）された画像３１、４１の近傍に表示する。
なお、撮像画像２０がユーザ端末装置２－１に記憶されている場合、色補正用物体認識部６２はユーザ端末装置２－１に対して、類似度と輪郭だけ送信してもよい。
また、色補正用物体認識部６２は、撮像画像の色補正用物体の画像と、色補正用物体データベース１２における色補正用物体テーブルのテンプレート画像とを比較して類似度を求めた際、例えば所定の類似度閾値未満である場合、図４（ｆ）に示すように、いずれの色補正用物体の画像の候補を表示するかを、ユーザに対して選択させる。

そして、色補正用物体認識部６２は、選択された色補正用物体の画像３１と所定の範囲の類似度を有する複数の色補正用物体のテンプレート画像を、色補正用物体の候補として、ユーザ端末装置２－１に対して送信する。ユーザ端末装置２－１は、図４（ｇ）のように表示装置４－１の表示画面２１に対して表示する。これにより、例えば、図４（ｇ）に示すように、ユーザが画像３１＿２を選択した場合、ユーザ端末装置２－１は、画像３１＿２が指定されたことを示す指定情報を、色対応情報生成システム１に対して送信する。色補正用物体認識部６２は、撮像画像における色補正用物体の画像３１が画像３１＿２に対応するとして、この画像３１＿２に対応する基準ＲＧＢ画像を用いる。同様に、図４（ｆ）における色補正用物体の画像４１も上述と同様の処理を行い、色補正に用いる画像４１の基準ＲＧＢ画像を抽出する。

色補正マトリクス算出部６３は、色補正用物体データベース１２の色補正用物体テーブルを参照し、使用することとなった色補正用物体に対応する基準ＲＧＢ画像を読み出す。
そして、色補正マトリクス算出部６３は、以下の（１）式を用いて、色補正用物体データベース１２から読み出した色補正用物体の基準ＲＧＢ画像の画素値が解となるように、撮像画像の画素値から、色補正マトリクスＭを重回帰分析などにより算出する。
（１）式において、Ｒ、Ｇ及びＢの各々は、色補正用物体データベース１２から読み出した色補正用物体の基準ＲＧＢ画像のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色成分毎の画素値である。また、Ｒ’、Ｇ’、Ｂ’の各々は、撮像画像から認識された色補正用物体のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色成分毎の画素値である。Ｍは、第１光源７０１の環境光下で撮像された撮像画像の画素値を、基準光源７００の環境光下で撮像された撮像画像の画素値に変換する３×３行列であり、（２）式のように表すことができる。

再現色域判定部６４は、撮像画像中の色補正用物体の領域の各画素の画素値で張られる部分空間（ＲＧＢ座標系における部分空間）を求める。そして、再現色域判定部６４は、撮像画像全体または撮像画像中の対象物Ｔの領域から画素値を取得し、この画素値が上記部分空間に含まれる率（割合）として再現色充足率を算出する。すなわち、上記再現色充足率は撮像画像中の色補正用物体から求まるＲＧＢ座標系における部分空間に、撮像画像全体または対象物Ｔの領域中の画素値が含まれる割合である。また、再現色域判定部６４は、算出した再現色充足率をユーザ端末装置２－１または２－２の各々に送信し、表示装置４－１、４－２それぞれが再現色充足率を表示することで通知する。

また、再現色域判定部６４は、標準的なｓＲＧＢやＡｄｏｂｅＲＧＢなどの色域（色空間）内において、色補正用物体に対応する基準ＲＧＢ画像から算出される再現色域が占める割合、すなわち色域カバー率を算出する。また、再現色域判定部６４は、算出した色域カバー率をユーザに提示する。

図５は、再現色域判定部６４が算出する再現色充足率及び色域カバー率を説明する概念図である。
図５（ａ）は、再現色充足率を説明する色成分Ｒ軸、色成分Ｇ軸及び色成分Ｂ軸からなる３次元空間のＲＧＢ座標系を示す図である。図５（ａ）には、再現色域判定部６４が生成した部分空間４１０の立体形状が示されている。
再現色点４１１、４１２及び４１３の各々は、部分空間４１０に含まれている画素値の座標を示している。一方、再現色点４２１、４２２及び４２３の各々は、部分空間４１０に含まれていない画素値の座標を示している。この場合、画素値が６点あり、部分空間４１０に含まれている画素値が３点あるため、再現色充足率としては、５０．０％（（３／６）×１００）となる。

図５（ｂ）は、色域カバー率を説明するＬ^＊ａ^＊ｂ^＊座標系を示す図である。再現色域４３１は、色補正用物体の基準ＲＧＢ画像から、各画素の測色値を算出し、Ｌ^＊ａ^＊ｂ^＊空間に配置することにより構成される。色域カバー率は、標準的な色空間４３０に含まれている再現色域４３１の部分が、標準的な色空間４３０の体積に占める割合を示している。例えば、色空間４３０の体積が５０（任意単位）であり、色空間４３０に含まれる再現色域４３１の部分の体積が３０であれば、色域カバー率は、６０％（（３０/５０）×１００）となる。

基準ＲＧＢ画像生成部６５は、色補正マトリクス算出部６３で算出した色補正マトリクスを用い、撮像画像取得部６１で取得した撮像画像から、対象物Ｔを基準光源の環境下で撮像した場合の色の見えを再現した画像である基準ＲＧＢ画像（第２色特性情報）を生成する。

記憶部６６は、画像補正サーバ１１において処理される撮像画像及び色補正マトリクスなどのデータを一時的に記憶する。

次に、図６は、本実施形態による色対応情報生成システムによる撮像画像から標準光源（基準光源７００）の環境光下での撮像画像を生成する処理の動作例を示すフローチャートである。以下、図１、図２、図４及び図６を用いて、色対応情報生成システムによる撮像画像から標準光源の環境光下での撮像画像を生成する処理を説明する。

ステップＳ１０１：
ユーザが撮像装置３－１により、図４（ａ）に示すように、撮像画像２０を撮像し、ユーザ端末装置２－１により撮像画像２０を、画像補正サーバ１１に対して、ネットワーク５を介して送信する。

ステップＳ１０２：
撮像画像取得部６１は、撮像画像２０を入力し、記憶部６６に書き込んで記憶させる。
色補正用物体認識部６２は、撮像画像２０における各画像の輪郭抽出を行い、輪郭内における画像を抽出する。そして、色補正用物体認識部６２は、テンプレート画像との比較、あるいは特徴量の各々の比較により、それぞれ類似度を算出する。

ステップＳ１０３：
色補正用物体認識部６２は、抽出した画像の各々の類似度が予め設定されている類似度閾値以上であるか否か、すなわち色補正用物体データベース１２の色補正用物体テーブルに登録されている色補正用物体が撮像画像２０に含まれているか否かの判定を行う。
このとき、色補正用物体認識部６２は、抽出した画像の各々なかに類似度が予め設定されている類似度閾値以上である画像が存在する場合、色補正用物体が撮像画像２０に含まれていると判定し、処理をステップＳ１０４へ進める。一方、色補正用物体認識部６２は、抽出した画像の全ての類似度が予め設定されている類似度閾値未満である場合、色補正用物体が撮像画像２０に含まれていないと判定し、処理をステップＳ１１５へ進める。

ステップＳ１０４：
色補正用物体認識部６２は、撮像画像２０に含まれている色補正用物体（第１物体）の画像と認識した画像（３１、４１）の輪郭（画像領域を示す情報）を、ユーザ端末装置２－１に対して送信する。ユーザ端末装置２－１は、図４（ｂ）に示すように所定の太さの線によりマーキング（画像領域情報の一例）し、この認識した画像の近傍に類似度（１７１、１８１）を表示装置４－１の表示画面２１に表示する。

ステップＳ１０５：
再現色域判定部６４は、撮像画像２０中の色補正用物体の領域の各画素の画素値で張られる部分空間を求める。そして、再現色域判定部６４は、撮像画像２０の全体または対象物Ｔの領域における各画素の画素値が上記部分空間に含まれる割合である再現色充足率を算出する。
また、再現色域判定部６４は、撮像画像２０に複数の色補正用物体が撮像されている場合において、撮像画像２０中の当該複数の色補正物体の領域の各画素の画素値で張られる部分空間のそれぞれを合成した空間をもとに再現色充足率を算出する構成としてもよい。

ステップＳ１０６：
そして、再現色域判定部６４は、求めた再現色充足率が予め設定されている充足率閾値以上であるか否かの判定を行う。
このとき、再現色域判定部６４は、再現色充足率が予め設定されている充足率閾値以上であり、再現色域が色を再現する範囲として十分である場合、処理をステップＳ１０７へ進める。一方、再現色域判定部６４は、再現色充足率が予め設定されている充足率閾値未満であり、再現色域が色を再現する範囲として十分でない場合、処理をステップＳ１１５へ進める。
再現色域判定部６４は、再現色充足率が充足率閾値以上である場合、再現色域が色の再現に十分であると判定するように構成しても良い。
また、再現色域判定部６４は、ユーザ端末装置２－１、２－２に対して、再現色充足率を送信し、再現色充足率が十分か否かをユーザに判断させる構成としても良い。このとき、再現色域判定部６４は、ユーザ端末装置２－１、２－２から受信するユーザの合否判定を合否判定情報（不可、可のいずれか）として用いる。

ステップＳ１０７：
色補正用物体認識部６２は、抽出された画像の類似度が所定の数値幅である色補正用物体のテンプレート画像あるいは特徴量を有する色補正用物体が複数存在する場合、この数値幅に含まれる類似度を有する色補正用物体を手動で選択するか否かを、表示装置４－１の表示画面２１に対して表示しユーザに選択させる。
このとき、色補正用物体認識部６２は、ユーザが手動での選択を行わないことを選択した場合、処理をステップＳ１０８へ進める。一方、色補正用物体認識部６２は、ユーザが手動での選択を行うことを選択した場合、処理をステップＳ１１３へ進める。

ステップＳ１０８：
色補正用物体認識部６２は、撮像画像２０における色補正用物体の画像毎に、当該画像と最も類似度の高い色補正用物体それぞれを色補正用テーブルから抽出する。

ステップＳ１０９：
色補正マトリクス算出部６３は、色補正用物体認識部６２が抽出した色補正用物体の基準ＲＧＢ画像を、色補正用物体データベース１２を参照して色補正用テーブルから読み出す。
そして、色補正マトリクス算出部６３は、上述したように（１）式を用いて、色補正用物体に対応する基準ＲＧＢ画像の画素値が解となるように、撮像画像２０における色補正用物体の画素値から、色補正マトリクスを重回帰分析などにより算出する。

ステップＳ１１０：
再現色域判定部６４は、標準的な色空間に対して、色補正用物体に対応する基準ＲＧＢ画像から算出される再現色域が占める割合である色域カバー率を算出する。
また、当該複数の色補正用物体の各々に対応する基準ＲＧＢ画像から再現される色域のそれぞれを合成した再現色域から色域カバー率を算出する構成としてもよい。

ステップＳ１１１：
そして、再現色域判定部６４は、求めた色域カバー率が予め設定されているカバー率閾値以上であるか否か、すなわち再現色域が撮像画像２０の各画素の色を再現する範囲として十分か否かの判定を行う。
このとき、再現色域判定部６４は、色域カバー率が予め設定されている充足率閾値以上である場合、処理をステップＳ１１２へ進める。一方、再現色域判定部６４は、色域カバー率が予め設定されているカバー率閾値未満である場合、処理をステップＳ１１５へ進める。
また、再現色域判定部６４は、ユーザ端末装置２－１、２－２に対して、色域カバー率を送信し、色域カバー率が十分か否かをユーザに判断させる構成としても良い。このとき、再現色域判定部６４は、ユーザ端末装置２－１、２－２から受信するユーザの合否判定を合否判定情報（不可、可のいずれか）として用いる。

ステップＳ１１２：
基準ＲＧＢ画像生成部６５は、撮像画像と、色補正マトリクスとにより、基準光源７００の環境光下で撮像された時の色を再現した画像を生成する。基準ＲＧＢ画像生成部６５は、生成した表示画像をユーザ端末装置２－１に対して送信してもよい。

ステップＳ１１３：
色補正用物体認識部６２は、図４（ｆ）に示すように、画像３１、４１のいずれの色補正用物体の画像の候補を表示するかを、ユーザに対して選択させる。
そして、色補正用物体認識部６２は、選択された色補正用物体の画像３１と所定の範囲の類似度を有する複数の色補正用物体の画像３１＿１、３１＿２及び３１＿３の各々を、色補正用物体の候補（候補群）として、図４（ｇ）のように、ユーザ端末装置２－１の表示装置４－１の表示画面２１に対して表示する。ここで、色補正用物体認識部６２は、上記候補の各々に対して一対一対応するサムネイル画像を生成し、このサムネイル画像のそれぞれと、色補正用物体認識部６２が算出した各候補の類似度とをユーザ端末装置２－１に送信する。
そして、ユーザ端末装置２－１は、表示装置４－１の表示画面２１に対して、受信したサムネイル画像の各々と、それぞれのサムネイル画像に対応する候補の類似度とを組み合わせて表示させる。

ステップＳ１１４：
そして、ユーザが候補から色補正用物体の画像を選択すると、ユーザ端末装置２－１は、ユーザが選択したサムネイル画像を示す情報、すなわち候補である複数のサムネイル画像のいずれを指定したかを示す指定情報を色補正用物体認識部６２に送信する。
ユーザ端末装置２－１から、ユーザが選択したサムネイル画像を示す指定情報が入力された場合、色補正用物体認識部６２は、他の種類の色補正用物体の候補の画像を表示装置４－１の表示画面２１に表示し、順次、撮像画像２０における色補正用物体を選択し、基準ＲＧＢ画像を抽出する。
なお、上述の構成においてサムネイル画像の代わりに色補正用物体に一対一で対応する文字列（例えば、商品名）を用いても良い。

ステップＳ１１５：
色補正用物体認識部６２は、色補正用物体が撮像画像２０に含まれていないと判定した場合、または、再現色充足率が所定の閾値未満の場合、または、色域カバー率が所定の域値未満の場合、ユーザに対して、現時点において撮像画像２０が色対応情報の生成に利用できないことを示す情報（否を示す合否判定情報）をユーザ端末装置２－１に対して送信する。
ユーザ端末装置２－１は、色補正用物体認識部６２から否を示す合否判定情報を受信した場合、他の種類の色補正用物体を追加することを促す表示を、表示装置４－１の表示画面２１に表示して、ユーザに対して他の種類の色補正用物体を追加することを通知する。
これにより、ユーザは、現時点において対象物Ｔと共に撮像されている色補正用物体に加えて、他の種類の色補正用物体を追加する。
また、色補正用物体認識部６２は、色補正用物体の画像３１または画像４１のいずれとも、類似度が所定の範囲に含まれている画像を、色補正用物体データベース１２において検索できない場合、所定の範囲に含まれていないが最も高い類似度ととともに、不可の情報（否を示す合否判定情報）をユーザ端末装置２－１に送信しても良い。
そして、ユーザ端末装置２－１は、表示装置４－１の表示画面２１に類似度を表示する。ここで、ユーザは、表示装置４－１における類似度を参照し、色補正用に用いても良いか否かを判定して、判定結果をユーザ端末装置２－１から色対応情報生成システム１に対して送信する。

（第２の実施形態）
図７は、本発明の第２の実施形態による色対応情報生成システムの構成例を示すブロック図である。図７において、色対応情報生成システム１Ａは、画像補正サーバ１１Ａ、色補正用物体データベース１２及び分光感度特性データベース１３の各々を備えている。また、色対応情報生成システム１Ａは、図１の色対応情報生成システム１と同様、ネットワーク５を介して、ユーザ端末装置２－１及びユーザ端末装置２－２と通信可能に接続されている。色対応情報生成システム１Ａは、任意の光源下で撮像された、提示側における対象物（撮像対象物）の撮像画像の分光画像を生成し（後述の第２の実施形態）、参照側に対して生成した分光画像から参照側の環境における上記対象物の色の見えを再現した画像を供給する処理を行う。画像補正サーバ１１Ａについては後述する。色補正用物体データベース１２は、図１の色対応情報生成システム１と同様である。分光感度特性データベース１３は、使用される撮像装置（例えば、撮像装置３－１，３－２）の分光感度特性が既知である場合に、撮像装置の装置識別情報（例えば、機種情報）と分光感度特性とが対応した分光感度特性テーブルが書き込まれて記憶されている。分光エネルギー分布推定部７３（後述）が色対応情報として、光源の分光エネルギー分布と撮像装置の分光感度特性とを用いる場合、上記分光感度特性データベース１３の分光感度特性テーブルを参照し、使用された撮像装置の機種に対応する分光感度特性を読み出し、読み出した分光感度特性を用いる。

図８は、図７の色対応情報生成システム１Ａにおける画像補正サーバ１１Ａの構成例を示すブロック図である。図８において、画像補正サーバ１１Ａは、撮像画像取得部７１、色補正用物体認識部７２、分光エネルギー分布推定部７３、分光画像生成部７４、再現色域判定部７５、表示画像生成部７６及び記憶部７７の各々を備えている。

撮像画像取得部７１は、撮像画像を外部装置から入力し、一旦、記憶部７７に書き込んで記憶させる。例えば、撮像画像取得部７１は、ユーザ端末装置２－１から撮像装置３－１で撮像した撮像画像を入力し、記憶部７７に書き込む。本実施形態においては、ユーザ端末装置２－１が撮像画像を提示する提示側とし、ユーザ端末装置２－２が撮像画像を表示する表示側として説明する。

色補正用物体認識部７２は、撮像画像における色補正用物体の画像領域の認識処理を行い、撮像画像に含まれる色補正用物体の画像を抽出する。
このとき、色補正用物体認識部７２は、色補正用物体データベース１２における色補正用物体テーブルを参照し、物体認識情報を読み出して、この物体認識情報に対応する画像を撮像画像において抽出する。ここで、物体認識情報が色補正用物体の画像（テンプレート画像）である場合、色補正用物体認識部７２は、色補正用物体の認識率として、撮像画像における輪郭抽出した画像と、テンプレート画像との類似度を求める。一方、物体認識情報が色補正用物体の特徴情報（形状及び色などの特徴）である場合、撮像画像における輪郭抽出した画像から特徴情報を抽出し、色補正用物体テーブルにおける特徴情報と比較し、類似度の算出を行う。また、第１の実施例と同様、色補正用物体認識部６２は、バーコードやＱＲコード（登録商標）等の画像認識可能なコードを用いて類似度の算出及び色補正用物体の画像の抽出を行っても良い。

また、色補正用物体認識部７２は、表示装置４－１の表示画面に表示されている撮像画像において、輪郭抽出して色補正用物体と認識された画像の輪郭にマークを表示する。
図９、画像補正サーバ１１Ａによる撮像画像から分光画像を生成する流れを説明する概念図である。

図９（ａ）は、第１光源７０１の環境光下において、対象物Ｔとともに色補正用物体３０及び４０の各々を、撮像装置３－１で撮像した撮像画像２０を示している。すなわち、撮像画像２０は、対象物Ｔ、色補正用物体３０及び４０の各々が被写体として含まれた一枚の撮像画像である。第１光源７０１は、第１光源の一例である。また、撮像画像２０は、第１画像の一例である。この撮像画像２０における色補正用物体の画像領域を除いた残りの画像領域の全て、あるいは一部の画像領域に対応する被写体が第２物体の一例である。対象物Ｔは第２物体の一例である。また、すでに説明したが、撮像画像２０に色補正対象物体が撮像されており、撮像画像２０と同一の光源の環境下で撮像した他の撮像画像全体または一部に対応する被写体を第２物体とする場合もある。この場合、例えば、撮像画像２０には色補正用物体が撮像されており、一方、他の撮像画像には対象物Ｔが撮像されている。

図９（ｂ）は、表示装置４－１の表示画面２１に対して表示された、対象物Ｔの画像ＴＧと、色補正用物体３０及び４０の各々の画像３１、４１を示している。また、画像３１、４１の各々の近傍には、色補正用物体認識部７２が算出した類似度１７１、１８１それぞれが表示される。また、画像３１、４１はそれぞれ輪郭がマーク（例えば、輪郭線が示されるなど）される。

図９（ｃ）は、図９（ｂ）の表示に加え、選択された色補正用物体の分光反射率に基づく色域カバー率や再現色充足率の数値５１が表示される。分光反射率は、第１色特性情報の一例である。

図９（ｄ）は、分光画像生成部７４が生成する分光画像２００（後述）を示している。分光画像２００は、第２色特性情報の一例である。

図９（ｅ）は、分光画像２００から、第１光源７０１の分光エネルギー分布により生成（補正）した撮像画像２０に基づく表示画像を示している。光源の分光エネルギー分布と撮像装置３－１の分光感度特性とは、色対応情報の一例である。

図９（ｆ）は、何れの色補正用物体を分光エネルギー分布の推定に用いるかをユーザが選択することを示している。

図９（ｇ）は、選択した色補正用物体の候補群（色補正用物体の画像３１＿１、３１＿２、３１＿３）の表示画面２１における表示を示している。

図９（ｈ）は、図９（ｇ）において、色補正用物体の候補群からユーザがいずれかを選択することにより、画像３１に対応する色補正用物体が特定されたことをユーザに示すため、画像３１にマークされた輪郭を強調（例えば、輪郭線の色を変えたり太くしたりするなど）する表示を示している。

図８に戻り、色補正用物体認識部７２は、図９（ｂ）に示すように、撮像画像２０をユーザ端末装置２－１に送信する。ユーザ端末装置２－１は、表示装置４－１の表示画面２１に表示する。また、色補正用物体認識部７２は、求めた色補正用物体３０及び４０の各々の類似度１７１、１８１及び、各々の輪郭（画像領域を示す情報）も、撮像画像２０とともにユーザ端末装置２－１に対して送信する。ユーザ端末装置２－１は、上記表示画面２１の撮像画像２０において、色補正用物体３０及び４０の各々の類似度１７１、１８１それぞれを、輪郭がマーク（例えば、輪郭線が示されるなど）された画像３１、４１の近傍に表示する。
なお、撮像画像２０がユーザ端末装置２－１に記憶されている場合、色補正用物体認識部７２はユーザ端末装置２－１に対して、類似度と輪郭だけ送信してもよい。
また、色補正用物体認識部７２は、撮像画像の色補正用物体の画像と、色補正用物体データベース１２における色補正用物体テーブルのテンプレート画像とを比較して類似度を求めた際、例えば所定の類似度閾値未満である場合、図９（ｆ）に示すように、いずれの色補正用物体の画像の候補を表示するかを、ユーザに対して選択させる。

そして、色補正用物体認識部７２は、選択された色補正用物体の画像３１と所定の範囲の類似度を有する複数の色補正用物体のテンプレート画像を、色補正用物体の候補として、ユーザ端末装置２－１に送信する。ユーザ端末装置２－１は、図９（ｇ）のように表示装置４－１の表示画面２１に対して、色補正用物体の候補のテンプレート画像を表示する。例えば、図９（ｇ）に示すように、ユーザが画像３１＿２を選択した場合、ユーザ端末装置２－１は、画像３１＿２が指定されたことを示す指定情報を、色対応情報システム１に対して送信する。色補正用物体認識部７２は、撮像画像における色補正用物体の画像３１が画像３１＿２に対応するとして、この画像３２＿２に対応する分光反射率を用いる。同様に、図９（ｆ）における色補正用物体の画像４１も上述と同様の処理を行い、色補正に用いる画像４１の分光反射率を抽出する。

分光エネルギー分布推定部７３は、色補正用物体データベース１２の色補正用物体テーブルを参照し、使用することとなった色補正用物体に対応する分光反射率を読み出す。そして、分光エネルギー分布推定部７３は、以下の（３）式を用いて、撮像画像の画素値が解となるように、撮像装置の分光感度特性、色補正用物体の分光反射率から、光源の分光エネルギー分布を重回帰分析などにより算出する。上記説明において、撮像装置の分光感度特性が既知であることを前提としているが、光源の分光エネルギー分布と、撮像装置の分光感度を最適化の手法を用いて同時に推定する構成としても良い。また、光源の分光エネルギー分布の推定においては、あらかじめ一般的な光源の分光エネルギー分布から主成分ベクトルを算出し、これらベクトルの合成として光源の分光エネルギー分布を推定するように構成しても良い。
（３）式において、Ｒ、Ｇ、Ｂの各々は、撮像画像から認識された色補正用物体の画素値である。また、Ｓｋ（λ）は、撮像した撮像装置の分光感度特性（ｒλ１，…，ｒλｎ，ｇλ１，…，ｇλｎ，ｂλ１，…，ｂλｎ）である。Ｅ（λ）は、撮像した光源の分光エネルギー分布（推定値）である。Ｒ（λ）は、色補正用物体の分光反射率である。ｉは色の種類の数（色数）である。

分光画像生成部７４は、分光エネルギー分布推定部７３が推定した光源の分光エネルギー分布と、撮像装置の分光感度特性を用いて、撮像画像全体または対象物Ｔの領域における各画素の画素値（ＲＧＢデータ）から、各々に対応する分光反射率をメタマ推定法により推定する（長谷川 他、”メタマ推定に基づく、ＲＧＢ画像からの被写体測色値予測（第一報：理論）”、画像電子学会誌、ｖｏｌ．３８、ｐｐ．３６５－３７４、２００９を参照）。上記分光画像生成部７４は、色特性情報推定部の一例である。

そして、分光画像生成部７４は、撮像画像全体または対象物Ｔの領域における各画素の分光反射率を推定することにより、撮像画像から所定のサンプリング数（所定の波長幅を有するチャンネル数）の分光画像（離散分光画像）を生成する（特開２００６－０６０７７６号公報を参照）。
ここで、分光画像は、任意の光源の分光エネルギー分布により、この任意の光源の環境光下での撮像画像の色再現を行うために用いられる。

再現色域判定部７５は、撮像画像中の色補正用物体の領域の各画素の画素値で張られる部分空間（例えば、ＲＧＢ座標系における部分空間）を求める。そして、再現色域判定部７５は、撮像画像全体または撮像画像中の対象物Ｔの領域から画素値を取得し、この画素値が上記部分空間に含まれる率として再現色充足率を算出する。
この算出結果において、再現色域判定部７５は、再現色充足率が所定の充足率閾値未満の場合、撮像画像から対象物Ｔの画像の色を再現できないと判定する。

また、再現色域判定部７５は、標準的なｓＲＧＢやＡｄｏｂｅＲＧＢなどの色域（色空間）内において、色補正用物体から得られた分光反射率から再現される色域（例えば、Ｌ^＊ａ^＊ｂ^＊座標系における色域）が占める割合、すなわち色域カバー率を算出する。ここで、再現色域判定部７５は、色補正用物体に対応する分光反射率を、基準光源（この場合、求められた分光エネルギー分布）と標準観測者を規定して、測色値であるＬ^＊ａ^＊ｂ^＊座標系の色空間における座標値に変換する。
この算出結果において、再現色域判定部７５は、色域カバー率が所定のカバー閾値未満の場合、分光画像から撮像画像における対象物Ｔの画像の色を高精度で再現できないと判定する。

図１０は、再現色域判定部７５が算出する再現色充足率及び色域カバー率を説明する概念図である。
図１０（ａ）は、再現色充足率を説明する色成分Ｒ軸、色成分Ｇ軸及び色成分Ｂ軸からなる３次元空間のＲＧＢ座標系を示す図である。図１０（ａ）には、再現色域判定部７５が生成した部分空間５１０の立体形状が示されている。
再現色点５１１、５１２及び５１３の各々は、部分空間５１０に含まれている画素値の座標を示している。一方、再現色点５２１、５２２、５２３及び５２４の各々は、部分空間５１０に含まれていない画素値の座標を示している。この場合、画素値が７点あり、部分空間５１０に含まれている画素値が３点であるため、再現色充足率としては、４２．８％（（３／７）×１００）となる。

図１０（ｂ）は、色域カバー率を説明するＬ^＊ａ^＊ｂ^＊座標系を示す図である。再現色域５３１の全てあるいは一部が標準的な色空間５３０に含まれている。色域カバー率は、色空間５３０に含まれている再現色域５３１の部分が、色空間５３０の体積に占める割合を示している。例えば、色空間５３０の体積が５０（任意単位）であり、色空間５３０に含まれる再現色域５３１の体積が３０であれば、色域カバー率としては、６０％（（３０／５０）×１００）となる。

表示画像生成部７６は、任意の光源の分光エネルギー分布を用い、任意の分光画像から、撮像画像に対応した対象物Ｔが任意の光源の環境光下で視認される色味で観察される表示画像を生成する。
ここで、上記分光エネルギー分布は分光エネルギー分布推定部７３が推定したものであっても、予め記憶部７７に格納されたものであっても良く、上記分光画像は分光画像生成部７４が生成したものであっても、予め記憶部７７に記憶されたものであっても良い。

記憶部７７は、画像補正サーバ１１Ａにおいて処理される撮像画像及び分光画像などのデータを一時的に記憶する。

次に、図１１は、本実施形態による色対応情報生成システムによる提示側の撮像画像の分光画像を生成する処理の動作例を示すフローチャートである。以下、図６、図７、図８及び図１１を用いて、色対応情報生成システムによる提示側の撮像画像の分光画像を生成する処理を説明する。

ステップＳ２０１：
ユーザが撮像装置３－１により、図９（ａ）に示すように、撮像画像２０を撮像し、ユーザ端末装置２－１により撮像画像２０を、画像補正サーバ１１Ａに対して、ネットワーク５を介して送信する。

ステップＳ２０２：
撮像画像取得部７１は、撮像画像２０を入力し、記憶部７７に書き込んで記憶させる。
色補正用物体認識部７２は、撮像画像２０における各画像の輪郭抽出を行い、輪郭内における画像を抽出する。そして、色補正用物体認識部７２は、テンプレート画像との比較、あるいは特徴量の各々の比較により、それぞれ類似度を算出する。

ステップＳ２０３：
色補正用物体認識部７２は、抽出した画像の各々の類似度が予め設定されている類似度閾値以上であるか否か、すなわち色補正用物体データベース１２の色補正用物体テーブルに登録されている色補正用物体が撮像画像２０に含まれているか否かの判定を行う。
このとき、色補正用物体認識部７２は、抽出した画像の各々のなかに類似度が予め設定されている類似度閾値以上である画像が存在する場合、色補正用物体が撮像画像２０に含まれていると判定し、処理をステップＳ２０４へ進める。一方、色補正用物体認識部７２は、抽出した画像の全ての類似度が予め設定されている類似度閾値未満である場合、色補正用物体が撮像画像２０に含まれていないと判定し、処理をステップＳ２１６へ進める。

ステップＳ２０４：
色補正用物体認識部７２は、撮像画像２０に含まれている色補正用物体の画像と認識した画像（３１、４１）の輪郭のデータを、ユーザ端末装置２－１に対して送信する。
ユーザ端末装置２－１は、図９（ｂ）に示すように、受信した輪郭のデータに対応して、画像（３１、４１）の輪郭を所定の太さの線によりマーキングし、この認識した画像の近傍に類似度（１７１、１８１）を、表示装置４－１の表示画面２１に表示する。

ステップＳ２０５：
再現色域判定部７５は、撮像画像２０中の色補正用物体の領域の各画素の画素値で張られる部分空間を求める。そして、再現色域判定部７５は、撮像画像２０の全体または対象物Ｔの領域における各画素の画素値が上記部分空間に含まれる割合である再現色充足率を算出する。
また、再現色域判定部７５は、撮像画像２０に複数の色補正用物体が撮像されている場合において、撮像画像２０中の当該複数の色補正物体の領域の各画素の画素値で張られる部分空間のそれぞれを合成した空間をもとに再現色充足率を算出する構成としてもよい。

ステップＳ２０６：
そして、再現色域判定部７５は、求めた再現色充足率が予め設定されている充足率閾値以上であるか否か、すなわち再現色域が撮像画像２０の各画素の色を再現する範囲として十分か否かの判定を行う。
このとき、再現色域判定部７５は、再現色充足率が予め設定されている充足率閾値以上であり、再現色域が色を再現する範囲として十分である場合、処理をステップＳ２０７へ進める。一方、再現色域判定部７５は、再現色充足率が予め設定されている充足率閾値未満であり、再現色域が色を再現する範囲として十分でない場合、再現色域が十分でないことを示す合否判定情報をユーザ端末装置２－１に対して通知し、処理をステップＳ２１６へ進める。

ステップＳ２０７：
色補正用物体認識部７２は、抽出された画像の類似度が所定の数値幅である色補正用物体のテンプレート画像あるいは特徴量を有する色補正用物体が複数存在する場合、この数値幅に含まれる類似度を有する色補正用物体を手動で選択するか否かを、表示装置４－１の表示画面２１に対して表示しユーザに選択させる。
このとき、色補正用物体認識部７２は、ユーザが手動での選択を行わないことを選択した場合、処理をステップＳ２０８へ進める。一方、色補正用物体認識部７２は、ユーザが手動での選択を行うことを選択した場合、処理をステップＳ２１４へ進める。

ステップＳ２０８：
色補正用物体認識部７２は、撮像画像２０における色補正用物体の画像毎に、当該画像と最も類似度の高い色補正用物体それぞれを色補正用物体テーブルから抽出する。

ステップＳ２０９：
分光エネルギー分布推定部７３は、色補正用物体認識部７２が抽出した色補正用物体の分光反射率を、色補正用物体データベース１２を参照して色補正用物体テーブルから読み出す。また、分光エネルギー分布推定部７３は、分光感度特性データベース１３を参照して、撮像装置３－１の分光感度特性を読み出す。
そして、分光エネルギー分布推定部７３は、撮像画像２０が撮像された環境の第１光源７０１の分光エネルギー分布を、上述したように（３）式を用いて、撮像画像２０の画素値が解となるように、撮像装置３－１の分光感度特性、色補正用物体の分光反射率から、重回帰分析などにより算出する。

ステップＳ２１０：
分光画像生成部７４は、分光エネルギー分布推定部７３が推定した分光エネルギー分布と、撮像装置３－１の分光感度特性を用いて、撮像画像２０全体または対象物Ｔの領域における画素の画素値から、各々に対応する分光反射率を推定する。そして、分光画像生成部７４は、求めた画素毎の分光反射率に対応して、撮像画像２０から所定の波長の幅からなるチャンネル毎の分光画像２００を生成する。

ステップＳ２１１：
再現色域判定部７５は、標準的な色空間に対する再現色域が占める割合である色域カバー率を算出する。

ステップＳ２１２：
そして、再現色域判定部７５は、求めた色域カバー率が予め設定されている色域カバー率閾値以上であるか否か、すなわち再現色域が撮像画像２０の各画素の色を再現する範囲として十分か否かの判定を行う。
このとき、再現色域判定部７５は、色域カバー率が予め設定されている色域カバー率閾値以上である場合、処理をステップＳ２１３へ進め、色域カバー率が予め設定されている充足率閾値未満の場合、再現色域が十分でないことを示す合否判定情報をユーザ端末装置２－１に対して通知し、処理をステップＳ２１６へ進める。

ステップＳ２１３：
表示画像生成部７６は、分光画像（色特性情報）と、第１光源７０１の分光エネルギー分布（色対応情報）とにより、第１光源７０１の環境光下で視認される色味の撮像画像２０の表示画像（第１光源７０１の環境下における色情報）を生成する。
そして、表示画像生成部７６は、生成した表示画像をユーザ端末装置２－１に対して送信する。
また、第１光源７０１は、光源の一例である。また、表示画像生成部７６は、色情報推定部の一例である。
ユーザ端末装置２－１は、供給される表示画像を表示装置４－１の表示画面２１に表示する。これにより、ユーザは、対象物Ｔを第１光源７０１の環境光下で撮像した撮像画像２０において、自身が対象物Ｔの実物と、表示装置４－１の表示画面２１における対象物Ｔの画像ＴＧとの双方を視認し、同様の色味であるか否かを確認することができる。

ステップＳ２１４：
色補正用物体認識部７２は、図９（ｆ）に示すように、画像３１、４１のいずれの色補正用物体の画像の候補を表示するかを、ユーザに対して選択させる。
そして、色補正用物体認識部７２は、選択された色補正用物体の画像３１と所定の範囲の類似度を有する複数の色補正用物体の画像３１＿１、３１＿２及び３１＿３の各々を、色補正用物体の候補（候補群）として、図９（ｇ）のように、ユーザ端末装置２－１の表示装置４－１の表示画面２１に対して表示する。ここで、色補正用物体認識部７２は、上記候補の各々に対して一対一対応するサムネイル画像を生成し、このサムネイル画像のそれぞれと、色補正用物体認識部７２が算出した各候補の類似度とをユーザ端末装置２－１に送信する。
そして、ユーザ端末装置２－１は、表示装置４－１の表示画面２１に対して、受信したサムネイル画像の各々と、それぞれのサムネイル画像に対応する候補の類似度とを組み合わせて表示させる。

ステップＳ２１５：
そして、ユーザが候補から色補正用物体の画像を選択すると、ユーザ端末装置２－１は、ユーザが選択したサムネイル画像を示す情報、すなわち候補である複数のサムネイル画像のいずれを指定したかを示す指定情報を色補正用物体認識部７２に送信する。
ユーザ端末装置２－１から、ユーザが選択したサムネイル画像を示す指定情報が入力された場合、色補正用物体認識部７２は、他の種類の色補正用物体の候補の画像を表示装置４－１の表示画面２１に表示し、順次、撮像画像２０における色補正用物体を選択し、分光反射率を抽出する。
なお、上述の構成においてサムネイル画像の代わりに色補正用物体に一対一で対応する文字列（例えば、商品名）を用いても良い。

ステップＳ２１６：
色補正用物体認識部７２は、ユーザに対して、撮像画像２０に色補正用物体が含まれていない場合、もしくは、再現色充足率（及び色域カバー率）が所定の閾値未満の場合、現時点において撮像画像２０が色対応情報の生成に利用できないことを示す情報（否を示す合否判定情報）をユーザ端末装置２－１に対して送信する。
ユーザ端末装置２－１は、色補正用物体認識部７２から否を示す合否判定情報を受信した場合、他の種類の色補正用物体を追加することを促す表示を、表示装置４－１の表示画面２１に表示して、ユーザに対して他の種類の色補正用物体を追加することを通知する。
これにより、ユーザは、現時点において対象物Ｔと共に撮像されている色補正用物体に加えて、他の種類の色補正用物体を追加する。
また、色補正用物体認識部７２は、色補正用物体の画像３１または画像４１のいずれとも、類似度が所定の範囲に含まれている画像を、色補正用物体データベース１２において検索できない場合、所定の範囲に含まれていないが最も高い類似度ととともに、不可の情報をユーザ端末装置４－１に送信しても良い。
そして、ユーザ端末装置２－１は、表示装置４－１の表示画面２１に類似度を表示する。ここで、ユーザは、表示装置４－１における類似度を参照し、色補正用に用いても良いか否かを判定して、判定結果をユーザ端末装置２－１から色対応情報生成システム１Ａに対して送信する。

次に、図１２は、本実施形態による色対応情報生成システムによる表示側における分光画像から表示画像を生成する処理の動作例を示すフローチャートである。以下、図７、図８及び図１２を用いて、色対応情報生成システムによる表示側の表示画像を生成する処理を説明する。
以下の色補正用物体の選択の処理の説明について、ユーザ端末装置２－１、撮像装置３－１及び表示装置４－１の各々が、ユーザ端末装置２－２、撮像装置３－２、表示装置４－２それぞれに置き換わるのみであり、ステップＳ３０２、ステップＳ３０３、ステップＳ３０４からステップＳ３０６までと、ステップＳ３１０、ステップＳ３１２及びステップＳ３１３とについては、図１１に示すフローチャートにおけるステップＳ２０２、ステップＳ２０３及びステップＳ２０４からステップＳ２０６までと、ステップＳ２１０、ステップＳ２１２及びステップＳ２１３と処理自体が同様のため、説明を省略する。表示側のユーザの表示装置４－２における画像には対象物Ｔの画像が含まれていない。また、図１２に示すフローチャートには、図１１に示すフローチャートのステップＳ２０５及びステップＳ２０６に相当する、再現色充足率の生成及び判定のステップは含まれていない。

ステップＳ３０１：
ユーザが撮像装置３－２により、第２光源７０２の環境光下において色補正用物体を撮像し、ユーザ端末装置２－２により、撮像した撮像画像を画像補正サーバ１１Ａに対して、ネットワーク５を介して送信する。

ステップＳ３０７：
分光エネルギー分布推定部７３は、色補正用物体認識部７２が抽出した色補正用物体の分光反射率を、色補正用物体データベース１２を参照して色補正用テーブルから読み出す。
そして、分光エネルギー分布推定部７３は、撮像画像が撮像された環境の第２光源７０２の分光エネルギー分布を、上述したように（３）式を用いて、撮像画像の画素値が解となるように、撮像装置３－２の分光感度特性、色補正用物体の分光反射率から、第２光源７０２の分光エネルギー分布を重回帰分析などにより算出する。

ステップＳ３０８：
ユーザは、ユーザ端末装置２－２により、画像補正サーバ１１Ａにアクセスし、分光画像の選択指示を行う。
これにより、撮像画像取得部７１は、ユーザ端末装置２－２から依頼された分光画像を、記憶部７７から読み出す。

ステップＳ３０９：
再現色域判定部７５は、標準的な色空間に対する再現色域が占める割合である色域カバー率を算出する。

ステップＳ３１１：
表示画像生成部７６は、画像補正サーバ１１Ａから供給された分光画像と、分光エネルギー分布推定部７３が推定した第２光源７０２の分光エネルギー分布とにより、対象物Ｔの第２光源７０２の環境光下で視認される色味の撮像画像表示画像を生成する。そして、表示画像生成部７６は、生成した表示画像をユーザ端末装置２－２に対して送信する。
ユーザ端末装置２－２は、供給される表示画像を表示装置４－２の表示画面２１に表示する。これにより、ユーザは、対象物Ｔの実物を第２光源７０２の環境光下で視認する色味を、表示装置４－２の表示画面２１における対象物Ｔの画像ＴＧで観察することができる。
また、上記画像ＴＧの生成に用いる分光画像は、図１１に示すフローチャートによって従って生成される分光画像（第２色特性情報）ではなく、予め公知の方法により求められた対象物Ｔの分光画像であってもよく、例えば、当該対象物Ｔの色特性情報を上記記憶部７７における商品データベースなどの所定の記憶部に書き込んで予め記憶させておいても良い。この例において、記憶部７７における商品データベースには、例えば、すでに出品されている商品としての対象物Ｔの色特性情報が書き込まれて記憶されている。
そして、表示画像生成部７６は、例えば、上述したように求められた第２光源７０２の分光エネルギー分布（色対応情報）と、記憶部７７の商品データベースに記憶されている対象物Ｔの色特性情報を用いて、上述したように、対象物Ｔが任意の光源である第２光源７０２の環境下で視認される色味で観察できる表示画像を生成しても良い。

ステップＳ３１４：
色補正用物体認識部７２は、ユーザに対して、現時点において撮像画像２０が色対応情報の生成に利用できないことを示す情報（否を示す合否判定情報）をユーザ端末装置２－２に対して送信する。
ユーザ端末装置２－２は、色補正用物体認識部７２から否を示す合否判定情報を受信した場合、他の種類の色補正用物体を追加することを促す表示を、表示装置４－１の表示画面２１に表示して、ユーザに対して他の種類の色補正用物体を追加することを通知する。
これにより、ユーザは、現時点において対象物Ｔと共に撮像されている色補正用物体に加えて、他の種類の色補正用物体を追加する。
また、色補正用物体認識部７２は、上記候補の各々に対して一対一対応するサムネイル画像を生成し、このサムネイル画像のそれぞれをユーザ端末装置２－２に送信し、ユーザ端末装置２－２の表示装置４－２の表示画面２１に対して、算出した類似度ともに表示させる。
また、色補正用物体認識部７２は、色補正用物体の画像３１または画像４１のいずれとも、類似度が所定の範囲に含まれている画像を、色補正用物体データベース１２において検索できない場合、所定の範囲に含まれていないが最も高い類似度ととともに、不可の情報をユーザ端末装置４－１に送信しても良い。
そして、ユーザ端末装置２－２は、表示装置４－２の表示画面２１に類似度を表示する。ここで、ユーザは、表示装置４－２における類似度を参照し、色補正用に用いても良いか否かを判定して、判定結果をユーザ端末装置２－２から色対応情報生成システム１Ａに対して送信する。

次に、図１３は、第１の実施形態による色対応情報生成システムによる表示側における対象物の基準ＲＧＢ画像から表示画像を生成する処理の動作例を示すフローチャートである。以下、図１、図３及び図１３を用いて、色対応情報生成システムによる表示側の表示画像を生成する処理の他の例を説明する。図１２のフローチャートの処理では、分光画像から表示画像を生成していた。図１３では、色補正マトリクスＮを用いて、基準ＲＧＢ画像から表示画像を生成している。
図１３のフローチャートにおけるステップＳ３０１からステップＳ３０６までと、ステップＳ３０９からステップＳ３１０と、ステップＳ３１２からＳ３１４までとは、図１２のフローチャートと同様のため、説明を省略する。以下、ステップＳ３０８Ａ及びＳ３１１Ａの処理について説明する。

ステップＳ３０８Ａ：
色補正マトリクス算出部６３は、（１）式及び（２）式において説明した色補正マトリクスＭの作成と同様に、基準光源の環境下で視認される色味の基準ＲＧＢ画像から、任意の第２光源７０２の環境下で視認される色味の表示用ＲＧＢ画像に変換する色補正マトリクスＮを生成する。ここで、色補正マトリクス算出部６３は、基準ＲＧＢ画像の各画素の画素値が、参照ＲＧＢ画像の画素値が解となるように、色補正マトリクスＮを重回帰分析などにより生成する。

ステップＳ３１１Ａ：
表示画像生成部７６は、画像補正サーバ１１Ａから供給された基準ＲＧＢ画像と、色補正マトリクス算出部６３が生成した色変換用マトリクスＮとにより、第２光源７０２の環境光下で視認される色味の対象物Ｔの表示画像を生成する。そして、表示画像生成部７６は、生成した表示画像をユーザ端末装置２－２に対して送信する。
ユーザ端末装置２－２は、供給される表示画像を表示装置４－２の表示画面２１に表示する。これにより、図１２のフローチャートの処理と同様、ユーザは、対象物Ｔの実物を第２光源７０２の環境光下で視認する色味を、表示装置４－２の表示画面２１における対象物Ｔの画像ＴＧで観察することができる。

なお、より正確には、表示画像を生成するには、撮像画像２０の撮影条件（カメラの感度特性等）及び表示条件（ディスプレイの表示特性等）において、撮影対象の測色値と表示画像の測色値が一致する際の画素値同士の対応関係が既知である必要がある。この時、表示画像は対象物Ｔの基準ＲＧＢ画像の各画素の画素値を色変換用マトリクスＮで変換した後、当該対応関係に基づき更に変換することにより生成される。

上述したように、第１の実施形態及び第２の実施形態によれば、一般的に流通している商品のパッケージや包装などをカラーチャートに換え、あらかじめ色補正用物体データベース１２に記憶されている色補正用物体の分光反射率（推定分光反射率）を用いて、撮像時の光源の分光エネルギー分布を推定するため、容易に対象物の分光画像を生成することが可能となり、任意の光源の環境光下において視認される色味を再現することができる。
このため、本実施形態によれば、ユーザが指定チャートを有している必要が無く、撮像時の光源の環境光や撮像デバイスの特性に依存せずに、特別な分光エネルギー分布を計測する計測器を有さずとも、任意の光源の環境光下における実物の色の見えに近い、対象物の画像を画面に表示することが容易に実現できる。

これにより、第１の実施形態及び第２の実施形態によれば、インターネットを利用した通信販売などで、商品を購入する際に、提示側において商品である対象物の撮像画像をどのような光源下で撮像したとしても、商品の画像が表示する側の光源の環境光下において視認できる色味に再現された表示画像を観察することが可能となる。このため、本実施形態によれば、購入した商品が届いた後に、所定の光源の環境光下で視認される商品の色味が表示画像の色味と同様となる。すなわち、購入する際に視認した色味と、届いた商品の実物の色味とが同様でなるため、届いた物が購入した物と色が違うというようなクレームの発生などの問題を低減することができる。

次に、色補正用物体データベース１２の色補正用テーブルにおける分光反射率の推定方法を説明する。図１３は、色補正用物体データベース１２の色補正用テーブルにおける分光反射率の推定方法を説明する概念図である。以下の色補正用物体の分光反射率の推定処理（詳細な分光反射率の推定処理については、例えば、特開２０１５－０９１１１６号公報を参照）は、図示しない分光反射率推定部が行う。この分光反射率推定部は、画像補正サーバ１１Ａに含まれていても良いし、独立したサーバとしてネットワーク５に対して、通信可能に接続されていても良い。この分光反射率推定部は、生成した分光反射率を色補正用物体データベース１２の色補正用テーブルに書き込んで記憶させる。

ステップＳ４０１：
ベタ指定色の原色あるいは特色のインキを所定の媒体（例えば、コート紙など）に印刷する。
そして、分光反射率推定部は、印刷された着色層の測色値（吸収係数及び散乱係数）を計測し、原色あるいは特色のインキの膜厚に対応した分光反射率から、濃度階調毎の分光反射率を算出する。
そして、分光反射率推定部は、各インキの膜厚に応じた濃度階調領域毎におけるインキの重ね合わせに対応した色予測を行う。

ステップＳ４０２：
分光反射率推定部は、重ね合わせる色と、印刷されるインキの濃度と、その順番とに対応して印刷色を予測する特色プロファイルを作成する。

ステップＳ４０３、Ｓ４０４：
分光反射率推定部は、色補正用物体にインキの印刷を行う製版データ、上述の特色プロファイ及び基準プロファイルに基づき、製版データにより印刷される色を、ＲＧＢデータで示した画像を生成する。
基準プロファイルは、ｓＲＧＢやＡｄｏｂｅＲＧＢなどの標準的なＲＧＢ座標系のＩＣＣ（International Color Consortium）プロファイルである。

ステップＳ４０５：
分光反射率推定部は、生成した表示画像を色補正用物体のテンプレート画像としたり、表示画像から色補正用物体の画像の形状あるいは色などの特徴量の抽出などの物体認識情報の生成処理を行う。

ステップＳ４０６、Ｓ４０７：
分光反射率推定部は、製版データに対応して、ステップＳ４０１と同様に、インキを印刷する順番に印刷色の予測を行い、それぞれのインキの濃度階調に対応した分光反射率、及びそのインキを印刷する下地の層（印刷媒体あるいはインキの層）の分光反射率から、印刷結果である複数のインキの層からなる着色層における各部分の分光反射率を、推定分光反射率として算出する。

ステップＳ４０８：
分光反射率推定部は、推定した色補正用物体の推定分光反射率を、色補正用物体データベース１２に、画像データ及び特徴量とともに書き込む。
また、画像補正サーバ１１Ａ内に分光反射率推定部を備える場合、分光反射率推定部は、推定分光反射率を書き込むのではなく、製版データ及びベタ指定色の測色値とを分光反射率情報として書き込んでおき、色補正用物体の選択の処理毎に、分光反射率を算出する構成としても良い。

また、一般的には、撮像画像から分光反射率を測定することは、色補正用物体の印刷色が単色である場合は容易に測定することができるが、例えばパッケージや包装などでも単色の組合わせ、あるいは掛け合わせ、または色が変化する領域にグラデーションがあり、その全てを測定するのは困難である。
このため、本実施形態においては、今回の分光エネルギー分布を推定する際に使用する場合、分光エネルギー分布の推定精度を上げるために、分光反射率が判っている色の種類が多い方が良く、上述した分光反射率を推定すれば、色補正用物体の全ての箇所の分光反射率が得られるため、容易に高い精度で分光エネルギー分布が求められ、より精度の高い分光画像を生成することが可能となる。

なお、本発明における図１の画像補正サーバ１１及び１１Ａの各々と（図３及び図８の各々の画像補正サーバ１１及び画像補正サーバ１１Ａ）、ユーザ端末装置２－１及び２－２の各々との機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより撮像画像を表示画像とする際の色補正の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１，１Ａ…色対応情報生成システム
２－１，２－２…ユーザ端末装置
３－１，３－２…撮像装置
４－１，４－２…表示装置
５…ネットワーク
１１，１１Ａ…画像補正サーバ
１２…色補正用物体データベース
１３…分光感度特性データベース
６１，７１…撮像画像取得部
６２，７２…色補正用物体認識部
６３…色補正マトリクス算出部
６４，７５…再現色域判定部
６５…基準ＲＧＢ画像生成部
６６，７７…記憶部
７３…分光エネルギー分布推定部
７４…分光画像生成部
７６…表示画像生成部

Claims (22)

1. 光源の環境下で第１物体を撮像した第１画像から、色情報と、当該色情報の色の特性を示す色特性情報との対応関係を示す色対応情報を生成する色対応情報生成システムであり、
   所定の複数の第１の物体のそれぞれを認識する認識情報と、当該認識情報が示す物体の前記色特性情報とが対応して格納された物体データベースと、
   前記第１画像と前記認識情報とにより、前記第１画像における前記第１物体を認識し、前記第１画像における当該第１物体の画像領域と、前記第１物体に対応する色特性情報である第１色特性情報とを出力する物体認識部と、
   前記画像領域に含まれる画素の前記色情報と前記第１色特性情報とから、前記色情報と前記色特性情報との対応関係である前記色対応情報を生成する色対応情報生成部と、
   前記第１物体と当該第１物体とは異なる第２物体とが同一画像として撮像された前記第１画像と、または第１物体が撮像された第１画像と同一の光源下で前記第２物体が撮像された画像である第２画像と、前記色対応情報とから、前記第２物体の色特性情報である第２色特性情報を推定する色特性情報推定部と、
   前記第１画像中の前記第１物体に対応する領域内の各画素の画素値がＲＧＢ空間内に張る部分空間に対し、前記第１画像または前記第２画像中の前記第２物体に対応する領域の各画素の画素値が含まれる割合である再現色充足率を生成する再現色域判定部と
   を備え、
   前記色特性情報が前記認識情報と一対一の対応関係にあり、または前記色特性情報が前記認識情報そのものである、
   ことを特徴とする色対応情報生成システム。
2. 前記所定の複数の第１物体の少なくともいずれか一つは色票と異なる物体である
   ことを特徴とする請求項１に記載の色対応情報生成システム。
3. 前記色票と異なる物体が、一般のユーザが入手可能な商品、当該商品のパッケージ及び容器を含む、複数の色を有する物体である
   ことを特徴とする請求項２に記載の色対応情報生成システム。
4. 前記色対応情報と、前記第１物体とは異なる他の物体の色特性情報とから、前記光源の環境下における前記他の物体の色情報を推定する色情報推定部をさらに備える
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の色対応情報生成システム。
5. 前記色特性情報が標準光源の環境下で撮像された一つあるいは複数の前記第１物体の色情報である基準色情報であり、
   前記色対応情報が、色の変換を行なう色補正マトリクスである
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の色対応情報生成システム。
6. 前記第１画像の撮像に用いた撮像装置の分光感度特性が記憶された分光感度特性データベースをさらに備え、
   前記色特性情報が一つあるいは複数の前記第１物体の分光反射率であり、
   前記色対応情報が、前記光源の分光エネルギー分布及び前記分光感度特性の組合せである
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の色対応情報生成システム。
7. ユーザが所有するユーザ端末装置とネットワークを介して接続され、データの送受信を前記ネットワークを介して前記ユーザ端末装置と行ない、
   前記ユーザ端末装置から受信する前記データが前記第１画像を含んでおり、
   前記ユーザ端末装置に送信するデータが前記第１画像の使用可否を示す合否判定情報を含んでいる、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の色対応情報生成システム。
8. 前記物体認識部が、前記第１物体と、前記物体データベースに登録されている各物体の認識情報との類似度を算出し、当該類似度が所定の条件を満たす複数の認識情報に一対一対応するサムネイル画像をそれぞれ生成し、
   前記ユーザ端末装置に送信するデータが、前記類似度とサムネイル画像とを含んでおり、
   前記ユーザ端末装置から受信するデータが、前記サムネイル画像のいずれを選択したかを示す指定情報を含み、
   前記物体認識部が、前記指定情報に対応した前記認識情報の物体を選択する
   ことを特徴とする請求項７に記載の色対応情報生成システム。
9. 前記ユーザ端末装置に送信するデータが、前記画像領域を示す情報である画像領域情報を含む
   ことを特徴とする請求項８に記載の色対応情報生成システム。
10. ユーザが所有するユーザ端末装置とネットワークを介して接続され、データの送受信を前記ネットワークを介して前記ユーザ端末装置と行い、
    前記ユーザ端末装置から受信する前記データが前記第１画像を含んでおり、
    前記ユーザ端末装置に送信するデータが前記第１画像の使用可否を示す合否判定情報を含んでおり、
    前記再現色域判定部が、前記再現色充足率が所定の閾値未満である場合、前記合否判定情報に否を示す情報を設定する
    ことを特徴とする請求項５に記載の色対応情報生成システム。
11. ユーザが所有するユーザ端末装置とネットワークを介して接続され、データの送受信を前記ネットワークを介して前記ユーザ端末装置と行い、
    前記ユーザ端末装置から受信する前記データが前記第１画像を含んでおり、
    前記ユーザ端末装置に送信するデータが前記再現色充足率を含んでいる、
    ことを特徴とする請求項１に記載の色対応情報生成システム。
12. 前記第１色特性情報を、所定の条件に対応させて、前記色情報である第１色情報に変換し、前記第１色情報により再現可能な色域の所定の標準とする色域に対する割合であるカバー率を生成し、当該カバー率が所定の閾値未満か否かの判定を行なう再現色域判定部をさらに備え、
    前記再現色域判定部が、前記カバー率が所定の閾値未満である場合、前記合否判定情報に否を示す情報を付加する
    ことを特徴とする請求項７に記載の色対応情報生成システム。
13. 前記第１色特性情報を、所定の条件に対応させて、前記色情報である第１色情報に変換し、前記第１色情報により再現可能な色域の所定の標準とする色域に対する割合であるカバー率を生成する再現色域判定部をさらに備え、
    前記ユーザ端末装置に送信するデータが前記カバー率を含んでいる、
    ことを特徴とする請求項７に記載の色対応情報生成システム。
14. 請求項７、請求項１０または請求項１２のいずれか一項に記載の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、
    前記コンピュータに、
    前記色対応情報生成システムに前記第１画像を送信するステップ、
    前記色対応情報生成システムから前記合否判定情報を受信するステップ
    を実行させるプログラム。
15. 前記コンピュータに、
    前記合否判定情報が否を示している場合、前記第１画像における第１物体とはことなる物体を新たに加えて撮影することをユーザに対して勧告するステップ
    を実行させる請求項１４に記載のプログラム。
16. 請求項８に記載の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、
    前記コンピュータに、
    前記色対応情報生成システムから前記第１物体と類似する候補物体の画像のサムネイル画像と、当該候補物体と第１物体との類似度情報とを受信するステップ、
    前記サムネイル画像と当該サムネイル画像に対応する前記候補物体の類似度とをユーザに提示するステップ、
    前記候補物体のいずれを選択したかを示す指定情報を前記色対応情報生成システムに送信するステップ
    を実行させるプログラム。
17. 請求項９に記載の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、
    前記コンピュータに、
    前記色対応情報生成システムから前記第１物体の前記画像領域を受信するステップ、
    前記第１画像において前記画像領域の示す範囲をマーキングしてユーザに提示するステップ
    を実行させるプログラム。
18. 請求項１１に記載の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、
    前記コンピュータに、
    前記色対応情報生成システムから前記再現色充足率を受信するステップと、
    前記再現色充足率をユーザに提示するステップ
    を実行させるプログラム。
19. 請求項１３に記載の色対応情報生成システムに接続されたユーザ端末装置としてコンピュータを機能させるプログラムであり、
    前記コンピュータに、
    前記色対応情報生成システムから前記カバー率を受信するステップと、
    前記カバー率をユーザに提示するステップ
    を実行させるプログラム。
20. 請求項７に記載の色対応情報生成システムとユーザが所有するユーザ端末装置とによる色対応情報生成方法であり、
    前記色対応情報生成システムが前記ユーザ端末装置とネットワークを介して接続され、データの送受信を前記ネットワークを介して前記ユーザ端末装置と行ない、
    前記色対応情報生成システムが前記ユーザ端末装置から受信する前記データには前記第１画像が含まれており、
    前記色対応情報生成システムが前記ユーザ端末装置に送信するデータには、前記第１画像の使用可否を示す合否判定情報、前記第１画像中の前記第１物体に対応する領域内の各画素の画素値がＲＧＢ空間内に張る部分空間に対し、前記第１画像または前記第２画像中の前記第２物体に対応する領域の各画素の画素値が含まれる割合である再現色充足率、前記第１色特性情報を所定の条件に対応させて変換した第１色情報により再現可能な色域の所定の標準とする色域に対する割合であるカバー率のいずれかが含まれている
    ことを特徴とする色対応情報生成方法。
21. 前記物体認識部が、前記第１物体と、前記物体データベースに登録されている各物体の認識情報との類似度を算出し、当該類似度が所定の条件を満たす複数の認識情報に一対一対応するサムネイル画像をそれぞれ生成し、
    前記色対応情報生成システムが、前記類似度とサムネイル画像とを含んだデータを前記ユーザ端末装置に送信し、
    前記ユーザ端末装置が、前記色対応情報生成システムから受信した、前記第１物体と類似する候補物体の画像のサムネイル画像と、当該候補物体と第１物体との類似度情報をユーザに提示し、
    前記ユーザ端末装置が、前記サムネイル画像のいずれを選択したかを示す指定情報を含むデータを前記色対応情報生成システムに送信し、
    前記物体認識部が、前記指定情報に対応した前記認識情報の物体を選択する
    ことを特徴とする請求項２０に記載の色対応情報生成方法。
22. 前記色対応情報生成システムが、前記画像領域を示す情報である画像領域情報を含むデータを前記ユーザ端末装置に送信し、
    前記ユーザ端末装置が、像領域情報を含むデータを受信し、前記第１画像において前記画像領域の示す範囲をマーキングしてユーザに提示する
    ことを特徴とする請求項２０または請求項２１に記載の色対応情報生成方法。

Images