JP7003804B2 - 画像補正システム、画像補正方法、及びプログラム - Google Patents

画像補正システム、画像補正方法、及びプログラム Download PDF

Info

Publication number
JP7003804B2
JP7003804B2 JP2018068650A JP2018068650A JP7003804B2 JP 7003804 B2 JP7003804 B2 JP 7003804B2 JP 2018068650 A JP2018068650 A JP 2018068650A JP 2018068650 A JP2018068650 A JP 2018068650A JP 7003804 B2 JP7003804 B2 JP 7003804B2
Authority
JP
Japan
Prior art keywords
image
color
information
unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018068650A
Other languages
English (en)
Other versions
JP2019179432A (ja
Inventor
明華 南川
崇 稲村
貴也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2018068650A priority Critical patent/JP7003804B2/ja
Publication of JP2019179432A publication Critical patent/JP2019179432A/ja
Application granted granted Critical
Publication of JP7003804B2 publication Critical patent/JP7003804B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像補正システム、画像補正方法、及びプログラムに関する。
標準光源下ではなく任意の光源の環境光下で撮像した場合、撮像対象物を撮像した画像(以下、撮像画像という)において、環境光下における撮像対象物の実物の色と、表示装置に表示させた撮像対象物の撮像画像の色の見えとが異なってしまう。このため、撮像対象物の実物の色と表示装置に表示される撮像画像の色の各々の見えを一致させる、撮像画像の色を補正するカラーマネジメントという手法が知られている。
例えば、特許文献1には、被写体(対象物)の撮影信号と、既知の分光反射率をもつ複数の色票からなる指定チャートの撮影信号とを取得することにより、被写体の分光反射率を推定する技術が開示されている。
特開平11-96333号公報
しかしながら、特許文献1においては、被写体と指定チャートを一緒に撮影する場合には撮影時に指定チャートを所持していなければならず手間がかかる。また、被写体と指定チャートの色材が異なる場合には推定する被写体の分光反射率に誤りが生じる可能性がある。例えば、被写体が「染料」で着色されている一方で、指定チャートが「顔料」で印刷されている場合、人の目には同じ色に見えていても、「染料」と「顔料」とのそれぞれの分光反射率の違いにより、必ずしも実物の対象物の色と一致する方向に補正されるとは限らない。また、指定チャートに基づいて、画像全体の色を補正するため、特に色を一致させたい部分などがあった場合でも、部分的な補正をすることができないという問題があった。
本発明は、このような状況に鑑みてなされたもので、ユーザの負担を増加させることなく、撮影時の光源の環境光や撮影デバイスの特性に依存せず、所定の光源の環境光下における実物の色の見えに近い画面表示を実現する画像補正システム、画像補正方法、及びプログラムを提供する。
本発明の画像補正システムは、撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得部と、色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得部と、前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成部と、前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力部とを備えることを特徴とする。
本発明の画像補正システムは、前記撮像画像補正式生成部が、前記推定三刺激値、及び前記撮像対象物を観察する所定の光源の分光分布に基づき、前記推定三刺激値を前記所定の光源の環境光下における任意光源環境下三刺激値に補正する他の補正式を生成し、前記補正撮像画像出力部が、前記他の補正式により、前記撮像対象画像情報における前記撮像対象物の全画素の推定三刺激値の各々を前記任意光源環境下三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力することを特徴とする。
本発明の画像補正システムは、前記撮像対象画像情報に基づいて、前記撮像対象物における前記特定箇所色情報を取得する前記箇所である特定箇所を特定し、当該特定箇所における位置を示す特定箇所位置情報を出力する特定箇所指示部をさらに備えることを特徴とする。
本発明の画像補正システムは、前記特定箇所色情報取得部は、前記撮像対象物における前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を取得する、ことを特徴とする。
本発明の画像補正システムは、前記色情報が、前記三刺激値または分光放射輝度のいずれかと、前記分光反射率とである、ことを特徴とする。
本発明の画像補正システムは、前記補正撮像画像情報が、前記撮像対象物の特定の箇所における前記分光反射率の情報を付加して構成されていることを特徴とする。
本発明の画像補正システムは、前記補正撮像画像情報に基づいて、色の基準となる基準色を特定し、前記基準色を含む基準画像を示す基準画像情報を出力する基準色特定部と、色を示す色情報を測定する測定器により検出される、表示部に表示された前記基準画像の色情報である基準画像色情報を取得する基準画像色情報取得部と、前記基準画像色情報に基づいて、前記補正撮像画像情報に基づく補正撮像画像の色を補正して補正表示画像情報を生成して出力する表示画像補正部と、をさらに備える、ことを特徴とする。
本発明の画像補正システムは、前記基準画像色情報が、前記表示部に表示される前記基準画像の色における分光放射輝度または三刺激値のいずれかであることを特徴とする。
本発明の画像補正システムは、前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、前記撮像対象画像情報及び前記特定箇所色情報を前記画像補正サーバに出力するとともに前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置とを備える、ことを特徴とする。
本発明の画像補正システムは、前記撮像画像取得部、前記特定箇所指示部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、前記撮像対象画像情報を前記画像補正サーバに出力するとともに、前記特定箇所位置情報を前記画像補正サーバから取得し、取得した前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を前記画像補正サーバに出力し、前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置とを備える、ことを特徴とする。
本発明の画像補正システムは、前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、前記特定箇所指示部と、前記撮像対象画像情報、前記特定箇所指示部が特定した前記特定箇所位置情報及び前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を前記画像補正サーバに出力するとともに前記補正撮像画像情報を前記画像補正サーバから取得する制御部とを有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置とを備える、ことを特徴とする。
本発明の画像補正システムは、前記基準色特定部、前記基準画像色情報取得部、前記表示画像補正部、及び前記基準画像を出力する基準画像出力部、を有する画像補正サーバと、前記基準画像情報、前記補正撮像画像情報及び前記補正表示画像情報を前記画像補正サーバから取得するとともに、前記基準画像色情報を前記画像補正サーバに出力する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末とを備える、ことを特徴とする。
本発明の画像補正システムは、前記表示画像補正部、及び前記基準画像色情報取得部、を有する画像補正サーバと、前記基準色特定部と、前記基準画像情報を前記画像補正サーバに出力する基準画像出力部と、前記基準画像色情報を前記画像補正サーバに出力するとともに前記補正表示画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と、を備える、ことを特徴とする。
本発明の画像補正システムは、前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、前記補正撮像画像出力部、前記基準色特定部、前記基準画像色情報取得部、及び前記表示画像補正部、を有する画像補正サーバと、前記撮像対象画像情報、前記特定箇所色情報を前記画像補正サーバに出力するとともに 前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続された撮像側ユーザ端末装置と、前記基準画像情報及び前記補正表示画像情報を前記画像補正サーバから取得するとともに前記基準画像色情報を前記画像補正サーバに出力する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続された閲覧側ユーザ端末装置とを備える、ことを特徴とする。
本発明の画像補正方法は、特定箇所色情報取得部が、撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得過程と、特定箇所色情報取得部が、色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得過程と、撮像画像補正式生成部が、前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成過程と、補正撮像画像出力部が、前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力過程とを含むことを特徴とする。
本発明のプログラムは、コンピュータに、撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得手段、色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得手段、前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成手段、前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力手段とを実行させるためのプログラムである。
以上説明したように、本発明によれば、ユーザの負担を増加させることなく、撮影時の光源の環境光や撮影デバイスの特性に依存せず、所定の光源の環境光下における実物の色の見えに近い画面表示を実現する画像補正システム、画像補正方法、及びプログラムを提供することが可能となる。
本発明の第1の実施形態の画像補正システム1の構成例を示す概念図である。 第1の実施形態のユーザ端末装置2-1の構成例を示す概念図である。 第1の実施形態のユーザ端末装置2-2の構成例を示す概念図である。 第1の実施形態の画像補正サーバ4の構成例を示す構成図である。 第1の実施形態のユーザ端末装置2の表示画面に表示される特定箇所を指示する画像の例を示す図である。 第1の実施形態のユーザ端末装置2-2の表示画面に表示される基準色の画像の例を示す図である。 撮像画像補正式生成部413による補正式の生成処理、及び補正撮像画像出力部414による撮像対象画像情報の補正処理を説明する概念図である。 撮像画像補正式生成部413による補正式の生成処理、及び補正撮像画像出力部414による撮像対象画像情報の補正処理を説明する概念図である。 ユーザ端末装置2-2に表示する画像の補正の処理の動作例を示すシーケンス図である。 撮像画像補正式生成部413Aによる補正式の生成処理、及び補正撮像画像出力部414による撮像対象画像情報の補正処理を説明する概念図である。
以下、実施形態の画像補正システム、画像補正方法、及びプログラムを、図面を参照して説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態の画像補正システム1の構成例を示す概念図である。画像補正システム1は、ユーザ端末装置2-1、2-2と、色測定器3-1、3-2と、画像補正サーバ4と、ネットワーク5と、を備える。画像補正システム1では、色測定器3が接続されたユーザ端末装置2-1、2-2と、画像補正サーバ4と、がネットワーク5を経由して通信可能に接続される。
ユーザ端末装置2-1、2-2の各々は、ユーザが使用するネットワーク端末である。具体的には、ユーザ端末装置2-1、2-2の各々は、例えばパーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末などである。
第1の実施形態の画像補正システム1では、画像を送信するユーザ端末装置2が少なくとも一つあればよく、この他に複数のユーザ端末装置2(ユーザ端末装置2_1、2_2を含め複数のユーザ端末装置を示す)が画像補正サーバ4とネットワーク5を経由して通信可能に接続されていてもよい。また、第2の実施形態の画像補正システム1Aでは、画像を送信する撮像側のユーザ端末装置2-1、および画像を受信する閲覧側のユーザ端末装置2-2が少なくとも一つずつあればよく、この他に複数のユーザ端末装置2が画像補正サーバ4とネットワーク5を経由して通信可能に接続されていてもよい。
ユーザ端末装置2-1及び2-2の各々には、画像共有アプリケーションがインストールされる。画像共有アプリケーションは、例えば、ユーザがスマートフォンのカメラを使って撮像した対象物T(図2参照)の画像を、他のユーザと共有することができるアプリケーションソフトウェアである。画像共有アプリケーションが動作するユーザ端末装置では、例えば、商品として出品した対象物Tの撮像画像Gを他のユーザの他のユーザ端末装置(不図示)と共有し、その対象物Tの撮像画像Gを、他のユーザ端末装置で見て気に入った他のユーザに対し、商品を販売する処理を実行することができる。
本実施形態において、ユーザ端末装置2-1は画像の撮像側のユーザの端末であり、ユーザ端末装置2-2は画像の閲覧側のユーザ(上記他のユーザ)の端末であるとして説明する。
また、ユーザ端末装置2-1は、撮像された光源の環境光下において色測定器3により検出される対象物Tの色を示す情報として特定箇所色情報(後述)を取得する。このユーザ端末装置2が取得する特定箇所色情報は、対象物Tの撮像画像Gの色を補正する際に用いられる。
色測定器3-1は、ユーザ端末装置2-1に接続され、対象物Tの色情報を測定する測定器である。また、色測定器3-1は、例えば、色情報として分光反射率及び三刺激値を検出するセンサを備える。色測定器3-1は、例えば、ペンシル形状を有し、ユーザの操作によりペンシル形状の先端部分を対象物Tに接触させる操作、及び対象物Tに非接触状態で近付ける操作(以下、これらの操作をまとめて「タッチ操作」という)が行われることにより、対象物Tの色情報を検出する。この色測定器3-1が取得する色情報は、例えば、対象物Tの分光放射輝度または三刺激値のいずれかと、対象物Tの分光反射率とである。
色測定器3-2は、ユーザ端末装置2-2の表示画面に表示される画面計測用パッチの画像をタッチ操作し、画面計測用パッチの三刺激値または分光反射輝度を色情報として取得する。
なお、色測定器3-1、3-2の各々とユーザ端末装置2-1、2-2それぞれとの間の通信は、例えば、セルラー網などの無線通信網、赤外線やBluetooth(登録商標)等の近距離無線通信網、LAN(Local Area Network)などを介した有線通信網を介して行われる。
画像補正サーバ4は、画像共有アプリケーションのサービス提供者が運用するサーバである。画像共有アプリケーションが動作するユーザ端末装置2-1により送信された撮像画像Gを管理する。また、画像補正サーバ4は、ユーザ端末装置2-1により送信された撮像画像Gを、標準光源下で、例えば標準光源D50、D55及びD65などの光源下で撮像された画像である補正撮像画像に変換する補正を行う。本実施形態においては、一例として標準光源D50を用いた場合を例として説明を行う。
ネットワーク5は、例えば、WAN(Wide Area Network)、LAN(Local Area Network)、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。
本実施形態の画像補正システムにおいては、ユーザ端末装置2-1は、提示側のユーザ端末装置2であり、ユーザの操作により、他のユーザ端末装置2に対して提示する対象物(例えば後述する対象物T)を撮像した撮像画像を、例えば、画像共有アプリケーションで提示したい対象物の撮像画像を画像補正サーバ4に送信する。
また、画像補正サーバ4は、ユーザ端末装置2-1から受信した撮像画像に基づいて、特に色を一致させたい箇所(特定箇所)を判定し、判定した箇所をユーザ端末装置2-1に通知する。ここで、画像補正サーバ4が「特に色を一致させたい特定箇所」とは、例えば、商品の大部分を占める同じ色を示す箇所や、全く異なる色をそれぞれ示す複数の箇所である。この場合、ユーザ端末装置2-1は、画像共有アプリケーションにて通知された特定箇所に対応する領域の対象物Tの色情報である特定箇所色情報を、画像補正サーバ4に送信する。
ここで、ユーザ端末装置2-1は、ユーザの操作により特に色を一致させたい特定箇所を指定し、指定した特定箇所の特定箇所色情報にその特定箇所を示す位置情報に対応づけて、画像補正サーバ4に送信するようにしてもよい。
また、上述した「特に色を一致させたい特定箇所」としては、ユーザが画像共有アプリケーションで表示された画像の色が実物の色と異なっていると感じる箇所や、商品として画像の色を実物の色を一致させたいと感じる箇所としても良い。
画像補正サーバ4は、ユーザ端末装置2-1から受信した撮像画像を、ユーザ端末装置2から受信した特定箇所色情報に基づいて、標準光源D50下の撮像画像である補正撮像画像に補正する。
このような画像共有アプリケーションにより対象物を商品として、この商品を提示して商品取引を行う場合、ユーザは商品の撮像画像を、自身のユーザ端末装置の表示画面で閲覧することで商品を購入するか否かを決定する。このため、自身のユーザ端末装置の表示画面における撮像画像で視認される商品の色が、商品の実際の色に対して異なっている場合、商品が届いた際に、標準光源D50の環境光下で視認した際、「画像では明るい青に見えるが、暗めの青だった」などという不満が生じかねない。このような、画像の色と実際の色との相違は、出品するユーザの信頼を損ねることにも繋がる。
本実施形態の画像補正システム1では、画像補正サーバ4が、撮像画像の色が、標準光源D50の環境光下において実際の色に対して近い色の補正撮像画像となるように補正する。このとき、撮像画像の中でも、特に色を一致させたい箇所について実際の色に近づけるように補正する。これにより、撮像画像の色を標準光源D50の環境光下における色に近づけ、補正撮像画像で視認される商品の色に基づくイメージに、実際の商品との差異が生じないようにする。こうすることで、商品が届いた後の満足度を向上させ、商品を出品するユーザの信頼度を向上させることができる。
[第1の実施形態のユーザ端末装置2の構成例の説明]
図2は、第1の実施形態のユーザ端末装置2-1の構成例を示す概念図である。ユーザ端末装置2-1は、例えば、NW(ネットワーク)通信部20と、色情報取得部23と、撮像部24と、表示部25と、制御部26と、を備える。
NW通信部20は、受信部21と、送信部22とを備え、ネットワーク5に接続されて画像補正サーバ4とデータの送受信を行う。
受信部21は、画像補正サーバ4により送信された、画像補正サーバ4が推奨する撮像画像における特定箇所の位置を示す特定箇所位置情報を受信し、この特定箇所位置情報を制御部26に出力する。ここで、特定箇所位置情報は、対象物Tの一部の箇所を示す情報である。
送信部22は、画像補正サーバ4に対し、撮像対象画像情報、および特定箇所色情報(例えば、推奨箇所色情報)を送信する。ここで、撮像対象画像情報は、対象物Tの撮像画像を示す情報である。特定箇所色情報は、対象物Tの特定の箇所における色を示す情報である。
色情報取得部23は、色測定器3により検出された色情報を取得する。ここで、色情報は、色を示す情報であり、上述した分光放射輝度または三刺激値のいずれか、及び対象物Tの分光反射率である。色情報取得部23は、取得した色情報を制御部26に出力する。
図2に示すように、第1の実施形態において、色情報取得部23は、ユーザにより色測定器3が操作されることにより対象物Tにおける特定箇所の色情報である特定箇所色情報を取得する。
撮像部24は、例えば、スマートフォンに内蔵されたカメラである。撮像部24は、制御部26の制御に基づいて対象物Tを撮像し、撮像した対象物Tの撮像画像を示す情報を制御部26に出力する。
表示部25は、例えば、スマートフォンに内蔵された表示ディスプレイである。表示部25は、制御部26の制御に基づいて画像や文字、記号等の形状を表示する。
制御部26は、例えば、CPUなどを含むプロセッサであり、ユーザ端末装置2を統括的に制御する。制御部26は、例えばCPUに画像共有アプリケーションプログラムを実行させることにより、画像共有アプリケーションを動作させる。
制御部26は、画像共有アプリケーションの動作として、撮像部24により撮像された画像の情報を、出品する商品の撮像対象画像情報として、送信部22を介して画像補正サーバ4に送信する。
また、制御部26は、画像共有アプリケーションの動作として、色情報取得部23により取得された色情報を、出品する商品の撮像画像の色を補正するための特定箇所色情報として、送信部22を介して画像補正サーバ4に送信する。
制御部26は、画像共有アプリケーションの動作として、画像補正サーバ4からの特定箇所位置情報を、受信部21を介して取得する。制御部26は、取得した特定箇所位置情報を、例えば表示部25に表示させる。これにより、表示部25には、推奨する特定箇所を示す画像が表示される。表示部25が表示する特定箇所を示す画像については、図5を参照して説明する。
図3は、第1の実施形態のユーザ端末装置2-2の構成例を示す概念図である。ユーザ端末装置2-2は、例えば、NW通信部20と、色情報取得部23と、表示部25と、制御部26と、を備える。ユーザ端末装置2-2は、構成が撮像部24を含まない以外、ユーザ端末装置2-1と同様であるが閲覧側として、撮像側のユーザ端末装置2-1と各々の部の動作が異なる。以下、ユーザ端末装置2-2の各部の動作を説明する。
NW通信部20は、受信部21と、送信部22とを備え、ネットワーク5に接続されて画像補正サーバ4と通信を行う。
受信部21は、画像補正サーバ4により送信された基準画像情報、補正撮像画像情報、および補正表示画像情報を受信する。ここで、基準画像情報は、画像の色を補正する際に、基準の色とする既知の色が描画された画像を示す情報である。補正表示画像情報は、画像補正サーバ4Aにより、補正画像に対して、更に閲覧側のユーザ端末装置2-2の「表示特性」に応じて色が補正された画像を示す情報である。受信部21は、受信したこれらの情報を制御部26に出力する。
送信部22は、画像補正サーバ4に対し、基準画像色情報を送信する。ここで、基準画像色情報は、基準の色を表示させた画像における色を示す情報である。
色情報取得部23は、図3に示すように、ユーザにより色測定器3がタッチ操作されることにより、ユーザ端末装置2-2の表示部25に表示された基準となる色の基準画像GPにおける基準色の画像の色情報(三刺激値または分光放射輝度)を取得する。表示部25が表示する基準画像GPについては、図6を参照して説明する。
制御部26は、例えば、CPUなどを含むプロセッサであり、ユーザ端末装置2-2を統括的に制御する。制御部26は、例えばCPUに画像共有アプリケーションプログラムを実行させることにより、画像共有アプリケーションを動作させる。
制御部26は、画像共有アプリケーションの動作として、画像補正サーバ4からの基準画像情報を、受信部21を介して取得する。制御部26は、取得した基準画像情報を、例えば表示部25に表示させる。これにより、表示部25には、基準色を示す基準画像GPが表示される。
また、制御部26は、画像共有アプリケーションの動作として、色情報取得部23により取得された色情報を、基準色を表示部25に表示させた画像の色を示す基準画像色情報として、送信部22を介して画像補正サーバ4に送信する。
また、制御部26は、画像共有アプリケーションの動作として、画像補正サーバ4からの補正表示画像情報を、受信部21を介して取得する。制御部26は、取得した補正表示画像情報を、例えば表示部25に表示させる。これにより、表示部25には、画像補正サーバ4により基準画像色情報に基づいて補正された画像が表示される。表示部25が表示する基準画像色情報に基づいて補正された画像については、図6を参照して説明する。
また、図2及び図3の各々において、撮像側のユーザ端末装置2-1、閲覧側のユーザ端末装置2-2それぞれは、機能構成は同一であるが、画像補正サーバ4Aとの間で送受信される情報、および、それらの送受信される情報に基づく動作が互いに異なる。このため、ユーザ端末装置2-1が撮像側として固定された動作を行うものではないし、ユーザ端末装置2-2が閲覧側として固定された動作を行うものではない。例えば、あるタイミングにおいて、ユーザ端末装置2-1が、画像補正サーバ4に画像を送信する撮像側として動作し、ユーザ端末装置2-2が、画像補正サーバ4から画像を受信する閲覧側として動作する。また別のタイミングにおいては、ユーザ端末装置2-1が、画像補正サーバ4から画像を受信する閲覧側として動作し、ユーザ端末装置2-1が、画像補正サーバ4に画像を送信する撮像側として動作してもよい。
[第1の実施形態の画像補正サーバの構成例の説明]
図4は、第1の実施形態の画像補正サーバ4の構成例を示す構成図である。図4において、画像補正サーバ4は、例えば、NW(ネットワーク)通信部40と、制御部41と、を備える。
NW通信部40は、受信部400と、送信部401とを備え、ネットワーク5に接続されてユーザ端末装置2と通信を行う。
受信部400は、ユーザ端末装置2により送信された撮像対象画像情報、および特定箇所色情報を受信する。受信部400は、これらの情報を制御部41に出力する。
送信部401は、ユーザ端末装置2に対し、特定箇所位置情報、および補正撮像画像情報を送信する。
制御部41は、例えば、CPUなどを含むプロセッサであり、画像補正サーバ4を統括的に制御する。制御部41としての機能は、例えばCPUにプログラムを実行させることにより実現される。制御部41は、撮像画像取得部410と、特定箇所指示部411と、特定箇所色情報取得部412と、撮像画像補正式生成部413と、補正撮像画像出力部414と、基準色特定部415、基準画像色情報取得部416と、表示画像補正部417とを備える。
撮像画像取得部410は、ユーザ端末装置2により送信された撮像対象画像情報を、受信部400を介して取得する。撮像画像取得部410は、取得した撮像対象画像情報を、特定箇所指示部411に出力する。また、撮像画像取得部410は、取得した撮像対象画像情報を、撮像画像補正式生成部413に出力する。
特定箇所指示部411は、撮像画像取得部410から出力された撮像対象画像情報に基づいて、撮像画像に示される対象物Tの画像全体の中で色情報が取得されることが望ましい特定箇所を抽出する。ここで、特定箇所は、特定箇所指示部411により実物の対象物Tと対象物Tの撮像画像とにおいて、特に色を一致させたい箇所として抽出された箇所であり、例えば、対象物Tの中で同じ色を示す大部分を占める箇所や、対象物Tの中で色のコントラストが大きく変化する色をそれぞれ示す箇所である。特定箇所指示部411は、抽出した箇所を示す位置情報(撮像画像における画素の位置を示す情報)を特定箇所位置情報として、送信部401を介してユーザ端末装置2に送信する。
特定箇所色情報取得部412は、ユーザ端末装置2により送信された特定箇所色情報を、受信部400を介して取得する。特定箇所色情報取得部412は、取得した特定箇所色情報を、撮像画像補正式生成部413に出力する。
撮像画像補正式生成部413は、撮像画像取得部410から出力された撮像対象画像情報、および特定箇所色情報取得部412から供給される特定箇所色情報に基づき、撮像画像に示される色を補正する補正式(一例として、後述する各変換マトリクス(行列))を生成する。そして、撮像画像補正式生成部413は、生成した補正式を補正撮像画像出力部414に出力する。ここで、撮像画像に示される色の補正は、上記補正式による方法に限定されず、特定箇所色情報に基づいた補正であれば、どのような補正方法でも良い。
補正撮像画像出力部414は、撮像画像補正式生成部413から供給される補正式により、撮像対象画像情報の各画素の色を補正する。また、補正撮像画像出力部414は、撮像対象画像情報を補正することで生成した補正撮像画像情報を、基準色特定部415に出力する。
基準色特定部415は、補正撮像画像出力部414から出力された補正撮像画像情報に基づいて、基準色を特定する。基準色特定部415は、例えば、補正された撮像のうち同じ色が大部分を占める場合にはその色を基準色に特定する。基準色特定部415は、例えば、補正された撮像に色調が大きく異なる色がある場合にはそれらの色を基準色に特定する。また、基準色特定部415は、特定した色に近い色をもつ複数の色を基準色としてもよい。
基準色特定部415は、画像補正サーバ4の図示しない記憶部に予め記憶された色情報が示す色を、単数又は複数選択して基準色を特定するようにしてもよい。
基準色特定部415は、特定した基準色を含む画像を示す情報を基準画像情報として送信部401を介して閲覧側のユーザ端末装置2-2に送信する。
また、基準色特定部415は、基準画像情報とともに、または基準画像情報とは別に、補正撮像画像出力部414から出力された補正撮像画像情報を、送信部401を介してユーザ端末装置2-2に送信するようにしてもよい。
基準画像色情報取得部416は、ユーザ端末装置2-2により送信された基準画像色情報を、受信部400を介して取得する。基準画像色情報取得部416は、取得した基準画像色情報を、表示画像補正部417に出力する。
表示画像補正部417は、基準色特定部415から出力された基準画像情報、および基準画像色情報取得部416から出力された基準画像色情報に基づき、閲覧側ユーザの端末装置2-2の表示部25に表示される補正撮像画像情報に基づく画像(以下、表示画像という)に示される色を、基準画像色情報を用いて補正する。表示画像補正部417は、補正した表示画像を示す情報を補正表示画像情報として、送信部401を介してユーザ端末装置2-2に送信する。ここで、表示画像補正部417は、基準画像色情報と基準画像情報とから、ユーザ端末装置2-2の表示部25のカラープロファイルを生成し、このカラープロファイルにより補正撮像画像情報を補正表示画像情報に補正する。そして、表示画像補正部417は、補正で得られた補正表示画像情報をユーザ端末装置2-2に対して送信する。
[第1の実施形態のユーザ端末装置における特定箇所の表示例の説明]
図5は、第1の実施形態のユーザ端末装置2の表示画面に表示される特定箇所を指示する画像の例を示す図である。図5は、ユーザ端末装置2の制御部26が、画像補正サーバ4から取得した特定箇所位置情報に基づく、特定箇所を示す画像を、表示部25に表示させた例を示している。
図5に示すように、ユーザ端末装置2-1は、表示部25の表示画面に対して、対象物Tの撮像画像Gを表示する。そして、ユーザ端末装置2は、表示部25の表示画面の撮像画像Gに対して、色情報を取得することを推奨する特定箇所の位置を示す丸枠GM-1~GM-3を表示する。
図5に示すように、特定箇所位置情報は、例えば、対象物Tの撮像画像Gに、色情報を取得することを推奨する箇所を示す印が描画された画像を示す情報である。また、図5に示すように、特定箇所は、複数の箇所を示す画像であってもよいし、一つの箇所を示す画像であってもよい。
ユーザは、ユーザ端末装置2における表示部25の表示画面に表示された撮像画像G、および丸枠GM-1~GM-3の画像を視認する。そして、ユーザは、例えば、表示部25の表示画面における対象物Tの撮像画像Gにおいて、色測定器3を用いて丸枠GM-1の画像により指示された特定箇所をタッチ操作する。
色測定器3は、ユーザのタッチ操作により、対象物Tの撮像画像Gにおいてタッチ操作がなされた特定箇所の色を検出し、検出した特定箇所の色情報をユーザ端末装置2に出力する。ユーザ端末装置2において、制御部26は、色情報取得部23を介して色測定器3からの特定箇所の色情報を取得する。制御部26は、取得した特定箇所の色情報を、丸枠GM-1が示す位置情報に対応付けて特定箇所色情報とし、送信部22を介して、画像補正サーバ4に送信する。
[第1の実施形態のユーザ端末装置における基準色の表示例の説明]
図6は、第1の実施形態のユーザ端末装置2-2の表示画面に表示される基準色の画像の例を示す図である。
図6(a)は、閲覧側のユーザ端末装置2-2の制御部26が、画像補正サーバ4から取得した補正撮像画像情報、および基準画像情報に基づく画像を、表示部25に表示させた例を示す。図6(b)は、閲覧側のユーザ端末装置2-2の制御部26が、画像補正サーバ4から取得した補正表示画像情報に基づく画像を、表示部25に表示させた例を示す。
図6(a)に示すように、閲覧側のユーザ端末装置2-2の表示部25の表示画面には、対象物Tの撮像画像Gとともに、基準画像GPが表示される。基準画像GPには、三つの色を示す画像(G-6~G-8)が示される。また、図6(a)に示すように、基準色には、複数の色が含まれていてもよいし、一つの色であってもよい。
撮像画像Gは、補正撮像画像情報に基づく画像であり、撮像側のユーザ端末装置2-1の特定箇所色情報に基づいて色が補正された画像である。しかしながら、ユーザ端末装置2-2に表示される撮像画像Gは、撮像側のユーザ端末装置2-1において表示される撮像画像Gの色とは異なる。このように、同じ画像情報に基づいて画像を表示させても、ユーザ端末装置2-2が備える表示部25の特性によっては、色味の異なる画像として表示されてしまう。特に、カラープロファイルが付加されておらず、入力される補正撮像画像情報の三刺激値を、簡易にRGBデータに変換して表示する簡易な表示部である場合、補正撮像画像情報と実際に表示された撮像画像Gとの色味の違いが顕著である。
閲覧側のユーザは、表示部25の表示画面に表示された基準画像GPを視認し、例えば、色測定器3を用いて表示画面に表示された基準画像GPの色部分(例えば画像G-6)をタッチ操作する。
色測定器3は、ユーザの操作により、表示画面のタッチ操作がなされた箇所の色を検出し、検出した色情報をユーザ端末装置2-2に出力する。ユーザ端末装置2-2の制御部26は、色情報取得部23を介して色測定器3からの色情報を取得する。制御部26は、取得した色情報を、画像G-6が示す色に対応付けて基準画像色情報とし、送信部22を介して、画像補正サーバ4に送信する。
画像補正サーバ4は、このようにして、基準となる色情報を取得し、取得した色情報(基準画像色情報)を用いて撮像画像G(補正撮像画像情報)を補正する。これにより、本実施形態の画像補正システム1においては、ユーザ端末装置2-2の表示部25の「表示特性」に対応させるように、対象物Tの撮像画像G(補正撮像画像情報)を補正して、補正表示画像情報による撮像画像Gを表示することができる。
図6(b)に示すように、閲覧側のユーザ端末装置2-2の表示部25の表示画面には、基準画像色情報に基づいて補正された撮像画像Gが表示される。図6(b)の撮像画像Gは、標準光源D50の環境光下において視認される対象物Tの色に近づいている。
つまり、撮像側のユーザ端末装置2-1からの色情報(特定箇所色情報)に基づいて補正された補正撮像画像情報が示す画像(図6(a)の撮像画像G)を、ユーザ端末装置2-2の表示部25に表示させた場合に、表示部25の「表示特性」によっては、画像が、標準光源D50の環境光下において視認される実物の対象物Tの色に近づいて視認される状態で表示されるとは限らない。このため、ユーザ端末装置2-2に表示させた基準画像の色情報(基準画像色情報)に基づいて再度の補正を行う。こうすることで、ユーザ端末装置2-2の表示部25の「表示特性」に基づいた補正を行うことができ、対象物Tの撮像画像Gを標準光源D50の環境光下において視認される対象物Tの見えに近づけることが可能となる。
[第1の実施形態における補正式の生成及び撮像対象画像情報の補正の説明]
以下、図面を参照して、撮像画像補正式生成部413による補正式の生成処理、及び補正撮像画像出力部414による撮像対象画像情報の補正処理を説明する。
図7及び図8の各々は、撮像画像補正式生成部413による補正式の生成処理、及び補正撮像画像出力部414による撮像対象画像情報の補正処理を説明する概念図である。
図7及び図8の各々において、撮像対象画像情報701は、ユーザが対象物Tの撮像画像Gをユーザ端末装置2により撮像した画像である。
ここで、撮像対象画像情報701は、対象物Tの全体画像であり、全体画像における全画素のRGBの階調度(以下、RGBデータ)を有している。
また、三刺激値データ702は、特定箇所でユーザが計測した特定箇所の各々の三刺激値(撮像対象画像情報701における一部の画素における三刺激値)を示し、特定位置に対応する画素毎に取得されたデータである。
分光反射率データ705は、特定箇所でユーザが計測した特定箇所の各々の分光反射率(撮像対象画像情報701における一部の画素における分光反射率)を示し、特定位置に対応する画素毎に取得されたデータである。
処理F1:
撮像画像補正式生成部413は、撮像対象画像情報701のRGBデータと三刺激値データ702とから、RGBデータから三刺激値データに変換する変換マトリクスMRGBtoXYZenvを生成する。ここで、撮像画像補正式生成部413は、例えば、変換マトリクスMRGBtoXYZenvを生成する際、三刺激値データ702からRGBデータに変換する逆行列(変換マトリクスMRGBtoXYZenvの逆行列)を生成し、三刺激値データ702をRGBデータに変換し、変換したRGBデータの各々が撮像対象画像情報701の対応する位置の画素のRGBデータとの差分を最小化させる逆行列を求める。そして、撮像画像補正式生成部413は、この求めた逆行列から変換マトリクスMRGBtoXYZenv703を生成する。
処理F2:
撮像画像補正式生成部413は、生成した変換マトリクスMRGBtoXYZenv703を用いて、以下の(1)式に示すように、撮像対象画像情報701のRGBデータを、補完三刺激値データ704(撮像三刺激値)に変換する。
Figure 0007003804000001
処理F3:
撮像画像補正式生成部413は、以下の(2)式を用いて、三刺激値データ702及び分光反射率データ705から、撮像画像Gを撮像した際の環境光の分光分布である撮影環境分光分布Penv(λ)706を算出する。以下の(2)式において、XYZは三刺激値である。x(λ)、y(λ)、z(λ)は等色関数である。R(λ)は分光反射率データにおける分光反射率である。P(λ)は環境光の分光分布である。φ(λ)は、撮影対象(例えば対象物T)の分光放射輝度である。∫visは可視波長域での積分を示している。
Figure 0007003804000002
処理F4:
撮像画像補正式生成部413は、分光反射率データ705と、予め内部に記憶されていた標準光源分光分布(標準光源D50の分光分布)とから、標準光源D50の環境光下における推定三刺激値データ708を算出する。ここで、撮像画像補正式生成部413は、分光反射率データ705の各々の画素の分光反射率に対し、標準光源分光分布を乗算して、推定三刺激値データ708を算出する。この推定三刺激値データ708は、分光反射率データ705に対応した位置の画素の各々における三刺激値である。
処理F5:
撮像画像補正式生成部413は、三刺激値データ702と推定三刺激値データ708とから、撮像した際の光源の環境光下における補完三刺激値データ704を変換し、標準光源下推定三刺激値データ710(推定三刺激値)を得る三刺激値変換マトリクスMXYZenvtoXYZD50709(補正式)を生成する。ここで、撮像画像補正式生成部413は、例えば、三刺激値変換マトリクスMXYZenvtoXYZD50を生成する際、三刺激値データ702からRGBデータに変換する逆行列(三刺激値変換マトリクスMXYZenvtoXYZD50の逆行列)を生成し、三刺激値データ702をRGBデータに変換し、変換したRGBデータの各々が撮像対象画像情報701の対応する位置の画素のRGBデータとの差分を最小化させる逆行列を求める。そして、撮像画像補正式生成部413は、この求めた逆行列から三刺激値変換マトリクスMXYZenvtoXYZD50703(補正式)を生成する。
処理F6:
撮像画像補正式生成部413は、生成した補完三刺激値データ704を、三刺激値変換マトリクスMXYZenvtoXYZD50709により、(3)式に示すように、標準光源下推定三刺激値データ710に変換する。
Figure 0007003804000003
処理F7:
撮像画像補正式生成部413は、撮像対象画像情報701と標準光源下推定三刺激値データ710とに基づき、カラープロファイル713を生成する。ここで、撮像画像補正式生成部413は、例えば、カラープロファイル713を生成する際、撮像対象画像情報701における画素の各々のRGBデータを三刺激値に変換した際、変換される三刺激値が標準光源下推定三刺激値データ710の対応する画素の標準光源下推定三刺激値との差が最小となるように上記カラープロファイル713を生成する。
処理F8:
補正撮像画像出力部414は、撮像画像補正式生成部413が生成したカラープロファイル713を、撮像対象画像情報701に添付する(埋め込む)。
処理F9:
補正撮像画像出力部414は、撮像対象画像情報701に上記カラープロファイル713に加え、分光反射率データ705を付加する。
次に、図9は、ユーザ端末装置2-2に表示する画像の補正の処理の動作例を示すシーケンス図である。
ステップS101:
画像補正サーバ4において、補正撮像画像出力部414は、ユーザがユーザ端末装置2-2から画像の閲覧を指示された撮像画像Gを、すなわち撮像対象画像情報701の各々のRGBデータを、カラープロファイル713により三刺激値データに変換し、補正撮像画像情報を生成する。
ステップS102:
基準色特定部415は、補正撮像画像出力部414から出力された補正撮像画像情報に基づいて、基準色を特定する。
そして、基準色特定部415は、特定した基準色を示す基準画像GPの基準画像情報を、ユーザ端末装置2-2に送信する。
また、補正撮像画像出力部414は、生成した補正撮像画像情報を、ユーザ端末装置2-2に送信する。
ステップS103:
ユーザ端末装置2-2は、基準画像情報に基づいて基準色を示す基準画像GP、及び補正撮像画像情報に基づく撮像画像Gの各々を表示部25の表示画面に表示する。
ユーザは、ユーザ端末装置2-2に接続されている色測定器3-1により、ユーザ端末装置2-2の表示部25の表示画面に表示されている基準色画像をタッチ操作し、基準画像の色情報を取得する。
ステップS104:
ユーザ端末装置2-2における色情報取得部23は、取得した基準色の色情報を、基準画像色情報として、画像補正サーバ4に送信する。
ステップS105:
画像補正サーバ4において、表示画像補正部417は、受信した基準画像色情報と、特定した基準色の色情報とに基づき、ユーザ端末装置2-2の表示部25のカラープロファイルを生成する。
また、表示画像補正部417は、すでに生成している補正撮像画像情報を上記カラープロファイルにより補正する。
ステップS106:
表示画像補正部417は、送信部401を介して、補正した結果の補正表示画像情報を、ユーザ端末装置2-2に出力する。
ステップS107:
ユーザ端末装置2-2は、供給される補正表示画像情報に基づき、対象物Tの補正撮像画像としての撮像画像Gを表示部25の表示画面に表示する。
また、本実施形態によれば、閲覧側のユーザ端末装置2-2に表示される対象物Tの撮像画像Gの色味を、ユーザが対象物Tの実物を標準光源(例えば標準光源D50)の環境光下で視認する色味に近づけることができる。
これにより、本実施形態によれば、対象物Tをどのような環境光下において撮像した撮像画像であっても、ユーザが対象物Tの実物を標準光源の環境光下で視認する色味でユーザ端末装置2-2に表示できるため、閲覧側のユーザが対象物Tの色味を正確に認識することが可能となり、対象物Tの入手後に色味の違いにより不満を感じることを低減することができる。このため、閲覧側のユーザに商品としての対象物Tが届いた際、標準光源の環境光下で観察した場合、ユーザ端末装置2-2に表示された際に視認した色味と、ユーザが実物を観察して視認する色味とが近く、閲覧側のユーザの商品に対する満足度を向上させ、商品を出品する提示側のユーザの信頼度を向上させることができる。
<第2の実施形態>
第1の実施形態においては、画像補正システム1は、提示側のユーザ端末装置2-1の撮像部24により、どのような光源の環境光下で撮像画像を撮像した場合においても、閲覧側のユーザ端末装置2-2において標準光源の環境光下、例えば標準光源D50の環境光下において視認される対象物Tの見え(色味)により対象物Tを表示する構成となっている。
例えば、閲覧側が対象物Tを商品として購入し、標準光源D50の環境光下で観察した場合、第1の実施形態におけるユーザ端末装置2-2の表示画面で視認した対象物Tの画像の色味と、対象物Tの実物の色味とが近く、ユーザが色味の違いを知覚することは少ない。
しかしながら、標準光源D50と異なる任意の光源の環境光下で観察した場合、第1の実施形態におけるユーザ端末装置2-2の表示画面で視認した対象物Tの画像を視認した際の色味と、対象物Tの実物を観察した際に視認される色味とが異なり、ユーザが色味の違いを知覚することになる。
第2の実施形態の画像システムの構成は、第1の実施形態における画像補正サーバ4の撮像画像補正式生成部413の機能が変更され、撮像画像補正式生成部413に換えて撮像画像補正式生成部413Aを有している。
以下、撮像画像補正式生成部413Aが、第1の実施形態における撮像画像補正式生成部413と異なる点を説明する。
[第2の実施形態における補正式の生成及び撮像対象画像情報の補正の説明]
以下の処理は、第1の実施形態における処理F9の後に行われる処理であり、すでにカラープロファイル713が撮像対象画像情報701が付加された状態であることが前提である。そして、第2の実施形態の機能は、ディフォルトで設定されていても良いし、またユーザがユーザ端末装置2-2の表示部25の表示画面に対象物Tの画像を表示させる際、任意の光源の環境光下における色味とすることを指示する表示画面のボタンを押下して、任意の光源の環境光下における色味とする処理を行わせても良い。
図10は、撮像画像補正式生成部413による補正式の生成処理、及び補正撮像画像出力部414による撮像対象画像情報の補正処理を説明する概念図である。
処理F10:
撮像画像補正式生成部413Aは、撮像対象画像情報701に付加されているカラープロファイル713により、撮像対象画像情報701を補正して、標準光源下推定三刺激値データ710を生成する。
処理F11:
撮像画像補正式生成部413Aは、分光反射率データ705と、予め内部に記憶されていた任意光源分光分布Pvar(λ)714(任意光源の分光分布)とから、任意光源の環境光下における任意光源下推定三刺激値データ715を算出する。ここで、撮像画像補正式生成部413Aは、分光反射率データ705の各々の画素の分光反射率に対し、任意光源分光分布Pvar(λ)714を乗算して、任意光源下推定三刺激値データ715を算出する。この任意光源下推定三刺激値データ715は、分光反射率データ705に対応した位置の画素の各々における三刺激値である。
ここで、任意光源分光分布Pvar(λ)714は、閲覧者側のユーザが予め画像補正サーバ4に登録しておいても良いし、サービス提供者(画像補正サーバの運営者)が画像補正サーバ4に登録しておいても良い。
処理F12:
撮像画像補正式生成部413Aは、任意光源下推定三刺激値データ715と標準光源下推定三刺激値データ710とから、標準光源の三刺激値を任意光源の三刺激値に変換する変換マトリクスMXYZ50toXYZvar716(補正式)を生成する。ここで、撮像画像補正式生成部413Aは、例えば、変換マトリクスMXYZ50toXYZvar716を生成する際、任意光源下推定三刺激値データ715から標準光源下推定三刺激値データ710に変換する逆行列(変換マトリクスMXYZ50toXYZvarの逆行列)を生成し、任意光源下推定三刺激値データ715を標準光源下推定三刺激値データ710に変換し、変換した標準光源下推定三刺激値の各々が標準光源下推定三刺激値データ710の対応する位置の画素の三刺激値との差分を最小化させる逆行列を求める。そして、撮像画像補正式生成部413Aは、この求めた逆行列から変換マトリクスMXYZ50toXYZvar716を生成する。
処理F13:
撮像画像補正式生成部413Aは、標準光源下推定三刺激値データ710を、生成した変換マトリクスMXYZ50toXYZvar716により、(4)式に示す様に、撮像画像の全画素の標準光源下推定三刺激値を任意光源下推定三刺激値に変換することにより、任意光源の環境光下における任意光源下推定三刺激値データ717を生成する。
Figure 0007003804000004
処理F14:
撮像画像補正式生成部413Aは、撮像対象画像情報701と、任意光源下推定三刺激値データ717とから、RGBデータから三刺激値を得るカラープロファイル718(任意光源)を生成する。ここで、撮像画像補正式生成部413Aは、例えば、カラープロファイル718を生成する際、任意光源下推定三刺激値データ717における画素の各々の三刺激値をRGBデータに変換した際、変換されるRGBデータが任意光源下推定三刺激値データ717の対応する画素のRGBデータとの差が最小となるように上記カラープロファイル718を生成する。
処理F15:
撮像画像補正式生成部413Aは、撮像対象画像情報701に付加されているカラープロファイル713を削除する。
処理F16:
補正撮像画像出力部414は、撮像画像補正式生成部413Aが生成したカラープロファイル718を、撮像対象画像情報701に添付する(埋め込む)。
また、以後の処理は、第1の実施形態と同様であるが、補正撮像画像出力部414は、撮像対象画像情報701の各画素のRGBデータを、カラープロファイル718により三刺激値に変更し、変更結果を補正撮像画像情報として用いる。
また、本実施形態によれば、閲覧側のユーザ端末装置2-2に表示される対象物Tの撮像画像Gの色味を、ユーザが対象物Tの実物を観察する任意光源の環境光下で視認する色味に近づけることができる。
これにより、本実施形態によれば、対象物Tをどのような環境光下において撮像した撮像画像であっても、ユーザが対象物Tの実物を観察する任意光源の環境光下で視認する色味でユーザ端末装置2-2に表示できる。このため、閲覧側のユーザに商品としての対象物Tが届いた際、任意光源(予め画像補正サーバに分光分布が登録されている光源)の環境光下で観察した場合、ユーザ端末装置2-2に表示された際に視認した商品の画像の色味と、ユーザが実物を観察して視認する色味とが近く、閲覧側のユーザの商品に対する満足度を向上させ、色味の違いにより不満を感じることを低減し、商品を出品する提示側のユーザの信頼度を向上させることができる。
なお、上述した第1の実施形態及び第2の実施形態においては、画像補正サーバ4に特定箇所指示部411が備えられているが、撮像側のユーザ端末装置2-1に特定箇所指示部411に対応する機能部が備わっていても良い。さらに、ユーザ端末装置2-1に補正撮像画像出力部414に対応する機能部が備わっていてもよい。撮像側のユーザ端末装置2-1に、撮像画像補正式生成部413(413A)に対応する機能部が備わっていてもよい。撮像画像補正式生成部は、画像補正サーバ4の制御部41に備えられた撮像画像補正式部413(413A)における機能を、ユーザ端末装置2-1の機能として動作させる機能部である。これにより、本実施形態の画像補正システム1では、撮像側のユーザ端末装置2-1により、対象物の撮像、補正式の生成および撮像画像の補正を行うことができる。このため、撮像対象画像情報、特定箇所位置情報、および撮像画像の補正に用いる特定箇所色情報を、ユーザ端末装置2-1から画像補正サーバ4に送信する必要がなく、ネットワーク5の負荷を低減させることができる。また、画像補正サーバ4が補正式の生成及び撮像画像の補正を行う必要がないため、画像補正サーバ4の処理負担を低減させることができる。
また、上述した実施形態においては、画像補正サーバ4に基準色特定部415が設けられているが、閲覧側のユーザ端末装置2-2に基準色特定部415の機能が備えられていても良い。さらに、閲覧側のユーザ端末装置2-2に、表示画像補正部417の機能が備わっていてもよい。この表示画像補正部は、画像補正サーバ4の制御部41に備えられた表示画像補正部417における機能を、ユーザ端末装置2-2の機能として動作させる機能部である。これにより、画像補正システム1では、ユーザ端末装置2-2により撮像対象画像の補正を行うことができる。このため、基準画像情報を画像補正サーバ4からユーザ端末装置2-2に送信する必要がなく、また基準画像情報、および基準画像色情報をユーザ端末装置2-2から画像補正サーバ4に送信する必要がない。このため、ネットワーク5の負荷を低減させることができる。また、画像補正サーバ4が補正撮像画像の再度の補正を行う必要がないため、画像補正サーバ4の処理負担を低減させることができる。
また、上記した少なくとも一つの実施形態においては、ユーザ端末装置2-1、2-2には、画像共有アプリケーションがインストールされている例を示した。しかしながら、ユーザ端末装置2に画像共有アプリケーションがインストールされていなくともよい。例えば、ユーザ端末装置2-1、2-2に予め備わっている、あるいは後からインストールされたWeb(World Wide Web)ブラウザから、画像補正サーバ4、あるいは他のサーバに備わっているWebアプリケーションにアクセスし、当該Webアプリケーション上で上記処理を行ってもよい。これにより、ユーザ端末装置2-1、2-2に画像共有アプリケーションをインストールする必要がなく、ユーザ端末装置2の負荷を低減させることができる。また、ユーザ端末装置は、2台で限定されるわけではなく、3台以上の複数でも良い。
また、上記した少なくとも一つの実施形態においては、画像補正システム1が、一つの画像補正サーバ4を備えている例を示した。しかしながら、画像補正サーバ4は複数であってもよい。例えば、画像補正サーバ4は、ネットワーク上に設けられた複数のクラウドサーバを互いに連携させてもよい。これにより、画像補正システム1の規模を拡大するには、クラウドサーバを増設すればよいため、システムの規模を容易に拡大することができる。また、ユーザ端末装置2から画像補正サーバ4へのアクセスを複数のクラウドサーバに分散させることができ、1つの画像補正サーバ4にアクセスが集中して機能不全に陥ることを防止することができる。
また、上述した第1の実施形態及び第2の実施形態においては、色測定器3-1が取得する色情報として、対象物Tの三刺激値を用いて説明したが、対象物Tの分光放射輝度を測定し、上記(2)式によりこの測定した分光放射輝度から三刺激値を求めて、上述した色の補正を行う構成としても良い。
なお、本発明における図1における画像補正サーバ4の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりユーザ端末装置の表示部の表示画面に表示される画像の色味の調整の制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1…画像補正システム
2-1,2-2…ユーザ端末装置
3-1,3-2…色測定器
4…画像補正サーバ
5…ネットワーク
20,40…NW通信部
21,400…受信部
22,401…送信部
23…色情報取得部
24…撮像部
25…表示部
26…制御部
41…制御部
410…撮像画像取得部
411…特定箇所指示部
412…特定箇所色情報取得部
413…撮像画像補正式生成部
414…補正撮像画像出力部
415…基準色特定部
416…基準画像色情報取得部
417…表示画像補正部

Claims (16)

  1. 撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得部と、
    色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得部と、
    前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成部と、
    前記補正式により前記撮像対象画像情報における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力部と
    を備えることを特徴とする画像補正システム。
  2. 前記撮像画像補正式生成部が、前記推定三刺激値、及び前記撮像対象物を観察する所定の光源の分光分布に基づき、前記推定三刺激値を前記所定の光源の環境光下における任意光源環境下三刺激値に補正する他の補正式を生成し、
    前記補正撮像画像出力部が、前記他の補正式により、前記撮像対象画像情報における前記撮像対象物の全画素の推定三刺激値の各々を前記任意光源環境下三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する
    ことを特徴とする請求項1に記載の画像補正システム。
  3. 前記撮像対象画像情報に基づいて、前記撮像対象物における前記特定箇所色情報を取得する前記箇所である特定箇所を特定し、当該特定箇所における位置を示す特定箇所位置情報を出力する特定箇所指示部をさらに備える、
    ことを特徴とする請求項1または請求項2に記載の画像補正システム。
  4. 前記特定箇所色情報取得部は、前記撮像対象物における前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を取得する、
    ことを特徴とする請求項3に記載の画像補正システム。
  5. 前記色情報が、前記三刺激値または分光放射輝度のいずれかと、前記分光反射率とである、
    ことを特徴とする請求項1から請求項4のいずれか一項に記載の画像補正システム。
  6. 前記補正撮像画像情報が、前記撮像対象物の特定の箇所における前記分光反射率の情報を付加して構成されている
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の画像補正システム。
  7. 前記補正撮像画像情報に基づいて、色の基準となる基準色を特定し、前記基準色を含む基準画像を示す基準画像情報を出力する基準色特定部と、
    色を示す色情報を測定する測定器により検出される、表示部に表示された前記基準画像の色情報である基準画像色情報を取得する基準画像色情報取得部と、
    前記基準画像色情報に基づいて、前記補正撮像画像情報に基づく補正撮像画像の色を補正して補正表示画像情報を生成して出力する表示画像補正部と、
    をさらに備える、
    ことを特徴とする請求項1から請求項6のいずれか一項に記載の画像補正システム。
  8. 前記基準画像色情報が、前記表示部に表示される前記基準画像の色における分光放射輝度または三刺激値のいずれかである
    ことを特徴とする請求項7に記載の画像補正システム。
  9. 前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、
    前記撮像対象画像情報及び前記特定箇所色情報を前記画像補正サーバに出力するとともに前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と
    を備える、
    ことを特徴とする請求項1から請求項8のいずれか一項に記載の画像補正システム。
  10. 前記撮像画像取得部、前記特定箇所指示部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、
    前記撮像対象画像情報を前記画像補正サーバに出力するとともに、前記特定箇所位置情報を前記画像補正サーバから取得し、取得した前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を前記画像補正サーバに出力し、前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と
    を備える、
    ことを特徴とする請求項3または請求項4に記載の画像補正システム。
  11. 前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、
    前記特定箇所指示部と、前記撮像対象画像情報、前記特定箇所指示部が特定した前記特定箇所位置情報及び前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を前記画像補正サーバに出力するとともに前記補正撮像画像情報を前記画像補正サーバから取得する制御部とを有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と
    を備える、
    ことを特徴とする請求項3または請求項4に記載の画像補正システム。
  12. 前記基準色特定部、前記基準画像色情報取得部、前記表示画像補正部、及び前記基準画像を出力する基準画像出力部、を有する画像補正サーバと、
    前記基準画像情報、前記補正撮像画像情報及び前記補正表示画像情報を前記画像補正サーバから取得するとともに、前記基準画像色情報を前記画像補正サーバに出力する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末と
    を備える、
    ことを特徴とする請求項7または請求項8に記載の画像補正システム。
  13. 前記表示画像補正部、及び前記基準画像色情報取得部、を有する画像補正サーバと、
    前記基準色特定部と、前記基準画像情報を前記画像補正サーバに出力する基準画像出力部と、前記基準画像色情報を前記画像補正サーバに出力するとともに前記補正表示画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と、
    を備える、
    ことを特徴とする請求項7または請求項8に記載の画像補正システム。
  14. 前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、前記補正撮像画像出力部、前記基準色特定部、前記基準画像色情報取得部、及び前記表示画像補正部、を有する画像補正サーバと、
    前記撮像対象画像情報、前記特定箇所色情報を前記画像補正サーバに出力するとともに 前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続された撮像側ユーザ端末装置と、
    前記基準画像情報及び前記補正表示画像情報を前記画像補正サーバから取得するとともに前記基準画像色情報を前記画像補正サーバに出力する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続された閲覧側ユーザ端末装置と
    を備える、
    ことを特徴とする請求項7または請求項8に記載の画像補正システム。
  15. 特定箇所色情報取得部が、撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得過程と、
    特定箇所色情報取得部が、色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得過程と、
    撮像画像補正式生成部が、前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成過程と、
    補正撮像画像出力部が、前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力過程と
    を含むことを特徴とする画像補正方法。
  16. コンピュータに、
    撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得手段、
    色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得手段、
    前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成手段、
    前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力手段と
    を実行させるためのプログラム。
JP2018068650A 2018-03-30 2018-03-30 画像補正システム、画像補正方法、及びプログラム Active JP7003804B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018068650A JP7003804B2 (ja) 2018-03-30 2018-03-30 画像補正システム、画像補正方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018068650A JP7003804B2 (ja) 2018-03-30 2018-03-30 画像補正システム、画像補正方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019179432A JP2019179432A (ja) 2019-10-17
JP7003804B2 true JP7003804B2 (ja) 2022-01-21

Family

ID=68278656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018068650A Active JP7003804B2 (ja) 2018-03-30 2018-03-30 画像補正システム、画像補正方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7003804B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727476B2 (en) 2020-01-22 2023-08-15 Lydia Ann Colby Color rendering
WO2023074897A1 (ja) * 2021-11-01 2023-05-04 ソニーグループ株式会社 情報処理装置、プログラム及び情報処理システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194456A (ja) 2015-03-31 2016-11-17 有限会社パパラボ 色忠実環境補正装置および色忠実環境補正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4076248B2 (ja) * 1997-09-09 2008-04-16 オリンパス株式会社 色再現装置
JP2016006408A (ja) * 2014-05-26 2016-01-14 有限会社パパラボ ウェアラブル着色評価装置及びウェアラブルウェアラブル着色評価方法
JP2016010013A (ja) * 2014-06-24 2016-01-18 キヤノン株式会社 画像処理装置およびその方法
JP7076760B2 (ja) * 2016-06-30 2022-05-30 株式会社パパラボ 色判定装置及び色判定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194456A (ja) 2015-03-31 2016-11-17 有限会社パパラボ 色忠実環境補正装置および色忠実環境補正方法

Also Published As

Publication number Publication date
JP2019179432A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
JP4120841B2 (ja) プロジェクタの色補正方法
US6542634B1 (en) Image processing apparatus and method, and profile generating method
US20030043166A1 (en) Image processing method and apparatus
US9501870B2 (en) Mixed reality image processing apparatus and mixed reality image processing method
CN113170028B (zh) 生成基于机器学习的成像算法的图像数据的方法
US20100053376A1 (en) Image processing apparatus and method
JP7003804B2 (ja) 画像補正システム、画像補正方法、及びプログラム
US20190266976A1 (en) Method and apparatus for increased color accuracy of display by compensating for observer's color vision properties
KR20160103097A (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 기록 매체
JP2009071548A (ja) 色処理装置およびその方法
JP2017229064A (ja) 情報処理装置、情報処理方法およびプログラム
JP2017085461A (ja) 色変換装置、色変換システム及びプログラム
JP5156423B2 (ja) 色処理装置および色処理方法
CN110225331A (zh) 选择性地将色彩施加到图像
JP5127638B2 (ja) 画像処理装置およびその方法
JP2011004091A (ja) 画像処理装置および画像処理方法
CN104427322A (zh) 信息处理设备、成像设备、信息处理方法和程序
JP2011165091A (ja) 色調調整装置、色調調整方法およびプログラム
JP2010268294A (ja) カラーマネジメントシステム及びプログラム
JP2012042804A (ja) 画像処理装置および方法
US20030117435A1 (en) Profile creating system
JP6950375B2 (ja) 画像補正システム、画像補正方法、及びプログラム
CN111034185B (zh) 影像处理装置、影像处理方法、程序和远程通信系统
JP2011205275A (ja) 画像処理装置、画像処理プログラム、撮像装置及び画像表示装置
JP2010068138A (ja) 色差識別装置、及び色差識別プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211213

R150 Certificate of patent or registration of utility model

Ref document number: 7003804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150