JP6517766B2 - 色変換テーブル作成装置、色変換装置、色変換システム、及びプログラム - Google Patents

Description

本発明は、撮影された画像の色値を、その撮影時とは異なる照明環境で撮影された場合の画像の色値に変換するための色変換テーブル作成装置、色変換装置、色変換システム、及びプログラムに関する。

遠隔診療や訪問診療においては、患者宅で撮影した患者の顔や患部等の画像を遠隔地の病院端末に送信・表示して、医師がそれらの画像を確認して診察を行うことがある。

このとき、患者宅ごとに照明環境は異なるし、同じ患者宅であっても撮影時における照明環境が常に同じになるとは限らない。すなわち、撮影ごとに照明環境は異なる。

そして、カメラで撮影された画像や映像は、撮影時の照明環境が異なると、同じ物体でも異なる色に映る。

このため、患者宅で撮影された顔画像や患部の画像をそのまま病院端末に表示させても、医師は、「照明環境による色の変化」と「患者の症状による色の変化」を区別することが難しい。

したがって、医師が患者の肌の色や患部の色、それらの変化を正確に把握できるようにするためには、多様な照明環境で撮影された画像の色を、共通の照明環境（例えば、標準光源環境）で撮影された画像の色に近づける色変換処理を行う必要がある。

このような色変換処理には、色変換テーブルが用いられる。

例えば、特許文献１には、デジタルカメラで色票（カラーチャート）を撮影し、そのＲＧＢ値が色票の各色について設定された理想ＲＧＢ値に近似するように三次元の色変換テーブルを生成し、その三次元色変換テーブルに基づいて画像の色変換処理を行う技術が開示されている。

特許文献１のように、色票に基づいて色変換テーブルを生成する場合、色票の色数は限られている一方で、色変換テーブルには多数の色が必要となる。

特に、患者宅において撮影される色票は、利便性やカメラの画角などを考慮して小さいサイズのもの（例えば、２４色の色票など）であることが望ましい。

このため、従来は、不足している色を補間処理によって補うことで、十分な色数の色変換テーブルを生成していた。

特開２００２−３１５０１４号公報

上述したように、撮影ごとに照明環境は異なる。そして、照明環境が異なれば、それぞれの環境における撮像系の色空間が異なる。さらに、色空間によっては、その色空間から任意の照明環境（例えば、標準光源環境）における撮像系の色空間に変換するために複雑な変換処理が必要になることがある。

このとき、患者宅の照明環境がこのような複雑な変換処理が必要な環境であった場合、色変換テーブルを生成するために行われる補間処理の精度は、複雑な変換処理が不要な照明環境の場合よりも低下する。すなわち、撮影時の照明環境によっては、補間処理の誤差が出やすいものがある。

その結果、照明環境ごとの補間処理精度の違いによって、同じ標準光源環境に色変換した画像であるにもかかわらず、変換結果の色が異なるものになってしまうという問題があった。

図１は、撮影時の照明環境によって補間処理の精度に差が生じる例を模式的に示した図である。

図１において、●は標準光源環境における色の真の値である。図１（ａ）に示す実線は、撮像系の色空間で色をｇ１からｇ２に変化させた際の標準光源環境におけるｇ１´からｇ２´への色変化の真の値を示したものである。図１（ｂ）に示す実線は、撮像系の色空間で色をｇ３からｇ４に変化させた際の標準光源環境におけるｇ３´からｇ４´への色変化の真の値を示したものである。○は、基準の色（色票の色）である。■は、基準の色に基づいて補間処理して求めた色（色変換テーブルに格納される色）である。

図１（ａ）は、照明環境Ａから標準光源環境への色変換テーブルを生成する例である。図１（ａ）の例では、色票の色を元に、色変換テーブルに必要な色を補間処理で計算しているが、色変換テーブルに格納すべき真の色からは、ずれが生じていることがわかる。

一方、図１（ｂ）は、照明環境Ｂから標準光源環境への色変換テーブルを生成する例である。図１（ｂ）の例では、色票の色を元に補間した色が、真の色と一致していることがわかる。

図１において、照明環境Ａにおける画像上の色を標準光源環境における画像上の色に変換する場合は、照明環境Ｂにおける画像上の色から標準光源環境における画像上の色に変換する場合に比べて、色空間が複雑に変形している。このため、補間処理において変曲点付近で推定誤差が発生しやすい。すなわち、撮影時の照明環境が照明環境Ａである場合、撮影時の照明環境が照明環境Ｂの場合よりも補間処理の誤差が出やすい。

したがって、このように補間処理の精度の差を含んで生成された色変換テーブルをそれぞれ用いると、照明環境Ａで撮影された画像と照明環境Ｂで撮影された画像を、ともに標準光源環境における画像上の色に変換した場合に、両画像には色の差が生じてしまう。

例えば、病院端末にこれらの画像を表示すると、医師は両画像とも共通の標準光源環境の色に変換されている画像として顔色や患部の色を判断するため、色の状態や色の変化を患者の症状に起因したものであると誤って判断してしまう可能性がある。

また、この問題は、遠隔診療や訪問診療に限るものではない。例えば、照明環境の異なる各所に設置された監視カメラ間で監視画像の色を統一する場合においても、「監視画像中の物体に生じた色の状態や変化」と、「監視カメラごとの照明環境の違いによる色の差」と区別して、正確に認識することが難しくなるという問題が生じる。

本発明は、上記課題を鑑みてなされたものであり、色の補間処理を行うことなく色変換テーブルを生成することができ、撮影時の照明環境によって色変換結果が変わってしまうことのない色変換処理を実現することができる色変換テーブル作成装置、色変換装置、色変換システム、及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る色変換テーブル作成装置は、第１の照明環境で撮影された画像の色値を、前記第１の照明環境とは異なる第２の照明環境で撮影された場合の色値に変換するための色変換テーブルを作成する色変換テーブル作成装置であって、予め求められた前記第１の照明環境の光源情報に基づいて、前記色変換テーブルにおける、前記第１の照明環境で撮影された画像の色値からなる変換前色値群を算出する変換前色値群算出手段と、前記第１の照明環境の光源情報と、予め求められた撮影対象の分光反射率とに基づいて、前記変換前色値群に含まれる各色値について、前記撮影対象における当該各色値の分光反射率を推定する分光反射率推定手段と、前記変換前色値群に含まれる各色値について、前記推定された当該各色値の分光反射率と、予め求められた前記第２の照明環境の光源情報とに基づいて、当該各色値に対応する前記第２の照明環境で撮影された場合の色値を変換後色値として算出する変換後色値算出手段と、前記変換前色値群に対応する前記変換後色値の各々を少なくとも格納した前記色変換テーブルを作成するテーブル作成手段と、を含んで構成されている。

本発明に係る前記変換前色値群算出手段は、前記変換前色値群が、前記第１の照明環境における色空間の色値の次元毎に等間隔に配置されるように、前記変換前色値群を算出する。

本発明に係る色変換装置は、前記第１の照明環境で撮影された画像を取得する画像取得手段と、上記の色変換テーブル作成装置によって作成された色変換テーブルを用いて、前記第１の照明環境で撮影された画像の各画素について、前記画素の色値を、前記第２の照明環境で撮影された場合の色値に変換する色変換手段と、を含んで構成されている。

本発明に係る色変換システムは、遠隔地毎に、前記遠隔地の照明環境を、前記第１の照明環境として、上記の色変換テーブル作成装置によって作成された色変換テーブルを記憶する色変換テーブル記憶手段と、前記遠隔地において撮影された画像を、ネットワークを介して受信する通信手段と、前記通信手段によって受信した画像の前記遠隔地に対応する前記色変換テーブルを用いて、前記通信手段によって受信した画像の各画素について、前記画素の色値を、前記第２の照明環境で撮影された場合の色値に変換する色変換手段と、前記色変換手段によって各画素の色値が変換された前記画像を表示する表示手段と、を含んで構成されている。

本発明に係るプログラムは、コンピュータに、第１の照明環境で撮影された画像の色値を、前記第１の照明環境とは異なる第２の照明環境で撮影された場合の色値に変換するための色変換テーブルを作成させるためのプログラムであって、コンピュータに、予め求められた前記第１の照明環境の光源情報に基づいて、前記色変換テーブルにおける、前記第１の照明環境で撮影された画像の色値からなる変換前色値群を算出するステップと、前記第１の照明環境の光源情報と、予め求められた撮影対象の分光反射率とに基づいて、前記変換前色値群に含まれる各色値について、前記撮影対象における当該各色値の分光反射率を推定するステップと、前記変換前色値群に含まれる各色値について、前記推定された前記当該各色値の分光反射率と、予め求められた前記第２の照明環境の光源情報とに基づいて、当該各色値に対応する前記第２の照明環境で撮影された場合の色値を変換後色値として算出するステップと、前記変換前色値群に対応する前記変換後色値の各々を少なくとも格納した前記色変換テーブルを作成するステップと、を実行させることを特徴とする。

以上説明したように、本発明の色変換テーブル作成装置、色変換装置、色変換システム、及びプログラムによれば、色の補間処理を行うことなく色変換テーブルを生成することができ、撮影時の照明環境によって色変換結果が変わってしまうことのない色変換処理を実現することができる、という効果が得られる。

撮影時の照明環境によって補間処理の精度に差が生じる例を模式的に示した図である。 本発明の実施の形態に係る遠隔診療システムの構成を示す概略図である。 本発明の実施の形態に係る色変換装置の構成を示すブロック図である。 撮影画像の画素のＲＧＢ値より選択された近傍のレコードを模式的に示した図である。 本発明の実施の形態に係る色変換装置による色変換処理の動作を示すフローチャートである。 本発明の実施の形態に係る色変換装置による色変換テーブルを作成する処理の動作を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、遠隔診療システムに本発明を適用した場合を例に説明する。

＜システム構成＞
以下、本発明を適用した遠隔診療システム１００の概略構成を示した図２を参照し、本発明の実施の形態の構成を説明する。

（遠隔診療システム１００）
遠隔診療システム１００は、複数の患者端末（図示省略）、病院端末２０、および色変換装置３０を有する。複数の患者端末、病院端末２０、および色変換装置３０は、通信ネットワーク５０を介して接続されている。

患者端末は、それぞれ患者宅（例えば、患者宅Ａ、Ｂ）に設置され、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro−Processing Unit）、周辺回路、端子、及び各種メモリなどから構成される。患者端末は、患者端末に接続されたデジタルカメラ１２で撮影された患者の顔画像や患部の画像を、遠隔地の病院に設置された病院端末２０に送信し、遠隔診療を実現する。

このとき、医師が患者の肌の色および患部の色、それらの変化を正確に把握できるようにするために、患者端末は、色変換装置３０を介して、病院端末２０に送信する。

色変換装置３０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro−Processing Unit）、周辺回路、端子、及び各種メモリなどから構成される。色変換装置３０は、患者端末から画像を受信すると、患者宅の多様な照明環境で撮影された画像の色を、共通の照明環境で撮影された画像の色に近づける色変換処理を施し、色変換された画像を病院端末２０に送信する。

具体的には、本実施の形態における遠隔診療システム１００では、患者宅においてデジタルカメラ１２を用いて撮影された患者の顔画像や患部の画像が、患者端末から通信ネットワーク５０を介して色変換装置３０に送信される。

そして、本実施の形態における色変換装置３０は、色変換処理を施したそれらの画像を、通信ネットワーク５０を介して病院端末２０に送信する。

病院端末２０は、病院内に設置され、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro−Processing Unit）、周辺回路、端子、及び各種メモリなどから構成される。病院端末２０は、色変換装置３０から受信した画像をモニター２２に表示する。これにより、医師は、病院端末２０に送信され、かつ、モニター２２に表示されたそれらの画像を閲覧し、患者を診察する。

図２においては、患者宅Ａでデジタルカメラ１２により撮影された画像Ａ１およびＡ２、患者宅Ｂでデジタルカメラ１２により撮影された画像Ｂが、色変換装置３０にて、それぞれ画像Ａ１´、画像Ａ２´、画像Ｂ´に変換される。そして、その後、画像Ａ１´、画像Ａ２´、画像Ｂ´が病院端末２０に送信される。

画像Ａ１および画像Ａ２は、同じ患者宅Ａで同じ患者を撮影した画像であるが、撮影された時間帯や撮影の際に点灯させた照明装置が異なるため、撮影時の照明環境が異なる画像となる。また、患者宅Ａと患者宅Ｂも照明環境が異なる。すなわち、画像Ａ１、Ａ２、画像Ｂはいずれも、撮影時の照明環境が異なる画像である。

本発明の実施の形態に係る色変換装置３０によれば、撮影時の照明環境が異なるこれらの画像（画像Ａ１、画像Ａ２、画像Ｂ）を共通の照明環境で撮影された場合の色に精度良く変換することができるため、撮影時の照明環境の影響を排除して、画像に写った対象の色の状態を正確に把握したり、色の比較を正確に行ったりすることができる。

（色変換装置３０）
色変換装置３０は、色変換テーブルを作成し、作成された色変換テーブルに基づいて、ある照明環境で撮影された画像の色を、他の照明環境で撮影された場合の画像の色に変換する。

本実施の形態では、デジタルカメラ１２を用いて患者宅の照明環境で撮影された患者の顔や患部等の画像を取得し、それらの画像の色を標準光源環境で撮影された画像の色に変換する。

図３は、本実施の形態における色変換装置３０の構成を示した図である。

本実施の形態における色変換装置３０は、記憶部３２、光源スペクトル取得部３４、色変換テーブル作成部３６、色変換処理部３８、及び出力部４０を含んで構成される。各部についての説明は後述する。なお、色変換処理部３８は、画像取得手段及び色変換手段の一例である。

（デジタルカメラ１２）
デジタルカメラ１２は、撮影対象を撮影するための撮像デバイスである。デジタルカメラ１２は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子などの撮像素子、Ａ／Ｄ変換器などを含んで構成される。

デジタルカメラ１２は、撮影したデータをＡ／Ｄ変換し、デジタル画像（以下、撮影画像）を作成する。ここで作成される撮影画像のＲＧＢ値は、撮像素子への入射光量と線形関係である。

本実施の形態では、デジタルカメラ１２で撮影された撮影画像は、患者端末により、通信ネットワーク５０を介して、色変換装置３０に送信され、色変換装置３０の記憶部３２に記憶される。

撮影画像を送信する手段は、特に限定しない。例えば、色変換装置３０とデジタルカメラ１２を一体化させてもよいし、デジタルカメラ１２から送信するようにしてもよい。

なお、後述する色変換装置３０の色変換処理部３８は、記憶部３２を介して撮影画像を入力するが、これに限らず、撮影画像は、記憶部３２を介さずに色変換処理部３８に入力されるようにしてもよい。

また、後述する光源スペクトル取得部３４にて、色票の画像を用いて撮影時の光源スペクトルを推定する場合、色票を撮影した画像（色票画像）についても、前述した撮影画像と同様に処理し、通信ネットワーク５０を介して色変換装置３０に送信される。そして、記憶部３２を介して、色変換装置３０の光源スペクトル取得部３４に入力される。

なお、患者の顔や患部等の撮影画像は、患者を識別する患者ＩＤと対応付けて送信すればよい。また、色票画像についても、患者の顔や患部等の撮影画像を撮影した時の照明環境と同じ照明環境で撮影されたものが、その撮影画像と対応付けられて送信されるものとする（撮影ＩＤ等を付与して対応付ければよい）。

（モニター２２）
モニター２２は、ディスプレイおよび表示制御手段等を含んで構成される。本実施の形態では、モニター２２は、遠隔地の病院に設置された病院端末２０に備えられている。

医師等は、病院端末２０を操作して色変換装置３０から取得した色変換後の撮影画像をモニター２２に表示させる。

なお、モニター２２の色管理設定は、使用するモニター２２のメーカーが提供、もしくはカラーマネジメントツールで作成したモニタープロファイルが指定され、モニター２２はそのモニター特性に合わせて、正確な色の表示ができるようになっているものとする。

以下に、色変換装置３０の構成について詳しく説明する。

（記憶部３２）
記憶部３２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、ハードディスクなどのメモリ装置で構成される。

本実施の形態における記憶部３２は、予め、デジタルカメラ１２の分光感度、撮影対象の分光反射率データベース、変換先光源スペクトルデータ、等色関数データを記憶する。

デジタルカメラ１２の分光感度は、撮影で用いるデジタルカメラ１２のＲＧＢの各色の撮像素子について、光の波長ごとの感度を表した情報である。

撮影対象の分光反射率データベースは、撮影の対象とする物体が持つ様々な色の分光反射率の情報である。本実施形態では、人の肌を撮影の対象とし、人の肌の多数の色の分光反射率を予め多数入手し記憶部３２に記憶しておく。

撮影対象がその他である場合は、同様に、その撮影対象に含まれる様々な色の分光反射率を記憶部３２に予め記憶しておけばよい。

変換先光源スペクトルデータは、色変換先の照明環境に関する光源スペクトルのデータ（光源の波長ごとの分光強度の情報）である。なお、光源スペクトルは、光源情報の一例である。

例えば、本実施の形態では、記憶部３２は、変換先光源スペクトルデータとして、標準光源環境における光源スペクトルを記憶する。国際照明委員会（ＣＩＥ）の定める標準光源には、Ｄ６５やＤ５０などいくつかの種類が存在するが、医師等が所望する光源のスペクトルデータを記憶部３２に記憶しておけばよい。

このとき、変換先光源スペクトルデータは、標準光源以外のものでも構わない。例えば、診察室と同じ照明環境を変換先の照明環境としたい場合は、その診察室の光源スペクトルデータを記憶しておけばよい。

等色関数データは、人の目の分光感度を表した情報である。本実施例では、国際照明委員会（ＣＩＥ）が定めたデータを用いる。

上述した４種類の情報のフォーマットは、３９０ｎｍから８００ｎｍの間の波長において１ｎｍ刻みの４１１次元に揃えている。

記憶部３２は、これら以外にも、各処理を実行するのに必要なプログラムやパラメータなどの各種情報を記憶する。

記憶部３２は、色変換装置３０を構成する各部などからアクセス可能である。

（光源スペクトル取得部３４）
光源スペクトル取得部３４は、撮影時の照明環境における光源スペクトルを取得する。なお、光源スペクトルは、光源情報の一例である。

本実施の形態では、光源スペクトル取得部３４は、予め分光反射率が既知のパッチをもつ色票を用いて、撮影時の照明環境における光源スペクトルを推定する。

なお、色票の各パッチの分光反射率は予め記憶部３２に記憶しておく。

また、精度よく光源スペクトルを推定するために、患者宅で用いられる照明や太陽光の光源スペクトルを、サンプル光源スペクトルデータとして予め記憶部３２に記憶しておく。

光源スペクトルを推定する際、まず、撮影時の照明環境下において、デジタルカメラ１２で色票を撮影し、色票画像から各パッチの色値を抽出し、記憶部３２に記憶する。そして、光源スペクトル取得部３４は、記憶部３２に記憶している色票の各パッチの色値及び分光反射率と、カメラ分光感度と、サンプル光源スペクトルデータとを用いて、撮影時の照明環境の光源スペクトルを推定する。推定した光源スペクトルは記憶部３２に記憶される。このとき、推定された光源スペクトルは、推定に用いられた色票画像と同じ照明環境下において撮影された撮影画像と撮影ＩＤ等で対応付けられて記憶される。

なお、分光測定器を撮影環境に持ち込むことが可能であるならば、前述した光源スペクトルの推定を行うことなく、分光測定器で撮影時の照明環境の光源スペクトルを計測し、これを記憶部３２に記憶してもよい。この場合、色票を撮影することや、色票の各パッチの分光反射率、サンプル光源スペクトルデータを記憶する必要はない。

また、分光測定器で撮影時の照明環境の光源スペクトルを計測した場合、前述した色票画像と同様に、患者の顔や患部等の撮影画像を撮影した時の照明環境と同じ照明環境で計測されたものが、その撮影画像と撮影ＩＤ等で対応付けられて色変換装置３０に送信され、記憶部３２に記憶される。

以下に、本実施形態における光源スペクトルの推定について詳しく説明する。なお、推定方法はこれに限らず、既存の方法を用いればよい。

[光源スペクトルの推定]
光源スペクトル取得部３４は、以下のように撮影時の照明環境における光源スペクトル（本実施形態では波長域３９０−８００ｎｍにおける１ｎｍ間隔で４１１次元のもの）を推定する。

分光反射率ｒが既知の色票を撮影し、以下の分光情報とデジタルカメラ１２が出力する色の関係式（１）を用いて光源スペクトルを推定する。

ただし、ｇ_rgbは、デジタルカメラ１２が出力する色値のＲとＧとＢを表す３×１の列ベクトルである。Ｓは、ＲとＧとＢの３つのカメラ分光感度特性を表す４１１×３の行列である。ｒは、色票のパッチの分光反射率を表す４１１×１の列ベクトルで、ｄｉａｇ（ｒ）は、ベクトルｒを対角要素とする対角行列である。ｌは、光源スペクトルを表す４１１×１の列ベクトルである。

カメラ分光感度Ｓは、記憶部３２に予め記憶している分光感度を用いる。式（１）から、光源スペクトルｌを推定するには、光源スペクトルｌを直接求めるのではなく、式（２）に示すように、ｌを基底ベクトルｌ_basisの線形和で置き換え、線形和の重み係数ａを求める。

ｌ_estは、光源スペクトルの推定値を表す４１１×１の列ベクトルである。ｌ_basisは、ｍ個の基底ベクトルを表す４１１×ｍの行列である。ａは、ｍ個の基底ベクトルにかかる重み係数を表すｍ×１の列ベクトルである。

係数ａを求めるためには、一般的に、記憶部３２に予め記憶している複数のサンプル光源スペクトルからその主成分ベクトルを求め、その主成分ベクトルを式（２）の基底ベクトルとして用い、複数のパッチのＲＧＢ値を入力データとして、最小二乗法で係数を推定する。

また、サンプル光源スペクトルを用いて、ウィナー推定によって推定するようにしてもよい。

しかし、実環境で光源スペクトルを推定する場合、撮影した色票の画像のＲＧＢ値は誤差を含むため、光源スペクトルの推定精度は低くなるケースがある。本実施例では、光源スペクトル推定の精度を向上させるため、基底ベクトルに、ｍ個のサンプル光源をそのまま用い、さらに、線形和係数の推定に非負値最小二乗法を用いる。基底ベクトルと線形和係数を共に非負とすることで、４１１次元の光源スペクトルは推定可能な範囲が限定され、実環境であっても光源スペクトルを安定して推定可能となる。ｎ色のカラーチャートを用いる場合、線形和係数ａとパッチ色値ｇの関係式（３）より、線形和係数ａを非負値最小二乗法により求める。

ただし、ｇ_r1は、カメラ応答の中で、ｎ個あるパッチの１番目のパッチのＲの値である。ｒ₁は、色票の1番目のパッチの分光反射率を表す４１１×１の列ベクトルである。ｓ_rは、カメラのＲの分光感度を表す４１１×１の列ベクトルで、ｄｉａｇ（ｓ_r）は、ベクトルｓ_rを対角要素とする４１１×４１１の対角行列である。Ｌ_basisは、ｍ個のサンプル光源スペクトルを基底ベクトルにした４１１×ｍの行列である。ａ₁は、１番目の基底ベクトルにかける係数である。

そして、係数ａに基づいて、上記式（２）に従って、光源スペクトルの推定値ｌ_estを求める。

（色変換テーブル作成部３６）
色変換テーブル作成部３６は、補間処理を行うことなく色変換テーブルを作成する。

作成した色変換テーブルは、記憶部３２に記憶される。このとき、色変換テーブルは、作成に使用された光源スペクトルと同じ照明環境で撮影された撮影画像に対応付けて記憶される。

色変換テーブルは、変換前のある色が変換後にはどの色になるのかの変換前後の色対応関係を定めるレコードを、多数格納したテーブルである。

本実施形態で用いる色変換テーブルは、色変換処理で色再現精度が下がらないようにするために、３３×３３×３３個という多数の色変換前後の色の対応関係を示すレコードから構成される三次元ルックアップテーブルを用いる。

なお、三次元ルックアップテーブルを用いて、正確な色変換を高速に行うためには、色変換前の色空間内（患者宅の照明環境における撮像系の色空間内）で等間隔に配置されている必要がある。

本実施の形態における色変換テーブル作成部３６は、変換前色値算出手段４２、分光反射率推定手段４４、変換後色値算出手段４６、及びテーブル作成手段４８を含んで構成される。

以下に、色変換テーブル作成部３６を構成する各手段について詳しく説明する。

（変換前色値算出手段４２）
変換前色値算出手段４２は、色変換テーブルが必要とする変換前色値を、撮像系の色空間に基づいて算出する。そして、全レコード分の変換前色値からなる変換前色値群を記憶部３２に記憶する。

本実施の形態では、以下のように変換前色値を算出する。なお、変換前色値の算出方法は、以下の方法に限らず、撮影時の照明環境に応じた変換前色値を算出できるものであればよい。例えば、撮像系の色空間の白色点を撮影画像から抽出するようにしてもよい。

[変換前色値の算出]
三次元ルックアップテーブルを用いた色変換テーブルは、変換前の色空間と変換後の色空間の色の対応関係がＮ×Ｎ×Ｎ個のレコードとして記述されており、さらに、色変換処理部３８において画像の色変換が高速に実行されるために、変換前の色は、変換前の三次元色空間にて次元毎に等間隔に配置された色が用いられる。本実施形態では、Ｎ＝３３としている。

変換前の色空間は、光源スペクトル取得部３４で取得された光源スペクトルｌと、記憶部３２に予め記憶してあるカメラ分光感度Ｓにより決定される。

具体的には、式（４）により撮像系の色空間の白色点ｇ_wを求め、その白色点を三次元空間の頂点として各次元を等間隔に３２分割し、３３×３３×３３個の色を算出し、変換前色値群とする。

このように、光源スペクトル取得部３４で取得された光源スペクトルｌに応じた色空間の頂点を用いて、変換前色値群を求めることができる。

なお、求めた白色点を三次元空間の頂点として各次元を等間隔に分割する場合を例に説明したが、これに限定されるものではなく、求めた白色点の各次元の値を所定割合だけ下げた点を、三次元空間の頂点として各次元を等間隔に分割するようにしてもよい。

（分光反射率推定手段４４）
分光反射率推定手段４４は、変換前色値算出手段４２で算出した色変換テーブルの全レコード分の変換前色値の各々について、撮影対象における当該変換前色値の分光反射率を推定する。

撮影対象における変換前色値の分光反射率の推定には、記憶部３２に記憶されている撮影時の照明環境における光源スペクトル、撮影に使用したデジタルカメラ１２の分光感度、及び撮影対象の分光反射率データベースを用いる。

そして、分光反射率推定手段４４は、推定した各色変換前色値の分光反射率を記憶部３２に記憶する。

本実施の形態における分光反射率推定手段４４は、以下のように分光反射率を推定する。なお、分光反射率の推定方法はこれに限らず、既存の方法を用いればよい。

[分光反射率の推定]
分光反射率推定手段４４は、光源スペクトル取得部３４が取得した撮影時の照明環境における光源スペクトルを用いて、色変換テーブルの変換前色値の各色の分光反射率を推定する。

ここで、世の中に存在するあらゆる物体の色を対象として分光反射率を推定する場合には、１色のＲＧＢ値から正確に求めることは困難であるため、撮影対象の種類に応じてその推定方法を選択する必要がある。

そこで、本実施の形態では、人の肌を撮影対象とする。

具体的には、撮影対象が人の肌の場合、記憶部３２に予め記憶してある複数の肌の分光反射率のサンプルデータを用いて、主成分分析を用いた手法、もしくはウィナー推定によって、分光反射率を推定することが出来る。

なお、人の肌以外を撮影対象とする場合は、その撮影対象の分光反射率をサンプルデータとして用意し、分光反射率の推定を行う。

主成分分析を用いる場合の推定方法を以下に説明する。

式（６）によって、推定する分光反射率ｒ_lutを３つの基底ベクトルの線形和で置き換え、その線形和の係数ａ_lutを算出する。

式（７）は、変換前色値ｇ_inと基底ベクトルＲ_basisとの線形和で表した分光反射率の関係式である。

ただし、ｇ_inは、変換前色値のＲとＧとＢを表す３×１の列ベクトルである。ｌは、推定した撮影環境の光源スペクトルを表す４１１×１の列ベクトルであり、ｄｉａｇ（ｌ）は、ベクトルｌを対角要素とする４１１×４１１の対角行列である。Ｒ_basisは、３個の基底ベクトルに表す４１１×３の行列である。３個の基底ベクトルは、撮影対象の分光反射率のサンプルデータに対して主成分分析を行った結果から得られる、上位３個の主成分ベクトルである。ａ_lutは、基底ベクトルＲ_basisにかかる重み係数を表す３×１の列ベクトルである。

式（７）より算出した係数ａ_lutと基底ベクトルＲ_basisより、前述した式（６）から分光反射率ｒ_lutを求める。

（変換後色値算出手段４６）
変換後色値算出手段４６は、分光反射率推定手段４４で推定した変換前色値の各々の分光反射率を用いて、各分光反射率の標準光源環境下での色を算出する。

その際、記憶部３２に記憶されている変換先光源スペクトルデータ、人の目の分光感度である等色関数データを取得し、色の算出に用いる。そして、算出した全ての標準光源環境下における色を色変換テーブルの変換後色値として記憶部３２に記憶する。

具体的には、以下のように変換後色値を算出する。

変換後色値算出手段４６は、３３×３３×３３個の変換前色値の各々について、当該変換前色値の分光反射率ｒ_lutを用いて、式（８）に従って、色変換テーブルの変換後色値ｇ_outを算出する。計算には、記憶部３２に予め記憶してある標準光源の光源スペクトルデータｌ_S、人間の視覚の分光感度特性である等色関数Ｓ_hを用いる。

ただし、ｇ_outは、変換後色値のＸとＹとＺを表す３×１の列ベクトルである。Ｓ_hは、国際照明委員会（ＣＩＥ）が規定した人間の分光感度を表す４１１×３の行列である。Ｉ_Sは、画像閲覧に用いる標準光源のスペクトルを表す４１１×１の列ベクトルであり、ｄｉａｇ（ｌ_S）は、ベクトルｌ_Sを対角要素とする４１１×４１１の対角行列である。ｒ_lutは、色変換テーブルに用いられる変換前色値の、撮影対象における分光反射率を表す４１１×１の列ベクトルである。

（テーブル作成手段４８）
テーブル作成手段４８は、変換前色値算出手段４２にて算出された変換前色値と、変換後色値算出手段４６で算出した変換後色値を取得し、変換前色値と変換後色値を対応させてそのまま格納することで補間処理することなく色変換テーブルを作成する。

色変換テーブルのフォーマットをＩＣＣ（International Color Consortium）プロファイルに合わせた場合、後述する色変換処理部３８において、ＩＣＣプロファイルに対応したカラーマネジメントシステムが利用可能となる。

作成した色変換テーブルは、記憶部３２に記憶される。このとき、前述したように撮影画像と対応付けられる。

（色変換処理部３８）
色変換処理部３８は、色変換テーブルを用いて、撮影画像の色が目的の照明環境下で撮影された場合の画像上の色になるように変換する。

本実施の形態では、色変換処理部３８は、記憶部３２に記憶されている撮影画像を取得し、その撮影画像に対応付けられている色変換テーブルを記憶部３２から取得して、撮影画像の色が標準光源環境下で撮影された画像の色になるように変換する。

具体的には、本実施の形態における色変換処理部３８は、撮影画像の各画素のＲＧＢ値を、３３×３３×３３個の変換前後の色の対応関係を示すレコードが格納されている色変換テーブルを用いて、標準光源環境下の色値に変換する。色変換処理部３８は、この処理を撮影画像の全画素について行う。

さらに詳細に説明すると、色変換処理部３８は、３３×３３×３３個のレコードの中から、変換前の色空間内で、撮影画像の画素のＲＧＢ値の近傍に位置するレコードを選択し、そのレコードに記憶されている変換後色値を取得する（図４参照）。その複数の変換後色値から、線形補間などの補間処理によって最終的に変換後の各画素の色値を算出する。

図４は、撮影画像の画素のＲＧＢ値より選択された近傍のレコードを模式的に示した図である。

なお、図４では、レコード数を４×４×４個に簡略化して記載している。

図４に示すように、レコードの変換前色値を等間隔にすることで、上述した近傍のレコードを選択する際に、画素のＲＧＢ値と変換前色値の大小比較が不要となるため、高速に近傍レコードを選択することができるようになっている。

色変換処理部３８は、色変換した撮影画像（以下、変換画像）を記憶部３２に記憶する。このとき、変換元となった撮影画像と同じ患者ＩＤが付与される。

（出力部４０）
出力部４０は、色変換処理部３８が生成した変換画像を出力する。

本実施の形態では、色変換装置３０と病院端末２０は通信ネットワーク５０などで接続され、出力部４０は、記憶部３２に記憶されている変換画像を病院端末２０に対して出力する。

出力された変換画像を病院端末２０のモニター２２に表示することで、医師や看護士は、患者宅の光源が、設置照明の種類や、時間や天候によって異なったとしても、常に同じ光源下で患者を観察するのと同様のことが可能となる。

＜遠隔診療システムの動作＞
以下、図５、図６に示したフローチャートを参照しつつ、本発明を適用した遠隔診療システム１００による色変換処理の動作を説明する。なお、各患者宅の照明環境毎に、デジタルカメラ１２で撮影された色票画像から抽出された、各パッチの色値が予め取得され、記憶部３２に記憶されており、その他の処理に必要な各種の情報が記憶部３２に記憶されている場合を例に説明する。

図５に示すフローチャートは、記憶部３２にまだ色変換がされていない撮影画像がある場合や、ユーザーの指示等によって開始される。

最初に、色変換装置３０の光源スペクトル取得部３４は、色変換対象の撮影画像と同じ患者宅の照明環境について、記憶部３２に記憶されているパッチの色値と、色票の各パッチの分光反射率と、サンプル光源スペクトルデータとに基づいて、上記（３）式に従って、線形和係数を非負値最小二乗法により求め、求められた線形和係数に基づいて、上記（２）式に従って、色変換対象の撮影画像の撮影時の照明環境における光源スペクトルを推定する（ステップＳ１）。なお、光源スペクトルを推定せずに分光測定器で計測する場合、ステップＳ１を省略することができる。

そして、色変換テーブル作成部３６は、色変換対象の撮影画像について、ステップＳ１で推定された撮影時の照明環境における光源スペクトルに基づいて、色変換テーブルを作成して、記憶部３２に格納する（ステップＳ２）。

次に、色変換処理部３８は、色変換対象の撮影画像を、記憶部３２から取得する（ステップＳ３）。

そして、色変換処理部３８は、上記ステップＳ２で色変換対象の撮影画像について作成された色変換テーブルを、記憶部３２から取得し、色変換テーブルを用いて、撮影画像の各画素のＲＧＢ値を標準光源環境下の色値に変換した変換画像を生成し、記憶部３２に格納する（ステップＳ４）。

次に、出力部４０は、ステップＳ４で生成された変換画像を、病院端末２０に対して出力し（ステップＳ５）、一連のステップを終了する。

上記ステップＳ２は、図６に示す処理ルーチンにより実現される。

まず、変換前色値算出手段４２が、色変換対象の撮影画像について上記ステップＳ１で推定された光源スペクトルと、記憶部３２に予め記憶してあるカメラ分光感度とにより、撮像系の色空間の白色点を求め、その白色点を三次元空間の頂点として各次元を等間隔に分割して、変換前色値を算出する（ステップＳ２１）。

そして、分光反射率推定手段４４は、色変換対象の撮影画像について上記ステップＳ１で推定された光源スペクトルと、記憶部３２に予め記憶してあるカメラ分光感度と、撮影対象の分光反射率データベースとに基づいて、上記ステップＳ２１で算出した色変換テーブルの全レコード分の変換前色値の各々について、撮影時の照明環境下で生じる分光反射率を推定する（ステップＳ２２）。

そして、変換後色値算出手段４６は、色変換テーブルの全レコード分の変換前色値の各々について、上記ステップＳ２２で推定した分光反射率と、記憶部３２に記憶されている変換先光源スペクトルデータと、人の目の分光感度である等色関数データとに基づいて、上記式（８）に従って、変換後色値を算出する（ステップＳ２３）。

次に、テーブル作成手段４８は、上記ステップＳ２１にて算出された変換前色値と、上記ステップＳ２３で算出した変換後色値を取得し、補間処理することなく色変換テーブルを作成して、記憶部３２に記憶し（ステップＳ２４）、当該処理ルーチンを終了する。

以上説明してきたように、本発明の実施の形態に係る遠隔診療システムの色変換装置は、撮影時の照明環境の光源スペクトルに基づいて、先に色変換テーブルの変換前色値群を算出し、撮影対象の分光反射率に基づいて、変換前色値群に含まれる各色値について、撮影対象における色値の分光反射率を推定し、変換したい照明環境（例えば、標準光源環境）下の光源スペクトルに基づいて、色値に対応する、変換したい照明環境下で撮影された画像の色値を算出することにより、色の補間処理を行うことなく色変換テーブルを生成することができ、撮影時の照明環境によって色変換結果が変わってしまうことのない安定した色変換処理を実現することができる。

また、従来手法のように色票に基づいて色変換テーブルを生成すると、色数が少ないため補間処理が必要だったが、単純に、色票を用いずに、予め多数の分光反射率のサンプルをデータとして用意して色数を増やしたとしても補間処理は必要となる。それは、撮影時の照明環境によって等間隔になる色は異なるため、予め分光反射率を撮影時の照明環境において等間隔な色になるように用意しておくことが難しいからである。例えば、仮に、ある照明環境下（例えば、白熱灯下）で等間隔な色になるように分光反射率のサンプルを予め用意できたとしても、そのサンプルは、他の光源下においては等間隔な色になるようなものではないため、色変換テーブルを生成するための補間処理はなくならない。本発明の実施の形態によれば、補間処理を行うことなく、照明環境における等間隔に配置した色変換テーブルを生成できるため、高速、かつ正確な色変換を実現できる。

＜変形例＞
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、色変換装置が、色変換テーブルの作成と、色変換処理とを行う場合を例に説明したが、これに限定されるものではない。例えば、色変換処理を行う装置と色変換テーブルを作成する装置とを別の装置にしてもよい。

また、上記の実施の形態では、色変換装置を遠隔診療システムに適用した例を説明したが、他の用途に使用してもよく、診療以外の目的で、遠隔地の画像を監視するための遠隔監視システムに本発明を適用してもよい。例えば、照明環境の異なる各所に設置された監視カメラで撮影された監視画像を表示する遠隔監視システムにおいて、監視カメラ間で監視画像の色を統一することに用いてもよい。

また、変換前色値と、変換後色値とを対応させて格納した色変換テーブルを作成する場合を例に説明したが、これに限定されるものではなく、変換前色値を格納せずに、変換後色値を格納した色変換テーブルを作成するようにしてもよい。

また、上記の実施の形態では、通信ネットワーク５０を介して、各種の画像を送受信しているが、これに限らない。例えば、色変換装置３０とデジタルカメラ１２を一体にしてもよいし、患者宅に設置された患者端末や、患者宅に持ち込むスマートフォン・タブレットＰＣなどのモバイル端末を色変換装置３０として、デジタルカメラ１２から画像を直接入力してもよい。また、色変換装置３０をサーバー上に設けてもよいし、病院端末２０側に設けるようにしてもよい。また、患者端末を設けずに、デジタルカメラ１２から、通信ネットワーク５０を介して、色変換装置３０へ送信するようにしてもよい。

また、モニター２２は、病院端末２０のモニター２２だけでなく、訪問看護ステーションにある端末や、医師、看護士が持ち歩くモバイル端末のモニターでもよい。

また、遠隔診療システム１００を構成する、患者宅の数や病院の数、色変換装置３０の数も、図２の例に限るものではない。

以上のように、当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１２ デジタルカメラ
２０ 病院端末
２２ モニター
３０ 色変換装置
３２ 記憶部
３４ 光源スペクトル取得部
３６ 色変換テーブル作成部
３８ 色変換処理部
４０ 出力部
４２ 変換前色値算出手段
４４ 分光反射率推定手段
４６ 変換後色値算出手段
４８ テーブル作成手段
５０ 通信ネットワーク
１００ 遠隔診療システム

Claims (5)

1. 第１の照明環境で撮影された画像の色値を、前記第１の照明環境とは異なる第２の照明環境で撮影された場合の色値に変換するための色変換テーブルを作成する色変換テーブル作成装置であって、
   予め求められた前記第１の照明環境の光源情報およびカメラ分光感度に基づいて前記第１の照明環境の色空間を求め、当該色空間を前記色値の次元毎に分割することにより前記第１の照明環境で撮影された画像の色値からなる変換前色値群を算出する変換前色値群算出手段と、
   前記第１の照明環境の光源情報と、予め求められた撮影対象の分光反射率とに基づいて、前記変換前色値群に含まれる各色値について、前記撮影対象における当該各色値の分光反射率を推定する分光反射率推定手段と、
   前記変換前色値群に含まれる各色値について、前記推定された当該各色値の分光反射率と、予め求められた前記第２の照明環境の光源情報とに基づいて、当該各色値に対応する前記第２の照明環境で撮影された場合の色値を変換後色値として算出する変換後色値算出手段と、
   前記変換前色値群に対応する前記変換後色値の各々を少なくとも格納した前記色変換テーブルを作成するテーブル作成手段と、
   を含む色変換テーブル作成装置。
2. 前記変換前色値群算出手段は、前記変換前色値群が、前記第１の照明環境における色空間の色値の次元毎に等間隔に配置されるように、前記変換前色値群を算出する請求項１記載の色変換テーブル作成装置。
3. 前記第１の照明環境で撮影された画像を取得する画像取得手段と、
   請求項１又は２に記載の色変換テーブル作成装置によって作成された色変換テーブルを用いて、前記第１の照明環境で撮影された画像の各画素について、前記画素の色値を、前記第２の照明環境で撮影された場合の色値に変換する色変換手段と、
   を含む色変換装置。
4. 遠隔地毎に、前記遠隔地の照明環境を、前記第１の照明環境として、請求項１又は２に記載の色変換テーブル作成装置によって作成された色変換テーブルを記憶する色変換テーブル記憶手段と、
   前記遠隔地において撮影された画像を、ネットワークを介して受信する通信手段と、
   前記通信手段によって受信した画像の前記遠隔地に対応する前記色変換テーブルを用いて、前記通信手段によって受信した画像の各画素について、前記画素の色値を、前記第２の照明環境で撮影された場合の色値に変換する色変換手段と、
   前記色変換手段によって各画素の色値が変換された前記画像を表示する表示手段と、
   を含む色変換システム。
5. コンピュータに、第１の照明環境で撮影された画像の色値を、前記第１の照明環境とは異なる第２の照明環境で撮影された場合の色値に変換するための色変換テーブルを作成させるためのプログラムであって、
   コンピュータに、
   予め求められた前記第１の照明環境の光源情報およびカメラ分光感度に基づいて前記第１の照明環境の色空間を求め、当該色空間を前記色値の次元毎に分割することにより前記第１の照明環境で撮影された画像の色値からなる変換前色値群を算出するステップと、
   前記第１の照明環境の光源情報と、予め求められた撮影対象の分光反射率とに基づいて、前記変換前色値群に含まれる各色値について、前記撮影対象における当該各色値の分光反射率を推定するステップと、
   前記変換前色値群に含まれる各色値について、前記推定された前記当該各色値の分光反射率と、予め求められた前記第２の照明環境の光源情報とに基づいて、当該各色値に対応する前記第２の照明環境で撮影された場合の色値を変換後色値として算出するステップと、
   前記変換前色値群に対応する前記変換後色値の各々を少なくとも格納した前記色変換テーブルを作成するステップと、
   を実行させることを特徴とするプログラム。