JP4898578B2 - 画像処理システム、撮像システム、及び顕微鏡撮像システム - Google Patents

Description

本発明は、被写体像や顕微鏡による標本の観察像をＣＣＤなどの撮像素子により撮像し、表示・記録する撮像システム、顕微鏡撮像システム、及びそれらに用いられる画像処理システムに関し、特にその色補正処理・コントラスト補正処理に関する。

従来、画像処理システム、撮像システム、顕微鏡撮像システムにおいて、被写体の三刺激値ＸＹＺによる測色的に色再現性を向上させる方法が知られている。しかしながら、この方法では、人間の視覚特性が反映されていないため、しばしば画像が眠い・見た目と色が違うといった指摘がされる。

人間の視覚特性を反映した見えを改善する手法として、特許文献１、特許文献２に開示される技術がある。この文献の中では、国際照明委員会（ＣＩＥ）の標準化式（ＣＩＥ Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ，ＣＩＥＣＡＭ）であるＣＩＥＣＡＭ０２に基づいた処理を行い、見えを改善している。

ところで、ＣＩＥＣＡＭ０２に基づいた処理は以下のような式によって算出される。まず、観察環境として３つのサラウンド、Ａｖｅｒａｇｅ・Ｄｉｍ・Ｄａｒｋに分類される。観察対象周辺の白色の輝度をＬ_SW、観察対象の白色の輝度をＬ_DWとし、Ｓ_R＝Ｌ_SW／Ｌ_DWとした場合に、Ｓ_R≧０．２のときＡｖｅｒａｇｅ、０＜Ｓ_R＜０．２のときＤｉｍ、Ｓ_R ＝０のときＤａｒｋとなる。

それぞれのサラウンドに対して、ｃ，Ｎc，Ｆが下表によって決定される。

三刺激値ＸＹＺをＣＩＥＣＡＭ０２によって、ライトネスＪ、クロマＣ、色相角ｈに変換する場合は、まず三刺激値Ｘ，Ｙ，ＺをＭ_CAT02マトリックスにより、ＲＧＢ空間へ変換する。

次に不完全順応度Ｄを計算する。

Ｄを用いて色順応を計算する。

ここでＲ_W，Ｇ_W，Ｂ_Wは観察対象の白色のＲＧＢ値であり、白色の三刺激値Ｘ_WＹ_WＺ_WにＭ_CAT02マトリックスを掛けて計算する。
次に観察条件パラメータを計算する。

式（４）から式（６）で求めた値をＨｕｎｔ−Ｐｏｉｎｔｅｒ−Ｅｓｔｅｖｅｚ空間へ変換する。

Ｒ’，Ｇ’，Ｂ’に対し非線形変換を行う。

Ｒ’，Ｇ’，Ｂ’が負の場合、絶対値を使用し、０．１を加える前に、−１をかける。
次にａ，ｂ，ｈを求める。

次にｅ_tを求める。

次にＡを求める。

次にライトネスＪを求める。

Ｃを計算するためのｔを求める。

クロマＣを求める。

以上のようにライトネスＪ、クロマＣ、色相角ｈが求まる。
次に逆変換モデルにより、上記でも求めたライトネスＪ、クロマＣ、色相角ｈを異なる環境で観察した場合の三刺激値を求める。

下表よりｈ_i≦ｈ’＜ｈ_i+1となるｉを選び、対応するｈ_i、ｅ_i、Ｈ_iを求める。

ｔ，ｅ，ｐ１，ｐ２，ｐ３を求める。

ｔが０のときは、ａ，ｂを０とし、ｐ２のみ計算する。

ａ，ｂを計算する。

Ｒ’_a，Ｇ’ _a，Ｂ’ _aを計算する。

Ｒ’，Ｇ’，Ｂ’を計算する。

（Ｒ’_a−０．１）（Ｇ’_a−０．１）（Ｂ’_a−０．１）のいずれかひとつが負ならば対応するＲ’，Ｇ’，Ｂ’は負。
Ｒ_c，Ｇ_c，Ｂ_cを計算する。

最後にＲＧＢとＸＹＺを求める。

以上のように第２の観察環境の視覚効果を反映した三刺激値ＸＹＺが求まる。
特開２００５−１１７６１２号公報 特開２００５−２１０３７０号公報

前述の式で示す通り、ＣＩＥＣＡＭ０２に基づく手法では、マトリックス演算、非線形演算を繰り返すため、撮像装置で得た画像データを処理するためには、多大な演算量を要し、処理に時間がかかる。

上記課題に鑑み、本発明では、被写体の見えを忠実に再現しつつ、撮像装置で得た画像データをリアルタイムあるいは比較的短時間で処理することができる画像処理システム・撮像システム・顕微鏡撮像システムを提供する。

本発明に係る画像処理システムは、撮像された画像データを取得する画像データ取得手段と、前記画像データに対してＲＧＢ補間処理を行い、ＲＧＢ画像データを得るＲＧＢ補間処理手段と、前記ＲＧＢ画像データに対して色補正及び階調補正に関する第１の画像処理を行う第１の画像処理手段と、前記ＲＧＢ画像データに対してカラーアピアランスモデルに基づく色補正に関する第２の画像処理を行い、カラーアピアランス画像データを得る第２の画像処理手段と、前記第２の画像処理前の前記ＲＧＢ画像データと該第２の画像処理後の前記カラーアピアランス画像データとを比較し、前記第１の画像処理における前記色補正で用いられる色マトリックス情報と前記階調補正で用いられる階調パラメータとを含む画像処理パラメータを算出するパラメータ算出手段と、前記画像処理パラメータを前記第１の画像処理手段に設定する制御手段と、を備えることを特徴とする。

前記画像処理システムにおいて、前記取得した画像をリアルタイムで表示させる場合、該画像は前記第１の画像処理手段により前記画像処理パラメータに基づいた前記第１の画像処理がなされて表示され、前記取得した画像を記録する場合、該画像は前記第２の画像処理手段により前記第２の画像処理がなされて記録される、ことを特徴とする。

本発明に係る撮像システムは、被写体の光学像を受光して電気信号に変換することにより画像データを生成する撮像素子と、前記画像データに対してＲＧＢ補間処理を行い、ＲＧＢ画像データを得るＲＧＢ補間処理手段と、前記ＲＧＢ画像データに対して色補正及び階調補正に関する第１の画像処理を行う第１の画像処理手段と、前記ＲＧＢ画像データに対してカラーアピアランスモデルに基づく色補正に関する第２の画像処理を行い、カラーアピアランス画像データを得る第２の画像処理手段と、前記第２の画像処理前の前記ＲＧＢ画像データと該第２の画像処理後の前記カラーアピアランス画像データとを比較し、前記第１の画像処理における前記色補正で用いられる色マトリックス情報と前記階調補正で用いられる階調パラメータとを含む画像処理パラメータを算出するパラメータ算出手段と、前記画像処理パラメータを前記第１の画像処理手段に設定する制御手段と、前記第１または第２の画像処理がされた画像を表示する表示手段と、前記第１または第２の画像処理がされた画像を記録する記録手段と、を備えることを特徴とする。

前記撮像システムにおいて、前記取得した画像をリアルタイムで表示させる場合、該画像は前記第１の画像処理手段により前記画像処理パラメータに基づいた前記第１の画像処理がなされて表示され、前記取得した画像を記録する場合、該画像は前記第２の画像処理手段により前記第２の画像処理がなされて記録される、ことを特徴とする。

前記撮像システムにおいて、前記第２の画像処理手段は、さらに、前記撮像素子により撮像されて前記記録手段に記録された動画像を取り出し、該動画像を構成する各画像について前記第２の画像処理を行った後、動画像として再構築して前記表示手段に出力することを特徴とする。

前記撮像システムにおいて、前記カラーアピアランスモデルに基づく補正は、前記撮像素子で撮像するシーンを肉眼で観察する第１の観察環境の輝度情報・白情報・背景情報・サラウンド情報と、前記表示手段で表示されるシーンを肉眼で観察する第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報とを用いることを特徴とする。

前記撮像システムは、さらに、前記撮像した画像を表示させる観察装置を複数備え、前記第２の画像処理手段は、前記各観察装置に対応した前記第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報に基づいて前記第２の画像処理を行うことを特徴とする。

本発明に係る顕微鏡撮像システムは、顕微鏡と、前記顕微鏡からの光学像を受光して電気信号に変換することにより画像データを生成する撮像素子と、前記画像データに対してＲＧＢ補間処理を行い、ＲＧＢ画像データを得るＲＧＢ補間処理手段と、前記ＲＧＢ画像データに対して色補正及び階調補正に関する第１の画像処理を行う第１の画像処理手段と、前記ＲＧＢ画像データに対してカラーアピアランスモデルに基づく色補正に関する第２の画像処理を行い、カラーアピアランス画像データを得る第２の画像処理手段と、前記第２の画像処理前の前記ＲＧＢ画像データと該第２の画像処理後の前記カラーアピアランス画像データとを比較し、前記第１の画像処理における前記色補正で用いられる色マトリックス情報と前記階調補正で用いられる階調パラメータとを含む画像処理パラメータを算出するパラメータ算出手段と、前記画像処理パラメータを前記第１の画像処理手段に設定する制御手段と、前記第１または第２の画像処理がされた画像を表示する表示手段と、前記第１または第２の画像処理がされた画像を記録する記録手段と、を備えることを特徴とする。

前記顕微鏡撮像システムにおいて、前記取得した画像をリアルタイムで表示させる場合、該画像は前記第１の画像処理手段により前記画像処理パラメータに基づいた前記第１の画像処理がなされて表示され、前記取得した画像を記録する場合、該画像は前記第２の画像処理手段により前記第２の画像処理がなされて記録される、ことを特徴とする。

前記顕微鏡撮像システムにおいて、前記第２の画像処理手段は、さらに、前記撮像素子により撮像されて前記記録手段に記録された動画像を取り出し、動画像を構成する各画像について前記第２の画像処理を行った後、動画像として再構築して前記表示手段に出力することを特徴とする。

前記顕微鏡撮像システムにおいて、前記カラーアピアランスモデルに基づく補正は、前記撮像素子で撮像するシーンを肉眼で観察する第１の観察環境の輝度情報・白情報・背景情報・サラウンド情報と、前記表示手段で表示されるシーンを肉眼で観察する第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報とを用いることを特徴とする。

前記顕微鏡撮像システムは、さらに、前記顕微鏡の有する対物レンズ、照明光源、コンデンサーレンズ、開口絞り、視野絞り、及び三眼鏡筒のいずれかひとつまたはこれらの組み合わせの設定状態に関する情報を入力する入力手段を備え、前記制御手段は、前記肉眼で観察されるシーンの輝度を算出し前記第２の画像処理手段へ設定することを特徴とする。

前記顕微鏡撮像システムにおいて、前記制御手段は、前記三眼鏡筒に関する接眼観察光路とカメラ観察光路の光分割情報と、前記撮像素子の出力画像・露出時間・感度設定とから、前記接眼観察光路の輝度を算出し、肉眼で観察されるシーンの輝度を算出し前記第２の画像処理手段へ設定することを特徴とする。

前記顕微鏡撮像システムにおいて、前記制御手段は、明視野観察のときは、前記顕微鏡の設定状態から前記第１の観察環境の背景情報を算出し、蛍光観察または暗視野観察のときは、取得した画像の平均輝度から前記第１の観察環境の背景情報を算出することを特徴とする。

前記顕微鏡撮像システムにおいて、前記制御手段は、前記第１の観察環境のサラウンド情報としてダークを固定で設定することを特徴とする。
前記顕微鏡撮像システムは、さらに、前記撮像した画像を表示させる観察装置を複数備え、前記第２の画像処理手段は、前記各観察装置に対応した前記第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報に基づいて前記第２の画像処理を行うことを特徴とする。

本発明を用いることにより、被写体の見えを忠実に再現しつつ、撮像装置で得た画像データをリアルタイムあるいは比較的短時間で処理することができる。

本発明に係る画像処理システムは、画像データ取得手段、第１の画像処理手段、第２の画像処理手段、パラメータ算出手段、及び制御手段を備える。
画像データ取得手段は、撮像された画像データを取得するものである。画像データ取得手段は、例えば以下の実施の形態で言えば、信号処理部６に相当する。

第１の画像処理手段は、前記画像データに対して色補正及び階調補正に関する第１の画像処理を行う。第１の画像処理手段は、例えば以下の実施の形態で言えば、信号処理部６における色変換マトリックス補正及び階調補正９に相当する。

第２の画像処理手段は、前記画像データに対してカラーアピアランスモデルに基づく色補正に関する第２の画像処理を行う。第２の画像処理手段は、例えば以下の実施の形態で言えば、カラーアピアランスモデル演算部１５に相当する。

パラメータ算出手段は、前記第２の画像処理前の画像データと該第２の画像処理後の画像データとに基づいて、前記第１の画像処理に用いる画像処理パラメータを算出する。パラメータ算出手段は、例えば以下の実施の形態で言えば、色マトリックス・階調パラメータ算出部２４に相当する。

制御手段は、前記画像処理パラメータを前記第１の画像処理手段に設定する。制御手段は、例えば以下の実施の形態で言えば、制御部１２に相当する。
これにより、第２の画像処理手段で行う計算量の多いカラーアピアランスモデルに基づいた補正をより簡易な第１の画像処理手段で近似的に実現するためのパラメータを算出し、そのパラメータを第１の画像処理手段に設定することができるので、カラーアピアランスモデルを反映した画像処理をリアルタイムで行うことができる。

このとき、前記第２の画像処理前の画像データは、ＲＧＢ画像データである。また、前記第２の画像処理後の画像データは、カラーアピアランス画像データである。前記パラメータ算出手段は、前記ＲＧＢ画像データと前記カラーアピアランス画像データとを比較し、前記第１の画像処理における前記色補正で用いられる色マトリックス情報と前記階調補正で用いられる階調パラメータとを算出して前記画像処理パラメータとする。

これにより、色マトリックス情報と階調パラメータとを画像処理パラメータとして算出することができる。
また、前記取得した画像をリアルタイムで表示させる場合、該画像は前記第１の画像処理手段により前記画像処理パラメータに基づいた前記第１の画像処理がなされて表示される。前記取得した画像を記録する場合、該画像は前記第２の画像処理手段により前記第２の画像処理がなされて記録される。

これにより、カラーアピアランスモデルを反映して補正した動画像及び静止画像を表示部へ表示または記録部へ記録することができる。
以下に本発明の実施の形態について詳述する。

＜第１の実施の形態＞
本実施形態では、動画像を記録する場合、その動画像に対して被写体に合わせてカラーアピアランスモデル演算を近似した色マトリックス補正・階調補正を行うことにより、動画像に対して近似的に見えを忠実に再現できると共に、比較的短時間で処理することができる画像処理システムについて説明する。

図１は、本発明の第１の実施の形態に係る画像処理システム及びこの画像処理システムを有する撮像システムの概略構成を示すブロック図である。
図１において、１は撮像システムで、図示しないレンズによって結像される被写体像が光路ａ１に沿って入射する。被写体像が投影される位置に、撮像手段としてＣＣＤなどの撮像素子２が配置されている。

撮像素子２は、撮像素子駆動部３からの駆動信号に基づいた露出時間で駆動され、出力信号を前置処理部４へ出力する。前置処理部４は、撮像素子駆動部３から与えられる制御パルスにより、撮像素子２からの出力信号を映像信号化しＡ／Ｄ変換部５へ出力する。Ａ／Ｄ変換部５は、撮像素子駆動部３からのクロック信号に基づいて、前置処理部４からの信号をデジタル化する。

Ａ／Ｄ変換部５でデジタル化された映像信号は、信号処理部６へ入力される。信号処理部６は、入力した映像信号に対してＲＧＢ補間７、色変換マトリックス８による色補正、階調補正９などの信号処理を行い、Ｄ／Ａ変換部１０によりアナログ信号に変換され、動画像として表示部１１に表示される。

一方、制御部１２からの指示により、信号処理部６のＲＧＢ補間７後の画像データは、ＲＧＢ補間画像メモリ１４に記憶される。
この画像はさらにカラーアピアランスモデル演算部１５へ送られ、ＸＹＺ変換部１６にてＸＹＺ画像へ変換される。

ＸＹＺ変換部１６は、例えばマトリックス演算によりＣＣＤで撮像したＲＧＢ画像を三刺激値ＸＹＺ画像へ変換するものである。そのマトリックスは既知の特性の照明光で照明した色特性が既知であるカラーパッチなどを撮影して、求めることができる。

ＸＹＺ変換部１６で変換されたＸＹＺ画像は色順応変化部１７にて色順応変換される。ここでの演算は従来技術の式（１）から式（６）に相当する。色順応変換された画像データは非線形変換部１８にて非線形変換される。ここでの演算は、従来技術の式（１２）から式（１７）に相当する。

次に非線形変換部１８にて非線形変換された画像データは、ＪＣｈ変換部１９にてＪＣｈ変換される。ここでの演算は、従来技術の式（１８）から式（２８）に相当する。
さらにＪＣｈ変換部１９にて変換された画像データは、非線形変換部２０にて非線形変換される。ここでの演算は、従来技術の式（３１）から式（４９）に相当する。

さらに非線形変換部２０で非線形変換された画像データは、色順応変換部２１にて色順応変換されＸＹＺ画像データに変換される。ここでの演算は従来技術の式（５０）から式（５５）に相当する。色順応変換部２１で色順応変換されたＸＹＺ画像データは、ＲＧＢ変換部２２によりＲＧＢデータに変換される。例えば表示部がｓＲＧＢ規格のモニタであった場合、

により演算される。
操作部２６からは、撮影時の第１の観察環境の輝度情報・白色情報・背景情報・サラウンド情報と、表示部２５で表示されるシーンを肉眼で観察する第２の観察環境の輝度情報・白色情報・背景情報・サラウンド情報を制御部１２へ入力することができる。すると、制御部１２からの指示によりカラーアピアランスモデル演算部１５の各部のパラメータを設定することができる。

なお各環境情報の意味及び対応するパラメータは以下の通りである。
第１の環境である撮影時については、
輝度情報：撮影対象およびその周辺を含めたシーンの平均輝度Ｌ_A
白色情報：撮影対象の基準となる白色の三刺激値Ｘ_WＹ_WＺ_W
背景情報：撮影対象の背景の輝度Ｙ_b
サラウンド情報：撮影対象とその外側の輝度の比によってきまるカテゴリ名：Ａｖｅｒａｇｅ、Ｄｉｍ、Ｄａｒｋの３通りを表しており、
及び第２の環境である観察時の
輝度情報：観察対象およびその周辺を含めたシーンの平均輝度Ｌ_A
白色情報：観察対象の基準となる白色の三刺激値Ｘ_WＹ_WＺ_W
背景情報：観察対象の背景の輝度Ｙ_b
サラウンド情報：観察対象とその外側の輝度の比によってきまるカテゴリ名：Ａｖｅｒａｇｅ、Ｄｉｍ、Ｄａｒｋの３通りを表している。

第１の環境のパラメータは色順応変換部１８、非線形変換部１９、ＪＣｈ変換部２０で計算するときに使用するパラメータである。第２の環境のパラメータは非線形変換部２１、色順応変換部２１で計算するときに使用するパラメータである。

カラーアピアランスモデル演算部１５から出力される画像データは、カラーアピアランス画像メモリ２３へ記憶される。
色マトリックス・階調パラメータ算出部２４では、ＲＧＢ補間画像メモリ１４に記憶されたＲＧＢ補間画像データとカラーアピアランス画像メモリ２３に記憶されたカラーアピアランス画像データとを比較し、信号処理部６の色マトリックス補正部８で用いる色マトリックスと階調補正部９で用いる階調パラメータを算出する。その算出方法は、例えばＲＧＢ補間画像データとカラーアピアランス画像データの対応する画素の輝度値の比較から階調補正データを求める。ｘ軸をＲＧＢ補間画像データの輝度信号（Ｙ_x,y＝０．３Ｒ_x,y＋０．５９Ｇ_x,y＋０．１１Ｂ_x,y）、ｙ軸をカラーアピアランス画像データの輝度信号（Ｙ’_x,y＝０．３Ｒ’_x,y＋０．５９Ｇ’_x,y＋０．１１Ｂ’_x,y）とすると、図２のような対応関係が得られる。この分布に対して、近似曲線を求め、これを階調補正データとして、階調補正部へ設定する。

さらにｘ軸をカラーアピアランス画像データの輝度信号、ｙ軸をＲＧＢ補間画像データの輝度信号とすると図３のような対応関係が得られる。この分布に対して、近似曲線を求める。この求めた近似曲線を用いてカラーアピアランス画像データを階調変換する。

ＲＧＢ補間画像データＲＧＢin及び階調変換されたカラーアピアランス画像データＲＧＢoutとすると、算出すべき色マトリックスＭは、
ＲＧＢout＝Ｍ・ＲＧＢin
の関係にある。ＲＧＢout及びＲＧＢinは各画素のＲＧＢデータを示しており、下式のようにそれぞれ３×ｎ行列で表される。

ｎは、入力画像のすべての画素について考える場合、入力画像の画素数である。
また、画像上の代表的な色を抽出して、ｎの数を限定することもできる。例えば、ＲＧＢ補間画像データをＢ−Ｙ、Ｒ−Ｙ空間にプロットすると図４のようになる。

この図４上で、ｘ軸及びｙ軸を幅１０のメッシュに区切り、各メッシュの中の頻度を求める。この頻度の分布は、図５のようになる。各メッシュ内の重心の色を求め、その色に対応するＲＧＢ補間画像データ及び、その色をもつ座標のカラーアピアランス画像データを代表色として選択することもできる。例えば、図５の場合、頻度を持つメッシュは、５３個であり、ｎを５３個に限定することができる。

また単にメッシュ内の重心を求めるのではなく、頻度に対して閾値を持たせ、ある一定以上の頻度を有するメッシュのみを選択して、そのメッシュ内の重心の色を代表色として選択することもできる。

Ｍは、上式より
Ｍ＝ＲＧＢout・(ＲＧＢin)^-1
で求まる。なお、ＲＧＢinは正則ではないので、最小二乗推定などによって求める。

このようにして求めた色マトリックス及び階調パラメータは、制御部１２の指示により、バス１３を介して、それぞれ信号処理部６の色マトリックス補正部８及び階調補正部９へ設定される。

また、制御部１２は、操作部２６からの指示により、信号処理部６からの画像データまたはカラーアピアラスモデル演算部１５からの画像データをバス１３を介して記録手段としての記録部２５に静止画像データあるいは動画像データとして記録する。

次に、本実施の形態の作用について説明する。
図６は、本実施の形態に係るフローを示す。撮影者は、被写体を撮影する前に、信号処理部６の色マトリックス８及び階調補正部９の各パラメータを設定する指示を操作部２６より行う（Ｓ１）。

次に、撮影者は、被写体の環境情報及び表示部の観察環境を操作部２６へ入力する（Ｓ２）。操作部２６からの入力により制御部１２は、前述のように第１及び第２の環境情報をカラーアピアランスモデル演算部１５へ設定する（Ｓ３）。

次に、撮影者は、色マトリックス８及び階調補正部９の各パラメータ算出用の被写体画像を撮影する（Ｓ４）。
この画像はＲＧＢ補間処理７後、バス１３を解してＲＧＢ補間画像メモリ１４へ記憶され、前述の通り、カラーアピアランスモデル演算部１５で演算後、カラーアピアランス画像メモリ２３に記憶され、色マトリックス・階調パラメータ算出部２４で、色マトリックス及び階調パラメータが算出及び設定される（Ｓ５）。

表示部１１には、撮影者が所望する被写体の画像が、設定された色マトリックス及び階調パラメータによりリアルタイム処理されて表示される（Ｓ６）。
次に、撮影者は、静止画記録または動画記録を選択する（Ｓ７）。静止画記録が選択された場合、撮影者は所望する被写体に対してフレーミング及びピント合わせを行い、静止画撮影指示を操作部２６へ入力する（Ｓ８）。

操作部２６からの入力により制御部１２は、ＲＧＢ補間処理７後の画像をバス１３を介して、ＲＧＢ補間画像メモリ１４へ送り、カラーアピアランスモデル演算部１５で演算する（Ｓ９）。演算された画像は、カラーアピアランス画像メモリ２３へ記憶され、バス１３を介して記録部２５へ記録される（Ｓ１０）。

一方、動画記録が選択された場合、撮影者は所望する被写体に対してフレーミング・ピント合わせを行い、動画撮影指示を操作部２６へ入力する（Ｓ１１）。
操作部２６からの入力により制御部１２は、信号処理部６でのＲＧＢ補間７・色マトリックス補正８・階調補正９を行い（Ｓ１２）、バス１３を介して記録部２５へ動画像データとして記録する（Ｓ１３）。以上で撮影動作を終了する。

このように、被写体に合わせてカラーアピアランスモデル演算を近似した色マトリックス補正・階調補正を行うので、動画像に対しても近似的に見えを忠実に再現できるとともに、静止画像については忠実にカラーアピアランス演算を反映した処理を実施することができる。

前述の実施の形態では、動画像記録を行う場合、信号処理部６で処理した画像を記録した。しかしながら、これに限定されず、ＲＧＢ補間７後のＲＧＢ補間画像による動画像を１度記録部２５へ記録した後、動画像を構成する１枚１枚の画像をカラーアピアランスモデル演算処理部１５で処理して、それらの画像から動画像を再構築し記録してもよい。

この変形例によれば、動画像のリアルタイム性は低下するが、より忠実なカラーアピアランスモデルに基づいた処理の行われた動画像を取得できるようになる。
＜第２の実施の形態＞
本実施の形態では、第１の実施の形態を顕微鏡撮像システムに適用する場合について説明する。

図７は、本発明の第２の実施の形態に係る画像処理システム及び顕微鏡撮像システムの概略構成を示すブロック図である。図７において、図１と同一な部分には同符号を付している。

本実施の形態では、撮像システムが顕微鏡３１に取り付けられ、カラーアピアランスモデル演算部１５および色マトリックス・階調パラメータ算出部２４、ＲＧＢ補間画像メモリ１４、カラーアピアランス画像メモリ２３がパーソナルコンピュータ３２（以下ＰＣと略称する。）内に構成されている。このＰＣ３２は、モニタ３３を備えており、図１の撮像システムと同様な表示、記録、操作の各機能を有している。

図７において、３１は顕微鏡本体である。この顕微鏡本体３１は、図示しない標本の観察像を目視観察可能にするとともに、観察光路ａ１に沿って外部に導出可能にしている。顕微鏡本体３１外部の観察光路ａ１上には、顕微鏡本体３１からの観察像が投影される位置に、撮像手段としてＣＣＤなどの撮像素子２が配置されている。

顕微鏡３１は透過照明光源３４、ミラー３５、レンズ３６、視野絞り３７、開口絞り３８、コンデンサーレンズ３９、ステージ４０、対物レンズ４１、対物レンズ４１がセットされる対物レボルバ４２、落射照明光源４３、蛍光キューブ４４、蛍光キューブ４４がセットされるターレット４５、三眼鏡筒４６、接眼レンズ４７、カメラアダプタ４８などから構成される。

ここで三眼鏡筒４６は、光路を１００％接眼レンズ４７へ出力する光路と、接眼レンズ４７とカメラアダプタ４８へ５０％ずつ振り分ける光路と、１００％カメラアダプタ４８へ出力する光路を選択することができる。

透過照明光源３４、視野絞り３７、開口絞り３８、対物レボルバ４２、落射照明光源４３、ターレット４５、三眼鏡筒４６はＰＣ３２に接続されている。これらの接続された装置の状態をＰＣ３２で検知することができる。なお、これらの透過照明光源３４、視野絞り３７、開口絞り３８、対物レボルバ４１、落射照明光源４３、ターレット４５、三眼鏡筒４６は電動化されＰＣ３２によってその動作を制御されるようにしてもよい。

次に、本実施の形態の作用について説明する。本実施の形態では、顕微鏡３１の設定状態及び標本の観察方法に応じて、第１の環境情報を算出し、設定する。第１の環境情報を算出するために、予め顕微鏡のセッティングに対応した設定情報を記録しておく。

透過明視野観察が選択されている場合、透過照明光源３４の設定電圧から光源の色と輝度を求める。ちなみに光源がハロゲンランプで、光路内に図示しない赤外カットフィルタ、ライトバランスフィルタが設置されている場合、光源の電圧が６ＶのときＸ_WＹ_WＺ_W＝（４．４７，４．５７，２．７２）、９ＶのときＸ_WＹ_WＺ_W＝（２４．９，２５．９，２０．１）、１２ＶのときＸ_WＹ_WＺ_W＝（６１．６，６５．３，６１．７）となる。

次に、開口絞り３８の絞り径、対物レンズ４１、三眼鏡筒４６の光路設定に応じて、前述の透過照明光を補正する。顕微鏡３１の透過明視野観察の場合、標本のない部分は、照明光がそのまま観察されるので、第１の環境の背景Ｙ_bは、この補正された透過照明光とすることができ、またこの補正された透過照明光そのものが白色情報となる。

次に視野絞り３８の絞り径を、観察視野と比較し、絞り径が視野より大きければ、観察視野の大きさを、絞り径が観察視野よりも小さければ絞り径を選択する。選択された径と接眼レンズ４７から観察したときに見える範囲の比率、及び前述の補正された照明光の輝度から第１の環境の輝度情報を算出する。

また顕微鏡３１の場合、接眼レンズ４７から標本を観察すると、観察像の周囲は、黒になっているので、第１の環境のサラウンド情報をＤａｒｋと設定することができる。
第２の環境の環境情報については、第１の実施の形態同様、PC３２のディスプレイ３３が設置される環境の環境情報を入力する。

色マトリックス・階調パラメータの算出・設定、動画像記録、静止画像記録は、第１の実施の形態と同様である。
蛍光観察が選択されている場合は、三眼鏡筒４５の光路設定状態と撮像システム３０で取得した画像・露出時間・ゲインから接眼レンズ４７の視野におけるシーンの輝度及び背景の輝度を算出する。蛍光観察の場合、第１の環境には白色は存在しないので、明視野観察時の基準となる白色を設定する。例えばハロゲンランプに９Ｖの電圧をかけてライトバランスフィルタを使用してＸ_WＹ_WＺ_W＝（２４．９，２５．９，２０．１）を基準の白とする。サラウンド情報は、明視野と同様、観察像の周囲は、黒になっているので、第１の環境のサラウンド情報をＤａｒｋと設定する。

本実施の形態によれば、顕微鏡３１の設定情報から第１の環境の環境情報を算出・設定でき、観察者の作業を容易にすることができる。
＜第３の実施の形態＞
本実施の形態では、ＰＣやプロジェクタで観察する場合にその表示環境に合わせて、第２の環境の環境情報を設定する場合について説明する。

図８は、本発明の第３の実施の形態に係る顕微鏡撮像システムの概略構成を示すブロック図である。本実施の形態では、撮像システムをコントロールするＰＣ５１にプロジェクタ５３が接続されているとともに、ネットワーク５４を経由して、複数のＰＣ５５，５７，５９が接続されている。

図９は、本発明の第３の実施の形態に係る顕微鏡撮像システムにおける各ＰＣにインストールされた画像処理プログラムのブロック図である。撮像装置本体５０からはＲＡＷデータがＩ／Ｆ２７を介して出力され、ＰＣ５１にて全ての画像処理を行う。撮像システムをコントロールするＰＣ５１には、図９に示す画像処理プログラムが２系統プログラムされ、モニタ５２とプロジェクタ５３に対して個別に第２の環境を設定できる。

また、ネットワークに接続された各ＰＣはそれぞれ１系統の図９に示す画像処理プログラムがプログラムされて、撮像システムをコントロールするＰＣ５１およびネットワーク５４を経由してＲＡＷデータが入力される。

ＰＣ５１，５５，５７，５９では、ＲＡＷデータが入力されるとバッファメモリ６０に記憶される。それから、第１及び第２の実施の形態と同様の以降信号処理部６、カラーアピアランスモデル演算部１５による処理が行われる。処理された画像データは、表示用メモリ６１や記録用メモリ６２に記憶される。

このような構成により、それぞれのＰＣやプロジェクタで観察する場合にその表示環境に合わせて、第２の環境の環境情報を入力し、第１及び第２の実施の形態と同様のカラーアピアランスモデルに基づく処理、色マトリックス・階調パラメータの算出・設定、動画像・静止画像処理、記録・表示を行うことができる。

本実施の形態によれば、各ＰＣまたはプロジェクタの設置環境に応じたカラーアピアランスモデルに基づく画像処理を行うことができるため、より見えに忠実な画像を表示することができる。

以上より、本発明に実施の形態に係る色補正および階調補正を行う第１の画像処理部とカラーアピアランスモデルに基づいた補正を行う第２の画像処理部をする画像処理システムは、第２の画像処理部の入力画像データと出力画像データから第１の画像処理部の画像処理パラメータを算出・設定することができる。

前記画像処理システムにおいて、前記第1の画像処理部はリアルタイム表示用画像処理を行い、前記第2の画像処理部は記録用画像処理を行うことができる。
このように構成することにより、第２の画像処理部で行う計算量の多いカラーアピアランスモデルに基づいた補正をより簡易な第１の画像処理部で近似的に実現するパラメータを算出して設定することができ、カラーアピアランスモデルを反映した画像処理をリアルタイムで行うことができる。

前記画像処理システムは、さらに、撮像素子と表示部と記録部とを有する撮像システムであってもよいし、顕微鏡撮像システムであってもよい。このとき、前記第１の画像処理部の出力画像を動画像として表示部へ表示または記録部へ記録し、前記第２の画像処理部の出力画像を静止画として表示部へ表示または記録部へ記録することができる。

このように構成することにより、カラーアピアランスモデルを反映して補正した動画像及び静止画像を表示部へ表示または記録部へ記録することができる。
また、前記撮像システムまたは顕微鏡撮像システムにおいて、前記動画像として記録部へ記録された動画像を第２の画像処理部で処理した後に動画像データとして再構築して記録部へ記録し、記録部へ記録された前記動画像データを動画像として表示部へ再生することができる。

このように構成することにより、カラーアピアランスモデルに忠実な補正処理を行った動画像を記録・再生することができる。
ここで、前記カラーアピアランスモデルに基づく補正は、撮像素子で撮像するシーンを肉眼で観察する第１の観察環境の輝度情報・白情報・背景情報・サラウンド情報と、表示部で表示されるシーンを肉眼で観察する第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報を用いることができる。

このように構成することにより、撮像素子で撮像するシーンを肉眼で観察する第１の観察環境の輝度情報・白情報・背景情報・サラウンド情報と、表示部で表示されるシーンを肉眼で観察する第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報をカラーアピアランスモデルに基づく補正へ反映でき、観察環境の条件に適した補正を行うことができる。

前記顕微鏡は、対物レンズ、照明光源、コンデンサーレンズ、開口絞り、視野絞り、三眼鏡筒からなり、顕微鏡撮像システムは、さらに、対物レンズ、照明光源、コンデンサーレンズ、開口絞り、視野絞り、三眼鏡筒のいずれかひとつまたは組み合わせの設定状態を制御部へ入力する入力部と、肉眼で観察されるシーンの輝度を算出し第２の画像処理部へ設定する制御部を有する。

このように構成することにより、顕微鏡の設定条件から第１の環境の輝度情報を算出することにより、観察者が特段の操作をすることなく、第１の環境の輝度情報を第２の画像処理部へ設定することができる。

前記顕微鏡システムは、さらに、接眼観察光路とカメラ観察光路の光分割情報と撮像素子の出力画像・露出時間・感度設定の情報とに基づいて、接眼観察光路の輝度を算出し、肉眼で観察されるシーンの輝度を算出し第２の画像処理部へ設定する制御部を有する。

このように構成することにより、撮像素子の出力画像・露出時間・感度設定と前記光分割情報とから、接眼観察光路の輝度を算出することにより、観察者が特段の操作をすることなく、第１の環境の輝度情報を第２の画像処理部へ設定することができる。

前記撮像システムおよび顕微鏡撮像システムは、各観察環境をカラーアピアランスモデルに基づく補正処理へ反映することができる。
このように構成することにより、各観察環境ごとに環境情報をカラーアピアランスモデルに基づく補正処理へ反映することができ、各観察環境ごとに忠実な画像を得ることができる。

前記顕微鏡撮像システムは、明視野観察のときは、第１の環境の背景情報を顕微鏡の設定状態から算出し、蛍光観察または暗視野観察のときは、撮像画像の平均輝度から算出することができる。

このように構成することにより、観察方法ごとに適切な第１の環境の輝度情報を算出し、観察者が特段の操作をすることなく、第１の環境の輝度情報を第２の画像処理部へ設定することができる。

前記顕微鏡撮像システムは、第１の観察環境のサラウンド情報として、ダークを出力データに付加して複数の観察システムへ画像データを送信することができる。
このように構成することにより、常に顕微鏡の接眼観察環境に適した第１の観察環境のサラウンド情報を、観察システムへ伝達することができる。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

第１の実施の形態に係る画像処理システム及びこの画像処理システムを有する撮像システムの概略構成を示すブロック図である。 ＲＧＢ補間画像データの輝度信号（ｘ軸）と、カラーアピアランス画像データの輝度信号（ｙ軸）との対応関係を示す。 カラーアピアランス画像データの輝度信号（ｘ軸）と、ＲＧＢ補間画像データの輝度信号（ｙ軸）との対応関係を示す。 Ｂ−Ｙ、Ｒ−Ｙ空間にプロットしたＲＧＢ補間画像データを示す。 図４において、ｘ軸及びｙ軸を幅１０のメッシュに区切り、各メッシュの中の頻度を求めた頻度の分布を示す。 第１の実施の形態に係るフローを示す。 第２の実施の形態に係る画像処理システム及び顕微鏡撮像システムの概略構成を示すブロック図である。 第３の実施の形態に係る顕微鏡撮像システムの概略構成を示すブロック図である。 第３の実施の形態に係る顕微鏡撮像システムにおける各ＰＣにインストールされた画像処理プログラムのブロック図である。

符号の説明

１ 撮像システム
２ 撮像素子
３ 撮像素子駆動部
４ 前置処理部
５ Ａ／Ｄ変換部
６ 信号処理部
７ ＲＧＢ補間
８ 色変換マトリックス
９ 階調補正
１０ Ｄ／Ａ変換部
１１ 表示部
１２ 制御部
１３ バス
１４ ＲＧＢ補間画像メモリ
１５ カラーアピアランスモデル演算部
１６ ＸＹＺ変換部
１７ 色順応変化部
１８ 非線形変換部
１９ ＪＣｈ変換部
２０ 非線形変換部
２１ 色順応変換部
２２ ＲＧＢ変換部
２３ カラーアピアランス画像メモリ
２４ 色マトリックス・階調パラメータ算出部
２５ 表示部
２６ 操作部
５０ 撮像装置本体
６０ バッファメモリ
６１ 表示用メモリ
６２ 記録用メモリ

Claims (16)

1. 撮像された画像データを取得する画像データ取得手段と、
   前記画像データに対してＲＧＢ補間処理を行い、ＲＧＢ画像データを得るＲＧＢ補間処理手段と、
   前記ＲＧＢ画像データに対して色補正及び階調補正に関する第１の画像処理を行う第１の画像処理手段と、
   前記ＲＧＢ画像データに対してカラーアピアランスモデルに基づく色補正に関する第２の画像処理を行い、カラーアピアランス画像データを得る第２の画像処理手段と、
   前記第２の画像処理前の前記ＲＧＢ画像データと該第２の画像処理後の前記カラーアピアランス画像データとを比較し、前記第１の画像処理における前記色補正で用いられる色マトリックス情報と前記階調補正で用いられる階調パラメータとを含む画像処理パラメータを算出するパラメータ算出手段と、
   前記画像処理パラメータを前記第１の画像処理手段に設定する制御手段と、
   を備えることを特徴とする画像処理システム。
2. 前記取得した画像をリアルタイムで表示させる場合、該画像は前記第１の画像処理手段により前記画像処理パラメータに基づいた前記第１の画像処理がなされて表示され、
   前記取得した画像を記録する場合、該画像は前記第２の画像処理手段により前記第２の画像処理がなされて記録される、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 被写体の光学像を受光して電気信号に変換することにより画像データを生成する撮像素子と、
   前記画像データに対してＲＧＢ補間処理を行い、ＲＧＢ画像データを得るＲＧＢ補間処理手段と、
   前記ＲＧＢ画像データに対して色補正及び階調補正に関する第１の画像処理を行う第１の画像処理手段と、
   前記ＲＧＢ画像データに対してカラーアピアランスモデルに基づく色補正に関する第２の画像処理を行い、カラーアピアランス画像データを得る第２の画像処理手段と、
   前記第２の画像処理前の前記ＲＧＢ画像データと該第２の画像処理後の前記カラーアピアランス画像データとを比較し、前記第１の画像処理における前記色補正で用いられる色マトリックス情報と前記階調補正で用いられる階調パラメータとを含む画像処理パラメータを算出するパラメータ算出手段と、
   前記画像処理パラメータを前記第１の画像処理手段に設定する制御手段と、
   前記第１または第２の画像処理がされた画像を表示する表示手段と、
   前記第１または第２の画像処理がされた画像を記録する記録手段と、
   を備えることを特徴とする撮像システム。
4. 前記取得した画像をリアルタイムで表示させる場合、該画像は前記第１の画像処理手段により前記画像処理パラメータに基づいた前記第１の画像処理がなされて表示され、
   前記取得した画像を記録する場合、該画像は前記第２の画像処理手段により前記第２の画像処理がなされて記録される、
   ことを特徴とする請求項３に記載の撮像システム。
5. 前記第２の画像処理手段は、さらに、
   前記撮像素子により撮像されて前記記録手段に記録された動画像を取り出し、該動画像を構成する各画像について前記第２の画像処理を行った後、動画像として再構築して前記表示手段に出力する
   ことを特徴とする請求項４に記載の撮像システム。
6. 前記カラーアピアランスモデルに基づく補正は、前記撮像素子で撮像するシーンを肉眼で観察する第１の観察環境の輝度情報・白情報・背景情報・サラウンド情報と、前記表示手段で表示されるシーンを肉眼で観察する第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報とを用いる
   ことを特徴とする請求項３に記載の撮像システム。
7. 前記撮像システムは、さらに、
   前記撮像した画像を表示させる観察装置を複数備え、
   前記第２の画像処理手段は、前記各観察装置に対応した前記第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報に基づいて前記第２の画像処理を行う
   ことを特徴とする請求項６に記載の撮像システム。
8. 顕微鏡と、
   前記顕微鏡からの光学像を受光して電気信号に変換することにより画像データを生成する撮像素子と、
   前記画像データに対してＲＧＢ補間処理を行い、ＲＧＢ画像データを得るＲＧＢ補間処理手段と、
   前記ＲＧＢ画像データに対して色補正及び階調補正に関する第１の画像処理を行う第１の画像処理手段と、
   前記ＲＧＢ画像データに対してカラーアピアランスモデルに基づく色補正に関する第２の画像処理を行い、カラーアピアランス画像データを得る第２の画像処理手段と、
   前記第２の画像処理前の前記ＲＧＢ画像データと該第２の画像処理後の前記カラーアピアランス画像データとを比較し、前記第１の画像処理における前記色補正で用いられる色マトリックス情報と前記階調補正で用いられる階調パラメータとを含む画像処理パラメータを算出するパラメータ算出手段と、
   前記画像処理パラメータを前記第１の画像処理手段に設定する制御手段と、
   前記第１または第２の画像処理がされた画像を表示する表示手段と、
   前記第１または第２の画像処理がされた画像を記録する記録手段と、
   を備えることを特徴とする顕微鏡撮像システム。
9. 前記取得した画像をリアルタイムで表示させる場合、該画像は前記第１の画像処理手段により前記画像処理パラメータに基づいた前記第１の画像処理がなされて表示され、
   前記取得した画像を記録する場合、該画像は前記第２の画像処理手段により前記第２の画像処理がなされて記録される、
   ことを特徴とする請求項８に記載の顕微鏡撮像システム。
10. 前記第２の画像処理手段は、さらに、
    前記撮像素子により撮像されて前記記録手段に記録された動画像を取り出し、動画像を構成する各画像について前記第２の画像処理を行った後、動画像として再構築して前記表示手段に出力する
    ことを特徴とする請求項９に記載の顕微鏡撮像システム。
11. 前記カラーアピアランスモデルに基づく補正は、前記撮像素子で撮像するシーンを肉眼で観察する第１の観察環境の輝度情報・白情報・背景情報・サラウンド情報と、前記表示手段で表示されるシーンを肉眼で観察する第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報とを用いる
    ことを特徴とする請求項９に記載の顕微鏡撮像システム。
12. 前記顕微鏡撮像システムは、さらに、
    前記顕微鏡の有する対物レンズ、照明光源、コンデンサーレンズ、開口絞り、視野絞り、及び三眼鏡筒のいずれかひとつまたはこれらの組み合わせの設定状態に関する情報を入力する入力手段を備え、
    前記制御手段は、前記肉眼で観察されるシーンの輝度を算出し前記第２の画像処理手段へ設定する
    ことを特徴とする請求項１１に記載の顕微鏡撮像システム。
13. 前記制御手段は、前記三眼鏡筒に関する接眼観察光路とカメラ観察光路の光分割情報と、前記撮像素子の出力画像・露出時間・感度設定とから、前記接眼観察光路の輝度を算出し、肉眼で観察されるシーンの輝度を算出し前記第２の画像処理手段へ設定する
    ことを特徴とする請求項１２に記載の顕微鏡撮像システム。
14. 前記制御手段は、明視野観察のときは、前記顕微鏡の設定状態から前記第１の観察環境の背景情報を算出し、蛍光観察または暗視野観察のときは、取得した画像の平均輝度から前記第１の観察環境の背景情報を算出する
    ことを特徴とする請求項１３に記載の顕微鏡撮像システム。
15. 前記制御手段は、前記第１の観察環境のサラウンド情報としてダークを固定で設定する
    ことを特徴とする請求項１４に記載の顕微鏡撮像システム。
16. 前記顕微鏡撮像システムは、さらに、
    前記撮像した画像を表示させる観察装置を複数備え、
    前記第２の画像処理手段は、前記各観察装置に対応した前記第２の観察環境の輝度情報・白情報・背景情報・サラウンド情報に基づいて前記第２の画像処理を行う
    ことを特徴とする請求項１４に記載の顕微鏡撮像システム。