WO2008013192A1

WO2008013192A1 - Procédé de détermination de matrice de conversion, appareil de traitement d'images, programme de traitement d'images et appareil d'imagerie

Info

Publication number: WO2008013192A1
Application number: PCT/JP2007/064558
Authority: WO
Inventors: Erika Kanematsu
Original assignee: Nikon Corporation
Priority date: 2006-07-25
Filing date: 2007-07-25
Publication date: 2008-01-31
Also published as: US8326027B2; EP2046067A1; US20100054582A1; JP4807412B2; EP2046067A4; JPWO2008013192A1

Description

明細書

変換マトリックス決定方法、画像処理装置、画像処理プログラム、撮像装置

技術分野

[0001] 本発明は、撮影画像の色変換のための変換マトリックスを決定する変換マトリックス決定方法、画像処理装置、画像処理プログラム、および、決定した変換マトリックスを搭載する撮像装置に関する。

背景技術

[0002] 光の 3原色の各々の強度信号に対して非線形な色空間で表現された画像データを V、つたん光の 3原色の各々の強度信号に対して線形な色空間で表現された画像データに変換し、線形な色空間で表現された画像データをマトリックス変換による色変換処理を行い、その後再度非線形な色空間で表現された画像データに戻す技術が知られている（例えば、特許文献 1参照）。

[0003] 特許文献 1：特開 2002— 116750号公報

発明の開示

発明が解決しょうとする課題

[0004] しかし、線形色空間での色変換は、色再現性は向上するが、画像の入出力空間として一般的な sRGB色空間は、モニタの γ特性 (入力一発光特性）に合わせて γ =2. 2という非線形な色空間に定義されているため、画像の入出力の際、非線形変換処理が必要になり処理が重たくなるという問題が生じる。

課題を解決するための手段

[0005] 本発明の第 1の態様によると、撮影画像の色変換処理において使用する変換マトリックスを決定する変換マトリックス決定方法は、ある条件下で撮影された画像データと画像データの対象物の同一条件下での測色値を取得し、取得した画像データと測色値を使用して、輝度値が非線形に変化する非線形色空間における画像信号を色変換する変換マトリックスを決定する。

本発明の第 2の態様によると、第 1の態様の変換マトリックス決定方法において、ある条件は、対象物と、画像データの撮影に使用する撮像装置もしくは測色値取得に使用する測定器との間の光学系に対する条件であるのが好ましい。

本発明の第 3の態様によると、第 1または第 2の態様の変換マトリックス決定方法において、画像データの非線形色空間である第 1の色空間における画像信号を取得し、第 1の色空間における画像信号を非線形変換により輝度値に対し線形に変化する線形色空間である第 2の色空間の画像信号に変換し、第 2の色空間における画像信号を線形色空間である第 3の色空間における画像信号へ色変換する仮変換マトリツタスを決定し、決定した仮変換マトリックスを使用して、第 2の色空間における画像信号を第 3の色空間における画像信号へ色変換し、第 3の色空間における画像信号を非線形変換により非線形色空間である第 4の色空間における画像信号に変換し、第 1の色空間における画像信号を変換マトリックスを使用して色変換した画像信号と第 4の色空間における画像信号との色差が最小になるように、当該変換マトリックスを決定するのが好ましい。

本発明の第 4の態様によると、第 3の態様の変換マトリックス決定方法において、仮変換マトリックスは、画像データの撮影時における視環境と画像データの再生時の視環境の違いを考慮して決定された変換マトリックスであるのが好ましい。

本発明の第 5の態様によると、第 4の態様の変換マトリックス決定方法において、画像データの撮影時における視環境で、対象物を測色し、測色した測色値から、視環境の違いによる色順応を考慮して、測色した色の第 3の色空間における色を予測し、第 2の色空間における画像データと第 3の色空間での予測した色とに基づき、仮変換マトリックスを決定するのが好ましい。

本発明の第 6の態様によると、第 3から第 5のいずれかの態様の変換マトリックス決定方法において、第 1の色空間から第 2の色空間への非線形変換は、第 4の色空間から第 3の色空間への非線形変換と同等であるのが好ましい。

本発明の第 7の態様によると、第 1から第 6のいずれかの態様の変換マトリックス決定方法において、特定の色は、撮影画像に頻出する色であるのが好ましい。

本発明の第 8の態様によると、第 7の態様の変換マトリックス決定方法において、決定する変換マトリックスは、顕微鏡用デジタルカメラに搭載される画像処理プログラムにおいて使用され、画像データの対象物は、顕微鏡の観察像に頻出する色を発色する対象物であるのが好ましレ、。

本発明の第 9の態様によると、撮影画像の色変換処理において使用する変換マトリックスを決定する変換マトリックス決定方法は、非線形色空間である第 1の色空間における画像信号を取得し、第 1の色空間における画像信号を非線形変換により輝度値に対し線形に変化する線形色空間である第 2の色空間における画像信号に変換し、第 2の色空間における画像信号を線形色空間である第 3の色空間における画像信号へ色変換する第 1の変換マトリックスを決定し、決定した第 1の変換マトリックスを使用して、第 2の色空間における画像信号を第 3の色空間における画像信号へ色変換し、第 3の色空間における画像信号を非線形変換により非線形色空間である第 4 の色空間における画像信号に変換し、第 1の色空間における画像信号を変換マトリツタスを使用して色変換した画像信号と第 4の色空間における画像信号との色差が最小になるように、当該変換マトリックスを決定する。

本発明の第 10の態様によると、画像処理プログラムは、第 1から第 9のいずれかの態様の変換マトリックス決定方法をコンピュータに実行させるプログラムである。

本発明の第 11の態様によると、画像処理装置は、第 10の態様の画像処理プロダラムを搭載する。

本発明の第 12の態様によると、撮像装置は、第 1から第 9のいずれかの態様の変換マトリックス決定方法によって決定した変換マトリックスを使用する画像処理プログラムを搭載する。

発明の効果

[0006] 本発明は、以上説明したように構成しているので、色再現性を精度よく行いながら高速な処理が可能となる。

図面の簡単な説明

[0007] [図 1]顕微鏡 1と顕微鏡用デジタルカメラ 2とモニタ 3とからなる顕微鏡観察システムを示す図である。

[図 2]—般的なデジタルカメラでの画像処理の流れを示す図である。

[図 3]デジタルカメラ 2での画像処理の流れを示す図である。 [図 4]Matrixlを決定するために使用されるパーソナルコンピュータ 21を示す図である

[図 5]Matrixlを決定するためにパーソナルコンピュータ 21内で処理される画像処理プログラムのフローを示す図である。

[図 6]Matrixlを決定するための処理の流れを説明するための図である。

[図 7]パーソナルコンピュータ 21とデジタルカメラ 22と分光測色計 23と顕微鏡 1との関係を示す図である。

[図 8]パーソナルコンピュータ 21が画像処理プログラムの提供を受ける様子を示す図である。

発明を実施するための最良の形態

[0008] 本実施の形態では、顕微鏡像（顕微鏡によって拡大された像のことを言う）をカメラで撮影した撮影画像が、実際に肉眼で見た顕微鏡観察像と近い見えになるようにする方法について説明する。具体的には、カメラによって撮影した画像をカメラ内部で色変換処理するときに使用する変換マトリックスを決定する方法について説明する。

[0009] 顕微鏡観察システム

図 1は、顕微鏡 1と顕微鏡用デジタルカメラ（以下単にデジタルカメラとも言う） 2とモユタ 3とからなる顕微鏡観察システムを示す図である。デジタルカメラ 2とモニタ 3は、ケーブル 4により接続される。顕微鏡 1では、照明用の光源 11により標本 12が照明され、対物レンズ 13と接眼レンズ 14により拡大された標本像が観察できる。図 1に示すように、顕微鏡 1の上部にはデジタルカメラ 2が取り付けられている。デジタルカメラ 2 は、撮影した画像をデジタルカメラ 2に接続されたモニタ 3にリアルタイムで表示すること力 Sでさる。

[0010] 顕微鏡 1は、視野切り替えスィッチ 15を有し、接眼レンズ 14側とデジタルカメラ 2側とに視野を切り替える。これにより、接眼レンズ 14を通して目視で標本 12を直接観察したり、デジタルカメラ 2で撮影した顕微鏡像の画像がモニタ 3に表示され、モニタ 3 上で標本 12を観察したりすることができる。視野切り替えスィッチ 15は、完全に接眼レンズ 14側とデジタルカメラ 2側に切り替えるだけでなぐ光を半分に分けることも可能である。これにより、接眼レンズ 14側からとモニタ 3側からと同時に観察することも可能となる。

[0011] 本実施の形態では、顕微鏡 1の接眼レンズ 14を介して直接観察した時の顕微鏡像と、デジタルカメラ 2で撮影しモニタ 3で表示した顕微鏡像の画像の見えが近くなるようにデジタルカメラ 2内で所定の色変換処理が行われる。

[0012] 顕微鏡 1とモニタ 3の表示画像の見えに影響を及ぼす要因として、主に、光源 11とモニタ 3の色温度の違い、光源 11とモニタ 3の照明輝度の違い、接眼レンズ 14を通して顕微鏡像を観察する時とモニタ 3観察時の周囲照明の違いなどがある。モニタ 3の色温度は、標準視環境であれば D65と決まっている力 S、顕微鏡照明の色温度は、光源 11に用いてレ、るランプの特性で決まり、 3000K〜5000K程度とモニタより低!/、色温度の場合が多い。従って、照明用の光源 11とモニタ 3の色温度の違いを考慮してモユタ 3に表示しないと、接眼レンズ 14により肉眼で直接見る顕微鏡観察像と色が異なつて見えることになる。

[0013] また、モニタ 3の場合、輝度も標準視環境では 80Cd/m²と決まっており、よく使われる LCDの場合最大でも 200Cd/m²程度までしか設定できない。実際には、最大輝度に設定していても経年劣化で輝度が落ちてくるので 200Cd/m²以下で使用することが多い。一方、顕微鏡 1を接眼レンズ 14を介して観察している場合、輝度は 300Cd/m²以上で観察していることが多ぐ場合によっては 1000Cd/m²以上とモニタ観察時より一桁近く高レ、輝度で観察して!/、る条件もある。

[0014] また、周囲照明による影響も異なっている。接眼レンズ 14による顕微鏡観察時は、顕微鏡像しか見えなレ、為、周囲の影響 (周囲が明るレ、のか喑レ、のか）は余り受けて!/、ない。しかし、モニタ 3による観察時は、通常明るい実験室で使用している場合が多い。従って、接眼レンズ 14で直接観察している場合に比べ、モニタ表示画像はコントラストが低く見える。また、モニタ 3の色温度と周囲照明の色温度が違う場合には、視覚は周囲照明の色温度にも影響を受けるため、周囲照明の色温度の考慮も必要になる。

[0015] 本実施の形態では、この様な視環境の違!/、を考慮して、接眼レンズ 14を通した直接観察の場合とモニタ 3を介した間接観察の場合とで、標本 12の顕微鏡観察像の見えが近くなる様にデジタルカメラ 2内部で以下に説明する画像処理を行う。また、デジタルカメラ 2は、モニタ 3において標本 12の顕微鏡観察像をリアルタイムに表示するため、高速な処理が要求される。従って、デジタルカメラ 2内部では以下に説明するような高速な画像処理を実現して!/、る。

[0016] 一般的なデジタルカメラ

次に、本実施の形態の顕微鏡用デジタルカメラ 2での画像処理につ!/、て説明する前に、風景や人物などを撮影する一般的なデジタルカメラの画像処理につレ、て説明する。図 2は、一般的なデジタルカメラでの画像処理の流れを示す図である。撮影された画像は、補間処理や色変換処理など幾つかの画像処理を経て、出力画像が作成される。

[0017] まず、 STEP1では、デジタルカメラで撮影した色空間の入力画像 (R G B ) (画像信

0 0 0 号）は、補間処理に適した色空間で処理するため、補間用 Ίを用いて光の 3原色のそれぞれの強度に対して非線形的に表現される RGB値が変わるように非線形変換がなされる。 STEP2では、非線形色空間の画像 (R G B )に対して補間処理が行われ、

1 1 1

補間処理された画像 (R G B )が生成される。 STEP3では、 STEP2での補間処理後、色変換処理に適した線形色空間へ戻すため、再度非線形処理 (逆 γ変換)を行い、線形色空間の画像 (R G Β )へ戻す。 STEP4では、この線形色空間の画像 (R G Β )を、

3 3 3 3 3 3 撮影時とモニタ表示の視環境の違いを考慮して、撮影時と色の見えが近いもしくは好ましい色再現をした画像 (R G Β )へ 3 X 3の Matrix3により色変換する。 Matrix3によ

4 4 4

る変換は線形変換である。出力目標とする色空間は、例えば sRGBの様な標準の色空間である。

[0018] STEP5では、線形な色空間の画像 (R G B )を、入力値に対するモニタの出力特性

4 4 4

に応じて決定された出力用の階調補正特性 Ίに合わせて非線形変換 (例えば sRGB 定義の γ =2.2や画作りに合わせた γ特性等）を行い、非線形な色空間の画像 (R G Β

5 5

)を生成する。この色空間の画像 (R G Β )は、モニタの表示などに使用される。

5 5 5 5

[0019] 画像信号の出力を JPEG圧縮ファイルとして出力する場合には、輝度/色差信号に分離する必要がある。 STEP6では、 STEP5の処理後、 3 X 3の Matrix2により RGB力、ら Y CbCrに変換する。最後に、 STEP7で JPEG圧縮を行い、画像信号が出力される。すなわち、 JPEG圧縮された画像データファイルが出力される。 [0020] 一般的なデジタルカメラの場合、風景写真やポートレートなど様々な色、輝度の被写体を撮影する可能性があり、どの様な色、階調についても正確な表現が必要である。従って、図 2に示す様に、一度線形色空間に戻してから、線形色空間から線形色空間へ変換マトリックスによる色変換を行い、その後出力（モニタ等）に適した階調になるよう非線形変換を行う。これは、非線形色空間でマトリックス変換を行った場合、特定の輝度の色に対して色の見えが近くなる様に変換マトリックスを調整しても、調整に用いた色と大きく異なる輝度や色相の色に対しては、変換後の色相が回転したり、階調が正しく表現できなかったりするからである。

[0021] 顕微鏡用デジタルカメラ

しかし、風景写真を撮影する様な一般的なデジタルカメラと違って、本願のような顕微鏡用デジタルカメラ 2の場合は被写体が限られて!/、る。生物顕微鏡であれば染色の種類により表示される被写体の色は限られた色が主であり、風景写真の様にあらゆる色や階調の再現を 1枚の画像でする必要はない。また生物標本の場合、赤いか、青いかなど色の区別 (試料の部位の違い）や濃淡の区別が重要視される場合が多い。

[0022] 非線形色空間でマトリックス演算をした場合、マトリックス作成時に考慮しなかった色に付いては色相が多少回転する可能性はある力適切に調整していれば逆転 (例えば赤が青に、青が赤に)することはなぐまた濃淡が逆転することもない。従って、観察試料の特徴に合わせて適切に調整した変換マトリックスを用いれば、顕微鏡用デジタルカメラ 2の場合、非線形色空間でマトリックス演算しても従来と遜色のない見えの再現が可能である。また、非線形色空間でマトリックス演算すれば、非線形変換を一般的なデジタルカメラに比べ 2回省略することが可能であり、カメラ内でのより高速処理が可能となる。

[0023] そこで、本実施の形態のデジタルカメラ 2では、図 3に示すような画像処理を行う。

図 3は、デジタルカメラ 2での画像処理の流れを示す図である。

[0024] まず、 STEP11には、図 2の STEP1と同様に、デジタルカメラで撮影した色空間の入力画像（画像信号) (R G B )が入力される。そして、 STEP11において、色空間の入力

0 0 0

画像 G B )をユーザ階調補正特性 γを用いて非線形変換される。ユーザ階調補正特性 γは、図 2の補間用階調補正特性 γではなぐ補間処理および出力時の画作りも考慮した階調補正特性 γである。例えば、 S字カーブの様な特性を持った γである。従って、 STEP11では、補間処理および出力に適した非線形な色空間の画像 (R G Β )が生成される。

1 1 1

[0025] STEP12では、非線形な色空間の画像 (R G Β )に対して補間処理が行われ、補間

1 1 1

処理された画像 (R G Β )が生成される。 STEP14では、補間処理された非線形色空間の画像 (R G Β )から画像信号出力用色空間の画像 (R G Β )へ 3 X 3の Matrixlにより色

2 2 2 5 5 5

変換する。画像信号出力用色空間 (R G B )は、出力目標とする色空間であり、例え

5 5 5

ば sRGBの様な標準の色空間に相当する空間である。 Matrixlによる変換は線形変換である。 STEP14で生成される色空間の画像 (R G B )は、図 2の STEP5で非線形変換

5 5 5

して生成された非線形な色空間 (R G B )の画像と同等の画像である。

5 5 5

[0026] 画像信号の出力を JPEG圧縮ファイルとして出力する場合には、輝度/色差信号に分離する必要がある。従って、 STEP16で、図 2の STEP6と同様に、 3 X 3の Matrix2により RGB力、ら YCbCrに変換する。 STEP17では、図 2の STEP7と同様に、 JPEG圧縮を行い画像信号が出力される。すなわち、 JPEG圧縮された画像データファイルが出力される。

[0027] このように、本実施の形態の顕微鏡用デジタルカメラ 2では、非線形色空間の画像（ R G B )を線形変換 Matrixlによりマトリックス変換し非線形な色空間の画像 (R G B )を

2 2 2 5 5 5 生成する。これにより、図 2の一般的なデジタルカメラの画像処理に対して、非線形変換を 2回省略し、デジタルカメラ 2内での高速な処理を実現している。

[0028] このように非線形色空間で色変換する場合、 STEP14で用いる Matrixlは、観察対象となる試料に合わせて適切に調整したマトリックスである必要が有る。以下、 Matrixl の調整、すなわち、 Matrixlの決定方法について説明する。

[0029] —Matrixlの決定—

図 4は、 Matrixlを決定するために使用されるパーソナルコンピュータ 21を示す図である。パーソナルコンピュータ 21には、デジタルカメラ 22と分光測色計 23とモニタ 24 が接続されている。図 7は、パーソナルコンピュータ 21とデジタルカメラ 22と分光測色計 23と顕微鏡 1との関係を示す図である。 [0030] デジタルカメラ 22は、図 7に示すように顕微鏡 1に搭載され、撮影した顕微鏡像の画像をパーソナルコンピュータ 21に出力する。デジタルカメラ 22から出力される画像は、画像処理が施されていない Rawデータであり、前述した色空間の画像 (R G B )

0 0 0 である。分光測色計 23も、デジタルカメラ 22と同様に顕微鏡 1に搭載することができる。分光測色計 23とデジタルカメラ 22は、それらの光軸と顕微鏡 1の対物レンズ 13 および接眼レンズ 14の光軸とがー致するように顕微鏡 1に搭載されており、視野切り替えスィッチ 15を用いて顕微鏡像の光軸上の 2度視野範囲を測色し、取得した測色値をパーソナルコンピュータ 21に出力する。測色値は、 CIE1931XYZ表色系で表されている。

[0031] 分光測色計 23とデジタルカメラ 22、並びに、顕微鏡 1の対物レンズ 13、接眼レンズ

14の光軸が一致しているため、顕微鏡 1の接眼レンズ 14を司見いて画面中心に測色や撮影を行いたい部分を置き、分光測色計 23で測色し、デジタルカメラ 22で画像撮影を行えば、撮影画像中心の半径 r画素範囲内の平均画素値に対応する測色値を、分光測色計 23で測色できる。なお、撮影画像の相当する半径 rは、対物レンズ 13 の倍率、および分光測色計 23の測定角により変化するため、分光測色計 23にある測定範囲観察用窓 25からの観察と撮影画像との比較から rを決定する。モニタ 24は、図 1のモニタ 3と色温度など同等の特性を持ったモニタである。

[0032] 図 5は、 Matrixlを決定するためにパーソナルコンピュータ 21内で処理される画像処理プログラムのフローを示す図である。図 6は、 Matrixlを決定するための処理の流れを説明するための図である。図 6の処理の流れは、前述した一般的なデジタルカメラでの画像処理の流れを示した図 2に対応させた図である。

[0033] パーソナルコンピュータ 21が実行する画像処理プログラムは、 CD— ROMなどの記録媒体や、インターネットやその他の電気通信回線を経由し提供され、パーソナルコンピュータ 21内にインストールされる。パーソナルコンピュータ 21は、 CPU (不図示 )およびその周辺回路（不図示）から構成され、 CPUがインストールされたプログラムを実行する。

[0034] 図 8は、パーソナルコンピュータ 21が画像処理プログラムの提供を受ける様子を示す図である。パーソナルコンピュータ 21は、 CD— ROM104を介してプログラムの提供を受ける。また、パーソナルコンピュータ 21は通信回線 101との接続機能を有する。コンピュータ 102は上記プログラムを提供するサーバーコンピュータであり、ハードディスク 103などの記録媒体にプログラムを格納する。通信回線 101は、インターネットなどの通信回線、あるいは専用通信回線などである。コンピュータ 102はハードディスク 103を使用してプログラムを読み出し、通信回線 101を介してプログラムをパーソナルコンピュータ 21に送信する。すなわち、プログラムをデータ信号として搬送波に乗せて、通信回線 101を介して送信する。このように、プログラムは、記録媒体ゃデータ信号やデータ信号が乗った搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

[0035] 図 5に戻って説明を続けると、まず、図 5のステップ S 1からステップ S3により、 N色の色パッチの撮影および測色を行う。ステップ S1では、観察者により視野切り替えスィツチ 15がデジタルカメラ 22側に切り替えられ、デジタルカメラ 22で i番目（ί=1，2，· · ·Ν) の色パッチが撮影され、パーソナルコンピュータ 21はデジタルカメラ 22から出力される顕微鏡像の撮影画像（以下、顕微鏡画像とも言う）を取得する。観察者は、顕微鏡 1のステージ（不図示）を移動させて標本 12の中である色を呈している（発色している )部分を光軸上に設定し、その色を呈して!/、る部分を i番目の色パッチとする。

[0036] ステップ S2では、観察者により視野切り替えスィッチ 15が分光測色計 23側に切り替えられ、分光測色計 23で測色し、パーソナルコンピュータ 21は分光測色計 23から出力される測色値 (XYZ)を取得する。分光測色計 23とデジタルカメラ 22と顕微鏡 1の対物レンズ 13および接眼レンズ 14とは、それらの光軸が一致するように設けられているので、分光測色計 23は、ステップ S1でデジタルカメラ 22が撮影した顕微鏡照明下の i番目の色パッチを測色することができる。すなわち、標本 12とデジタルカメラ 22 間、および、標本 12とデジタルカメラ 22間に存在する光学系に対する照明やセッテイングなどの条件は同一とされる。

[0037] ステップ S3では、 N色の色パッチの撮影と測色が完了したかどうかを判断する。 N色の色パッチの撮影と測色が完了して!/、な!/、場合はステップ S 1に戻り処理を繰り返し、完了している場合はステップ S4に進む。ステップ S1とステップ S2の処理は、同一色ノツチに対して続けて行われるので、撮影画像中心と測色範囲中心のずれを最小限にすること力 Sできる。ある色パッチに対する撮影（S1)および測色（S2)が終了したら、次の色パッチにつ!/、て撮影（S1)および測色（S2)を行!/、、 Nパッチ分繰り返す。

[0038] ステップ S4では、ステップ S1で取得した N色の色パッチの顕微鏡画像から測色範囲に相当する画素範囲の平均画素値を N色の色パッチの画像信号 R G B (i)(i=l,2,

0 0 0

•••N)として抽出する。 N色の色パッチは、顕微鏡画像の白に相当するプレパラートを透過した部分と、実際に観察する実サンプルの特徴ある色を示して!/、る部分から抽出して用いる。すなわち、 N色の色パッチは、顕微鏡の観察像に頻出する色である。言い換えれば、目的とする撮影システムにおいて、撮影画像に頻出する色である。

[0039] ステップ S5では、図 6に示す STEP21〜STEP23を行い、 N色の画像信号 R G B (i)(i=

0 0 0

1，2，· · ·Ν)を R G Β (ί)(ί=1，2，· · ·Ν)に変換する。図 6の STEP21〜STEP23は、図 2の STEP

3 3 3

1〜STEP3と同様な処理である力 STEP21、 STEP23で用いる階調補正特性 γは、図 2の補間用の階調補正特性 γではなぐ図 3の STEP11で使用するユーザー階調補正特性 γを用いる。

[0040] ステップ S6では、 Ν色の画像信号 R G Β (ί)(ί=1，2，· · ·Ν)の出力目標値 R 'G 'Β '(i)(i=l

3 3 3 4 4 4

，2，· · ·Ν)を決定する。出力目標値 R 'G 'Β '(ί)(ί=1，2，· · ·Ν)は、ステップ S2で取得した Ν

4 4 4

色のパッチを取得した部分の測色値 ΧΥΖ(ί)(ί=1，2，· · ·Ν)と視環境の条件パラメータに基づいて決定する。以下、出力目標値 R 'G 'Β '(ί)(ί=1，2，· · ·Ν)の決定について詳細に

4 4 4

説明する。

[0041] 前述のように、顕微鏡像を目視で観察する場合とモニタを通じて観察する場合とでは、光源の色温度が異なる。色温度の異なる照明下での色変換は、以下の von Kries の式 1を用いて予測することができる。そこで、 von Kriesの式 1を用いて出力目標値 R

4

'G 'Β '(ί)(ί=1，2，· · ·Ν)を決定する。なぜなら、顕微鏡照明下の被写体三刺激値 (X ，Υ

4 4 on or

，z )は、色順応を考慮して、三刺激値 (X ，Υ ，ζ )となるようモニタに再現すれば、 i on est est est

接眼レンズを介した肉眼による顕微鏡観察とモニタによる顕微鏡観察の色の見えを近くすること力できる力、らである。すなわち、顕微鏡照明下で観察するときの視環境と、モニタを見るときの視環境の違!/、を考慮した色の見え再現が可能となる。

[数 1] 【数 1】式 1

[0042] ここで、 Aは三刺激値を錐体応答 LMSに変換するマトリックスであり、例えば CAT02 変換行列等を用いることができる。また、 L，M，S (i=est__W， ori_w)は、それぞれ顕微鏡観察時 (i=ori_w)、及びモニタ観察時 (i=est_w)に順応している白の LMS応答である。モユタ観察時に順応している白は、モニタの白だけではなく周囲照明（例えば実験室内の照明）の白にも影響されるので、両者の白の混合として考慮する。

[0043] また、一般に完全順応するまでに 2分程度力、かるとレ、われ、顕微鏡とモニタを見比ベている場合には、顕微鏡とモニタの白の影響も考慮し、対象の白色点にどの程度順応している力、 (順応係数)も考慮する必要が有る。このような順応係数と以上 3つの照明（顕微鏡、モニタ、モニタ観察時の周囲）の混合比を調整して顕微鏡とモニタの見えが最も近くなる様な順応白色点を決定し、上記式 1を用いて、 N色のパッチの測色値 XYZ (i) (ί=1，2，· · ·Ν)からモニタに表示するべき測色値 XYZ (i) (ί=1，2，· · ·Ν)を算 org ext 出する。

[0044] sRGBでモニタに表示する場合には、 RGBの信号値と XYZ値の関係は定義式で決まっているので、 XYZ (i) (ί=1，2，· · ·Ν)が算出できれば、これから目標画像信号 R 'G '

ext 4 4

B '(ί)(ί=1，2，· · ·Ν)が算出できる。このように目標画像信号 R 'G 'Β '(ί)(ί=1，2，· · ·Ν)を算出

4 4 4 4

すると、ステップ S7に進む。

[0045] ステップ S7では、以下の式 2で変換した画像信号 R G Β (ί)(ί=1，2，· · ·Ν)と出力目標

4 4 4

画像信号 R 'G 'Β '(ί)(ί=1，2，· · ·Ν)の色差が小さくなるよう最小二乗法等で Matrk3を最

4 4 4

適化する。式 2での変換は、図 6の STEP24に相当する。すなわち、ステップ S5で求めた R G B (i)(i=l，2， ί)に、 Matrix3の値を掛けて R G B (ί)(ί=1，2，· · ·Ν)を求め、 R G B (i

3 3 3 4 4 4 4 4 4

)(ί=1，2，· · ·Ν)と R 'G 'Β '(ί)(ί=1，2，· · ·Ν)の色差を求め、 Matrix3を順次調整しながらこれ

4 4 4

を繰り返し行い、色差が最も小さくなるような最適な Matrix3を求める。 Matrix3は、最終的に Matrixlを求めるための変換マトリックスであるので、一時的あるいは仮変換マトリックスとも言える。

[数 2]

【数 2】

[0046] ;8では、 R G B (ί)(ί=1，2，· · ·Ν)に、ステップ S7で求まった Matrix3をかけて R

3 3 3 '

G B (ί)(ί=1，2，· · ·Ν)を算出する。ステップ S8は、図 6の STEP24に相当する。ステップ S

4 4

9では、算出した R G Β (ί)(ί=1，2，· · ·Ν)に対し、出力用 γ変換をし R G Β (ί)(ί=1，2，· · ·Ν)

4 4 4 5 5 5

の画像信号を生成する。ステップ S9は、図 6の STEP25に相当する。ステップ S10では、 R G Β (ί)(ί=1，2，· · ·Ν)の信号からなる画像をモニタ 24に表示する。

[0047] ：、モニタに表示された画像と顕微鏡を実際に観察した像の色の見えが近レ、かどうかを観察者が判断し、近!/、と判断しその旨をパーソナルコンピュータ 2 1に入力すると、処理はステップ S 13へ進む。近くないと判断しその旨をパーソナルコンピュータ 21に入力すると、処理はステップ S12へ進む。ステップ S 12では、 Matrix3 作成で用いた順応係数と 3つの照明（顕微鏡、モニタ、モニタ観察時の周囲）の混合比が適切でないので、これらのパラメータを変更しステップ S6に戻り処理を繰り返す

〇

[0048] ステップ S13では、出力用階調補正特性 γの最適化を行う。前述した様に、モニタ観察時と顕微鏡観察時ではデバイス輝度 (モニタと顕微鏡）の違!、や周囲輝度の影響の差もあって、標本のコントラスト感が異なって感じる場合が有る。その場合には、モニタに表示されるコントラストが顕微鏡で見えるコントラストに近くなるように、またモユタ表示画像が好ましいコントラスト表現になるように、出力用階調補正特性 γを変更してコントラスト感を調整する。

[0049] このようにして、試料の色の見えが近くなるまで、若しくは好ましい色再現になるように繰り返し、 Matrk3を決定する。色の見えの細かい調整は、一般的なデジタルカメラと同様に線形空間で行うことで、 Matrix3の調整は精度良く行うことが出来る。

[0050] 次に、最適化した Matrk3と出力用階調補正特性 γを用いて、図 3のフローに従つた場合の Matrixlを作成する。

[0051] ステップ S14では、ステップ S5において求めた R G B (ί)(ί=1，2，· · ·Ν)を、先に最適化した Matrix3で変換し (図 6の STEP24)、ステップ S 13で調整した出力用階調補正特性 7を用いた非線形変換を行い (図 6の STEP25)、目標画像信号である R 'G 'B '(i)(i=l，

2，· · ·Ν)を算出する。

[0052] ステップ S15では、ステップ S5において処理をした STEP21〜STEP23のうち、 STEP 22の時点で出力した N色の色パッチに対する補間後の画像信号 R G B (ί)(ί=1，2，· · ·Ν) を利用する。以下の式 3で変換した画像信号 R G Β (ί)(ί=1，2，· · ·Ν)とステップ S14で求めた目標画像信号 R 'G 'Β '(ί)(ί=1，2，· · ·Ν)の色差が小さくなるよう最小二乗法等で Ma trixlを最適化する。式 3での変換は、図 3の STEP14に相当する。すなわち、ステップ S5の途中で求めた R G B (ί)(ί=1，2，· · ·Ν)に、 Matrixlの値を掛けて R G B (ί)(ί=1,2,· · ·Ν

)を求め、

R G B (ί)(ί=1，2，· · ·Ν)と目標画像信号 R 'G 'Β '(ί)(ί=1，2，· · ·Ν)の色差を求め、 Matrixlを順次調整しながらこれを繰り返し行い、色差が最も小さくなるような最適な Matrixlを求める。

國

【数 3】

[0053] このようにして決定した Matrixlは、図 3に示す画像処理を行うデジタルカメラ 2の画像処理プログラムに組み込まれる。

[0054] 以上のようにして決定する変換マトリックス決定方法や、このようにして決定した変換マトリックスを使用して色変換を行うデジタルカメラは、次のようなや効果や長所を有する。

[0055] (1)デジタルカメラ 2では、非線形色空間の画像信号 (R G B )を最適に調整された線形変換 Matrixlによりマトリックス変換し出力用画像信号色空間の画像信号 (R G B ) を生成している。これにより、色再現性を良好に維持しながら、高速な処理を実現している。すなわち、肉眼で見る顕微鏡の観察像と色の見えが近い画像を、リアルタイムにモニタ上に表示することができる。特に、非線形変換が一般的なデジタルカメラと比べて 2回も省略できるので、高速な処理が可能となる。

[0056] (2) Matrixlを使用する場合、特定の色について色再現性がよい。しかし、顕微鏡観察の場合、 Matrixlが観察試料の特徴に合わせて適切に調整されていれば、モニタ上での色の見えになんら問題が生じない。すなわち、観察像に頻出する色の再現性は適切に行われるので、顕微鏡観察において問題は生じない。

[0057] (3) Matrixlを決定する場合、まず、線形空間での色変換に使用する Matrk3を線形空間上で適切に調整するようにしている。これにより、色の見えの細かい調整は、一般的なデジタルカメラと同様に線形空間で行うので、 Matrk3の調整は精度良く行うことが出来る。このように精度良く調整された Matrk3を使用して最終的な Matrixlを調整するので、精度のょレ、最適な Matrixlを求めることができる。

[0058] (4) Matrk3を決定する場合、視環境の違いによる色順応を考慮して行うので、精度のよい適切な Matrk3を決定することができる。特に、測色値を利用して公知な色順応式を利用するので、簡単にかつ精度のょレ、Matrk3を決定することができる。

[0059] (5)観察者が、肉眼による顕微鏡観察像とモニタに表示される画像とを実際に比較して見えが近づレ、た力、どうかを判断し、見えが近づレ、て!/、な!/、と判断する場合はパラメータを設定し直すので、観察者（人間）にとつて実際に見えが近づく状態で Matrix3や Matrixlが決定される。従って、確実に見えが近づくための Matrixlを決定することができる。

[0060] (6)モニタに表示されるコントラストが顕微鏡で見えるコントラストに近くなるように、またモニタ表示画像が好ましいコントラスト表現になるように、出力用階調補正特性 γ を適宜変更してコントラスト感を調整するので、より見えが近づくようになる。

[0061] 一変形例 (1)図 6の STEP21、 STEP23で用いるユーザー階調補正特性 _Ί特性と STEP25で用いる出力用階調補正特性 γとをなるベく近い特性にしておけば、非線形色空間でマトリックス演算による色変換を行っても、マトリックス作成に用いた Ν色については、更に良好な色再現が可能である。これは、例えば、補間用階調補正特性 γ =出力用階調補正特性 γ =2.0とすると、（R，G，B )に対して輝度が 2倍の (2R，2G，2B )を変換した場合であっても、線形色空間で色変換した結果（図 6の STEP23〜STEP25の結果） (R，G，B )と非線形色空間で色変換した結果（図 3の STEP14の結果）（R，G，B )が同じになる為である。

[0062] (2)モニタに表示する為には、図 3に示すように、 R G B (i) (ί=1，2，· · ·Ν)まで求めればよい。し力、し、 JPEG圧縮してファイル出力する場合には、 STEP14、 STEP16とマトリックス演算を続けて 2回行うことになるので、 Matrixl X Matrix2を予め算出しておいてもよい。

[0063] (3)上記実施の形態では、顕微鏡用デジタルカメラ 2の例で説明したが、必ずしも顕微鏡用デジタルカメラ 2に限定する必要はない。上記のようにして求めた Matrixlを搭載することが可能なあらゆる撮像装置に適用することができる。特に、色を限定あるいは特定した被写体 (標本、試料等)を撮像する撮像装置に有効に働く。

[0064] (4)図 3の STEP11、図 6の STEP21の階調補正特性 γをユーザ用階調補正特性 γとしたが、図 2の STEP1と同じ補間用 γであってもよい。

[0065] (5)顕微鏡の見えを再現するための上記の実施の形態では、色再現の目標色を決めるために、図 5のステップ S2で測色している。しかし、必ずしも測色値から目標を決定する必要はなぐ予め分光感度特性の分かってレ、るデジタルカメラで撮影すれば、分光感度と顕微鏡の光源の特性を用いて、撮影画像の RGB値から対応する測色値 XYZへの変換が可能である。従って、予めカメラ RGBから測色値 XYZへの変換の分かって!/、るカメラを本実施の形態の分光測色計の代わりに用いてもよ!/、。

[0066] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

[0067] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。日本国特許出願 2006年第 202312号（2006年 7月 25日出願）

Claims

請求の範囲

[1] 撮影画像の色変換処理において使用する変換マトリックスを決定する変換マトリックス決定方法であって、

ある条件下で撮影された画像データと前記画像データの対象物の同一条件下での測色値を取得し、

前記取得した画像データと測色値を使用して、輝度値が非線形に変化する非線形色空間における画像信号を色変換する変換マトリックスを決定する変換マトリックス決定方法。

[2] 請求項 1に記載の変換マトリックス決定方法にお!/、て、

前記ある条件は、前記対象物と、前記画像データの撮影に使用する撮像装置もしくは前記測色値取得に使用する測定器との間の光学系に対する条件である変換マトリックス決定方法。

[3] 請求項 1または 2に記載の変換マトリックス決定方法において、

前記画像データの非線形色空間である第 1の色空間における画像信号を取得し、前記第 1の色空間における画像信号を非線形変換により輝度値に対し線形に変化する線形色空間である第 2の色空間の画像信号に変換し、

前記第 2の色空間における画像信号を線形色空間である第 3の色空間における画像信号へ色変換する仮変換マトリックスを決定し、

前記決定した仮変換マトリックスを使用して、前記第 2の色空間における画像信号を前記第 3の色空間における画像信号へ色変換し、

前記第 3の色空間における画像信号を非線形変換により非線形色空間である第 4 の色空間における画像信号に変換し、

前記第 1の色空間における画像信号を変換マトリックスを使用して色変換した画像信号と前記第 4の色空間における画像信号との色差が最小になるように、当該変換マトリックスを決定する変換マトリックス決定方法。

[4] 請求項 3に記載の変換マトリックス決定方法において、

前記仮変換マトリックスは、前記画像データの撮影時における視環境と前記画像データの再生時の視環境の違いを考慮して決定された変換マトリックスである変換マトリックス決定方法。

[5] 請求項 4に記載の変換マトリックス決定方法において、

前記画像データの撮影時における視環境で、前記対象物を測色し、

前記測色した測色値から、前記視環境の違いによる色順応を考慮して、前記測色した色の前記第 3の色空間における色を予測し、

前記第 2の色空間における画像データと前記第 3の色空間での予測した色とに基づき、前記仮変換マトリックスを決定する変換マトリックス決定方法。

[6] 請求項 3から 5の!/、ずれかに記載の変換マトリックス決定方法にお!/、て、

前記第 1の色空間から前記第 2の色空間への非線形変換は、前記第 4の色空間から前記第 3の色空間への非線形変換と同等である変換マトリックス決定方法。

[7] 請求項 1から 6の!/、ずれかに記載の変換マトリックス決定方法にお!/、て、

前記特定の色は、撮影画像に頻出する色である変換マトリックス決定方法。

[8] 請求項 7に記載の変換マトリックス決定方法において、

前記決定する変換マトリックスは、顕微鏡用デジタルカメラに搭載される画像処理プログラムにおいて使用され、

前記画像データの対象物は、顕微鏡の観察像に頻出する色を発色する対象物である変換マトリックス決定方法。

[9] 撮影画像の色変換処理において使用する変換マトリックスを決定する変換マトリックス決定方法であって、

非線形色空間である第 1の色空間における画像信号を取得し、

前記第 1の色空間における画像信号を非線形変換により輝度値に対し線形に変化する線形色空間である第 2の色空間における画像信号に変換し、

前記第 2の色空間における画像信号を線形色空間である第 3の色空間における画像信号へ色変換する第 1の変換マトリックスを決定し、

前記決定した第 1の変換マトリックスを使用して、前記第 2の色空間における画像信号を前記第 3の色空間における画像信号へ色変換し、

前記第 3の色空間における画像信号を非線形変換により非線形色空間である第 4 の色空間における画像信号に変換し、前記第 1の色空間における画像信号を変換マトリックスを使用して色変換した画像信号と前記第 4の色空間における画像信号との色差が最小になるように、当該変換マトリックスを決定する変換マトリックス決定方法。

[10] 請求項 1から 9のいずれかに記載の変換マトリックス決定方法をコンピュータに実行させる画像処理プログラム。

[11] 請求項 10に記載の画像処理プログラムを搭載する画像処理装置。

[12] 請求項 1から 9の!/、ずれかに記載の変換マトリックス決定方法によって決定した変換マトリックスを使用する画像処理プログラムを搭載する撮像装置。