JP2948855B2

JP2948855B2 - 色識別装置

Info

Publication number: JP2948855B2
Application number: JP6586190A
Authority: JP
Inventors: 永昭大山; 奨菊地; 健森
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1990-03-16
Filing date: 1990-03-16
Publication date: 1999-09-13
Anticipated expiration: 2014-09-13
Also published as: JPH03267726A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、各種工業の生産現場における塗装色、染色
度の管理、または生産物の色測定、あるいは医療、学術
分野における被検体の色測定等に用いることのできる色
識別装置に関する。

（従来の技術）従来よりある色彩計測装置としては、主に赤（Ｒ）、
緑（Ｇ）、青（Ｂ）の３原色を表わす波長領域の反射光
強度を測定し、国際照明委員会（CIE）で標準化されて
いる色彩座標系、例えばXYZ表色系やＬ^＊ａ^＊ｂ^＊表色
系などで色を数値として表示して色の識別を行っている
ものが知られている。

このような色彩計測装置は、物体色の人間の感覚に近
いとされている表色系によって絶対的な値として表現す
ることができる。

ところが物体色のわずかな違いを検出するための色識
別能力は、表色系の特性によるものであり、結局はR,G,
Bの値により決まってしまう。従って、このような色彩
計測装置は識別したい色の違い、つまり分類を行なうと
ころの反射分光スペクトルの違いをはっきりと識別でき
ない。例えばＧの等色関数の波長領域内でスペクトルが
異なるような色は、Ｇの測定値で分類することはできな
い。

また、この種の装置としては、対象物の反射分光スペ
クトルを測定し、そのスペクトルの違いから色の違いを
識別するマルチチャンネル分光光度計がある。ところ
が、この装置は、回折格子や高感度なディテクタアレイ
など高価な装置を必要とし、しかもスペクトルを測定す
る場合は、１個のデータ当たりの次元数が多くなるた
め、それを処理し解析する装置の規模が大きくなり、装
置の構成が複雑になると共にコスト高になるという不都
合がある。

（発明が解決しようとする課題）ところで、分類を行なうスペクトルの各クラスのデー
タ例が予め用意できれば、統計的な手法により分類に有
効なデータの入力法、つまり先のR,G,B入力に代わって
目的に依存した入力波長領域を決定する方法が考えられ
る。このような方法に適した統計的な手法としては文献
「D.H.Foley and J.W.Sammon.Jr,IEEE Trans.Compp.,C
−24,281（1975）」に記載されている手法を応用する事
が考えられる。この文献には２つのクラスを分類するの
に適した空間の直交軸をFisher Ratioと呼ばれる評価基
準を最大化するように求める方法が記載されている。こ
の方法を色の分類に適用するためには、まずある波長領
域をｎ個にサンプリングし、各波長における反射光強度
を要素としたｎ次元ベクトルをデータと考え、予め２つ
のクラスのいずれかに属することがわかっているデータ
例（以下、「トレーニングセット」と呼ぶ）を複数用意
する。このトレーニングセットから、前記Fisher Ratio
を計算し、前記２つのクラスを分類するのに適したｎ次
元ベクトルを算出する。このｎ次元ベクトルは分光フィ
ルターの特性を表わすことになる。このようにして統計
的な手法により、クラス分類のための分光フィルターの
特性を算出できる。

ところが、この手法で求めた分光特性はクラスの分類
には適しているが、対象物本来の色までは知ることがで
きないという欠点がある。

また、統計的手法により色を認識する方法が文献「J.
Parkkinen and T.Jaaskelainen,Appl.Opt.,4240（198
7）」に述べられている。この文献に記載された方法
は、まずクラスごとにトレーニングセットについて主成
分分析を行ない、各々のクラスについて部分空間に設定
する。次に各々の部分空間をクラス間で重なりがなくな
るように回転操作を行なうものである。この方法では、
統計的な手法により算出した分光フィルターによりクラ
ス間の分類が可能となる。また、各部分空間に投影され
たベクトルから、元のｎ次元スペクトルデータを推定す
る方法についても論じられており、その方法によれば本
来の色を推定することができる。

ところが、本手法は分光フィルターの特性を決定する
までに何回も主成分分析、つまり共分散行列を求めて固
有値問題を解くといった操作をくり返し行なう必要があ
り、膨大な演算量を要する。また、クラスごとに部分空
間を設定するため、どのクラスに属するかを判定するた
めには投影操作、つまり分光フィルターを通して光強度
を測定するという操作をクラス数でけくり返さなければ
ならないため極めて繁雑な処理が必要となる。

したがって、従来の色識別装置では、R,G,Bの波長領
域の光強度を測定するものであるため、分類を行なう対
象に対して、最適な入力法ではなく、不都合が生じる場
合がある。また、統計的な手法を応用した場合には、分
類には適するが対象物の本来の色までは識別することが
できず、また色の識別機能まで付加させると演算量が大
きく実用に適さないといった問題があった。

本発明は以上のような実情に鑑みてなされたもので、
統計的手法により色分類でき、かつ容易に対象物本来の
色を識別できて、簡便で実用的な色識別装置を提供する
ことを目的とする。

（課題を解決するための手段および作用）本発明の色識別装置は、分光フィルターの特性と色推
定のための変換回路の諸条件を決定する前処理部と、実
際に色の識別、測定を行なう本処理部とで構成される。

前処理部では、予め用意された、分類を行なう対象物
のスペクトルのトレーニングセットに対してスペクトル
データを計測し、さらに統計的な手法により各クラスを
分類するに適しており、しかも本来の色を推定するのに
適したフィルターの分光特性を算出する。また、前記算
出された分光フィルタを使って測定されたデータから、
対象物本来の色、つまりR,G,Bの値あるいはスペクトル
を推定するための変換回路のパラメータを決定する。次
に、実際の分類を行なう本処理においては、前記算出し
た分光フィルターを用いてから得られた光強度により分
類を行ない、さらに前記変換回路によって本来の色自体
を推定し、結果を出力する。

（実施例）以下、本発明装置の実施例について図面を参照して説
明する。

第１図は第１実施例を示す図であり、本発明を色彩計
測装置に適用した色識別装置の概略的な構成を示す図で
ある。この装置は、白色光を発生させる光源ボックス１
と、この光源ボックス１で発生させた白色光を所定のス
ペクトル有する照明光に変換して出力する光源色作成器
２と、この光源色作成器２から出力される照明光を所定
箇所まで導くライトガイド３と、照明光を対象物に照明
すると共に対象物からの反射光が電気信号に変換されて
出力されるディテクタヘッド４と、このディテクタヘッ
ド４で検出された電気信号が入力し色識別のための各種
演算が実行されるプロセッサ５と、このプロセッサ５に
オペレータの指示を入力するためのマン＝マシーンイン
ターフェース６とから構成されている。

光源ボックス１および光源色作成器２の構成を第２図
に示す。同図に示すように、光源ボックス１内にはラン
プ用電源７およびこの電源により電力が供給される白色
ランプ８が設けられている。この白色ランプ８から発せ
られる白色光はレンズ９によって平行光にコリメートさ
れ光源色作成器２に導かれる。光源色作成器２内にはレ
ンズ11が設置されていて、光源ボックス１からの平行白
色光を集光する。レンズ11の焦点面にはスリット12が設
置されており、ここで入射光の大きさを適当に調整して
いる。スリット12を通過した白色光は凹面鏡13によって
再び平行光にコリメートされ、回折格子14に導かれる。
この回折格子14によって波長に応じて特定の方向に回折
された１次回折光が凹面鏡15によって結像される。この
凹面鏡15の結像面には液晶フィルター16か設置されてい
る。この液晶フィルター16は、プロセッサ５によりコン
トロールされる液晶フィルタードライバ17により動作さ
れる。液晶フィルター16は液晶フィルタードアイバ17に
より透過率が調整され、各波長の光の結像位置に所定の
透過率が設定できるようになっている。この液晶フィル
ター16を通過した光はレンズ18により集光され、ライト
ガイド３の入射端側コネクタ19から光ファイバー束で構
成されるライトガイド３に導かれる。このライトガイド
３により導かれた照明光が第３図に示すように、ディテ
クトヘッド４の先端部に設置された照明レンズ21を介し
て測定対象物に照射される。対象物からの反射光はディ
テクトヘッド４に設けられた対物レンズ22よりフォトデ
ィテクタ23の受光面上に集光される。このフォトディテ
クタ23からの出力信号はアンプ24を介してプロセッサ５
へ送られる。

第４図はプロセッサ５の内部構成を示す図である。本
実施例のプロセッサ５は第５図に示すフローチャートに
基づいて動作し、CPU25が内部バス26を介してROM27,CPU
メモリ28,A/D変換器29,統計解析プロセッサ31,液晶フィ
ルタードライバインターフェース32,マン＝マシーンイ
ンターフェースとのインターフェース33,外部記録装置
インターフェース34がそれぞれ接続されている。CPU25
は、各構成要素の制御を行なうと共に、本装置全体の制
御を行なう。また、後述する本処理において色分類及び
色推定の演算を行なう。ROM27はオペレーティングシス
テムおよびこのオペレーティングシステムの管理下にお
かれている実行プログラムなどが記録されており、必要
に応じて実行プログラムが読み出され実行される。CPU
メモリ28はRAMで構成され、処理実行時にプログラムや
データが記録される。A/D変換器29はディテクタヘッド
４からの出力信号をディジタル入力するものである。統
計解析プロセッサ31は、積和演算器、メモリ等で構成さ
れ、行列演算を高速に行ない得る構成となっており、後
述する前処理において統計解析を行なうための専用プロ
セッサである。液晶フィルタードライバインターフェー
ス32はフィルタードライバ17に対してアドレスと透過率
を決定する指令信号を送るためのインターフェースであ
る。マン＝マシーンインターフェースとのインターフェ
ース33はプログラムのメニューや測定結果を表示する表
示装置への出力およびキーボードからの信号入力のため
のインターフェースである。外部記録装置インターフェ
ース34は、ハードディスクやフロッピーディスクなどの
記録媒体にプログラムや測定結果を記録し、かつそれら
からプログラムやデータを読み込む際に使用する外部記
録装置35つまりハードディスクドライバやフロッピーデ
ィスクドライバとのインターフェースである。

次に、以上のように構成された本実施例の作用につい
て説明する。

本実施例は、前処理と本処理の動作の２段階の作用を
呈する。

まず、前処理における作用について述べる。前処理で
は、分類を行なう各色を有する対象物を各色ごとに数個
から数十個程度用意し統計解析を行なう。

統計解析を行なうために、次のようにして各色のクラ
スのスペクトルデータをトレーニングセットとして入力
する。すなわち、液晶フィルター16の透過率分布を、第
６図に示すように、ある特定の波長領域R1だけ最大にな
るように設定し、用意された対象物を単色光に近い照明
光で照明した際の反射光強度を測定し、プロセッサ５内
のCPUメモリ28に記録する。

次に上記波長領域を移動し、上記と同様の動作をくり
返して、設定波長範囲に対してｎ領域（ｎは数十程度）
に分割した各波長領域の単色光による反射光強度を記録
する。これにより、対象物の反射光スペクトルを計測す
る。このようにして計測したスペクトルデータの例を第
７図に示す。第７図に示すデータ例は、450〜700nmの波
長範囲にわたって、25nmおきに合計11個の波長領域につ
いて反射光強度を測定し、スペクトルを構成した例であ
る。

各クラスのスペクトルデータを、用意した全ての対象
物について測定し、トレーニングセットを作る。なお、
総データ量が大きくなる場合は、一時的に外部記録装置
35によって、ハードディスクやフロッピーディスクなど
に記録しておく。

次に、以上のようにして作成したトレーニングセット
からクラスを分類するのに適した分光特性を有するフィ
ルターを演算により求める。なお、クラスの数をｋ、お
よび各クラスのトレーニングセットのデータ数をmi（ｉ
＝1,…ｋ）とする。

上記分光特性を有するフィルターを求める第１の例を
説明する。クラス数ｋ＝２の場合の導出法の例を示す。
２つのクラスをクラス１、クラス２と呼ぶことにし、ク
ラス１の色が基準の色であり、クラス２の色はクラス１
の色に少し別の色みが加わったものであるとする。それ
ぞれのクラストレーニングセットを、次のように表わ
す。

ただし、各データはｎ次元ベクトルで表わされる。

先ず、クラス１のトレーニングセットについて主成分
分析（Ｋ−Ｌ変換）を行なう。つまり、クラス１のトレ
ーニングセットから次のクラス内共分散行列S₂ ⁽¹⁾を計
算し、固有値問題を解く。

ただし、はクラス１の平均ベクトルである。

なお、：トレーニングセットのデータの生起確率である。

S₂ ⁽¹⁾の固有方程式は次のように書ける。

ただしは固有ベクトル，λｉは固有値である。S₂ ⁽¹⁾のランク
をｒ（ｒ≦ｎ）とし、ｒ個の固有ベクトルで構成される空間内で、第１主成分ベクトルの直交補空間Ｕを考える。

そしてクラス1,2の全トレーニングセットのデータを
（７）式によって空間Ｕへ投影して、トレーニングセッ
トの次元を落として、その投影したものを新たなトレー
ニングセットとする。

ただし、新たに用意されたトレーニングセットは次のように表わ
される。

データは（ｒ−１）次元のベクトルとなる。（９）式に示す新
たなトレーニングセットに関して、（10）式で表わされ
るFisher Ratioが最大になるようなベクトルを求める。

ただしS₁ ^uはクラス間共分散行列で（11）式より算出
される。

ここでPiをｉ番目のクラスの生起確率とし、をｉ番目のクラスの平均ベクトルとすると、また、を全トレーニングセットの平均ベクトルとすると、また、S₂ ^uはクラス内共分散行列の平均であり、次式で
表わされる。

ただし、クラス内共分散行列S₂ ^u(i)は、（３）式と同
様に定義される。

前記ベクトルは結局のところ次式のように導出される。

ただし、 α₁: とするための正規化定数である。

次に、前記空間Ｕにおいて前記ベクトルと直交する空間で前記Fisher Ratioを最大化するベクト
ルを求めると、次式で表わされるが導かれる。

α₂: とするための正規化定数である。また：単数行列である。

前記Fisher Ratioはベクトルにデータを投影したときのクラス間の分離の程度を示す
評価基準である。前記は空間ＵにおいてFisher Ratioを最大化する最初の２つ
の直交ベクトルである。理論的にはFisher Ratioの大き
い順に（ｒ−１）個の直交系を算出することができる
が、２つのクラスの分類のためには通常２つのベクトル
で十分である。前記は（ｒ−１）次元ベクトルであるため、これらを次式に
よりｎ次元ベクトルに変換する。

そして、次の３つのベクトルの分光特性を実現するフ
ィルターを設定すればよい。

上式におけるはクラス１のデータの平均ベクトルを表わし、全反射光
強度を測定するためのフィルターとなる。

は２クラスを分類するためのデータを効率良く測定する
ためのものである。

以上のような統計手法に基づいた演算がプロセッサ５
にて実行され、各クラスを分類するのに適し、かつ本来
の色を推定するのに適した分光特性を有する分光フィル
ターが作成される。

なお、上記した統計的手法は分類対象が２つの場合で
あるが、次に第２の方法として、任意のクラス数ｋに対
する導出法の例を示す。

まず第１の方法と同様にして、基準となるクラス（ク
ラス１とする）の第１主成分ベクトルの直交補空間Ｕ（空間Ｕは（ｒ−１）次元であり、ｒは
クラス１の共分散行列S₂ ⁽¹⁾のランク）へトレーニング
セットデータを投影し、新しく次に示すようなトレーニ
ングセットを用意する。

そして、次式で表わされるHotelling Trace Criterio
n（以下、「HTC」と呼称する）Ｊを最大化するような行
列Ｈを求める。

Ｊ＝tr［（S₂ ^H）^-1S₁ ^H］（22）なお、“tr"は行列の対角成分をすべて加算する演算
子を示し、HTCはクラス間の分離の程度を示す評価基準
である。また、S₁ ^H,S₂ ^Hはトレーニングセットを行列Ｈ
で変換してから求めた「クラス間分散行列」及び「クラ
ス内共分散行列の平均」である。

上記行列Ｈは次の手順により導出する。まず、クラス
内共分散行列の平均S₂ ^Hの固有値問題を解く。

S₂ ^HT′＝Ｔ′Λ′ …（23）次にS₂ ^Hを白色化する変換行列Λ^−1/2ＴによりS₁ ^Hを
変換し、行列Ｄを求める。

Ｄ＝（Λ^−1/2Ｔ）S₁ ^H（Λ^−1/2Ｔ）ｔ …（24）なお、Λは（23）式のΛ′におけるフルランクな部分
行列であり、Ｔは（23）式のＴ′より固有値０に対応する固有ベクト
ルを除いた行列である。

次に、Ｄの固有値問題を解く。

ＤΨ＝ΨＴ …（26）そして、変換行列Ｈを次式で構成する。

Ｈ＝Ψ^ｔΛ^−1/2U^t …（27）なお、（23）式のS₂ ^Hと（24）式のS₁ ^Hは、（14）式、
（11）式と同様して求めるものである。

（27）式の行列Ｈは（ｋ−１）個の有効な行ベクトルを含む。

このベクトルを（19）式と同様にして、ｎ次元ベクトルに変換する。

最終的に次のｋ個のベクトルの分光特性を実現するフ
ィルターを設定する。

なお、はクラス１のデータの平均ベクトルで、全反射光強度を
測定するためのフィルターとなり、はｋ個のクラスを分類する分光特性となる。

このような統計的手法がプロセッサ５で実行され分類
に有効な分光特性が算出される。

これらの方法はいずれもクラス１の有効な固有ベクト
ルで構成される空間内において第１主成分ベクトルの直
交補空間から分類に有効なベクトルを導出するものであ
る。従って（20），（30）式で表わされる空間は、クラ
ス１の主成分空間に近いものであり、ｎ次元の原スペク
トルの再構成に対しても有効である。しかも、ｎ次元デ
ータを（ｒ−１）次元まで次元数を落とした上で分類ベ
クトルの計算を行なうので、総演算量は非常に少なくな
る。従って前述した手法はクラスの分類に有効な上に原
スペクトル自体推定するのにも適しており、しかも演算
量が少なく実用的な方法である。

次に、前述した方法により求めた分光特性により測定
したデータから、本来の色を推定するための絶対色の推
定行列を算出する。

以下、この算出方法について説明する。第１の方法と
してスペクトル自体を推定する方法の例を示す。まず、
（20），（30）式で求めたような分光特性の組による変
換行列をＡとする。

スペクトルがＡにより変換されてデータが推定されるとすると、となる。従っては分光フィルターの数だけの次元数を有する。＜ｎ
であるから、Ａに逆行は存在しない。そのため、を完全に求めることは一般的にはできないが、疑似逆行
列A⁺により推定することができる。

特に（20）式で求めた分光フィルターの組を用いる場
合、Ａが直交行列となるため、疑似逆行列Ａは次のよう
になる。

A⁺＝A^t …（34）従って、計算が大変簡略化される上に、Ａがトレーニ
ングセットの主成分ベクトルで構成される空間に極めて
近い直交空間への変換行列で構成されているために良い
近似を与えることができる。また、（30）式で求めた分
光特性の組を用いる場合もＡはトレーニングセットの主
成分空間に近い空間への変換行列で、しかも測定データの次元数が大きいことから、（33）式A⁺がやはり良い
近似の推定を与える。疑似逆行列A⁺により推定されるス
ペクトルをとすると、は次式で表わされる。

この推定スペクトルからR,G,Bの値を導出することも
できる。スペクトルからR.G.B値を導出する行列をＣと
すると、R,G,B値を成分とする３次元ベクトルは、次式のように表わされる。

ただし、はR,G,Bの等色関数である。

従って、Ａによる測定データから推定されるR,G,B値は、次式で表現できる。

よって、からR,G,B値を推定する行列Ｂは次のように設定でき
る。

Ｂ＝CA⁺ …（38）前処理においては、分光特性Ａを設定すると共に、
（38）式のR,G,B値を推定する変換行列Ｂを算出し、こ
れを記録しておく。

第２の方法として測定データに混入する加法的ノイズを抑制するためのウィーナ推定
の例を示す。（32）式の代わりに、次式測定データを表わす。

そして、次式により推定スペクトルを算出する。

推定スペクトルと原スペクトルの２乗誤差が最小になるように行列Ｗを求めると、結果
的に次式で表わされる。

Ｗ＝KxA^t（AKxA^t＋Kn）^-1 …（41）ただし、Kx:原スペクトルの共分散行列 Kn:ノイズの共分散行列 Kxには、（３）式で示したクラス１の共分散行列S₂
⁽¹⁾を代入すれはよい。また、（39）式のノイズがホワイトノイズと仮定できる場合には、とおけるので、測定系の特性よりσ²nの値を予め推定し
ておき、（41）式の行列Ｗを設定する。そして（38）式
と同様に測定データからR,G,B値を推定する行列Ｂを次
式で算出する。

Ｂ＝CW …（43）第３の方法として、測定データからR,G,B値を直接推定するために最小２乗法的解法により次式のＢ
を導出する方法を示す。

（32）式により原スペクトルから求めたR,G,B値と（4
4）式の推定R,G,B値との平均２乗誤差を次式で定義す
る。

ただしは平均を表わすオペレータである。（45）式のεを最小
にするＢを求めるために、次式のように微分方程式をた
てる。

（46）式を解くと、次のように求まる。

Ｂ＝KvrKv_-1 …（47）ただし、Kvrはの相互共分散行列、Kvはの共分散行列で、次式で表わすことができる。

（48），（49）式は、前処理時に統計的に求める。つ
まり、トレーニングセットから上記方法で求めた変換行
列Ａにより算出したと、（36）式により求めたR,G,B値を用いて、Kvr,Kvを求める。つまり、実際にはプロセッ
サ５において次のような計算を行なうことになる。

（50），（51）式ではクラス１のトレーニングセット
について計算しているが、複数のクラス、あるいは全ク
ラスのトレーニングセットについて算出してもよい。

次に、本処理について説明する。

前処理によって求めた分光特性の組の例を第８図に示
す。それぞれの分光特性は実際はｎ次元ベクトルで求め
られるが第８図ではわかり易いように連続線で示してい
る。各々のベクトルは直交、あるいはそれに近い状態に
あるため、第８図に示すように２番目以降のベクトルは正負の特性をもつ。従って液晶フィルター16で分光特
性を実現するためには１つの分光特性について正の領域
のフィルターと負の領域フィルターの２種類を用意し、
各々のフィルターを使って入力した反射光強度値を、プ
ロセッサ５において減算する必要がある。従って、前処
理により求めた分光特性の組をとすると、本処理で実際に用いる分光フィルターの組
は、となる。ただし、は、ベクトルの正，負成分を示す。液晶フィルター16において実際に
実現する透過率分布を有するフィルターの例を第９図に
示す。実際の測定では、液晶フィルターの透過率分布を
第９図に示すように変えながら反射光強度値を入力す
る。そして、による変換値Vi（ｉ＝1,…ｉ−１）、を求めて、この値よりクラスの分類を行なう。

分類の方法としては第10図に示すように、各分類ベク
トルについてしきい値tiを決めてこれらと変換値との大小を比較して分類する。また、判定基準は分類空
間における直線、であってもよい。この場合、次式のように変換を行な
い、 ωとξの大小を比較して分類を行う。

このようにして、行なった分類の結果はマン＝マシー
ンインターフェース６の表示装置に表示される。なお、
第10図に示したような分類空間におけるデータのプロッ
トをマン＝マシーンインターフェース６の表示装置で行
ない、観測者が判断できるようにしてもよい。

一方、測定したに前述した変換行列A⁺,W,Bなどを作用させて、原スペク
トルやR,G,B値を推定し、マン＝マシーンインターフェ
ース６の表示装置に表示する。

この様な本実施例によれば、前処理における統計解析
から、本処理までを一貫して行なうことができ、比較的
簡単な構成で、色の分類と共に絶対色の識別を短時間で
行なうことができる。

次に、本発明の第２実施例として本発明を電子内視鏡
に応用し色識別と共に画像表示を行なう例について説明
する。

本実施例では、統計解析を行なう前処理装置と、実際
に観測を行なう内視鏡とが別の構成になっている。

第11図は前処理装置部分を構成を示す図である。この
前処理装置は内視鏡40、ポリクロメータ41、アナライザ
42、マン＝マシーンインターフェース43、光源44等から
構成されている。

観測者は内視鏡40のイメージガイド51の接眼部52より
対象物を観察可能になっている。また光源44内の白色ラ
ンプ53によって発せられ照明光は、レンズ54により入射
端側コネクタ55に集光されて、さらにライトガイド56を
介して内視鏡40を先端部から照射される。対象物からの
反射光はライトガイド57により導かれてポリクロメータ
41内に入力される。このポリクロメータ41は、ポリクロ
メータ41内に入力した入射光を平行光にコリメートする
凹面鏡58と、この平行光が入射する回折格子59と、この
回折格子59の反射光を集束させる凹面鏡60とから構成さ
れている。このポリクロメータ41は分光器として作用を
有している。ポリクロメータ41の出力側であって凹面鏡
60による集束位置にはディテクタアレイ61が設置されて
いる。このディテクタアレイ61によって、対象物から反
射された反射光の反射分光スペクトルが測定されるよう
になっている。ディテクタアレイ61により測定されたス
ペクトルデータはアナライザ42に送られ、そこで解析が
行なわれる。動作の制御はマン＝マシーンインターフェ
ース43により観測者がアナライザ42に対して指令を入力
することにより行なわれる。

以上の構成により観測者は対象物を内視鏡40により観
測しながら想定したクラスに属すると思われる色のスペ
クトルを入力する。この操作をくり返すことによって、
トレーニングセットを用意し、アナライザ42に記録す
る。アナライザ42の内部は、第１の実施例で説明したプ
ロセッサ５と同様の構成を有し、第１実施例と同じ方法
で、分光特性の組Ｑおよび変更行列Ｂが算出される。

一方、本装置である電子内視鏡装置の構成を第12図に
示す。この電気内視鏡装置は、内視鏡70、プロセッサ7
1、マン＝マシーンインターフェース72とを主な構成要
素としている。

プロセッサ71は照明系と演算部とからなる。照明系で
はプロセッサ71に設けられた白色ランプ73より発せられ
た照明光がレンズ74と、このレンズ74の結像面におかれ
たスリット75を通過し、凹面鏡76によりコリメートされ
た後、回折格子77に入力される。ここで、波長により特
定の角度で回折された１次回節光は凹面鏡78により結像
される。その結像面にはモータ79により回転制御される
回転フィルター80が設けられている。この回転フィルタ
ー80を通過した光は、レンズ81により集光されて、その
集光位置に設置された入射端側コネクタ82に入射し、ラ
イトガイド83を介して内視鏡70に導かれ、先端部より対
象物に照射される。

回転フィルター80は、第13図に示すように、（２−
１）枚（は分光特性の組Ｑを構成するベクトルの数、
以下＝３として説明する）のフィルターが回転方向に
並べられている。各々のフィルターは前処理装置による
統計解析の結果導出されたものであって、動径方向に所
定の波長特性に従って透過率分布を実現させたNDフィル
ターにより構成される。また、モータ79はビデオレート
の1/30秒に１回転するように制御され、１フレーム時間
に前記５枚のフィルターによる照明光が逐次的に照射さ
れる。各照明光による対象物からの反射光画像は内視鏡
70により先端部に設置された対物レンズ84により結像さ
れて、撮像カメラ85により撮像される。撮像カメラ85で
光電変換して得られた画像信号はプロセッサ71内に設け
られたA/D変換器86によりディジタル変換され、セレク
タ87を介してフレームメモリ88−１〜88−５のうちの所
定のメモリに記録される。こうして、前述した方法によ
り１フレーム時間に５種類の照明光で入力した画像がフ
レームメモリ88−１〜88−５のいずれかに記録される。

ここで、フレームメモリ88−１〜88−５に記憶された
画像のうち、第１実施例で述べたの特性を持つ分光フィルターの照明による画像を除く画
像、つまりの分光特性により得られる画像は、１つの分光特性につ
き正負のフィルターによる２枚の画像を有する。そこ
で、各減算器89−1,89−２において、による画像からによる画像の減算を行なう。このようにして得られたによる画像および前記による画像はマトリクス演算回路90に入力される。

マトリクス演算回路90は、前記前処理により設定した
変換行列Ｂにより前記による画像をR.G.B値に変換するように構成されてい
る。また、減算器89−1,89−２から出力されるによる画像は一方でエンコーダ91に入力され、ここで値
の大小に応じてR,G,B値に対する所定の係数g_r,g_g,g_bが
導出される。この係数g_r,g_g,g_bは乗算器92−１〜92−３
に出力され、そこでゲインαが乗算される。ゲインα
は、マン＝マシーンインターフェース72の操作部72aに
より観測者が設定し、コントローラ93より出力されるも
のである。

このようにして得られた係数値αg_r,αg_g,αg_bは、乗
算器94−１〜94−３においてマトリクス演算回路90から
出力されたR,G,B値とそれぞれ乗算される。乗算器94−
１〜94−３から出力される乗算値αg_rR,αg_gG,αg_bBは
リミッタ95に入力され、ここで設定されている閾値のオ
ーバフロートする成分がカットされるような処理が施さ
れ、この処理結果がD/A変換器96でアナログビデオ信号
に変換される。前記による画像は、必要に応じて前記コントローラ93に入力
され、値の大小により、正常以外のクラスに属する値が
あるかどうかが調べられる。

一方、D/A変換されたアナログビデオ信号はマン＝マ
シーンインターフェース72に組み込まれたTVモニタ97に
表示され、同時にコントローラ93で検出されたクラス分
類の情報がディスプレイ98に表示される。また前記ディ
スプレイ98には、通常は操作のメニューや諸条件が表示
される。

このように本装置では、前処理装置による統計解析の
結果導出された分光特性により画像が入力され、クラス
分類が行なわれると共に、得られたデータからR,G,B値
を導出し、通常のカラー画像表示をも行なうものであ
る。また、分類ベクトルであるにより得られた値の大小はクラスの分類を表わすもので
あるので、これを出力するR,G,B値にコーディングする
ことによって疑似カラー的表示を行ない、クラスの違い
を明瞭に色分けて表示する作用をも有する。

例えば、次のように表す。測定された次元のデータ
をこれより推定したR,G,B値をコーディング行列をＧとし、疑似カラーを次式で表わす。

ただし、 g_r,g_g,g_bの値は、例えば分光フィルターによる値V₁がある閾値t₁によってクラスが分類されると
考えられるとき、V₁とt₁との差をＧの値にコーティング
させる。つまり、次式のように設定する。

g_r＝−（C/2）（V₁−t₁）＋１ g_g＝Ｃ（V₁−t₁）＋１ g_b＝−（C/2）（V₁−t₁）＋１ …（57）ただし、Ｃは（V₁−t₁）の値を適当に変換するための
定数である。

（57）式のように設定することによりV₁がt₁より大き
いクラスの色は緑色が強くなり、V₁がt₁より小さいクラ
スの色は緑色が弱まり、相対的に補色であるマゼンタの
色合いが強くなる。このようにして擬似カラー的表示に
よりクラスの違いを極立たせることができる。

本実施例を実際に使用する場合について説明する。

まず、前処理では、色の違いによるクラス分けをする
知識を有する観察者が第11図に示す装置により各クラス
のトレーニングセットを作成するための画像を入力し、
この装置においてトレーニングセットを作成し統計解析
によりそのトレーニングセットから分光フィルターの特
性と変換行列Ｂが算出される。この前処理では、例えば
医療用内視鏡の場合、正常組織の色と種々の病変部の色
とを解析し、前記分光フィルターの特性と変換行列Ｂを
算出するようにする。この前処理は第12図に示す本処理
装置を統計する前に一度行なっておけば良い。そして実
際に観測即ち本処理を行なう場合は、観測者がTVモニタ
97を見ながら内視鏡70を操作し、必要に応じて擬似カラ
ー表示によりクラスの違いを色感覚的に把握する。そし
てさらに詳しい解析が必要な場合は、画像をフリーズに
して、分類解析や種々の計測を行なうようにする。

このような第２実施例によれば、本発明の機能を画像
入力装置に応用したことにより、電子内視鏡装置に対し
て色の違いによるクラス分類に適した構成を提供するこ
とができる。また通常はR,G,B表示を行なうため異和感
のない普通のカラー画像が表示できる上にクラスの違い
を極立たせるために擬似カラー的表示を行ない、視覚的
にクラスの分類が効果的に把握できるようにすることも
できる。従って、医療における診断能、または各種産業
における検査能を向上させることができる。

なお、本処理装置における前記回転フィルター80やマ
トリクス演算回路90、エンコーダ91における設定条件を
可変にできるように構成し目的に応じて条件を変更する
ようにしても良い。

次に、本発明の第３実施例として本処理装置において
所定の分光透過特性を有する色フィルターを用いるよう
にした例を説明する。本実施例は第２実施例と同様に前
処理装置と本処理装置とから構成される。

第14図に第３実施例の前処理装置部分の構成を示す。
本実施例の前処理装置は光源装置100、対象物の反射光
が入射される光入射端101、光入射端101から取込まれた
反射光がライトガイド102を介して入力され分光器とし
て作用するポリクロメータ103、ポリクロメータ103で分
光された反射光のスペクトルデータが光電変換されるデ
ィテクタアレイ104、ディテクタアレイ104からのスペク
トルデータが入力し所定の演算が実行されるアナライザ
105、アナライザ105に指令を入力するためにマン＝マシ
ーンインターフェース106で構成される。なお、光源装
置100は独立して構成されている。また、ポリクロメー
タ103、アナライザ105、マン＝マシーンインターフェー
ス106は第２実施例で示したものと同様に構成されてい
る。そして、この様な構成において統計解析を行ない、
個の分光特性の組Ｑおよび変換行列Ｂが算出される。

また、本実施例装置の構成を第15図に示す。光源装置
100は第14図に示したものと同じであり、前処理時と同
じ条件で対象物を照明する。対象物からの反射光はディ
テクタヘッド107に入力され、前記分光特性の組Ｑに対
する′個（′≧２−１）のフィルターによる入力
光強度が検出されてプロセッサ108に送られる。本実施
例のプロセッサ108は第１実施例で説明したプロセッサ
から統計解析プロセッサや液晶フィルタードライバI/F
を除いた構成をしていて、ディテクタヘッド107からの
入力信号よりクラスの分類および絶対色の算出が行なわ
れる。マン＝マシーンインターフェース109は、プロセ
ッサ108と結合され、観測者による動作の選択や結果の
出力が行なわれる。

第16図にディテクタヘッド107の構成を示す。なお、
本実施例では分光特性の組数を＝３とし、′＝２
−１＝５とした組数の分光フィルターを用いる場合を例
に説明する。同図に示すように、ディテクタヘッド107
の入射側には５枚レンズを有するレンズアレイ110が設
けられ、このレンズアレイ110の各々のレンズの結像面
に、５分割されているフォトディテクタ112が設置され
ていて、各々の受光面に色フィルター111−１〜111−５
が貼り合わせられている。色フィルター111−１〜111−
５は、それぞれ干渉フィルター、色ガラスフィルター、
ラッテンフィルターまたはそれらを数枚はり合わせたも
ので構成され、前記５組の分光フィルターの特性、また
はそれに近い特性を透過特性として有する。そして、各
々の色フィルター111−１〜111−５による透過光強度は
各フォトディテクタ112により検出され、各々対応する
アンプ113を介して、プロセッサ108へ送られる。なお、
前記色フィルター111−１〜111−５は、前記分光特性の
組Ｑのうちの分類ベクトルの３枚以上で、つまり＝^＋＋⁻となる枚の分光特性を有する色フィル
ターで構成しても良い。

この様な本実施例によれば、それぞれ所定の分光透過
特性を有する複数の色フィルター111−１〜111−５を設
ける構成としたので、一組の分光フィルターをある程度
恒常的に使用できる場合に効果的である。つまり、第２
実施例で説明した装置によって予め前処理を行なってお
き、本処理の条件を設定し、本実施例に示す本処理装置
では、色フィルター111−１〜111−５の特性やフォトデ
ィテクタ112、アンプ113の数を固定にし、同じ処理を繰
り返し大量に、あるいは長期間にわたって行なう場合に
極めて有効である。いたがって、大量生産現場における
塗装検査、あるいば生鮮食良品の色検査など対象物の色
分類の基準がある程度限定できる場合には本実施例を適
用でき、装置の構成を簡素化できる。

次に、本発明の第４実施例について説明する。

この第４の実施例は第３実施例と同様本処理装置を所
定の分光透過特性を有するフィルターを用いて構成し、
しかもカラー画像として表示できるように構成した例で
ある。なお、本実施例の前処理装置の構成および作用は
第３実施例に記述したものと同じであるので詳しい説明
は省略する。

第17図は本実施例の本処理装置の構成を示す図であ
る。この本処理装置は光源装置120、この光源装置120に
て照明される対象物の反射光を集光する撮影レンズ12
1、この撮影レンズ121にて撮られた反射光をビデオ信号
に変換するTVカメラ122、TVカメラ122から出力されるビ
デオ信号をカラー画像信号に変換する映像処理装置12
3、映像処理装置123から出力されたデータに対して所定
の演算を施すプロセッサ124、このプロセッサ124に指示
を入力するマン＝マシーンインターフェース125等から
構成されている。

光源装置120は、前処理時にトレーニングセットを入
力したのと同じ条件で対象物を照明する。対象物の画像
は撮影レンズ121により結像され、TVカメラ122により入
力される。TVカメラ122からの出力信号は映像処理装置1
23に入力され、R,G,Bのカラー画像信号が導出されてTV
モニタ126に表示される。

一方、プロセッサ124には、分類のための分光特性に
より入力した画像データが映像処理装置123より必要に
応じて入力され、解析が行なわれる。また、マン＝マシ
ーンインターフェース125により観測者が動作の選択等
を行ない、プロセッサ124は指示に基づいて装置全体の
制御を行なう。

第18図はTVカメラ122および映像処理装置123の構成を
示す図である。なお、前処理において算出された分光フ
ィルタの組をの５種とする。

TVカメラ122内にはCCD撮像素子131が設けられてい
る。このCCD撮像素子131は、複数の受光素子132がマト
リクス状に配列され、各受光素子132は各列の垂直シフ
トレジスタ133にそれぞれ接続され、各垂直シフトレジ
スタ133は水平シフトレジスタ134に接続されている。各
受光素子132の受光面には分光フィルターの透過特性を
有する色フィルターが図示の如く貼り合わされている。

各受光素子132に蓄積された電荷は、各フィールド時
間に１行おきに垂直シフトレジスタ133に転送され、さ
らに水平シフトレジスタ134に転送されて、バッファ135
を介してCCD撮像素子122から出力される。CCD撮像素子1
22の出力はビデオ信号としてアンプ136を介して映像処
理装置123に入力される。映像処理装置123に入力された
ビデオ信号はCDS141に入力し、ここで波形成形される。
CDS141の出力は１ラインディレイライン142を介してビ
デオアンプ143の一方の入力端子に入力され、他方の入
力端子にはCDS141の出力が直接入力する。ビデオアンプ
143では、１ラインディレイライン142を介して入力する
ビデオ信号とCDS141より直接入力されるビデオ信号との
間で引き算が実行される。その結果、受光素子132のの色フィルターが並んだ行からのビデオ信号（以下＋信
号と呼ぶ）と、の色フィルターが並んだ行からのビデオ信号（以下−信
号と呼ぶ）との間で減算が行なわれ、の分光特性による信号が算出される。なお、上記のよう
な演算が行なわれた次のフレーム時間では−信号から＋
信号を差し引く演算が行なわれるが、その場合はビデオ
アンプ144から負の出力信号を選択する。そのために、
ビデオアンプ143の出力端子にアナログスイッチ144が設
けられている。このアナログスイッチ144より出力され
たビデオ信号信号が、サンプルホールド回路145, 信号がサンプルホールド回路146によりサンプリングさ
れ、それぞれ対応するA/D変換器147,148に出力される。
A/D変換器147,148の出力はフレームメモリ149,150にそ
れぞれ記録される。

一方、CDS141より出力された信号はサンプルホールド
回路151で直接サンプリングされ、A/D変換器152を介し
てフレームメモリ153に記録される。以上の動作はシス
テムコントローラ154により制御される。フレームメモ
リ149,150,153に記録されたの分光特性による画像信号は、第12図に示す装置と同様
に接続されているマトリクス演算回路154、エンコーダ1
55、乗算器156〜158、乗算器159〜161、リミッタ162、D
/A変換器163とにより、第２の実施例と場合の同様の処
理が行なわれ、R,G,Bカラー画像信号が出力される。

なお、上記R,G,Bカラー画像信号より表示される画像
はリアルなカラー画像またはクラスの違いを擬似カラー
的表示により極立たせた画像であるのは第２の実施例に
記述した通りである。また、擬似カラーのゲインは、マ
ン＝マシーンインターフェース125により観測者が設定
し、プロセッサ124を介して乗算器159〜161に入力され
る。一方、フレームメモリ149,150に記録されたビデオ
信号に必要に応じてプロセッサ124に送られ、クラス分
類や画像処理などが行なわれる。

この様な本実施例において観察者は次のような操作を
行なう。まず、TVモニタに写し出されるカラー画像をリ
アルカラーもしくは擬似カラー表示で観察する。そし
て、必要な時に画像をフリーズし、画像の局所領域のク
ラス分類や、画像全体のクラス分類、各クラスの面積計
算などの諸計測を行なわせるよう操作する。

この様な第４実施例によれば、第３実施例と同様に一
組の分光フィルターをある程度恒常的に使用できる場合
に効果的であり、本処理装置の構成を簡略化できる。ま
た、対象物をカラー画像として扱うことができるので、
観察者はより正確に対象を把握することができ、またリ
アルカラーと擬似カラー表示により対象物の実際の色合
いとクラス分類とを同時に比較することができる。従っ
て、本実施例は第２実施例で示した内視鏡をはじめ、観
測者が対象物を直接見ることのできないような情況にお
けるクラス分類に対し、特に有用である。

（発明の効果）以上詳記したように本発明によれば、色識別を行うべ
き対象物に対して、その色の分類および対象物本来の色
の推定を容易に行うことができ、簡便に実用的な色識別
装置を提供できる。

【図面の簡単な説明】

第１図は第１実施例の概略的な構成図、第２図は光源ボ
ックス及び光原色作成器の構成図、第３図はディテクタ
ヘッドの構成図、第４図はプロセッサの構成図、第５図
はプロセッサの動作を示すフロー図、第６図は設定波長
範囲を示す図、第７図は測定したスペクトルデータを示
す図。第８図は分光特性を示す図、第９図は晶フィルタ
ーの透過率分布を示す図、第10図は分類結果を示す図、
第11図は第２実施例の前処理装置の構成を示す図、第12
図は同実施例の本処理装置である電子内視鏡装置の構成
図、第13図は回転フィルターの正面図、第14図は第３実
施例の前処理装置の構成図、第15図は同実施例の本処理
装置の構成図、第16図は第３実施例に用いられるディテ
クタヘッドの構成図、第17図は第４実施例の本処理装置
の構成図、第18図は同実施例のTVカメラ及び映像処理装
置の構成図である。１……光源ボックス、２……光原色作成器、３……ライ
トガイド、４……ディテクタヘッド、５……プロセッ
サ、６……マン＝マシーンインターフェース、16……液
晶フィルター、80……回転フィルター、111……色フィ
ルター。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平３−130629（ＪＰ，Ａ) 特開平３−13859（ＪＰ，Ａ) 特開昭51−131377（ＪＰ，Ａ) 特開昭60−63430（ＪＰ，Ａ) 特開昭63−249029（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G01J 3/00 - 3/52 G01N 21/27 - 21/39

Claims

(57)【特許請求の範囲】

【請求項１】反射分光スペクトルの差異により複数のク
ラスに分類される測定対象物の集合に対して該反射分光
スペクトルを測定し、該クラスごとの該反射分光スペク
トルデータの集合であるトレーニングセットを作成する
トレーニングセット作成手段と、該トレーニングセット作成手段により作成されたトレー
ニングセットに基づいて各クラスの分類及び色の推定に
適した分光特性を有する分光フィルターを算出する分光
フィルター算出手段と、該分光フィルター算出手段により算出された分光フィル
ターを用いて測定された対象物の反射光強度から対象物
本来の色を推定するための絶対色推定行列を算出する絶
対色推定行列算出手段と、前記分光フィルターを用いて測定された対象物の反射光
強度を各クラスに分類する手段と、前記分光フィルターを用いて測定された対象物の反射光
強度を前記絶対値推定行列を用いて演算し、その演算結
果として対象物本来の色を算出する色推定手段と、を具備したことを特徴とする色識別装置。
【請求項２】前記分光フィルターを用いて測定された対
象物の反射光強度から前記対象物の画像を可視化する手
段を備えたことを特徴とする請求項１記載の色識別装
置。