JP5567168B2

JP5567168B2 - 画像処理装置および内視鏡システム

Info

Publication number: JP5567168B2
Application number: JP2013043624A
Authority: JP
Inventors: 雅裕久保
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2013-03-06
Filing date: 2013-03-06
Publication date: 2014-08-06
Anticipated expiration: 2027-09-14
Also published as: JP2013116353A

Description

本発明は、カラーの撮影画像に対して画像処理を施す画像処理装置および内視鏡システムに関する。

従来から、医療の分野においては、先端にＣＣＤなどが取り付けられた細長い管を被検体の体内に挿入し、被検体の体内を撮影して腫瘍や血栓などを観察する内視鏡システムが広く利用されている。このような内視鏡システムによれば、被検体の体内を直接撮影することによって、被検体に外的なダメージを与えることなく、放射線画像では分かりにくい病巣の色や形状などを把握することができ、治療方針の決定などに必要な情報を手軽に得ることができる。

ここで、内視鏡システムで得られる撮影画像は、通常、体内の粘膜等を写したものであることから、一面に色や形状が似通ったものが写っていることが多いため、病巣を目視で把握しようとしても難しい場合が多々あり、医師の負担となっている。

一般的な撮影の分野では、撮影画像中のある特定の箇所を把握する技術の一例として、例えば、撮影画像の色やパターンマッチング等に基づいて人物の顔を自動的に抽出する技術が知られている（例えば、特許文献１参照。）。しかし、上述したように、内視鏡システムで得られる撮影画像は、人物や建物等といった相互の識別が容易なものが写っている一般的な撮影画像と異なり、一面に粘膜が写っている等というように、全体的に似通ったものが写っていることが多い。そのため、特許文献１に記載の技術を使っても、一面の粘膜の画像の中から、周囲との差異が微妙な場合が多い病巣を自動的に抽出することは難しく、この技術を使って医師の負担を軽減することは現実性に乏しい。

ところで、近年、内視鏡システムの分野において、内視鏡システムで得られた撮影画像にスペクトル解析を施し、所望のスペクトル成分の成分画像（分光画像）を抽出するという技術が注目を集めている（例えば、特許文献２参照。）。例えば、病巣は多くの場合充血により発赤状態となっている。このような箇所（発赤箇所）等には血液の主要成分であるヘモグロビンが集中しているが、このヘモグロビンは、ある特定の波長の光についての吸収や反射が顕著であることが知られている。また、内視鏡システムを使った撮影の際には、目視を補助する目的で撮影箇所に、例えば病巣の凹凸等を強調するための色素を散布することがあるが、この色素も特定の波長の光についての吸収や反射が顕著である。上記の特許文献２に記載の技術を利用すれば、ヘモグロビンでの吸収や反射が顕著なスペクトル成分に対応した分光画像や、散布された色素での吸収や反射が顕著なスペクトル成分に対応した分光画像を得ることができる。そのような分光画像では、ヘモグロビンが集中している箇所や色素が散布された箇所のコントラスト等が他の箇所よりも強調されることになるので、病巣の形状等を目視で把握しやすくなる。

また、このような分光画像を得るという技術の別例として、内視鏡システムにおいて被写体を照らす照明として、ヘモグロビンや色素等での吸収や反射が顕著な波長の照明を用いることで、上記の分光画像と同様の画像を撮影によって直接的に得るという技術も提案されている（例えば、特許文献３参照。）。

特開平９−１０１５７９号公報特開２００３−９３３３６号公報特開２００６−３４６３５８号公報

ここで、上記の分光画像は、病巣において顕著であろうと予測されるスペクトル成分に対応した単色画像である。そのため、分光画像において、病巣は明瞭に写っているが他の箇所のほとんどは写っておらずそれら他の箇所と病巣との位置関係が把握し難いという問題が発生することがある。また、この分光画像が単色画像であるために、病巣とまぎらわしい見え方をする別部位が写っていた場合等に、そのような別部位と病巣との区別が難しいといった問題も度々生じている。このため、内視鏡システムのユーザの間では、内視鏡システムで得られる撮影画像に、発見すべき箇所の目視による把握を容易なものとする画像処理を施すことができる画像処理装置や、そのような画像処理装置が組み込まれた内視鏡システムが望まれている。

尚、ここまで、内視鏡システムで得られる撮影画像を例に挙げ、その撮影画像中で発見すべき箇所を目視で把握する際の困難さという問題について説明したが、このような問題は、内視鏡システムで得られる撮影画像において生じやすいとはいえ、一般的な撮影画像においても起こりうる問題である。

本発明は、上記事情に鑑み、撮影画像に、発見すべき箇所の目視による把握を容易なものとする画像処理を施すことができる画像処理装置、および、そのような画像処理装置が組み込まれた内視鏡システムを提供することを目的とする。

上記目的を達成する本発明の画像処理装置は、
ＲＧＢ３色それぞれについて各所定の分光感度分布を持つ入力デバイスを用いての被写体の撮影により得られた、各画素の色がＲＧＢ３色の組合せで表現されたカラーの撮影画像を取得するカラー画像取得部と、
光の波長成分の指定を受ける成分指定部と、
カラー画像取得部で取得した撮影画像に、成分指定部で指定された波長成分を強調しあるいは反強調する画像処理を施す強調処理部とを備え、
強調処理部が、
撮影画像を、所定範囲の波長域に亘る、互いに波長が異なる複数の分光画像に分解し、
複数の分光画像の中から、成分指定部で指定を受けた波長成分を持つ指定波長分光画像を抽出し、
指定波長分光画像に強調あるいは反強調処理を施し、
複数の分光画像であって指定波長分光画像については強調あるいは反強調処理後の分光画像を用いて、それら複数の分光画像の互いに対応する画素の画素値の集合により表現される分光分布を、ＲＧＢ３色それぞれについての分光感度分布で重み付けして積分することにより、各画素がＲＧＢ３色の画素値で表現された処理画像を生成するものであることを特徴とする。

ここで、本発明の画像処理装置は、
光の波長成分を示す成分指標であって、互いに異なる波長成分を示す複数の成分指標と、所定の選択操作によって１つが選択される複数の選択項目とが、互いに一対一に対応付けられた対応表を記憶する対応記憶部と、
選択操作を受け付けて、その選択操作よって選択された選択項目に、対応表で対応付けられている成分指標が示す波長成分を成分指定部に指定する操作受付部とを備えたものである
また、上記目的を達成する本発明の内視鏡システムは、
光を発する光源；
被写体を撮影してカラーの撮影画像を得る撮像機を備えた光プローブ；
ＲＧＢ３色それぞれについて各所定の分光感度分布を持つ入力デバイスを用いての被写体の撮影により得られた、各画素の色がＲＧＢ３色の組合せで表現されたカラーの撮影画像を取得するカラー画像取得部と、
光の波長成分の指定を受ける成分指定部と、
カラー画像取得部で取得した撮影画像に、成分指定部で指定された波長成分を強調しあるいは反強調する画像処理を施す強調処理部とを備え、
強調処理部が、
撮影画像を、所定範囲の波長域に亘る、互いに波長が異なる複数の分光画像に分解し、
複数の分光画像の中から、成分指定部で指定を受けた波長成分を持つ指定波長分光画像を抽出し、
指定波長分光画像に強調あるいは反強調処理を施し、
複数の分光画像であって指定波長分光画像については強調あるいは反強調処理後の分光画像を用いて、それら複数の分光画像の互いに対応する画素の画素値の集合により表現される分光分布を、ＲＧＢ３色それぞれについての分光感度分布で重み付けして積分することにより、各画素がＲＧＢ３色の画素値で表現された処理画像を生成するものである画像処理装置；および
画像処理装置で画像処理が施された後の処理画像を表示する表示装置を備えたことを特徴とする。

尚、本発明の内視鏡システムについては、ここではその基本形態のみを示すに止めるが、これは単に重複を避けるためであり、本発明の内視鏡システムには、上記の基本形態のみではなく、前述した画像処理装置の各形態に対応する各種の形態が含まれる。

以上、説明したように、本発明によれば、撮影画像に、発見すべき箇所の目視による把握を容易なものとする画像処理を施すことができる画像処理装置、および、そのような画像処理装置が組み込まれた内視鏡システムを得ることができる。

本発明の一実施形態が適用された内視鏡システムを示す図である。画像強調パラメータセット画面を示す図である。ヘモグロビンの吸光特性および反射特性の一例を示す図である。パラメータのセットの後、強調画像がモニタ３００に表示されるまでの処理の流れを示す模式図である。図４の分光推定処理（ステップＳ１０１）に供されたカラーの撮影画像Ｇ１を示す模式図である。図５のカラーの撮影画像Ｇ１から抽出された分光画像ＧＬｉを示す模式図である。２値化処理後の分光画像ＧＬｉを示す模式図である。テンプレートマッチングにより画像領域が特定された様子を示す模式図である。強調画像の一例を示す模式図である。第２の内視鏡システムを示す図である。色素名称セット画面を示す図である。色素名称のセットの後、擬似カラー画像がモニタ３００に表示されるまでの処理の流れを示す模式図である。突起状の病巣に色素が散布された状態を写したカラーの撮影画像Ｇ１の一例を示す図である。図１３のカラーの撮影画像Ｇ１から生成された擬似カラー画像Ｇ３の一例を示す図である。第２の内視鏡システムを示す図である。画像強調パラメータセット画面を示す図である。パラメータのセットの後、強調画像がモニタ３００に表示されるまでの処理の流れを示す模式図である。強調画像Ｇ４における各画素の分光特性が取得される様子を示す模式図である。ＣＣＤ１２０における分光感度特性を示す図である。強調画像Ｇ４における各画素の分光特性Ｓと、受光素子の分光特性とから、各画素の画素値（Ｒ，Ｇ，Ｂ）が算出される様子を示す模式図である。第４の内視鏡システムを示す図である。切替ボタン６０２の操作の後、ピークカラー画像がモニタ３００に表示されるまでの処理の流れを示す模式図である。

以下図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施形態の内視鏡システムを示す図である。

この図１に示す内視鏡システム１０は、被検体の内部に挿入されその内部の被写体を白色光で照らしてその照明下での１回の撮影でカラーの撮影画像を得るスコープ１００と、スコープ１００で得られたカラーの撮影画像に各種の画像処理等を施すプロセッサ２００と、プロセッサ２００における画像処理等を経たカラーの撮影画像を表示するモニタ３００とを備えている。ここで、スコープ１００は、本発明にいう光プローブの一例に相当し、モニタ３００は、本発明にいう表示装置の一例に相当する。また、プロセッサ２００は、本発明の画像処理装置の一実施形態に相当する。

スコープ１００は、プロセッサ２００に着脱自在に装着されるものであり、先端に照明窓１１１を有する光ファイバ製のライトガイド１１０と、被写体を撮影するＣＣＤ１２０を備えている。ライトガイド１１０は、プロセッサ２００に搭載されている光源２０１から供給される照明用の光を被検体内部の被写体まで導いて照明窓１１１から照射し、ＣＣＤ１２０は、その照射された光による照明下で、被写体で反射された光を受光することでその被写体のカラーの像を、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３色の組合せで色を表現して表わすアナログ画像データを生成する。光源２０１は、本発明にいう光源の一例に相当する。

スコープ１００は、さらに、スコープ１００内の各構成要素の動作を制御するスコープ側ＣＰＵ１３０と、スコープ側ＣＰＵ１３０の制御に基づきＣＣＤ１２０を駆動するＣＣＤ駆動回路１４０と、相関二重サンプリング（ＣＤＳ）を行うとともに、アナログデータを適宜に増幅する自動利得制御（ＡＧＣ）を行うＣＤＳ／ＡＧＣ回路１５０と、アナログデータをデジタルデータに変換するＡ／Ｄ変換回路１６０とを備えている。ＣＣＤ駆動回路１４０によって駆動されたＣＣＤ１２０で生成されたアナログ画像データは、ＣＤＳおよびＡＧＣを経てＡ／Ｄ変換回路１６０に渡され、デジタル画像データに変換される。そして、そのデジタル画像データが、プロセッサ２００に渡される。ＣＣＤ１２０とスコープ側ＣＰＵ１３０とＣＣＤ駆動回路１４０とＣＤＳ／ＡＧＣ回路１５０とＡ／Ｄ変換回路１６０とを合せたものが、本発明にいう撮像機の一例に相当する。

ここで、スコープ１００では、基本的には、動画の撮影が行われ、カラーの動画を表わすデジタル画像データが得られてプロセッサ２００に渡される。そして、ユーザが、不図示の操作ボタン等を操作して静止画の撮影を指示すると、その時点での静止画が撮影され、カラーの静止画を表わすデジタル画像データが得られてプロセッサ２００に渡される。

以下の実施例では、このカラー静止画に対する処理について説明するが、本発明の画像処理は動画に対しても適用可能であり、静止画に限定されるものではない。

プロセッサ２００には、上記のライトガイド１１０に光を供給する光源２０１と、プロセッサ２００の各構成要素の制御を行うプロセッサ側ＣＰＵ２０２とが備えられている。

ここで、本実施形態では、プロセッサ２００は、スコープ１００から渡されたデジタル画像データが表わすカラーの撮影画像に、ガンマ補正や彩度補正等といった基本的な画像処理を施してモニタ３００に表示する基本表示機能と、そのカラーの撮影画像に、基本的な画像処理に加えて、ユーザが後述するように指定した箇所を強調する強調処理を施してモニタ３００に表示する機能との２つの強調表示機能とを有している。

プロセッサ２００は、モニタ３００に表示する画像を、基本表示機能で表示されるカラーの撮影画像（通常画像）と、強調表示機能で表示されるカラーの撮影画像（強調画像）との間で切り替えるユーザからの切替操作を受け付ける切替ボタン２０３と、スコープ１００からデジタル画像データを取得して、切替操作に応じたプロセッサ側ＣＰＵ２０２の制御により、そのデジタル画像データを、基本表示機能と強調表示機能との何れかに供する切替回路２０４とを備えている。この切替回路２０４は、本発明にいうカラー画像取得部の一例に相当する。

さらに、プロセッサ２００は、基本表示機能における画像処理を行う第１画像処理部２０５と、強調表示機能における画像処理および強調処理を行う第２画像処理部２０６とを備えている。また、プロセッサ２００は、強調表示機能による表示を実行する場合に、カラーの撮影画像に対してスペクトル解析を行なうことで、この撮影画像から後述の指定操作に応じたスペクトル成分の成分画像（分光画像）を得る分光推定処理を行う分光推定処理部２０７と、その分光推定処理部２０７で得られた分光画像中でその指定操作に応じた形状に合致するという条件を満たした画像領域を特定し、その特定した画像領域の位置を第２画像処理部２０６に伝える特定処理部２０８とを備えている。分光推定処理については、例えば特開２００６−２３９２０６号公報等に開示されている公知技術であるので、ここでは説明を省略する。第２画像処理部２０６は、カラーの撮影画像に対し、特定処理部２０８から伝えられた画像領域を強調する強調処理を施す。また、プロセッサ２００は、第１画像処理部２０５での処理あるいは第２画像処理部２０６での処理を経たカラーの撮影画像をモニタ３００に表示する表示制御部２０９と、画像処理や強調処理のための各種パラメータや、各種制御プログラムや、画像データ等が記憶されるメモリ２１０とを備えている。上記の分光推定処理部２０７と特定処理部２０８とを合せたものは、本発明にいう領域特定部の一例に相当する。また、第２画像処理部２０６は、本発明にいう画像処理部の一例に相当する。

このプロセッサ２００では、スコープ１００から渡されたデジタル画像データが切替回路２０４によって第１画像処理部２０５あるいは第２画像処理部２０６に渡される。

ここで、本実施形態では、ユーザが切替ボタン２０３を押す度に、プロセッサ側ＣＰＵ２０２の制御により切替回路２０４が動かされて、デジタル画像データの送り先が、第１画像処理部２０５から第２画像処理部２０６へ、あるいは、第２画像処理部２０６から第１画像処理部２０５へと切り替えられる。また、デジタル画像データが第２画像処理部２０６に渡される場合には、デジタル画像データは分光推定処理部２０７にも渡される。また、デジタル画像データは、この切替回路２０４およびプロセッサ側ＣＰＵ２０２を経由してメモリ２１０に記憶される。

切替回路２０４によってデジタル画像データが第１画像処理部２０５に渡された場合には、デジタル画像データが表わすカラーの撮影画像にガンマ補正や彩度補正等といった基本的な画像処理が施され、表示制御部２０９によって通常画像がモニタ３００に表示される。一方、デジタル画像データが第２画像処理部２０６に渡された場合には、分光推定処理部２０７と特定処理部２０８での処理を経て、強調すべき画像領域の特定が行われ、第２画像処理部２０６において、デジタル画像データが表わすカラーの撮影画像に基本的な画像処理が施されるとともに、その撮影画像中の、その特定された画像領域が強調され、表示制御部２０９によって強調画像がモニタ３００に表示される。

以下、切替ボタン２０３の操作により、モニタ３００への表示を通常画像の表示から強調画像の表示に切り替えるように指示されてから、モニタ３００に実際に強調画像が表示されるまでの一連の処理について説明する。

モニタ３００に動画が表示されている状態で、切替ボタン２０３が押されると、その時点でＣＣＤ１２０に捉えられている画像が静止画として撮影され、その静止画を表わすデジタル画像データが、メモリ２１０に記憶される。その後、その静止画に対する強調処理における各種パラメータをセットするために、後述の画像強調パラメータセット画面がモニタ３００に表示される。

また、不図示の操作ボタンを操作して得られ既にメモリ２１０にデジタル画像データが記憶されている静止画が、モニタ３００に表示されている状態で、切替ボタン２０３が押された場合には、その現在表示されている静止画に対する強調処理における各種パラメータをセットするために、後述の画像強調パラメータセット画面がモニタ３００に表示される。

図２は、画像強調パラメータセット画面を示す図である。

本実施形態では、強調処理における各種パラメータをオートでセットするパラメータ・オートセットモードと、各種パラメータを個々にマニュアルでセットするパラメータ・マニュアルセットモードとが用意されている。図２の画像強調パラメータセット画面２２０には、パラメータ・オートセットモードを有効とし、パラメータ・マニュアルセットモードを無効とする第１ラジオボタン２２１と、逆に、パラメータ・マニュアルセットモードを有効とし、パラメータ・オートセットモードを無効とする第２ラジオボタン２２２とが備えられている。

まず、パラメータ・マニュアルセットモードについて説明する。

このパラメータ・マニュアルセットモードでは、まず、カラーの撮影画像から抽出すべき分光画像におけるスペクトル成分の波長がセットされる。画像強調パラメータセット画面２２０には、波長セット部２２３が備えられており、ユーザは、波長セット部２２３における増減ボタン２２３ａを不図示のマウスでクリックしたり、あるいは、表示部２２３ｂに不図示のキーボードにより直接数値を入力したりすることで、所望の波長をセットすることができる。

ここで、この波長セット部２２３においてセットされる波長は、例えば、病巣に多く見られる発赤箇所の強調を所望する場合における、ヘモグロビンでの吸収や反射が顕著なスペクトル成分の波長や、病巣箇所と他の箇所とで着色の度合いが異なる色素を用いた場合における、その色素での吸収や反射が顕著なスペクトル成分の波長等になる。

本実施形態では、カラーの撮影画像から分光画像が抽出されたときには、発赤箇所や着色箇所の特定のために、領域特定部において、その分光画像に対し、ある基準の明るさより暗い部分と、その明るさより明るい部分とに２値化する２値化処理が行われる。本実施形態では、分光画像は、その分光画像を構成する各画素の明るさを示す画素値からなる画像データで扱われる。この画素値は、「０」〜「２５５」の範囲内の値となる。そして、上記の２値化のための、上記の基準の明るさを示す閾値として、この「０」〜「２５５」の範囲内のいずれかの値が、画像強調パラメータセット画面２２０においてセットされる。画像強調パラメータセット画面２２０には、この閾値をセットするための閾値セット部２２４が備えられている。波長セット部２２３と同様、この閾値セット部２２４でも、ユーザは、増減ボタン２２４ａをマウスでクリックしたり、あるいは、表示部２２４ｂにキーボードにより直接数値を入力したりすることで、所望の閾値をセットすることができる。

また、本実施形態では、発赤箇所や着色された病巣箇所の特定のために、領域特定部において、その分光画像中で、発赤箇所や病巣箇所等の像の形状であろうと一般的に予測される形状が写った画像領域が特定される。画像強調パラメータセット画面２２０には、所望の形状をセットするための形状セット部２２５が備えられている。本実施形態では、発赤箇所やポリープ等の像の形状に相当する円形や、血管の形状に相当する連続曲線等といった複数種類の形状が候補として用意されており、それら複数種類の形状のうち所望の形状をセットすることが可能となっている。形状セット部２２５のメニューボタン２２５ａがクリックされると、セット可能な像の形状が列記されたプルダウンメニューが表示され、ユーザが、所望の形状にカーソルを合せるとその形状がセットされる。セットされた形状は表示部２２５ｂに表示される。

さらに、この画像強調パラメータセット画面２２０では、画像領域が特定された後に、本実施形態で実行可能な、シャープネス強調とコントラスト強調と色彩強調との３種類の強調処理それぞれにおける強調の程度をセットすることができる。ここで、これら３種類の強調処理それぞれが、本発明にいう強調処理の一例に相当する。画像強調パラメータセット画面２２０には、シャープネス強調の程度を設定するシャープネス強調設定部２２６と、コントラスト強調の程度を設定するコントラスト強調設定部２２７と、色彩強調の程度を設定する色彩強調設定部２２８とが備えられている。

シャープネス強調の程度は、シャープネス強調設定部２２６の増減ボタン２２６ａに対するクリック操作や表示部２２６ｂに対するキーボード入力によって「０」以上の値でセットされる。同様に、コントラスト強調の程度は、コントラスト強調設定部２２７の増減ボタン２２７ａに対するクリック操作や表示部２２７ｂに対するキーボード入力によってセットされ、色彩強調の程度は、色彩強調設定部２２８の増減ボタン２２８ａに対するクリック操作や表示部２２８ｂに対するキーボード入力によってセットされる。ここで、「０」の値がセットされた場合には、その強調処理は実行されないことになる。図２は、色彩強調のみが実行される例である。

以上、説明したように、パラメータ・マニュアルセットモードでは、カラーの撮影画像から抽出すべき分光画像におけるスペクトル成分の波長、２値化処理における閾値、像の形状、各強調処理における強調の程度が個々にセットされる。これらのパラメータは、画像強調パラメータセット画面２２０を介したセット操作によってユーザから入力され、プロセッサ側ＣＰＵで取得される。このプロセッサ側ＣＰＵは、本発明にいう成分指定部と形状指定部とを兼ねた一例に相当する。

これに対し、パラメータ・オートセットモードでは、これらのパラメータ全てが、例えば発赤箇所等といった、強調を所望する箇所の具体的な名称をセットすることで自動的にセットされる。

以下、パラメータ・オートセットモードについて説明する。

本実施形態では、発赤箇所、ある色素（例えばインジコカルミン等）によって着色されたポリープ、血管等といった、複数種類の強調候補の名称に、各候補の特定および強調に要するパラメータが一対一に対応付けられた対応表が、図１のメモリ２１０に記憶されている。この強調候補の名称が、本発明にいう選択項目の一例に相当する。また、メモリ２１０は、本発明にいう対応記憶部の一例に相当する。

本実施形態では、例えば、発赤箇所には、波長として「５４０ｎｍ」、閾値として「６４」、形状として「円形」、シャープネス強調の程度として「０」、コントラスト強調の程度として「０」、色彩強調の程度として「２」が対応付けられている。

これらのパラメータのうち、発赤箇所に、波長として「５４０ｎｍ」が対応付けられているのは、発赤箇所に集中するヘモグロビンの吸光特性および反射特性に基づいている。

図３は、ヘモグロビンの吸光特性および反射特性の一例を示す図である。

図３のパート（ａ）には、ヘモグロビンの吸光特性の一例を示すグラフＥ１が示され、パート（ｂ）には、ヘモグロビンの反射特性の一例を示すグラフＥ２が示されている。パート（ａ）のグラフＥ１では、横軸に波長がとられ縦軸にモル吸光係数がとられており、還元ヘモグロビンＨｂと酸化ヘモグロビンＨｂＯ_２とのそれぞれについて実測された吸光特性が記載されている。このグラフＥ１から、「４１５ｎｍ」近辺と、「５４０ｎｍ」近辺とに吸光のピークがあることが分かる。また、パート（ｂ）のグラフＥ２では、横軸に波長がとられ縦軸に分光反射率がとられており、複数人の被検体について消化器の粘膜の反射特性を測定することで得られた、ヘモグロビンの反射特性が記載されている。このグラフＥ２では、「４１５ｎｍ」近辺と、「５４０ｎｍ」近辺とに反射の落ち込みがあり、このグラフＥ２からもこれら２箇所に吸光のピークがあることが分かる。

本実施形態では、これらの特性に基づき、発赤箇所を特定するために、カラーの撮影画像から抽出すべき分光画像に対応する波長として「５４０ｎｍ」が採用されている。また、本実施形態では、血管については、分光画像に対応する波長として「４１５ｎｍ」が採用されている。

図２に示す画像強調パラメータセット画面２２０には、パラメータ・オートセットモードにおいて発赤箇所等といった強調候補の名称がセットされる名称セット部２２９が備えられている。この名称セット部２２９のメニューボタン２２９ａがクリックされると、セット可能な強調候補の名称が列記されたプルダウンメニューが表示され、ユーザが、所望の名称にカーソルを合せるとその名称がセットされる。セットされた名称は表示部２２９ｂに表示される。そして、この名称セット部２２９で強調候補の名称がセットされると、上記の対応表においてその名称に対応付けられている各パラメータが、図１のプロセッサ側ＣＰＵ２０２によってメモリ２１０から読み出される。ここで、このプロセッサ側ＣＰＵ２０２は、本発明にいう操作受付部の一例も兼ねている。

また、画像強調パラメータセット画面２２０には、パラメータ・マニュアルセットモード、あるいはパラメータ・オートセットモードによるセット内容を承認するための決定ボタン２３０が備えられている。パラメータのセット終了後に、この決定ボタン２３０がクリック操作されると、セットされたパラメータを用いた処理が、分光推定処理部２０７および特定処理部２０８において開始される。

次に、これらのパラメータを用いた処理の流れについて説明する。

尚、以下では、パラメータとして、発赤箇所の特定および強調に要するパラメータがセットされたものとして説明する。

図４は、パラメータのセットの後、強調画像がモニタ３００に表示されるまでの処理の流れを示す模式図である。

ＲＧＢ３色の組合せで色を表現するデジタル画像データが表わすカラーの撮影画像Ｇ１は、分光推定処理部２０７での分光推定処理（ステップＳ１０１）に供される。

カラーの撮影画像Ｇ１には、互いに異なる波長に対応する複数の分光画像ＧＬ１，ＧＬ２，…，ＧＬｎが渾然となって含まれている。分光推定処理では、このカラーの撮影画像Ｇ１から、画像強調パラメータセット画面２２０でセットされた波長（ここでの例では「５４０ｎｍ」）の分光画像ＧＬｉが抽出される。

図５は、図４の分光推定処理（ステップＳ１０１）に供されたカラーの撮影画像Ｇ１を示す模式図であり、図６は、図５のカラーの撮影画像Ｇ１から抽出された分光画像ＧＬｉを示す模式図である。

図５には、ユーザによって強調（ここでの例では「＋２」の色彩強調）が所望されている発赤箇所Ａ１と、その発赤箇所Ａ１周辺の血管Ａ２が示されている。これら発赤箇所Ａ１や血管Ａ２にはヘモグロビンの集中があるので、「５４０ｎｍ」の波長の光は、これらの箇所において集中的に吸光される。そのため、この「５４０ｎｍ」の波長の分光画像ＧＬｉでは、図６においてハッチングで示すように、発赤箇所Ａ１、および、粘膜の表面に近く吸光が大きい血管Ａ２＿１は、他の箇所よりも暗い。

図４の分光推定処理（ステップＳ１０１）によって、このような分光画像ＧＬｉが得られると、次に、特定処理部２０８において以下に説明する領域特定処理が行われる（ステップＳ１０２）。

この領域特定処理（ステップＳ１０２）では、まず、画像強調パラメータセット画面２２０でセットされた閾値（ここでの例では「６４」）を境に、分光画像ＧＬｉを２値化する２値化処理が行われる。

図７は、２値化処理後の分光画像ＧＬｉを示す模式図である。

この図７に示すように、２値化処理によって、分光画像ＧＬｉ中では、ヘモグロビンによる吸光が多く暗く写っている発赤箇所Ａ１と一部の血管Ａ２＿１のみが映像として残り、他の部分は一律に均されている。

２値化処理が終了すると、図４の領域特定処理（ステップＳ１０２）では、２値化処理後の分光画像ＧＬｉ中で、画像強調パラメータセット画面２２０でセットされた形状（ここでの例では「円形」）に相当するテンプレートが使われ、周知技術であるテンプレートマッチングによる画像領域の特定が行われる。

図８は、テンプレートマッチングにより画像領域が特定された様子を示す模式図である。

図８に示すように、領域特定処理（ステップＳ１０２）では、２値化処理後で、不要部が除かれた分光画像ＧＬｉ中の各所に対して、円形に対してある程度以上の合致が得られるまでテンプレートマッチングが行われる。通常、病巣における発赤箇所は円形を呈していることが多く、この図８に示すように、発赤箇所Ａ１がある程度以上に円形に合致することとなる。尚、本実施形態では、「円形」という言葉が、真円だけでなく楕円や長円等も含む広義の意味で使われている。そして、このテンプレートマッチングにより、ある程度以上の合致が得られたときの、その合致した円形の領域Ａ３が、領域特定処理（ステップＳ１０２）での処理結果の画像領域である。そして、図４に示すように、この円形の領域Ａ３の場所等を表わすマスク情報Ｊ１が生成され、図１の特定処理部２０８から第２画像処理部２０６に渡される。

第２画像処理部２０６では、図４に示すように、カラーの撮影画像Ｇ１中で、マスク情報Ｊ１が表わす場所等に相当する円形の領域Ａ４の画像部分に、画像強調パラメータセット画面２２０でセットされた強調処理（ここでの例では「＋２」の色彩強調）が施される（ステップＳ１０３）。その結果、この円形の領域Ａ４の画像部分が強調された強調画像Ｇ２が得られる。この強調画像Ｇ２は、表示制御部２０９によってモニタ３００に表示される。

図９は、強調画像の一例を示す模式図である。

この図９には、カラーの撮影画像Ｇ１において、マスク情報Ｊ１が場所等を表わす円形の領域Ａ４内の画像部分に色彩強調が施された強調画像Ｇ２が、強調部分にハッチングが施された状態で示されている。尚、この図９では、図を分かりやすくするために、本来は表示されない円形の領域Ａ４が点線で示されている。

この強調画像Ｇ２によれば、発赤箇所が、周囲よりも色彩を強調されて表示されるため、医師は、この強調画像Ｇ２中で発赤箇所を目視で容易に把握することができる。また、周囲の他の箇所は、元のままのカラーの像として写っているのでそれら他の箇所と発赤箇所との位置関係を容易に把握することができる。さらに、この強調画像Ｇ２では、発赤箇所が強調されているので、色の特徴が発赤箇所と似通っていて、元々のカラーの撮影画像Ｇ１等では発赤箇所とまぎらわしい見え方をする別部位についても発赤箇所との区別が容易である。

以上、説明したように、本実施形態の内視鏡システム１０によれば、撮影画像に、病巣等といった発見すべき箇所の目視による把握を容易なものとする画像処理を施すことができる。

尚、上記では、本発明にいうカラーの撮影画像として、白色光による照明下での１回の撮影によって得られたカラーの撮影画像を例示したが、本発明はこれに限るものではなく、本発明にいうカラーの撮影画像は、互いに波長が異なる複数種類の単色光それぞれの照明下での複数回の撮影によって得られた複数のモノクロの撮影画像を合成して得られたものであっても良い。

また、上記では、本発明にいう領域特定部の一例として、カラーの撮影画像に対してスペクトル解析を行なうことで、ユーザからセットされた波長に対応する分光画像を得る分光推定部２０７を有するもの例示したが、本発明はこれに限るものではない。本発明の領域特定部は、カラーの撮影画像が上記のように複数のモノクロの撮影画像を合成して得られたものである場合に、それら複数のモノクロの撮影画像のうち、ユーザからセットされた波長の単色光の下で得られた撮影画像を分光画像として得るものであっても良い。

また、上記では、本発明にいう領域特定部の一例として、ユーザからセットされた波長に対応した分光画像をユーザからセットされた閾値で２値化処理を施し、その２値化処理後の分光画像中で、ユーザからセットされた形状に合致する画像領域を特定する特定処理部２０８を有するものを例示したが、本発明はこれに限るものではない。本発明の領域特定部は、２値化処理を省略して画像領域を特定するものであっても良く、あるいは、閾値に対する比較のみで画像領域を特定するものであっても良い。

また、上記では、本発明にいう強調処理の一例として、シャープネス強調、コントラスト強調、および色彩強調という３種類の強調処理を例示したが、本発明はこれらに限るものではなく、本発明にいう強調処理は、例えばハイパートーン処理等といった上記の３種類以外の強調処理であっても良い。

また、上記では、特定される画像領域の一例として、病巣等といった発見すべき箇所の像が写っている画像領域を例示し、特定された画像領域に施す画像処理の一例として、その画像領域を強調する強調処理を例示したが、本発明はこれに限るものではなく、特定される画像領域は、病巣等の発見に邪魔な箇所の像が写っている画像領域であっても良く、画像処理は、そのように特定された画像領域を反強調する処理であっても良い。

また、上記では、本発明にいうカラーの撮影画像の一例として、カラーの静止画を例示したが、本発明はこれに限るものではなく、本発明にいうカラーの撮影画像は、カラーの動画であっても良い。

以上で本発明の一実施形態の内視鏡システムについての説明を終了し、以下、他の３種類の内視鏡システムについて説明する。尚、以下では、これら３種類の内視鏡システムを、それぞれ第２の内視鏡システム、第３の内視鏡システム、第４の内視鏡システムと呼ぶ。

まず、第２の内視鏡システムについて説明する。

例えば、上述の特許文献２に記載の技術では、内視鏡システムで得られた撮影画像にスペクトル解析を施し、所望の分光画像を抽出するという処理が行われるが、どの分光画像を抽出するかは、ユーザ操作による波長の指定によって決められる。

ところで、内視鏡システムでの撮影は、撮影対象の部位に、病巣に多く見られる凹凸等を強調するための色素を散布して行われることがある。そして、このような色素の散布下で得られたカラーの撮影画像に対して、上述の特許文献２に記載の技術を利用すれば、カラーの撮影画像から、散布された色素に対応した波長の分光画像を抽出するという画像処理を行うことができる。このように抽出された分光画像では、色素の散布箇所が周辺よりも強調されて写っていることから、病巣の凹凸等を把握しやすい。

しかしながら、この特許文献２に記載の技術には、色素に応じた波長を知らないと、そもそも画像処理を行うことができないといった問題がある。後述する第２の内視鏡システムは、このような問題を解決し、カラーの撮影画像から病巣の凹凸等を把握しやすい画像を得る画像処理を簡単に行うことができる画像処理装置を搭載したものである。

図１０は、第２の内視鏡システムを示す図である。

尚、この図１０では、図１に示す内視鏡システム１０の構成要素と同等な構成要素については、図１と同じ符号が付されており、以下では、これらの構成要素については重複説明を省略する。

この図１０に示す第２の内視鏡システム２０は、上述した強調表示機能に替えて、散布された色素に対応した波長の分光画像を取り出し、その分光画像に基づいて後述の擬似カラー画像を生成して表示する擬似カラー表示機能を有している点が、図１に示す内視鏡システム１０と異なっている。以下、この擬似カラー表示機能に注目して説明を行う。

図１０の第２の内視鏡システム２０のプロセッサ４００は、モニタ３００に表示する画像を、基本表示機能で表示されるカラーの撮影画像（通常画像）と、擬似カラー表示機能で表示される擬似カラー画像との間で切り替えるユーザからの切替操作を受け付ける切替ボタン４０２と、スコープ１００からデジタル画像データを取得して、切替操作に応じたプロセッサ側ＣＰＵ４０１の制御により、そのデジタル画像データを、基本表示機能と擬似カラー表示機能との何れかに供する切替回路４０３とを備えている。

さらに、プロセッサ４００は、カラーの撮影画像に対してスペクトル解析を行なうことで、この撮影画像から後述の指定操作に応じた１つ以上３つ以下の分光画像を得る分光推定処理を行う分光推定処理部４０４と、その分光推定処理部４０４で得られた分光画像それぞれに、ＲＧＢ３色のうちのいずれかの色を後述の割当ルールに従って割り当てることで、それらの色が割り当てられた分光画像からなる擬似カラー画像を得る擬似カラー画像生成部４０５とを備えている。擬似カラー画像生成部４０５で生成された擬似カラー画像は、表示制御部２０９によってモニタ３００に表示される。

以下、切替ボタン４０２の操作により、モニタ３００への表示を通常画像の表示から擬似カラー画像の表示に切り替えるように指示されてから、モニタ３００に実際に擬似カラー画像が表示されるまでの一連の処理について説明する。

ここで、以下の実施例では、カラー静止画に対する処理について説明するが、ここでの画像処理は動画に対しても適用可能であり、静止画に限定されるものではない。

モニタ３００に通常の動画が表示されている状態で切替ボタン４０２が押され、その時点で静止画が撮影された後、あるいは、モニタ３００に静止画が表示されている状態で切替ボタン４０２が押された後に、モニタ３００に、散布された色素の色素名称をセットするための色素名称セット画面が表示される。

図１１は、色素名称セット画面を示す図である。

この図１１に示す色素名称セット画面４１０では、所定の複数の色素名称の中から、所望の色素名称を第１名称から第３名称まで３つセットすることが可能であり、この色素名称セット画面４１０には、第１名称セット部４１１、第２名称セット部４１２、および第３名称セット部４１３が備えられている。各名称セット部４１１，４１２，４１３のメニューボタン４１１ａ，４１２ａ，４１３ａがクリックされると、セット可能な色素名称が列記されたプルダウンメニューが表示され、ユーザが、所望の色素名称にカーソルを合せるとその色素名称がセットされる。セットされた色素名称は表示部４１１ｂ，４１２ｂ，４１３ｂに表示される。また、色素名称セット画面４１０には、色素名称のセット内容を承認するための決定ボタン４１４が備えられている。色素名称のセット終了後に、この決定ボタン４１４がクリック操作されると、分光推定処理部４０４および擬似カラー画像生成部４０５における処理が開始される。

次に、これら分光推定処理部４０４および擬似カラー画像生成部４０５における処理の流れについて説明する。

図１２は、色素名称のセットの後、擬似カラー画像がモニタ３００に表示されるまでの処理の流れを示す模式図である。

この第２の内視鏡システム２０では、図１０のメモリ２１０内に、色素名称セット画面４１０でセット可能な複数種類の色素名称と、各名称の色素の吸光特性において吸光のピークが現れる波長とが互いに一対一に対応付けられた対応表が記憶されている。以下に、色素名称と波長との組合せの一例を示す。

インジコカルミンという色素名称には６１２ｎｍという波長が対応付けられ、メチレンブルーという色素名称には６６０ｎｍという波長が対応付けられ、エバンスブルーという色素名称には６２０ｎｍという波長が対応付けられ、クリスタルバイオレットという色素名称には５９０ｎｍという波長が対応付けられている。

色素名称セット画面４１０で１つ以上３つ以下の色素名称がセットされると、まず、セットされた色素名称に対応付けられている波長が、プロセッサ側ＣＰＵ４０１によってメモリ２１０から読み出され、分光推定処理部２０７および擬似カラー画像生成部４０５に伝えられる（ステップＳ２０１）。

次に、ＲＧＢ３色の組合せで色を表現するデジタル画像データが表わすカラーの撮影画像Ｇ１が、分光推定処理部２０７での分光推定処理（ステップＳ２０２）に供される。分光推定処理では、互いに波長が異なる複数の分光画像ＧＬ１，ＧＬ２，…，ＧＬｎが渾然となって含まれているカラーの撮影画像Ｇ１から、ステップＳ２０１でプロセッサ側ＣＰＵ４０１から分光推定処理部２０７に伝えられた波長（ここでの例では２種類の波長）の分光画像ＧＬｉ，ＧＬｊが抽出される。

そして、擬似カラー画像生成部４０５において、抽出された分光画像ＧＬｉ，ＧＬｊに、ＲＧＢ３色のうちのいずれかの色が後述の割当ルールに従って割り当てられ、それら色が割り当てられた分光画像からなる擬似カラー画像Ｇ３が生成される（ステップＳ２０３）。ここで、ステップＳ２０３の処理では、色素名称セット画面４１０の第１名称セット部４１１でセットされた色素名称に対応する波長の分光画像にはＲ色が割り当てられ、第２名称セット部４１２でセットされた色素名称に対応する波長の分光画像にはＧ色が割り当てられ、第３名称セット部４１３でセットされた色素名称に対応する波長の分光画像にはＢ色が割り当てられる。

このステップＳ２０３の処理で生成された擬似カラー画像Ｇ３が、表示制御部２０９によってモニタ３００に表示される。

図１３は、突起状の病巣に色素が散布された状態を写したカラーの撮影画像Ｇ１の一例を示す図であり、図１４は、図１３のカラーの撮影画像Ｇ１から生成された擬似カラー画像Ｇ３の一例を示す図である。

図１４の擬似カラー画像Ｇ３では、図１３のカラーの撮影画像Ｇ１から、色素の分布以外の不要な情報が捨象され、その色素の分布状態が単純化されて捉えられている。即ち、窪み等で色素が多く付着している部分がＲＧＢいずれかの色で濃く表示され、突起等で色素の付着が少ない部分が薄く表示されていて、突起状の病巣の凹凸の状況が把握しやすくなっている。

以上、説明した第２の内視鏡システム２０によれば、カラーの撮影画像から病巣の凹凸等を把握しやすい画像を得るに当たり、ユーザが必ず把握している散布した色素の名称をセットするだけで足りる。つまり、この第２の内視鏡システム２０によれば、カラーの撮影画像から病巣の凹凸等を把握しやすい画像を得る画像処理を簡単に行うことができる。

尚、上記では、カラーの撮影画像として、白色光による照明下での１回の撮影によって得られたカラーの撮影画像を例示したがこれに限るものではなく、このカラーの撮影画像は、互いに波長が異なる複数種類の単色光それぞれの照明下での複数回の撮影によって得られた複数のモノクロの撮影画像を合成して得られたものであっても良い。

また、上記では、カラーの撮影画像に対してスペクトル解析を行なって、カラーの撮影画像に含まれる複数の分光画像を得る分光推定部５０２を例示したが、複数の分光画像の取得方法はこれに限るものではない。この取得方法は、カラーの撮影画像が上記のように複数のモノクロの撮影画像を合成して得られたものである場合に、それら複数のモノクロの撮影画像のうち、ユーザからセットされた波長の単色光の下で得られた撮影画像を分光画像として得るものであっても良い。

また、上記では、色素名称の設定数が１つ以上３つ以下となっている例を示したが、色素名称の設定数はこれに限るものではなく、例えば、１つ以上２つ以下、あるいは１つ以上４つ以下というように、上限数が３つ以外の数であっても良い。

また、上記では、分光画像に、ＲＧＢ３色のうちのいずれかの色を割り当てる例を示したが、分光画像に割り当てる色は、これに限るものではなく、例えばＣ（シアン）、Ｍ（マゼンタ）、Ｇ（グリーン）３色のうちのいずれかの色というように、ＲＧＢ以外の色であっても良い。

また、上記では、画像処理の対象として、カラーの静止画を例示したが、画像処理の対象はこれに限るものではなく、カラーの動画であっても良い。

以上に説明した第２の内視鏡システム２０では、プロセッサ４００が、カラーの撮影画像から病巣の凹凸等を把握しやすい画像を得る画像処理を簡単に行うことができる画像処理装置の一実施形態に相当し、概念的に言えば、
「被写体を撮影して得られたカラーの撮影画像を取得するカラー画像取得部と、
光のスペクトル成分の指定を１つ以上受ける成分指定部と、
上記カラー画像取得部で取得された撮影画像から上記成分指定部で指定された１つ以上のスペクトル成分の成分画像を得る成分画像取得部と、
上記成分画像取得部で取得された１つ以上のスペクトル成分の成分画像それぞれに、複数の基準色の組合せで色を表示する表示装置におけるその複数の基準色のうちのいずれかの基準色を所定の割当ルールに従って割り当てることで、その基準色が割り当てられた１つ以上のスペクトル成分の成分画像からなる擬似カラーの撮影画像を得る擬似カラー画像生成部とを備えた」画像処理装置となっている。

ここで、プロセッサ４００は、
「上記カラー画像取得部が、１回の撮影で得られたカラーの撮影画像を取得するものであり、
上記成分画像取得部が、上記撮影画像に対してスペクトル解析を行なうことで、上記成分指定部で指定された１つ以上のスペクトル成分の成分画像を得るものである」という概念も満たした装置である。

また、プロセッサ４００は、
「光のスペクトル成分を示す成分指標であって、互いに異なるスペクトル成分を示す複数の成分指標と、所定の選択操作によって１つが選択される複数の選択項目とが、互いに一対一に対応付けられた対応表を記憶する対応記憶部と、
上記選択操作を受け付けて、その選択操作よって選択された選択項目に、上記対応表で対応付けられている成分指標が示すスペクトル成分を上記成分指定部に指定する操作受付部とを備えたものである」という概念も満たした装置である。

さらに、プロセッサ４００は、
「上記対応記憶部が、上記複数の成分指標と、上記被写体を着色するための色素を示す色素名称であって、互い異なる色素を示す複数の色素名称とが、互いに一対一に対応付けられた対応表を記憶するものである」という概念も満たしている。

また、上記の第２の内視鏡システム２０は、概念的に言えば、
「光を発する光源；
被写体を撮影してカラーの撮影画像を得る撮像機を備えた光プローブ；
前記撮像機で得られたカラーの撮影画像を取得するカラー画像取得部と、
光のスペクトル成分の指定を１つ以上受ける成分指定部と、
上記カラー画像取得部で取得された撮影画像から上記成分指定部で指定された１つ以上のスペクトル成分の成分画像を得る成分画像取得部と、
上記成分画像取得部で取得された１つ以上のスペクトル成分の成分画像それぞれに、複数の基準色の組合せで色を表示する表示装置におけるその複数の基準色のうちのいずれかの基準色を所定の割当ルールに従って割り当てることで、その基準色が割り当てられた１つ以上のスペクトル成分の成分画像からなる擬似カラーの撮影画像を得る擬似カラー画像生成部とを備えた画像処理装置；および
上記画像処理装置で画像処理が施された撮影画像を表示する表示装置を備えた」内視鏡システムとなっている。

尚、上記の第２の内視鏡システム２０は、上記のプロセッサ４００が満たしている各概念を満たしたシステムであることはいうまでもない。

次に、第３の内視鏡システムについて説明する。

この第３の内視鏡システムは、図１に示す内視鏡システム１０において実現された、内視鏡システムで得られる撮影画像に、所望の箇所の目視による把握を容易なものとする画像処理を施すという目的を、この図１に示す内視鏡システム１０とは異なる方法で達成したものである。

図１５は、第３の内視鏡システムを示す図である。

尚、この図１５では、図１に示す内視鏡システム１０の構成要素と同等な構成要素については、図１と同じ符号が付されており、以下では、これらの構成要素については重複説明を省略する。

この図１５に示す第３の内視鏡システム２０は、図１に示す内視鏡システム１０が有する強調表示機能とは異なる強調表示機能を有している点が、図１に示す内視鏡システム１０と異なっている。以下、この第３の内視鏡システム２０の強調表示機能に注目して説明を行う。

図１５の第３の内視鏡システム３０のプロセッサ５００は、カラーの撮影画像に対してスペクトル解析を行なうことで、この撮影画像に含まれる複数の分光画像を、所定範囲の波長域に亘って満遍なく得る分光推定処理を行う分光推定処理部５０２を備えている。また、プロセッサ５００は、その分光推定処理部５０２で得られた複数の分光画像から、後述の指定操作に応じた１つの分光画像を抽出し、その分光画像に強調処理を施し、その処理後の分光画像と他の分光画像とを合成する第２画像処理部５０３を備えている。この第２画像処理部５０３での処理によって、カラーの撮影画像に含まれる所望のスペクトル成分が強調された強調画像が得られる。この強調画像が、表示制御部２０９によってモニタ３００に表示される。

モニタ３００に通常の動画が表示されている状態で切替ボタン２０３が押され、その時点で静止画が撮影された後、あるいは、モニタ３００に静止画が表示されている状態で切替ボタン２０３が押された後に、モニタ３００に、その静止画に対する強調処理における各種パラメータをセットするための画像強調パラメータセット画面がモニタ３００に表示される。尚、この第３の内視鏡システム３０にも、図１の内視鏡システム１０と同様に、強調処理における各種パラメータをオートでセットするパラメータ・オートセットモードと、各種パラメータを個々にマニュアルでセットするパラメータ・マニュアルセットモードとが用意されている。

図１６は、画像強調パラメータセット画面を示す図である。

この図１６の画像強調パラメータセット画面５１０には、パラメータ・オートセットモードを有効とし、パラメータ・マニュアルセットモードを無効とする第１ラジオボタン５１１と、逆に、パラメータ・マニュアルセットモードを有効とし、パラメータ・オートセットモードを無効とする第２ラジオボタン５１２とが備えられている。

このパラメータ・マニュアルセットモードでは、カラーの撮影画像に含まれる複数の分光画像の中から抽出すべき分光画像に対応する波長と、その分光画像に施す３種類の強調処理それぞれにおける強調の程度とがセットされる。尚、この図１６の画像強調パラメータセット画面５１０によるパラメータ・マニュアルセットモードでは、図２の画像強調パラメータセット画面２２０でのパラメータ・マニュアルセットモードとは異なり、強調の程度以外でセットされるのは波長のみである。

図１６の画像強調パラメータセット画面５１０には、波長セット部５１３が備えられており、ユーザは、波長セット部５１３における増減ボタン５１３ａを不図示のマウスでクリックしたり、あるいは、表示部５１３ｂに不図示のキーボードにより直接数値を入力したりすることで、所望の波長をセットすることができる。

また、この画像強調パラメータセット画面５１０には、シャープネス強調の程度を設定するシャープネス強調設定部５１４と、コントラスト強調の程度を設定するコントラスト強調設定部５１５と、色彩強調の程度を設定する色彩強調設定部５１６とが備えられている。シャープネス強調の程度は、シャープネス強調設定部５１４の増減ボタン５１４ａに対するクリック操作や表示部５１４ｂに対するキーボード入力によって「０」以上の値でセットされる。同様に、コントラスト強調の程度は、コントラスト強調設定部５１５の増減ボタン５１５ａに対するクリック操作や表示部５１５ｂに対するキーボード入力によってセットされ、色彩強調の程度は、色彩強調設定部５１６の増減ボタン５１６ａに対するクリック操作や表示部５１６ｂに対するキーボード入力によってセットされる。ここで、「０」の値がセットされた場合には、その強調処理は実行されないことになる。図１６は、色彩強調のみが実行される例である。

次に、パラメータ・オートセットモードについて説明する。

この第３の内視鏡システム３０では、発赤箇所、色素名称（例えばインジコカルミン等）、血管等といった、複数種類の強調候補の名称に、各候補に対応する波長の分光画像の取出しおよびその分光画像の強調に要するパラメータが一対一に対応付けられた対応表が、図１５のメモリ２１０に記憶されている。

図１６に示す画像強調パラメータセット画面５１０には、パラメータ・オートセットモードにおいて発赤箇所等といった強調候補の名称がセットされる名称セット部５１７が備えられている。この名称セット部５１７のメニューボタン５１７ａがクリックされると、セット可能な強調候補の名称が列記されたプルダウンメニューが表示され、ユーザが、所望の名称にカーソルを合せるとその名称がセットされる。セットされた名称は表示部５１７ｂに表示される。そして、この名称セット部５１７で強調候補の名称がセットされると、その名称に対応付けられている各パラメータが、図１５のプロセッサ側ＣＰＵ５０１によってメモリ２１０から読み出される。

また、図１６の画像強調パラメータセット画面５１０には、パラメータ・マニュアルセットモード、あるいはパラメータ・オートセットモードによるセット内容を承認するための決定ボタン５１８が備えられている。パラメータのセット終了後に、この決定ボタン５１８がクリック操作されると、セットされたパラメータを用いた処理が、図１５の分光推定処理部５０２および特定処理部５０４において開始される。

図１７は、パラメータのセットの後、強調画像がモニタ３００に表示されるまでの処理の流れを示す模式図である。

ＲＧＢ３色の組合せで色を表現するデジタル画像データが表わすカラーの撮影画像Ｇ１は、分光推定処理部５０２での分光推定処理（ステップＳ３０１）に供される。分光推定処理では、互いに波長が異なる複数の分光画像が渾然となって含まれているカラーの撮影画像Ｇ１から、所定範囲の波長域に亘る互いに波長が異なる複数の分光画像ＧＬ１，ＧＬ２，…，ＧＬｎが満遍なく得られる。これら複数の分光画像ＧＬ１，ＧＬ２，…，ＧＬｎ全てが、分光推定処理部５０２から第２画像処理部５０３に渡される。

次に、第２画像処理部５０３において、それら複数の分光画像ＧＬ１，ＧＬ２，…，ＧＬｎの中から、図１６の画像強調パラメータセット画面５１０でセットされた波長の分光画像ＧＬｉが取り出され、その分光画像ＧＬｉに対して、画像強調パラメータセット画面５１０でセットされた強調処理が施される（ステップＳ３０２）。さらに、その強調処理後の分光画像ＧＬｉ’と、他の分光画像ＧＬ１，…，ＧＬｉ−１，ＧＬｉ＋１，…，ＧＬｎのとを合成する積分処理が行われる（ステップＳ３０３）。

以下、この積分処理について説明する。

この積分処理では、最終的に、強調処理後の分光画像を含めた全ての分光画像ＧＬ１，…，ＧＬｉ−１，ＧＬｉ’，ＧＬｉ＋１，…，ＧＬｎが合成されてなる強調画像Ｇ４を表わす、ＲＧＢ３色で色が表現されたデジタル画像データが得られる。

ここで、積分処理では、まず、強調処理後の分光画像を含めた全ての分光画像ＧＬ１，…，ＧＬｉ−１，ＧＬｉ’，ＧＬｉ＋１，…，ＧＬｎにおいて、相互に位置が対応する画素の成分値に基づいて、強調画像Ｇ４における各画素の分光特性が取得される。

図１８は、強調画像Ｇ４における各画素の分光特性が取得される様子を示す模式図である。

この図１８には、左側に模式的に示す強調処理後の分光画像を含めた全ての分光画像ＧＬ１，…，ＧＬｉ−１，ＧＬｉ’，ＧＬｉ＋１，…，ＧＬｎから、強調画像Ｇ４におけるある座標（ｘ，ｙ）の画素の分光特性Ｓが取得される様子が示されている。

座標（ｘ，ｙ）の画素の分光特性Ｓは、各分光画像の座標（ｘ，ｙ）の画素の画素値を、各分光画像に対応する波長に対応付けてプロットすることで得られる。

図１８に示す分光特性Ｓが得られると、次に、その分光特性Ｓと、図１５の第３の内視鏡システム３０のスコープ１００が備えているＣＣＤ１２０における分光感度特性とに基づいて、強調画像Ｇ４の各画素の画素値（Ｒ，Ｇ，Ｂ）が算出される。

図１９は、ＣＣＤ１２０における分光感度特性を示す図である。

ＣＣＤ１２０は、色をＲＧＢ３色で表現するために、ＲＧＢそれぞれの画素値を出力する複数の受光素子を有している。図１９に示す３つの曲線は、それぞれＣＣＤ１２０のＲ色の受光素子の分光感度特性Ｌｒ、Ｇ色の受光素子の分光感度特性Ｌｇ、Ｂ色の受光素子の分光感度特性Ｌｂを示している。これらの分光感度特性は、製造メーカにおいて、図１５のメモリ２１０に予め記憶されている。

図２０は、強調画像Ｇ４における各画素の分光特性Ｓと、受光素子の分光感度特性とから、各画素の画素値（Ｒ，Ｇ，Ｂ）が算出される様子を示す模式図である。

この図２０には、画素値（Ｒ，Ｇ，Ｂ）の算出の一例として、ある座標（ｘ，ｙ）の画素の画素値のうちＢ値が算出される様子が示されている。

このＢ値は、その座標（ｘ，ｙ）の画素についての分光特性ＳとＢ色の受光素子の分光感度特性Ｌｂとの積についての積分計算を行うことで算出される。ここで、画素についての分光特性Ｓには、図１７のステップＳ３０２の強調処理が反映されている。このため、このＢ値は、元のカラーの撮影画像Ｇ１におけるその座標（ｘ，ｙ）の画素におけるＢ値とは異なり、図１６の画像強調パラメータセット画面５１０でセットされた波長についてのスペクトル成分が強調された値となっている。Ｒ値とＧ値についての同様の積分計算が行われることで、この座標（ｘ，ｙ）の画素における画素値（Ｒ，Ｇ，Ｂ）が求められる。

図１７のステップＳ３０３の積分処理では、図１８から図２０までを参照して説明した積分計算が、全ての画素について行われ、強調画像Ｇ４を表わすデジタル画像データが求められる。そして、この積分処理で求められたデジタル画像データが表わす強調画像Ｇ４が、表示制御部２０９によってモニタ３００に表示される。この強調画像Ｇ４によれば、例えば発赤箇所等といった発見すべき箇所に対応した波長のスペクトル成分が色彩等を強調されて表示される。その結果、その所望の箇所が周囲よりも強調されることになるので、医師は、この強調画像Ｇ４中で発見すべき箇所を目視で容易に把握することができる。

以上、説明したように、図１５に示す第３の内視鏡システム３０によれば、撮影画像に、発見すべき箇所の目視による把握を容易なものとする画像処理を施すことができる。

また、上記では、強調処理の一例として、シャープネス強調、コントラスト強調、および色彩強調という３種類の強調処理を例示したがこれらに限るものではなく、強調処理は、例えばハイパートーン処理等といった上記の３種類以外の強調処理であっても良い。

以上に説明した第３の内視鏡システム３０では、プロセッサ５００が、所望の箇所の目視による把握を容易なものとする画像処理を施すことができる画像処理装置の一実施形態に相当し、概念的に言えば、
「被写体を撮影して得られたカラーの撮影画像を取得するカラー画像取得部と、
光のスペクトル成分の指定を受ける成分指定部と、
上記カラー画像取得部で取得された撮影画像から上記成分指定部で指定されたスペクトル成分の成分画像を強調しあるいは反強調する画像処理を施す強調処理部とを備えた」画像処理装置となっている。

ここで、プロセッサ５００は、
「上記カラー画像取得部が、１回の撮影で得られたカラーの撮影画像を取得するものであり、
上記強調処理部が、上記撮影画像に対してスペクトル解析を行なうことで、上記成分指定部で指定された１つ以上のスペクトル成分の成分画像を抽出するものである」という概念も満たした装置である。

また、プロセッサ５００は、
「光のスペクトル成分を示す成分指標であって、互いに異なるスペクトル成分を示す複数の成分指標と、所定の選択操作によって１つが選択される複数の選択項目とが、互いに一対一に対応付けられた対応表を記憶する対応記憶部と、
前記選択操作を受け付けて、該選択操作よって選択された選択項目に、前記対応表で対応付けられている成分指標が示すスペクトル成分を前記成分指定部に指定する操作受付部とを備えたものである」という概念も満たした装置である。

また、上記の第３の内視鏡システム３０は、概念的に言えば、
「光を発する光源；
被写体を撮影してカラーの撮影画像を得る撮像機を備えた光プローブ；
前記撮像機で得られたカラーの撮影画像を取得するカラー画像取得部と、
光のスペクトル成分の指定を受ける成分指定部と、
上記カラー画像取得部で取得された撮影画像から上記成分指定部で指定されたスペクトル成分の成分画像を強調しあるいは反強調する画像処理を施す強調処理部とを備えた画像処理装置；および
上記画像処理装置で画像処理が施された撮影画像を表示する表示装置を備えた」内視鏡システムとなっている。

尚、上記の第３の内視鏡システム３０は、上記のプロセッサ５００が満たしている各概念を満たしたシステムであることはいうまでもない。

次に、第４の内視鏡システムについて説明する。

しかしながら、経験が浅いユーザにとっては、どのような波長を指定すれば診断に適した画像が得られるか分からない場合もあり、この特許文献２に記載の技術には、そのような場合には波長の指定を行うことができす、そもそも画像処理を行うことができないといった問題がある。以下に説明する第４の内視鏡システムは、このような問題を解決し、経験の浅いユーザでも、カラーの撮影画像から診断に適した画像を得る画像処理を簡単に行うことができる画像処理装置を搭載したものである。

図２１は、第４の内視鏡システムを示す図である。

尚、この図２１では、図１に示す内視鏡システム１０の構成要素と同等な構成要素については、図１と同じ符号が付されており、以下では、これらの構成要素については重複説明を省略する。

この図２１に示す第４の内視鏡システム４０は、図１の内視鏡システム１０における強調表示機能に替えて、カラーの撮影画像中の各画素について光のスペクトルにおけるピークを検出し、各画素の色がその検出されたピークに対応する色に置換されたピークカラー画像を生成して表示するピークカラー表示機能を有している点が、図１に示す内視鏡システム１０と異なっている。以下、このピークカラー表示機能に注目して説明を行う。

図２１の第２の内視鏡システム２０のプロセッサ６００は、モニタ３００に表示する画像を、基本表示機能で表示されるカラーの撮影画像（通常画像）と、ピークカラー表示機能で表示されるピークカラー画像との間で切り替えるユーザからの切替操作を受け付ける切替ボタン６０２と、スコープ１００からデジタル画像データを取得して、切替操作に応じたプロセッサ側ＣＰＵ６０１の制御により、そのデジタル画像データを、基本表示機能とピークカラー表示機能との何れかに供する切替回路６０３とを備えている。

さらに、プロセッサ６００は、カラーの撮影画像に対してスペクトル解析を行なうことで、この撮影画像に含まれる複数の分光画像を、所定範囲の波長域に亘って満遍なく得る分光推定処理を行う分光推定処理部６０４を備えている。また、プロセッサ６００は、複数の分光画像間で相互に位置が対応する画素の成分値に基づいて、カラーの撮影画像における各画素の分光特性を取得し、各画素の分光特性中のピークを検出するピーク波長検出部６０５と、カラーの撮影画像における各画素の色をピーク波長検出部６０５で検出されたピークに対応した色に置換してピークカラー画像を得るピークカラー画像生成部６０６とを備えている。ピークカラー画像生成部４０５で生成されたピークカラー画像は、表示制御部２０９によってモニタ３００に表示される。

以下、切替ボタン６０２の操作により、モニタ３００への表示を通常画像の表示からピークカラー画像の表示に切り替えるように指示されてから、モニタ３００に実際に擬似カラー画像が表示されるまでの一連の処理について説明する。

モニタ３００に通常の動画が表示されている状態で切替ボタン６０２が押され、その時点で静止画が撮影された後、あるいは、モニタ３００に静止画が表示されている状態で切替ボタン６０２が押された後に、以下に説明する処理が開始される。

図２２は、切替ボタン６０２の操作の後、ピークカラー画像がモニタ３００に表示されるまでの処理の流れを示す模式図である。

ＲＧＢ３色の組合せで色を表現するデジタル画像データが表わすカラーの撮影画像Ｇ１は、分光推定処理部６０４での分光推定処理（ステップＳ４０１）に供される。分光推定処理では、互いに波長が異なる複数の分光画像が渾然となって含まれているカラーの撮影画像Ｇ１から、所定範囲の波長域に亘る互いに波長が異なる複数の分光画像ＧＬ１，ＧＬ２，…，ＧＬｎが満遍なく得られる。これら複数の分光画像ＧＬ１，ＧＬ２，…，ＧＬｎ全てが、分光推定処理部６０４からピーク波長検出部６０５に渡される。

ピーク波長検出部６０５では、複数の分光画像ＧＬ１，ＧＬ２，…，ＧＬｎ間で相互に位置が対応する画素の成分値に基づいて、カラーの撮影画像Ｇ１における各画素の光のスペクトルを取得し、各画素のスペクトル中でピークを示す波長（ピーク波長）が検出される（ステップＳ４０２）。ピーク波長検出部６０５では、その検出に基づいて、カラーの撮影画像Ｇ１の各画素についてのピーク波長を示す波長情報Ｊ２が生成され、その波長情報Ｊ２がピークカラー画像生成部６０６に渡される。

ピークカラー画像生成部６０６では、波長情報Ｊ２が示す各画素のピーク波長が表わす色を表現するＲＧＢ３色の画素値が算出され、カラーの撮影画像Ｇ１の各画素のＲＧＢ３色の画素値が、その算出されたＲＧＢ３色の画素値に置換される（ステップＳ４０３）。この置換により、各画素の色がピーク波長が表わす色に置換されたピークカラー画像Ｇ５が生成され、このピークカラー画像Ｇ５が、表示制御部２０９によってモニタ３００に表示される。

例えば、カラーの撮影画像Ｇ１に発赤箇所が写っている場合、その発赤箇所の画素における分光特性は、発赤箇所に集中しているヘモグロビンの反射特性等が反映されたピークを有する。また、カラーの撮影画像Ｇ１に色素による着色箇所が写っている場合、その着色箇所の画素における光のスペクトルは、その色素の反射特性等が反映されたピークを有する。上記のピークカラー画像Ｇ５は、各画素の色が、その画素の光のスペクトルにおけるピーク波長の色であるので、発赤箇所や着色された病巣箇所等といった、診断等において発見されるべき箇所が強調されており診断に適した画像となっている。そして、図２１に示す第４の内視鏡システム４０では、この診断に適したピークカラー画像Ｇ５を得るに当たり、ユーザは、切替ボタン６０２を押すだけで足りるので、たとえ経験の浅いユーザであっても簡単にピークカラー画像Ｇ５を得ることができる。

以上、説明したように、図２１に示す第４の内視鏡システム４０によれば、経験の浅いユーザでも、カラーの撮影画像から診断に適した画像を得る画像処理を簡単に行うことができる。

以上に説明した第４の内視鏡システム４０では、プロセッサ６００が、カラーの撮影画像から診断に適した画像を得る画像処理を簡単に行うことができる画像処理装置の一実施形態に相当し、概念的に言えば、
「被写体を撮影して得られたカラーの撮影画像を取得するカラー画像取得部と、
上記カラー画像取得部で取得された撮影画像中の各画素について、光のスペクトルにおけるピークを検出する成分検出部と、
上記カラー画像取得部で取得された撮影画像中の各画素の色を、上記成分検出部で検出されたピークに対応する色に置換する色置換部とを備えた」画像処理装置となっている。

ここで、プロセッサ６００は、
「前記カラー画像取得部が、１回の撮影で得られたカラーの撮影画像を取得するものであり、
前記成分検出部が、前記撮影画像に対してスペクトル解析を行なうことで、該撮影画像中の各画素について、前記ピークを検出するものである」という概念も満たした装置である。

また、上記の第４の内視鏡システム４０は、概念的に言えば、
「光を発する光源；
被写体を撮影してカラーの撮影画像を得る撮像機を備えた光プローブ；
前記撮像機で得られたカラーの撮影画像を取得するカラー画像取得部と、
上記カラー画像取得部で取得された撮影画像中の各画素について、光のスペクトルにおけるピークを検出する成分検出部と、
上記カラー画像取得部で取得された撮影画像中の各画素の色を、上記成分検出部で検出されたピークに対応する色に置換する色置換部とを備えた画像処理装置；および
上記画像処理装置で画像処理が施された撮影画像を表示する表示装置を備えた」内視鏡システムとなっている。

尚、上記の第４の内視鏡システム４０は、上記のプロセッサ６００が満たしている各概念を満たしたシステムであることはいうまでもない。

１０内視鏡システム
２０第２の内視鏡システム
３０第３の内視鏡システム
４０第４の内視鏡システム
１００スコープ
１１０ライトガイド
１１１照明窓
１２０ＣＣＤ
１３０スコープ側ＣＰＵ
１４０ＣＣＤ駆動回路
１５０ＣＤＳ／ＡＧＣ回路
１６０Ａ／Ｄ変換回路
２００，４００，５００，６００プロセッサ
２０１光源
２０２，４０１，５０１，６０１プロセッサ側ＣＰＵ
２０３，４０２，６０２切替ボタン
２０４，４０３，６０３切替回路
２０５第１画像処理部
２０６，５０３第２画像処理部
２０７，４０４，５０２，６０４分光推定処理部
２０８特定処理部
２０９表示制御部
２１０メモリ
２２０，５１０画像強調パラメータセット画面
２２１，５１１第１ラジオボタン
２２２，５１２第２ラジオボタン
２２３，５１３波長セット部
２２３ａ，２２４ａ，２２６ａ，２２７ａ，２２８ａ，５１３ａ，５１４ａ，５１５ａ，５１６ａ増減ボタン
２２３ｂ，２２４ｂ，２２５ｂ，２２６ｂ，２２７ｂ，２２８ｂ，２２９ｂ，５１３ｂ，５１４ｂ，５１５ｂ，５１６ｂ，５１７ａ表示部
２２４閾値セット部
２２５形状セット部
２２５ａ，２２９ａ，５１７ａメニューボタン
２２６，５１４シャープネス強調設定部
２２７，５１５コントラスト強調設定部
２２８，５１６色彩強調設定部
２２９，５１７名称セット部
２３０，４１４，５１８決定ボタン
３００モニタ
４０５擬似カラー画像生成部
４１０色素名称セット画面
４１１第１名称セット部
４１１ａ，４１２ａ，４１３ａメニューボタン
４１１ｂ，４１２ｂ，４１３ｂ表示部
４１２第２名称セット部
４１３第３名称セット部
６０５ピーク波長検出部
６０６ピークカラー画像生成部

Claims

ＲＧＢ３色それぞれについて各所定の分光感度分布を持つ入力デバイスを用いての被写体の撮影により得られた、各画素の色がＲＧＢ３色の組合せで表現されたカラーの撮影画像を取得するカラー画像取得部と、
光の波長成分の指定を受ける成分指定部と、
前記カラー画像取得部で取得した撮影画像に、前記成分指定部で指定された波長成分を強調しあるいは反強調する画像処理を施す強調処理部とを備え、
前記強調処理部が、
前記撮影画像を、所定範囲の波長域に亘る、互いに波長が異なる複数の分光画像に分解し、
前記複数の分光画像の中から、前記成分指定部で指定を受けた波長成分を持つ指定波長分光画像を抽出し、
前記指定波長分光画像に強調あるいは反強調処理を施し、
前記複数の分光画像であって前記指定波長分光画像については前記強調あるいは反強調処理後の分光画像を用いて、該複数の分光画像の互いに対応する画素の画素値の集合により表現される分光分布を、ＲＧＢ３色それぞれについての前記分光感度分布で重み付けして積分することにより、各画素がＲＧＢ３色の画素値で表現された処理画像を生成するものであることを特徴とする画像処理装置。
光の波長成分を示す成分指標であって、互いに異なる波長成分を示す複数の成分指標と、所定の選択操作によって１つが選択される複数の選択項目とが、互いに一対一に対応付けられた対応表を記憶する対応記憶部と、
前記選択操作を受け付けて、該選択操作よって選択された選択項目に、前記対応表で対応付けられている成分指標が示す波長成分を前記成分指定部に指定する操作受付部とを備えたものであることを特徴とする請求項１記載の画像処理装置。
光を発する光源；
被写体を撮影してカラーの撮影画像を得る撮像機を備えた光プローブ；
ＲＧＢ３色それぞれについて各所定の分光感度分布を持つ入力デバイスを用いての被写体の撮影により得られた、各画素の色がＲＧＢ３色の組合せで表現されたカラーの撮影画像を取得するカラー画像取得部と、
光の波長成分の指定を受ける成分指定部と、
前記カラー画像取得部で取得した撮影画像に、前記成分指定部で指定された波長成分を強調しあるいは反強調する画像処理を施す強調処理部とを備え、
前記強調処理部が、
前記撮影画像を、所定範囲の波長域に亘る、互いに波長が異なる複数の分光画像に分解し、
前記複数の分光画像の中から、前記成分指定部で指定を受けた波長成分を持つ指定波長分光画像を抽出し、
前記指定波長分光画像に強調あるいは反強調処理を施し、
前記複数の分光画像であって前記指定波長分光画像については前記強調あるいは反強調処理後の分光画像を用いて、該複数の分光画像の互いに対応する画素の画素値の集合により表現される分光分布を、ＲＧＢ３色それぞれについての前記分光感度分布で重み付けして積分することにより、各画素がＲＧＢ３色の画素値で表現された処理画像を生成するものである画像処理装置；および
前記画像処理装置で画像処理が施された後の処理画像を表示する表示装置を備えたことを特徴とする内視鏡システム。