以下図面を参照して本発明の実施の形態を説明する。
図1は、本発明の一実施形態の内視鏡システムを示す図である。
この図1に示す内視鏡システム10は、被検体の内部に挿入されその内部の被写体を白色光で照らしてその照明下での1回の撮影でカラーの撮影画像を得るスコープ100と、スコープ100で得られたカラーの撮影画像に各種の画像処理等を施すプロセッサ200と、プロセッサ200における画像処理等を経たカラーの撮影画像を表示するモニタ300とを備えている。ここで、スコープ100は、本発明にいう光プローブの一例に相当し、モニタ300は、本発明にいう表示装置の一例に相当する。また、プロセッサ200は、本発明の画像処理装置の一実施形態に相当する。
スコープ100は、プロセッサ200に着脱自在に装着されるものであり、先端に照明窓111を有する光ファイバ製のライトガイド110と、被写体を撮影するCCD120を備えている。ライトガイド110は、プロセッサ200に搭載されている光源201から供給される照明用の光を被検体内部の被写体まで導いて照明窓111から照射し、CCD120は、その照射された光による照明下で、被写体で反射された光を受光することでその被写体のカラーの像を、R(レッド)、G(グリーン)、B(ブルー)の3色の組合せで色を表現して表わすアナログ画像データを生成する。光源201は、本発明にいう光源の一例に相当する。
スコープ100は、さらに、スコープ100内の各構成要素の動作を制御するスコープ側CPU130と、スコープ側CPU130の制御に基づきCCD120を駆動するCCD駆動回路140と、相関二重サンプリング(CDS)を行うとともに、アナログデータを適宜に増幅する自動利得制御(AGC)を行うCDS/AGC回路150と、アナログデータをデジタルデータに変換するA/D変換回路160とを備えている。CCD駆動回路140によって駆動されたCCD120で生成されたアナログ画像データは、CDSおよびAGCを経てA/D変換回路160に渡され、デジタル画像データに変換される。そして、そのデジタル画像データが、プロセッサ200に渡される。CCD120とスコープ側CPU130とCCD駆動回路140とCDS/AGC回路150とA/D変換回路160とを合せたものが、本発明にいう撮像機の一例に相当する。
ここで、スコープ100では、基本的には、動画の撮影が行われ、カラーの動画を表わすデジタル画像データが得られてプロセッサ200に渡される。そして、ユーザが、不図示の操作ボタン等を操作して静止画の撮影を指示すると、その時点での静止画が撮影され、カラーの静止画を表わすデジタル画像データが得られてプロセッサ200に渡される。
以下の実施例では、このカラー静止画に対する処理について説明するが、本発明の画像処理は動画に対しても適用可能であり、静止画に限定されるものではない。
プロセッサ200には、上記のライトガイド110に光を供給する光源201と、プロセッサ200の各構成要素の制御を行うプロセッサ側CPU202とが備えられている。
ここで、本実施形態では、プロセッサ200は、スコープ100から渡されたデジタル画像データが表わすカラーの撮影画像に、ガンマ補正や彩度補正等といった基本的な画像処理を施してモニタ300に表示する基本表示機能と、そのカラーの撮影画像に、基本的な画像処理に加えて、ユーザが後述するように指定した箇所を強調する強調処理を施してモニタ300に表示する機能との2つの強調表示機能とを有している。
プロセッサ200は、モニタ300に表示する画像を、基本表示機能で表示されるカラーの撮影画像(通常画像)と、強調表示機能で表示されるカラーの撮影画像(強調画像)との間で切り替えるユーザからの切替操作を受け付ける切替ボタン203と、スコープ100からデジタル画像データを取得して、切替操作に応じたプロセッサ側CPU202の制御により、そのデジタル画像データを、基本表示機能と強調表示機能との何れかに供する切替回路204とを備えている。この切替回路204は、本発明にいうカラー画像取得部の一例に相当する。
さらに、プロセッサ200は、基本表示機能における画像処理を行う第1画像処理部205と、強調表示機能における画像処理および強調処理を行う第2画像処理部206とを備えている。また、プロセッサ200は、強調表示機能による表示を実行する場合に、カラーの撮影画像に対してスペクトル解析を行なうことで、この撮影画像から後述の指定操作に応じたスペクトル成分の成分画像(分光画像)を得る分光推定処理を行う分光推定処理部207と、その分光推定処理部207で得られた分光画像中でその指定操作に応じた形状に合致するという条件を満たした画像領域を特定し、その特定した画像領域の位置を第2画像処理部206に伝える特定処理部208とを備えている。分光推定処理については、例えば特開2006−239206号公報等に開示されている公知技術であるので、ここでは説明を省略する。第2画像処理部206は、カラーの撮影画像に対し、特定処理部208から伝えられた画像領域を強調する強調処理を施す。また、プロセッサ200は、第1画像処理部205での処理あるいは第2画像処理部206での処理を経たカラーの撮影画像をモニタ300に表示する表示制御部209と、画像処理や強調処理のための各種パラメータや、各種制御プログラムや、画像データ等が記憶されるメモリ210とを備えている。上記の分光推定処理部207と特定処理部208とを合せたものは、本発明にいう領域特定部の一例に相当する。また、第2画像処理部206は、本発明にいう画像処理部の一例に相当する。
このプロセッサ200では、スコープ100から渡されたデジタル画像データが切替回路204によって第1画像処理部205あるいは第2画像処理部206に渡される。
ここで、本実施形態では、ユーザが切替ボタン203を押す度に、プロセッサ側CPU202の制御により切替回路204が動かされて、デジタル画像データの送り先が、第1画像処理部205から第2画像処理部206へ、あるいは、第2画像処理部206から第1画像処理部205へと切り替えられる。また、デジタル画像データが第2画像処理部206に渡される場合には、デジタル画像データは分光推定処理部207にも渡される。また、デジタル画像データは、この切替回路204およびプロセッサ側CPU202を経由してメモリ210に記憶される。
切替回路204によってデジタル画像データが第1画像処理部205に渡された場合には、デジタル画像データが表わすカラーの撮影画像にガンマ補正や彩度補正等といった基本的な画像処理が施され、表示制御部209によって通常画像がモニタ300に表示される。一方、デジタル画像データが第2画像処理部206に渡された場合には、分光推定処理部207と特定処理部208での処理を経て、強調すべき画像領域の特定が行われ、第2画像処理部206において、デジタル画像データが表わすカラーの撮影画像に基本的な画像処理が施されるとともに、その撮影画像中の、その特定された画像領域が強調され、表示制御部209によって強調画像がモニタ300に表示される。
以下、切替ボタン203の操作により、モニタ300への表示を通常画像の表示から強調画像の表示に切り替えるように指示されてから、モニタ300に実際に強調画像が表示されるまでの一連の処理について説明する。
モニタ300に動画が表示されている状態で、切替ボタン203が押されると、その時点でCCD120に捉えられている画像が静止画として撮影され、その静止画を表わすデジタル画像データが、メモリ210に記憶される。その後、その静止画に対する強調処理における各種パラメータをセットするために、後述の画像強調パラメータセット画面がモニタ300に表示される。
また、不図示の操作ボタンを操作して得られ既にメモリ210にデジタル画像データが記憶されている静止画が、モニタ300に表示されている状態で、切替ボタン203が押された場合には、その現在表示されている静止画に対する強調処理における各種パラメータをセットするために、後述の画像強調パラメータセット画面がモニタ300に表示される。
図2は、画像強調パラメータセット画面を示す図である。
本実施形態では、強調処理における各種パラメータをオートでセットするパラメータ・オートセットモードと、各種パラメータを個々にマニュアルでセットするパラメータ・マニュアルセットモードとが用意されている。図2の画像強調パラメータセット画面220には、パラメータ・オートセットモードを有効とし、パラメータ・マニュアルセットモードを無効とする第1ラジオボタン221と、逆に、パラメータ・マニュアルセットモードを有効とし、パラメータ・オートセットモードを無効とする第2ラジオボタン222とが備えられている。
まず、パラメータ・マニュアルセットモードについて説明する。
このパラメータ・マニュアルセットモードでは、まず、カラーの撮影画像から抽出すべき分光画像におけるスペクトル成分の波長がセットされる。画像強調パラメータセット画面220には、波長セット部223が備えられており、ユーザは、波長セット部223における増減ボタン223aを不図示のマウスでクリックしたり、あるいは、表示部223bに不図示のキーボードにより直接数値を入力したりすることで、所望の波長をセットすることができる。
ここで、この波長セット部223においてセットされる波長は、例えば、病巣に多く見られる発赤箇所の強調を所望する場合における、ヘモグロビンでの吸収や反射が顕著なスペクトル成分の波長や、病巣箇所と他の箇所とで着色の度合いが異なる色素を用いた場合における、その色素での吸収や反射が顕著なスペクトル成分の波長等になる。
本実施形態では、カラーの撮影画像から分光画像が抽出されたときには、発赤箇所や着色箇所の特定のために、領域特定部において、その分光画像に対し、ある基準の明るさより暗い部分と、その明るさより明るい部分とに2値化する2値化処理が行われる。本実施形態では、分光画像は、その分光画像を構成する各画素の明るさを示す画素値からなる画像データで扱われる。この画素値は、「0」〜「255」の範囲内の値となる。そして、上記の2値化のための、上記の基準の明るさを示す閾値として、この「0」〜「255」の範囲内のいずれかの値が、画像強調パラメータセット画面220においてセットされる。画像強調パラメータセット画面220には、この閾値をセットするための閾値セット部224が備えられている。波長セット部223と同様、この閾値セット部224でも、ユーザは、増減ボタン224aをマウスでクリックしたり、あるいは、表示部224bにキーボードにより直接数値を入力したりすることで、所望の閾値をセットすることができる。
また、本実施形態では、発赤箇所や着色された病巣箇所の特定のために、領域特定部において、その分光画像中で、発赤箇所や病巣箇所等の像の形状であろうと一般的に予測される形状が写った画像領域が特定される。画像強調パラメータセット画面220には、所望の形状をセットするための形状セット部225が備えられている。本実施形態では、発赤箇所やポリープ等の像の形状に相当する円形や、血管の形状に相当する連続曲線等といった複数種類の形状が候補として用意されており、それら複数種類の形状のうち所望の形状をセットすることが可能となっている。形状セット部225のメニューボタン225aがクリックされると、セット可能な像の形状が列記されたプルダウンメニューが表示され、ユーザが、所望の形状にカーソルを合せるとその形状がセットされる。セットされた形状は表示部225bに表示される。
さらに、この画像強調パラメータセット画面220では、画像領域が特定された後に、本実施形態で実行可能な、シャープネス強調とコントラスト強調と色彩強調との3種類の強調処理それぞれにおける強調の程度をセットすることができる。ここで、これら3種類の強調処理それぞれが、本発明にいう強調処理の一例に相当する。画像強調パラメータセット画面220には、シャープネス強調の程度を設定するシャープネス強調設定部226と、コントラスト強調の程度を設定するコントラスト強調設定部227と、色彩強調の程度を設定する色彩強調設定部228とが備えられている。
シャープネス強調の程度は、シャープネス強調設定部226の増減ボタン226aに対するクリック操作や表示部226bに対するキーボード入力によって「0」以上の値でセットされる。同様に、コントラスト強調の程度は、コントラスト強調設定部227の増減ボタン227aに対するクリック操作や表示部227bに対するキーボード入力によってセットされ、色彩強調の程度は、色彩強調設定部228の増減ボタン228aに対するクリック操作や表示部228bに対するキーボード入力によってセットされる。ここで、「0」の値がセットされた場合には、その強調処理は実行されないことになる。図2は、色彩強調のみが実行される例である。
以上、説明したように、パラメータ・マニュアルセットモードでは、カラーの撮影画像から抽出すべき分光画像におけるスペクトル成分の波長、2値化処理における閾値、像の形状、各強調処理における強調の程度が個々にセットされる。これらのパラメータは、画像強調パラメータセット画面220を介したセット操作によってユーザから入力され、プロセッサ側CPUで取得される。このプロセッサ側CPUは、本発明にいう成分指定部と形状指定部とを兼ねた一例に相当する。
これに対し、パラメータ・オートセットモードでは、これらのパラメータ全てが、例えば発赤箇所等といった、強調を所望する箇所の具体的な名称をセットすることで自動的にセットされる。
以下、パラメータ・オートセットモードについて説明する。
本実施形態では、発赤箇所、ある色素(例えばインジコカルミン等)によって着色されたポリープ、血管等といった、複数種類の強調候補の名称に、各候補の特定および強調に要するパラメータが一対一に対応付けられた対応表が、図1のメモリ210に記憶されている。この強調候補の名称が、本発明にいう選択項目の一例に相当する。また、メモリ210は、本発明にいう対応記憶部の一例に相当する。
本実施形態では、例えば、発赤箇所には、波長として「540nm」、閾値として「64」、形状として「円形」、シャープネス強調の程度として「0」、コントラスト強調の程度として「0」、色彩強調の程度として「2」が対応付けられている。
これらのパラメータのうち、発赤箇所に、波長として「540nm」が対応付けられているのは、発赤箇所に集中するヘモグロビンの吸光特性および反射特性に基づいている。
図3は、ヘモグロビンの吸光特性および反射特性の一例を示す図である。
図3のパート(a)には、ヘモグロビンの吸光特性の一例を示すグラフE1が示され、パート(b)には、ヘモグロビンの反射特性の一例を示すグラフE2が示されている。パート(a)のグラフE1では、横軸に波長がとられ縦軸にモル吸光係数がとられており、還元ヘモグロビンHbと酸化ヘモグロビンHbO2とのそれぞれについて実測された吸光特性が記載されている。このグラフE1から、「415nm」近辺と、「540nm」近辺とに吸光のピークがあることが分かる。また、パート(b)のグラフE2では、横軸に波長がとられ縦軸に分光反射率がとられており、複数人の被検体について消化器の粘膜の反射特性を測定することで得られた、ヘモグロビンの反射特性が記載されている。このグラフE2では、「415nm」近辺と、「540nm」近辺とに反射の落ち込みがあり、このグラフE2からもこれら2箇所に吸光のピークがあることが分かる。
本実施形態では、これらの特性に基づき、発赤箇所を特定するために、カラーの撮影画像から抽出すべき分光画像に対応する波長として「540nm」が採用されている。また、本実施形態では、血管については、分光画像に対応する波長として「415nm」が採用されている。
図2に示す画像強調パラメータセット画面220には、パラメータ・オートセットモードにおいて発赤箇所等といった強調候補の名称がセットされる名称セット部229が備えられている。この名称セット部229のメニューボタン229aがクリックされると、セット可能な強調候補の名称が列記されたプルダウンメニューが表示され、ユーザが、所望の名称にカーソルを合せるとその名称がセットされる。セットされた名称は表示部229bに表示される。そして、この名称セット部229で強調候補の名称がセットされると、上記の対応表においてその名称に対応付けられている各パラメータが、図1のプロセッサ側CPU202によってメモリ210から読み出される。ここで、このプロセッサ側CPU202は、本発明にいう操作受付部の一例も兼ねている。
また、画像強調パラメータセット画面220には、パラメータ・マニュアルセットモード、あるいはパラメータ・オートセットモードによるセット内容を承認するための決定ボタン230が備えられている。パラメータのセット終了後に、この決定ボタン230がクリック操作されると、セットされたパラメータを用いた処理が、分光推定処理部207および特定処理部208において開始される。
次に、これらのパラメータを用いた処理の流れについて説明する。
尚、以下では、パラメータとして、発赤箇所の特定および強調に要するパラメータがセットされたものとして説明する。
図4は、パラメータのセットの後、強調画像がモニタ300に表示されるまでの処理の流れを示す模式図である。
RGB3色の組合せで色を表現するデジタル画像データが表わすカラーの撮影画像G1は、分光推定処理部207での分光推定処理(ステップS101)に供される。
カラーの撮影画像G1には、互いに異なる波長に対応する複数の分光画像GL1,GL2,…,GLnが渾然となって含まれている。分光推定処理では、このカラーの撮影画像G1から、画像強調パラメータセット画面220でセットされた波長(ここでの例では「540nm」)の分光画像GLiが抽出される。
図5は、図4の分光推定処理(ステップS101)に供されたカラーの撮影画像G1を示す模式図であり、図6は、図5のカラーの撮影画像G1から抽出された分光画像GLiを示す模式図である。
図5には、ユーザによって強調(ここでの例では「+2」の色彩強調)が所望されている発赤箇所A1と、その発赤箇所A1周辺の血管A2が示されている。これら発赤箇所A1や血管A2にはヘモグロビンの集中があるので、「540nm」の波長の光は、これらの箇所において集中的に吸光される。そのため、この「540nm」の波長の分光画像GLiでは、図6においてハッチングで示すように、発赤箇所A1、および、粘膜の表面に近く吸光が大きい血管A2_1は、他の箇所よりも暗い。
図4の分光推定処理(ステップS101)によって、このような分光画像GLiが得られると、次に、特定処理部208において以下に説明する領域特定処理が行われる(ステップS102)。
この領域特定処理(ステップS102)では、まず、画像強調パラメータセット画面220でセットされた閾値(ここでの例では「64」)を境に、分光画像GLiを2値化する2値化処理が行われる。
図7は、2値化処理後の分光画像GLiを示す模式図である。
この図7に示すように、2値化処理によって、分光画像GLi中では、ヘモグロビンによる吸光が多く暗く写っている発赤箇所A1と一部の血管A2_1のみが映像として残り、他の部分は一律に均されている。
2値化処理が終了すると、図4の領域特定処理(ステップS102)では、2値化処理後の分光画像GLi中で、画像強調パラメータセット画面220でセットされた形状(ここでの例では「円形」)に相当するテンプレートが使われ、周知技術であるテンプレートマッチングによる画像領域の特定が行われる。
図8は、テンプレートマッチングにより画像領域が特定された様子を示す模式図である。
図8に示すように、領域特定処理(ステップS102)では、2値化処理後で、不要部が除かれた分光画像GLi中の各所に対して、円形に対してある程度以上の合致が得られるまでテンプレートマッチングが行われる。通常、病巣における発赤箇所は円形を呈していることが多く、この図8に示すように、発赤箇所A1がある程度以上に円形に合致することとなる。尚、本実施形態では、「円形」という言葉が、真円だけでなく楕円や長円等も含む広義の意味で使われている。そして、このテンプレートマッチングにより、ある程度以上の合致が得られたときの、その合致した円形の領域A3が、領域特定処理(ステップS102)での処理結果の画像領域である。そして、図4に示すように、この円形の領域A3の場所等を表わすマスク情報J1が生成され、図1の特定処理部208から第2画像処理部206に渡される。
第2画像処理部206では、図4に示すように、カラーの撮影画像G1中で、マスク情報J1が表わす場所等に相当する円形の領域A4の画像部分に、画像強調パラメータセット画面220でセットされた強調処理(ここでの例では「+2」の色彩強調)が施される(ステップS103)。その結果、この円形の領域A4の画像部分が強調された強調画像G2が得られる。この強調画像G2は、表示制御部209によってモニタ300に表示される。
図9は、強調画像の一例を示す模式図である。
この図9には、カラーの撮影画像G1において、マスク情報J1が場所等を表わす円形の領域A4内の画像部分に色彩強調が施された強調画像G2が、強調部分にハッチングが施された状態で示されている。尚、この図9では、図を分かりやすくするために、本来は表示されない円形の領域A4が点線で示されている。
この強調画像G2によれば、発赤箇所が、周囲よりも色彩を強調されて表示されるため、医師は、この強調画像G2中で発赤箇所を目視で容易に把握することができる。また、周囲の他の箇所は、元のままのカラーの像として写っているのでそれら他の箇所と発赤箇所との位置関係を容易に把握することができる。さらに、この強調画像G2では、発赤箇所が強調されているので、色の特徴が発赤箇所と似通っていて、元々のカラーの撮影画像G1等では発赤箇所とまぎらわしい見え方をする別部位についても発赤箇所との区別が容易である。
以上、説明したように、本実施形態の内視鏡システム10によれば、撮影画像に、病巣等といった発見すべき箇所の目視による把握を容易なものとする画像処理を施すことができる。
尚、上記では、本発明にいうカラーの撮影画像として、白色光による照明下での1回の撮影によって得られたカラーの撮影画像を例示したが、本発明はこれに限るものではなく、本発明にいうカラーの撮影画像は、互いに波長が異なる複数種類の単色光それぞれの照明下での複数回の撮影によって得られた複数のモノクロの撮影画像を合成して得られたものであっても良い。
また、上記では、本発明にいう領域特定部の一例として、カラーの撮影画像に対してスペクトル解析を行なうことで、ユーザからセットされた波長に対応する分光画像を得る分光推定部207を有するもの例示したが、本発明はこれに限るものではない。本発明の領域特定部は、カラーの撮影画像が上記のように複数のモノクロの撮影画像を合成して得られたものである場合に、それら複数のモノクロの撮影画像のうち、ユーザからセットされた波長の単色光の下で得られた撮影画像を分光画像として得るものであっても良い。
また、上記では、本発明にいう領域特定部の一例として、ユーザからセットされた波長に対応した分光画像をユーザからセットされた閾値で2値化処理を施し、その2値化処理後の分光画像中で、ユーザからセットされた形状に合致する画像領域を特定する特定処理部208を有するものを例示したが、本発明はこれに限るものではない。本発明の領域特定部は、2値化処理を省略して画像領域を特定するものであっても良く、あるいは、閾値に対する比較のみで画像領域を特定するものであっても良い。
また、上記では、本発明にいう強調処理の一例として、シャープネス強調、コントラスト強調、および色彩強調という3種類の強調処理を例示したが、本発明はこれらに限るものではなく、本発明にいう強調処理は、例えばハイパートーン処理等といった上記の3種類以外の強調処理であっても良い。
また、上記では、特定される画像領域の一例として、病巣等といった発見すべき箇所の像が写っている画像領域を例示し、特定された画像領域に施す画像処理の一例として、その画像領域を強調する強調処理を例示したが、本発明はこれに限るものではなく、特定される画像領域は、病巣等の発見に邪魔な箇所の像が写っている画像領域であっても良く、画像処理は、そのように特定された画像領域を反強調する処理であっても良い。
また、上記では、本発明にいうカラーの撮影画像の一例として、カラーの静止画を例示したが、本発明はこれに限るものではなく、本発明にいうカラーの撮影画像は、カラーの動画であっても良い。
以上で本発明の一実施形態の内視鏡システムについての説明を終了し、以下、他の3種類の内視鏡システムについて説明する。尚、以下では、これら3種類の内視鏡システムを、それぞれ第2の内視鏡システム、第3の内視鏡システム、第4の内視鏡システムと呼ぶ。
まず、第2の内視鏡システムについて説明する。
例えば、上述の特許文献2に記載の技術では、内視鏡システムで得られた撮影画像にスペクトル解析を施し、所望の分光画像を抽出するという処理が行われるが、どの分光画像を抽出するかは、ユーザ操作による波長の指定によって決められる。
ところで、内視鏡システムでの撮影は、撮影対象の部位に、病巣に多く見られる凹凸等を強調するための色素を散布して行われることがある。そして、このような色素の散布下で得られたカラーの撮影画像に対して、上述の特許文献2に記載の技術を利用すれば、カラーの撮影画像から、散布された色素に対応した波長の分光画像を抽出するという画像処理を行うことができる。このように抽出された分光画像では、色素の散布箇所が周辺よりも強調されて写っていることから、病巣の凹凸等を把握しやすい。
しかしながら、この特許文献2に記載の技術には、色素に応じた波長を知らないと、そもそも画像処理を行うことができないといった問題がある。後述する第2の内視鏡システムは、このような問題を解決し、カラーの撮影画像から病巣の凹凸等を把握しやすい画像を得る画像処理を簡単に行うことができる画像処理装置を搭載したものである。
図10は、第2の内視鏡システムを示す図である。
尚、この図10では、図1に示す内視鏡システム10の構成要素と同等な構成要素については、図1と同じ符号が付されており、以下では、これらの構成要素については重複説明を省略する。
この図10に示す第2の内視鏡システム20は、上述した強調表示機能に替えて、散布された色素に対応した波長の分光画像を取り出し、その分光画像に基づいて後述の擬似カラー画像を生成して表示する擬似カラー表示機能を有している点が、図1に示す内視鏡システム10と異なっている。以下、この擬似カラー表示機能に注目して説明を行う。
図10の第2の内視鏡システム20のプロセッサ400は、モニタ300に表示する画像を、基本表示機能で表示されるカラーの撮影画像(通常画像)と、擬似カラー表示機能で表示される擬似カラー画像との間で切り替えるユーザからの切替操作を受け付ける切替ボタン402と、スコープ100からデジタル画像データを取得して、切替操作に応じたプロセッサ側CPU401の制御により、そのデジタル画像データを、基本表示機能と擬似カラー表示機能との何れかに供する切替回路403とを備えている。
さらに、プロセッサ400は、カラーの撮影画像に対してスペクトル解析を行なうことで、この撮影画像から後述の指定操作に応じた1つ以上3つ以下の分光画像を得る分光推定処理を行う分光推定処理部404と、その分光推定処理部404で得られた分光画像それぞれに、RGB3色のうちのいずれかの色を後述の割当ルールに従って割り当てることで、それらの色が割り当てられた分光画像からなる擬似カラー画像を得る擬似カラー画像生成部405とを備えている。擬似カラー画像生成部405で生成された擬似カラー画像は、表示制御部209によってモニタ300に表示される。
以下、切替ボタン402の操作により、モニタ300への表示を通常画像の表示から擬似カラー画像の表示に切り替えるように指示されてから、モニタ300に実際に擬似カラー画像が表示されるまでの一連の処理について説明する。
ここで、以下の実施例では、カラー静止画に対する処理について説明するが、ここでの画像処理は動画に対しても適用可能であり、静止画に限定されるものではない。
モニタ300に通常の動画が表示されている状態で切替ボタン402が押され、その時点で静止画が撮影された後、あるいは、モニタ300に静止画が表示されている状態で切替ボタン402が押された後に、モニタ300に、散布された色素の色素名称をセットするための色素名称セット画面が表示される。
図11は、色素名称セット画面を示す図である。
この図11に示す色素名称セット画面410では、所定の複数の色素名称の中から、所望の色素名称を第1名称から第3名称まで3つセットすることが可能であり、この色素名称セット画面410には、第1名称セット部411、第2名称セット部412、および第3名称セット部413が備えられている。各名称セット部411,412,413のメニューボタン411a,412a,413aがクリックされると、セット可能な色素名称が列記されたプルダウンメニューが表示され、ユーザが、所望の色素名称にカーソルを合せるとその色素名称がセットされる。セットされた色素名称は表示部411b,412b,413bに表示される。また、色素名称セット画面410には、色素名称のセット内容を承認するための決定ボタン414が備えられている。色素名称のセット終了後に、この決定ボタン414がクリック操作されると、分光推定処理部404および擬似カラー画像生成部405における処理が開始される。
次に、これら分光推定処理部404および擬似カラー画像生成部405における処理の流れについて説明する。
図12は、色素名称のセットの後、擬似カラー画像がモニタ300に表示されるまでの処理の流れを示す模式図である。
この第2の内視鏡システム20では、図10のメモリ210内に、色素名称セット画面410でセット可能な複数種類の色素名称と、各名称の色素の吸光特性において吸光のピークが現れる波長とが互いに一対一に対応付けられた対応表が記憶されている。以下に、色素名称と波長との組合せの一例を示す。
インジコカルミンという色素名称には612nmという波長が対応付けられ、メチレンブルーという色素名称には660nmという波長が対応付けられ、エバンスブルーという色素名称には620nmという波長が対応付けられ、クリスタルバイオレットという色素名称には590nmという波長が対応付けられている。
色素名称セット画面410で1つ以上3つ以下の色素名称がセットされると、まず、セットされた色素名称に対応付けられている波長が、プロセッサ側CPU401によってメモリ210から読み出され、分光推定処理部207および擬似カラー画像生成部405に伝えられる(ステップS201)。
次に、RGB3色の組合せで色を表現するデジタル画像データが表わすカラーの撮影画像G1が、分光推定処理部207での分光推定処理(ステップS202)に供される。分光推定処理では、互いに波長が異なる複数の分光画像GL1,GL2,…,GLnが渾然となって含まれているカラーの撮影画像G1から、ステップS201でプロセッサ側CPU401から分光推定処理部207に伝えられた波長(ここでの例では2種類の波長)の分光画像GLi,GLjが抽出される。
そして、擬似カラー画像生成部405において、抽出された分光画像GLi,GLjに、RGB3色のうちのいずれかの色が後述の割当ルールに従って割り当てられ、それら色が割り当てられた分光画像からなる擬似カラー画像G3が生成される(ステップS203)。ここで、ステップS203の処理では、色素名称セット画面410の第1名称セット部411でセットされた色素名称に対応する波長の分光画像にはR色が割り当てられ、第2名称セット部412でセットされた色素名称に対応する波長の分光画像にはG色が割り当てられ、第3名称セット部413でセットされた色素名称に対応する波長の分光画像にはB色が割り当てられる。
このステップS203の処理で生成された擬似カラー画像G3が、表示制御部209によってモニタ300に表示される。
図13は、突起状の病巣に色素が散布された状態を写したカラーの撮影画像G1の一例を示す図であり、図14は、図13のカラーの撮影画像G1から生成された擬似カラー画像G3の一例を示す図である。
図14の擬似カラー画像G3では、図13のカラーの撮影画像G1から、色素の分布以外の不要な情報が捨象され、その色素の分布状態が単純化されて捉えられている。即ち、窪み等で色素が多く付着している部分がRGBいずれかの色で濃く表示され、突起等で色素の付着が少ない部分が薄く表示されていて、突起状の病巣の凹凸の状況が把握しやすくなっている。
以上、説明した第2の内視鏡システム20によれば、カラーの撮影画像から病巣の凹凸等を把握しやすい画像を得るに当たり、ユーザが必ず把握している散布した色素の名称をセットするだけで足りる。つまり、この第2の内視鏡システム20によれば、カラーの撮影画像から病巣の凹凸等を把握しやすい画像を得る画像処理を簡単に行うことができる。
尚、上記では、カラーの撮影画像として、白色光による照明下での1回の撮影によって得られたカラーの撮影画像を例示したがこれに限るものではなく、このカラーの撮影画像は、互いに波長が異なる複数種類の単色光それぞれの照明下での複数回の撮影によって得られた複数のモノクロの撮影画像を合成して得られたものであっても良い。
また、上記では、カラーの撮影画像に対してスペクトル解析を行なって、カラーの撮影画像に含まれる複数の分光画像を得る分光推定部502を例示したが、複数の分光画像の取得方法はこれに限るものではない。この取得方法は、カラーの撮影画像が上記のように複数のモノクロの撮影画像を合成して得られたものである場合に、それら複数のモノクロの撮影画像のうち、ユーザからセットされた波長の単色光の下で得られた撮影画像を分光画像として得るものであっても良い。
また、上記では、色素名称の設定数が1つ以上3つ以下となっている例を示したが、色素名称の設定数はこれに限るものではなく、例えば、1つ以上2つ以下、あるいは1つ以上4つ以下というように、上限数が3つ以外の数であっても良い。
また、上記では、分光画像に、RGB3色のうちのいずれかの色を割り当てる例を示したが、分光画像に割り当てる色は、これに限るものではなく、例えばC(シアン)、M(マゼンタ)、G(グリーン)3色のうちのいずれかの色というように、RGB以外の色であっても良い。
また、上記では、画像処理の対象として、カラーの静止画を例示したが、画像処理の対象はこれに限るものではなく、カラーの動画であっても良い。
以上に説明した第2の内視鏡システム20では、プロセッサ400が、カラーの撮影画像から病巣の凹凸等を把握しやすい画像を得る画像処理を簡単に行うことができる画像処理装置の一実施形態に相当し、概念的に言えば、
「被写体を撮影して得られたカラーの撮影画像を取得するカラー画像取得部と、
光のスペクトル成分の指定を1つ以上受ける成分指定部と、
上記カラー画像取得部で取得された撮影画像から上記成分指定部で指定された1つ以上のスペクトル成分の成分画像を得る成分画像取得部と、
上記成分画像取得部で取得された1つ以上のスペクトル成分の成分画像それぞれに、複数の基準色の組合せで色を表示する表示装置におけるその複数の基準色のうちのいずれかの基準色を所定の割当ルールに従って割り当てることで、その基準色が割り当てられた1つ以上のスペクトル成分の成分画像からなる擬似カラーの撮影画像を得る擬似カラー画像生成部とを備えた」画像処理装置となっている。
ここで、プロセッサ400は、
「上記カラー画像取得部が、1回の撮影で得られたカラーの撮影画像を取得するものであり、
上記成分画像取得部が、上記撮影画像に対してスペクトル解析を行なうことで、上記成分指定部で指定された1つ以上のスペクトル成分の成分画像を得るものである」という概念も満たした装置である。
また、プロセッサ400は、
「光のスペクトル成分を示す成分指標であって、互いに異なるスペクトル成分を示す複数の成分指標と、所定の選択操作によって1つが選択される複数の選択項目とが、互いに一対一に対応付けられた対応表を記憶する対応記憶部と、
上記選択操作を受け付けて、その選択操作よって選択された選択項目に、上記対応表で対応付けられている成分指標が示すスペクトル成分を上記成分指定部に指定する操作受付部とを備えたものである」という概念も満たした装置である。
さらに、プロセッサ400は、
「上記対応記憶部が、上記複数の成分指標と、上記被写体を着色するための色素を示す色素名称であって、互い異なる色素を示す複数の色素名称とが、互いに一対一に対応付けられた対応表を記憶するものである」という概念も満たしている。
また、上記の第2の内視鏡システム20は、概念的に言えば、
「光を発する光源;
被写体を撮影してカラーの撮影画像を得る撮像機を備えた光プローブ;
前記撮像機で得られたカラーの撮影画像を取得するカラー画像取得部と、
光のスペクトル成分の指定を1つ以上受ける成分指定部と、
上記カラー画像取得部で取得された撮影画像から上記成分指定部で指定された1つ以上のスペクトル成分の成分画像を得る成分画像取得部と、
上記成分画像取得部で取得された1つ以上のスペクトル成分の成分画像それぞれに、複数の基準色の組合せで色を表示する表示装置におけるその複数の基準色のうちのいずれかの基準色を所定の割当ルールに従って割り当てることで、その基準色が割り当てられた1つ以上のスペクトル成分の成分画像からなる擬似カラーの撮影画像を得る擬似カラー画像生成部とを備えた画像処理装置;および
上記画像処理装置で画像処理が施された撮影画像を表示する表示装置を備えた」内視鏡システムとなっている。
尚、上記の第2の内視鏡システム20は、上記のプロセッサ400が満たしている各概念を満たしたシステムであることはいうまでもない。
次に、第3の内視鏡システムについて説明する。
この第3の内視鏡システムは、図1に示す内視鏡システム10において実現された、内視鏡システムで得られる撮影画像に、所望の箇所の目視による把握を容易なものとする画像処理を施すという目的を、この図1に示す内視鏡システム10とは異なる方法で達成したものである。
図15は、第3の内視鏡システムを示す図である。
尚、この図15では、図1に示す内視鏡システム10の構成要素と同等な構成要素については、図1と同じ符号が付されており、以下では、これらの構成要素については重複説明を省略する。
この図15に示す第3の内視鏡システム20は、図1に示す内視鏡システム10が有する強調表示機能とは異なる強調表示機能を有している点が、図1に示す内視鏡システム10と異なっている。以下、この第3の内視鏡システム20の強調表示機能に注目して説明を行う。
図15の第3の内視鏡システム30のプロセッサ500は、カラーの撮影画像に対してスペクトル解析を行なうことで、この撮影画像に含まれる複数の分光画像を、所定範囲の波長域に亘って満遍なく得る分光推定処理を行う分光推定処理部502を備えている。また、プロセッサ500は、その分光推定処理部502で得られた複数の分光画像から、後述の指定操作に応じた1つの分光画像を抽出し、その分光画像に強調処理を施し、その処理後の分光画像と他の分光画像とを合成する第2画像処理部503を備えている。この第2画像処理部503での処理によって、カラーの撮影画像に含まれる所望のスペクトル成分が強調された強調画像が得られる。この強調画像が、表示制御部209によってモニタ300に表示される。
以下、切替ボタン203の操作により、モニタ300への表示を通常画像の表示から強調画像の表示に切り替えるように指示されてから、モニタ300に実際に強調画像が表示されるまでの一連の処理について説明する。
ここで、以下の実施例では、カラー静止画に対する処理について説明するが、ここでの画像処理は動画に対しても適用可能であり、静止画に限定されるものではない。
モニタ300に通常の動画が表示されている状態で切替ボタン203が押され、その時点で静止画が撮影された後、あるいは、モニタ300に静止画が表示されている状態で切替ボタン203が押された後に、モニタ300に、その静止画に対する強調処理における各種パラメータをセットするための画像強調パラメータセット画面がモニタ300に表示される。尚、この第3の内視鏡システム30にも、図1の内視鏡システム10と同様に、強調処理における各種パラメータをオートでセットするパラメータ・オートセットモードと、各種パラメータを個々にマニュアルでセットするパラメータ・マニュアルセットモードとが用意されている。
図16は、画像強調パラメータセット画面を示す図である。
この図16の画像強調パラメータセット画面510には、パラメータ・オートセットモードを有効とし、パラメータ・マニュアルセットモードを無効とする第1ラジオボタン511と、逆に、パラメータ・マニュアルセットモードを有効とし、パラメータ・オートセットモードを無効とする第2ラジオボタン512とが備えられている。
まず、パラメータ・マニュアルセットモードについて説明する。
このパラメータ・マニュアルセットモードでは、カラーの撮影画像に含まれる複数の分光画像の中から抽出すべき分光画像に対応する波長と、その分光画像に施す3種類の強調処理それぞれにおける強調の程度とがセットされる。尚、この図16の画像強調パラメータセット画面510によるパラメータ・マニュアルセットモードでは、図2の画像強調パラメータセット画面220でのパラメータ・マニュアルセットモードとは異なり、強調の程度以外でセットされるのは波長のみである。
図16の画像強調パラメータセット画面510には、波長セット部513が備えられており、ユーザは、波長セット部513における増減ボタン513aを不図示のマウスでクリックしたり、あるいは、表示部513bに不図示のキーボードにより直接数値を入力したりすることで、所望の波長をセットすることができる。
また、この画像強調パラメータセット画面510には、シャープネス強調の程度を設定するシャープネス強調設定部514と、コントラスト強調の程度を設定するコントラスト強調設定部515と、色彩強調の程度を設定する色彩強調設定部516とが備えられている。シャープネス強調の程度は、シャープネス強調設定部514の増減ボタン514aに対するクリック操作や表示部514bに対するキーボード入力によって「0」以上の値でセットされる。同様に、コントラスト強調の程度は、コントラスト強調設定部515の増減ボタン515aに対するクリック操作や表示部515bに対するキーボード入力によってセットされ、色彩強調の程度は、色彩強調設定部516の増減ボタン516aに対するクリック操作や表示部516bに対するキーボード入力によってセットされる。ここで、「0」の値がセットされた場合には、その強調処理は実行されないことになる。図16は、色彩強調のみが実行される例である。
次に、パラメータ・オートセットモードについて説明する。
この第3の内視鏡システム30では、発赤箇所、色素名称(例えばインジコカルミン等)、血管等といった、複数種類の強調候補の名称に、各候補に対応する波長の分光画像の取出しおよびその分光画像の強調に要するパラメータが一対一に対応付けられた対応表が、図15のメモリ210に記憶されている。
図16に示す画像強調パラメータセット画面510には、パラメータ・オートセットモードにおいて発赤箇所等といった強調候補の名称がセットされる名称セット部517が備えられている。この名称セット部517のメニューボタン517aがクリックされると、セット可能な強調候補の名称が列記されたプルダウンメニューが表示され、ユーザが、所望の名称にカーソルを合せるとその名称がセットされる。セットされた名称は表示部517bに表示される。そして、この名称セット部517で強調候補の名称がセットされると、その名称に対応付けられている各パラメータが、図15のプロセッサ側CPU501によってメモリ210から読み出される。
また、図16の画像強調パラメータセット画面510には、パラメータ・マニュアルセットモード、あるいはパラメータ・オートセットモードによるセット内容を承認するための決定ボタン518が備えられている。パラメータのセット終了後に、この決定ボタン518がクリック操作されると、セットされたパラメータを用いた処理が、図15の分光推定処理部502および特定処理部504において開始される。
次に、これらのパラメータを用いた処理の流れについて説明する。
図17は、パラメータのセットの後、強調画像がモニタ300に表示されるまでの処理の流れを示す模式図である。
RGB3色の組合せで色を表現するデジタル画像データが表わすカラーの撮影画像G1は、分光推定処理部502での分光推定処理(ステップS301)に供される。分光推定処理では、互いに波長が異なる複数の分光画像が渾然となって含まれているカラーの撮影画像G1から、所定範囲の波長域に亘る互いに波長が異なる複数の分光画像GL1,GL2,…,GLnが満遍なく得られる。これら複数の分光画像GL1,GL2,…,GLn全てが、分光推定処理部502から第2画像処理部503に渡される。
次に、第2画像処理部503において、それら複数の分光画像GL1,GL2,…,GLnの中から、図16の画像強調パラメータセット画面510でセットされた波長の分光画像GLiが取り出され、その分光画像GLiに対して、画像強調パラメータセット画面510でセットされた強調処理が施される(ステップS302)。さらに、その強調処理後の分光画像GLi’と、他の分光画像GL1,…,GLi−1,GLi+1,…,GLnのとを合成する積分処理が行われる(ステップS303)。
以下、この積分処理について説明する。
この積分処理では、最終的に、強調処理後の分光画像を含めた全ての分光画像GL1,…,GLi−1,GLi’,GLi+1,…,GLnが合成されてなる強調画像G4を表わす、RGB3色で色が表現されたデジタル画像データが得られる。
ここで、積分処理では、まず、強調処理後の分光画像を含めた全ての分光画像GL1,…,GLi−1,GLi’,GLi+1,…,GLnにおいて、相互に位置が対応する画素の成分値に基づいて、強調画像G4における各画素の分光特性が取得される。
図18は、強調画像G4における各画素の分光特性が取得される様子を示す模式図である。
この図18には、左側に模式的に示す強調処理後の分光画像を含めた全ての分光画像GL1,…,GLi−1,GLi’,GLi+1,…,GLnから、強調画像G4におけるある座標(x,y)の画素の分光特性Sが取得される様子が示されている。
座標(x,y)の画素の分光特性Sは、各分光画像の座標(x,y)の画素の画素値を、各分光画像に対応する波長に対応付けてプロットすることで得られる。
図18に示す分光特性Sが得られると、次に、その分光特性Sと、図15の第3の内視鏡システム30のスコープ100が備えているCCD120における分光感度特性とに基づいて、強調画像G4の各画素の画素値(R,G,B)が算出される。
図19は、CCD120における分光感度特性を示す図である。
CCD120は、色をRGB3色で表現するために、RGBそれぞれの画素値を出力する複数の受光素子を有している。図19に示す3つの曲線は、それぞれCCD120のR色の受光素子の分光感度特性Lr、G色の受光素子の分光感度特性Lg、B色の受光素子の分光感度特性Lbを示している。これらの分光感度特性は、製造メーカにおいて、図15のメモリ210に予め記憶されている。
図20は、強調画像G4における各画素の分光特性Sと、受光素子の分光感度特性とから、各画素の画素値(R,G,B)が算出される様子を示す模式図である。
この図20には、画素値(R,G,B)の算出の一例として、ある座標(x,y)の画素の画素値のうちB値が算出される様子が示されている。
このB値は、その座標(x,y)の画素についての分光特性SとB色の受光素子の分光感度特性Lbとの積についての積分計算を行うことで算出される。ここで、画素についての分光特性Sには、図17のステップS302の強調処理が反映されている。このため、このB値は、元のカラーの撮影画像G1におけるその座標(x,y)の画素におけるB値とは異なり、図16の画像強調パラメータセット画面510でセットされた波長についてのスペクトル成分が強調された値となっている。R値とG値についての同様の積分計算が行われることで、この座標(x,y)の画素における画素値(R,G,B)が求められる。
図17のステップS303の積分処理では、図18から図20までを参照して説明した積分計算が、全ての画素について行われ、強調画像G4を表わすデジタル画像データが求められる。そして、この積分処理で求められたデジタル画像データが表わす強調画像G4が、表示制御部209によってモニタ300に表示される。この強調画像G4によれば、例えば発赤箇所等といった発見すべき箇所に対応した波長のスペクトル成分が色彩等を強調されて表示される。その結果、その所望の箇所が周囲よりも強調されることになるので、医師は、この強調画像G4中で発見すべき箇所を目視で容易に把握することができる。
以上、説明したように、図15に示す第3の内視鏡システム30によれば、撮影画像に、発見すべき箇所の目視による把握を容易なものとする画像処理を施すことができる。
尚、上記では、カラーの撮影画像として、白色光による照明下での1回の撮影によって得られたカラーの撮影画像を例示したがこれに限るものではなく、このカラーの撮影画像は、互いに波長が異なる複数種類の単色光それぞれの照明下での複数回の撮影によって得られた複数のモノクロの撮影画像を合成して得られたものであっても良い。
また、上記では、カラーの撮影画像に対してスペクトル解析を行なって、カラーの撮影画像に含まれる複数の分光画像を得る分光推定部502を例示したが、複数の分光画像の取得方法はこれに限るものではない。この取得方法は、カラーの撮影画像が上記のように複数のモノクロの撮影画像を合成して得られたものである場合に、それら複数のモノクロの撮影画像のうち、ユーザからセットされた波長の単色光の下で得られた撮影画像を分光画像として得るものであっても良い。
また、上記では、強調処理の一例として、シャープネス強調、コントラスト強調、および色彩強調という3種類の強調処理を例示したがこれらに限るものではなく、強調処理は、例えばハイパートーン処理等といった上記の3種類以外の強調処理であっても良い。
また、上記では、画像処理の対象として、カラーの静止画を例示したが、画像処理の対象はこれに限るものではなく、カラーの動画であっても良い。
以上に説明した第3の内視鏡システム30では、プロセッサ500が、所望の箇所の目視による把握を容易なものとする画像処理を施すことができる画像処理装置の一実施形態に相当し、概念的に言えば、
「被写体を撮影して得られたカラーの撮影画像を取得するカラー画像取得部と、
光のスペクトル成分の指定を受ける成分指定部と、
上記カラー画像取得部で取得された撮影画像から上記成分指定部で指定されたスペクトル成分の成分画像を強調しあるいは反強調する画像処理を施す強調処理部とを備えた」画像処理装置となっている。
ここで、プロセッサ500は、
「上記カラー画像取得部が、1回の撮影で得られたカラーの撮影画像を取得するものであり、
上記強調処理部が、上記撮影画像に対してスペクトル解析を行なうことで、上記成分指定部で指定された1つ以上のスペクトル成分の成分画像を抽出するものである」という概念も満たした装置である。
また、プロセッサ500は、
「光のスペクトル成分を示す成分指標であって、互いに異なるスペクトル成分を示す複数の成分指標と、所定の選択操作によって1つが選択される複数の選択項目とが、互いに一対一に対応付けられた対応表を記憶する対応記憶部と、
前記選択操作を受け付けて、該選択操作よって選択された選択項目に、前記対応表で対応付けられている成分指標が示すスペクトル成分を前記成分指定部に指定する操作受付部とを備えたものである」という概念も満たした装置である。
また、上記の第3の内視鏡システム30は、概念的に言えば、
「光を発する光源;
被写体を撮影してカラーの撮影画像を得る撮像機を備えた光プローブ;
前記撮像機で得られたカラーの撮影画像を取得するカラー画像取得部と、
光のスペクトル成分の指定を受ける成分指定部と、
上記カラー画像取得部で取得された撮影画像から上記成分指定部で指定されたスペクトル成分の成分画像を強調しあるいは反強調する画像処理を施す強調処理部とを備えた画像処理装置;および
上記画像処理装置で画像処理が施された撮影画像を表示する表示装置を備えた」内視鏡システムとなっている。
尚、上記の第3の内視鏡システム30は、上記のプロセッサ500が満たしている各概念を満たしたシステムであることはいうまでもない。
次に、第4の内視鏡システムについて説明する。
例えば、上述の特許文献2に記載の技術では、内視鏡システムで得られた撮影画像にスペクトル解析を施し、所望の分光画像を抽出するという処理が行われるが、どの分光画像を抽出するかは、ユーザ操作による波長の指定によって決められる。
しかしながら、経験が浅いユーザにとっては、どのような波長を指定すれば診断に適した画像が得られるか分からない場合もあり、この特許文献2に記載の技術には、そのような場合には波長の指定を行うことができす、そもそも画像処理を行うことができないといった問題がある。以下に説明する第4の内視鏡システムは、このような問題を解決し、経験の浅いユーザでも、カラーの撮影画像から診断に適した画像を得る画像処理を簡単に行うことができる画像処理装置を搭載したものである。
図21は、第4の内視鏡システムを示す図である。
尚、この図21では、図1に示す内視鏡システム10の構成要素と同等な構成要素については、図1と同じ符号が付されており、以下では、これらの構成要素については重複説明を省略する。
この図21に示す第4の内視鏡システム40は、図1の内視鏡システム10における強調表示機能に替えて、カラーの撮影画像中の各画素について光のスペクトルにおけるピークを検出し、各画素の色がその検出されたピークに対応する色に置換されたピークカラー画像を生成して表示するピークカラー表示機能を有している点が、図1に示す内視鏡システム10と異なっている。以下、このピークカラー表示機能に注目して説明を行う。
図21の第2の内視鏡システム20のプロセッサ600は、モニタ300に表示する画像を、基本表示機能で表示されるカラーの撮影画像(通常画像)と、ピークカラー表示機能で表示されるピークカラー画像との間で切り替えるユーザからの切替操作を受け付ける切替ボタン602と、スコープ100からデジタル画像データを取得して、切替操作に応じたプロセッサ側CPU601の制御により、そのデジタル画像データを、基本表示機能とピークカラー表示機能との何れかに供する切替回路603とを備えている。
さらに、プロセッサ600は、カラーの撮影画像に対してスペクトル解析を行なうことで、この撮影画像に含まれる複数の分光画像を、所定範囲の波長域に亘って満遍なく得る分光推定処理を行う分光推定処理部604を備えている。また、プロセッサ600は、複数の分光画像間で相互に位置が対応する画素の成分値に基づいて、カラーの撮影画像における各画素の分光特性を取得し、各画素の分光特性中のピークを検出するピーク波長検出部605と、カラーの撮影画像における各画素の色をピーク波長検出部605で検出されたピークに対応した色に置換してピークカラー画像を得るピークカラー画像生成部606とを備えている。ピークカラー画像生成部405で生成されたピークカラー画像は、表示制御部209によってモニタ300に表示される。
以下、切替ボタン602の操作により、モニタ300への表示を通常画像の表示からピークカラー画像の表示に切り替えるように指示されてから、モニタ300に実際に擬似カラー画像が表示されるまでの一連の処理について説明する。
ここで、以下の実施例では、カラー静止画に対する処理について説明するが、ここでの画像処理は動画に対しても適用可能であり、静止画に限定されるものではない。
モニタ300に通常の動画が表示されている状態で切替ボタン602が押され、その時点で静止画が撮影された後、あるいは、モニタ300に静止画が表示されている状態で切替ボタン602が押された後に、以下に説明する処理が開始される。
図22は、切替ボタン602の操作の後、ピークカラー画像がモニタ300に表示されるまでの処理の流れを示す模式図である。
RGB3色の組合せで色を表現するデジタル画像データが表わすカラーの撮影画像G1は、分光推定処理部604での分光推定処理(ステップS401)に供される。分光推定処理では、互いに波長が異なる複数の分光画像が渾然となって含まれているカラーの撮影画像G1から、所定範囲の波長域に亘る互いに波長が異なる複数の分光画像GL1,GL2,…,GLnが満遍なく得られる。これら複数の分光画像GL1,GL2,…,GLn全てが、分光推定処理部604からピーク波長検出部605に渡される。
ピーク波長検出部605では、複数の分光画像GL1,GL2,…,GLn間で相互に位置が対応する画素の成分値に基づいて、カラーの撮影画像G1における各画素の光のスペクトルを取得し、各画素のスペクトル中でピークを示す波長(ピーク波長)が検出される(ステップS402)。ピーク波長検出部605では、その検出に基づいて、カラーの撮影画像G1の各画素についてのピーク波長を示す波長情報J2が生成され、その波長情報J2がピークカラー画像生成部606に渡される。
ピークカラー画像生成部606では、波長情報J2が示す各画素のピーク波長が表わす色を表現するRGB3色の画素値が算出され、カラーの撮影画像G1の各画素のRGB3色の画素値が、その算出されたRGB3色の画素値に置換される(ステップS403)。この置換により、各画素の色がピーク波長が表わす色に置換されたピークカラー画像G5が生成され、このピークカラー画像G5が、表示制御部209によってモニタ300に表示される。
例えば、カラーの撮影画像G1に発赤箇所が写っている場合、その発赤箇所の画素における分光特性は、発赤箇所に集中しているヘモグロビンの反射特性等が反映されたピークを有する。また、カラーの撮影画像G1に色素による着色箇所が写っている場合、その着色箇所の画素における光のスペクトルは、その色素の反射特性等が反映されたピークを有する。上記のピークカラー画像G5は、各画素の色が、その画素の光のスペクトルにおけるピーク波長の色であるので、発赤箇所や着色された病巣箇所等といった、診断等において発見されるべき箇所が強調されており診断に適した画像となっている。そして、図21に示す第4の内視鏡システム40では、この診断に適したピークカラー画像G5を得るに当たり、ユーザは、切替ボタン602を押すだけで足りるので、たとえ経験の浅いユーザであっても簡単にピークカラー画像G5を得ることができる。
以上、説明したように、図21に示す第4の内視鏡システム40によれば、経験の浅いユーザでも、カラーの撮影画像から診断に適した画像を得る画像処理を簡単に行うことができる。
尚、上記では、カラーの撮影画像として、白色光による照明下での1回の撮影によって得られたカラーの撮影画像を例示したがこれに限るものではなく、このカラーの撮影画像は、互いに波長が異なる複数種類の単色光それぞれの照明下での複数回の撮影によって得られた複数のモノクロの撮影画像を合成して得られたものであっても良い。
また、上記では、カラーの撮影画像に対してスペクトル解析を行なって、カラーの撮影画像に含まれる複数の分光画像を得る分光推定部502を例示したが、複数の分光画像の取得方法はこれに限るものではない。この取得方法は、カラーの撮影画像が上記のように複数のモノクロの撮影画像を合成して得られたものである場合に、それら複数のモノクロの撮影画像のうち、ユーザからセットされた波長の単色光の下で得られた撮影画像を分光画像として得るものであっても良い。
また、上記では、画像処理の対象として、カラーの静止画を例示したが、画像処理の対象はこれに限るものではなく、カラーの動画であっても良い。
以上に説明した第4の内視鏡システム40では、プロセッサ600が、カラーの撮影画像から診断に適した画像を得る画像処理を簡単に行うことができる画像処理装置の一実施形態に相当し、概念的に言えば、
「被写体を撮影して得られたカラーの撮影画像を取得するカラー画像取得部と、
上記カラー画像取得部で取得された撮影画像中の各画素について、光のスペクトルにおけるピークを検出する成分検出部と、
上記カラー画像取得部で取得された撮影画像中の各画素の色を、上記成分検出部で検出されたピークに対応する色に置換する色置換部とを備えた」画像処理装置となっている。
ここで、プロセッサ600は、
「前記カラー画像取得部が、1回の撮影で得られたカラーの撮影画像を取得するものであり、
前記成分検出部が、前記撮影画像に対してスペクトル解析を行なうことで、該撮影画像中の各画素について、前記ピークを検出するものである」という概念も満たした装置である。
また、上記の第4の内視鏡システム40は、概念的に言えば、
「光を発する光源;
被写体を撮影してカラーの撮影画像を得る撮像機を備えた光プローブ;
前記撮像機で得られたカラーの撮影画像を取得するカラー画像取得部と、
上記カラー画像取得部で取得された撮影画像中の各画素について、光のスペクトルにおけるピークを検出する成分検出部と、
上記カラー画像取得部で取得された撮影画像中の各画素の色を、上記成分検出部で検出されたピークに対応する色に置換する色置換部とを備えた画像処理装置;および
上記画像処理装置で画像処理が施された撮影画像を表示する表示装置を備えた」内視鏡システムとなっている。
尚、上記の第4の内視鏡システム40は、上記のプロセッサ600が満たしている各概念を満たしたシステムであることはいうまでもない。