JP5264382B2 - 画像取得装置 - Google Patents

画像取得装置 Download PDF

Info

Publication number
JP5264382B2
JP5264382B2 JP2008238090A JP2008238090A JP5264382B2 JP 5264382 B2 JP5264382 B2 JP 5264382B2 JP 2008238090 A JP2008238090 A JP 2008238090A JP 2008238090 A JP2008238090 A JP 2008238090A JP 5264382 B2 JP5264382 B2 JP 5264382B2
Authority
JP
Japan
Prior art keywords
light
image
auxiliary light
wavelength band
spectral data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008238090A
Other languages
English (en)
Other versions
JP2010068924A (ja
Inventor
秀一 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008238090A priority Critical patent/JP5264382B2/ja
Priority to AT09011826T priority patent/ATE553692T1/de
Priority to US12/561,171 priority patent/US8203709B2/en
Priority to EP09011826A priority patent/EP2165643B1/en
Priority to CN200910175501.2A priority patent/CN101708120B/zh
Publication of JP2010068924A publication Critical patent/JP2010068924A/ja
Application granted granted Critical
Publication of JP5264382B2 publication Critical patent/JP5264382B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

補助光の波長の光を吸収する薬剤が投与されている被観察部へ、照明光および補助光を照射し、被観察部における照明光の反射光および補助光の反射光とからなる像を撮像する画像取得方法および装置に関するものである。
従来、体腔内の組織を観察する内視鏡装置が広く知られており、白色光によって照明された体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式の内視鏡が広く実用化されている。
また、固体撮像素子を用いた電子内視鏡装置の分野では、近年、胃粘膜等の消化器管における分光反射率に基づいて、狭帯域バンドパスフィルタを組み合わせた分光イメージングを行う装置、すなわち狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging-NBl)が注目されている。この装置は、面順次式のR(赤),G(緑),B(青)の回転フィルタの代わりに、狭(波長)帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた信号に対しそれぞれの重み付けを変えながらR,G,B(RGB)信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。
一方、特許文献1および特許文献2では、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、固体撮像素子に微小モザイクの色フィルタを配置する同時式において、白色光が照射された被観察部を撮像して得た画像信号を基に、演算処理にて分光画像を形成することが提案されている。この特許文献1には、照明光の分光特性と、撮像素子のカラー感度特性および色フィルタの透過率等を含む撮像システム全体の分光特性とを加味した推定マトリクスデータを求め、撮像素子により撮像されたRGB画像信号と、この推定マトリクスデータとの演算により、照明光の種類や、撮像システムの固有の分光特性等に依存しない、被観察部の分光データを得る手法が開示されている。
特開2003−93336号公報 特開2007−202621号公報
近年、被観察部を白色光で照明して観察するばかりでなく、被観察部に所定の波長の光を吸収する薬剤、例えばIGC(インドシアニングリーン)を投与し、この被観察部へ、薬剤が吸収する波長の光である補助光を照射し、被観察部における補助光の反射光からなる像を撮像し、被観察部における薬剤の分布を観察するための特殊画像を生成する画像取得装置の開発が進められている。
通常、このような画像取得装置においては、照明光のみを被観察部へ照射して通常画像を取得することと、補助光のみを被観察部へ照射して特殊画像を取得することとを時分割で行う。
しかしながら、時分割で補助光の反射光に基づく特殊画像と通常画像とを取得した場合には、補助光の反射光に基づく特殊画像の単位時間あたりのコマ数が少なくなり、この特殊画像を動画として表示する場合に良好な表示画像が得られないという問題があった。
本発明は上記の事情に鑑みてなされたものであり、補助光の反射光に基づく特殊画像を取得して表示する場合であっても、良好な表示画像を生成することが可能となる画像取得方法および画像取得装置を提供することを目的とする。
本発明の画像取得方法は、照明光および該照明光とは波長帯域が異なる補助光を同時に被観察部へ照射し、
前記被観察部における前記照明光の反射光および前記補助光の反射光とからなる像を撮像し、
前記撮像された画像信号の画素毎に、画像信号値と、予め記憶されている前記補助光の波長帯域の推定分光マトリクスとを用いて、前記補助光の波長帯域の推定分光データを算出し、
前記補助光の波長帯域の推定分光データに基づいて、前記補助光の波長帯域における前記被観察部の反射率を反映する準反射率情報を求め、該準反射率情報に基づいて特殊画像を生成することを特徴とするものである。
前記被観察部は、前記補助光の波長の光を吸収する薬剤が投与されているものであることが好ましい。
本発明の画像取得装置は、照明光および該照明光とは波長帯域が異なる補助光を同時に被観察部へ照射する光照射手段と、前記被観察部における前記照明光の反射光および前記補助光の反射光とからなる像を撮像する撮像手段と、
少なくとも、前記補助光の波長帯域の推定分光データを算出する推定マトリクスを記憶する記憶手段と、
前記撮像手段から出力された画像信号の画素毎に、画像信号値と前記推定マトリクスとを用いて、前記補助光の波長帯域の推定分光データを算出する推定分光データ算出手段と、
前記画素毎に、前記補助光の波長帯域の推定分光データに基づいて、前記補助光の波長帯域における前記被観察部の反射率を反映する準反射率情報を求め、該準反射率情報に基づいて特殊画像を生成する画像処理手段とを備えることを特徴とするものである。
なお、ここで「照明光とは波長帯域が異なる補助光」とは、補助光の波長大域が、照明光の波長帯域とは重なっていないことを意味している。また、「前記補助光の波長帯域の推定分光データを算出する推定マトリクス」とは、補助光の分光特性および撮像手段の分光特性とを加味したマトリクスであり、画像信号とマトリクス演算を行うことにより、補助光の波長帯域における、被観察部の推定分光反射率情報を含む推定分光データが算出可能なマトリクスである。
前記被観察部は、前記補助光の波長の光を吸収する薬剤が投与されているものであることが好ましい。
前記光照射手段が、前記補助光の照射と同時に、該補助光とは波長帯域が異なる参照光を前記被観察部へ照射するものであり、
前記撮像手段が、前記被観察部における前記参照光の反射光を含む像を撮像するものであれば、
前記画像処理手段は、前記撮像手段から出力された画像信号から前記参照光の反射光の強度である参照光強度を算出し、前記補助光の波長帯域の推定分光データを前記参照光強度により除算することにより前記反射率情報を算出するものであってもよい。
なお、ここで「参照光」とは、照明光とは異なる波長帯域の光、例えばIR光等であってもよいし、照明光の波長帯域に含まれる波長の光であってもよい。参照光の波長帯域が、照明光の波長帯域に含まれる場合には、照明光全体、あるいは照明光の一部の波長帯域の光を参照光として使用することができる。
また例えば、参照光として照明光の中の赤領域の光を使用する場合であればRGB画像信号の中のR画像信号の光強度を「参照光強度」として使用することができる。また照明光の中の所定の波長帯域の光を参照光として使用する場合であれば、照明光の画像信号と推定マトリクスを用いて、参照光の波長帯域の推定分光データを算出し、該推定分光データを「参照光強度」として用いることもできる。
前記画像処理手段は、前記準反射率情報と所定の基準値とを比較し、前記準反射率情報が前記基準値より大きい場合には、前記補助光の波長帯域の推定分光データを増加し、該増加した補助光の波長帯域の推定分光データに基づいて前記特殊画像を生成するものであってもよい。
また、前記画像処理手段は、前記準反射率情報と所定の基準値とを比較し、前記準反射率情報が所定の基準値より小さい場合には、前記補助光の波長帯域の推定分光データを増加し、該増加した補助光の波長帯域の推定分光データに基づいて前記特殊画像を生成するものであってもよい。
さらに、前記画像処理手段は、前記準反射率情報と所定の基準値とを比較し、前記準反射率情報が所定の基準値より小さい場合にはRGB画像信号として飽和する値を設定することにより前記特殊画像を生成するものであってもよい。
前記画像処理手段は、前記撮像手段から出力された画像信号に基づいて生成した画像へ、前記特殊画像を重畳した特殊重畳画像を生成するものであってもよい。
本発明による画像取得方法および画像取得装置においては、照明光および該照明光とは波長帯域が異なる補助光を、例えば補助光の波長の光を吸収する薬剤が投与されている被観察部へ同時に照射し、この被観察部における照明光の反射光および補助光の反射光とからなる像を撮像し、撮像された画像信号の画素毎に、画像信号値と、予め記憶されている補助光の波長帯域の推定分光マトリクスとを用いて、補助光の波長帯域の推定分光データを算出し、補助光の波長帯域の推定分光データに基づいて、補助光の波長帯域における被観察部の反射率を反映する準反射率情報を求め、該準反射率情報に基づいて特殊画像を生成するため、補助光の反射光に基づく特殊画像の単位時間あたりのコマ数の低減を防止でき、この特殊画像を例えば動画として表示する場合であっても良好な表示画像が得ることができる。また、照明光の射出と補助光の射出とを切り替える必要がないため、光照射手段の構造を簡易化することができる。
以下、図面を参照して本発明の実施形態を詳細に説明する。図1は、本発明の画像取得装置を適用した実施形態である内視鏡装置の概略構成図を示すものである。本内視鏡装置100は、波長805nmにおいて吸光特性を有する薬剤であるICG(インドシアニングリーン)が予め投与されている被観察部10へ、可視光である照明光L1および中心波長805nmの補助光L2を照射し、撮像した画像信号から、擬似通常画像と、805nmにおける被観察部10の反射率を反映した反射率情報を反映した特殊画像が重畳された特殊重畳画像とを生成し、それぞれ動画として表示するものである。
図示の通りこの内視鏡装置100は、被験者の体腔内に挿入され、被観察部10を観察するためのスコープユニット110と、このスコープユニット110が電気的に着脱自在に接続されるプロセッサユニット170と、スコープユニット110が光学的に着脱自在に接続され、照明光L1および補助光L2を射出するキセノンランプ151を収納する光源ユニット150とを備えている。なお、プロセッサユニット170と光源ユニット150とは、一体的に構成されているものであってもよいし、あるいは別体として構成されているものであってもよい。
上記スコープユニット110の先端には照明用のレンズ111が設けられている。このレンズ111には、照明光L1および補助光L2が導光されるライトガイド112の一端が対面している。ライトガイド112は、スコープユニット110の外部へ延伸するものであり、その他端には、光コネクタ113が設けられ、後述する光源ユニット150の光コネクタ153と着脱自在に接続されている。
また、スコープユニット110の先端部には、結像レンズ115と、固体撮像素子であるCCD(Charge Coupled Device)117とが同軸上にこの順に設けられている。結像レンズ115は、被観察部10の像をCCD117上に結像するものである。なお、CCD117の撮像面には例えばRGBの色フィルタを有する原色型の色フィルタ116が取り付けられている。CCD117には、同期信号に基づいて駆動パルスを形成するCCD駆動回路118が接続されると共に、このCCD117が出力した画像(映像)信号をサンプリングして増幅するCDS/AGC(相関二重サンプリング/自動利得制御)回路119接続されている。またCDS/AGC回路119には、そのアナログ出力をデジタル化するA/D変換器120が接続されている。さらにスコープユニット110内には、そこに設けられた各種回路を制御するとともに、プロセッサユニット170との間の通信制御を行う制御部121が配置されている。またスコープユニット110の根元近傍には、制御部121に接続され、動作モードの切換を行う押圧型のスイッチ122が設けられている。なお、A/D変換器120には信号ライン125の一端が接続され、制御部121には信号ライン126の一端が接続されている。信号ライン125および信号ライン126は、スコープユニット110の本体から外部へ延伸するものであり、その他端にはコネクタ127が設けられている。このコネクタ127は、後述するプロセッサユニット170のコネクタ194と着脱自在に接続されている。
光源ユニット150は、キセノンランプ151と、このキセノンランプ151を駆動する駆動回路152と、スコープユニット110のライトガイド112の先端に設けられている光コネクタ113と着脱自在に接続される光コネクタ153とを備えている。また、キセノンランプ151と光コネクタ153との間には、波長フィルタ155と集光レンズ158とが配置されている。
図2はキセノンランプ151から射出された光の分光スペクトルと、照明光L1および補助光L2の分光スペクトルとを示す図である。点線はキセノンランプ151から射出された光の分光スペクトルを実線は照明光L1および補助光L2の分光スペクトルを示している。
波長フィルタ155は、波長400nm以上700nm以下の光と、波長805nmの光を透過するものである。このため、キセノンランプ151から射出された光は波長フィルタ155を透過すると、波長400nm以上700nm以下の照明光L1と、波長805nmの補助光L2となる。また、光源ユニット150には、駆動回路152を制御する制御部159が配置されている。
一方プロセッサユニット170には、各種信号処理および制御を行うプロセッサ部172が設けられている。プロセッサ部172には、推定分光データ算出部180、画像処理部182および表示処理部184と、メモリ190およびキーボード型の入力部192およびスコープユニット110のコネクタ127と着脱自在に接続されるコネクタ195が接続されている。またプロセッサ部172は、スコープユニット110の制御部121および光源ユニット150の制御部159と接続されている。
推定分光データ算出手段180では、画素毎に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号と、メモリ190に予め記憶されている補助光の波長帯域である805nmの推定分光データを用いて、補助光の波長帯域の推定分光データを算出し、画像処理部182へ出力する。また同様に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号と、メモリ190に予め記憶されている700nmの推定分光データを用いて、700nmの推定分光データを算出し、画像処理部182へ出力する。
画像処理部182には、擬似通常画像データを生成する擬似通常画像生成部186と特殊重畳画像データを生成する特殊重畳画像生成部187とが設けられている。なお、擬似通常画像生成部186および特殊重畳画像生成部187における動作の詳細は後述する。
表示処理部184では、擬似通常画像データと特殊重畳画像データを並べて表示した表示用のカラー画像信号を生成し、モニタ11へ出力する。
メモリ190には、被観察部10の推定分光データを算出するための推定マトリクスデータが記憶されている。推定マトリクスデータはテーブルとしてメモリ190にあらかじめ記憶されている。この推定マトリクスデータは、被観察部10へ照射される光、すなわち照明光L1および補助光L2の分光特性と、撮像素子のカラー感度特性および色フィルタの透過率等を含む撮像システム全体の分光特性とを加味したマトリクスデータであり、CCD117により撮像されたRGB画像信号と、この推定マトリクスデータとの演算により、照明光および補助光の分光特性あるいは撮像システムの固有の分光特性等に依存しない、被観察部10の分光データを得ることができる。なお、この推定マトリクスデータの詳細は、特開2003−93336号公報あるいは特開2007−202621号公報などに開示されている。本実施形態において、このメモリ190に格納されている推定マトリクスデータの一例は次の表1のようになる。
Figure 0005264382
この表1のマトリクスデータは、例えば400nmから700nmの波長域を5nm間隔で分けた61の波長域パラメータ(係数セット)p1〜p61と、波長805nmに対応する波長域パラメータp82とから構成されている。なお、本実施の形態においては、波長705nm〜800nmの光は被観察部10へ照射されていないため、波長域パラメータ(係数セット)p62〜p81は省略されている。
例えば、3色画像信号R、G、Bに対して、メモリ190に記憶されている推定マトリクスデータの全てのパラメータからなる3×62のマトリクスを用いて、次式で示すマトリクス演算を行って、推定分光データ(q1〜q61,q82)を作成することができる。
Figure 0005264382
図3および図4は、この推定分光データ(q1〜q61,q82)の一例をスペクトル分布として示したものである。図3は、被観察部10内のICG(インドシアニングリーン)が存在しない領域に対応する画素における推定分光データ、すなわち805nmの補助光L2がICG(インドシアニングリーン)により吸収されていない場合の推定分光データを示している。
一方、図4は、ICG(インドシアニングリーン)が存在する領域に対応する画素における推定分光データ、すなわち805nmの補助光L2がICG(インドシアニングリーン)により吸光されている場合の推定分光データを示している。それぞれ、横軸は推定分光データの各データ値q1〜q61,q82が対応する波長を、縦軸は各データ値q1〜q61,q82の強度を示している。
ICG(インドシアニングリーン)が存在しない領域では、図3に示すように、805nmの補助光L2はかなり反射されるが、ICG(インドシアニングリーン)が存在する領域では805nmの補助光L2は、ICG(インドシアニングリーン)により吸収されているため、ほとんど反射されない。すなわち、805nmにおける推定分光データ値(q82)は、被観察10における805nmの補助光L2の反射率を反映する値であり、同時に、ICG(インドシアニングリーン)による吸収の有無を反映するものである。本実施の形態では、この805nmにおける推定分光データ値(q82)に基づいて特殊画像を生成する。
さらに、メモリ190には、実測により求められた805nmの光強度とRGB信号との対応テーブルTが予め記憶されている。
以下、上記構成を有する本実施形態の内視鏡装置の動作について説明する。本内視鏡装置の使用に先立って、洗浄および殺菌されたスコープユニット110がプロセッサユニット170および光源ユニット150へ取り付けられる。スコープユニット110の信号ライン125および信号ライン126の先端に設けられているコネクタ127は、プロセッサユニット170のコネクタ195へ接続される。また、ライトガイド112に先端に設けられている光コネクタ113は、光源ユニット150の光コネクタ153と接続される。
その後、スコープユニット110が、被検者の体腔、例えば食道等へ挿入され、被観察部10の画像の取得が行われるが、被観察部10の画像取得が行われる所定時間前あるいは画像取得が行われている最中に、被検者にはICG(インドシアニングリーン)が、例えば、静脈内注射により投与される。ICG(インドシアニングリーン)は、被検者の血流により被観察部10へ運ばれる。
使用者が入力部192の所定のキーもしくはスコープユニット110のスイッチ122を押圧すると、光源ユニット150では、駆動回路152によりキセノンランプ151が点灯する。キセノンランプ151から射出された光は、波長フィルタ155を透過して波長帯域が制限され、波長帯域400nm〜700nmの照明光L1および波長805nmの補助光L2となり、集光レンズ158により光コネクタ113の端面へ集光され、ライトガイド112へ入射する。ライトガイド112内を伝播した照明光L1および補助光L2は、ライトガイド112の先端から射出して、レンズ111を介して被観察部10へ照射される。
CCD駆動回路118によって駆動されたCCD117がこの被観察部10の像を撮像し、撮像信号を出力する。この撮像信号はCDS/AGC回路119で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、RGB画像信号としてプロセッサユニット170のプロセッサ部172の推定分光データ算出手段180および画像処理部182へ入力される。
推定分光データ算出手段180では、画素毎に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号と、メモリ190に予め記憶されている補助光の波長帯域である805nmの推定分光マトリクスデータを用いて、次式で示すマトリクス演算を行なって805nmにおける推定分光データ値(q82)を算出し、画像処理部182の擬似通常画像生成部186および特殊重畳画像生成部187へ出力する。
Figure 0005264382
また同様に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号と、メモリ190に予め記憶されている700nmの推定分光マトリクスデータを用いて、次式で示すマトリクス演算を行なって、700nmの推定分光データ値(q61)を算出し、画像処理部182の特殊重畳画像生成部187へ出力する。
Figure 0005264382
擬似通常画像生成部186では、画素毎に、まず上述の805nmにおける推定分光データ値(q82)と、メモリ190に記憶されている、805nmの光強度とRGB信号との対応テーブルTとにより、補助光L2に起因するRGB画像信号を算出し、これらの画像信号からなる補助光画像を生成する。
一方、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号からなる画像は、照明光L1の反射光からなる通常画像と、補助光L2の反射光からなる画像とが重なっている混合画像であり、上記補助光画像は、補助光L2の反射光からなる画像であるとみなすことができる。
擬似通常画像生成部186では、各画素毎に、スコープユニット110のA/D変換器120から出力されたRGB画像信号から805nmにおけるRGB画像信号を減算すること、すなわち混合画像から補助光画像を減算することにより、擬似的に通常画像とみなすことのできる擬似通常画像を生成し、表示処理部184へ出力する。
次に、特殊重畳画像生成部187における特殊重畳画像の生成手順を、図5に示すフローチャートを参照して説明する。
ステップS101では、まず画素毎に、805nmにおける推定分光データ値(q82)を700nmの推定分光データ値(q61)により除算することにより光強度比rを算出する。
なお、被観察部10で反射された補助光L2、すなわち補助光L2の反射光の強度は、補助光L2の照度にほぼ比例するが、補助光L2照度は距離の2乗に反比例して低下する。そのため、光源から遠くにあるICG(インドシアニングリーン)が存在しない領域からよりも近くにあるICG(インドシアニングリーン)が存在する領域から方が、強い反射光を受光する場合があり、受光した補助光の反射光強度の情報だけでは、その領域にICG(インドシアニングリーン)が存在するか否かを知ることはできない。そのため、補助光とは異なる波長帯域の光を参照光として被観察部に照射し、この参照光の照射を受けた被観察部によって反射された反射光の強度(以下参照光強度と記載)を検出して、補助光の反射光強度をこの参照光強度により除算して光強度比を求め、この光強度比に基づいて画像を生成する方法が知られている。この光強度比は、スコープユニット110の先端から被観察部10の各領域までの距離差の影響、あるいは補助光L2の照射強度のバラツキによる影響が軽減されている。なお、この光強度比は、被観察部の各領域における補助光の波長帯域の光の反射率を反映する値であり、本発明の準反射率情報に相当するものである。
本実施の形態では、上記の補助光の反射光強度として、805nmにおける推定分光データ値(q82)を用い、また参照光強度として、700nmの推定分光データ値(q61)を用いる。なお、波長700nmは、照明光L1の波長帯域内で酸化ヘモグロビンによる吸光度が最小となる波長であり、被観察部における血管の有無の影響を受けにくい波長である。また、700nmの推定分光データ値(q61)が0であった場合には、光強度比が発散してしまうため、光強度比を算出する際には、予め700nmの推定分光データ値(q61)が0ではないことを確認し、その後で光強度比を算出することが好ましい。
また、参照光としては、補助光L2と同程度に組織に浸透する赤〜赤外領域の波長の光が好ましく、例えば照明光L1の赤成分などを用いてよい。また、例えば700nm〜1000nm(除く805nm近傍)の範囲の所望の波長の近赤外光を用いてもよい。擬似通常画像を生成する場合に補助光L2と同様な処理により、参照光の成分を除去することができる。
ステップS102では、信号強度が小さい場合のノイズの影響を低減するために、上記光強度比rを予め設定されている上下限値と比較し、上限値以上の光強度比rは上限値に設定し、また下限値以下の光強度比rは下限値へ設定する。なお、上限値以上の光強度比rおよび下限値以下の光強度比rは、無効として0を設定してもよい。
ステップS103では、各画素毎に、光強度比と予めメモリ190に記憶されている基準値Sとを比較し、図6に示すように、光強度比が基準値Sより小さい場合には1より小さいゲインgを設定し、光強度比が基準値1以上である場合には1より大きいゲインgを設定する。
ステップ104では、各画素毎に、805nmにおける推定分光データ値(q82)にステップ103で算出したゲインgを乗算して、強調光強度信号m=推定分光データ値(q82)・gを生成する。
ステップ105では、各画素毎に、ステップ104で算出した強調光強度信号mと、メモリ190に記憶されている805nmの光強度とRGB信号との対応テーブルTとを用いて、強調光強度信号mと対応するRGB画像信号を算出する。なお、強調光強度信号mと対応するRGB画像信号から構成される画像は、本発明の被観察部の各領域における補助光の波長帯域の光の反射率を反映する準反射率情報に基づいて作成される特殊画像に相当するものである。
ステップ106では、各画素毎に、スコープユニット110のA/D変換器120から出力されたRGB画像信号へステップ105で算出された強調光強度信号mと対応するRGB画像信号を加算する。すなわち、スコープユニット110のA/D変換器120から出力されたRGB画像信号からなる混合画像へ、ステップ105で作成されたRGB画像信号からなる特殊画像を重畳することにより、特殊重畳画像を生成し、表示処理部184へ出力する。
表示処理部184では、擬似通常画像と特殊重畳画像とを並べて表示した表示画像を生成し、モニタ11へ出力して表示させる。特殊重畳画像では、光強度比rが大きい領域、すなわちICG(インドシアニングリーン)が存在しない領域では、光強度が増加されているため明るく表示され、ICG(インドシアニングリーン)が存在する領域が相対的に暗く表示されるため、ICG(インドシアニングリーン)が存在する領域の視認性が向上する。
以上の説明で明らかなように、擬似通常画像と特殊重畳画像とを同時に取得できるため、例えば擬似通常画像と特殊重畳画像とを動画として表示する場合であっても、単位時間あたりのコマ数が低減することはなく、良好な表示画像を得ることができる。また、照明光L1の射出と補助光L2の射出とを切り替える必要がないため、光源ユニット150の構造を簡易化することができる。
なお、本実施の形態では、ステップS103において、図6に示すように、光強度比rが基準値Sより小さい場合には1より小さいゲインを設定し、また光強度比rが基準値S以上の場合には1より大きいゲインを設定したが、ゲインの設定方法は、種々の方法が可能である。例えば、図7Aに示すように、連続的にゲインを設定する、あるいは図7Bに示すように段階的にゲインを設定してもよい。
あるいは、図5に示すように、ステップS103の変わりに、ステップS201を行ってもよい。ステップS201では、図8に示すように、光強度比rが基準値Sより小さい場合には1より大きいゲインを設定し、また光強度比rが基準値S以上の場合には1より小さいゲインを設定する。また、ステップS201では、図9に示すように連続的にゲインを設定してもよい。このような場合には、光強度比rが小さい領域、すなわちICG(インドシアニングリーン)が存在する領域が明るく表示され、ICG(インドシアニングリーン)が存在する領域の視認性が向上する。
さらに、図10に示すように、ステップS103〜S105の代わりにステップS202〜S204を行ってもよい。ステップS202では、図11に示すように光強度比rが基準値Sより小さい場合には1より大きい正のオフセット値fを設定し、また光強度比rが基準値S以上の場合には負のオフセット値fを設定する。ステップ203では、各画素毎に、805nmにおける推定分光データ値(q82)にステップ202で算出したオフセット値fを加算して、強調光強度信号m’=推定分光データ値(q82)+オフセット値fを生成する。ステップ204において、各画素毎に、ステップ203で算出した強調光強度信号m’と、メモリ190に記憶されている805nmの光強度とRGB信号との対応テーブルTとに基づいて、強調光強度信号m’と対応するRGB画像信号を算出して、特殊画像を生成する。この場合にも、光強度比rが小さい領域、すなわちICG(インドシアニングリーン)が存在する領域が明るく表示され、ICG(インドシアニングリーン)が存在する領域の視認性が向上する。
また、図12に示すように、ステップ103〜105の代わりにステップ205を行ってもよい。ステップ205では、光強度比rが基準値Sより小さい場合にはRGB信号として飽和する値を設定し、また光強度比rが基準値S以上の場合には、RGB信号として0値を設定して、特殊画像を生成する。このような場合には、ICG(インドシアニングリーン)が存在する領域は白く輝き、他の領域は通常のカラー画像が表示される。例えば、腫瘍からのリンパ流が最初に到達するリンパ節であるセンチネルリンパ節の検出を行うような場合には、ICG(インドシアニングリーン)が存在するリンパ節は白く輝くため、容易にセンチネルリンパ節を検出することができる。
なお、本実施の形態においては、光源ユニット150から射出され、スコープユニット110内を伝播した照明光L1と補助光L2とを同時に被観察部10へ照射して、CCD117で撮像して画像を生成する内視鏡装置を用いて説明を行ったが、本発明の画像取得装置の形態は、上記のような実施形態に限定されるものではなく、照明光と補助光と同時に被観察部へ照射し、画像を取得する形態であればいかなる形態であってもよい。補助光光源はLEDであってもよい。また、例えばスコープユニット110の先端にLED等の光源ユニットを備えた内視鏡装置、コルポスコープ、あるいはカプセル内視鏡装置等であってもよいし、また画像取得機能を備える顕微鏡等であってもよい。
また、CCD117のモザイクフィルタとしては、原色型の3色フィルタを用いて説明を行ったが、これに限定されるものではなく、4色型あるいは補色型等のモザイクフィルタ等を用いることもできる。この場合には、CCD117から出力される信号を信号処理により原色型の信号へ変換してもよいし、予めこれらのモザイクフィルタの分光特性に合わせた推定マトリクスデータをメモリへ記憶させておいてもよい。
本発明の一実施形態に係る内視鏡装置の構成を示すブロック図 照明光および補助光の分光スペクトルを示す図 推定分光データをスペクトル分布として示す図 推定分光データをスペクトル分布として示す図 特殊重畳画像の生成手順の説明図 ゲインの設定方法の説明図 ゲインの設定方法の説明図 ゲインの設定方法の説明図 ゲインの設定方法の説明図 ゲインの設定方法の説明図 特殊重畳画像の生成手順の説明図 オフセットの設定方法の説明図 特殊重畳画像の生成手順の説明図
符号の説明
10 被観察部
11 モニタ
100 内視鏡装置
110 スコープユニット
111 レンズ
112 ライトガイド
113 光コネクタ
115 結像レンズ
116 色フィルタ
117 CCD
118 CCD駆動回路
121 制御部
122 スイッチ
125 信号ライン
126 信号ライン
127 コネクタ
150 光源ユニット
151 キセノンランプ
152 駆動回路
153 光コネクタ
155 波長フィルタ
158 集光レンズ
170 プロセッサユニット
172 プロセッサ部
180 推定分光データ算出部
182 画像処理部
184 表示処理部
186 擬似通常画像生成部
187 特殊重畳画像生成部
190 メモリ
192 入力部
195 コネクタ

Claims (6)

  1. 照明光および該照明光とは波長帯域が異なる補助光を、該補助光の波長の光を吸収する薬剤が投与された被観察部へ同時に照射する光照射手段と、前記被観察部における前記照明光の反射光および前記補助光の反射光とからなる像を撮像する撮像手段と、
    少なくとも、前記補助光の波長帯域の推定分光データを算出する推定マトリクスを記憶する記憶手段と、
    前記撮像手段から出力された画像信号の画素毎に、画像信号値と前記推定マトリクスとを用いて、前記補助光の波長帯域の推定分光データを算出する推定分光データ算出手段と、
    前記画素毎に、前記補助光の波長帯域の推定分光データに基づいて、前記補助光の波長帯域における前記被観察部の反射率を反映する準反射率情報を求め、該準反射率情報に基づいて特殊画像を生成し、前記撮像手段から出力された画像信号から前記特殊画像を減算することによって疑似通常画像を生成する画像処理手段とを備えることを特徴とする画像取得装置。
  2. 前記光照射手段が、前記補助光の照射と同時に、該補助光とは波長帯域が異なる参照光を前記被観察部へ照射するものであり、
    前記撮像手段が、前記被観察部における前記参照光の反射光を含む像を撮像するものであり、
    前記画像処理手段が、前記撮像手段から出力された画像信号から前記参照光の反射光の強度である参照光強度を算出し、前記補助光の波長帯域の推定分光データを前記参照光強度により除算することにより前記反射率情報を算出するものであることを特徴とする請求項記載の画像取得装置。
  3. 前記画像処理手段が、前記準反射率情報と所定の基準値とを比較し、前記準反射率情報が前記基準値より大きい場合には、前記補助光の波長帯域の推定分光データを増加し、該増加した補助光の波長帯域の推定分光データに基づいて前記特殊画像を生成するものであることを特徴とする請求項1または2記載の画像取得装置。
  4. 前記画像処理手段が、前記準反射率情報と所定の基準値とを比較し、前記準反射率情報が所定の基準値より小さい場合には、前記補助光の波長帯域の推定分光データを増加し、該増加した補助光の波長帯域の推定分光データに基づいて前記特殊画像を生成するものであることを特徴とする請求項1または2記載の画像取得装置。
  5. 前記画像処理手段が、前記準反射率情報と所定の基準値とを比較し、前記準反射率情報が所定の基準値より小さい場合にはRGB画像信号として飽和する値を設定することにより前記特殊画像を生成するものであることを特徴とする請求項1または2記載の画像取得装置。
  6. 前記画像処理手段が、前記撮像手段から出力された画像信号に基づいて生成した画像へ、前記特殊画像を重畳した特殊重畳画像を生成するものであることを特徴とする請求項からいずれか1項記載の画像取得装置。
JP2008238090A 2008-09-17 2008-09-17 画像取得装置 Expired - Fee Related JP5264382B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008238090A JP5264382B2 (ja) 2008-09-17 2008-09-17 画像取得装置
AT09011826T ATE553692T1 (de) 2008-09-17 2009-09-16 Bilderfassungsverfahren und bilderfassungsvorrichtung
US12/561,171 US8203709B2 (en) 2008-09-17 2009-09-16 Image obtaining method and image obtaining apparatus
EP09011826A EP2165643B1 (en) 2008-09-17 2009-09-16 Image obtaining method and image obtaining apparatus
CN200910175501.2A CN101708120B (zh) 2008-09-17 2009-09-17 图像获得方法和图像获得设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008238090A JP5264382B2 (ja) 2008-09-17 2008-09-17 画像取得装置

Publications (2)

Publication Number Publication Date
JP2010068924A JP2010068924A (ja) 2010-04-02
JP5264382B2 true JP5264382B2 (ja) 2013-08-14

Family

ID=42201266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008238090A Expired - Fee Related JP5264382B2 (ja) 2008-09-17 2008-09-17 画像取得装置

Country Status (1)

Country Link
JP (1) JP5264382B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5539841B2 (ja) * 2010-10-26 2014-07-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP2017118887A (ja) * 2015-12-28 2017-07-06 株式会社システック 体内近赤外光像検出カメラ
US10386627B2 (en) * 2017-01-20 2019-08-20 Verily Life Sciences Llc Simultaneous visible and fluorescence endoscopic imaging
CN110236694B (zh) * 2019-06-04 2021-09-10 广东欧谱曼迪科技有限公司 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2807487B2 (ja) * 1988-11-02 1998-10-08 オリンパス光学工業株式会社 内視鏡装置
US5590660A (en) * 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
JP3560671B2 (ja) * 1995-02-23 2004-09-02 オリンパス株式会社 蛍光観察装置
JP3718024B2 (ja) * 1996-03-19 2005-11-16 松下電器産業株式会社 蛍光診断装置
JP3664541B2 (ja) * 1996-04-30 2005-06-29 富士写真フイルム株式会社 蛍光診断装置
JP2001078205A (ja) * 1999-09-01 2001-03-23 Hamamatsu Photonics Kk 微弱光カラー撮像装置
JP2002065585A (ja) * 2000-08-24 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP4864511B2 (ja) * 2006-03-31 2012-02-01 富士フイルム株式会社 電子内視鏡装置およびプログラム

Also Published As

Publication number Publication date
JP2010068924A (ja) 2010-04-02

Similar Documents

Publication Publication Date Title
JP5081720B2 (ja) 蛍光内視鏡装置および励起光ユニット
CN110325100B (zh) 内窥镜系统及其操作方法
JP5229723B2 (ja) 蛍光画像取得装置
JP5191329B2 (ja) 画像取得装置
JP6204314B2 (ja) 電子内視鏡システム
JP5110702B2 (ja) 蛍光画像取得装置
JP5485190B2 (ja) 内視鏡装置
JP5485191B2 (ja) 内視鏡装置
JP2005006974A (ja) 内視鏡装置及び信号処理装置
JP2001157658A (ja) 蛍光画像表示装置
JP5148054B2 (ja) 撮像システム
JP2012152459A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2010005056A (ja) 画像取得方法および装置
WO2011099322A1 (ja) 電子内視鏡システム
WO2003075752A1 (fr) Appareil de traitement d'image d'endoscope
JP5147538B2 (ja) 蛍光画像取得装置および蛍光画像取得装置の作動方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP2010082041A (ja) 電子内視鏡システム
JP2012152460A (ja) 医療システム、医療システムのプロセッサ装置、及び画像生成方法
JP2015066132A (ja) 内視鏡システム及びその作動方法
JP5264382B2 (ja) 画像取得装置
JP5191327B2 (ja) 画像取得装置および画像取得装置の作動方法
JP2010094153A (ja) 電子内視鏡システム及び観察画像生成方法
JP5371702B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP2010094152A (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130430

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees