JP5320268B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP5320268B2
JP5320268B2 JP2009258665A JP2009258665A JP5320268B2 JP 5320268 B2 JP5320268 B2 JP 5320268B2 JP 2009258665 A JP2009258665 A JP 2009258665A JP 2009258665 A JP2009258665 A JP 2009258665A JP 5320268 B2 JP5320268 B2 JP 5320268B2
Authority
JP
Japan
Prior art keywords
image
special
light
normal
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009258665A
Other languages
English (en)
Other versions
JP2011101771A (ja
Inventor
臣一 下津
祐二 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009258665A priority Critical patent/JP5320268B2/ja
Priority to US12/939,667 priority patent/US20110109761A1/en
Publication of JP2011101771A publication Critical patent/JP2011101771A/ja
Application granted granted Critical
Publication of JP5320268B2 publication Critical patent/JP5320268B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、通常光の被観察部への照射によって取得した通常画像と特殊光の被観察部への照射によって取得した特殊画像とを合成した合成画像を表示する画像表示装置に関するものである。
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得て、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
また、上記のような内視鏡システムとして、たとえば、特許文献1においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。
また、蛍光内視鏡システムとしては、たとえば、ICG(インドシアニングリーン)を予め体内に投入し、励起光を被観察部に照射して血管内のICGの蛍光を検出することによって血管の蛍光画像を取得するものも提案されている。
ここで、上記のような蛍光内視鏡システムにおいては、通常画像と蛍光画像とを同時に見やすく表示することが望まれる。
通常画像と蛍光画像を表示する方法としては、たとえば、1つのモニタに通常画像と蛍光画像を並べて表示したり、1つのモニタに通常画像と蛍光画像とを切り替えて表示したりする方法がある。
また、特許文献2においては、表示装置に入力されるRGBの3つのチャネルの信号のうちの1つのチャネルに蛍光画像信号を割り当て、通常画像上に疑似カラーの蛍光画像を表示する方法が提案されている。
特開2005−204905号公報 特開2003−126014号公報
ここで、たとえば、上述したようなICGを用いた血管画像の観察を行う場合、蛍光画像上において、通常画像上には現れない脂肪下の血管まで表示することが可能であるが、蛍光画像はモノクロ画像であり、蛍光画像上では蛍光を発している血管部分しか認識することができないため、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを正確に把握することができない。
また、上述したように通常画像と蛍光画像とを切り替えて表示した場合には2つの画像を比較することは可能であるが、通常画像と蛍光画像とを同時に比較することができないので、やはり蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを正確に判断することができない。
また、通常画像と蛍光画像とを同時に表示した場合でも、観察者は通常画像と蛍光画像とを交互に比較観察する必要があるので、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを即座に判断することは非常に困難であり、観察者の疲労も招くことになる。
さらに、特許文献2に記載の方法のように、通常画像上に疑似カラーの蛍光画像を表示させるようにした場合には、一応、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを把握することはできるが、観察者が疑似カラーの色に慣れる必要がある。
また、蛍光画像の血管画像は、通常画像の血管画像と共通する部分を有するが、疑似カラーの色によっては蛍光画像上にのみ存在する部分と共通部分との境界を即座に判断することが困難である。
さらに、蛍光画像が疑似カラー表示されてしまうので、通常画像と蛍光画像とで重なり合う部分については、通常画像の可視情報は全く把握することができなくなってしまう。
本発明は、上記の問題に鑑みてなされたものであり、通常画像と特殊画像とを合成して合成画像を表示する画像表示装置において、通常画像の可視情報を損なうことなく、かつ蛍光画像に現れている部分の通常画像上における位置を即座に認識することができる画像表示装置を提供することを目的とする。
本発明の画像表示装置は、通常光を射出する通常光源部および通常光とは異なる波長帯域の特殊光を射出する特殊光源部とを有し、通常光および特殊光を被観察部に照射する光照射部と、通常光の照射によって被観察部から反射された反射光を光電変換して電荷を蓄積することによって通常画像を撮像する通常画像用撮像素子と特殊光の照射によって被観察部から発せられた光を光電変換して電荷を蓄積することによって特殊画像を撮像する特殊画像用撮像素子とを備えた撮像部と、撮像部によって撮像された通常画像と特殊画像とを合成した合成画像を表示する表示部と、特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように特殊光源部を制御する光源制御部とを備えたことを特徴とする。
また、上記本発明の画像表示装置においては、光源制御部を、特殊画像用撮像素子の撮像周期とは異なる周期で特殊光を特殊光源部から射出させるものとすることができる。
また、光源制御部を、特殊画像用撮像素子の撮像周期に応じた周期で特殊光を特殊光源部から射出させるとともに、特殊光のパルス幅が周期的に変化するように特殊光源部を制御するようにできる。
また、光源制御部を、特殊画像用撮像素子の撮像周期に応じた周期で特殊光を特殊光源部から射出させるとともに、特殊光の振幅が周期的に変化するように特殊光源部を制御するようにできる。
本発明の画像表示装置は、特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように特殊光源部を制御するようにしたので、合成画像上における特殊画像が周期的に強弱表示されるようにすることができ、蛍光画像に現れている部分の合成画像上における位置を即座に認識することができるとともに、蛍光画像が弱表示されているときに通常画像の可視情報も認識することができる。
また、上記本発明の画像表示装置において、特殊画像用撮像素子の撮像周期とは異なる周期で特殊光を特殊光源部から射出させるようにした場合には、簡易な構成で特殊画像用撮像素子の電荷蓄積量を周期的に変化させることができる。
また、特殊光のパルス幅が周期的に変化するように制御したり、特殊光の振幅が周期的に変化するように制御したりした場合にも、上記と同様の効果を得ることができる。
本発明の画像表示装置の一実施形態を用いた腹腔鏡システムの概略構成図 硬質挿入部の概略構成図 撮像ユニットの概略構成図 画像処理装置および光源装置の概略構成を示すブロック図 画像処理部の概略構成を示すブロック図 特殊光の被観察部への照射周期と高感度撮像素子の撮像周期との関係を示すタイミングチャートと、高感度撮像素子にフレーム毎に蓄積される電荷蓄積量とを示す図 蛍光画像信号の周期的な変化の一例を示す図 通常画像、蛍光画像および合成画像の一例を示す図 光源装置のその他の実施形態を示す図 特殊光をパルス幅変調した場合の照射パターンの一例を示す図 特殊光を振幅幅変調した場合の照射パターンの一例を示す図 画像処理部のその他の実施形態を示す図 通常血管画像信号が表す血管画像V1、蛍光血管画像信号が表す血管画像V2、深部血管画像信号が表す深部血管画像V3,V4の一例を示す図
以下、図面を参照して本発明の画像表示装置の一実施形態を用いた腹腔鏡システムについて詳細に説明する。図1は、本実施形態の腹腔鏡システム1の概略構成を示す外観図である。
本実施形態の腹腔鏡システム1は、図1に示すように、白色光の通常光および特殊光を射出する光源装置2と、光源装置2から射出された通常光および特殊光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置10と、硬性鏡撮像装置10によって撮像された画像信号に所定の処理を施す画像処理装置3と、画像処理装置3において生成された表示制御信号に基づいて被観察部の通常画像および蛍光画像を表示するモニタ4とを備えている。
硬性鏡撮像装置10は、図1に示すように、腹腔内に挿入される硬質挿入部30と、硬質挿入部30によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット20とを備えている。
また、硬性鏡撮像装置10は、図2に示すように、硬質挿入部30と撮像ユニット20とが着脱可能に接続されている。そして、硬質挿入部30は接続部材30a、挿入部材30b、ケーブル接続口30c、および照射窓30dを備えている。
接続部材30aは、硬質挿入部30(挿入部材30b)の一端側30Xに設けられており、たとえば撮像ユニット20側に形成された開口20aに嵌め合わされることにより、撮像ユニット20と硬質挿入部30とが着脱可能に接続される。
挿入部材30bは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略5mmの円柱形状を有している。挿入部材30bの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側30Yから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側30Xの撮像ユニット20側に射出される。
挿入部材30bの側面にはケーブル接続口30cが設けられており、このケーブル接続口30cに光ケーブルLCが機械的に接続される。これにより、光源装置2と挿入部材30bとが光ケーブルLCを介して光学的に接続されることになる。
照射窓30dは、硬質挿入部30の他端側30Yに設けられており、光ケーブルLCによって導光された通常光および特殊光を被観察部に対し照射するものである。なお、挿入部材30b内にはケーブル接続口30cから照射窓30dまで通常光および特殊光を導光するライトガイドが収容されており(図示せず)、照射窓30dはライトガイドによって導光された通常光および特殊光を被観察部に照射するものである。
図3は、撮像ユニット20の概略構成を示す図である。撮像ユニット20は、硬質挿入部30内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第1の撮像系と、硬質挿入部30内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第2の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム21によって、互いに直交する2つの光軸に分けられている。
第1の撮像系は、被観察部において反射し、ダイクロイックプリズム21を透過した特殊光をカットする特殊光カットフィルタ22と、硬質挿入部30から射出され、ダイクロイックプリズム21および特殊光カットフィルタ22を透過した蛍光像L4を結像する第1結像光学系23と、第1結像光学系23により結像された蛍光像L4を撮像する高感度撮像素子24とを備えている。
第2の撮像系は、硬質挿入部30から射出され、ダイクロイックプリズム21を反射した通常像L3を結像する第2結像光学系25と、第2結像光学系25により結像された通常像L3を撮像する撮像素子26を備えている。
高感度撮像素子24は、蛍光像L4の波長帯域の光を高感度に検出し、蛍光画像信号に光電変換して出力するものである。本実施形態においては、高感度撮像素子24としてモノクロのCCD(charge coupled device)を用いる。
撮像素子26は、通常像の波長帯域の光を検出し、通常画像信号に光電変換して出力するものである。撮像素子26の撮像面には、3原色の赤(R)、緑(G)および青(B)、またはシアン(C)、マゼンダ(M)およびイエロー(Y)のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。本実施形態においては、撮像素子26として上記カラーフィルタが設けられたCCDを用いる。
また、撮像ユニット20は、撮像制御ユニット27を備えている。撮像制御ユニット27は、高感度撮像素子24から出力された蛍光画像信号および撮像素子26から出力された通常画像信号に対し、CDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理を施し、ケーブル5(図1参照)を介して画像処理装置3に出力するものである。
画像処理装置3は、図4に示すように、通常画像入力コントローラ31、蛍光画像入力コントローラ32、画像処理部33、メモリ34、ビデオ出力部35、操作部36、TG(タイミングジェネレータ)37およびCPU38を備えている。
通常画像入力コントローラ31および蛍光画像入力コントローラ32は、所定容量のラインバッファを備えており、撮像ユニット20の撮像制御ユニット27から出力された1フレーム分の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ31に記憶された通常画像信号および蛍光画像入力コントローラ32に記憶された蛍光画像信号はバスを介してメモリ34に格納される。
画像処理部33は、メモリ34から読み出された1フレーム分の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部33のより具体的な構成を図5に示す。
画像処理部33は、図5に示すように、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部33aと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部33bと、通常画像処理部33aにおいて画像処理の施された通常画像信号と蛍光画像処理部33bにおいて画像処理の施された蛍光画像信号に対して、所定の係数を掛け合わせて加算する画像合成部33cとを備えている。なお、画像処理部33の各部における処理については、後で詳述する。
ビデオ出力部35は、画像処理部33から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ4に出力するものである。
操作部36は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、TG37は、撮像ユニット20の高感度撮像素子24、撮像素子26および後述する光源装置2のLDドライバ45を駆動するための駆動パルス信号を出力するものである。また、CPU36は装置全体を制御するものである。
光源装置2は、図4に示すように、約400〜700nmの広帯域の波長からなる通常光(白色光)L1を射出する通常光源40と、通常光源40から射出された通常光L1を集光する集光レンズ42と、集光レンズ42によって集光された通常光L1を透過するとともに、後述する特殊光L2を反射し、通常光L1および特殊光L2とを光ケーブルLCの入射端に入射させるダイクロイックミラー43とを備えている。なお、通常光源40としては、たとえばキセノンランプが用いられる。また、通常光源40と集光レンズ42との間には、絞り41が設けられており、ALC(Automatic light control)からの制御信号に基づいてその絞り量が制御される。
また、光源装置2は、700nm〜800nmの可視から近赤外帯域の光を特殊光L2として射出するLD光源44と、LD光源44を駆動するLDドライバ45と、LD光源44から射出された特殊光L2を集光する集光レンズ46と、集光レンズ46によって集光された特殊光りL2をダイクロイックミラー43に向けて反射するミラー47とを備えている。
なお、特殊光L2としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。本実施形態においては、蛍光色素としてICG(インドシアニングリーン)を被検者に投入し、特殊光L2として750〜790nmの近赤外光を用いるが、特殊光L2は、上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
また、本実施形態におけるLDドライバ45は、所定の周期で特殊光L2がLD光源44から射出されるように制御するものであるが、その周期については後で詳述する。
次に、本実施形態の腹腔鏡システムの作用について説明する。
まず、光ケーブルLCが接続された硬質挿入部30およびケーブル5が撮像ユニット20に取り付けられた後、光源装置2および撮像ユニット20および画像処理装置3の電源が投入され、これらが駆動される。
次に、操作者により硬質挿入部30が腹腔内に挿入され、硬質挿入部30の先端が被観察部の近傍に設置される。
ここで、最初に通常画像を撮像して表示する作用について説明する。
まず、光源装置2の通常光源40から射出された通常光L1が、集光レンズ42、ダイクロイックミラー43および光ケーブルLCを介して硬質挿入部30に入射され、硬質挿入部30の照射窓30dから被観察部に照射される。
そして、通常光L1の照射によって被観察部から反射された反射光に基づく通常像L3が挿入部材30bの先端30Yから入射し、挿入部材30b内のレンズ群により導光されて撮像ユニット20に向けて射出される。
撮像ユニット20に入射された通常像L3は、ダイクロイックプリズム21により撮像素子26に向けて直角方向に反射され、第2結像光学系25により撮像素子26の撮像面上に結像され、撮像素子26によって撮像される。
撮像素子26から出力された通常画像信号は、撮像制御ユニット27においてCDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理が施された後、ケーブル5を介して画像処理装置3に出力される。
そして、画像処理装置3に入力された通常画像信号は、通常画像入力コントローラ31において一時的に記憶された後、メモリ34に格納される。そして、メモリ34から読み出された1フレーム毎の通常画像信号は、画像処理部33の通常画像処理部33aにおいて階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部35に順次出力される。
ビデオ出力部35は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ4に出力する。そして、モニタ4は、入力された表示制御信号に基づいて通常画像を表示する。
次に、蛍光画像を撮像する作用について説明する。なお、本実施形態においては、被観察部に予めICGが投与されており、このICGから発せられる蛍光を撮像するものとする。
まず、光源装置2のLD光源44から射出された特殊光L2が、集光レンズ46、ミラー47、ダイクロイックミラー43および光ケーブルLCを介して硬質挿入部30に入射され、硬質挿入部30の照射窓30dから被観察部に照射される。
そして、特殊光L2の照射によって被観察部から発せられた蛍光に基づく蛍光像L4が挿入部材30bの先端30Yから入射し、挿入部材30b内のレンズ群により導光されて撮像ユニット20に向けて射出される。
撮像ユニット20に入射された蛍光像L4は、ダイクロイックプリズム21および特殊光カットフィルタ22を通過した後、第1結像光学系23により高感度撮像素子24の撮像面上に結像され、高感度撮像素子24によって撮像される。
ここで、本実施形態においては、上述したような蛍光画像の撮像過程において、LD光源44から出力される特殊光L2の照射周期と高感度撮像素子24による蛍光画像の撮像周期とが異なる周期となるように制御される。
図6には、特殊光L2の被観察部への照射周期と高感度撮像素子24の撮像周期(フレーム周期)との関係を示すタイミングチャートと、高感度撮像素子24にフレーム毎に蓄積される電荷蓄積量とを示している。なお、高感度撮像素子24の撮像周期は予め設定されたおり、高感度撮像素子24においては、フレーム毎に所定の電荷蓄積期間Tだけ電荷信号が蓄積され、その蓄積電荷信号がフレーム毎に出力されるものとする。
具体的には、図6に示すように、特殊光L2の照射周期t2が、高感度撮像素子24の撮像周期t1よりも長くなるようにLD光源44はLDドライバ45により駆動制御される。本実施形態においては、高感度撮像素子24の撮像周期t1が1/10s(10Hz)に設定され、特殊光L2の照射周期t2が1/8s(8Hz)に設定されているものとする。なお、特殊光L2のパルス幅は、高感度撮像素子24の電荷蓄積期間Tと同じであるとする。
上述したように特殊光L2の照射周期t2と高感度撮像素子24の撮像周期t1とを異なる周期にすることによって、図6に示すように、互いの周期の位相がずれることになる。そして、高感度撮像素子24にフレーム毎に蓄積される電荷蓄積量は、高感度撮像素子24の電荷蓄積期間Tに被観察部の照射された特殊光L2の光量に比例することになるので、図6に示すように、フレームに応じて順次変化する。
そして、フレーム毎の電荷蓄積量に応じた蛍光画像信号が高感度撮像素子24から出力されるが、本実施形態のように高感度撮像素子24の撮像周期t1を1/10s(10Hz)とし、特殊光L2の照射周期t2を1/8s(8Hz)とした場合の蛍光画像信号の変化を図7に示す。なお、図7の縦軸は蛍光画像信号の相対値を示している。図7に示すように、高感度撮像素子24から出力される蛍光画像信号は、所定の周期をもって時間とともに増減する。そして、本実施形態のように高感度撮像素子24の撮像周期t1を1/10s(10Hz)とし、特殊光の照射周期t2を1/8s(8Hz)とした場合には、蛍光画像信号の変化の周期は1/2s(2Hz)となり、2Hzのうなりをもつものとなる。ただし、高感度撮像素子24の撮像周期と特殊光L2の照射周期とは、上記の周期に限らず、その他の周期を採用してもよく、また、これらの差も2Hzに限らず、たとえば、1Hz〜10Hz程度となるようにしてもよい。
そして、高感度撮像素子24から出力された蛍光画像信号は、撮像制御ユニット27においてCDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理が施された後、ケーブル5を介して画像処理装置3に出力される。
次に、上記のようにして撮像ユニット20において撮像された通常画像信号および蛍光画像信号に基づいて合成画像を表示する作用について説明する。
まず、画像処理装置3に入力された蛍光画像信号は、蛍光画像入力コントローラ32において一時的に記憶された後、メモリ34に格納される。そして、メモリ34から読み出された1フレーム毎の蛍光画像信号は、画像処理部33の蛍光画像処理部33bにおいて所定の画像処理が施された後、画像合成部33cに順次出力される。
一方、画像処理部33の通常画像処理部33aにおいて所定の画像処理が施された通常画像信号も画像合成部33cに順次出力される。
そして、画像合成部33cにおいては、入力された通常画像信号の各画素の信号に係数K1が掛け合わされるとともに、入力された通常画像信号の各画素の信号に係数K2が掛け合わされ、それぞれ係数の掛け合わされた通常画像信号と蛍光画像信号とが加算される。上述したように係数を掛け合わせるのは、通常画像信号と蛍光画像信号を加算した際、画像信号の大きさを表現可能なデータ量に対して飽和しないようにするためである。したがって、係数K1および係数K2としては、K1+K2=1の関係を満たす値が設定される。本実施形態においては、K1=0.5、K2=0.5に設定されているものとする。
そして、画像合成部33cにおいて生成された加算信号はビデオ出力部35に出力され、ビデオ出力部35は、入力された加算信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ4に出力する。そして、モニタ4は、入力された表示制御信号に基づいて合成画像を表示する。
図8に、モニタ4に表示される通常画像および合成画像の一例を示す。なお、図8においては、通常画像に現れる部分と蛍光画像に現れる部分(血管部分)とを明確にするために蛍光画像の一例を示しているが、蛍光画像については表示してもしなくてもよい。
そして、図8には、時間とともに変化する3つの状態の合成画像1〜3を示している。合成画像1〜3に示すように、蛍光画像に現れる部分(血管部分)については、時間とともに濃度が変化し、1秒間に2回の割合で強弱表示される。このように蛍光画像に現れる部分を所定の周期で強弱表示することによって明確に認識することができる。
また、上記実施形態においては、特殊光L2の照射周期と高感度撮像素子24の撮像周期とを異なる周期にすることによって蛍光画像信号にうなりを持たせるようにしたが、このような方法に限らず、たとえば、特殊光L2の照射周期と高感度撮像素子24の撮像周期とは同じにし、特殊光L2のパルス幅を時間とともに変化させるようにLDドライバ45を制御するようにしてもよい。
具体的には、図9に示すように、LDドライバ45の駆動電圧を変調する変調器49を設け、この変調器49によってLDドライバ45の駆動電圧が周期的に変化するように変調を施すようにすればよい。このようにLDドライバ45の駆動電圧に変調を施した場合におけるLD光源44から出力される特殊光L2のパターンを図10に示す。
図10に示すように、特殊光L2のパルス幅は時間とともに周期的に増減することになる。そして、この特殊光L2のパルス幅に応じた電荷が高感度撮像素子24に蓄積されることになるので、上記実施形態と同様に高感度撮像素子24から出力される蛍光画像信号にうなりをもたせることができる。
また、上記説明では、特殊光L2のパルス幅を増減させるようにしたが、すなわち、LDドライバ45の駆動電圧にパルス幅変調(PWM)をかけるようにしたが、これに限らず、変調器49によってLDドライバ45の駆動電圧に振幅変調(AM)を施すようにしてもよい。図11に、LDドライバ45の駆動電圧に振幅変調を施した場合におけるLD光源44から出力される特殊光L2のパターンを示す。図11に示すように、LDドライバ45の駆動電圧に振幅変調を施すことによって、特殊光L2の強度が時間とともに周期的に増減することになる。そして、この特殊光L2の強度に応じた電荷が高感度撮像素子24に蓄積されることになるので、上記実施形態と同様に高感度撮像素子24から出力される蛍光画像信号にうなりをもたせることができる。
また、上記実施形態においては、蛍光画像に現れる部分全体を強弱表示させるようにしたが、これに限らず、通常画像には現われておらず、蛍光画像にのみ現れる部分を強弱表示するようにしてもよい。蛍光画像にのみ現れる部分としては、たとえば、通常画像には現れない脂肪下に存在する深部血管などがある。
具体的には、図12に示すように、画像処理部33にさらに血管抽出部33dおよび画像演算部33eを設ける。この場合の作用について以下に説明する。
まず、所定の画像処理の施された通常画像信号および蛍光画像信号が、血管抽出部33dに入力される。そして、血管抽出部33dにおいて、通常画像信号および蛍光画像信号に対して血管抽出処理が施される。
血管抽出処理は、たとえば、エッジ検出を用いた線分抽出処理を行うことによって行われる。エッジ検出方法としては、たとえば、1次微分を用いたキャニー法や、ノイズを減らすためのガウシアンフィルタ処理と2次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたLOG(Laplace of Gaussian)フィルタを用いた方法などがある。
そして、血管抽出部33dにおいて生成された通常血管画像信号と蛍光血管画像信号とが画像演算部33eに出力され、これらの信号に基づいて深部画像生成処理が行われる。具体的には、蛍光血管画像信号から通常血管画像信号が減算されて深部血管画像信号が生成されるとともに、蛍光血管画像信号と通常血管画像信号の共通部分である共通血管画像信号が生成される。なお、深部血管画像信号は、脂肪下の深さ10分の数mmから深さ数mmまでに存在する血管画像を表すものとなる。
図13に、通常血管画像信号が表す血管画像V1,蛍光血管画像信号が表す血管画像V2、深部血管画像信号が表す深部血管画像V3,V4の一例を表す。なお、血管画像V1は、共通血管画像信号が表す血管画像でもある。
そして、画像演算部33eにおいて生成された深部血管画像信号のみが画像合成部33cに出力され、画像合成部33cにおいて、上記実施形態と同様に、通常画像信号の各画素の信号に係数K1が掛け合わされるとともに、深部血管画像信号の各画素の信号に係数K2が掛け合わされ、それぞれ係数の掛け合わされた通常画像信号と蛍光画像信号とが加算される。
そして、画像合成部33cにおいて生成された加算信号はビデオ出力部35に出力され、ビデオ出力部35は、入力された加算信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ4に出力する。そして、モニタ4は、入力された表示制御信号に基づいて合成画像を表示する。合成画像においては、深部血管画像K3,K4のみが強弱表示されることになる。
また、上記実施形態においては、第1の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
また、上記実施形態においては、血管画像を抽出するようにしたが、これに限らず、たとえば、リンパ管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。
また、上記実施形態は、本発明の画像表示装置を腹腔鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
1 腹腔鏡システム
2 光源装置
3 画像処理装置
4 モニタ
10 硬性鏡撮像装置
20 撮像ユニット
24 高感度撮像素子
26 撮像素子
30 硬質挿入部

Claims (4)

  1. 通常光を射出する通常光源部および前記通常光とは異なる波長帯域の特殊光を射出する特殊光源部とを有し、前記通常光および前記特殊光を被観察部に照射する光照射部と、
    前記通常光の照射によって前記被観察部から反射された反射光を光電変換して電荷を蓄積することによって通常画像を撮像する通常画像用撮像素子と前記特殊光の照射によって前記被観察部から発せられた光を光電変換して電荷を蓄積することによって特殊画像を撮像する特殊画像用撮像素子とを備えた撮像部と、
    該撮像部によって撮像された通常画像と特殊画像とを合成した合成画像を表示する表示部と、
    前記特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように前記特殊光源部を制御する光源制御部とを備えたことを特徴とする画像表示装置。
  2. 前記光源制御部が、前記特殊画像用撮像素子の撮像周期とは異なる周期で前記特殊光を前記特殊光源部から射出させるものであることを特徴とする請求項1記載の画像表示装置。
  3. 前記光源制御部が、前記特殊画像用撮像素子の撮像周期に応じた周期で前記特殊光を前記特殊光源部から射出させるとともに、該特殊光のパルス幅が周期的に変化するように前記特殊光源部を制御するものであることを特徴とする請求項1記載の画像表示装置。
  4. 前記光源制御部が、前記特殊画像用撮像素子の撮像周期に応じた周期で前記特殊光を前記特殊光源部から射出させるとともに、該特殊光の振幅が周期的に変化するように前記特殊光源部を制御するものであることを特徴とする請求項1記載の画像表示装置。
JP2009258665A 2009-11-12 2009-11-12 画像表示装置 Expired - Fee Related JP5320268B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009258665A JP5320268B2 (ja) 2009-11-12 2009-11-12 画像表示装置
US12/939,667 US20110109761A1 (en) 2009-11-12 2010-11-04 Image display method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009258665A JP5320268B2 (ja) 2009-11-12 2009-11-12 画像表示装置

Publications (2)

Publication Number Publication Date
JP2011101771A JP2011101771A (ja) 2011-05-26
JP5320268B2 true JP5320268B2 (ja) 2013-10-23

Family

ID=43973900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009258665A Expired - Fee Related JP5320268B2 (ja) 2009-11-12 2009-11-12 画像表示装置

Country Status (2)

Country Link
US (1) US20110109761A1 (ja)
JP (1) JP5320268B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004197B2 (en) 2016-12-28 2021-05-11 Sony Corporation Medical image processing apparatus, medical image processing method, and program

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5997906B2 (ja) * 2012-01-30 2016-09-28 Hoya株式会社 内視鏡システム及び内視鏡用光源装置
JP6396577B2 (ja) * 2015-03-19 2018-09-26 オリンパス株式会社 内視鏡装置
JP6277227B2 (ja) * 2016-06-09 2018-02-07 Hoya株式会社 内視鏡システム
WO2018100732A1 (ja) 2016-12-02 2018-06-07 オリンパス株式会社 内視鏡用画像処理装置
US12059133B2 (en) 2019-02-18 2024-08-13 Sony Olympus Medical Solutions Inc. Light source apparatus, medical observation system, adjustment apparatus, illumination method, adjustment method, and program
WO2021039870A1 (ja) * 2019-08-27 2021-03-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
JP2022082350A (ja) * 2020-11-20 2022-06-01 ソニー・オリンパスメディカルソリューションズ株式会社 光源制御装置及び医療用観察システム
JP2024095406A (ja) * 2022-12-28 2024-07-10 株式会社アドバンテスト 蛍光検出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910816A (en) * 1995-06-07 1999-06-08 Stryker Corporation Imaging system with independent processing of visible an infrared light energy
JP3525235B2 (ja) * 1995-12-06 2004-05-10 松下電器産業株式会社 光診断装置
CA2318180A1 (en) * 1998-01-26 1999-07-29 Massachusetts Institute Of Technology Fluorescence imaging endoscope
JP2000210246A (ja) * 1999-01-25 2000-08-02 Fuji Photo Film Co Ltd 蛍光観察装置
KR200175839Y1 (ko) * 1999-10-23 2000-03-15 이석재 안경과 클립의 결합구조
US7172553B2 (en) * 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
JP3884265B2 (ja) * 2001-10-22 2007-02-21 オリンパス株式会社 内視鏡装置
JP2005204905A (ja) * 2004-01-22 2005-08-04 Pentax Corp 光の照射制御機能を有する電子内視鏡装置
JP5461753B2 (ja) * 2004-07-30 2014-04-02 オリンパス株式会社 内視鏡装置
WO2006088039A1 (ja) * 2005-02-16 2006-08-24 Nikon Corporation 撮影用照明装置およびカメラ
JP4780980B2 (ja) * 2005-03-11 2011-09-28 富士フイルム株式会社 内視鏡装置
JP5131951B2 (ja) * 2006-02-21 2013-01-30 富士フイルム株式会社 体腔内観察装置
JP2007334311A (ja) * 2006-05-18 2007-12-27 Nippon Hoso Kyokai <Nhk> 可視光・赤外光撮影光学系
US8078265B2 (en) * 2006-07-11 2011-12-13 The General Hospital Corporation Systems and methods for generating fluorescent light images
US7839571B2 (en) * 2007-03-30 2010-11-23 Fujinon Corporation Color-separation optical system and imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004197B2 (en) 2016-12-28 2021-05-11 Sony Corporation Medical image processing apparatus, medical image processing method, and program

Also Published As

Publication number Publication date
JP2011101771A (ja) 2011-05-26
US20110109761A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
JP5320268B2 (ja) 画像表示装置
JP5435796B2 (ja) 画像取得装置の作動方法および画像撮像装置
JP5385350B2 (ja) 画像表示方法および装置
JP5358368B2 (ja) 内視鏡システム
JP5351924B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
JP6533358B2 (ja) 撮像装置
JP2011200367A (ja) 画像撮像方法および装置
JP5502812B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
JP5191329B2 (ja) 画像取得装置
JP5329593B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
US20100245552A1 (en) Image processing device, imaging device, computer-readable storage medium, and image processing method
KR101050882B1 (ko) 생체 관측 시스템
US9596982B2 (en) Endoscope system and composite image generation method
EP3610779A1 (en) Image acquisition system, control device, and image acquisition method
JP5385176B2 (ja) 画像表示装置の作動方法および画像表示装置
JP2013000176A (ja) 内視鏡システム、内視鏡システムの光源装置、及び光量制御方法
WO2016117277A1 (ja) 内視鏡システム
JP5948203B2 (ja) 内視鏡システム及びその作動方法
JP5399187B2 (ja) 画像取得装置の作動方法および画像取得装置
JP2007143647A (ja) 電子内視鏡装置
JP2009142415A (ja) 内視鏡システム
JP5637783B2 (ja) 画像取得装置およびその作動方法
JP5570352B2 (ja) 画像撮像装置
JP2010119742A (ja) 内視鏡装置およびその制御方法
JP2011110272A (ja) 内視鏡装置

Legal Events

Date Code Title Description
RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130712

R150 Certificate of patent or registration of utility model

Ref document number: 5320268

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees