JP5355820B2 - 画像処理装置及び内視鏡システム - Google Patents

画像処理装置及び内視鏡システム Download PDF

Info

Publication number
JP5355820B2
JP5355820B2 JP2013507490A JP2013507490A JP5355820B2 JP 5355820 B2 JP5355820 B2 JP 5355820B2 JP 2013507490 A JP2013507490 A JP 2013507490A JP 2013507490 A JP2013507490 A JP 2013507490A JP 5355820 B2 JP5355820 B2 JP 5355820B2
Authority
JP
Japan
Prior art keywords
image
band
enhancement
band images
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013507490A
Other languages
English (en)
Other versions
JPWO2013042395A1 (ja
Inventor
誠 五十嵐
健二 山▲崎▼
徹緒 野波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Medical Systems Corp
Original Assignee
Olympus Corp
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Medical Systems Corp filed Critical Olympus Corp
Priority to JP2013507490A priority Critical patent/JP5355820B2/ja
Application granted granted Critical
Publication of JP5355820B2 publication Critical patent/JP5355820B2/ja
Publication of JPWO2013042395A1 publication Critical patent/JPWO2013042395A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • G06T5/73
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Description

本発明は、画像処理装置及び内視鏡システムに関し、特に、被検体内で撮像して得られた医用画像を表示するための画像処理装置及び内視鏡システムに関する。
従来より、医療分野において、内視鏡を用いた低侵襲な各種検査や手術が行われている。術者は、体腔内に内視鏡を挿入し、内視鏡挿入部の先端部に設けられた撮像装置により撮像された被写体を観察し、必要に応じて処置具チャンネル内に挿通した処置具を用いて病変部に対して処置をすることができる。内視鏡を用いた手術は、開腹等をすることがないため、患者の身体的負担が少ないというメリットがある。
内視鏡装置は、内視鏡と、内視鏡に接続された画像処理装置と、観察モニタとを含んで構成される。内視鏡挿入部の先端部に設けられた撮像素子により病変部が撮像され、モニタにその画像が表示される。術者は、モニタに表示された画像を見ながら、診断あるいは必要な処置を行うことができる。
最近は、狭帯域光も用いて、被検体の生体組織の表面下の毛細血管を表示させる内視鏡装置も開発されている。そのような内視鏡装置は、所定の狭帯域の照明光を当ててその反射光から各狭帯域画像を得、あるいは白色光の照明光を当ててその反射光の画像に対して分光推定処理によって所定の狭帯域画像を得て、毛細血管を表示させている。
また、例えば、日本特開2000−148987号公報に開示のように、粘膜表面の微細構造あるいは微妙な色調変化などを明瞭に観察することができるようにするために、RGB画像から所望の周波数成分を抽出して、抽出した周波数成分の信号レベルの大きさを変更するようにした画像処理装置も提案されている。
さらにまた、内視鏡装置には、例えば、波長805nm付近の近赤外光に吸収ピークの特性を持つインドシアニングリーン(ICG)を薬剤として患者の血中に注入し、光源装置から波長805nm付近及び930nm付近の赤外光を時分割で被写体に照射して、内部の血管を観察することができる赤外内視鏡装置も提案されている。
しかし、上述した従来のこれらの装置では、生体組織表面下の任意の深さにおける血管等を画像化することができなかった。
生体組織の表面下で画像化したいものには、粘膜の表層近くにある病変近傍の血管、粘膜の深い位置にある比較的太い血管、粘膜下腫瘍、など、種々の深さの血管、病変部等の対象があるが、生体組織表面下の任意の深さの位置におけるこのような対象などを、他の深さの血管等よりも強調して画像化することはできなかった。
例えば、内視鏡を用いて、病変部の存在する粘膜下層を切開し、剥離する内視鏡的粘膜下層剥離術(以下、ESD(Endoscopic Submucosal Dissection)という)等では、電気メスなどによって組織中の比較的太い血管を切ってしまわないようにするためにも、組織表面から下の任意の位置における生体情報は、重要である。
また、上述した赤外内視鏡装置の場合は、インドシアニングリーン(ICG)を薬剤として患者の血中に注入しなければならず、生体組織の表面下の血管の描画は簡単ではなく、かつ、照明光の波長が近赤外光の波長であるため、画像における血管がぼやけてしまうという問題もある。
以上のように、従来の装置では、画像化したい血管等について生体組織の表面下の深さ方向の任意性がなく、所望の深さの血管等だけを強調して画像化することはできなかった。
そこで、本発明は、生体組織の表面下の所望の深さの画像化したい血管等を強調して画像化することができる画像処理装置及び内視鏡システムを提供することを目的とする。
本発明の一態様の画像処理装置は、被検体内で撮像された医用画像を入力する画像入力部と、前記医用画像に対して複数の波長帯域画像のそれぞれについて複数の空間周波数帯域画像に分解処理を行って複数の帯域画像を生成する帯域分解処理部と、前記帯域分解処理部により生成された前記複数の帯域画像の中から前記被検体内の観察対象に応じて選択された2以上の帯域画像の波長帯域又は空間周波数帯域を軸として形成された空間もしくはその空間が射影された他の空間である特徴空間内における前記被検体内の観察対象が分布する領域に対して強調量を設定する強調量設定部と、前記強調量設定部により設定された強調量に基づいて、前記選択された2以上の帯域画像に対して強調処理を行う強調処理部と、前記強調処理部により強調された前記選択された2以上の帯域画像を含む前記複数の帯域画像に対して、色調を調整するための色変換処理を行う色変換処理部と、前記色変換処理部により色変換処理がされた複数の帯域画像を波長画像毎に積分して画像を生成する画像生成部と、を備える。
本発明の一態様の内視鏡システムは、被検体に対して複数の波長帯域を有する光を照射する照明部と、前記照明部により前記被検体に照射された光の戻り光を撮像する撮像部と、前記撮像部により撮像された信号から複数の波長帯域画像が生成されるとともに、当該複数の波長帯域画像の各々に対して複数の空間周波数帯域に分解処理を行って複数の帯域画像を生成する帯域分解処理部と、前記帯域分解処理部により生成された前記複数の帯域画像の中から選択された2以上の帯域画像の波長帯域又は空間周波数帯域を軸として形成された空間もしくはその空間が射影された他の空間である特徴空間内における前記被検体内の生体粘膜の深さ方向に存在する血管が分布する領域に対して強調量を設定する強調量設定部と、前記強調量設定部により設定された強調量に基づいて、前記選択された2以上の帯域画像に対して強調処理を行う強調処理部と、前記強調処理部により強調された前記選択された2以上の帯域画像を含む前記複数の帯域画像に対して、色調を調整するための色変換処理を行う色変換処理部と、前記色変換処理部により色変換処理がされた複数の帯域画像を波長画像毎に積分して画像を生成する画像生成部と、前記画像生成部から出力された積分画像を表示信号として出力する表示信号出力部と、前記表示信号出力部からの前記表示信号に基づいて表示を行う表示部と、を備えたことを特徴とする。
本発明の実施の形態に係わる内視鏡システムの構成を示す構成図である。 本発明の実施の形態に係わる回転フィルタ14の構成を示す図である。 本発明の実施の形態に係わる狭帯域観察における全体の処理の流れを説明するための図である。 本発明の実施の形態に係わる、複数の波長画像から複数の周波数帯域の画像を生成して、その生成された複数の周波数帯域の画像に対して、強調処理等をする処理を説明するための図である。 本発明の実施の形態に係わる、強調処理を行う領域を含む特徴空間を説明するための図である。 本発明の実施の形態に係わる、極座標を用いて設定された強調テーブルの例を示す図である。 本発明の実施の形態に係わる強調係数テーブルの設定の処理のフローチャートである。 本発明の実施の形態に係わる、複数の領域を強調する場合を説明するための図である。 本発明の実施の形態に係わる、複数の色変換マトリクスを用いる例を説明するための図である。 本発明の実施の形態に係わる、所望の深さの血管が強調されることを説明するための図である。 本発明の実施の形態に係わる、複数の波長画像から複数の周波数帯域の画像を生成して、その生成された複数の周波数帯域の画像に対して、複数の所望の深さの対象に対して強調処理等する処理を説明するための図である。 本発明の実施の形態の変形例に係わる、図5における3軸を2軸に射影して2つの特徴空間を形成した場合を説明するための図である。 本発明の実施の形態の変形例3に係わる、図5における3軸を2軸に射影して2つの特徴空間を形成した場合を説明するための図である。 本発明の実施の形態の変形例4に係わる、ある波長λ1,λ2の2軸の2次元の特徴空間CScにおける領域Rと、アーチファクトAFを示す図である。 本発明の実施の形態の変形例4に係わる、図14の特徴空間CScを、別の特徴空間CSdに射影したときの領域RとアーチファクトAFを示す図である。
以下、図面を参照して本発明の実施の形態を説明する。
(構成)
図1は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。
図1に示すように、本実施の形態の内視鏡システム1は、体腔内に挿入し体腔内組織を撮像する生体画像情報取得手段として撮像素子であるCCD2を有する電子内視鏡3と、電子内視鏡3に照明光を供給する光源装置4と、電子内視鏡3のCCD2からの撮像信号を信号処理して内視鏡画像を観察モニタ5に表示するビデオプロセッサ7とから構成される。内視鏡システム1は、通常光観察モードと狭帯域光観察モードの2つのモードを有する。なお、以下の説明では、内視鏡システム1の通常光観察モードは、従来の通常光観察モードと同じであるので、通常光観察モードの構成の説明は簡単にして、主として狭帯域光観察モードについて説明する。
CCD2は、照明手段により被検体に照射された光の戻り光を撮像する撮像部あるいは撮像手段を構成する。
光源装置4は、照明部としての照明光(白色光)を発光するキセノンランプ11と、白色光の熱線を遮断する熱線カットフィルタ12と、熱線カットフィルタ12を介した白色光の光量を制御する絞り装置13と、照明光を面順次光にする帯域制限手段としての回転フィルタ14と、電子内視鏡3内に配設されたライトガイド15の入射面に回転フィルタ14を介した面順次光を集光させる集光レンズ16と、回転フィルタ14の回転を制御する制御回路17とを備えて構成される。キセノンランプ11、回転フィルタ14及びライトガイド15が、被検体に対して照明光を照明する照射部あるいは照射手段を構成する。
なお、図1において点線で示すように、光源装置4を、所望の波長、例えば第1のフィルタ群に対応するRGBの各波長と、第2のフィルタ群に対応する540nm付近と600nm付近と630nm付近の各波長を出射する複数の発光ダイオード(LED)からなる発光ダイオード群11aを有する発光部11Aを含むようにして構成してもよい。
例えば、図1において、キセノンランプ11、熱線カットフィルタ12、絞り装置13,回転フィルタ14等の代わりに、光源装置4に、点線で示す発光部11Aを設ける。さらに、光源装置4には、発光部11Aの各発光ダイオードを、各モードに応じて、所定のタイミングで駆動するための駆動回路11bが設けられる。複数のLED11aを有する発光部11Aが、電源10から電源を受け、制御回路17からの制御信号の下で、駆動回路11bにより制御されて駆動される。
さらになお、発光部11Aは、所定の複数の狭帯域光を出射するレーザダイオード(LD)を用いてもよい。よって、光源装置4は、被検体に対して複数の波長帯域を有する光を照射する照明部を構成する。
図2は、回転フィルタ14の構成を示す図である。波長帯域制限部あるいは波長帯域制限手段としての回転フィルタ14は、図2に示すように、円盤状に構成され、中心を回転軸とした構造となっており、2つのフィルタ群を有している。回転フィルタ14の外周側には、周方向に沿って、通常観察用の分光特性の面順次光を出力するためのフィルタ組を構成するR(赤)フィルタ部14r,G(緑)フィルタ部14g,B(青)フィルタ部14bが、第1のフィルタ群として、配置されている。
回転14の内周側には、周方向に沿って、3つの所定の狭帯域波長の光を透過させる2つのフィルタ14−540,14−600,14−630が、第2のフィルタ群として、配置されている。
フィルタ14−540は、狭帯域光として、波長540nm付近の光を透過させるように構成されている。フィルタ14−600は、狭帯域光として、波長600nm付近の光を透過させるように構成されている。フィルタ14−630は、狭帯域光として、波長630nm付近の光を透過させるように構成されている。
なお、フィルタ14−540は、狭帯域光として、波長460nm付近の光、あるいは波長415nm付近の光を透過させるものでもよい。
また、フィルタは3つでなく2つでも4つ以上でも良い。2つの場合は、例えば波長540nmと600nmの組合せ、波長540nmと630nmの組合せあるいは波長460nmと600nmの組合せが可能である。4つの場合は、例えば波長460nm、540nm、600nm及び630nmの組合せが可能である。
本実施の形態においては、狭帯域光としては、可視域の赤色帯域で、かつヘモグロビン吸光特性が急激に減衰する波長600nm付近と波長630nm付近の光を用いている。ここで「付近」とは、波長600nm付近の場合は、中心波長が600nmで、波長600nmを中心に、幅が、例えば20nm(すなわち波長600nmの前後である波長590nmから610nm)の範囲の分布を有する狭帯域光であることを意味する。他の波長である、波長630nm、及び後述する波長540nmについても同様である。
回転フィルタ14は、照明光の出射部であるキセノンランプ11からCCD2の撮像面に至る光路上に配置され、照明光の複数の波長帯域のうち少なくとも2つの波長帯域を狭めるように制限する。
そして、制御回路17は、回転フィルタ14を回転させるためのモータ18を制御して、回転フィルタ14の回転を制御する。
モータ18には、ラック19aが接続され、ピニオン19bには、図示しないモータが接続され、ラック19aは、ピニオン19bに螺合するように取り付けられている。制御回路17は、ピニオン19bに接続されたモータの回転を制御することによって、回転フィルタ14を矢印dで示す方向に移動することができる。よって、制御回路17は、後述するユーザによるモード切替操作に応じて、第1のフィルタ群又は第2のフィルタ群を選択する。
なお、キセノンランプ11、絞り装置13、回転フィルタモータ18、及びピニオン19bに接続されたモータ(図示せず)には電源部10より電力が供給される。
画像処理装置としてのビデオプロセッサ7は、CCDドライバであるCCD駆動回路20、アンプ22、プロセス回路23、A/D変換器24、ホワイトバランス回路(以下、W.Bという)25、セレクタ100、画像処理部101、セレクタ102、γ補正回路26、拡大回路27、強調回路28、セレクタ29、同時化メモリ30、31,32、画像処理回路33、D/A変換器34,35,36、タイミングジェネレータ(以下、T.Gという)37、制御回路200、表示画像生成手段としての合成回路201とを備えて構成される。
CCD駆動回路20は、電子内視鏡3に設けられたCCD2を駆動し、回転フィルタ14の回転に同期した面順次の撮像信号を出力するものである。また、アンプ22は電子内視鏡3の先端に設けられている対物光学系21を介してCCD2により体腔内組織を撮像した面順次の撮像信号を増幅するものである。
プロセス回路23は、アンプ22を介した面順次の撮像信号に対して相関2重サンプリング及びノイズ除去等を行う。A/D変換器24は、プロセス回路23を経た面順次の撮像信号をデジタル信号の面順次の画像信号に変換する。
W.B25は、A/D変換器24によりデジタル化された面順次の画像信号に対して、例えば画像信号のG信号を基準に画像信号のR信号と画像信号のB信号の明るさが同等となるようにゲイン調整を行いホワイトバランス処理を実行する。
セレクタ100は、W.B25からの面順次の画像信号を画像処理部101内の各部に振り分けて出力する。
電子内視鏡3からの撮像信号を入力して処理する、アンプ22、プロセス回路23、A/D変換器24、W.B25及びセレクタ100が、被検体内で撮像された医用画像を入力する画像入力部を構成する。
画像処理部101は、前記セレクタ100からの通常光観察用のRGBの画像信号又は狭帯域光観察用の2つの画像信号を、表示用の画像信号に変換する画像信号処理部あるいは画像信号処理手段である。画像処理部101は、モード信号に基づく制御回路200からの選択信号SSに応じて、通常光観察モード時及び狭帯域光観察モード時の画像信号を、セレクタ102へ出力する。
セレクタ102は、画像処理部101からの通常光観察用画像信号と狭帯域光観察用画像信号の面順次の画像信号をγ補正回路26及び合成回路201に順次出力する。
γ補正回路26は、セレクタ102あるいは合成回路201からの面順次の画像信号に対してγ補正処理を施す。拡大回路27は、γ補正回路26にてγ補正処理された面順次の画像信号を拡大処理する。強調回路28は、拡大回路27にて拡大処理された面順次の画像信号に輪郭強調処理を施す。セレクタ29及び同時化メモリ30、31,32は、強調回路28からの面順次の画像信号を同時化するためのものである。
画像処理回路33は、同時化メモリ30、31,32に格納された面順次の各画像信号を読み出し、動画色ずれ補正処理等を行う。D/A変換器34,35,36は、画像処理回路33からの画像信号を、RGBのアナログの映像信号に変換し観察モニタ5に出力する。T.G37は、光源装置4の制御回路17から、回転フィルタ14の回転に同期した同期信号を入力し、各種タイミング信号を上記ビデオプロセッサ7内の各回路に出力する。セレクタ102からD/A変換器34,35,36までの回路が、画像処理部101から出力された、後述する帯域画像を表示信号として出力する表示信号出力部を構成する。そして、観察モニタ5は、その表示信号出力部からの表示信号に基づいて表示を行う表示部を構成する。
また、電子内視鏡2には、通常光観察モード及び狭帯域光観察モードの切替のためのモード切替スイッチ41が設けられており、このモード切替スイッチ41の出力がビデオプロセッサ7内のモード切替回路42に出力されるようになっている。ビデオプロセッサ7のモード切替回路42は、制御信号を調光制御パラメータ切替回路44及び制御回路200に出力するようになっている。調光回路43は、調光制御パラメータ切替回路44からの調光制御パラメータ及びプロセス回路23を経た撮像信号に基づき、光源装置4の絞り装置13を制御し適正な明るさ制御を行うようになっている。
ビデオプロセッサ7内の各回路は、指定されたモードに応じた所定の処理を実行する。通常光観察モードと狭帯域光観察モードのそれぞれに応じた処理が実行されて、観察モニタ5には、通常光観察用画像あるいは狭帯域光観察画像が表示される。
(全体の処理の流れ)
次に、本実施の形態における狭帯域観察の全体の流れを簡単に説明する。
図3は、本実施の形態における狭帯域観察における全体の処理の流れを説明するための図である。
術者は、内視鏡の挿入部を体腔内に挿入し、通常観察モード下で、内視鏡挿入部の先端部を病変部近傍に位置させる。術者は、処置対象の病変部を確認すると、粘膜下、深さdの位置を走行する、比較的太い、例えば直径が1〜2mmの、血管61を観察するために、モード切替スイッチ41を操作して、内視鏡システム1を狭帯域観察モードに切り替える。ここでは、血管61が、観察対象であり、生体粘膜の深さ方向に存在する対象物である。
狭帯域観察モード下では、内視鏡システム1の制御回路17は、第2のフィルタ群を透過した光を、光源装置4から出射するように、ピニオン19bに接続されたモータを制御して、回転フィルタ14の位置を移動させる。さらに、制御回路200も、狭帯域波長による観察のための画像処理を行うように、ビデオプロセッサ7内の各種回路を制御する。
図3に示すように、狭帯域モードでは、照明光発生部51から、狭帯域波長の照明光が、内視鏡3の挿入部の先端部から出射され、粘膜層を透過して、粘膜下層及び固有筋層を走行する血管61に照射される。ここで、照明光発生部51は、光源装置4、回転フィルタ14、ライトガイド15等を含んで構成され、内視鏡挿入部の先端から照明光を出射する。回転フィルタ14の回転により、波長540nm付近の狭帯域光、波長600nm付近の狭帯域光及び波長630nm付近の狭帯域光が、交互に、光源装置4から出射されて、被写体に照射される。
波長540nm付近の狭帯域光、波長600nm付近の狭帯域光及び波長630nm付近の狭帯域光の反射光は、それぞれCCD2である反射光受光部52により受光される。CCD2は、それぞれの反射光の撮像信号を出力し、アンプ22等を介して、セレクタ100へ供給される。セレクタ100は、T.G37からの所定のタイミングに応じて、各波長の画像(以下、波長画像という)を保持して、画像処理部101に供給する。ここでは、3つの波長画像(波長540nm付近の画像(以下、λ1画像という)、波長600nm付近の画像(以下、λ2画像という)及び波長630nm付近の画像(以下、λ3画像という))が、画像処理部101に供給する。
画像処理部101で処理された画像信号は、セレクタ102に出力され、その後γ補正等の処理がされて、観察モニタ5に、被写体像が表示される。
(画像処理部の構成)
画像処理部101は、図3に示す帯域分解処理部111、強調処理部112及び色変換処理部113を有する。画像処理部101は、ここでは、3つの波長画像を入力して、帯域分解処理、強調処理及び色変換処理を施して各波長画像を出力する。
(1)帯域分解処理(空間周波数分割処理)
帯域分解処理部111は、空間周波数分割処理により、各波長画像に対して、空間周波数分割処理を行う。図4は、複数の波長画像から複数の周波数帯域の画像を生成して、その生成された複数の周波数帯域の画像に対して、強調処理等をする処理を説明するための図である。
帯域分解処理部111は、図4に示すように、λ1画像を、空間周波数解析により、例えば空間周波数分割処理により、N個(Nは、1以上の自然数)の空間周波数帯域の画像(以下、帯域画像という)に分割する。同様に、帯域分解処理部111は、λ2画像とλ3画像も、それぞれN個の帯域画像に分割する。すなわち、帯域分解処理部111は、m個(mは、2以上の自然数)の波長画像のそれぞれについて、1又は2以上のN個の帯域画像を生成する。ここでは、mは3であり、λ1画像、λ2画像とλ3画像の3つの狭帯域画像から、3×N個の帯域画像が生成される。
なお、Nが1の場合は、3つの帯域画像が生成される。このときは、波長画像をそのまま帯域画像として、次の強調処理が施されるようにしてもよい。
従って、帯域分解処理部111は、医用画像に対して複数の波長帯域に分解処理を行い、又は医用画像の波長帯域毎に複数の空間周波数帯域に分解処理を行って、複数の帯域画像を生成する帯域分解処理手段あるいは空間周波数分割処理手段を構成する。
N個の空間周波数帯域は、ここでは、空間周波数fr1、fr2、・・・、frNの帯域である。以下、λ1画像の空間周波数fr1の帯域画像をλ1(1)画像と、λ1画像の空間周波数fr2の帯域画像をλ1(2)画像と、いうように、λm画像の空間周波数frk(kは、1〜Nのいずれか)の帯域画像を、λm(k)画像という。
各帯域画像は、例えば、各波長画像に対して、各空間周波数frkに対応するマスクを用いた空間周波数フィルタリング処理を行うことにより生成される。
(2)強調処理
強調処理部112は、帯域分解処理部111において生成された複数の帯域画像の中から選択された1又は2以上の帯域画像に対して、強調処理を実行する。図4は、一点鎖線の枠で囲った帯域画像λ1(2)、λ2(2)及びλ3(2)が選択されて強調処理が行われることを示している。
強調処理は、選択された各帯域画像を強調する処理であり、各帯域画像の各画素の画素値に、所定の強調係数を乗算する等の処理により行われる。ここでは、各画素値に対する強調係数を保持するテーブルTBL(図1参照)を用いて、そのテーブルデータに基づき、各帯域画像は強調される。
図5は、強調処理を行う領域を含む特徴空間を説明するための図である。
なお、ここでは、3つの狭帯域光の波長軸により形成された特徴空間CSの例を説明するが、特徴空間は、複数の狭帯域光の中から選択した、2つの波長軸の特徴空間、あるいは、後述する図11に示すように4以上の波長軸の特徴空間でもよい。さらに、特徴空間は、狭帯域光の波長軸に空間周波数軸を加えた多軸の特徴空間、あるいは複数の空間周波数軸のみからなる特徴空間でもよい。
図5において、点線で示す領域Rは、各波長λ1、λ2,λ3の3つの軸からなる特徴空間CSにおける、所望の深さの血管画像の画素分布を示している。所望の深さの血管が、観察したい対象であり、生体粘膜の深さ方向に存在する対象物である。すなわち、図5に示す特徴空間CSの領域R内に存在する画素値の画像が、ある所望の深さdの血管の画像に対応する。そして、その血管を強調表示するための、領域R内に存在する画素に対する強調係数は、特徴空間CS内の位置によって異なっている。
図5において、点iは、領域R内の、ある画素値データに対応する点を示し、点iの原点からのベクトルが、点ベクトルIVとして示されている。各強調係数αは、例えば、特徴空間CS内の領域Rに対応する基準ベクトルRVに対する点ベクトルIVのなす角度θに応じて異なるように、予め設定されている。領域Rの画素を強調するために、基準ベクトルRVとの成す角度θが大きいほど強調係数が小さくなるように、各強調係数αは、設定される。すなわち、特徴空間CS内の所定の分布データに対して基準ベクトルRVを設定し、特徴空間CS内の観察対象に対して角度変位量を算出することにより強調量が設定される。
強調係数の設定は、制御回路200により設定される。ここでは、制御回路200は、図示しないプロセッサ7の操作パネルあるいはキーボード等への入力に基づいて、強調量である強調係数データを、画像処理部101のテーブルTBLにテーブルデータとして格納することにより設定する。強調係数データは、ユーザにより決定される。
よって、制御回路200及び操作パネルは、特徴空間内における、所望の深さの観察対象が分布する領域に対して強調量を設定する強調量設定部を構成する。そして、その強調量設定部により設定された強調量に基づいて、選択された2以上の帯域画像に対して強調処理が行われる。
なお、各波長λ1、λ2,λ3の3つの軸からなる特徴空間CS内の点の座標を極座標変換して、強調係数αを、極座標で規定するようにしてもよい。その場合、図5において、極座標は、天頂角θと、方位角φにより規定される。
図6は、極座標を用いて設定された強調テーブルの例を示す図である。強調係数テーブルTBLは、基準ベクトルRVに対する画素値の位置についての極座標に基づくテーブルである。テーブルTBLは、極座標である、天頂角θと方位角φによって決まる強調量のデータを保持している。図6において、α(x、y)は、方位角φxと天頂角θyに対応する強調係数を示している。
図4の場合、帯域画像λ1(2)、λ2(2)、λ3(2)が選択されて強調処理が施される。
帯域画像λ1(2)、λ2(2)、λ3(2)の各画像フレーム内の各画素は、図5の特徴空間CS内のいずれかの位置にマッピングされる。例えば、特徴空間CS内にマッピングされたある画素に対応する点iのベクトルIVと、基準ベクトルRVとのなす角度θとした場合、各帯域画像の画素に対して、強調する角度範囲は、0≦θ≦±(π/2)であって特に領域R内の画素を含む範囲とし、その範囲以外及びθ≧±(π/2)の領域では強調しないように、強調係数αは設定される。すなわち、図5において、基準ベクトルRVに直交する平面をRPとすると、特徴空間内の平面RPに対して基準ベクトルRV側の画素に対しては、強調処理を行い、特徴空間内の平面RPに対して基準ベクトルRV側でない画素に対しては、強調処理を行わない。
強調処理に用いられる画素に対する強調係数αは、例えば次の式により決定される。αiは、特徴空間内の点iについての、強調係数を示す。
αi=(((π/2)−θ) ・・・式(1)
ここで、rは、任意の実数である。
特徴空間CS内の領域R内の各点に対する強調係数αは、強調処理時に、点毎に式(1)から演算により求めて、点iに対応する画素の画素値に乗算等するようにしてもよいが、ここでは、上述したように、強調処理を高速に行うようにするために、強調係数αを特徴空間CS内の点毎に上記式(1)から予め算出して、画像処理部101内のメモリ内に強調係数テーブルTBLとして格納しておき、画像処理部101の強調処理部112は、強調処理を行うときにその強調係数テーブルTBLのデータを用いて画素値に乗算等を行う。
ここで、強調係数テーブルTBLの設定について説明する。
図7は、強調係数テーブルの設定の処理のフローチャートである。ユーザは、組織表面の深さに応じて、特徴空間CSの2以上の軸と、領域を設定すなわち選択する(S1)。図5の例では、λ1画像の波長540nmの波長λ1と、λ2画像の波長600nmの波長λ2と、λ3画像の波長630nmの波長λ3の軸と、3つの軸により形成される特徴空間CS内の領域Rが設定される。特徴空間CSの軸の設定は、生体組織表面下の所望の深さdの観察対象に応じて異なっている。
よって、S1の処理は、帯域分解処理部111により複数に分解された波長帯域又は複数の空間周波数帯域について、被検体内の観察対象に応じて複数の帯域から任意の帯域を選択して特徴空間を形成する特徴空間形成手段を構成する。
ユーザは、設定した領域についての強調係数を決定する(S2)。図5の例では、領域R内の各点における強調量が、上述した式(1)に基づき算出され、決定される。
ユーザは、S2において算出されて決定された各強調係数を、強調係数テーブルTBLに格納して設定する(S3)。
以上の処理は、ユーザにより特徴空間と強調処理を行う領域が指定されると、ユーザは、パーソナルコンピュータなどを用いて、S1〜S3の処理を実行することにより、強調係数を決定して強調係数テーブルTBLに設定することができる。
以上のようにして、各画素についての強調量が、強調係数テーブルTBLに設定される。
設定された強調係数テーブルTBLを用いて、図4の場合、所望の深さの血管等を強調するために選択された帯域画像λ1(2)、λ2(2)及びλ3(2)における、上記特徴空間CS内の領域Rの画素について、強調処理が施される。
3つの波長画像(λ1画像、λ2画像、λ3画像)には、アーチファクトAFや背景粘膜BMの画像も含まれるが、上述したように、所望の領域の画像のみを強調するので、アーチファクトAFや背景粘膜BMの画像は、強調されない。図5には、アーチファクトAFの領域が示されている。例えば、アーチファクトAFは、組織を切開し剥離の際に生じた組織損傷部(黒色領域など)の領域である。
すなわち、このようなアーチファクトAFや背景粘膜BM等の領域を除いて、領域Rのみを強調するように、領域Rに対応する強調係数テーブルTBLが作成されることによって、帯域画像λ1(2)、λ2(2)及びλ3(2)が強調される。
さらになお、図5の例では、領域Rのみを強調するように、強調係数テーブルTBLが作成されているが、上記の特徴空間CS内の複数の領域を強調するように、複数の強調係数テーブルを作成してもよい。
図8は、複数の領域を強調する場合を説明するための図である。図8では、2つの領域R1,R2が設定され、その2つの領域R1,R2について強調係数が設定される。図8では、2つの領域R1,R2のそれぞれに基準ベクトルRV1,RV2が設定されている。それぞれの領域において、強調係数が決定されて、強調係数テーブルTBL1,TBL2に予め設定される。
図8に示すように、領域R1とR2のみが強調され、2つの基準ベクトルRV1、RV2に対する角度が大きくなる画素値ほど、強調係数は小さくなるので、アーチファクトの画像の領域AFや、背景粘膜の画像の領域BMの強調は弱くなる。
また、アーチファクトを複数設定して、領域Rの強調係数を設定するようにしてもよい。 図8に示すように、2つのアーチファクトAF,AF1が設定され、そのようなアーチファクトを強調しないように強調係数が設定可能であることが示されている。図8で、アーチファクトAF1は、例えば、インジゴカルミン等の色素の領域である。
図5及び図8にした特徴空間CS及び領域R,R1,R2は、それぞれ粘膜下の所望の深さにおける血管等に応じて、異なる観察対象によって決定される。よって、ユーザは、粘膜下における任意の深さの血管等を強調することができるように、強調したい粘膜下の所望の深さにおける血管等に応じて、特徴空間及び領域に対応する強調係数テーブルを予め作成しておく。そのようにすれば、ユーザは、粘膜下における強調したい深さの血管等を指定すると、対応する強調テーブルが選択されて、所望の深さの血管等を強調する強調処理が行われるようにすることができる。
そして、強調量は、特徴空間CS内において生体内における血管、背景粘膜、及びその他の対象を強調しないように、設定される。
以上のように、強調処理部112は、帯域分解処理部111により生成された複数の帯域画像の中から選択された2以上の帯域画像の波長帯域又は空間周波数帯域を軸として形成された特徴空間内における被検体内の観察対象が分布する領域に対して設定された強調量に基づいて、選択された2以上の帯域画像に対して強調処理を行う強調処理手段を構成する。
(3)色変換処理
色変換処理部113は、選択された帯域画像に対して強調処理が行われた後に、3×N個の帯域画像(強調処理の対象となった帯域画像も含む)に対して、色変換処理を施す処理である。色変換処理部113における色変換処理は、ここでは、色調を調整する処理であり、通常観察モードにおいて白色光下で表示される白色光観察画像の全体色調に類似する色調になるように、各帯域画像の色調を調整する。
また、任意の対象を背景粘膜に対してコントラストを向上させるような色調整をしても良い。
加えて、色変換処理部113における色変換処理は、例えば、色変換マトリックスを用いて行う。なお、色変換テーブルを用いて行ってもよい。
また、色変換処理部113は、複数の色変換マトリクスを用いて、色変換を行うようにしてもよい。図9は、複数の色変換マトリクスを用いる例を説明するための図である。
図9は、各波長画像を6つの周波数帯域に分割して、複数の色変換マトリクスを用いる例を示す図である。例えば、空間周波数fr1の帯域画像群(帯域画像λ1(1)、λ2(1)及びλ3(1))については、低い空間周波数のための色変換マトリクス1を用いて色調を変換し、空間周波数fr2とfr3の帯域画像群(帯域画像λ1(2)、λ2(2)、・・λ3(3))については、中間の空間周波数のための色変換マトリクス2を用いて色調を変換し、その他の帯域画像群(帯域画像λ1(4)、λ2(4)、・・λ3(6))については、高い空間周波数のための色変換マトリクス3を用いて色調を変換するなど、複数の色変換マトリクスを用いてもよい。
なお、色変換マトリクスは、例えば、3×3の正方行列であり、例えば、日本特許第3607857号公報などに開示されている。
従って、各帯域画像は、強調処理された後に色変換処理がされ、あるいは強調処理がされないで、色変換処理がされる。その結果、色変換処理(及び強調処理と色変換処理)がされた、3×N個の帯域画像(以下、処理後帯域画像という)が生成される。
図4では、色変換処理等がされたλ1(1)画像をλ1(1)′画像と、色変換されたλ1画像をλ1(2)′画像と、いうように、色変換処理がされたλm(k)画像を、λm(k)′画像として示している。
そして、波長画像毎に、処理後帯域画像を積分して、3つの波長画像(以下、積分波長画像という)を生成する。波長540nm付近の画像であるλ1画像の積分波長画像(以下、λ1′画像という)、波長600nm付近の画像であるλ2画像の積分波長画像(以下、λ2′画像という)、及び波長630nm付近の画像であるλ3画像の積分波長画像(以下、λ3′画像という)が、生成される。
すなわち、画像処理部101は、3×N個の処理後帯域画像から、波長毎に加算、すなわち積分したλ1′画像、2′画像及びλ3′画像を生成する。
3つの画像(λ1′画像、λ2′画像及びλ3′画像)は、セレクタ102等を介して観察モニタ5のRGBの各チャンネルに供給される。その結果、観察モニタ5の画面上には、所望の深さの血管等が強調された表示画像が表示される。
図10は、所望の深さの血管が強調されることを説明するための図である。図10に示すように、生体組織表面下の深部の血管は、従来では、画像DS1のように不明瞭であったが、上述した内視鏡システムによれば、画像DS2のように、その血管が強調されて明瞭に表示される。
なお、以上の例では、選択された帯域画像に対して強調処理をした後に、色変換処理をおこなっているが、全ての帯域画像に対して色変換処理をした後に、選択された帯域画像に対して強調処理をして、処理後帯域画像を生成するようにしてもよい。よって、色変換処理部113は、強調処理が行われる前の複数の帯域画像、あるいは強調処理手段により強調された選択された2以上の帯域画像を含む複数の帯域画像に対して、色調を調整するための色変換処理を行う色変換処理手段を構成する。
以上のような画像処理を行うことにより、生体組織の表面下の所望の深さの画像化したい血管等を強調して画像化することができる画像処理装置及び内視鏡システムを提供することができる。
以上は、3つの波長画像からN個の帯域画像を生成して、1つの対象を強調表示する例を説明したが、次のように特徴空間と領域を設定することによって、種々の所望の深さの対象を選択して強調表示することも可能である。
図11は、複数の波長画像から複数の周波数帯域の画像を生成して、その生成された複数の周波数帯域の画像に対して、複数の所望の深さの対象に対して強調処理等する処理を説明するための図である。
図11に示すように、帯域分解処理部111は、λ1画像を、空間周波数解析により、例えば空間周波数分割により、N個(Nは、1以上の自然数)の空間周波数帯域の画像(以下、帯域画像という)に分割する。同様に、帯域分解処理部111は、λ2画像からλM画像(Mは、2以上の自然数)を、それぞれN個の帯域画像に分割する。すなわち、帯域分解処理部111は、M個の波長の画像のそれぞれについて、N個の帯域画像を生成する。
このように、M×N個の帯域画像の中から、強調表示させたい深さの3つの対象があるとする。例えば、粘膜の表面下の深部の血管、粘膜表層のピットパターン、及び粘膜表層の毛細血管を強調表示させたいとする。
深部の血管は、一点鎖線で示す帯域画像λ2(2)〜λM(2)の画像群TG1に対して所定の強調係数を乗算する処理を行うことによって、強調表示することができ、粘膜表層のピットパターンは、一点鎖線で示す帯域画像λ3(N)〜λM(N)の画像群TG2に対して所定の強調係数を乗算する処理を行うことによって、強調表示することができ、粘膜表層の毛細血管は、一点鎖線で示す帯域画像λ1(N)とλ2(N)の画像群TG3に対して所定の強調係数を乗算する処理を行うことによって、強調表示することができるとする。
ユーザは、対象毎の複数の帯域画像について特徴空間と、各特徴空間内の領域を設定し、さらに上述したように、各領域における強調係数テーブルを作成する。例えば、ユーザは、深部の血管を強調表示するための特徴空間を、画像群TG1で示す帯域画像λ2(2)〜λM(2)に対応する(M−1)軸の多次元空間とし、その多次元空間内における、深部の血管の領域を設定する。そして、その領域についての強調係数テーブルTBL1を作成する。
同様に、ユーザは、粘膜表層のピットパターンを強調表示するための特徴空間を、画像群TG2で示す帯域画像λ3(N)〜λM(N)に対応する(M−2)軸の多次元空間とし、その多次元空間内における、粘膜表層のピットパターンの領域を設定する。そして、その領域についての強調係数テーブルTBL2を作成する。
同様に、ユーザは、粘膜表層の毛細血管を強調表示するための特徴空間を、画像群TG3で示す帯域画像λ1(N)とλ2(N)に対応する2軸の2次元空間とし、その2次元空間内における、粘膜表層の毛細血管の領域を設定する。そして、その領域についての強調係数テーブルTBL3を作成する。
以上のようにして、ユーザは、所望の対象についての特徴空間と帯域画像を予め設定し、対応する強調係数テーブルを、予め作成しておく。そして、3つの強調係数テーブルが、画像処理部101のメモリに格納される。尚、テーブルTBL1〜TBL3をまとめて1つのテーブルにしても良い。
ユーザは、強調表示させたい対象を選択して強調表示を指示すると、制御回路200から、強調表示させたい対象に対応する強調係数テーブルの選択信号を含む選択信号SSが画像処理部101に供給され、画像処理部101において、上述したような処理が実行されて、その強調させたい対象が、観察モニタ5の画面上に強調表示される。
例えば、深部の血管の強調表示が指示されると、帯域分解処理部111において、λ1〜λM画像が、それぞれN個の帯域画像に分割される。強調処理部112は、強調係数テーブルTBL1を参照して、深部の血管の強調表示が指示に応じて選択された画像群TG1で示す帯域画像λ2(2)〜λM(2)に対して強調処理を実行する。色変換処理部113は、強調処理された帯域画像λ2(2)〜λM(2)を含めてN×M個の帯域画像に対して、色調を調整する色変換処理を実行し、波長毎に積分したλ1′画像、λ2′画像、・・・、λM′画像を出力する。
また、粘膜表層のピットパターンの強調表示が指示されると、帯域分解処理部111において、λ1〜λM画像が、それぞれN個の帯域画像に分割される。強調処理部112は、強調係数テーブルTBL2を参照して、粘膜表層のピットパターンの強調表示が指示に応じて選択された画像群TG2で示す帯域画像λ3(N)〜λM(N)に対して強調処理を実行する。色変換処理部113は、強調処理された帯域画像λ3(N)〜λM(N)を含めてN×M個の帯域画像に対して、色調を調整する色変換処理を実行し、波長毎に積分したλ1′画像、λ2′画像、・・・、λM′画像を出力する。
さらにまた、粘膜表層の毛細血管の強調表示が指示されると、帯域分解処理部111において、λ1〜λM画像が、それぞれN個の帯域画像に分割される。強調処理部112は、強調係数テーブルTBL3を参照して、粘膜表層の毛細血管の強調表示が指示に応じて選択された画像群TG3で示す帯域画像λ1(N)とλ2(N)に対して強調処理を実行する。色変換処理部113は、強調処理された帯域画像λ1(N)とλ2(N)を含めてN×M個の帯域画像に対して、色調を調整する色変換処理を実行し、波長毎に積分したλ1′画像、λ2′画像、・・・、λM′画像を出力する。尚、深部血管ピットパターン、表層血管すべてを強調したい場合は、テーブルTBL1〜TBL3の全てを利用することができる。
以上のように、複数の波長画像のそれぞれを複数の帯域画像に分解して、所望の対象に応じて、特徴空間を設定し、かつ対象の領域を設定し、各領域についての強調係数を設定しておく。そして、所望の対象を指定あるいは選択することによって、その対象だけを強調して観察モニタ5上に表示させることができる。
そして、生体組織の表面下で画像化したいものには、粘膜の表層近くにある病変近傍の血管、粘膜の深い位置にある比較的太い血管、粘膜下腫瘍、など、種々の深さの血管、病変部等、生体組織表面下の種々の深さの位置におけるこのような対象などを、他の深さの血管等よりも強調して画像化することはでき、さらには、拡大内視鏡を組み合わせた観察により腺開口部のコントラスト向上も図ることができる。結果として、術者による手術時間の短縮にも繋がる。
次に、本実施の形態の変形例について説明する。
(変形例1)
上述した実施の形態では、複数の狭帯域光の反射光を得るために、複数の狭帯域光を出射する光源装置を用いているが、白色光を被写体に照射し、その反射光から分光推定処理により、複数の波長画像を得るようにしてもよい。例えば、図4の例では、λ1画像、λ2画像及びλ3画像は、分光推定処理により生成するようにしてもよい。
(変形例2)
上述した実施の形態では、光源装置が複数の狭帯域光を順番に出射しているが、光源装置が白色光の光源ランプからの光を所定の干渉フィルタを介して、所定の複数の狭帯域光を出射するようにして、複数の狭帯域光を被検体に同時に照明し、被写体からの反射光を撮像素子の受光面に設けたカラーフィルタを介して同時に撮像して、撮像素子の出力において複数の波長画像を得るようにしてもよい。
(変形例3)
上述した実施の形態では、図5に示すように、3軸の特徴空間内における領域Rと基準ベクトルRVの設定をして、その特徴空間内において強調係数を設定しているが、3次元の特徴空間を、例えば2次元の特徴空間に射影して、その2次元の特徴空間において領域と基準ベクトルを設定するようにしてもよい。
図12と図13は、図5における3軸を2軸に射影して2つの特徴空間を形成した場合を説明するための図である。図12は、領域Rと基準ベクトルRVを、波長λ1とλ2を軸とする特徴空間に設定した場合を示す図である。図13は、領域Rと基準ベクトルRVを、波長λ2とλ3を軸とする特徴空間に設定した場合を示す図である。
3次元の特徴空間を、2つの特徴空間に射影して2つの特徴空間に分割し、分割された2つの特徴空間のそれぞれにおいて基準ベクトルが設定される。そして、設定された基準ベクトルに対して強調係数を設定し、特徴空間CSa内の任意の点iについてのベクトルIVaと基準ベクトルRVaとの成す角度θaで、特徴空間CSb内の同じ点iについてのベクトルIVbと基準ベクトルRVbとの成す角度θbとしたときに、強調係数αiを次の式(2)で設定するようにしてもよい。
αi=(((π/2)−θa)((π/2)−θb)) ・・・式(2)
(変形例4)
上述した実施の形態では、複数の波長あるいは周波数帯域の軸の空間内で領域Rを設定し、基準ベクトルRVに対する強調量が設定されているが、その空間を別な空間に射影して、射影された空間で、強調係数を設定するようにしてもよい。
図14は、ある波長λ1,λ2の2軸の2次元の特徴空間CScにおける領域Rと、アーチファクトAFを示す図である。図15は、図14の特徴空間CScを、別の特徴空間CSdに射影したときの領域RとアーチファクトAFを示す図である。
図14では、領域RとアーチファクトAFは重なりあって、強調係数が設定しづらいが、図15において、基準ベクトルRVに直交する軸CA1と、基準ベクトルRVに平行な軸CA2とにより形成された空間に射影した特徴空間CSdでは、観察対象の領域Rの分布とアーチファクトAFの分布とは互いに異なった領域に分布し、強調係数が設定し易い。
よって、波長軸の空間、あるいは帯域周波数軸の空間とは異なる特徴空間に射影した特徴空間において、強調量を設定するようにしてもよい。
以上説明したように、上述した実施の形態及び各変形例によれば、生体組織の表面下の所望の深さの画像化したい血管等を強調して画像化することができる画像処理装置及び内視鏡システムを提供することができる。結果として、治療時間の短縮にも繋がる。
さらに、白色光観察では、視認困難な粘膜下腫瘍、の発見率の向上にも繋がるものである。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、2011年9月20日に日本国に出願された特願2011−204953号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (14)

  1. 被検体内で撮像された医用画像を入力する画像入力部と、
    前記医用画像に対して複数の波長帯域画像のそれぞれについて複数の空間周波数帯域画像に分解処理を行って複数の帯域画像を生成する帯域分解処理部と、
    前記帯域分解処理部により生成された前記複数の帯域画像の中から前記被検体内の観察対象に応じて選択された2以上の帯域画像の波長帯域又は空間周波数帯域を軸として形成された空間もしくはその空間が射影された他の空間である特徴空間内における前記被検体内の観察対象が分布する領域に対して強調量を設定する強調量設定部と、
    前記強調量設定部により設定された強調量に基づいて、前記選択された2以上の帯域画像に対して強調処理を行う強調処理部と、
    前記強調処理部により強調された前記選択された2以上の帯域画像を含む前記複数の帯域画像に対して、色調を調整するための色変換処理を行う色変換処理部と、
    前記色変換処理部により色変換処理がされた複数の帯域画像を波長画像毎に積分して画像を生成する画像生成部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記観察対象は、粘膜表面下の深部の血管、粘膜表層のピットパターンまたは粘膜表層の毛細血管であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記強調量設定部は、前記強調量をテーブルにテーブルデータとして格納することにより設定することを特徴とする請求項1に記載の画像処理装置。
  4. 前記テーブルデータは、各帯域画像の各画素の画素値に対する強調係数であることを特徴とする請求項3に記載の画像処理装置。
  5. 前記強調量設定部は、前記観察対象が分布する領域を複数設定し、
    前記テーブルは、設定された領域毎に設けられることを特徴とする請求項3に記載の画像処理装置。
  6. 前記領域毎に設けられた前記テーブルは、選択可能であることを特徴とする請求項3に記載の画像処理装置。
  7. 前記医用画像は、分光推定処理により生成された画像であることを特徴とする請求項1に記載の画像処理装置。
  8. 前記強調量設定部は、前記特徴空間内における前記被検体内の生体粘膜の深さ方向に存在する血管が分布する領域に対して1又は2以上の基準ベクトル及び前記特徴空間内の原点から前記血管が分布する領域内の所定の画素値データへの点ベクトルを設定し、前記基準ベクトルと前記点ベクトルの成す角度から算出される角度変位量に基づいて強調量を設定することを特徴とする請求項2に記載の画像処理装置。
  9. 前記強調処理部は、前記特徴空間内において前記基準ベクトルに直交するとともに前記特徴空間内の原点を含む平面を基準として、前記基準ベクトル側の画素に対してのみ強調処理を行うことを特徴とする請求項8に記載の画像処理装置。
  10. 前記強調量設定部は、前記特徴空間内において生体内における血管、背景粘膜、及びその他の対象を強調しないように、前記強調量を設定することを特徴とする請求項1に記載の画像処理装置。
  11. 前記帯域分解処理部における前記分解処理は、空間周波数フィルタリング処理であることを特徴とする請求項1に記載の画像処理装置。
  12. 被検体に対して複数の波長帯域を有する光を照射する照明部と、
    前記照明部により前記被検体に照射された光の戻り光を撮像する撮像部と、
    前記撮像部により撮像された信号から複数の波長帯域画像が生成されるとともに、当該複数の波長帯域画像の各々に対して複数の空間周波数帯域に分解処理を行って複数の帯域画像を生成する帯域分解処理部と、
    前記帯域分解処理部により生成された前記複数の帯域画像の中から選択された2以上の帯域画像の波長帯域又は空間周波数帯域を軸として形成された空間もしくはその空間が射影された他の空間である特徴空間内における前記被検体内の生体粘膜の深さ方向に存在する血管が分布する領域に対して強調量を設定する強調量設定部と、
    前記強調量設定部により設定された強調量に基づいて、前記選択された2以上の帯域画像に対して強調処理を行う強調処理部と、
    前記強調処理部により強調された前記選択された2以上の帯域画像を含む前記複数の帯域画像に対して、色調を調整するための色変換処理を行う色変換処理部と、
    前記色変換処理部により色変換処理がされた複数の帯域画像を波長画像毎に積分して画像を生成する画像生成部と、
    前記画像生成部から出力された積分画像を表示信号として出力する表示信号出力部と、
    前記表示信号出力部からの前記表示信号に基づいて表示を行う表示部と、
    を備えたことを特徴とする内視鏡システム。
  13. 前記照明部は、前記複数の波長帯域を有する光を時系列的に又は同時に照射することを特徴とする請求項12に記載の内視鏡システム。
  14. 前記帯域分解処理部は、前記撮像された信号から分光推定処理された複数の波長帯域画像に対して分解処理を行うことを特徴とする請求項12に記載の内視鏡システム。
JP2013507490A 2011-09-20 2012-04-09 画像処理装置及び内視鏡システム Active JP5355820B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013507490A JP5355820B2 (ja) 2011-09-20 2012-04-09 画像処理装置及び内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011204953 2011-09-20
JP2011204953 2011-09-20
PCT/JP2012/059685 WO2013042395A1 (ja) 2011-09-20 2012-04-09 画像処理装置及び内視鏡システム
JP2013507490A JP5355820B2 (ja) 2011-09-20 2012-04-09 画像処理装置及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP5355820B2 true JP5355820B2 (ja) 2013-11-27
JPWO2013042395A1 JPWO2013042395A1 (ja) 2015-03-26

Family

ID=47914177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013507490A Active JP5355820B2 (ja) 2011-09-20 2012-04-09 画像処理装置及び内視鏡システム

Country Status (5)

Country Link
US (1) US8917319B2 (ja)
EP (1) EP2687145B1 (ja)
JP (1) JP5355820B2 (ja)
CN (1) CN103501681B (ja)
WO (1) WO2013042395A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9949624B2 (en) 2014-03-28 2018-04-24 Olympus Corporation Living body observation system with contrast enhancement processing
US10516866B2 (en) 2015-10-27 2019-12-24 Olympus Corporation Imaging device and endoscope device

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2700349A4 (en) * 2012-03-30 2015-08-26 Olympus Medical Systems Corp ENDOSCOPIC DEVICE
JP5662623B1 (ja) * 2013-03-27 2015-02-04 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2015012984A (ja) * 2013-07-05 2015-01-22 ライオンパワー株式会社 血管可視化装置、血管可視化方法、及びプログラム
JP5925169B2 (ja) * 2013-09-27 2016-05-25 富士フイルム株式会社 内視鏡システム及びその作動方法並びに内視鏡用光源装置
US10152789B2 (en) 2014-07-25 2018-12-11 Covidien Lp Augmented surgical reality environment
JP6234350B2 (ja) * 2014-09-30 2017-11-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6408400B2 (ja) * 2015-02-27 2018-10-17 富士フイルム株式会社 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法
WO2017051455A1 (ja) * 2015-09-24 2017-03-30 オリンパス株式会社 内視鏡装置
JP2019502419A (ja) * 2015-11-05 2019-01-31 コヴィディエン リミテッド パートナーシップ 表層下血液の検出のためのシステムと方法
JP6081622B2 (ja) * 2016-01-07 2017-02-15 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
CN105812767B (zh) * 2016-03-17 2017-11-10 北京邮电大学 一种基于多频带分解的立体显示深度调整方法及装置
WO2018043550A1 (ja) * 2016-08-31 2018-03-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
US20200184638A1 (en) * 2017-08-16 2020-06-11 Covidien Lp Systems and methods for enhancing surgical images and/or video
WO2019092950A1 (ja) * 2017-11-13 2019-05-16 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
JPWO2019198576A1 (ja) * 2018-04-11 2021-04-08 富士フイルム株式会社 医療画像処理装置
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796011B2 (ja) * 1989-04-13 1995-10-18 オリンパス光学工業株式会社 内視鏡用ビデオプロセッサ
JP3228627B2 (ja) * 1993-03-19 2001-11-12 オリンパス光学工業株式会社 内視鏡用画像処理装置
US5550582A (en) * 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
JPH0935056A (ja) * 1995-07-24 1997-02-07 Olympus Optical Co Ltd 画像処理装置
JP4370008B2 (ja) 1998-11-17 2009-11-25 オリンパス株式会社 内視鏡画像処理装置
JP3607857B2 (ja) 2000-07-27 2005-01-05 オリンパス株式会社 内視鏡装置
JP4632645B2 (ja) * 2002-12-12 2011-02-16 オリンパス株式会社 イメージング装置およびプロセッサ装置
CN100525701C (zh) * 2002-12-12 2009-08-12 奥林巴斯株式会社 成像装置
JP5094066B2 (ja) * 2006-07-20 2012-12-12 富士フイルム株式会社 画像処理装置の作動方法、および装置、並びに電子内視鏡システム
JP2009039561A (ja) * 2008-10-27 2009-02-26 Olympus Corp 内視鏡装置
JP5087529B2 (ja) * 2008-12-01 2012-12-05 オリンパス株式会社 識別処理装置、識別処理プログラム及び識別処理方法
JP5449852B2 (ja) * 2009-05-08 2014-03-19 株式会社東芝 超音波診断装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9949624B2 (en) 2014-03-28 2018-04-24 Olympus Corporation Living body observation system with contrast enhancement processing
US10516866B2 (en) 2015-10-27 2019-12-24 Olympus Corporation Imaging device and endoscope device

Also Published As

Publication number Publication date
JPWO2013042395A1 (ja) 2015-03-26
US8917319B2 (en) 2014-12-23
EP2687145B1 (en) 2016-06-01
WO2013042395A1 (ja) 2013-03-28
EP2687145A4 (en) 2015-05-06
CN103501681A (zh) 2014-01-08
US20130176411A1 (en) 2013-07-11
EP2687145A1 (en) 2014-01-22
CN103501681B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
JP5355820B2 (ja) 画像処理装置及び内視鏡システム
JP5355827B1 (ja) 内視鏡装置
JP5404968B1 (ja) 内視鏡装置
JP4951256B2 (ja) 生体観測装置
JP5427318B1 (ja) 内視鏡装置
JP5362149B1 (ja) 内視鏡装置
JP5215506B2 (ja) 内視鏡装置
JP5496075B2 (ja) 内視鏡診断装置
EP2581030B1 (en) Endoscope apparatus
JP5997817B2 (ja) 内視鏡システム
US20180042468A1 (en) Image processing apparatus and image processing method
WO2017104046A1 (ja) 内視鏡装置
WO2011092951A1 (ja) 画像取得装置、観察装置、および観察システム
JP6839773B2 (ja) 内視鏡システム、内視鏡システムの作動方法及びプロセッサ
JP5981056B2 (ja) 内視鏡装置
JP2004000505A (ja) 内視鏡装置
JP6203088B2 (ja) 生体観察システム
US10537225B2 (en) Marking method and resecting method
US20220151460A1 (en) Medical control device and medical observation
JP6242558B2 (ja) 撮像システム及び画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

R150 Certificate of patent or registration of utility model

Ref document number: 5355820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250