JP6533358B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6533358B2
JP6533358B2 JP2013163472A JP2013163472A JP6533358B2 JP 6533358 B2 JP6533358 B2 JP 6533358B2 JP 2013163472 A JP2013163472 A JP 2013163472A JP 2013163472 A JP2013163472 A JP 2013163472A JP 6533358 B2 JP6533358 B2 JP 6533358B2
Authority
JP
Japan
Prior art keywords
image
signal
imaging
unit
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013163472A
Other languages
English (en)
Other versions
JP2015029841A (ja
Inventor
菅野　哲生
哲生 菅野
聡 敷田
聡 敷田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Engineering Co Ltd
Original Assignee
Mitsubishi Electric Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Engineering Co Ltd filed Critical Mitsubishi Electric Engineering Co Ltd
Priority to JP2013163472A priority Critical patent/JP6533358B2/ja
Priority to DE102014110131.6A priority patent/DE102014110131B4/de
Priority to US14/445,766 priority patent/US9906739B2/en
Publication of JP2015029841A publication Critical patent/JP2015029841A/ja
Application granted granted Critical
Publication of JP6533358B2 publication Critical patent/JP6533358B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

この発明は、医療用あるいは産業用のカメラ等において、可視光の被検体への照射によって取得した通常画像と、特殊光の被検体への照射によって取得した特殊画像とに基づいて合成画像を取得する撮像装置等に関する。
従来、たとえば体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
また、上記のような内視鏡システムとしては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光画像を撮像して自家蛍光画像を得、これらの画像を適宜合成して、モニタ画面上に表示する蛍光内視鏡システムが広く実用化されている。
特にインドシアニングリーン(ＩＣＧ)の静脈投与による血管血流や病変組織での蛍光観察は以前より行われており、７５０〜７９０ｎｍの励起光照射に対して８３０〜８４０ｎｍの蛍光が得られることが一般で知られている。ただし、波長帯は近赤外のためここで得られる画像はモノクロであり、且つそのままでは可視部分が同時に見えないため、その特徴的な血流蛍光画像やセンチネルリンパ節などの病変組織での観察・診断にはある程度の経験や勘が必要である。
そこでたとえば、下記特許文献１に記載の蛍光内視鏡システムにおいては、通常画像(照明光画像)と白色光画像(蛍光画像)とを合成し、モニタ画面上に表示することが提案されている。
特開２００７−７５１９８号公報
しかしながら、上記特許文献１に記載の蛍光内視鏡システムのように、可視光画像である照明光画像と蛍光画像の輝度を単純に所定の割合で合成させるものであり、蛍光画像から得られる特徴的情報を的確に得られていないだけでなく、不必要な情報が多く含まれている。たとえば、インドシアニングリーン(ＩＣＧ)投与により励起光源によって血流部分が自己蛍光光を発するが、このときその周辺部位に対し自己蛍光波長光が反射することで、血流部分以外の部位までもがあたかも蛍光発光するかのように見える場合が多い。そのため、得られる合成画像としては所望の特定部位が明示されないどころか、不必要な部位までもが表示される見にくい合成画像となる。
この発明は、上記の問題に鑑みてなされたものであり、撮像対象の状態をより分かり易く表示する合成画像を取得することができる撮像装置等を提供することを目的とする。
この発明は、複数の波長帯域を撮像する撮像装置において、近赤外光帯域の光像を撮像する第一の撮像手段と、可視光帯域の光像を撮像する第二の撮像手段と、前記第一の撮像手段により取得した近赤外画像の輝度信号のレベルが所定のレベル以下の場合は出力する輝度信号のレベルを零にする第１の補正を行うとともに、前記近赤外画像の輝度信号レベルが所定のレベルより大きい場合は前記出力する輝度信号のレベルをより大きくする第２の補正を行う階調補正処理手段と、前記階調補正処理手段から出力される前記第２の補正がなされた輝度信号を、輝度信号のまま出力するＹ画素と輝度信号から色信号に変換するＣ画素とに区別し、これらＹ画素及びＣ画素を組合せてレベルに応じた色信号変換を行う色変換手段と、前記第二の撮像手段により取得した可視光画像と前記色変換手段より変換した色変換後の階調補正処理画像とを所定の割合にて加算し合成画像を生成する合成画像生成手段と、を備えたことを特徴とする撮像装置にある。
この発明によれば、撮像対象の状態を分かり易く表示する合成画像を取得することができる。
この発明の一実施の形態による撮像装置を適用した硬性鏡システムの構成図である。 図１の撮像ユニットの概略構成の一例を示す図である。 図１の画像処理装置、光源装置の概略構成の一例を示す図である。 この発明の実施の形態１における図３の画像処理部のより具体的な構成の一例を示す図である。 この発明の実施の形態１における通常画像と蛍光画像から抽出した輪郭抽出画像との合成過程の一例を示した図である。 この発明の実施の形態２における図３の画像処理部のより具体的な構成の一例を示す図である。 この発明の実施の形態２における補正処理の特性の一例を示す図である。 この発明の実施の形態２における通常画像と蛍光画像から抽出した階調補正画像との合成過程の一例を示した図である。 この発明の実施の形態３における図３の画像処理部のより具体的な構成の一例を示す図である。 この発明の実施の形態３における画像重畳処理部の動作の一例を示す図である。 この発明における出力画像の一例を示す図である。 この発明における蛍光輝度による色信号変換表示例を示す図である。 この発明における画素表示位置による色信号変換表示例を示す図である。 この発明における光学系を含めた画像重畳の一例を示す図である。
以下、この発明による撮像装置等を硬性鏡システムに適用した場合の各実施の形態に従って図面を用いて説明する。なお、各実施の形態において、同一もしくは相当部分は同一符号で示し、重複する説明は省略する。
実施の形態１．
図１はこの発明の一実施の形態による撮像装置を適用した硬性鏡システムの構成図、図２〜４は図１の各部の構成図、図５はこの発明の画像合成の一例をそれぞれ示す。
図１の硬性鏡システム１は、白色の通常光および特殊光を同時に発生する光源装置２と、光源装置２から発生された通常光および特殊光を導光して被観察部(図示省略)に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常画像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光画像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像、蛍光画像および合成画像を表示するモニタ４とを備えている。
硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常画像および蛍光画像を撮像する撮像ユニット２０とを備えている。
硬性鏡撮像装置１０は、硬質挿入部３０と、撮像ユニット２０とが着脱可能に接続されている。硬性鏡撮像装置１０は、その接続部がカメラ側３０Ｘに設けられており、例えば撮像ユニット２０側に形成された開口部に嵌め合わされることにより、撮像ユニット２０と硬性鏡撮像装置１０とが脱着可能に接続される。
硬質挿入部３０は、腹腔内の撮影を行う際に腹腔内に挿入される部分であって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。内部には、被観察部の像を結像するためのレンズ群が収容されており、先端側３０Ｙから入射された被観察部の通常画像および蛍光画像はレンズ群を介してカメラ側３０Ｘの撮像ユニット２０側に入力される。
硬性鏡撮像装置１０の側面にはケーブル接続口が設けられており、光ケーブルＬＣが機械的に接続される。これにより、光源装置２と硬質挿入部３０とが光ケーブルＬＣを介して光学的に接続される。光源装置２からの通常光および特殊光は、内部のライトガイドを通して照射窓３０ｄより被観察部に照射されるものである。
図２は、撮像ユニット２０の概略構成の一例を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群より結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第一の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第二の撮像系とを備えている。これらの撮像系は、通常画像に反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられる。
第一の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した特殊光をカットする特殊光カットフィルタ２２と、硬質挿入部３０から照射され、ダイクロイックプリズム２１および特殊光カットフィルタ２２を透過した蛍光像Ｌ４を結像する第一結像光学系２３と、第一結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。
第二の撮像系は、硬質挿入部３０から噴射され、ダイクロイックプリズム２１を反射した通常像Ｌ３を結像する第二結像光学系２５と、第二結像光学系２５により結像された通常像Ｌ３を撮像する撮像素子２６を備えている。
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤(Ｒ)、緑(Ｇ)および青(Ｂ)、またはシアン(Ｃ)、マゼンタ(Ｍ)およびイエロー(Ｙ)のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ(相関二重サンプリング／自動利得制御)処理やＡ／Ｄ変換処理を施し、ケーブル５(図１参照)を介して画像処理装置３に出力するものである。
図３は、画像処理装置３、光源装置２の概略構成の一例を示す図である。画像処理装置３は、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ(タイミングジェネレータ)３７およびＣＰＵ３８を備えている。なお、ＣＰＵ３８は実際にはプログラムやデータを格納したメモリ(図示省略)等を含むマイクロコンピュータからなり、操作部３６からの指示入力も可能なもので構成する。
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
画像処理部３３は、メモリ３４から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成の一例を図４に示す。
画像処理部３３は、図４に示すように、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、蛍光画像処理部３３ｂで所定の処理を施された蛍光画像信号に対し、輪郭成分を抽出して輪郭画像信号を生成するエッジ抽出ユニット３３ｃと、通常画像処理部３３ａから出力される通常画像信号に対し、エッジ抽出ユニット３３ｃから出力される輪郭画像信号を合成する画像合成処理部３３ｌから構成される。
また、エッジ抽出ユニット３３ｃは蛍光画像信号から輪郭成分を抽出するエッジ抽出部３３ｄと、輪郭成分が抽出された蛍光画像信号に対し、信号を増幅するゲイン調整部３３ｅと、ゲイン調整が施された蛍光画像信号に対し、信号を黒或いは白の２つの値に変換する２値化処理部３３ｆと、２値化処理が施された蛍光画像信号に対し、輝度信号を色信号に変換する色処理部３３ｇから構成される。画像処理部３３の各部の詳細な処理内容については後述する。
ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。
光源装置２は、図３に示すように、約４００〜７００ｎｍの広帯域の波長からなる通常光(白色光)Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する特殊光Ｌ２を反射し、通常光Ｌ１および特殊光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光であり、たとえば蛍光色素としてインドシアニングリーン(ＩＣＧ)を用いた場合には７５０〜７９０ｎｍの近赤外光を特殊光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された特殊光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された特殊光Ｌ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。
なお、特殊光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、特殊光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されている。
符号４１，４８で示される部分は、ＣＰＵ３８で制御される通常光の制御部を示す。
次に、本実施の形態１のシステムの動作について説明する。まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。
次に、操作者により硬質挿入部３０が腹腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。
そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された特殊光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、特殊光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が通常像と同時に撮像される。
より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が硬性鏡撮像装置１０の先端側３０Ｙから入射し、内部のレンズ群により導光されて撮像ユニット２０に向けて射出される。
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって所定間隔を空けて順次撮像される。なお、本実施の形態においては、通常画像は３０ｆｐｓのフレームレートで撮像されるものとする。
撮像素子２６から順次出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ(相関二重サンプリング／自動利得制御)処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
一方、蛍光像の撮像の際には、特殊光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が先端３０Ｙから入射し、内部のレンズ群により導光されて撮像ユニット２０に向けて射出される。
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および特殊光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって所定間隔を空けて撮像される。なお、本実施の形態においては、通常画像はたとえば５〜３０ｆｐｓのフレームレートで撮像されるものとする。
高感度撮像素子２４から順次出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ(相関二重サンプリング／自動利得制御)処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて合成画像を生成する方法を図３と図４を用いて説明する。まず、画像合成が施される前の処理について説明する。
まず通常画像信号の前処理について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に格納された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３へ出力される。
画像処理部３３へ入力された通常画像信号は、通常画像処理部３３ａにて階調処理補正やノイズ除去などの処理が施される。
次に蛍光画像信号の前処理について説明する。画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に格納された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３へ出力される。
画像処理部３３へ入力された蛍光画像信号は、蛍光画像処理部３３ｂにてノイズ除去などの処理が施される。
蛍光画像信号については、通常画像信号と合成される前にまず必要情報の抽出処理を行う。その過程について説明する。
蛍光画像信号はエッジ抽出部３３ｄにて必要情報として血管や病変組織などの輪郭成分が抽出される。
輪郭成分が抽出された後、蛍光画像信号はゲイン調整部３３ｅにて増幅される。検出された輪郭成分が微弱な場合はゲイン調整部３３ｅにて調整する。
ゲイン調整が施された後、必要情報をさらに抽出する目的で２値化処理部３３ｆに入力され、閾値処理が施される。閾値処理により蛍光画像信号は黒色と白色の２つの値に変換される。閾値の決定方法としては、モード法や微分ヒストグラム法を用いるが、操作部３６から閾値を直接入力するようにしてもよい。また、必ずしも２値化処理を施す必要はなく、そのまま、色処理部３３ｇへ出力してもよい。
２値化処理が施された後、蛍光画像信号は色処理部３３ｇに入力され、蛍光画像信号に対して色処理が施される。色処理せずにそのまま通常画像信号と合成処理してもよいが、蛍光画像信号はモノクロ信号であるため、蛍光画像の輪郭が目立ちにくい可能性がある。そこで、輝度信号を色信号に変換する。色の選択は合成の対象となる通常画像信号の色成分から合成後に輪郭部分が目立つような色を自動的に選択するようにしてもよい(例えば通常画像信号の色成分に対する適当な目立つ色のテーブルをＣＰＵ３８がメモリに格納し、テーブルに従って色処理部３３ｇを制御して実行される)。また、操作部３６から直接入力するようにしてもよい。この場合、特徴部分の視認性と解像度の両立などを考慮し、たとえば輝度信号の全てを色信号に変換するのではなく、図１２のように輝度レベルや図１３のように撮像位置により、色信号に変換する部分としない部分があってもよい。すなわち、図１２の蛍光輝度レベルによる色信号変換表示例(１８０)では、自家蛍光信号(１８２)で示される、蛍光輝度が高く自己蛍光の部分を色信号に変換し、蛍光反射輝度信号(１８１)で示される、低輝度は反射部分として輝度のままとし、特定部位である自己蛍光部分の視認性を上げている。もしくは、図１３の近赤外蛍光画像の表示画素配置例(１８３)のように、蛍光高輝度部分を全て色信号に変換するのではなく、表示画素単位で輝度信号と色信号に分けで変換・表示することで、近赤外自己蛍光部分(１８４)、近赤外自己蛍光部分の輝度部分(１８５)のように、画像色信号のみでは飽和してしまい見えなくなる可能性のある輝度信号のディテール部分も同時に表示することができる。なお、図１３の輝度と色の配分やレベルは状況に合わせて適当な値で設定すればよく、図中の輝度部分をゼロとして可視画像と重畳してもよいのは当然である。
次に画像合成処理について説明する。画像合成処理部３３ｌには通常画像処理部３３ａから通常画像信号、エッジ抽出ユニット３３ｃから輪郭画像信号が入力される。画像合成処理部３３ｌでは輪郭画像信号と通常画像信号とを所定の割合にて合成する。
合成画像信号Ｃｓは通常画像信号Ｃｖ、蛍光画像信号Ｃｉを重み付け(α、β)加算することにより生成される。(ここでは輪郭画像信号を便宜上、蛍光画像信号としている)
たとえば合成画像信号は以下の演算式により生成される。
Ｃｓ＝α×Ｃｖ＋β×Ｃｉ
そして、画像合成処理部３３ｌにおいて生成された合成画像信号は、ビデオ出力部３５に出力される。ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて図５のような合成画像を表示する。
図５は、通常画像(１４６)と蛍光画像(１４７)から抽出した輪郭抽出画像(１４８)との合成過程を図示したものである。通常画像(１４６)は可視画像である。輪郭抽出画像(１４８)は、蛍光画像(１４７)から必要情報として特定部位(１５０)の輪郭部分を得たものである。これらを合成することで特定部位(１５０)と通常部位(１４９)を含む合成画像Ａ(１５１)を得る。
図５に示すように、白色光を照射した場合、一様に白色光を反射するため、第二の撮像系より通常画像(１４６)が得られる。一方、励起光を照射した場合、血管や病変組織などの特定部位(１５０)より自家蛍光が照射されるため、第一の撮像系より蛍光画像(１４７)が得られる。そして、合成画像を生成する前に、蛍光画像(１４７)から所定の輝度変化を検出して必要情報として輪郭画像信号を抽出し輪郭抽出画像(１４８)を得たのち、通常画像(１４６)に合成することにより、血管や病変組織などの特定部位(１５０)の輪郭部分が明確に表示された画像を得ることができる。
また、蛍光画像(１４７)は輝度信号であるため、抽出した信号を通常画像(１４６)と合成した場合に見難い場合が考えられる。このため、たとえば輝度信号の状態を一部または全てを色信号へ変換したのち合成することで、病変組織などの特定部位の明示がさらに容易となる。このとき変換する色信号を外部より任意に選択可能とすればさらに明示しやすくなる。また、抽出信号を合成する際、所定の時間で点滅をさせたり、輝度レベルや色相を可変させて制御することで、特定部位に対してさらに視認性を向上させることができる。これらは例えばＣＰＵ３８、操作部３６からの制御により、色処理部３３ｇ、画像合成処理部３３ｌ，画像合成処理部３３ｑ(実施の形態２)、画像重畳処理部３３ｐ(実施の形態３)で行われる(色可変手段、画像点滅手段、画像設定手段)。
この実施の形態では、腹腔鏡等の硬性鏡システムでの例を示したが、硬性鏡以外への適用も当然可能である。図１の撮像ユニット２０の外部光学系接続部であるカメラ側３０Ｘが、たとえばＣマウントなどの一般規格に適用したものとして、その規格対応の外付け機器を接続することで、硬性鏡以外の利用が可能となる。適用例としては、ＺＯＯＭ(ズーム)レンズ接続として撮像範囲をワイドから狭角まで変更できるシステムを構築してもよいことは言うまでも無い。さらに、まったく別のシステムとして顕微鏡への接続に対応してもよい。そのなかでも医療用顕微鏡の場合、ＩＣＧ励起光用光源を持つシステムがすでに存在し、この発明の撮像装置の適用例としては双方の機能を生かした推奨システム例である。
また、システム構成として、図１〜３に示すように撮像用の光源が一体式の例もあるが、これに限ったものではなく外部から光を照射もしくはファイバーにより注入されるタイプのものであってもよい。また、その光源種類についても、キセノンなどの放電タイプに留まらず、高輝度ＬＥＤなどの半導体デバイスであってもよく、安全性確保が可能な前提であればレーザーを用いてもよいことは言うまでもない。広帯域な可視にはキセノン、近赤外には安価なＬＥＤ、もしくは高効率を考慮したレーザー、を使用するなど、それぞれの利点を生かした光源配置としてもよい。
もしくは、画像信号より必要情報を抽出するには記載の方法でなくとも、同様の効果があれば、いずれであってもよい。たとえば、パターン認識などにより血管のみを検出する機能と組合せることで、血流部分などの必要部分の抽出を行ってもよい。
また、所望の出力画像を得るために、加算による画像合成手法や重ね合わせによる画像重畳手法があるが、これに限らずいずれの手法であってもよい。あるいは、所定の割合での画像生成例を実施の例として挙げているが、この場合の所定の割合はとくに重要ではなくこの発明の内容にて規定されるものではないため、必要情報抽出の後、所望の出力画像が得られるのであればいずれであっても問題はない。
上述の画像処理ブロック図はこの発明の一例であり、必要情報の抽出の後、出力画像を生成するものであれば、いずれの方法であってもよいことは言うまでもない。電気的に画像処理を行う場合、専用デバイスや個々の回路などハードウエアで処理するものであっても、中央制御装置(ＣＰＵ)を利用したソフトウエアでの処理であっても、あるいはその双方を利用したものであってもよい。
また、図２のような光学系構成には限定されることはなく、たとえば、ダイクロイックミラーにて反射側が近赤外光路で透過側が可視光路であってもよく、個々の撮像画像が得られる構成であればよい。
さらに、たとえば図１４のように、抽出された画像信号を光学系へフィードバックさせるため表示用モニタを利用し可視領域の光像に変換したのち、顕微鏡の対物レンズ９３より得られる本来(実際の)の可視光像に重畳させるようにしてもよい。図１４では、重畳する手段に重畳ミラーＬ８８、重畳ミラーＲ８９を利用しているが、同様に重畳できればいずれの手法であってもよく、このようにすることで、例えば顕微鏡接眼部で近赤外と可視の重畳画像が観察することが可能となる。図１４では、次元表示のためフィードバックモニタＬ８６、フィードバックモニタＲ８７の２台を使用しているが１台でもかまわず、また、近赤外画像だけでなく可視との重畳画像を接眼部にフィードバックしてもよい。その際は、重畳ミラーでの重畳を行っても行わなくてもよく、さらに、実際の光像とフィードバックされた画像とを、図１１のように位置をずらして同時表示してもかまわない。これによりさらに特定部位に対し視認性のよい且つ高機能な画像表示が可能となる。図１１では通常画像(実際の光像と同じ)(１４６)、階調補正画像(輪郭抽出画像)(１４８)、重畳画像(１７２)が同時表示されている。
なお、フィードバックモニタＬ８６、フィードバックモニタＲ８７は、得られた近赤外画像信号を電光変換にて近赤外可視光像へ変更する近赤外画像信号変換手段を構成する。さらに、フィードバックモニタＬ８６、フィードバックモニタＲ８７、および重畳ミラーＬ８８、重畳ミラーＲ８９により、得られた近赤外画像信号を電光変換にて近赤外可視光像へ変更し、本来の可視光像に重畳する近赤外可視光像重畳手段を構成する。
図１４について簡単に説明すると、対物レンズ９３からの本来の可視光像(実際の光像)は重畳ミラーＬ８８、重畳ミラーＲ８９によりそれぞれ接眼部Ｌ９０、接眼部Ｒ９１に反射されると共に撮像ユニット２０、画像処理装置３側にも反射される。操作者は接眼部Ｌ９０、接眼部Ｒ９１の図１４の図面の下側から本来の可視光像を見る。撮像ユニット２０、画像処理装置３側で上述のように処理された通常、蛍光、合成の各画像または各画像の表示制御信号は、重畳・切替部９２へ入力され、重畳・切替部９２では、所定のレイアウトで通常、蛍光、合成の各画像をフィードバックモニタＬ８６およびフィードバックモニタＲ８７に表示するように、画像の重畳・切替を行い、その表示制御信号を出力する。そしてフィードバックモニタＬ８６、フィードバックモニタＲ８７で重畳・切替部９２からの表示制御信号に基づいて表示を行うことで、接眼部Ｌ９０、接眼部Ｒ９１の図１４の図面の下側から画像を見るオペレータは、本来の可視光像と、フィードバックモニタＬ８６、フィードバックモニタＲ８７の画像とを一緒に見ることができる。
さらに上記説明では、撮像手段を２種使用したが、この発明の本質である画像から特徴的情報を抽出して出力画像を生成ことが実現できるものであれば、撮像素子の数量や種類・画素サイズなどに制限されるものではない。また、所望の出力画像を得るために撮像手段にとどまらず、入力される画像信号から必要情報を抽出して出力画像を得るシステムであってもよい。
実施の形態２．
以下、この発明の実施の形態２による撮像装置について説明する。実施の形態２による撮像装置を適用した硬性鏡システムの基本的構成は図１のものと同じであり、光源装置２、画像処理装置３の基本的構成は図２、３のものと同じである。図６はこの実施の形態における画像処理装置３の画像処理部３３の具体的な構成の一例、図７はこの実施の形態における補正処理の特性の一例、図８はこの実施の形態における画像合成の一例をそれぞれ示す。
図６において、画像処理部３３は、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、蛍光画像処理部３３ｂで所定の処理を施された蛍光画像信号に対し、蛍光画像から必要情報を抽出するため所定の処理を行う階調補正処理ユニット３３ｍと、通常画像処理部３３ａから出力される通常画像信号に対し、階調補正処理ユニット３３ｍから出力される階調補正画像信号を合成する画像合成処理部３３ｑから構成される。
また、階調補正処理ユニット３３ｍは蛍光画像信号から特定部位を抽出する階調補正処理部３３ｎと、特定部位が抽出された蛍光画像信号に対し、信号を増幅するゲイン調整部３３ｅと、ゲイン調整が施された蛍光画像信号に対し、信号を黒或いは白の２つの値に変換する２値化処理部３３ｆと、２値化処理が施された蛍光画像信号に対し、輝度信号を色信号に変換する色処理部３３ｇから構成される。
次に、本実施の形態２のシステムの作用について説明する。全体的な動作は上記実施の形態と同じであり、ことなる部分および特徴部分について以下に説明する。
蛍光画像信号については、通常画像信号と合成される前にまず必要情報の抽出処理を行う。その過程について説明する。
蛍光画像信号は階調補正処理部３３ｎにて必要情報として血管や病変組織などの特定部位の信号が抽出される。階調補正処理部３３ｎは図７に示す入出力特性を有する。第一の撮像素子(高感度撮像素子)２４から得られる蛍光画像は特定部位のみならず周辺それ以外の情報も少なからず持っている。蛍光観察では、インドシアニングリーン投与にて血漿内蛋白と結合した血流や病変組織が自家蛍光を発する自家蛍光信号を第一の撮像素子２４にて得るが、近傍の周辺部位に反射する蛍光反射成分についても高感度である第一の撮像素子２４が信号として拾ってしまう。ただし、この周辺の蛍光反射信号は微弱であるためある程度の階調補正を行うことで削減することが可能である。
図７は階調補正処理部３３ｎの特性例を示す特性図である。図７の階調補正特性は、入力に対する出力の特性で現される。入力と出力が１対１(比例)の関係である破線で示されたリニア特性６３に対して、この発明による階調補正処理部３３ｎの例では、たとえば実線で示される専用階調補正特性６４となっている。すなわち、入力信号に含まれる自家蛍光信号レベル６６に対して、蛍光反射信号レベル６５が十分小さいことを利用して、蛍光反射信号レベル６５が出力されない特性とする。これによって、血管血流や病床部位など本来の自家蛍光部分のみを抽出することができる。
階調処理がなされた後、その抽出信号はゲイン調整部３３ｅにて増幅される。検出された抽出信号が微弱な場合はゲイン調整部３３ｅにて調整する。
ゲイン調整が施された後、必要情報をさらに抽出する目的で２値化処理部３３ｆに入力され、閾値処理が施される。閾値処理により蛍光画像信号は黒色と白色の２つの値に変換される。閾値の決定方法としては、モード法や微分ヒストグラム法を用いるが、操作部３６から閾値を直接入力するようにしてもよい。また、必ずしも２値化処理を施す必要はなく、そのまま、色処理部３３ｇへ出力してもよい。
２値化処理が施された後、蛍光画像信号は色処理部３３ｇに入力され、蛍光画像信号に対して色処理が施される。色処理せずにそのまま通常画像信号と合成処理してもよいが、蛍光画像信号はモノクロ信号であるため、蛍光画像が目立ちにくい可能性がある。そこで、輝度信号を色信号に変換する。色の選択は対象となる通常画像信号の色成分から合成後に蛍光部分が目立つような色を自動的に選択するようにしてもよい。また、操作部３６から直接入力するようにしてもよい。この場合、特徴部分の視認性と解像度の両立などを考慮し、たとえば輝度信号の全てを色信号に変換するのではなく、図１２のように輝度レベルや図１３のように撮像位置により、色信号に変換する部分としない部分があってもよい。すなわち、図１２では、蛍光輝度が高く自己蛍光の部分(１８２)を色信号に変換し、低輝度は反射部分(１８１)として輝度のままとし、特定部位である自己蛍光部分の視認性を上げている。もしくは、図１３では、蛍光高輝度部分を全て色信号に変換するのではなく、表示画素単位で輝度信号と色信号に分けで変換・表示することで(１８３)、色信号のみでは飽和してしまい見えなくなる可能性のある輝度信号のディテール部分も同時に表示することができる(１８４，１８５)。なお、図１３の輝度と色の配分やレベルは状況に合わせて適当な値で設定すればよく、図中の輝度部分をゼロとして可視画像と重畳してもよい。
次に画像合成処理について説明する。画像合成処理部３３ｑには通常画像処理部３３ａから通常画像信号、階調補正処理ユニット３３ｍから階調補正画像信号が入力される。画像合成処理部３３ｑでは階調補正画像信号と通常画像信号とを所定の割合にて合成する。
合成画像信号Ｃｓは通常画像信号Ｃｖ、蛍光画像信号Ｃｉ１を重み付け(α１，β１)加算することにより生成される。(ここでは階調補正画像信号を便宜上、蛍光画像信号としている)
たとえば合成画像信号は以下の演算式により生成される。
Ｃｓ＝α１×Ｃｖ＋β１×Ｃｉ１
そして、画像合成処理部３３ｑにおいて生成された合成画像信号は、ビデオ出力部３５に出力される。ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて図８のような合成画像を表示する。
図８は、通常画像(１４６)と蛍光画像(１４７ａ)から抽出した階調補正画像(１６８)との合成過程を図示したものである。通常画像(１４６)は可視画像である。階調補正画像(１６８)は、蛍光画像(１４７ａ)から必要情報として自家蛍光信号(１６６)(特定部位Ｂ１７０)を得たものである。これらを合成することで特定部位Ｂ(１７０)と通常部位(１４９)を含む出力画像(１６９)を得る。
図８に示すように、白色光を照射した場合、一様に白色光を反射するため、第二の撮像系より通常画像(１４６)が得られる。一方、励起光を照射した場合、血管や病変組織などの特定部位より自家蛍光が照射されるため、第一の撮像系より蛍光画像(１４７ａ)が得られる。そして、合成画像を生成する前に、蛍光画像(１４７ａ)から図７に示す階調特性に従い階調補正処理を行い必要情報として階調補正画像(１６８)を得た後、通常画像(１４６)に合成することにより、血管や病変組織などの特定部位Ｂ(１７０)が明確に表示された画像を得ることができる。
また、蛍光画像(１４７ａ)は輝度信号であるため、抽出した信号を通常画像(１４６)と合成した場合に見難い場合が考えられる。このため、たとえば輝度信号の状態を色信号へ変換したのち合成することで、病変組織などの特定部位の明示がさらに容易となる。このとき変換する色信号を外部より任意に選択可能とすればさらに明示しやすくなる。また、抽出信号を合成する際、所定の時間で点滅をさせたり、輝度レベルや色相を可変させたり制御することで、特定部位に対してさらに視認性を向上させることができる。
なおその他の変形例については上記実施の形態と同じであり、説明を省略する。
実施の形態３．
以下、この発明の撮像装置の実施の形態３による撮像装置について説明する。実施の形態３による撮像装置を適用した硬性鏡システムの基本的構成は図１のものと同じであり、光源装置２、画像処理装置３の基本的構成は図２、３のものと同じである。図９はこの実施の形態における画像処理装置３の画像処理部３３の具体的な構成、図７はこの実施の形態における補正処理の特性、図８はこの実施の形態における生成画像の一例、図１０は画像重畳処理部の動作の一例をそれぞれ示す。
図９において、画像処理部３３は、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、蛍光画像処理部３３ｂで所定の処理を施された蛍光画像信号に対し、蛍光画像から必要情報を抽出するため所定の処理を行う階調補正処理ユニット３３ｍと、通常画像処理部３３ａから出力される通常画像信号に対し、階調補正処理ユニット３３ｍから出力される階調補正信号を合成する画像重畳処理部３３ｐから構成される。
また、階調補正処理ユニット３３ｍは蛍光画像信号から特定部位を抽出する階調補正処理部３３ｎと、特定部位が抽出された蛍光画像信号に対し、信号を増幅するゲイン調整部３３ｅと、ゲイン調整が施された蛍光画像信号に対し、信号を黒或いは白の２つの値に変換する２値化処理部３３ｆと、２値化処理が施された蛍光画像信号に対し、輝度信号を色信号に変換する色処理部３３ｇから構成される。
さらに、文字画像生成部３３ｔは、文字画像制御信号３３ｕとフォントデータ格納部３３ｓとの接続を持ち、その出力は画像重畳処理部３３ｐへ送られる。
次に、本実施の形態３のシステムの作用について説明する。全体的な動作は上記実施の形態と同じであり、ことなる部分および特徴部分について以下に説明する。
この実施の形態の特徴である画像重畳処理について説明する。画像重畳処理以前の処理は基本的に実施の形態２と同じである。
画像重畳処理部３３ｐには通常画像処理部３３ａから通常画像信号、階調補正処理ユニット３３ｍから階調補正画像信号が入力される。また、文字画像生成部３３ｔは、ＣＰＵ３８より文字画像制御信号３３ｕを介してフォントデータ格納部３３ｓの文字情報を用い、文字画像を生成する。文字画像は操作者に対し必要情報を画面表示にて知らしめるものである。画像重畳処理部３３ｐではこれら階調補正画像信号と通常画像信号と文字画像信号などを重ね合わせることで１つの画像として表示させる。
そして、画像重畳処理部３３ｐにおいて生成された重畳(合成)画像信号は、ビデオ出力部３５に出力される。ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて図１０のような重畳画像(１７２)を表示する。
図１０(環連する図８も参照)は、通常画像(１４６)と蛍光画像(１４７ａ)から抽出した階調補正画像(１６８)との重畳過程を図示したものである。通常画像(１４６)は可視画像である。階調補正画像(１６８)は、蛍光画像(１４７ａ)から必要情報として自家蛍光信号(１６６)(特定部位Ｂ７０)を得たものである。これらを重ねあわせることで重畳画像(１７２)を得る。
図８に示すように、白色光を照射した場合、一様に白色光を反射するため、第二の撮像系より通常画像(１４６)が得られる。一方、励起光を照射した場合、血管や病変組織などの特定部位より自家蛍光が照射されるため、第一の撮像系より蛍光画像(１４７ａ)が得られる。そして、合成画像を生成する前に、蛍光画像(１４７ａ)から図７に示す階調特性に従い階調補正処理を行い必要情報として階調補正画像(１６８)を得た後、通常画像(１４６)に重畳することにより、血管や病変組織などの特定部位Ｂ(１７０)が明確に表示された画像を得ることができる。
また、蛍光画像(１４７ａ)は輝度信号であるため、抽出した信号を通常画像(１４６)と重畳した場合に見難い場合が考えられる。このため、たとえば輝度信号の状態を色信号へ変換したのち重畳することで、病変組織などの特定部位の明示がさらに容易となる。このとき変換する色信号を外部より任意に選択可能とすればさらに明示しやすくなる。また、抽出信号を合成する際、所定の時間で点滅をさせたり、輝度レベルや色相を可変させたり制御することで、特定部位に対してさらに視認性を向上させることができる。
図１０に示すように、たとえば、各レイヤーごとで以下の順番にて画像を重ね合わせる。最下層に通常画像(１４６)、中間層に階調補正画像(１６８)、最上層に文字画像(１７１)。画像重畳処理部３３ｐは、単なる加算のような合成処理ではなく、前記のような各画像が独立したレイヤー構造を持ったうえで重ねるため、出力画像にどの画像を重畳して表示するかについては制御信号である重畳制御信号３３ｒにより自動もしくはユーザー選択が可能である。これは例えばＰＣＴ３８、操作部３６により実現される。これにより、必要に応じて文字画像(１７１)が重畳されるので便利であり。また、前記のような各画像が独立して存在する構造のため、図１１のように各画像を任意のサイズで任意の位置に重ね合せて表示することが可能である。これにより、例えば手術中の操作者の所望の画像がさらに得られやすくなる。
その他の変形例については、上記実施の形態と同じであり、説明を省略する。
なお、この発明は上記各実施の形態に限定されるものではなく、これらの可能な組み合わせ全て含むものである。
また、第一の撮像系である、特殊光カットフィルタ２２、第一結像光学系２３、高感度撮像素子２４が第一の撮像手段を構成し、
第二の撮像系である、第二結像光学系２５、撮像素子２６が第二の撮像手段を構成し、 エッジ抽出部３３ｄ、階調補正処理部３３ｎが画像処理手段を構成し、
画像合成処理部３３ｌ，３３ｑが合成画像生成手段を構成し、
画像重畳処理部３３ｐが重畳画像生成手段を構成し、
２値化処理部３３ｆが閾値処理手段を構成し、
色処理部３３ｇが色処理手段を構成し、
ＣＰＵ３８、操作部３６、色処理部３３ｇ、画像合成処理部３３ｌ，３３ｑ、画像重畳処理部３３ｐが色可変手段、画像設定手段、画像点滅手段を構成し、
フィードバックモニタＬ８６、フィードバックモニタＲ８７が近赤外画像信号変換手段を構成し、
フィードバックモニタＬ８６、フィードバックモニタＲ８７、および重畳ミラーＬ８８、重畳ミラーＲ８９が近赤外可視光像重畳手段を構成する。
１ 硬性鏡システム、２ 光源装置、３ 画像処理装置、４ モニタ、５ ケーブル、１０ 硬性鏡撮像装置、２０ 撮像ユニット、２１ ダイクロイックプリズム、２２ 特殊光カットフィルタ、２３ 第一結像光学系、２４ 高感度撮像素子、２５ 第二結像光学系、２６ 撮像素子、２７ 撮像制御ユニット、３０ 硬質挿入部、３０ｄ 照射窓、３１ 通常画像入力コントローラ、３２ 蛍光画像入力コントローラ、３３ 画像処理部、３３ａ 通常画像処理部、３３ｂ 蛍光画像処理部、３３ｃ エッジ抽出ユニット、３３ｄ エッジ抽出部、３３ｅ ゲイン調整部、３３ｆ ２値化処理部、３３ｇ 色処理部、３３ｌ，３３ｑ 画像合成処理部、３３ｍ 階調補正処理ユニット、３３ｎ 階調補正処理部、３３ｐ 画像重畳処理部、３３ｓ フォントデータ格納部、３３ｔ 文字画像生成部、３４ メモリ、３５ ビデオ出力部、３６ 操作部、３８ ＣＰＵ、４０ 通常光源、４２ 集光レンズ、４３ ダイクロイックミラー、４４ ＬＤ光源、４５ ＬＤドライバ、４６ 集光レンズ、４７ ミラー、８６ フィードバックモニタＬ、８７ フィードバックモニタＲ、８８ 重畳ミラーＬ、８９ 重畳ミラーＲ、９０ 接眼部Ｌ、９１ 接眼部Ｒ、９２ 重畳・切替部、９３ 対物レンズ、ＬＣ 光ケーブル。

Claims (3)

  1. 複数の波長帯域を撮像する撮像装置において、
    近赤外光帯域の光像を撮像する第一の撮像手段と、
    可視光帯域の光像を撮像する第二の撮像手段と、
    前記第一の撮像手段により取得した近赤外画像の輝度信号のレベルが所定のレベル以下の場合は出力する輝度信号のレベルを零にする第１の補正を行うとともに、前記近赤外画像の輝度信号レベルが所定のレベルより大きい場合は前記出力する輝度信号のレベルをより大きくする第２の補正を行う階調補正処理手段と、
    前記階調補正処理手段から出力される前記第２の補正がなされた輝度信号を、輝度信号のまま出力するＹ画素と輝度信号から色信号に変換するＣ画素とに区別し、これらＹ画素及びＣ画素を組合せてレベルに応じた色信号変換を行う色変換手段と、
    前記第二の撮像手段により取得した可視光画像と前記色変換手段より変換した色変換後の階調補正処理画像とを所定の割合にて加算し合成画像を生成する合成画像生成手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記合成画像生成手段からの信号を電光変換にて可視光像へ変換し、顕微鏡の対物レンズより得られる実際の可視光像に重畳させる可視光像重畳手段を、備えたことを特徴とする請求項１に記載の撮像装置。
  3. 前記色変換手段は、変換する色を変更可能とする色可変手段を有することを特徴とする請求項１に記載の撮像装置。
JP2013163472A 2013-08-06 2013-08-06 撮像装置 Expired - Fee Related JP6533358B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013163472A JP6533358B2 (ja) 2013-08-06 2013-08-06 撮像装置
DE102014110131.6A DE102014110131B4 (de) 2013-08-06 2014-07-18 Bildaufnahmevorrichtung
US14/445,766 US9906739B2 (en) 2013-08-06 2014-07-29 Image pickup device and image pickup method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013163472A JP6533358B2 (ja) 2013-08-06 2013-08-06 撮像装置

Publications (2)

Publication Number Publication Date
JP2015029841A JP2015029841A (ja) 2015-02-16
JP6533358B2 true JP6533358B2 (ja) 2019-06-19

Family

ID=52448290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013163472A Expired - Fee Related JP6533358B2 (ja) 2013-08-06 2013-08-06 撮像装置

Country Status (3)

Country Link
US (1) US9906739B2 (ja)
JP (1) JP6533358B2 (ja)
DE (1) DE102014110131B4 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6152635B2 (ja) * 2012-11-08 2017-06-28 ソニー株式会社 画像処理装置および方法、並びに、プログラム
EP3031386B1 (en) * 2013-09-10 2021-12-29 Sony Group Corporation Image processing device and program
JP5981052B2 (ja) * 2014-06-05 2016-08-31 オリンパス株式会社 処理装置、内視鏡システム、内視鏡装置、画像処理装置の作動方法および画像処理プログラム
JP6392570B2 (ja) * 2014-07-11 2018-09-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
CN107427183B (zh) 2015-03-19 2019-04-19 奥林巴斯株式会社 内窥镜装置
JP6683367B2 (ja) * 2015-03-30 2020-04-22 国立大学法人東北大学 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム
WO2016158624A1 (ja) 2015-03-30 2016-10-06 国立大学法人東北大学 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法
JP6557724B2 (ja) * 2015-05-25 2019-08-07 オリンパス株式会社 画像処理装置、医用観察システムおよび画像処理プログラム
JP2017064091A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、手術システム、及び、手術糸
EP3360460A4 (en) * 2015-10-07 2019-04-24 Olympus Corporation PICTURE RECORDING SYSTEM, CONTROL DEVICE, CONTROL METHOD, CONTROL PROGRAM
JP2017118887A (ja) * 2015-12-28 2017-07-06 株式会社システック 体内近赤外光像検出カメラ
JP2017176811A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 撮像装置、撮像方法及び医療用観察機器
US10122975B2 (en) 2016-05-19 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Endoscope and endoscope system
JP6293392B1 (ja) * 2016-05-19 2018-03-14 オリンパス株式会社 生体観察システム
CN113727000A (zh) * 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
EP3509529A4 (en) * 2016-09-09 2020-06-03 Intuitive Surgical Operations Inc. Simultaneous white light and hyperspectral light imaging systems
US11595595B2 (en) 2016-09-27 2023-02-28 Rxsafe Llc Verification system for a pharmacy packaging system
US10187593B2 (en) 2016-09-27 2019-01-22 Rxsafe Llc Verification system for a pharmacy packaging system
EP3534603B1 (en) * 2016-10-28 2022-07-20 Kyocera Corporation Image pickup device and method
CN110022751B (zh) * 2016-12-02 2021-11-30 奥林巴斯株式会社 内窥镜用图像处理装置
JP2018130375A (ja) * 2017-02-16 2018-08-23 池上通信機株式会社 映像データ表示装置
US20190346367A1 (en) * 2017-02-28 2019-11-14 Sony Corporation Image processing apparatus, image processing method, and program
WO2018230066A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 医療用システム、医療用装置および制御方法
WO2019087557A1 (ja) * 2017-11-06 2019-05-09 オリンパス株式会社 内視鏡システム
US11272844B2 (en) 2017-11-13 2022-03-15 Sony Corporation Information processing device, information processing method, and fluorescence image capturing system
JPWO2019092950A1 (ja) * 2017-11-13 2020-11-12 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
EP3804604A4 (en) * 2018-05-31 2022-04-13 Panasonic i-PRO Sensing Solutions Co., Ltd. CAMERA DEVICE, IMAGE PROCESSING METHODS AND CAMERA SYSTEM
JP6865719B2 (ja) * 2018-07-19 2021-04-28 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 医療用光学顕微鏡
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
EP3915457B1 (en) * 2019-01-24 2025-04-16 FUJIFILM Corporation Endoscope device
JP7281308B2 (ja) 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP7257829B2 (ja) * 2019-03-15 2023-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
WO2020203164A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療システム、情報処理装置及び情報処理方法
US11730340B2 (en) * 2019-05-01 2023-08-22 Karl Storz Imaging, Inc. Video display system having an adaptive overlay
US20200397267A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Speckle removal in a pulsed fluorescence imaging system
US20220277432A1 (en) 2019-08-27 2022-09-01 Sony Olympus Medical Solutions Inc. Medical image processing device and medical observation system
CN114731364A (zh) * 2019-10-02 2022-07-08 化学影像公司 分子化学成像与rgb成像的融合
CN115087386B (zh) 2020-02-18 2025-04-25 索尼奥林巴斯医疗解决方案公司 学习装置和医疗图像处理装置
DE102020118814A1 (de) 2020-07-16 2022-01-20 avateramedical GmBH Stereoendoskop
JP7041226B2 (ja) * 2020-10-19 2022-03-23 パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社 医療用光学顕微鏡
US12134494B2 (en) 2022-01-03 2024-11-05 Rxsafe, Llc Verification system for a pharmacy packaging system
US12239409B2 (en) 2022-02-28 2025-03-04 Visionsense Ltd. Fluorescence imaging camera assembly for open surgery
JPWO2023181558A1 (ja) * 2022-03-24 2023-09-28
JP2023168108A (ja) * 2022-05-13 2023-11-24 株式会社タムロン 画像形成装置
EP4403089A1 (de) * 2023-01-17 2024-07-24 Erbe Elektromedizin GmbH Visualisierungseinrichtung
WO2024185435A1 (ja) * 2023-03-03 2024-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療観察システム及び医療観察方法
EP4501203A1 (en) * 2023-08-02 2025-02-05 Leica Instruments (Singapore) Pte Ltd Data processing device and computer-implemented method for combining a fluorescence emission signal with an edge detection signal in a medical observation device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6379632A (ja) * 1986-09-25 1988-04-09 株式会社東芝 電子内視鏡装置
JP4733817B2 (ja) * 1999-07-30 2011-07-27 オリンパス株式会社 実体顕微鏡
JP2001178674A (ja) * 1999-12-24 2001-07-03 Toshiba Corp 内視鏡及び内視鏡用信号処理装置
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
JP4202671B2 (ja) * 2001-04-27 2008-12-24 富士フイルム株式会社 規格化画像生成方法および装置
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
JP2003164414A (ja) * 2001-11-29 2003-06-10 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
JP2004024497A (ja) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd 蛍光診断画像生成装置
JP4761899B2 (ja) * 2005-09-12 2011-08-31 Ｈｏｙａ株式会社 電子内視鏡システム
JP5385176B2 (ja) * 2009-09-28 2014-01-08 富士フイルム株式会社 画像表示装置の作動方法および画像表示装置
JP2011131002A (ja) * 2009-12-25 2011-07-07 Fujifilm Corp 蛍光画像撮像装置
WO2011111619A1 (ja) * 2010-03-09 2011-09-15 オリンパス株式会社 蛍光内視鏡装置
JP6006199B2 (ja) * 2011-03-31 2016-10-12 オリンパス株式会社 蛍光観察装置

Also Published As

Publication number Publication date
US9906739B2 (en) 2018-02-27
DE102014110131A1 (de) 2015-04-02
US20150042774A1 (en) 2015-02-12
JP2015029841A (ja) 2015-02-16
DE102014110131B4 (de) 2021-02-25

Similar Documents

Publication Publication Date Title
JP6533358B2 (ja) 撮像装置
US20230329830A1 (en) Methods and Systems for Alternate Image Display
JP5385350B2 (ja) 画像表示方法および装置
JP6184571B2 (ja) 蛍光観察内視鏡システム
KR101913622B1 (ko) 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템
JP5808031B2 (ja) 内視鏡システム
US10805512B2 (en) Dual path endoscope
JP6581984B2 (ja) 内視鏡システム
JP5358368B2 (ja) 内視鏡システム
JP2012065698A (ja) 手術支援システムおよびそれを用いた手術支援方法
JP2011200367A (ja) 画像撮像方法および装置
US20190167083A1 (en) Endoscope system
CN107072508A (zh) 观察系统
US12355935B2 (en) Medical imaging system, medical imaging device, and operation method
US20110109761A1 (en) Image display method and apparatus
JP2019030406A (ja) 内視鏡システム
WO2016139768A1 (ja) 画像処理装置、生体観察装置および画像処理方法
JPWO2018163500A1 (ja) 内視鏡装置
JP2011067486A (ja) 画像取得方法および装置
US20230397801A1 (en) Medical imaging system, medical imaging device, and operation method
JP5570352B2 (ja) 画像撮像装置
CN108778088A (zh) 活体观察系统
JP6205531B1 (ja) 内視鏡システム
CN111568549A (zh) 一种具有实时成像功能的可视化系统
JP2020185202A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180820

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20181005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190524

R150 Certificate of patent or registration of utility model

Ref document number: 6533358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees