JP7163243B2 - プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 - Google Patents

プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 Download PDF

Info

Publication number
JP7163243B2
JP7163243B2 JP2019081710A JP2019081710A JP7163243B2 JP 7163243 B2 JP7163243 B2 JP 7163243B2 JP 2019081710 A JP2019081710 A JP 2019081710A JP 2019081710 A JP2019081710 A JP 2019081710A JP 7163243 B2 JP7163243 B2 JP 7163243B2
Authority
JP
Japan
Prior art keywords
image
display area
light
color tone
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019081710A
Other languages
English (en)
Other versions
JP2020178738A (ja
Inventor
雅裕 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019081710A priority Critical patent/JP7163243B2/ja
Priority to CN202010325301.7A priority patent/CN111820852A/zh
Publication of JP2020178738A publication Critical patent/JP2020178738A/ja
Application granted granted Critical
Publication of JP7163243B2 publication Critical patent/JP7163243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、複数種類の画像を切り替えて表示するプロセッサ装置及び内視鏡システム並びにキャリブレーション方法に関する。
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
また、近年では、診断の目的に応じて、互いに波長域が異なる複数の照明光を観察対象に照明することが行われている。例えば、特許文献1では、複数の照明光について各照明光の光量比を切り替えて照明を行っている。合わせて、特許文献1では、光量比の切り替えの前後において、色調が同じになるように、画像の色調を補正している。
特開2013-34753号公報
近年では、内視鏡分野においては、背景粘膜以外の生体情報、例えば、深さが異なる血管や深さ、高さが異なる腺管構造などに着目する診断が行われている。このような診断においては、ユーザーに対して、背景粘膜以外の複数の情報をそれぞれ把握できるように表示する必要がある。このような複数の情報をそれぞれ表示する方法として、生体組織への深達度が異なる複数波長の光を自動で周期的に切り替えて照明し、それらの照明によって得られる複数の画像を切り替えて表示する方法が考えられる。例えば、表層血管など表層の情報と深層血管など深層の情報を得るためには、表層にまで深達度を有する短波光と深層にまで深達度を有する中波長光を切り替えて照明し、短波光の照明により得られる表層画像と中波長光の照明により得られる深層画像とを切り替えて表示する。このような切替表示を行うことにより、表層画像と深層画像の差分が表示されるため、異なる生体情報を分離して表示することができる。したがって、表層情報と深層情報との異なる生体情報を把握することができる。
以上のように、各波長の光を切り替えて照明する場合には、切り替えの前後で画像の色調が大きく変わらないように、画像の色調を調整する必要がある。これに対して、特許文献1に示す色調調整方法の適用が考えられる。しかしながら、特許文献1では、光量比を自動で切り替え、光量比の自動的な切替に合わせて、各光量比に対応する画像を自動的に切り替えて表示することは想定していない。そのため、上記のように、自動的に切り替わる画像に対して、それぞれの画像の背景粘膜の色調を合わせたい場合には、特許文献1の色調調整方法では、画像間の背景粘膜の色調を合わせきれない場合がある。
本発明は、複数の照明光を切り替えて照明し、照明光の切り替えに合わせて、各照明光に対応する画像を切り替えて表示する場合において、各画像間の色調が等しくなるように色調を調整することができるプロセッサ装置及び内視鏡システム並びにキャリブレーション方法を提供することを目的とする。
本発明のプロセッサ装置は、第1照明光によって照明された観察対象を撮像して得られる第1画像と、第1照明光とは異なる発光スペクトルを有する第2照明光によって照明された観察対象を撮像して得られる第2画像を取得する画像取得部と、観察対象を第1表示領域と第2表示領域に分割して表示部に表示する場合において、第1画像から第1表示領域の位置、形状、又は大きさに合わせて切り取った第1部分画像を第1表示領域に表示し、第2画像から第2表示領域の位置、形状、又は大きさに合わせて切り取った第2部分画像を第2表示領域に表示する表示制御部と、第1部分画像と第2部分画像の色調を等しくするために、第1画像と第2画像に対する色調処理の内容を変更する色調変更処理を行う色調変更部と、第1部分画像と第2部分画像の色調に関する情報を取得する色調情報取得部とを備え、色調変更部は、色調情報取得部にて取得した情報に基づいて、色調変更処理を自動で行い、色調変更部は、第1部分画像と第2部分画像の色調の差分値を求め、差分値が「0」に近づくように、色調変更処理を行う。
表示制御部は、第1表示領域と第2表示領域の位置、形状、又は大きさの少なくともいずれかを変更可能であり、変更後の第1表示領域の位置、形状、又は大きさに合わせて切り直した第1部分画像を、変更後の第1表示領域に表示し、変更後の第2表示領域の位置、形状、又は大きさに合わせて切り直した第2部分画像を、変更後の第2表示領域に表示することが好ましい。
本発明のプロセッサ装置は、第1照明光によって照明された観察対象を撮像して得られる第1画像と、第1照明光とは異なる発光スペクトルを有する第2照明光によって照明された観察対象を撮像して得られる第2画像を取得する画像取得部と、観察対象を第1表示領域と第2表示領域に分割して表示部に表示する場合において、第1画像から第1表示領域の位置、形状、又は大きさに合わせて切り取った第1部分画像を第1表示領域に表示し、第2画像から第2表示領域の位置、形状、又は大きさに合わせて切り取った第2部分画像を第2表示領域に表示する表示制御部と、第1部分画像と第2部分画像の色調を等しくするために、第1画像と第2画像に対する色調処理の内容を変更する色調変更処理を行う色調変更部とを備え、表示制御部は、第1表示領域と第2表示領域の位置、形状、又は大きさの少なくともいずれかを変更可能であり、変更後の第1表示領域の位置、形状、又は大きさに合わせて切り直した第1部分画像を、変更後の第1表示領域に表示し、変更後の第2表示領域の位置、形状、又は大きさに合わせて切り直した第2部分画像を、変更後の第2表示領域に表示し、表示制御部は、第1表示領域と第2表示領域について形状及び大きさを維持した状態で位置を変更可能であり、表示制御部は、第1表示領域と第2表示領域について、形状及び大きさを維持した状態で、観察対象を表示する観察対象表示領域の中心部分を中心として、回転させ
1表示領域の形状は、中心部分を中心とする90°の扇形であり、第2表示領域の形状は、中心部分を中心とする270°の扇形であることが好ましい。表示制御部は、第1表示領域と第2表示領域の位置、形状、又は大きさを固定することが好ましい。第1表示領域と第2表示領域はそれぞれ隣り合って設けられていることが好ましい。第1表示領域と第2表示領域の境界部分は透明であることが好ましい。
色調変更部を操作するためのユーザーインターフェースを備え、色調変更部は、ユーザーインターフェースによる操作に従って、色調変更処理を行うことが好ましい。第1部分画像と第2部分画像の色調に関する情報を取得する色調情報取得部を備え、色調変更部は、色調情報取得部にて取得した情報に基づいて、色調変更処理を自動で行うことが好ましい。
本発明の内視鏡システムは、上記記載の本発明のプロセッサ装置と、第1照明光と、第2照明光とを発光する光源部と、第1照明光と第2照明光とを自動的に切り替えて発光する制御を行う光源制御部と、を備え、色調変更部は、キャリブレーションモードにおいて、色調変更処理を行う。
本発明のプロセッサ装置の作動方法は、画像取得部が、第1照明光に基づく観察対象を撮像して得られる第1画像と、第1照明光とは異なる発光スペクトルを有する第2照明光に基づく観察対象を撮像して得られる第2画像を取得するステップと、表示制御部が、観察対象を第1表示領域と第2表示領域に分割して表示部に表示する場合において、第1画像から第1表示領域の位置、形状、又は大きさに合わせて切り取った第1部分画像を第1表示領域に表示し、第2画像から第2表示領域の位置、形状、又は大きさに合わせて切り取った第2部分画像を第2表示領域に表示するステップと、色調変更部が、第1部分画像と第2部分画像の色調を等しくするために、第1画像と第2画像に対する色調処理の内容を変更する色調変更処理を行うステップとを備え、表示制御部は、第1表示領域と第2表示領域の位置、形状、又は大きさの少なくともいずれかを変更可能であり、変更後の第1表示領域の位置、形状、又は大きさに合わせて切り直した第1部分画像を、変更後の第1表示領域に表示し、変更後の第2表示領域の位置、形状、又は大きさに合わせて切り直した第2部分画像を、変更後の第2表示領域に表示し、表示制御部は、第1表示領域と第2表示領域について形状及び大きさを維持した状態で位置を変更可能であり、表示制御部は、第1表示領域と第2表示領域について、形状及び大きさを維持した状態で、観察対象を表示する観察対象表示領域の中心部分を中心として、回転させる。


本発明によれば、複数の照明光を切り替えて照明し、照明光の切り替えに合わせて、各照明光に対応する画像を切り替えて表示する場合において、各画像間の色調が等しくなるように色調を調整することができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 紫色光V、青色光B、緑色光G、及び赤色光Rを含む第1照明光の発光スペクトルを示すグラフである。 紫色光V、青色光B、緑色光G、及び赤色光Rを含む第2照明光の発光スペクトルを示すグラフである。 第1照明光の発光期間と第2照明光の発光期間を示す説明図である。 発光期間設定メニューを示す説明図である。 撮像センサに設けられたBフィルタ、Gフィルタ、Rフィルタの分光透過率である。 第1画像信号群および第2画像信号群の取得について、時系列により説明する説明図である。 DSPの機能を示すブロック図である。 特殊画像処理部の機能を示すブロック図である。 第1画像を示す画像図である。 第1照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。 第2画像を示す画像図である。 第2照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。 第1画像と第2画像を自動的に切り替えて表示することを示す説明図である。 2分割した第1表示領域と第2表示領域を示す説明図である。 4分割した第2表示領域と第2表示領域を示す説明図である。 略扇形の第1表示領域及び第2表示領域を回転させながら色調変更処理を行うことを示す説明図である。 キャリブレーションモードによって行われるキャリブレーション方法の一連の流れの流れを示すフローチャートである。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13a、静止画取得指示部13bが設けられている。モード切替SW13aは、通常光観察モードと、第1特殊光観察モードと、第2特殊光観察モードと、マルチ観察モードと、キャリブレーションモードとの切替操作に用いられる。通常光観察モードは、通常画像をモニタ18上に表示するモードである。第1特殊光観察モードは、表層血管などの表層情報を強調した第1画像をモニタ18上に表示するモードである。第2特殊光観察モードは、深層血管などの深層情報を強調した第2画像をモニタ18上に表示するモードである。マルチ観察モードは、第1画像と第2画像とを自動的に切り替えてモニタ18に表示するモードである。キャリブレーションモードは、マルチ観察モードにおいて、自動的に第1画像と第2画像を切り替えて表示する場合において、第1画像と第2画像の色調を等しくするために、第1画像又は第2画像に対する色調処理の内容を変更するモードである。なお、モードを切り替えるためには、モード切替SW13aの他に、フットスイッチ等を用いてもよい。
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付ける。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23と、発光期間設定部24とを有している。光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。光源制御部21は、LED20a~20dの駆動を制御する。光路結合部23は、4色のLED20a~20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。発光期間設定部24は、複数の照明光のそれぞれの発光期間を設定する。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
光源制御部21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。また、光源制御部21は、通常光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
また、光源制御部21は、第1特殊光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs1:Bs1:Gs1:Rs1となる第1照明光を発光するように、各LED20a~20dを制御する。光強度比Vs1:Bs1:Gs1:Rs1は、第1照明光の光量条件に対応する。第1照明光は、表層血管を強調することが好ましい。そのため、第1照明光は、紫色光Vの光強度を青色光Bの光強度よりも大きくすることが好ましい。例えば、図4に示すように、紫色光Vの光強度Vs1と青色光Bの光強度Bs1との比率を「4:1」とする。
なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
また、光源制御部21は、第2特殊光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs2:Bs2:Gs2:Rs2となる第2照明光を発光するように、各LED20a~20dを制御する。光強度比Vs2:Bs2:Gs2:Rs2は、第2照明光の光量条件に対応する。第2照明光は、深層血管を強調することが好ましいい。そのため、第2照明光は、青色光Bの光強度を紫色光Vの光強度よりも大きくすることが好ましい。例えば、図5に示すように、紫色光Vの光強度Vs2と青色光Bの光強度Bs2との比率を「1:3」とすることが好ましい。
光源制御部21は、マルチ観察モード及びキャリブレーションモードに設定されている場合には、第1照明光と第2照明光とをそれぞれ発光期間K(N)と発光期間L(N)にて発光し、且つ、第1照明光と第2照明光とを自動的に切り替えて発光する制御を行う。発光期間K(N)と発光期間L(N)とは、それぞれ少なくとも1フレーム以上の発光期間を有する。なお、Nは自然数とし、Nが大きくなる程、時間的に進んでいることを示す。
より具体的には、例えば、図6に示すように、光源制御部21は、発光期間K(N)を4フレームとし、発光期間K(N)を4フレームとした場合、第1照明光が発光期間K(1)にて4フレーム続けて発光した後に、第2照明光が発光期間L(2)にて4フレーム続けて発光される。そして、この発光パターンを繰り返し行う。
なお、「フレーム」とは、観察対象を撮像する撮像センサ48(図2参照)を制御するための単位をいい、例えば、「1フレーム」とは、観察対象からの光で撮像センサ48を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間K(N)または発光期間L(N)がそれぞれ定められている。
発光期間K(N)と発光期間L(N)は、光源制御部21に接続された発光期間設定部24によって、適宜変更が可能である。ユーザーインターフェース19の操作により、発光期間の変更操作を受け付けると、発光期間設定部24は、図7に示すような発光期間設定メニューをモニタ18上に表示する。発光期間K(N)は、例えば、2フレームから10フレームの間で変更可能である。各発光期間については、スライドバー26a上に割り当てられている。
発光期間K(N)を変更する場合には、ユーザーインターフェース19を操作して、スライドバー26a上の変更したい発光期間を示す位置にスライダ27aを合わせることで、発光期間K(N)が変更される。発光期間K(N)についても、ユーザーインターフェース19を操作して、スライドバー26b(例えば、2フレームから10フレームの発光期間が割り当てられている)上の変更したい発光期間を示す位置にスライダ27bを合わせることで、発光期間L(N)が変更される。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
図8に示すように、Bフィルタ48bは、紫色帯域の光、青色帯域の光、及び緑色帯域の光のうち短波側の光を透過させる。Gフィルタ48gは、緑色帯域の光、青色帯域の光の長波側の光、及び赤色帯域の光の短波側の光を透過させる。Rフィルタ48rは、赤色帯域の光、緑色帯域の短波側の光を透過させる。したがって、撮像センサ48のうち、B画素は紫色光V及び青色光Bに感度を有し、G画素は青色光B、緑色光G、及び赤色光Rに感度を有し、R画素は緑色光G及び赤色光Rに感度を有している。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
図2に示すように、撮像センサ48から出力される画像信号は、CDS/AGC回路50に送信される。CDS/AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))又は自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)51により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部52と、DSP(Digital Signal Processor)54と、ノイズ除去部58と、信号切替部60と、通常観察画像処理部62と、特殊観察画像処理部63と、表示制御部70と、静止画保存部71と、静止画保存制御部72とを備えている。
画像取得部52は、内視鏡12において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡12からのデジタルのカラー画像信号が画像取得部52に入力される。カラー画像信号は、撮像センサ48のR画素から出力される赤色信号と、撮像センサ48のG画素から出力される緑色信号と、撮像センサ48のB画素から出力される青色信号とから構成される。
画像取得部52は、通常光観察モードにおいて、通常光で照明された観察対象を撮像して得られる通常光用画像信号を取得する。また、画像取得部52は、第1特殊光観察モードにおいて、第1照明光で照明された観察対象を撮像して得られる第1画像信号を取得する。また、画像取得部52は、第2特殊光観察モードにおいて、第2照明光で照明された観察対象を撮像して得られる第2画像信号を取得する。
図9に示すように、画像取得部52は、マルチ観察モード及びキャリブ―レーションモードにおいて、発光期間K(N)において第1画像信号群を取得する。第1画像信号群は、発光期間K(N)において第1照明光により照明された被写体を撮像した複数の第1画像信号SP1を含む。また、画像取得部52は、発光期間L(N)において第2画像信号群を取得する。第2画像信号群は、発光期間L(N)において第2照明光により照明された被写体を撮像した複数の第2画像信号SP2を含む。本実施形態では、マルチ観察モード及びキャリブレーションモードに設定されている場合には、光源制御部21は、第1照明光と第2照明光とをそれぞれ発光期間K(N)と発光期間L(N)にて発光し、且つ、第1照明光と第2照明光とを自動的に切り替えて発光する制御を行うため、画像取得部52は、時間の経過により、第1画像信号群、第2画像信号群の順に、周期的に画像を取得する。なお、発光期間K(N)と発光期間L(N)の「N」は、第1照明光と第2照明光を発光するタイミングを表しており、1以上の自然数とする。
発光期間K(N)と発光期間L(N)とは、それぞれ少なくとも1フレーム以上の発光期間を有するため、第1画像信号群と第2画像信号群とは、それぞれ少なくとも1つ以上の第1画像信号SP1と第2画像信号SP2とを含む。本実施形態では、発光期間K(N)と発光期間L(N)とは、どちらも4フレームの発光期間である。したがって、発光期間K(N)では。4つの第1画像信号SP1を含む第1画像信号群が取得され、発光期間L(N)では、4つの第2画像信号SP2を含む第2画像信号群が取得される。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ホワイトバランス処理、デモザイク処理、リニアマトリクス処理、又は、ガンマ変換処理等の各種信号処理を施す。また、図10に示すように、DSP54は、明るさ算出部55と、光量設定部56とを備える。明るさ算出部55は、画像信号に基づいて、観察対象の明るさを算出する。光量設定部56は、明るさ算出部55にて求めた明るさに基づいて、通常光と第1照明光又は第2照明光の光量に関する情報を設定する。光量設定部56にて設定された光量に関する情報は、光源制御部21に送られる。光源制御部21では、光量設定部56にて設定された光量に関する情報に基づいて、通常光と第1照明光又は第2照明光の光量の制御を行う。
欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ホワイトバランス処理では、オフセット処理後の画像信号にゲイン値を乗じることにより信号レベルが整えられる。ホワイトバランス処理後の画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素が各色の信号を有するようになる。デモザイク処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。
ホワイトバランス処理、リニアマトリックス処理などについては、通常画像、第1画像、又は、第2画像の色調の調整するための処理であることから、色調処理に相当する。ホワイトバランス処理に関するパラメータは、通常光用画像信号、第1画像信号、第2画像信号に掛け合わせられるゲイン値がある。また、リニアマトリックス処理に関するパラメータは、通常光用画像信号、第1画像信号、第2画像信号に関するLUT(Look Up Table)、Matrix、3D-LUT(3-Dimensional Look Up Table)のパラメータがある。
これら色調処理に関するパラメータについては、色調処理用パラメータとして、色調処理用パラメータ保存部74(図2参照)に保存される。通常光観察モード、第1特殊光観察モード、第2特殊光観察モード、又は、マルチ観察モードにおいては、適宜、色調処理用パラメータ保存部74から色調処理用パラメータが読み出されて、色調処理に用いられる。色調処理用パラメータについては、工場出荷時、又は、内視鏡12の使用開始時に設定することが好ましい。また、マルチ観察モードにて使用する色調処理パラメータについては、内視鏡12を使用する施設又はその他の施設において、キャリブレーションモードにて設定することが可能である。キャリブレーションモードの詳細については、後述する。なお、色調処理用パラメータには、第1画像用のパラメータ、又は、第2画像用のパラメータを含めてもよい。
ノイズ除去部58は、DSP56でガンマ補正等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部60に送信される。
信号切替部60は、モード切替SW13aにより、通常光観察モードにセットされている場合には、通常光用画像信号を通常観察画像処理部62に送信する。また、第1特殊光観察モードにセットされている場合には、信号切替部60は、第1画像信号を、特殊観察画像処理部63の第1特殊観察画像処理部67(図11参照)に送信する。第1画像信号には、撮像センサのR画素から出力される第1赤色信号と、撮像センサ48のG画素から出力される第1緑色信号と、撮像センサ48のB画素から出力される第1青色信号が含まれる。
また、信号切替部60は、第2特殊光観察モードにセットされている場合には、第2画像信号を、特殊観察画像処理部63の第2特殊観察画像処理部68(図11参照)に送信する。第2画像信号には、撮像センサのR画素から出力される第2赤色信号と、撮像センサ48のG画素から出力される第2緑色信号と、撮像センサ48のB画素から出力される第2青色信号が含まれる。また、信号切替部60は、マルチ観察モード又はキャリブレーションモードにセットされている場合には、第1画像信号は第1特殊観察画像処理部67に送信され、第2画像信号は第2特殊観察画像処理部68に送信される。
通常観察画像処理部62は、通常光用画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常画像用の画像処理が施された通常光用画像信号は、通常画像として、通常観察画像処理部62から表示制御部70に入力される。
第1特殊観察画像処理部67は、第1画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第1画像を生成する。第1画像では、表層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第1特殊観察画像処理部67では、第1画像の画像処理を行うために、第1画像信号に対して掛け合わされる第1画像用のパラメータが設けられている。なお、第1特殊観察画像処理部67では、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。
第1画像により、図12に示すように、観察対象のうち背景粘膜BM、及び、表層血管VS1が表された画像が表示される。第1画像は、紫色光、青色光、緑色光、及び赤色光を含む第1照明光に基づいて得られる。図13に示すように、第1照明光が観察対象に照明されると、第1照明光のうち紫色光V及び青色光Bは、表層血管VS1が分布する表層にまで深達する。したがって、紫色光V及び青色光Bの反射光に基づいて得られる紫色光画像VPには、表層血管VS1の像が含まれる。なお、ここでは、紫色光Vの光強度が青色光Bの光強度より強いため、紫色光画像VPとする。また、第1照明光のうち緑色光Gと赤色光Rは、表層血管VS1及び深層血管VS2(表層血管VS1よりも深い位置にある血管)よりもさらに深い位置に分布する背景粘膜BMにまで深達する。したがって、緑色光Gと赤色光Rの反射光に基づいて得られる緑及び赤色光画像GRPには、背景粘膜BMの像が含まれる。以上から、第1画像は紫色光画像VPと緑及び赤色光画像GRPを組み合わせた画像であるため、背景粘膜BM及び表層血管VS1の像が表示される。
第2特殊観察画像処理部68は、第2画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第2画像を生成する。第2画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第2特殊観察画像処理部68では、第2画像の画像処理を行うために、第2画像信号に対して掛け合わされる第2画像用のパラメータが設けられている。なお、第2特殊観察画像処理部68では、深層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、深層血管強調処理を行うようにしてもよい。
第2画像により、図14に示すように、観察対象のうち背景粘膜BM、及び、深層血管VS2が表された画像が表示される。第2画像は、紫色光、青色光、緑色光、及び赤色光を含む第2照明光に基づいて得られる。図15に示すように、第1照明光が観察対象に照明されると、第2照明光のうち紫色光V及び青色光Bは、深層血管VS2が分布する深層にまで深達する。したがって、紫色光V及び青色光Bの反射光に基づいて得られる青色光画像BPには、深層血管VS2の像が含まれる。なお、ここでは、青色光Bの光強度が紫色光Vの光強度より強いため、青色光画像BPとする。また、第2照明光のうち緑色光Gと赤色光Rは、表層血管VS1及び深層血管VS2(表層血管VS1よりも深い位置にある血管)よりもさらに深い位置に分布する背景粘膜BMにまで深達する。したがって、緑色光Gと赤色光Rの反射光に基づいて得られる緑及び赤色光画像GRPには、背景粘膜BMの像が含まれる。以上から、第2画像は青色光画像BPと緑及び赤色光画像GRPを組み合わせた画像であるため、背景粘膜BM及び深層血管VS2の像が表示される。
以上のように、本実施形態では、第1画像信号により第1画像を生成し、かつ、第2画像信号により第2画像を生成し、第1特殊観察画像は表層血管が強調されており、第2特殊観察画像は表層血管よりも深い位置にある中深層血管が強調されることが好ましい。
表示制御部70は、通常観察画像処理部62または特殊観察画像処理部63から入力された通常画像、第1画像、および/または第2画像を、モニタ18で表示可能な画像として表示するための制御を行う。表示制御部70による制御によって、各観察モードに応じた画像が表示される。通常観察モードの場合には、通常画像がモニタ18に表示される。また、第1特殊光観察モードの場合には、第1画像(図12参照)がモニタ18に表示される。また、第2特殊光観察モードの場合には、第2画像(図14参照)がモニタ18に表示される。
また、マルチ観察モードの場合には、第1照明光の発光期間と第2照明光の発光期間に合わせて、カラーの第1画像と第2画像が切り替えてモニタ18に表示される。例えば、発光期間K(N)が2フレームで、発光期間L(N)が3フレームである場合には、図16に示すように、第1画像が2フレーム続けて表示され、かつ、第2画像が3フレーム続けて表示される。
以上のように、マルチ観察モードにおいては、ユーザーによるモード切替SW13aの操作を行うことなく、2種類の第1画像と第2画像を自動的に切り替えて表示することができる。このように自動的に切り替えて表示することで、観察対象に動き又は内視鏡12の先端部12dに動きが無い限り、第1画像と第2画像とでは同一の観察対象が表示される。ただし、第1画像と第2画像とでは同一の観察対象であっても、それぞれ分光情報が異なっているため、分光情報の違いにより観察対象の見え方は異なっている。即ち、第1画像では表層血管の視認性が高くなっている一方、第2画像では深層血管の視認性が高くなっている。したがって、第1画像と第2画像とを切り替えて表示することによって、深さが異なる複数の血管に対する視認性の向上を図ることができる。
図2に示すように、静止画保存制御部72は、静止画取得指示部13bの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部71に保存する制御を行う。通常観察モードの場合であれば、静止画取得指示のタイミングで得られた通常画像を静止画として静止画保存部71に保存する。第1特殊光観察モードの場合であれば、静止画取得指示のタイミングで得られた第1画像を静止画として静止画保存部71に保存する。第2特殊光観察モードの場合であれば、静止画取得指示のタイミングで得られた第2画像を静止画として静止画保存部71に保存する。また、マルチ観察モードの場合であれば、静止画取得指示のタイミングで得られた第1画像と第2画像の1セットの画像を静止画保存部71に保存する。
キャリブレーションモードの詳細について説明を行う。キャリブレーションモードに設定されると、表示制御部70は、観察対象を表示する観察対象表示領域を、第1表示領域と第2表示領域に分割してモニタ18に表示する。そして、表示制御部70は、第1画像から第1表示領域の位置、形状、又は大きさに合わせて切り取った第1部分画像を第1表示領域に表示し、第2画像から第2表示領域の位置、形状、又は大きさに合わせて切り取った第2部分画像を第2表示領域に表示する。プロセッサ装置16内の色調変更部76は、第1部分画像と第2部分画像の色調を等しくするために、第1画像と第2画像に対する色調処理の内容を変更する色調変更処理を行う。ここで、第1部分画像と第2部分画像の色調が等しいことには、第1部分画像と第2部分画像の色調が一致する他に、第1部分画像の第2部分画像の色調の違いが許容範囲内に収まっていることも含まれる。
画像取得部52にて取得した第1画像の第1部分画像、及び、第2画像の第2部分画像は、第1表示領域又は第2表示領域に同時に表示される。そして、第1照明光と第2照明光の発光タイミングに合わせて、それぞれ第1表示領域の第1部分画像と第2表示領域の第2部分画像は順次更新される。なお、第1部分画像と第2部分画像は順次更新するのはなく、画像取得部52にて取得した第1画像又は第2画像のうち特定タイミングの第1画像の第1部分画像又は第2画像の第2部分画像を固定で表示するようにしてもよい。
具体的には、表示制御部70は、図17に示すように、観察対象表示領域ODAを2分割した場合には、左側の略半円の領域を第1表示領域80とし、右側の略半円の領域を第2表示領域81とすることが好ましい。表示制御部70は、第1画像SP1から、略半円の第1表示領域80の位置又は大きさに合わせて切り取った第1部分画像82を、第1表示領域80に表示する。また、表示制御部70は、第2画像SP2から、略半円の第2表示領域81の位置又は大きさに合わせて切り取った第2部分画像83を、第2表示領域81に表示する。ユーザーは、第1部分画像と第2部分画像を観察し、両者の色調が等しくなるように、ユーザーインターフェース19を介して、色調変更部76を操作する。色調変更部76は、ユーザーインターフェース19による指示に従って、色調処理の内容の一つである色調処理用パラメータを変更する処理を行う。色調処理用パラメータの変更については、第1画像SP1に対する色調処理用パラメータ、第2画像SP2に対する色調処理用パラメータの少なくともいずれかを変更する。色調処理用パラメータの変更を行う領域の指定は、ユーザーによって行われ、例えば、モニタ18にポインタ等を表示し、ユーザーインターフェース19によってポインタが示す領域を、色調処理用パラメータの変更対象領域とすることが好ましい。以上の色調処理用パラメータの変更に従って、モニタ18上の第1部分画像又は第2部分画像の色調が変更される。
そして、ユーザーが、モニタ18上の第1部分画像と第2部分画像の色調が等しくなったと判断した場合には、ユーザーインターフェース19を操作して、色調確定の指示を出す。色調確定の指示が行われた時点での色調処理用パラメータが色調処理用パラメータ保存部74に保存される。これにより、キャリブレーションモードが完了する。なお、第1表示領域80と第2表示領域81の境界部分BLについては、第1部分画像と第2部分画像の色調の違いが分かるように、透明とすることが好ましい。これに対して、境界部分BLを明確に定義する不透明な線等が表示されている場合には、第1部分画像と第2部分画像の色調がほぼ等しい場合であっても、視覚的には、第1部分画像と第2部分画像の色調が異なって見えることが多いためである。
なお、図17のように、観察対象表示領域ODAを2分割した第1表示領域と第2表示領域においてキャリブレーションモードを行う他、観察対象表示領域ODAを、観察対象表示領域ODAを4以上の領域に分割してキャリブレーションモードを行うようにしてもよい。例えば、図18に示すように、観察対象表示領域ODAを4分割した場合には、略扇形の領域が4つ形成される。これら4つの略扇形の領域のうち、左上及び右下の略扇形の領域を第1表示領域85とし、右上及び左下の略扇形の領域を第2表示領域86とする。表示制御部70は、第1画像SP1から、左上及び右下の略扇形の第1表示領域85に合わせて切り取った第1部分画像87を、第1表示領域85に表示する。また、表示制御部70は、第2画像SP2から、右上及び左下の略扇形の第2表示領域86に合わせて切り取った第2部分画像88を、第2表示領域81に表示する。
なお、観察対象領域を4以上の領域に分割する場合には、第1部分画像と第2部分画像とを交互に表示して色調を比較し易くするために、円周方向に分割し、且つ、第1表示領域と第2表示領域はそれぞれ隣り合って設けることが好ましい。また、観察対象領域を4以上の領域に分割する場合には、偶数倍(2M倍(Mは1以上の自然数))の領域に分割することが好ましい。
なお、図17及び図18のように、第1表示領域及び第2表示領域の位置、形状、又は大きさを固定する場合の他、表示制御部70において、第1表示領域と第2表示領域の位置、形状、又は大きさの少なくともいずれかを変更可能とし、第1表示領域又は第2表示領域を変更した上で、色調変更処理を行ってもよい。この場合には、表示制御部70は、変更後の第1表示領域の位置、形状、又は大きさに合わせて切り直した第1部分画像を、変更後の第1表示領域に表示する。また、表示制御部70は、変更後の第2表示領域の位置、形状、又は大きさに合わせて切り直した第2部分画像を、変更後の第2表示領域に表示する。
例えば、表示制御部70は、第1表示領域と第2表示領域について形状及び大きさを維持した状態で位置を変更可能としてもよい。この場合、図19に示すように、観察対象表示領域ODAを、中心部分CPを中心とする90°の扇形を有する第1表示領域90と、中心部分CPを中心とする270°の扇形を有する第2表示領域91に分割した場合には、図19(A)に示すように、左上の位置する第1表示領域90とそれ以外の第2表示領域91を、中心部分CPを中心として、時計回り又は反時計回りに回転させる。図19(B)は、第1表示領域90を略左下に回転させ、且つ、略左下への第1表示領域90の回転に合わせて第2表示領域91を回転させた状態を示している。また、図19(C)は、第1表示領域90を略右上に回転させ、且つ、略右上への第1表示領域90の回転に合わせて第2表示領域91を回転させた状態を示している。
第1表示領域90及び第2表示領域91の回転に合わせて、第1部分画像と第2部分画像を切り取り直し、切り取り直し後の第1部分画像と第2部分画像をそれぞれ第1表示領域90及び第2表示領域91に表示する。ユーザーは、回転後の第1表示領域90及び第2表示領域91に表示された第1部分画像及び第2部分画像を観察し、ユーザーインターフェース19を介して、色調変更部76を操作する。
以上のように、第1表示領域90及び第2表示領域91の回転により、第1表示領域90及び第2表示領域91が360°回転することで、観察対象表示領域ODAにおける第1画像SP1と第2画像SP2の色調の違いを、部分的でなく、領域全体にわたって表示することができる。これにより、観察対象表示領域ODA全体で、第1画像SP1と第2画像SP2の色調を合わせることが可能となる。
なお、第1部分画像と第2部分画像の色調の変更については、ユーザーインターフェース19を用いるユーザーの手動で行う他に、プロセッサ装置16の内部で自動的に行うようにしてもよい。この場合には、プロセッサ装置16の色調取得部77が、第1部分画像と第2部分画像の色調に関する色調情報を取得する。そして、色調変更部76は、色調取得部77にて取得した色調情報に基づいて、色調変更処理を行う。具体的には、色調変更部76は、第1部分画像の色調と第2部分画像の色調の差分値(例えば、画素値の平均値)を求め、差分値が「0」に値近づくように、色調処理用パラメータの変更を行う。
なお、色調情報としては、第1画像SP1の画素値の平均値、又は第2画像SP2の画素値の平均値の他、色差信号Cr、Cb、色相H、彩度Sなどであってもよい。また、第1画像信号群又は第2画像信号群のように、第1照明光の発光期間又は第2照明光の発光期間に複数の画像信号を取得する場合には、例えば、第1画像信号群の最後のフレームの第1画像信号の色調と、第2画像信号群の最初のフレームの第2画像信号の色調がと等しくなるように、色調変更処理を行い、また、第2画像信号群の最後のフレームの第2画像信号の色調と、第1画像信号群の最初のフレームの第1画像信号の色調がと等しくなるように、色調変更処理を行うことが好ましい。
次に、キャリブレーションモードによって行われるキャリブレーション方法の一連の流れを、図20に示すフローチャートに沿って説明する。キャリブレーションモードに切り替えられると、第1照明光と第2照明光が自動的に切り替えて発光される。画像取得部52は、第1照明光によって照明された観察対象を撮像して得られる第1画像と、第2照明光によって照明された観察対象を撮像して得られる第2画像を取得する。
画像取得部52によって第1画像と第2画像が得られると、表示制御部70は、第1画像から第1表示領域の位置、形状、又は大きさに合わせて切り取られた第1部分画像を第1表示領域に表示する。また、表示制御部70は、第1画像から第1表示領域の位置、形状、又は大きさに合わせて切り取られた第1部分画像を第1表示領域に表示する。そして、色調変更部76は、第1部分画像と第2部分画像の色調を等しくするために、第1画像と第2画像に対する色調処理を変更する色調変更処理を行う。色調変更処理が完了すると、色調変更処理が完了した時点での色調変更処理の内容が、色調処理用パラメータ保存部74などに保存される。これにより、キャリブレーションモードが完了する。
上記実施形態において、画像取得部52、DSP54、明るさ算出部55、光量設定部56、ノイズ除去部58、通常観察画像処理部62、特殊観察画像処理部63、第1特殊観察画像処理部67、第2特殊観察画像処理部68、表示制御部70、静止画保存部71、静止画保存制御部72、色調処理用パラメータ保存部74、色調変更部76、色調取得部77など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、GPU(Graphical Processing Unit)各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、CPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、本発明は、第1または第2実施形態のような内視鏡システムに組み込まれるプロセッサ装置の他、カプセル型の内視鏡システムに組み込まれるプロセッサ装置、または各種の医用画像処理装置に対して適用することが可能である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13b 静止画取得指示部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源制御部
23 光路結合部
24 発光期間設定部
26a スライドバー
26b スライドバー
27a スライダ
27b スライダ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
48b Bフィルタ
48g Gフィルタ
48r Rフィルタ
50 回路
52 画像取得部
54 DSP
55 算出部
56 光量設定部
58 ノイズ除去部
60 信号切替部
62 通常観察画像処理部
63 特殊観察画像処理部
67 第1特殊観察画像処理部
68 第2特殊観察画像処理部
70 表示制御部
71 静止画保存部
72 静止画保存制御部
74 色調処理用パラメータ保存部
76 色調変更部
77 色調取得部
80 第1表示領域
81 第2表示領域
83 第2部分画像
85 第1表示領域
86 第2表示領域
87 第1部分画像
88 第2部分画像
90 第1表示領域
91 第2表示領域
SP1 第1画像
SP2 第2画像
VP 紫色光画像
GRP 緑及び赤色光画像
ODA 観察対象表示領域
VS1 表層血管
VS2 中層血管
BM 背景粘膜

Claims (8)

  1. 第1照明光によって照明された観察対象を撮像して得られる第1画像と、前記第1照明光とは異なる発光スペクトルを有する第2照明光によって照明された前記観察対象を撮像して得られる第2画像を取得する画像取得部と、
    前記観察対象を第1表示領域と第2表示領域に分割して表示部に表示する場合において、前記第1画像から前記第1表示領域の位置、形状、又は大きさに合わせて切り取った第1部分画像を前記第1表示領域に表示し、前記第2画像から前記第2表示領域の位置、形状、又は大きさに合わせて切り取った第2部分画像を前記第2表示領域に表示する表示制御部と、
    前記第1部分画像と前記第2部分画像の色調を等しくするために、前記第1画像と前記第2画像に対する色調処理の内容を変更する色調変更処理を行う色調変更部とを備え、
    前記表示制御部は、前記第1表示領域と前記第2表示領域の位置、形状、又は大きさの少なくともいずれかを変更可能であり、変更後の前記第1表示領域の位置、形状、又は大きさに合わせて切り直した前記第1部分画像を、変更後の前記第1表示領域に表示し、変更後の前記第2表示領域の位置、形状、又は大きさに合わせて切り直した前記第2部分画像を、変更後の前記第2表示領域に表示し、
    前記表示制御部は、前記第1表示領域と前記第2表示領域について形状及び大きさを維持した状態で位置を変更可能であり、
    前記表示制御部は、前記第1表示領域と前記第2表示領域について、形状及び大きさを維持した状態で、前記観察対象を表示する観察対象表示領域の中心部分を中心として、回転させるプロセッサ装置。
  2. 前記第1表示領域の形状は、前記中心部分を中心とする90°の扇形であり、前記第2表示領域の形状は、前記中心部分を中心とする270°の扇形である請求項記載のプロセッサ装置。
  3. 前記表示制御部は、前記第1表示領域と前記第2表示領域の位置、形状、又は大きさを固定する請求項1記載のプロセッサ装置。
  4. 前記第1表示領域と前記第2表示領域はそれぞれ隣り合って設けられている請求項1ないしいずれか1項記載のプロセッサ装置。
  5. 前記第1表示領域と前記第2表示領域の境界部分は透明である請求項1ないしいずれか1項記載のプロセッサ装置。
  6. 前記色調変更部を操作するためのユーザーインターフェースを備え、
    前記色調変更部は、前記ユーザーインターフェースによる操作に従って、前記色調変更処理を行う請求項1ないしいずれか1項記載のプロセッサ装置。
  7. 請求項1ないしいずれか1項記載のプロセッサ装置と、
    前記第1照明光と、前記第2照明光とを発光する光源部と、
    前記第1照明光と前記第2照明光とを自動的に切り替えて発光する制御を行う光源制御部と、を備え、
    前記色調変更部は、キャリブレーションモードにおいて、前記色調変更処理を行う内視鏡システム。
  8. 画像取得部が、第1照明光に基づく観察対象を撮像して得られる第1画像と、前記第1照明光とは異なる発光スペクトルを有する第2照明光に基づく前記観察対象を撮像して得られる第2画像を取得するステップと、
    表示制御部が、前記観察対象を第1表示領域と第2表示領域に分割して表示部に表示する場合において、前記第1画像から前記第1表示領域の位置、形状、又は大きさに合わせて切り取った第1部分画像を前記第1表示領域に表示し、前記第2画像から前記第2表示領域の位置、形状、又は大きさに合わせて切り取った第2部分画像を前記第2表示領域に表示するステップと、
    色調変更部が、前記第1部分画像と前記第2部分画像の色調を等しくするために、前記第1画像と前記第2画像に対する色調処理の内容を変更する色調変更処理を行うステップとを備え、
    前記表示制御部は、前記第1表示領域と前記第2表示領域の位置、形状、又は大きさの少なくともいずれかを変更可能であり、変更後の前記第1表示領域の位置、形状、又は大きさに合わせて切り直した前記第1部分画像を、変更後の前記第1表示領域に表示し、変更後の前記第2表示領域の位置、形状、又は大きさに合わせて切り直した前記第2部分画像を、変更後の前記第2表示領域に表示し、
    前記表示制御部は、前記第1表示領域と前記第2表示領域について形状及び大きさを維持した状態で位置を変更可能であり、
    前記表示制御部は、前記第1表示領域と前記第2表示領域について、形状及び大きさを維持した状態で、前記観察対象を表示する観察対象表示領域の中心部分を中心として、回転させるプロセッサ装置の作動方法。
JP2019081710A 2019-04-23 2019-04-23 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 Active JP7163243B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019081710A JP7163243B2 (ja) 2019-04-23 2019-04-23 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
CN202010325301.7A CN111820852A (zh) 2019-04-23 2020-04-22 处理器装置及内窥镜系统以及校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019081710A JP7163243B2 (ja) 2019-04-23 2019-04-23 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法

Publications (2)

Publication Number Publication Date
JP2020178738A JP2020178738A (ja) 2020-11-05
JP7163243B2 true JP7163243B2 (ja) 2022-10-31

Family

ID=72914016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019081710A Active JP7163243B2 (ja) 2019-04-23 2019-04-23 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法

Country Status (2)

Country Link
JP (1) JP7163243B2 (ja)
CN (1) CN111820852A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011010998A (ja) 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011067266A (ja) 2009-09-24 2011-04-07 Fujifilm Corp 内視鏡装置
JP2011177532A (ja) 2011-05-02 2011-09-15 Olympus Medical Systems Corp 内視鏡装置
JP2013034753A (ja) 2011-08-10 2013-02-21 Fujifilm Corp 内視鏡装置
WO2018230418A1 (ja) 2017-06-14 2018-12-20 富士フイルム株式会社 プロセッサ装置とその作動方法、内視鏡システム、並びに画像表示装置とその作動方法、作動プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6357377B2 (ja) * 2014-07-24 2018-07-11 オリンパス株式会社 観察装置
JP6840846B2 (ja) * 2017-06-02 2021-03-10 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011010998A (ja) 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011067266A (ja) 2009-09-24 2011-04-07 Fujifilm Corp 内視鏡装置
JP2011177532A (ja) 2011-05-02 2011-09-15 Olympus Medical Systems Corp 内視鏡装置
JP2013034753A (ja) 2011-08-10 2013-02-21 Fujifilm Corp 内視鏡装置
WO2018230418A1 (ja) 2017-06-14 2018-12-20 富士フイルム株式会社 プロセッサ装置とその作動方法、内視鏡システム、並びに画像表示装置とその作動方法、作動プログラム

Also Published As

Publication number Publication date
CN111820852A (zh) 2020-10-27
JP2020178738A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
US11523733B2 (en) Endoscope system and method of operating the same
JP6917518B2 (ja) 内視鏡システム
US11937788B2 (en) Endoscope system
US10285631B2 (en) Light source device for endoscope and endoscope system
EP3520670A1 (en) Endoscope system and method for operating same
US11311185B2 (en) Endoscope system
JP6891294B2 (ja) 内視鏡システム及びその作動方法
US11744437B2 (en) Medical image processing system
US11969152B2 (en) Medical image processing system
JP7136933B2 (ja) 内視鏡システム
WO2019159817A1 (ja) 内視鏡システム及びその作動方法
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP7171885B2 (ja) 内視鏡システム
WO2021250952A1 (ja) 内視鏡システム及びその作動方法
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
WO2021095417A1 (ja) 内視鏡システム
JP7208876B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R150 Certificate of patent or registration of utility model

Ref document number: 7163243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150