JP7386266B2 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
JP7386266B2
JP7386266B2 JP2021572988A JP2021572988A JP7386266B2 JP 7386266 B2 JP7386266 B2 JP 7386266B2 JP 2021572988 A JP2021572988 A JP 2021572988A JP 2021572988 A JP2021572988 A JP 2021572988A JP 7386266 B2 JP7386266 B2 JP 7386266B2
Authority
JP
Japan
Prior art keywords
light
illumination
image
period
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021572988A
Other languages
English (en)
Other versions
JPWO2021149357A1 (ja
Inventor
幹緒 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021149357A1 publication Critical patent/JPWO2021149357A1/ja
Application granted granted Critical
Publication of JP7386266B2 publication Critical patent/JP7386266B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Description

本発明は、発光スペクトルが異なる複数の照明光を切り替えて発光する内視鏡システム及びその作動方法に関する。
医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、モニタに表示され、診断に使用される。
また、近年の内視鏡システムにおいては、特定の波長帯域を有する光を観察対象に照明して、観察対象上の病変部の視認性を向上することによって、病変部の検出をし易くすることも行われている。ただし、特定の波長帯域を有する光により得られる特定光画像は、疑似カラーなど観察対象の色と異なる色で表示されるため、ユーザーにとっては、通常観察に用いられる白色光画像と比較して、見慣れていない場合も多い。そこで、特許文献1では、特定光画像から病変部などの注目領域を検出し、検出した注目領域を白色光画像に重畳表示することで、見慣れた白色光画像上で注目領域を観察できるようにしている。
国際公開第2019/059059号
特許文献1のように、互いに発光スペクトルが異なる第1照明光と第2照明光を切り替えて発光し、第1照明光に基づく表示用画像に対して、第2照明光に基づく画像を解析処理して得られる解析結果を重畳表示する場合において、事後的な診断など特定の診断目的のために、それら第1照明光と第2照明光の発光に基づいて得られる観察対象の静止画を保存することが求められている。
以上のように、特定の診断目的に従って診断を確実に行うためには、ブレが低減された静止画を保存することが好ましい。ブレが低減された静止画を保存する方法の一つとして、静止画取得指示が行われた静止画取得期間に得られる複数の静止画の中から、コントラストが高い静止画を選択して、ブレが低減された静止画を保存することが行われている。その他、撮像センサのシャッタスピードを上げることにより、静止画のブレを低減することも可能である。ただし、シャッタスピードを上げる場合には、照明光の光量を上げるなどの観察対象の明るさを上げることも必要になる。照明光の光量を上げると、内視鏡の先端部の温度が上昇することがあるため、人体への安全性も考慮する必要がある。
本発明は、互いに発光スペクトルが異なる第1照明光と第2照明光を切り替えて発光する場合において、ブレを低減し、且つ、人体への安全性を確保された状態で、観察対象の静止画を取得することができる内視鏡システム及びその作動方法を提供することを目的とする。
本発明の内視鏡システムは、互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、第1照明光を発光する第1照明期間と第2照明光を発光する第2照明期間とを自動的に切り替える場合において、第1照明光を第1発光パターンで発光し、第2照明光を第2発光パターンで発光する光源用プロセッサと、第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を撮像して第2画像信号を出力する撮像センサと、撮像センサを制御する撮像用プロセッサであって、第1画像信号を出力させる第1撮像期間と、第2画像信号を出力させる第2撮像期間とに切り替えて制御する撮像用プロセッサと、第1画像信号に基づく観察対象の第1静止画又は第2画像信号の観察対象の第2静止画の取得を指示するための静止画取得指示を行う静止画取得指示部と、画像制御用プロセッサとを備え、画像制御用プロセッサは、第1撮像期間において静止画取得指示が行われた場合に、第1撮像期間の静止画取得期間に得られる複数の第1静止画の中から、ブレが一番小さい第1静止画を静止画保存用メモリに保存するためのブレ低減静止画保存処理を実行し、第2撮像期間において静止画取得指示が行われた場合に、光源部に対する制御、撮像センサに関する制御、又は、画像処理に関する制御のうち少なくともいずれかが、ブレを低減するブレ低減制御状態に設定された状態で、第2撮像期間の静止画取得期間に得られる第2静止画のブレを低減して静止画保存用メモリに保存する。
光源用プロセッサは、ブレ低減制御状態として、第2撮像期間において撮像センサの第2シャッタスピードが予め定めた閾値以上である場合の観察対象の第2明るさを、第1撮像期間において撮像センサの第1シャッタスピードが閾値以上である場合の観察対象の第1明るさよりも大きくし、第2静止画は、閾値以上の第2シャッタスピードで撮像センサを制御して得られることが好ましい。
光源用プロセッサは、第2撮像期間において静止画取得指示が行われた場合に、第2シャッタスピードが速くなる程、大きくなる設定最大値の範囲内で算出した光量指示値に基づいて、光源部を制御することが好ましい。光源用プロセッサは、第1撮像期間において静止画取得指示が行われ、且つ、閾値以上の第1シャッタスピードで撮像センサを制御する場合には、第1シャッタスピードが閾値の場合に用いる特定設定最大値にまで小さくした設定最大値の範囲内で算出した光量指示値に基づいて、光源部を制御することが好ましい。
ブレ低減静止画保存処理は、第1撮像期間の静止画取得期間に得られる複数の第1静止画のコントラストを算出し、それら複数の静止画のうちコントラストが一番高い第1静止画を静止画保存用メモリに保存するコントラスト算出型処理であることが好ましい。
第1照明光は白色光が用いられ、第2照明光は、紫色光、青色光、緑色光、又は赤色光が用いられることが好ましい。第2照明期間では、紫色光、青色光、緑色光、又は赤色光のいずれか1つの光を発光し、又は、第2照明期間では、紫色光、青色光、緑色光、又は赤色光のうち少なくとも2つの光を特定の順番で切り替えて発光することが好ましい。第2照明光は、紫色光の光量が他の色の光の光量よりも大きい第1特殊光、又は、緑色光の光量が他の色の光の光量よりも大きい第2特殊光のいずれかであることが好ましい。
第1発光パターンは、第1照明期間のフレーム数が、それぞれの第1照明期間において同じである第1A発光パターンと、第1照明期間のフレーム数が、それぞれの第1照明期間において異なっている第1B発光パターンとのうちのいずれかであることが好ましい。
第2発光パターンは、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2Aパターン、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2Bパターン、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2Cパターン、及び、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2Dパターンのうちのいずれかであることが好ましい。
画像制御用プロセッサは、第1画像信号に基づく表示用画像に対して、第2画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像をディスプレイに表示することが好ましい。
本発明は、互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、第1照明光を発光する第1照明期間と第2照明光を発光する第2照明期間とを自動的に切り替える場合において、第1照明光を第1発光パターンで発光し、第2照明光を第2発光パターンで発光する光源用プロセッサと、第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を撮像して第2画像信号とを含む画像信号を出力する撮像センサと、撮像センサを制御する撮像用プロセッサであって、第1画像信号を出力させる第1撮像期間と、第2画像信号を出力させる第2撮像期間とに切り替えて制御する撮像用プロセッサと、第1画像信号に基づく観察対象の第1静止画又は第2画像信号の観察対象の第2静止画の取得を指示するための静止画取得指示を行う静止画取得指示部と、画像制御用プロセッサとを備える内視鏡システムの作動方法において、画像制御用プロセッサは、第1撮像期間において静止画取得指示が行われた場合に、第1撮像期間の静止画取得期間に得られる複数の第1静止画の中から、ブレが一番小さい第1静止画を静止画保存用メモリに保存するためのブレ低減静止画保存処理を実行し、第2撮像期間において静止画取得指示が行われた場合に、光源部に対する制御、撮像センサに関する制御、又は、画像処理に関する制御のうち少なくともいずれかが、ブレを低減するブレ低減制御状態に設定された状態で、第2撮像期間の静止画取得期間に得られる第2静止画のブレを低減して静止画保存用メモリに保存する。
本発明によれば、互いに発光スペクトルが異なる第1照明光と第2照明光を切り替えて発光する場合において、ブレを低減し、且つ、人体への安全性を確保された状態で、観察対象の静止画を取得することができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rのスペクトルを示すグラフである。 解析処理モード時の第1A発光パターン又は第2Aパターンを示す説明図である。 解析処理モード時の第1B発光パターンを示す説明図である。 解析処理モード時の第2Bパターンを示す説明図である。 解析処理モード時の第2Cパターンを示す説明図である。 解析処理モード時の第2Dパターンを示す説明図である。 撮像センサの各カラーフィルタの分光透過率を示すグラフである。 第1撮像期間及び第2撮像期間を示す説明図である。 解析処理モードにおける照明制御、解析処理、及び画像表示を時系列順で示す説明図である。 第1撮像期間において静止画取得指示が行われた場合の静止画保存制御を示す説明図である。 第2発光パターンが第2Aパターンである場合であって第2撮像期間において静止画取得指示が行われた場合の静止画保存制御を示す説明図である。 第2発光パターンが第2Bパターンである場合であって第2撮像期間において静止画取得指示が行われた場合の静止画保存制御を示す説明図である。 撮像センサのシャッタスピードによって定められる光量指示値の設定最大値を示す説明図である。 第1照明光の光量指示値の設定最大値及び第2照明光の光量指示値の設定最大値と撮像センサのシャッタスピードとの関係を示すグラフである。 解析処理モードにおける静止画保存制御の流れを示すフローチャートである。 第1特殊光の発光スペクトルを示すグラフである。 第2特殊光の発光スペクトルを示すグラフである。
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、ユーザーインターフェース19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モードの切り替え操作に用いるモード切替SW(モード切替スイッチ)12fと、観察対象の静止画の取得指示に用いられる静止画取得指示部12gと、ズームレンズ43(図2参照)の操作に用いられるズーム操作部12hとが設けられている。
なお、内視鏡システム10は、通常観察モード、特殊観察モード、解析処理モードの3つのモードを有している。通常観察モードでは、白色光などの通常光を観察対象に照明して撮像することによって、自然な色合いの通常観察画像をディスプレイ18に表示する。特殊観察モードでは、通常光と波長帯域が異なる特殊光を観察対象に照明して撮像することによって、特定の構造を強調した特殊観察画像をディスプレイ18に表示する。解析処理モードでは、発光スペクトルが異なる第1照明光と第2照明光とを切り替えて発光し、且つ、第1照明光に基づく画像はディスプレイ18に表示するための表示用画像とする処理を行う一方、第2照明光に基づく画像に対して、AI(Artificial Intelligence)に関する処理の他、観察対象に関する指標値等を得る処理などの解析処理を行う。解析処理の結果は、表示用画像に重畳表示される。
静止画取得指示部12gをユーザーが操作することにより、静止画取得指示に関する信号が内視鏡12、光源装置14、及びプロセッサ装置16に送られる。プロセッサ装置16では、静止画取得指示が行われた場合には、静止画取得期間に得られる複数の静止画の中から、ブレが一番小さい静止画を静止画保存用メモリ70に保存するための第1ブレ低減静止画保存処理の実行が可能である。静止画取得指示が行われると、観察対象の静止画が、プロセッサ装置16の静止画保存用メモリ70に保存される。なお、解析処理モードにおける静止画保存の詳細については、後述する。また、ブレとは、内視鏡12の先端部の動きや体内の体腔の動きなどにより、観察対象が動いて観察対象が明瞭に画像中に表示されないことをいう。
プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース19と電気的に接続される。ディスプレイ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース19は、キーボード、マウス、タッチパッドなどを有し、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
図2において、光源装置14は、光源部20と、光源部20を制御する光源用プロセッサ21とを備えている。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
光源用プロセッサ21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。光源用プロセッサ21は、各LED20a~20dをそれぞれ独立に制御することで、紫色光V、青色光B、緑色光G、又は赤色光Rをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなる白色光を発光するように、各LED20a~20dを制御する。なお、Vc、Bc、Gc、Rc>0である。
また、光源用プロセッサ21は、特殊観察モード時には、短波長の狭帯域光としての紫色光V、青色光B、緑色光G、及び赤色光Rとの光量比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED20a~20dを制御する。光量比Vs:Bs:Gs:Rsは、通常観察モード時に使用する光量比Vc:Bc:Gc:Rcと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Vsを、他のBs、Gs、Rsよりも大きくすることが好ましく、中深層血管を強調する場合には、Gsを、他のVs、Gs、Rsよりも大きくすることが好ましい。
また、光源用プロセッサ21は、解析処理モード時に、第1照明光と第2照明光とを自動的に切り替えて発光する場合において、第1照明光を第1発光パターンで発光し、第2照明光を第2発光パターンで発光する。具体的には、第1発光パターンは、図4に示すように、第1照明期間のフレーム数が、それぞれの第1照明期間において同じである第1A発光パターンと、図5に示すように、第1照明期間のフレーム数が、それぞれの第1照明期間において異なっている第1B発光パターンとのうちのいずれかであることが好ましい。
第2発光パターンは、図4に示すように、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2Aパターン、図6に示すように、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2Bパターン、図7に示すように、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2Cパターン、図8に示すように、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2Dパターンのうちのいずれかであることが好ましい。なお、第1照明光の発光スペクトルは、それぞれの第1照明期間において同じであってもよく、異なってもよい。
ここで、第1照明期間は第2照明期間よりも長くすることが好ましく、第1照明期間は2フレーム以上とすることが好ましい。例えば、図4では、第1発光パターンを第1Aパターンとし、第2発光パターンを第2Aパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)とする場合において、第1照明期間を2フレームとし、第2照明期間を1フレームとしている。第1照明光は、ディスプレイ18に表示する表示用画像の生成に用いられることから、第1照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。
例えば、第1照明光は、白色光であることが好ましい。一方、第2照明光は、解析処理に用いることから、第2照明光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。例えば、血管深さが異なる複数の血管の形状情報に基づいて、解析処理を行う場合には、第2照明光として、紫色光V、青色光B、緑色光G、赤色光Rを用いることが好ましい。この場合、第2発光パターンを第2Aパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)又は第2Cパターン(第2照明期間のフレーム数:異なる、第2照明光の発光スペクトル:同じ)とする場合には、紫色光V、青色光B、緑色光G、赤色光Rのうちのいずれか1つの光を用いることが好ましい。一方、第2発光パターンを第2Bパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:異なる)又は第2Dパターン(第2照明期間のフレーム数:異なる、第2照明光の発光スペクトル:異なる)とする場合には、第2照明期間において、紫色光V、青色光B、緑色光G、赤色光Rのうち少なくとも2つの光を特定の順番で切り替えて発光することが好ましい。後述の図11では、紫色光V、緑色光G、及び赤色光Rの3つの光を、その順番で順次発光している。
なお、第1照明期間と第2照明期間の切替パターンである第1、2発光パターンの詳細については、撮像用プロセッサ45による撮像センサ44の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ44において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。
例えば、粘膜表面からの深さが50μmの範囲内にある表層血管、粘膜表面からの深さが200μmの範囲内にある中層血管、及び、粘膜表面からの深さが600μmの範囲内にある深層血管に関する血管の形状情報を取得し、これら表層、中層、深層の血管の形状情報に基づいて解析処理を行う場合には、表層血管を強調する紫色光V、中層血管を強調する緑色光G、深層血管を強調する赤色光Rを用いることが好ましい。
なお、本明細書において、光量比は、少なくとも1つの半導体光源の光量比率が0(ゼロ)である場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光量比を有するものとする。
図2に示すように、各LED20a~20dが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの光は、対物レンズ42及びズームレンズ43を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。ズームレンズ43は観察対象を拡大するためのレンズであり、ズーム操作部12hを操作することによって、テレ端とワイド端と間を移動する。
撮像センサ44は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。図9に示すように、青色カラーフィルタBFは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタBFの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタはGF、主として緑色帯域の光、具体的には、460~620nmの波長帯域の光を透過する。赤色カラーフィルタRFは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
また、撮像センサ44は、CCD(Charge-Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)であることが好ましい。撮像用プロセッサ45は、撮像センサ44を制御する。具体的には、撮像用プロセッサ45により撮像センサ44の信号読み出しを行うことによって、撮像センサ44から画像信号が出力される。通常観察モードでは、白色光が撮像センサ44に露光された状態で、撮像用プロセッサ45が信号読み出しを行うことにより、撮像センサ44のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。特殊観察モードでは、特殊光が撮像センサ44に露光された状態で、撮像用プロセッサ45が信号読み出しを行うことによって、撮像センサ44のB画素からBs画像信号が出力され、G画素からGs画像信号が出力され、R画素からRs画像信号が出力される。
解析処理モードでは、撮像用プロセッサ45は、図10に示すように、第1照明期間において第1照明光を撮像センサ44に露光させた状態で、信号読み出しを行うことにより、撮像センサ44から第1画像信号を出力させる。第1画像信号を出力する期間を第1撮像期間とする。第1画像信号には、B画素から出力されるB1画像信号、G画素から出力されるG1画像信号、及び、R画素から出力されるR1画像信号が含まれる。また、撮像用プロセッサ45は、第2照明期間において第2照明光を撮像センサ44に露光させた状態で、信号読み出しを行うことにより、撮像センサ44から第2画像信号を出力させる。第2画像信号を出力する期間を第1撮像期間とする。第2画像信号には、B画素から出力されるB2画像信号、G画素から出力されるG2画像信号、及び、R画素から出力されるR2画像信号が含まれる。
図2に示すように、CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16には、ブレ低減静止画保存処理などの処理に関するプログラムがプログラム用メモリ(図示しない)に格納されている。プロセッサ装置16においては、画像制御用プロセッサによって構成される中央制御部68によって、プログラム用メモリ内のプログラムが動作することによって、画像取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、表示制御部60の機能が実現される。また、画像処理部58の機能実現に伴って、通常観察画像生成部62と、特殊観察画像生成部64と、解析処理部66との機能が実現される。なお、解析処理モードにおいては、画像制御用プロセッサは、第1画像信号又は第2画像信号に基づいて画像処理を行い、ディスプレイ18に対する制御を行う。
画像取得部50は、内視鏡12から入力されるカラー画像を取得する。カラー画像には、撮像センサ44のB画素、G画素、R画素から出力される青色信号(B画像信号)、緑色信号(G画像信号)、赤色信号(R画像信号)が含まれている。取得したカラー画像はDSP52に送信される。DSP52は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲイン係数を乗じることによりカラー画像の信号レベルを整える。特定のゲイン係数には、B画像信号に対して掛け合わされるBゲイン係数、G画像信号に対して掛け合わされるGゲイン係数、及び、R画像信号に対して掛け合わされるRゲイン係数が含まれる。
ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。その後、ガンマ変換処理によって、カラー画像の明るさや彩度が整えられる。マトリクス処理後のカラー画像には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP52は、デモザイク処理後のカラー画像にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部54に出力する。
ノイズ低減部54は、DSP56でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部56に入力される。
画像処理切替部56は、設定されているモードによって、ノイズ低減部54からの画像信号の送信先を、通常観察画像生成部62と、特殊観察画像生成部64と、解析処理部66のいずれかに切り替える。具体的には、通常観察モードにセットされている場合には、ノイズ低減部54からの画像信号を通常観察画像生成部62に入力する。特殊観察モードにセットされている場合には、ノイズ低減部54からの画像信号を特殊観察画像生成部64に入力する。解析処理モードにセットされている場合には、ノイズ低減部54からの画像信号を解析処理部66に入力する。
通常観察画像生成部62は、入力した1フレーム分のRc画像信号、Gc画像信号、Bc画像信号に対して、通常観察画像用画像処理を施す。通常観察画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常観察画像用画像処理が施されたRc画像信号、Gc画像信号、Bc画像信号は、通常観察画像として表示制御部60に入力される。
特殊観察画像生成部64は、入力した1フレーム分のRs画像信号、Gs画像信号、Bs画像信号に対して、特殊観察画像用画像処理を施す。特殊観察画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊観察画像用画像処理が施されたRs画像信号、Gs画像信号、Bs画像信号は、特殊観察画像として表示制御部60に入力される。
解析処理部66は、入力した1フレーム分のR1画像信号、G1画像信号、B1画像信号に対して、上述と同様の通常観察画像用画像処理を施す。通常観察画像信号用画像処理が施されたR1画像信号、G1画像信号、B1画像信号は、表示用画像として使用される。また、解析処理部66は、入力した特定フレーム分のR2画像信号、G2画像信号、B2画像信号に対して、解析処理を行う。また、解析処理部66は、解析処理の結果である解析結果を表示用画像に表示させる表示制御処理を行う。
例えば、第1発光パターンを第1A発光パターンとし、第2発光パターンを第2Bパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:異なる)とする場合において、第1照明光として白色光Wを2フレーム分、第2照明光としての紫色光V、緑色光G、赤色光Rを、白色光Wの発光の間に、それぞれ1フレーム分だけ観察対象に照明する場合には、図11に示すように、白色光の照明により得られる第1画像信号に対して通常観察画像用画像処理を施すことによって、表示用画像を得る。
一方、紫色光Vの照明により得られる第2画像信号(R2画像信号、G2画像信号、B2画像信号)に対して解析処理を行って、解析結果Vを得る。同様にして、緑色光Gの照明により得られる第2画像信号(R2画像信号、G2画像信号、B2画像信号)に対して解析処理を行って、解析結果Gを得る。また、赤色光Rの照明により得られる第2画像信号(R2画像信号、G2画像信号、B2画像信号)に対して解析処理を行って、解析結果Rを得る。これら解析結果V、G、Rは、赤色光Rに関する解析処理が完了した後、一まとめにした解析結果Tとして、表示用画像に表示される。なお、解析結果V、G、Rは、それぞれ単独で表示用画像に表示してもよく、また、解析結果V、G、Rのうち少なくとも2つ組み合わせて得られる解析結果を、表示用画像に表示してもよい。
なお、解析処理としては、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理、及び、算出した指標値を表示用画像に重畳表示するための重畳表示制御処理が含まれる。解析処理の結果が表示された解析結果付き表示用画像は、表示制御部60に入力される。
表示制御部60は、画像処理部58から出力される画像をディスプレイ18に表示するための制御を行う。具体的には、表示制御部60は、通常観察画像、特殊観察画像、又は、解析結果付き表示用画像を、ディスプレイ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ18に入力される。これにより、ディスプレイ18には通常観察画像、特殊観察画像、又は、解析結果付き表示用画像が表示される。
解析処理モードにおける静止画保存制御の詳細について、説明する。解析処理モードにおいては、画像制御用プロセッサは、第1撮像期間(図10参照)において静止画取得指示が行われた場合に、第1撮像期間の静止画取得期間に得られる複数の第1静止画の中から、ブレが一番小さい第1静止画を静止画保存用メモリ70に保存するためのブレ低減静止画保存処理を実行し、第2撮像期間(図10参照)において静止画取得指示が行われた場合に、ブレ低減静止画保存処理を実行せず、且つ、光源部20に対する制御、撮像センサ44に関する制御、又は、画像処理に関する制御のうち少なくともいずれかが、ブレを低減するブレ低減制御状態にして、第2撮像期間の静止画取得期間PA2に得られる第2静止画PSを静止画保存用メモリ70に保存する制御を実行する。
具体的には、第1発光パターンを第1A発光パターンとし、第2発光パターンを第2Aパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)とする場合において、図12に示すように、第1撮像期間において静止画取得指示(FON)が行われた場合には、静止画取得期間PA1は、静止画取得指示が行われたタイミングのフレームを含む第1撮像期間の全フレームとする。即ち、静止画取得期間PA1は、第1撮像期間の前の第2撮像期間が終わってから、次の第2撮像期間が開始するまでの間の第1撮像期間の全フレームとする。そして、ブレ低減静止画保存処理を実行して、静止画取得期間PA1に得られた2フレームの第1静止画のうち、ブレが小さいほうの第1静止画PS1を静止画保存用メモリ70に保存する。
なお、ブレ低減静止画保存処理は、静止画取得期間PA1に得られる複数の第1静止画のコントラストを算出し、それら複数の第1静止画のうちコントラストが一番高い第1静止画を静止画保存用メモリ70に保存するコントラスト算出型処理とすることが好ましい。その他、ブレ低減静止画保存処理は、静止画取得期間PA1に得られる複数の第1静止画の空間周波数を算出し、それら複数の第1静止画のうち空間周波数に関して特定条件を満たす第1静止画を静止画保存用メモリ70に保存する空間周波数算出型処理とすることが好ましい。
また、第1発光パターンを第1A発光パターンとし、第2発光パターンを第2Aパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)とする場合において、図13に示すように、第2撮像期間において静止画取得指示(FON)が行われた場合には、静止画取得期間PA2は、第2撮像期間のうち静止画取得指示が行われたタイミングのフレームとする。
一方、第1発光パターンを第1A発光パターンとし、第2発光パターンを第2Bパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:異なる)とする場合において、図14に示すように、第2撮像期間において静止画取得指示(FON)が行われた場合には、静止画取得期間PA2は、第2撮像期間のうち静止画取得指示が行われたタイミングのフレームの他、残り全ての種類の発光スペクトルに対応する第2撮像期間のフレームも含まれる。例えば、第2照明光が、紫色光V、緑色光G、赤色光Rである場合には、静止画取得指示が紫色光Vの第2撮像期間に行われた場合には、静止画取得期間PA2は、紫色光Vに対応する第2撮像期間のフレームの他、緑色光Gに対応する第2撮像期間のフレーム、及び、赤色光Rに対応する第2撮像期間のフレームが含まれる。したがって、静止画取得指示が行われることにより、紫色光Vに対応する第2静止画PSV、緑色光に対応する第2静止画PSG、及び、赤色光Rに対応する第2静止画PSRが静止画保存用メモリ70に保存される。
第2撮像期間の静止画取得期間PA2においては、ブレ低減静止画保存処理が実行されない代わりに、光源部20に対する制御、撮像センサ44に関する制御、又は画像処理に関する制御のうち少なくともいずれかが、ブレを低減するブレ低減制御状態に設定された状態にある。これにより、第2撮像期間の静止画取得期間に得られる第2静止画PS2は、ブレが低減された状態で、静止画保存用メモリ70に保存される。
例えば、光源部20に対する制御及び撮像センサ44に関する制御が、ブレ低減制御状態にある場合としては、光源用プロセッサ21が、光源部20を制御して、第2撮像期間において撮像センサ44の第2シャッタスピードが予め定めた閾値以上である場合の観察対象の第2明るさを、第1撮像期間において撮像センサ44の第1シャッタスピードが閾値以上である場合の観察対象の第1明るさよりも大きくすることが好ましい。そして、第2静止画は、閾値以上の第2シャッタスピードで撮像センサ44を制御して得られることが好ましい。
なお、撮像用プロセッサ45が、撮像センサ44を制御して、第2撮像期間において撮像センサ44の第2シャッタスピードが予め定めた閾値以上である場合の観察対象の第2明るさを、第1撮像期間において撮像センサ44の第1シャッタスピードが閾値以上である場合の観察対象の第1明るさよりも大きくしてもよい。また、画像制御用プロセッサが、画像処理に含まれるゲイン補正処理を制御して、第2撮像期間において撮像センサ44の第2シャッタスピードが予め定めた閾値以上である場合の観察対象の第2明るさを、第1撮像期間において撮像センサ44の第1シャッタスピードが閾値以上である場合の観察対象の第1明るさよりも大きくしてもよい。
具体的には、プロセッサ装置16のDSP52が、第1画像信号又は第2画像信号から、光源部20の光量制御に用いる光量指示値を算出する場合において、画像制御用プロセッサは、図15に示すように、撮像センサ44のシャッタスピードによって光量指示値の設定最大値を定めておき、光量指示値が設定最大値の範囲内に収まるようにする。そして、光源用プロセッサ21は、設定最大値の範囲内(領域HA内)の光量指示値を用いて、光源部20を制御する。例えば、シャッタスピードが閾値(1/240)以上の場合には、DSP52で算出された光量指示値が4を超えた場合であっても、光量指示値は、シャッタスピードが閾値の設定最大値を超えているため、4に制限される。なお、シャッタスピードは、撮像センサ44が1秒間に撮像することが可能なフレーム数(fps(frame per second))で表される。
解析処理モードにおける撮像センサ44のシャッタスピードと光量指示値の設定最大値との関係は、図16に示すように、定められている。第1明るさを決める第1照明光(白色光)発光時の光源部20(図16では、B-LED20b、G-LED20c、及びR-LED20d)の設定最大値については、第1撮像期間における撮像センサ44の第1シャッタスピードが予め定めた閾値(1/240)未満である場合には、第1シャッタスピードが速くなる程、B-LED20b、G-LED20c、及びR-LED20dの設定最大値が大きくなる。光源用プロセッサ21は、以上の設定最大値の範囲内で、DSP52で算出したB-LED20b、G-LED20c、及びR-LED20dの光量指示値に基づいて、光源部20の制御を行う。
一方、第1シャッタスピードが閾値以上となった場合には、B-LED20b、G-LED20c、及びR-LED20dの設定最大値は、第1シャッタスピードが閾値の場合に用いる特定設定最大値に維持する。光源用プロセッサ21は、DSP52で算出したB-LED20b、G-LED20c、及びR-LED20dの光量指示値が特定設定最大値以下の場合は、光量指示値を変更せずにそのまま用いて、光源部20の制御を行う。一方、光源用プロセッサ21は、DSP52で算出したB-LED20b、G-LED20c、及びR-LED20dの光量指示値が特定設定最大値を超えた場合には、光量指示値を特定設定最大値に変更して、光源部20の制御を行う。第1照明光を発光する第1照明期間においては、第2照明期間よりもフレーム数が多いことから、光量が大きくなることによる内視鏡の先端部12dの発熱を抑制するため、光量指示値が特定設定最大値以上になることを防いでいる。
第2明るさを決める第2照明光発光時の光源部20(図16では、V-LED20a、B-LED20b、及びG-LED20c)の設定最大値については、第2撮像期間における撮像センサ44の第2シャッタスピードが、閾値(1/240)に関わらず、速くなる程、V-LED20a、B-LED20b、及びG-LED20cの設定最大値を大きくする。光源用プロセッサ21は、以上のような設定最大値の範囲内で、DSP52で算出したV-LED20a、B-LED20b、及びG-LED20cに基づいて、光源部20の制御を行う。第2撮像期間において静止画取得指示が行われた場合には、ブレ低減制御状態として、閾値以上の第2シャッタスピードを用いて撮像センサ44の制御を行い、且つ、第2シャッタスピードが速くなる程、大きくなる設定最大値の範囲内で算出した光量指示値に基づいて光源部20を制御することにより、ブレが低減された明るい第2静止画を保存することが可能となる。
ここで、第2照明光を発光する第2照明期間は、第1照明期間よりもフレーム数が少ないことから、光量制御値を大きくして光量を大きくしたとしても、光量が大きくなる時間は短時間且つ間欠的であるため、内視鏡の先端部12dの温度上昇は一時的で安全性が確保される。
次に、解析処理のモードの一連の流れについて、図17に示すフローチャートに沿って説明する。モード切替SW12fを操作して、解析処理モードに切り替える。解析処理モードに切り替えられると、第1照明光と発光する第1照明期間と、第2照明光と発光する第2照明期間とが特定発光パターンにて自動的に切り替えられる。このように特定発光パターンにて自動的に切り替えられる第1照明光と第2照明光とが、観察対象に対して照明される。
撮像用プロセッサ45は、第1照明期間において第1照明光が照明された観察対象を撮像センサ44で撮像させることにより、撮像センサ44から第1画像信号を出力する。撮像用プロセッサ45は、第2照明期間において第2照明光が照明された観察対象を撮像センサ44で撮像させることにより、撮像センサ44から第2画像信号を出力する。表示制御部60は、第1画像信号に基づく表示用画像に対して、第2画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像をディスプレイ18に表示する。
ユーザーが静止画取得指示部12gを操作した場合には、観察対象の静止画を保存する制御が行われる。第1撮像期間において静止画取得指示が行われた場合には、第1撮像期間の静止画取得期間に得られる複数の第1静止画の中から、ブレが一番小さい第1静止画を静止画保存用メモリ70に保存するブレ低減静止画保存処理が行われる。一方、第2撮像期間において静止画取得指示が行われた場合には、ブレ低減静止画保存処理は実行されず、その代わりに、光源部20に対する制御、撮像センサ44に関する制御、又は、画像処理に関する制御のうち少なくともいずれかが、ブレを低減するブレ低減制御状態に設定された状態で、ブレが低減された第2静止画が静止画保存用メモリ70に保存される。静止画の保存が完了した後は、解析処理モードを継続する限りにおいては、上記に従って制御等が行われる。解析処理モードが終了した場合には、ディスプレイ18の表示が、解析結果付き表示用画像から他のモードに対応する画像に切り替わる。
なお、上記実施形態においては、第2照明光として、紫色光V、青色光B、緑色光G、赤色光Rを用いているが、その他の発光スペクトルの光を用いてもよい。例えば、図18に示すように、第2照明光として、紫色光Vの光量を他の青色光B、緑色光G、及び赤色光Rの光量よりも大きくした第1特殊光を用いてもよい。また、図19に示すように、第2照明光として、緑色光Gの光量を、他の紫色光V、青色光B、及び赤色光Rの光量よりも大きくした第2特殊光を用いてもよい。また、第2照明光として、第1特殊光と第2特殊光の両方を用い、第2発光パターンを第2Bパターン又は第2Dパターンとして、第1特殊光と第2特殊光を交互に発光するようにしてもよい。なお、第1特殊光を用いた場合には、第2画像信号に対して、観察対象に含まれる正常部と異常部(病変部など)との色の差を拡張する色差拡張処理を行ってもよい。色差拡張処理済みの第2画像信号に対して、解析処理を行ってもよい。
なお、上記実施形態においては、第1照明光に基づく第1画像信号は、表示用画像に用い、第2照明光に基づく第2画像信号は、解析処理にのみに用いて、ディスプレイ18への表示に用いていないが、第2画像信号についても、ディスプレイ18への表示に用いてもよい。この場合には、第1画像信号に基づく表示用画像と、第2画像信号に基づく表示用画像とを、ディスプレイ18に対して切り替えて表示することになる。第2画像信号に基づく画像のディスプレイ18への表示又は非表示については、ユーザーインターフェース19によって適宜設定できるようにすることが好ましい。
上記実施形態において、光源用プロセッサ21、撮像用プロセッサ45、画像取得部50、DPS52、ノイズ低減部54、画像処理切替部56、画像処理部58に含まれる通常観察画像生成部62、特殊観察画像生成部64、解析処理部66、中央制御部68といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g 静止画取得指示部
12h ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
42 対物レンズ
43 ズームレンズ
44 撮像センサ
45 撮像用プロセッサ
46 CDS/AGC回路
48 A/Dコンバータ
50 画像取得部
52 DSP
54 ノイズ低減部
56 画像処理切替部
58 画像処理部
60 表示制御部
62 通常観察画像生成部
64 特殊観察画像生成部
66 解析処理部
68 中央制御部
70 静止画保存用メモリ

Claims (11)

  1. 互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、
    前記第1照明光を発光する第1照明期間と前記第2照明光を発光する第2照明期間とを自動的に切り替える場合において、前記第1照明光を第1発光パターンで発光し、前記第2照明光を第2発光パターンで発光する光源用プロセッサと、
    前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して第2画像信号とを出力する撮像センサと、
    前記撮像センサを制御する撮像用プロセッサであって、前記第1画像信号を出力させる第1撮像期間と、前記第2画像信号を出力させる第2撮像期間とに切り替えて制御する撮像用プロセッサと、
    前記第1画像信号に基づく前記観察対象の第1静止画又は前記第2画像信号の前記観察対象の第2静止画の取得を指示するための静止画取得指示を行う静止画取得指示部と、 画像制御用プロセッサとを備え、
    前記画像制御用プロセッサは、
    前記第1撮像期間において前記静止画取得指示が行われた場合に、前記第1撮像期間の静止画取得期間に得られる複数の第1静止画の中から、ブレが一番小さい第1静止画を静止画保存用メモリに保存するためのブレ低減静止画保存処理を実行し、
    前記第2撮像期間において前記静止画取得指示が行われた場合に、前記光源部に対する制御、前記撮像センサに関する制御、又は画像処理に関する制御のうち少なくともいずれかが、ブレを低減するブレ低減制御状態に設定された状態で、前記第2撮像期間の静止画取得期間に得られる第2静止画のブレを低減して前記静止画保存用メモリに保存し、
    前記光源用プロセッサは、前記ブレ低減制御状態として、前記第2撮像期間において前記撮像センサの第2シャッタスピードが予め定めた閾値以上である場合の前記観察対象の第2明るさを、前記第1撮像期間において前記撮像センサの第1シャッタスピードが閾値以上である場合の観察対象の第1明るさよりも大きくし、
    前記第2静止画は、前記閾値以上の前記第2シャッタスピードで前記撮像センサを制御して得られ、
    前記光源用プロセッサは、前記第1撮像期間において前記静止画取得指示が行われ、且つ、前記閾値以上の前記第1シャッタスピードで前記撮像センサを制御する場合には、前記第1シャッタスピードが前記閾値の場合に用いる特定設定最大値にまで小さくした設定最大値の範囲内で算出した光量指示値に基づいて、前記光源部を制御する内視鏡システム。
  2. 前記光源用プロセッサは、前記第2撮像期間において前記静止画取得指示が行われた場合に、前記第2シャッタスピードが速くなる程、大きくなる設定最大値の範囲内で算出した光量指示値に基づいて、前記光源部を制御する請求項記載の内視鏡システム。
  3. 前記ブレ低減静止画保存処理は、前記第1撮像期間の静止画取得期間に得られる複数の第1静止画のコントラストを算出し、それら複数の静止画のうちコントラストが一番高い第1静止画を静止画保存用メモリに保存するコントラスト算出型処理である請求項1または2に記載の内視鏡システム。
  4. 前記第1照明光は白色光が用いられ、前記第2照明光は、紫色光、青色光、緑色光、又は赤色光が用いられる請求項1ないしいずれか1項記載の内視鏡システム。
  5. 前記第2照明期間では、前記紫色光、前記青色光、前記緑色光、又は前記赤色光のいずれか1つの光を発光し、又は、前記第2照明期間では、前記紫色光、前記青色光、前記緑色光、又は前記赤色光のうち少なくとも2つの光を特定の順番で切り替えて発光する請求項記載の内視鏡システム。
  6. 前記第2照明光は、紫色光の光量が他の色の光の光量よりも大きい第1特殊光、又は、緑色光の光量が他の色の光の光量よりも大きい第2特殊光のいずれかである請求項1ないしいずれか1項記載の内視鏡システム。
  7. 前記第1発光パターンは、前記第1照明期間のフレーム数が、それぞれの前記第1照明期間において同じである第1A発光パターンと、前記第1照明期間のフレーム数が、それぞれの前記第1照明期間において異なっている第1B発光パターンとのうちのいずれかである請求項1ないしいずれか1項記載の内視鏡システム。
  8. 前記第2発光パターンは、前記第2照明期間のフレーム数が、それぞれの前記第2照明期間において同じであり、且つ、前記第2照明光の発光スペクトルが、それぞれの前記第2照明期間において同じである第2Aパターン、前記第2照明期間のフレーム数が、それぞれの前記第2照明期間において同じであり、且つ、前記第2照明光の発光スペクトルが、それぞれの前記第2照明期間において異なっている第2Bパターン、前記第2照明期間のフレーム数が、それぞれの前記第2照明期間において異なっており、且つ、前記第2照明光の発光スペクトルが、それぞれの前記第2照明期間において同じである第2Cパターン、及び、前記第2照明期間のフレーム数が、それぞれの前記第2照明期間において異なっており、且つ、前記第2照明光の発光スペクトルが、それぞれの前記第2照明期間において異なっている第2Dパターンのうちのいずれかである請求項1ないしいずれか1項記載の内視鏡システム。
  9. 前記画像制御用プロセッサは、前記第1画像信号に基づく表示用画像に対して、前記第2画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像をディスプレイに表示する請求項1ないしいずれか1項記載の内視鏡システム。
  10. 互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、
    前記第1照明光を発光する第1照明期間と前記第2照明光を発光する第2照明期間とを自動的に切り替える場合において、前記第1照明光を第1発光パターンで発光し、前記第2照明光を第2発光パターンで発光する光源用プロセッサと、
    前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して第2画像信号とを出力する撮像センサと、
    前記撮像センサを制御する撮像用プロセッサであって、前記第1画像信号を出力させる第1撮像期間と、前記第2画像信号を出力させる第2撮像期間とに切り替えて制御する撮像用プロセッサと、
    前記第1画像信号に基づく前記観察対象の第1静止画又は前記第2画像信号の前記観察対象の第2静止画の取得を指示するための静止画取得指示を行う静止画取得指示部と、 画像制御用プロセッサとを備える内視鏡システムの作動方法において、
    前記画像制御用プロセッサは、
    前記第1撮像期間において前記静止画取得指示が行われた場合に、前記第1撮像期間の静止画取得期間に得られる複数の第1静止画の中から、ブレが一番小さい第1静止画を静止画保存用メモリに保存するためのブレ低減静止画保存処理を実行し、
    前記第2撮像期間において前記静止画取得指示が行われた場合に、前記光源部に対する制御、前記撮像センサに関する制御、又は画像処理に関する制御のうち少なくともいずれかが、ブレを低減するブレ低減制御状態に設定された状態で、前記第2撮像期間の静止画取得期間に得られる第2静止画のブレを低減して前記静止画保存用メモリに保存し、
    前記光源用プロセッサは、前記ブレ低減制御状態として、前記第2撮像期間において前記撮像センサの第2シャッタスピードが予め定めた閾値以上である場合の前記観察対象の第2明るさを、前記第1撮像期間において前記撮像センサの第1シャッタスピードが閾値以上である場合の観察対象の第1明るさよりも大きくし、
    前記第2静止画は、前記閾値以上の前記第2シャッタスピードで前記撮像センサを制御して得られ、
    前記光源用プロセッサは、前記第1撮像期間において前記静止画取得指示が行われ、且つ、前記閾値以上の前記第1シャッタスピードで前記撮像センサを制御する場合には、前記第1シャッタスピードが前記閾値の場合に用いる特定設定最大値にまで小さくした設定最大値の範囲内で算出した光量指示値に基づいて、前記光源部を制御する内視鏡システムの作動方法。
  11. 互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、
    前記第1照明光を発光する第1照明期間と前記第2照明光を発光する第2照明期間とを自動的に切り替える場合において、前記第1照明光を第1発光パターンで発光し、前記第2照明光を第2発光パターンで発光する光源用プロセッサと、
    前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して第2画像信号とを出力する撮像センサと、
    前記撮像センサを制御する撮像用プロセッサであって、前記第1画像信号を出力させる第1撮像期間と、前記第2画像信号を出力させる第2撮像期間とに切り替えて制御する撮像用プロセッサと、
    前記第1画像信号に基づく前記観察対象の第1静止画又は前記第2画像信号の前記観察対象の第2静止画の取得を指示するための静止画取得指示を行う静止画取得指示部と、 画像制御用プロセッサとを備え、
    前記画像制御用プロセッサは、
    前記第1撮像期間において前記静止画取得指示が行われた場合に、前記第1撮像期間の静止画取得期間に得られる複数の第1静止画の中から、ブレが一番小さい第1静止画を静止画保存用メモリに保存するためのブレ低減静止画保存処理を実行し、
    前記第2撮像期間において前記静止画取得指示が行われた場合に、前記光源部に対する制御、前記撮像センサに関する制御、又は画像処理に関する制御のうち少なくともいずれかが、ブレを低減するブレ低減制御状態に設定された状態で、前記第2撮像期間の静止画取得期間に得られる第2静止画のブレを低減して前記静止画保存用メモリに保存し、
    前記第2照明光は、紫色光の光量が他の色の光の光量よりも大きい第1特殊光、又は、緑色光の光量が他の色の光の光量よりも大きい第2特殊光のいずれかである内視鏡システム。
JP2021572988A 2020-01-23 2020-11-30 内視鏡システム及びその作動方法 Active JP7386266B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020009158 2020-01-23
JP2020009158 2020-01-23
PCT/JP2020/044403 WO2021149357A1 (ja) 2020-01-23 2020-11-30 内視鏡システム及びその作動方法

Publications (2)

Publication Number Publication Date
JPWO2021149357A1 JPWO2021149357A1 (ja) 2021-07-29
JP7386266B2 true JP7386266B2 (ja) 2023-11-24

Family

ID=76993318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021572988A Active JP7386266B2 (ja) 2020-01-23 2020-11-30 内視鏡システム及びその作動方法

Country Status (2)

Country Link
JP (1) JP7386266B2 (ja)
WO (1) WO2021149357A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004097673A (ja) 2002-09-12 2004-04-02 Pentax Corp 静止画像記録可能な電子内視鏡装置
JP2016054794A (ja) 2014-09-05 2016-04-21 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017164393A (ja) 2016-03-18 2017-09-21 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019180983A1 (ja) 2018-03-23 2019-09-26 オリンパス株式会社 内視鏡システム、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004097673A (ja) 2002-09-12 2004-04-02 Pentax Corp 静止画像記録可能な電子内視鏡装置
JP2016054794A (ja) 2014-09-05 2016-04-21 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017164393A (ja) 2016-03-18 2017-09-21 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019180983A1 (ja) 2018-03-23 2019-09-26 オリンパス株式会社 内視鏡システム、画像処理方法およびプログラム

Also Published As

Publication number Publication date
WO2021149357A1 (ja) 2021-07-29
JPWO2021149357A1 (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5977772B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6362274B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JPWO2019093355A1 (ja) 内視鏡システム及びその作動方法
JP6909856B2 (ja) 内視鏡システム
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP6891294B2 (ja) 内視鏡システム及びその作動方法
US11744437B2 (en) Medical image processing system
JPWO2019163470A1 (ja) 内視鏡システム及びその作動方法
JP2018051364A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP7386266B2 (ja) 内視鏡システム及びその作動方法
CN111712178A (zh) 内窥镜系统及其工作方法
JP7411515B2 (ja) 内視鏡システム及びその作動方法
JP7390482B2 (ja) 内視鏡システム及びその作動方法
JP7390465B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP7337190B2 (ja) 内視鏡システム及びその作動方法
JPWO2019163471A1 (ja) 内視鏡システム
US11969152B2 (en) Medical image processing system
WO2021250952A1 (ja) 内視鏡システム及びその作動方法
JP7196196B2 (ja) 内視鏡システム
US12004723B2 (en) Endoscope system for controlling an amount of illumination light
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
JP7362778B2 (ja) 内視鏡システム及びその作動方法
JP7171885B2 (ja) 内視鏡システム
JP6272956B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7386266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150