JP7092633B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP7092633B2
JP7092633B2 JP2018192464A JP2018192464A JP7092633B2 JP 7092633 B2 JP7092633 B2 JP 7092633B2 JP 2018192464 A JP2018192464 A JP 2018192464A JP 2018192464 A JP2018192464 A JP 2018192464A JP 7092633 B2 JP7092633 B2 JP 7092633B2
Authority
JP
Japan
Prior art keywords
image
direct
view
view observation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018192464A
Other languages
English (en)
Other versions
JP2020058639A (ja
Inventor
亮 北野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018192464A priority Critical patent/JP7092633B2/ja
Priority to CN201910962096.2A priority patent/CN111035348B/zh
Priority to US16/598,337 priority patent/US10694119B2/en
Publication of JP2020058639A publication Critical patent/JP2020058639A/ja
Application granted granted Critical
Publication of JP7092633B2 publication Critical patent/JP7092633B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00091—Nozzles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00177—Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A61B1/126—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning in-use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2446—Optical details of the image relay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)

Description

本発明は、直視と側視の観察が可能な内視鏡システムに関する。
医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。内視鏡システムにおいては、光源装置は照明光を発生する。内視鏡は可撓性の挿入部を有し、挿入部を被検体内に挿入することで例えば挿入部の先端部分（以下、先端部という）に搭載したイメージセンサを用いて観察対象を撮像する。そして、プロセッサ装置は、観察対象の画像を生成し、モニタに表示する。
従来の内視鏡システムで用いる内視鏡としては、先端部の先端方向（すなわち挿入部の挿入方向に沿った正面の方向）を示す直視方向にある観察対象を撮像する直視観察タイプと、先端部の側面方向（すなわち挿入部の外周方向）を示す側視方向にある観察対象を撮像する側視観察タイプが知られている。また、近年においては、特許文献１及び２に示すように、直視方向と側視方向を両方とも観察できるようにすることで、より広い範囲の視野角を得ようとする内視鏡が知られている（特許文献１及び２参照）。
しかしながら、直視方向と側視方向の両方を観察可能にした場合には、直視方向の画像である直視観察画像と側視方向の画像である側視観察画像とが１つの画面内に表示されるため、それぞれの画像に関する情報をユーザーが読み取るのが難しくなるという問題があった。これに対して、特許文献３では、基本的には直視観察画像だけを画面上に表示し、病変の特徴量が自動的に検出された場合に、側視観察画像を画面に表示している。これにより、病変が検出された場合など必要な場合だけ側視観察画像を表示して、ユーザーの注意を直視観察画像に向くようにすることで、ユーザーの集中力が維持するようにしている。
特許第５５８３８７３号公報 特許第５６９８８７９号公報 特許第６００１２１９号公報
しかしながら、特許文献３については、病変部などの関心領域の検出によって、側視観察画像を表示する際に、側視観察画像を画面内に表示するために、直視観察画像のサイズを小さくしている。このように、病変部の検出前後での直視観察画像のサイズが変わってしまうと、ユーザーの集中力を維持することが難しい場合がある。
本発明は、直視観察画像と側視観察画像のいずれか一方を表示部に表示する場合において、関心領域が検出されたことを報知する場合であっても、ユーザーの集中力を維持することができる内視鏡システムを提供することを目的とする。
本発明の内視鏡システムは、観察対象に挿入する挿入部と、挿入部の先端方向に視野を有する直視観察部と、挿入部の側面方向に視野を有する側視観察部とを有する内視鏡と、直視観察部を用いて直視観察画像を取得し、かつ、側視観察部を用いて側視観察画像を取得する画像取得部と、直視観察画像又は側視観察画像のうち一方を表示画像として表示部に表示し、他方を非表示画像として非表示にする表示制御部と、表示画像又は非表示画像を用いて関心領域を検出する関心領域検出部とを備え、表示制御部は、関心領域検出部による関心領域の検出の有無に関わらず、表示部のうち表示画像を表示する第１表示領域を維持し、かつ、関心領域を検出した場合に、非表示画像のうち関心領域を検出された部分を含む関心領域画像を、表示部のうち第１表示領域と異なる位置に設けられた第２表示領域に表示する。
表示制御部は、表示画像を電子拡大して表示部に表示することが好ましい。画像取得部は、１つのイメージセンサによって得られた画像から直視観察画像と側視観察画像を取得することが好ましい。直視観察画像は直視観察画像取得用のイメージセンサによって得られ、側視観察画像は、直視観察画像取得用のイメージセンサと異なる側視観察画像取得用のイメージセンサによって得られることが好ましい。直視観察画像又は側視観察画像の両方を表示部に表示する通常表示モードと、表示画像を表示部に表示し、非表示画像を非表示にする特定表示モードの切り替えを行うモード切替スイッチを有することが好ましい。
非表示画像から非表示画像用の明るさ情報を取得する明るさ情報取得部を備え、非表示画像は、非表示画像用の明るさ情報に基づいて、目標明るさにするためのゲイン処理が施されることが好ましい。非表示画像に対して、フレーム毎に異なる画像処理を施す画像処理部を備えることが好ましい。直視観察部には直視観察窓が設けられ、側視観察部には側視観察窓が設けられ、側視観察窓の洗浄に用いられる側視用ノズルに洗浄液を送る側視用送液ラインは、直視観察窓の洗浄に用いられる直視用ノズルに洗浄液を送る直視用送液ラインとは別に設けられており、非表示画像において異物が検出された場合に、側視用送液ライン及び側視用ノズルを介して、洗浄液が自動的に側視観察窓に吹き付けられることが好ましい。
本発明によれば、直視観察画像と側視観察画像のいずれか一方を表示部に表示する場合において、関心領域が検出されたことを報知する場合であっても、ユーザーの集中力を維持することができる。
内視鏡システムの外観図である。 先端部の外観斜視図である。 先端部の正面図である。 第１突出部の一部の断面図である。 第２突出部の断面図である。 内視鏡システムのブロック図である。 イメージセンサを示す説明図である。 直視観察画像と側視観察画像を表示するモニタの画像図である。 直視観察画像のみを表示するモニタの画像図である。 直視観察画像と検出用指標を表示するモニタの画像図である。 直視観察画像と指標表示領域に表示された検出用指標を表示するモニタの画像図である。 直視観察画像と関心領域画像を表示するモニタの画像図である。 （Ａ）は関心領域が検出されない場合の表示態様を、（Ｂ）は関心領域が検出された場合の表示態様を示すモニタの画像図である。 直視観察画像、関心領域を検出したイメージセンサを表す矢印、及び関心領域の画像を表示するモニタの画像図である。 通常表示モードにおけるＡＥ制御を表す説明図である。 特定表示モードにおけるＡＥ制御を表す説明図である。 直視用ポンプ及び側視用ポンプ等を備える内視鏡システムを示すブロック図である。 通常表示モードに設定されている場合に行われる直視観察窓又は側視観察窓の洗浄に関する動作を示す説明図である。 特定表示モードに設定されている場合に行われる直視観察窓又は側視観察窓の洗浄に関する動作を示す説明図である。
図１に示すように、内視鏡システム１０は、観察対象を撮像する内視鏡１２と、照明光を発生する光源装置１４と、観察対象を撮像して得た画像（以下、撮像画像という）を用いて観察用の画像（以下、観察画像という）を生成するプロセッサ装置１６と、観察画像を表示する表示部であるモニタ１８と、ユーザーインターフェースの１つであるユーザーインターフェース１９と、を有する。内視鏡１２は、ユニバーサルコード１１を用いて、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。また、内視鏡１２は、ユニバーサルコード１１を用いて洗浄液（例えば水）等を貯蓄するタンク１７に接続する。タンク１７の洗浄液等を送るためのポンプ等の機構は、例えば、光源装置１４内に設けられている。なお、図１では、ユーザーインターフェース１９として、キーボードを設けているが、マウス、タッチパッドなどのその他を設けてもよい。
内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分にある操作部１２ｂと、挿入部１２ａの先端側にある湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂにあるアングルノブ１２ｅを操作すると、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲した結果、先端部１２ｄが所望の方向に向く。
また、操作部１２ｂには、アングルノブ１２ｅの他、例えば、先端部１２ｄにあるノズルから洗浄液を噴出する洗浄スイッチ１３ａを有する。観察対象との接触等により先端部１２ｄに汚れが付着した場合に洗浄スイッチ１３ａを押圧すると、先端部１２ｄにあるノズルから先端部１２ｄの少なくとも一部に向けて洗浄液が噴出し、その結果、先端部１２ｄのうち洗浄液が当たる部分を洗浄することができる。内視鏡システム１０においては、洗浄液は水または薬液等の液体である。また、本明細書においては便宜上洗浄「液」というが、洗浄用であれば、ノズルから噴出する空気等の気体、固体、もしくは、相(phase)が異なる物質の混合物等も「洗浄液」に含むものとする。
また、操作部１２ｂには、モード切替スイッチ１３ｂが設けられている。本実施形態では、内視鏡システム１０は、後述するように、中心部分に対して、直視観察部４１を用いて得られる直視観察画像１００をモニタ１８に表示し、直視観察画像１００の外周部に対して、側視観察部４２を用いて得られる側視観察画像１０２に表示する通常表示モード（図８参照）と、直視観察画像１００を拡大してモニタ１８に表示し、側視観察画像は関心領域の検出のみに用いて、モニタ１８には表示しない特定表示モードの２つのモードが設けられている。通常表示モードと特定表示モードの切替えは、モード切替スイッチ１３ｂによって行われる。
図２及び図３に示すように、観察対象に挿入する挿入部１２ａの先端部１２ｄは、先端部１２ｄの先端面２１から、挿入部１２ａの先端方向であるＺ方向に向かってさらに突出した第１突出部３１及び第２突出部３２の２つの突出部を有する。第１突出部３１と第２突出部３２とは互い隣接している。以下、第２突出部３２に対して第１突出部３１がある方向をＹ方向といい、かつ、Ｚ方向及びＹ方向に垂直な方向をＸ方向という。Ｚ方向については、直視観察部４１の視野の方向であることから、直視方向ともいう。また、Ｙ方向については、側視観察部４２の視野の方向であることから、側視方向ともいう。また、挿入部１２ａ、先端部１２ｄ、第１突出部３１、または第２突出部３２のＸ方向正側を「左」といい、Ｘ方向負側を「右」という。挿入部１２ａ、先端部１２ｄ、第１突出部３１、または第２突出部３２のＺ方向正側は「正面」または「先端（先端方向）」であり、かつ、Ｚ方向負側は「基端（基端方向）」である。
第１突出部３１は、全体としては概ね円筒形状であり、その先端に直視観察部４１の観察窓である直視観察窓４１Ａを備え、かつ、側面に側視観察部４２の観察窓である側視観察窓４２Ａを備える。直視観察部４１は、挿入部１２ａの先端方向に視野を有し、挿入部１２ａの先端方向にある観察対象を撮像する。直視観察部４１は、例えば、撮像レンズ及びイメージセンサ等を含む。直視観察部４１を構成する撮像レンズ等の光学部材または撮像レンズ等の光学部材を保護する透明な保護部材は、第１突出部３１の先端（Ｚ方向に向いた面）に露呈する。この第１突出部３１の先端において露呈した部分が、挿入部１２ａに対して先端方向にある観察対象から入射する光を取り込む直視観察窓４１Ａである。
側視観察部４２は、挿入部１２ａの側面方向に視野を有し、挿入部１２ａの側面方向にある観察対象を撮像する。側視観察部４２は、直視観察部４１と同様に、例えば、撮像レンズ及びイメージセンサ等を含む。但し、側視観察部４２を構成する撮像レンズ等の光学部材または撮像レンズ等の光学部材を保護する透明な保護部材は、第１突出部３１の側面（第１突出部３１の外周を形成する面）に露呈する。この第１突出部３１の側面において露呈した部分が、挿入部１２ａに対して側面方向にある観察対象から入射する光を取り込む側視観察窓４２Ａである。本実施形態の内視鏡１２においては、側視観察部４２は第１突出部３１と第２突出部３２の接合部分を除く、第１突出部３１の周方向に１周にわたって露呈しており、帯状の１つの側視観察窓４２Ａを形成している。
また、第１突出部３１は、直視観察窓４１Ａ及び側視観察窓４２Ａに加えて、直視側視照明部４３の照明窓である直視側視照明窓４３Ａを有する。直視側視照明部４３は、直視側視照明窓４３Ａから直視観察部４１及び側視観察部４２の視野に向けて照明光を出射する。直視側視照明部４３は、例えば、光源装置１４が発光した照明光を導光するライトガイドと、ライトガイドを用いて先端部１２ｄに導光した照明光を直視観察部４１及び側視観察部４２の視野に向けて拡散して出射するレンズまたはミラー等の光学部材を含む。直視側視照明部４３を構成するミラー等の光学部材またはミラー等の光学部材を保護する透明な保護部材は、第１突出部３１の側面に露呈する。この第１突出部３１の側面に露呈する部分が、挿入部１２ａの側面方向に照明光を出射する直視側視照明窓４３Ａである。本実施形態の内視鏡１２においては、第１突出部３１と第２突出部３２の接合部分を除いた接合部分を除いた第１突出部３１の外周のうちの一部が直視側視照明窓になっている。
本実施形態においては、図４に示すように、直視観察部４１及び側視観察部４２は、共通の撮像レンズ６１及びイメージセンサ６６を含む。撮像レンズ６１は、前群レンズ６２、２つのレンズを接合して形成したミラーレンズ６３、及び後群レンズ６４からなる。前群レンズ６２の前面は、第１突出部３１の先端に露呈している。すなわち、前群レンズ６２の前面が、直視観察部４１の直視観察窓４１Ａを構成する。また、ミラーレンズ６３の側面は、第１突出部３１の側面に露呈している。このため、ミラーレンズ６３の側面が、側視観察部４２の側視観察窓４２Ａを構成する。
挿入部１２ａの先端方向にある観察対象から前群レンズ６２を介して入射する光は、ミラーレンズ６３が後群レンズ６４に導光する。そして、カバーガラス６７を介してイメージセンサ６６の撮像面に結像する。これにより、直視観察部４１としての撮像レンズ６１及びイメージセンサ６６は、挿入部１２ａの先端方向にある観察対象を撮像する。
一方、挿入部１２ａの側面方向にある観察対象からミラーレンズ６３の側面を介して入射する光は、ミラーレンズ６３が、ミラーレンズ６３を形成する２つのレンズの接合面と、ミラーレンズ６３の前面とにおいて順次反射して後群レンズ６４に導光する。そして、カバーガラス６７を介してイメージセンサ６６の撮像面に結像する。これにより、側視観察部４２としての撮像レンズ６１及びイメージセンサ６６は、挿入部１２ａの側面方向にある観察対象を撮像する。
また、直視側視照明部４３は、ライトガイド７１、反射部材７２、及び、充填部材７３とを含む。ライトガイド７１は光源装置１４と光学的に接続しており、光源装置１４が発光した照明光を導光する。そして、ライトガイド７１の端面から充填部材７３を介して反射部材７２に出射する。反射部材７２は、ライトガイド７１から入射する照明光を挿入部１２ａの側面方向に拡散し、少なくとも側視観察部４２の視野を含む範囲に照明光を出射する。充填部材７３は、ライトガイド７１の出射端面及び反射部材７２を保護する保護部材であって、透明である。また、充填部材７３は、ライトガイド７１と反射部材７２の間に形成される溝部分を第１突出部３１の側面に沿って滑らかに埋める。このため、充填部材７３が直視側視照明窓４３Ａを構成する。
なお、本実施形態の内視鏡１２は、側視観察窓４２Ａを第１突出部３１の側面における先端側に設け、かつ、直視側視照明窓４３Ａを第１突出部３１の側面における基端側に設けているが、これらの位置及び順序等は任意である。但し、先端面２１等によるケラレ等を防ぎ、直視側視照明部４３の視野を確保しやすくなるので、側視観察窓４２Ａは第１突出部３１の側面においてできるだけ先端側に設けた方が良い。
図２及び図３に示すように、第２突出部３２は、洗浄液を噴出して先端部１２ｄを洗浄するためのノズルを有する。より具体的には、第２突出部３２は、側視観察窓４２Ａに向けて洗浄液を噴出するノズル５１及びノズル５２を有する。ノズル５１は第２突出部３２の右側面にあり、かつ、ノズル５２は第２突出部３２の左側面に設けられている。ノズル５１及びノズル５２は、第２突出部３２に設けられ、かつ、側視観察窓４２Ａに向けて洗浄液を噴出することで側視観察窓４２Ａを洗浄するという点において同様の性質を有する。また、第２突出部３２は、第２突出部３２の先端にノズル５３を有する。ノズル５３は、直視観察部４１の露呈部分である直視観察窓４１Ａに向けて洗浄液を噴出することで直視観察窓４１Ａを洗浄する。本実施形態では、通常表示モードの場合に行われる直視観察窓４１Ａ又は側視観察窓４２Ａの洗浄に関する動作と、特定表示モードの場合に行われる直視観察窓４１Ａ又は側視観察窓４２Ａの洗浄に関する動作とは異なっている。これら２つのモードにおける洗浄に関する動作の詳細については後述する。
図３及び図５に示すように、第２突出部３２は、直視観察部４１の視野に向けて照明光を出射する直視照明部５４の照明窓である直視照明窓５４Ａを有する。直視照明部５４は、例えば、光源装置１４が発光した照明光を導光するライトガイド７７と、ライトガイド７７を用いて先端部１２ｄに導光した照明光を直視観察部４１の視野に向けて拡散して出射する照明レンズ７８等を含む。直視照明部５４を構成する照明レンズまたは照明レンズを保護する透明な保護部材は、第２突出部３２の先端に露呈する。この第２突出部３２の先端に露呈する部分が直視照明窓５４Ａである。本実施形態においては、照明レンズ７８の前面が第２突出部３２の先端に露呈する。このため、照明レンズ７８の前面が直視照明窓５４Ａを形成する。
図２及び図３に示すように、先端部１２ｄの先端面２１は、上記第１突出部３１及び第２突出部３２に対して右側の位置に、直視照明部８１の照明窓である直視照明窓８１Ａ、及び、鉗子口８２を有する。直視照明部８１は、第２突出部３２にある直視照明部５４と同様に、直視観察部４１の視野に向けて照明光を出射する。直視照明部８１を構成する照明レンズまたは照明レンズを保護する透明な保護部材は、先端面２１に露呈する。この先端面２１に露呈する部分が直視照明窓８１Ａである。
鉗子口８２は、鉗子等の処置具の出口である。内視鏡１２の基端部分の入り口（図示しない）から鉗子等の処置具を挿入すると、処置具は鉗子チャネルを介して鉗子口８２に到達し、その先端を鉗子口８２から突出することができる。鉗子チャネルは、先端部１２ｄ、挿入部１２ａ、及び操作部１２ｂに連通している。
図６に示すように、光源装置１４は、照明光を発生する光源９１と、光源９１を制御する光源制御部９２と、を備える。光源９１は、例えば、各々独立に制御可能であり、かつ、発光する光の波長または波長範囲が各々異なる複数のＬＥＤ(Light Emitting Diode)である。光源９１には、ＬＥＤの代わりに、ＬＤ（Laser Diode）等の他の半導体光源を用いても良い。半導体光源と、半導体光源が発光する光を励起光として他の色の光を発光する蛍光体等を組み合わせて用いても良い。キセノンランプ等のランプ光源も光源９１に使用しても良い。また、半導体光源、半導体光源と蛍光体、及び、ランプ光源とともに波長帯域または分光スペクトルを調節する光学フィルタを組み合わせて光源９１を構成しても良い。例えば、白色ＬＥＤに光学フィルタを組み合わせて使用することで、複数種類の照明光を発光することができる。
光源制御部９２は、光源９１を構成するＬＥＤ等の点灯、消灯、及び光量を、イメージセンサ６６の駆動タイミングに合わせて各々に制御する。特に、複数の撮像画像を用いて１枚の観察画像を生成する場合（すなわちマルチフレーム観察モード）においては、光源制御部９２は、ＬＥＤ等の制御の結果、観察画像の生成に使用する複数の撮像画像を得る各々の撮像フレームごとに照明光の波長帯域または分光スペクトルを変更することができる。
光源９１が発生した照明光は、ライトガイド９３に入射する。ライトガイド９３は、光源装置１４から内視鏡１２及びユニバーサルコード内に挿通しており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ライトガイド９３は、少なくとも、直視照明部５４を構成するライトガイド７７、直視照明部８１を構成するライトガイド８４、及び側視照明部４３を構成するライトガイド７１に分岐し、これら各照明部に照明光を伝搬する。なお、ライトガイド９３及びライトガイド７１等の分岐後の各ライトガイドとしては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用できる。
プロセッサ装置１６は、制御部９６と、画像取得部９７と、表示制御部９８と、画像処理部９９とを備える。制御部９６は、内視鏡システム１０を統括的に制御するＣＰＵ（Central Processing Unit）等である。制御部９６は、例えば、イメージセンサ６６における撮像タイミングと光源９１を構成する各ＬＥＤ等の発光タイミングを合わせる同期制御を行う。光源９１を構成する各ＬＥＤ等の発光タイミングの制御は、光源制御部９２を介して行う。本実施形態においては、制御部９６は、イメージセンサ６６は一定のタイミングで駆動する。また、制御部９６は、自動的に露出を制御する自動露出制御（ＡＥ（Auto Exposure）制御）を行う。ＡＥ制御は、通常表示モードと特定表示モードとで異なっている。通常表示モードと特定表示モードにおけるＡＥ制御の詳細については、後述する。
画像取得部９７は、直視観察部４１を用いて直視観察画像を取得し、かつ、側視観察部４２を用いて側視観察画像を取得する。本実施形態においては、直視観察部４１及び側視観察部４２は、撮像レンズ６１及びイメージセンサ６６を共有している。画像取得部９７はイメージセンサ６６で撮像した画像を取得する。画像取得部９７で取得した画像に対して、特定の処理を施すことにより、直視観察画像及び側視観察画像を含む撮像画像を得る。図７に示すように、イメージセンサ６６のうち中心部分の円状の直視撮像領域６６ａで得られた画像を直視観察画像とし、イメージセンサ６６のうち直視撮像領域の外側の側視撮像領域６６ｂで得られた画像を側視観察画像とする。画像取得部９７で得られた直視観察画像及び側視観察画像は表示制御部９８又は画像処理部９９に送られる。
表示制御部９８は、画像取得部９７から直視観察画像及び側視観察画像を取得する。そして、表示制御部９８は、直視観察画像又は側視観察画像をモニタ１８に表示する。表示制御部９８は、通常表示モードに設定されている場合には、図８に示すように、直視観察画像１００及び側視観察画像１０２の両方をモニタ１８に表示する。側視観察画像１０２には、観察対象のうち側視観察部４２の視野にないため、観察対象を撮像することができない死角部１０３が含まれる。
一方、表示制御部９８は、特定表示モードに設定されている場合には、図９に示すように、直視観察画像１００（表示画像）のみをモニタ１８に表示し、側視観察画像１０２（非表示画像）はモニタ１８に表示しないよう（非表示）にする。側視観察画像１０２は、関心領域検出部９９（図６参照）によって、観察対象に含まれる関心領域の検出に用いられる。表示制御部９８は、関心領域の検出結果に従って、モニタ１８の表示制御を行う。関心領域の検出結果に基づく表示制御の詳細については、後述する。特定表示モードでは、直視観察画像１００を電子拡大することによって、モニタ１８の画面全体に表示されるようにする。また、側視観察画像１０２のうちモニタ１８の画面に表示される画像１０５については、マスク処理などによってモニタ１８に表示されないようにする。なお、特定表示モードにおいては、側視観察画像を非表示画像とし、直視観察画像を表示画像としてもよい。
画像処理部９９は、直視観察画像又は側視観察画像に対して、通常表示モード又は特定表示モードに対応する各種画像処理を行う。各種画像処理には、ゲイン処理、色強調処理、構造強調処理などが含まれる。通常表示モードに設定されている場合は、直視観察画像又は側視観察画像のいずれもモニタ１８に表示するため、直視観察画像又は側視観察画像にはそれぞれ同じ画像処理を施すことが好ましい。これは、一方、特定表示モードに設定されている場合には、直視観察画像のみがモニタ１８に表示され、直視観察画像はモニタ１８に表示されないため、直視観察画像に施す画像処理と側視観察画像に施す画像処理を異なるようにしてもよい。
例えば、直視観察画像に施す画像処理としては、直視観察画像はモニタ１８に表示するため、ユーザーが視認し易くなる画像処理を施すことが好ましい。一方、側視観察画像に施す画像処理としては、側視観察画像は関心領域の検出に用いられるため、関心領域を検出し易くなる画像処理を施すことが好ましい。例えば、関心領域が細い表層血管などの場合であれば、構造強調処理として、高周波の周波数強調処理を施すことが好ましい。また、関心領域が発赤などの場合であれば、赤みを強調する赤味強調処理を施すことが好ましい。また、側視観察画像に対しては、複数の関心領域を検出しやすくするために、フレーム毎に異なる画像処理を施すようにしてもよい。側視観察画像はモニタ１８に表示しないため、フレーム毎に画像処理を変えても、ユーザーにストレスを与えることが無い。
例えば、第１フレームと第２フレームを含む複数フレームにて側視観察画像を取得する場合には、第１フレームで取得した側視観察画像に対しては高周波の周波数強調処理を施し、第２フレームで取得した側視観察画像に対しては赤味強調処理を施してもよい。この場合には、第１フレームの側視観察画像からは関心領域として表層血管を検出し易くなり、第２フレームの側視観察画像からは関心領域として発赤を検出し易くなる。
また、画像処理部９９は、特定表示モードに設定されている場合に、側視観察画像から関心領域を検出する関心領域検出処理を行う関心領域検出部９９ａと、特定表示モードに設定されている場合に、側視観察画像から、側視観察窓４２Ａに異物が付着しているかどうかを検出する異物検出部９９ｂとを有している。異物検出部９９ｂが異物を検出した場合には、自動的に、側視観察窓４２Ａに洗浄液を吹き付ける処理が行われる。異物検出に基づく自動洗浄の詳細については後述する。なお、関心領域検出部９９ａは、直視方向で関心領域を見落としたとしても、大半のケースは、見落とした関心領域は側視方向の領域を通過するため、側視観察画像から関心領域を検出することが好ましい。関心領域検出の範囲を限定したほうが、検出のための計算量負荷を軽減することができる。ただし、関心領域検出部９９ａは、直視観察画像から関心領域を検出するようにしてもよい。
関心領域検出処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、Adaboost、ランダムフォレストなどを用いてもよい。また、関心領域検出処理として、側視観察画像の色情報、画素値の勾配等で得られる特徴量を元に、関心領域の検出を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。
なお、関心領域検出部９９で検出される関心領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、大腸憩室、治療痕（ＥＭＲ（Endoscopic mucosal resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所）、出血点、穿孔、血管異形性、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が関心領域になり得る。内視鏡システム１０においては、関心領域検出部９９は、病変部、良性腫瘍部、炎症部、大腸憩室、治療痕、出血点、穿孔、血管異形性マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を関心領域として検出する。
以下、関心領域の検出結果に基づく表示制御について、説明を行う。関心領域が検出された場合には、図１０に示すように、表示制御部９８は、直視観察画像１００を表示する観察用表示領域１００ａ（第１表示領域）を維持した状態で、関心領域の検出をモニタ１８にて報知する。これにより、関心領域が検出された場合であっても、ユーザーが注視する直視観察画像１００の表示態様を維持することで、ユーザーの注意力を維持することができる。なお、観察用表示領域の維持とは、例えば、観察用表示領域の大きさ又は形状を維持するこという。また、図１０に示すモニタ１８の画面においては、横と縦の比率（画面アスペクト比）が４：３であることが好ましい。
また、関心領域の検出の報知に関しては、関心領域を検出したこと又は関心領域の位置を示す検出用指標１０８を、モニタ１８のうち直視観察画像を表示する観察用表示領域１００ａとは別の位置に設けられた周辺領域部１１０（第２表示領域）に表示することによって行われる。検出用指標１０８の矢印は、側視観察画像のうち左上部分に関心領域が検出されたことを表している。このように、検出用指標１０８を表示することにより、ユーザーはアングルノブ１２ｅを操作して、直視観察部４１の視野内に関心領域が入るように、内視鏡の先端部１２ｄを動かす。関心領域が直視観察部４１の視野内に入ることで、ユーザーは関心領域の内容を把握することができる。周辺領域部１１０は、モニタ１８の画面の４隅に設けられ、４隅のいずれかに検出用指標１０８が表示される。なお、図１０では、検出用指標として、一定の大きさと特定の色を有する矢印を用いているが、関心領域の大きさや種類によって、検出用指標の色又は形状を変えてもよい。例えば、関心領域が処置具の場合には、検出用指標を青とし、関心領域が病変の場合には、検出用指標を赤としてもよい。
また、図１１に示すように、直視観察画像１００を表示する観察用表示領域１００ｂの周囲に指標表示領域１１４（第３表示領域）を設け、関心領域が検出された場合には、観察用表示領域１００ｂを維持した状態で、指標表示領域１１４に検出用指標１１６を表示するようにしてもよい。指標表示領域１１４は、観察用表示領域１００ｂの形状に合わせて形成されている。したがって、観察用表示領域１００ｂは円状であることから、指標表示領域１１４は輪環状を有している。輪環状の指標表示領域１１４に検出用指標１１６を表示する場合には、側視観察画像１０２で検出された関心領域の位置に対応する部分に表示するようにする。これにより、検出用指標１１６としては、図１０の検出用指標１０８のように、矢印を用いなくとも、関心領域の位置を表すことができる。なお、図１１に示すモニタ１８の画面においては、横と縦の比率（画面アスペクト比）が４：３であることが好ましい。
また、関心領域が検出された場合には、図１２に示すように、側視観察画像１０２のうち関心領域ＲＯＩ（Region Of Interest）が検出された部分を含む関心領域画像１２０を切り取り、関心領域画像１２０を、モニタ１８の周辺領域部のサブ画面１１０ａに表示するようにしてもよい。ここで、上記と同様に、関心領域の前後で、直視観察画像を表示する観察用表示領域１００ａは維持されている。なお、図１２に示すモニタ１８の画面においては、横と縦の比率（画面アスペクト比）が１６：９であることが好ましい。
関心領域画像１２０は、側視観察画像１０２から、関心領域の画像を含めて円弧状に切り取った画像となっている。したがって、関心領域画像１２０の円弧形状から、関心領域の位置を把握することができる。また、関心領域画像は、電子拡大していない側視観察画像の一部を切り取って得られた画像であるため、高画質であり、関心領域を明確に把握することができる。
なお、上記実施形態では、特定表示モードにおいては、電子拡大した直視観察画像１００のみをモニタ１８に表示しているが、図１３（Ａ）に示すように、拡大表示せずに直視観察画像１００をモニタ１８に表示する一方、側視観察画像１０２は、マスク処理（グレーアウトなどの処理）することで、モニタ１８上で非表示となるようにしてもよい。そして、側視観察画像１０２から関心領域ＲＯＩが検出された場合に、図１３（Ｂ）に示すように、関心領域ＲＯＩが検出された部分１０２ａのみ非表示を解除してモニタ１８に表示（マスク処理を解除する）し、関心領域が検出された部分以外は非表示を維持する（マスク処理を維持する）。なお、図１３においても、上記と同様に、関心領域の前後において、直視観察画像１００を表示する観察用表示領域１００ｃは維持されている。
なお、上記実施形態では、１つのイメージセンサ６６を用いて直視観察画像と側視観察画像の両方を取得しているが、直視観察画像と側視観察画像はそれぞれ異なるイメージセンサを用いて取得するようにしてもよい。例えば、直視観察画像取得用のイメージセンサの他に、左側の側視観察画像取得用のイメージセンサと、右側の側視観察画像取得用のイメージセンサを設けてもよい。この場合、右側の側視観察画像取得用のイメージセンサで関心領域を検出した場合には、図１４に示すように、直視観察画像１００の他に、右側の側視観察画像取得用のイメージセンサで検出されたことを示す矢印１２０と、右側の側視観察画像取得用のイメージセンサで取得した関心領域ＲＯＩの画像１２２を、モニタ１８の周辺領域部１１０に表示する。なお、図１４においても、上記と同様に、関心領域の前後において、直視観察画像１００を表示する観察用表示領域１００ａは維持されている。また、図１２に示すモニタ１８の画面においては、横と縦の比率（画面アスペクト比）が１６：９であることが好ましい。
次に、通常表示モードと特定表示モードにおけるＡＥ制御については、説明する。通常表示モードでは、直視観察画像と側視観察画像の両方をモニタ１８に表示するため、直視観察画像と直視観察画像の明るさのバランスが取れていることが好ましい。通常表示モードでは、制御部９６は、明るさ情報算出部９６ａ（図６参照）において、直視観察画像から直視用の明るさ情報を算出し、且つ、側視観察画像から側視用の明るさ情報を算出する。そして、制御部９６は、直視用の明るさ情報と側視用の明るさ情報に基づいて得られる通常表示モード用の明るさ情報を算出し、算出した通常表示モード用の明るさ情報を光源制御部９２に送る。通常表示モード用の明るさ情報は、例えば、直視用の明るさ情報と側視用の明るさ情報の平均であることが好ましい。光源制御部９２は、通常表示モード用の明るさ情報に基づいて、目標光量となるように、光源９１を制御する。
なお、直視方向の明るさと側視方向の明るさとが異なる場合、いずれか一方の明るさ情報に基づいて光源制御を行うと、明るさのバランスを取りにくくなる。例えば、側視方向が暗い場合に、側視方向の明るさ情報に基づいて、照明光の光量を増加させると、臓器の形状によっては直視方向が明るくなり過ぎて、明るさのバランスをとることが難しくなる。したがって、本実施形態では、直視方向と側視方向の明るさ情報の平均を用いて光源制御を行うことで、明るさのバランスを取りやすくしている。
一方、特定表示モードでは、直視観察画像のみをモニタ１８に表示するため、直視観察画像と側視観察画像の明るさは異なっていてもよい。したがって、特定表示モードにおいても、制御部９６は、直視観察画像から直視用の明るさ情報を算出し、且つ、側視観察画像から側視用の明るさ情報（非表示画像用の明るさ情報）を算出する。制御部９６は、直視用の明るさ情報を光源制御部９２に送る。光源制御部９２は、直視用の明るさ情報に基づいて、目標光量となるように、光源９１を制御する。一方、制御部９６は、側視用の明るさ情報を画像処理部９９に送る。画像処理部９９は、側視用の明るさ情報に基づいて、目標明るさとなるように、ゲイン処理を側視観察画像に対して施す。このゲイン処理が施された側視観察画像が、関心領域の検出に用いられる。上記したように、特定表示モードでは、側視観察画像はモニタ１８に表示されないため、ゲイン処理によってノイズが増えたとしても、増えたノイズが、病変の構造又は色が分かる程度、即ち、関心領域の検出に影響が無い程度のノイズであれば問題がない。
通常表示モードの場合に行われる直視観察窓４１Ａ又は側視観察窓４２Ａの洗浄に関する動作と、特定表示モードの場合に行われる直視観察窓４１Ａ又は側視観察窓４２Ａの洗浄に関する動作とについて、説明を行う。図１７に示すように、内視鏡システム１０においては、タンク１７から直視観察窓洗浄用のノズル５３（直視用ノズル）に洗浄液を送るための直視用送液ライン１３０と、タンク１７から側視観察窓洗浄用のノズル５１、５２（側視用ノズル）に洗浄液を送るための側視用送液ライン１３２とは別々に設けられている。また、内視鏡システム１０においては、タンク１７から洗浄液を吸い上げて直視用送液ライン１３０に送るための直視用ポンプ１３４と、タンク１７から洗浄液を吸い上げて側視用送液ライン１３２に送るための側視用ポンプ１３６とが設けられている。
通常表示モードに設定されている場合には、図１８に示すように、洗浄スイッチ１３ａを操作することにより、直視用ポンプ１３４と側視用ポンプ１３６とが駆動する。これにより、タンク１７からの洗浄液が、直視用送液ライン１３０及びノズル５３を介して、直視観察窓４１Ａに吹き付けられる。また、タンク１７からの洗浄液は、側視用送液ライン１３２及びノズル５１，５２を介して、側視観察窓４２Ａに吹き付けられる。
特定表示モードに設定されている場合には、図１９に示すように、洗浄スイッチ１３ａを操作することにより、直視用ポンプ１３４のみが駆動する。これにより、タンク１７からの洗浄液が、直視用送液ライン１３０及びノズル５３を介して、直視観察窓４１Ａに吹き付けられる。一方、側視用ポンプ１３６の駆動に関しては、画像処理部９９の異物検出部９９ｂによって異物を検出した場合に、側視用ポンプ１３６が駆動する。これにより、タンク１７からの洗浄液は、側視用送液ライン１３２及びノズル５１，５２を介して、側視観察窓４２Ａに吹き付けられる。特定表示モードにおいては、側視観察画像はモニタ１８に表示されないため、どのようなタイミングで洗浄液を側視観察窓４２Ａに吹き付けたとしても、ユーザーによる観察に影響を与えることがない。
また、直視用送液ライン１３０と側視用送液ライン１３２とはそれぞれ独立しており、側視観察窓４２Ａを洗浄するための洗浄液が、直視観察窓４１Ａに吹き付けられることが無くなる。これにより、ユーザーは検査を中断することなく観察を続けることができ、また、洗浄スイッチ１３ａを操作するのは直視観察窓４１Ａが汚れた場合のみで洗浄スイッチ１３ａの操作回数も減るため、ユーザーのストレスを軽減することができる。なお、特定表示モードにおいて側視観察窓４２Ａの洗浄を、異物検出に基づいて自動的に行っているが、異物検出によらず、一定のタイミングで側視観察窓４２Ａを洗浄するようにしてもよい。
上記実施形態において、制御部９６、画像取得部９７、表示制御部９８、画像処理部９９（関心領域検出部９９ａ、異物検出部９９ｂ）といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
１０ 内視鏡システム
１１ ユニバーサルコード
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ 洗浄スイッチ
１３ｂ モード切替スイッチ
１４ 光源装置
１６ プロセッサ装置
１７ タンク
１８ モニタ
１９ ユーザーインターフェース
２１ 先端面
３１ 第１突出部
３２ 第２突出部
４１ 直視観察部
４１Ａ 直視観察窓
４２ 側視観察部
４２Ａ 側視観察窓
４３ 直視側視照明部
４３ 側視照明部
４３Ａ 直視側視照明窓
５１、５２、５３ ノズル
５４ 直視照明部
５４Ａ 直視照明窓
６１ 撮像レンズ
６２ 前群レンズ
６２ 前群レンズ
６３ ミラーレンズ
６４ 後群レンズ
６６ イメージセンサ
６６ａ 直視撮像領域
６６ｂ 側視撮像領域
６７ カバーガラス
７１ ライトガイド
７２ 反射部材
７３ 充填部材
７７ ライトガイド
７８ 照明レンズ
８１ 直視照明部
８１Ａ 直視照明窓
８２ 鉗子口
８４ ライトガイド
９１ 光源
９２ 光源制御部
９３ ライトガイド
９６ 制御部
９６ａ 情報算出部
９７ 画像取得部
９８ 表示制御部
９９ 画像処理部
９９ 関心領域検出部
９９ａ 関心領域検出部
９９ｂ 異物検出部
１００ 直視観察画像
１００ａ 観察用表示領域
１００ｂ 観察用表示領域
１００ｃ 観察用表示領域
１０２ 側視観察画像
１０２ａ 部分
１０３ 死角部
１０５ 画像
１０８ 検出用指標
１１０ 周辺領域部
１１０ａ サブ画面
１１４ 指標表示領域
１１６ 検出用指標
１２０ 関心領域画像
１２０ 矢印
１２２ 画像
１３０ 直視用送液ライン
１３２ 側視用送液ライン
１３４ 直視用ポンプ
１３６ 側視用ポンプ
ＲＯＩ 関心領域

Claims (8)

  1. 観察対象に挿入する挿入部と、前記挿入部の先端方向に視野を有する直視観察部と、前記挿入部の側面方向に視野を有する側視観察部とを有する内視鏡と、
    前記直視観察部を用いて直視観察画像を取得し、かつ、前記側視観察部を用いて側視観察画像を取得する画像取得部と、
    前記直視観察画像又は前記側視観察画像のうち一方を表示画像として表示部に表示し、他方を非表示画像として非表示にする表示制御部と、
    前記表示画像又は前記非表示画像を用いて関心領域を検出する関心領域検出部とを備え、
    前記表示制御部は、前記関心領域検出部による前記関心領域の検出の有無に関わらず、前記表示部のうち前記表示画像を表示する第１表示領域を維持し、かつ、前記関心領域を検出した場合に、前記非表示画像のうち前記関心領域を検出された部分を含む関心領域画像を前記表示部のうち前記第１表示領域と異なる位置に設けられた第２表示領域に表示する内視鏡システム。
  2. 前記表示制御部は、前記表示画像を電子拡大して前記表示部に表示する請求項１に記載の内視鏡システム。
  3. 前記画像取得部は、１つのイメージセンサによって得られた画像から前記直視観察画像と前記側視観察画像を取得する請求項１または２記載の内視鏡システム。
  4. 前記直視観察画像は直視観察画像取得用のイメージセンサによって得られ、前記側視観察画像は、前記直視観察画像取得用のイメージセンサと異なる側視観察画像取得用のイメージセンサによって得られる請求項１または２記載の内視鏡システム。
  5. 前記直視観察画像又は前記側視観察画像の両方を前記表示部に表示する通常表示モードと、前記表示画像を表示部に表示し、前記非表示画像を非表示にする特定表示モードの切り替えを行うモード切替スイッチを有する請求項１ないし４いずれか１項記載の内視鏡システム。
  6. 前記非表示画像から非表示画像用の明るさ情報を取得する明るさ情報取得部を備え、
    前記非表示画像は、前記非表示画像用の明るさ情報に基づいて、目標明るさにするためのゲイン処理が施される請求項１ないし５いずれか１項記載の内視鏡システム。
  7. 前記非表示画像に対して、フレーム毎に異なる画像処理を施す画像処理部を備える請求項１ないし６いずれか１項記載の内視鏡システム。
  8. 前記直視観察部には直視観察窓が設けられ、前記側視観察部には側視観察窓が設けられ、
    前記側視観察窓の洗浄に用いられる側視用ノズルに洗浄液を送る側視用送液ラインは、前記直視観察窓の洗浄に用いられる直視用ノズルに前記洗浄液を送る直視用送液ラインとは別に設けられており、
    前記非表示画像において異物が検出された場合に、前記側視用送液ライン及び側視用ノズルを介して、前記洗浄液が自動的に前記側視観察窓に吹き付けられる請求項１ないし７いずれか１項記載の内視鏡システム。
JP2018192464A 2018-10-11 2018-10-11 内視鏡システム Active JP7092633B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018192464A JP7092633B2 (ja) 2018-10-11 2018-10-11 内視鏡システム
CN201910962096.2A CN111035348B (zh) 2018-10-11 2019-10-10 内窥镜系统
US16/598,337 US10694119B2 (en) 2018-10-11 2019-10-10 Endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018192464A JP7092633B2 (ja) 2018-10-11 2018-10-11 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2020058639A JP2020058639A (ja) 2020-04-16
JP7092633B2 true JP7092633B2 (ja) 2022-06-28

Family

ID=70160653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018192464A Active JP7092633B2 (ja) 2018-10-11 2018-10-11 内視鏡システム

Country Status (3)

Country Link
US (1) US10694119B2 (ja)
JP (1) JP7092633B2 (ja)
CN (1) CN111035348B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230181002A1 (en) * 2021-12-14 2023-06-15 Karl Storz Imaging, Inc. Frame processing of imaging scope data for user interface presentation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012130429A (ja) 2010-12-20 2012-07-12 Fujifilm Corp 内視鏡装置
JP2014018333A (ja) 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
WO2015122355A1 (ja) 2014-02-14 2015-08-20 オリンパス株式会社 内視鏡システム
WO2015174365A1 (ja) 2014-05-16 2015-11-19 オリンパス株式会社 内視鏡システム
JP2016007445A (ja) 2014-06-25 2016-01-18 オリンパス株式会社 内視鏡システム
WO2016067927A1 (ja) 2014-10-28 2016-05-06 オリンパス株式会社 内視鏡システム
WO2016072237A1 (ja) 2014-11-06 2016-05-12 オリンパス株式会社 内視鏡システム
JP2018057605A (ja) 2016-10-05 2018-04-12 富士フイルム株式会社 内視鏡システム及び内視鏡システムの駆動方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP5583873B1 (ja) 2012-09-28 2014-09-03 オリンパスメディカルシステムズ株式会社 洗浄機構を有する内視鏡装置
WO2014088076A1 (ja) 2012-12-05 2014-06-12 オリンパスメディカルシステムズ株式会社 内視鏡装置
JPWO2017179168A1 (ja) * 2016-04-14 2019-02-14 オリンパス株式会社 撮影装置
JP6315874B1 (ja) * 2016-06-14 2018-04-25 オリンパス株式会社 内視鏡

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012130429A (ja) 2010-12-20 2012-07-12 Fujifilm Corp 内視鏡装置
JP2014018333A (ja) 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
WO2015122355A1 (ja) 2014-02-14 2015-08-20 オリンパス株式会社 内視鏡システム
WO2015174365A1 (ja) 2014-05-16 2015-11-19 オリンパス株式会社 内視鏡システム
JP2016007445A (ja) 2014-06-25 2016-01-18 オリンパス株式会社 内視鏡システム
WO2016067927A1 (ja) 2014-10-28 2016-05-06 オリンパス株式会社 内視鏡システム
WO2016072237A1 (ja) 2014-11-06 2016-05-12 オリンパス株式会社 内視鏡システム
JP2018057605A (ja) 2016-10-05 2018-04-12 富士フイルム株式会社 内視鏡システム及び内視鏡システムの駆動方法

Also Published As

Publication number Publication date
JP2020058639A (ja) 2020-04-16
CN111035348A (zh) 2020-04-21
US20200120288A1 (en) 2020-04-16
CN111035348B (zh) 2024-03-26
US10694119B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
JP6785941B2 (ja) 内視鏡システム及びその作動方法
US12089805B2 (en) Medical image processing apparatus and endoscope apparatus
JP7060536B2 (ja) 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム
US8440984B2 (en) Fluoroscopy system
JP6779089B2 (ja) 内視鏡システム及び内視鏡システムの駆動方法
JP7190597B2 (ja) 内視鏡システム
WO2019078237A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6827516B2 (ja) 内視鏡システム及び内視鏡システムの駆動方法
JPWO2017051455A1 (ja) 内視鏡装置
US20240304311A1 (en) Medical image processing apparatus, medical image proces sing method, program, and diagnosis support apparatus
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP7328432B2 (ja) 医療用制御装置、医療用観察システム、制御装置及び観察システム
JP7092633B2 (ja) 内視鏡システム
CN115381379A (zh) 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法
JP7324307B2 (ja) 光源装置、内視鏡システム及び制御方法
US12133637B2 (en) Medical observation system
CN113747826A (zh) 利用窄带成像的医学仪器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220329

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220408

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220616

R150 Certificate of patent or registration of utility model

Ref document number: 7092633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150