JP6785942B2 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Download PDF

Info

Publication number
JP6785942B2
JP6785942B2 JP2019502940A JP2019502940A JP6785942B2 JP 6785942 B2 JP6785942 B2 JP 6785942B2 JP 2019502940 A JP2019502940 A JP 2019502940A JP 2019502940 A JP2019502940 A JP 2019502940A JP 6785942 B2 JP6785942 B2 JP 6785942B2
Authority
JP
Japan
Prior art keywords
endoscope
discrimination
control unit
image
discrimination processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502940A
Other languages
English (en)
Other versions
JPWO2018159461A1 (ja
Inventor
正明 大酒
正明 大酒
拓明 山本
拓明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018159461A1 publication Critical patent/JPWO2018159461A1/ja
Application granted granted Critical
Publication of JP6785942B2 publication Critical patent/JP6785942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡画像を用いて観察対象を撮影した内視鏡画像を用いて、特定の特徴を有する部分を判別する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムを用いた診断が行われている。近年においては、内視鏡画像をモニタ等の表示部に表示するだけでなく、内視鏡画像を用いて、病変等の特定の特徴を有する部分を判別しようとする内視鏡システムが知られている。例えば、特許文献１には、内視鏡画像を用いて特徴量を算出し、その後、算出した特徴量を用いて病変を判別する内視鏡システムが記載されている。
また、診断に重要な血管等を、内視鏡画像を用いて抽出等する内視鏡システムが知られている。例えば、特許文献２には、動き量によって実行頻度を変更しつつ、血管抽出処理をする内視鏡システムが記載されている。
特開２０１２−０４００７５号公報 特開２０１６−１４４５０７号公報
上記のように、内視鏡画像を用いて病変等の特定の特徴を有する部分を判別または認識等することにより、内視鏡画像に加えて、診断に資する情報を提供しようとする内視鏡システムは従来から知られている。
しかし、病変等の特定の特徴を有する部分を判別等する処理は、通常は、非常に高い処理能力を必要とする重い処理である。このため、プロセッサ装置のリソースを大量に消費し続けながら、病変等の特定の特徴を有する部分を判別等する処理を観察中にリアルタイムに実行し続けるのは現実的には難しい。
したがって、病変等の特定の特徴を有する部分を判別等する処理は、ボタン操作等に基づくユーザの求めに応じて、必要な場合に適宜実行するのが現実的である。一方で、元来、内視鏡システムの操作は煩雑であることから、さらに医師等のユーザに操作上の負荷をかけるのは望ましくない。
そこで、本発明は、医師等のユーザが望まないであろうタイミングにおいては処理負荷を抑え、かつ、医師等のユーザが望むであろう適切なタイミングで判別等の処理を自動的に実行して、診断に資する情報を取得し得る内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、画像取得部と、判別処理部と、判別処理制御部と、を備える。画像取得部は、内視鏡を用いて観察対象を撮像した内視鏡画像を取得する。判別処理部は、内視鏡画像を用いて判別処理をすることにより、観察対象における特定の特徴を有する部分を判別する。判別処理制御部は、内視鏡の動作の変化または内視鏡画像に基づいて、判別処理の開始または終了を制御する。
判別処理制御部は、特徴量算出部と、比較部と、を備える。特徴量算出部は、内視鏡画像を用いて特徴量を算出する。比較部は、特徴量と閾値を比較する。この場合、判別処理制御部は、比較部における比較結果に基づいて判別処理を開始または終了することが好ましい。
判別処理制御部は、内視鏡が観察対象を拡大または縮小した場合に、判別処理を開始または終了することが好ましい。
判別処理制御部は、内視鏡が観察対象を撮像する際に使用する照明光が特定の照明光に切り替わった場合に判別処理を開始し、かつ、内視鏡が観察対象を撮像する際に使用する照明光が特定の照明光以外の照明光に切り替わった場合に判別処理を終了することが好ましい。
判別処理制御部は、照明光が波長４５０ｎｍ以下の照明光に切り替わった場合に、判別処理を開始することが好ましい。
判別処理制御部は、内視鏡に挿通したチャネルを物体が通過した場合に判別処理を開始または終了することが好ましい。
判別処理制御部は、チャネルを水が通過した場合に判別処理を開始することが好ましい。
判別処理制御部は、チャネルを色素剤が通過した場合に判別処理を開始することが好ましい。
判別処理制御部は、内視鏡が観察対象を撮像する位置が変化した場合に、または、内視鏡が観察対象を撮像する位置が変化しない場合に、判別処理を開始または終了することが好ましい。
判別処理制御部は、内視鏡画像に写る観察対象の変化に基づいて内視鏡が観察対象を撮像する位置を検知することが好ましい。
判別処理制御部は、位置センサを用いて内視鏡が観察対象を撮像する位置を検知することが好ましい。
判別処理制御部は、内視鏡が観察対象を撮像する位置が変化した場合に判別処理を終了することが好ましい。
判別処理制御部は、内視鏡の動作の変化または内視鏡画像に基づいて判別処理を開始し、かつ、判別処理の開始後、予め設定した一定の時間の経過した後に判別処理を終了することが好ましい。
判別処理制御部は、内視鏡が静止画を撮像した場合に、判別処理を開始または終了することが好ましい。
内視鏡の動作の変化または内視鏡画像に基づいて、前記判別処理の結果である判別結果の報知を開始または終了を制御する報知制御部を備えることが好ましい。
報知制御部は、内視鏡画像を用いて特徴量を算出する特徴量算出部と、特徴量と閾値を比較する比較部と、を備え、報知制御部は、比較部における比較結果に基づいて判別結果の報知を開始または終了することが好ましい。
報知制御部は、内視鏡が観察対象を拡大または縮小した場合に、判別結果の報知を開始または終了することが好ましい。
報知制御部は、内視鏡が観察対象を撮像する際に使用する照明光が特定の照明光に切り替わった場合に判別結果の報知を開始し、かつ、内視鏡が観察対象を撮像する際に使用する照明光が特定の照明光以外の照明光に切り替わった場合に判別結果の報知を終了することが好ましい。
報知制御部は、照明光が波長４５０ｎｍ以下の照明光に切り替わった場合に、判別結果の報知を開始することが好ましい。
報知制御部は、内視鏡に挿通したチャネルを物体が通過した場合に判別結果の報知を開始または終了することが好ましい。
報知制御部は、チャネルを水が通過した場合に判別結果の報知を開始することが好ましい。
報知制御部は、チャネルを色素剤が通過した場合に判別結果の報知を開始することが好ましい。
報知制御部は、内視鏡が観察対象を撮像する位置が変化した場合に、または、内視鏡が観察対象を撮像する位置が変化しない場合に、判別結果の報知を開始または終了することが好ましい。
報知制御部は、内視鏡画像に写る観察対象の変化に基づいて内視鏡が観察対象を撮像する位置を検知することが好ましい。
報知制御部は、位置センサを用いて内視鏡が観察対象を撮像する位置を検知することが好ましい。
報知制御部は、内視鏡が観察対象を撮像する位置が変化した場合に判別結果の報知を終了することが好ましい。
報知制御部は、内視鏡の動作の変化または内視鏡画像に基づいて判別結果の報知を開始し、かつ、判別結果の報知開始後、予め設定した一定の時間の経過した後に判別結果の報知を終了することが好ましい。
報知制御部は、内視鏡が静止画を撮像した場合に、判別結果の報知を開始または終了することが好ましい。
報知制御部は、音声、画像もしくはメッセージのいずれか、または、これらの組み合わせを用いて判別結果を報知することが好ましい。
本発明のプロセッサ装置は、画像取得部と、判別処理部と、判別処理制御部と、を備える。画像取得部は、内視鏡を用いて観察対象を撮像した内視鏡画像を取得する。判別処理部は、内視鏡画像を用いて判別処理をすることにより、観察対象における特定の特徴を有する部分を判別する。判別処理制御部は、内視鏡の動作の変化または内視鏡画像に基づいて、判別処理の開始または終了を制御する。
本発明の内視鏡システムの作動方法は、画像取得部が、内視鏡を用いて観察対象を撮像した内視鏡画像を取得するステップと、判別処理部が、内視鏡画像を用いて判別処理をすることにより、観察対象における特定の特徴を有する部分を判別するステップと、を備える内視鏡システムの作動方法である。本発明の内視鏡システムの作動方法は、判別処理制御部が、内視鏡の動作の変化または内視鏡画像に基づいて、判別処理の開始または終了を制御するステップを備える。
本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法によれば、医師等のユーザが望まないであろうタイミングにおいては処理負荷を抑え、かつ、医師等のユーザが望むであろう適切なタイミングで判別等の処理を自動的に実行して、診断に資する情報を取得し得る。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 画像処理部のブロック図である。 判別処理の開始及び終了の流れを示すフローチャートである。 判別処理をした場合の表示例である。 判別処理をしない場合の表示例である。 第２実施形態における画像処理部のブロック図である。 第２実施形態における判別処理の開始及び終了の流れを示すフローチャートである。 第３実施形態における画像処理部のブロック図である。 第３実施形態における画像処理部のブロック図である。 第４実施形態における画像処理部等のブロック図である。 第４実施形態における判別処理の開始及び終了の流れを示すフローチャートである。 変形例の説明図である。 第５実施形態における画像処理部のブロック図である。 第５実施形態における判別処理の開始及び終了の流れを示すフローチャートである。 変形例の説明図である。 第６実施形態における画像処理部のブロック図である。 第６実施形態における判別処理の開始及び終了の流れを示すフローチャートである。 第７実施形態における画像処理部のブロック図である。 第７実施形態におけるモニタの表示例である。 カプセル内視鏡の模式図である。
［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、観察対象を撮像する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８はプロセッサ装置１６で生成する表示用の画像（以下、内視鏡画像という。例えば図５の内視鏡画像１０１または図６の内視鏡画像１０２を参照。）を表示する表示部である。コンソール１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。
内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲することにより、先端部１２ｄが所望の方向に向く。なお、先端部１２ｄには、観察対象に向けて鉗子等の処置具を突出する鉗子口（図示しない）、または、観察対象に向けて空気や水等を噴射する噴射口（図示しない）等が設けられている。
また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３ａ及びモード切替スイッチ１３ｂ等が設けられている。ズーム操作部１３ａを操作することによって、観察対象を拡大または縮小して撮像することができる。モード切替スイッチ１３ｂの操作によって、観察モードを切り替えることができる。内視鏡システム１０は、例えば、照明光に白色光を用いて観察対象を自然な色合いで観察する通常観察モード、及び、粘膜表層にある血管等を強調する特殊観察モード等の複数の観察モードを有する。モード切替スイッチ１３ｂを操作することにより、任意のタイミングでこれら複数の観察モードを適宜変更することができる。
図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の駆動を制御する光源制御部２２と、を備える。
光源部２０は、例えば、中心波長または波長帯域が異なる（以下、単に「波長が異なる」という）光を発光する複数のＬＥＤ(Light Emitting Diode)を光源として備えており、各ＬＥＤの発光または点灯、及び、光量の調節等により、波長が異なる複数種類の照明光を発光することができる。例えば、光源部２０は、波長帯域が比較的広い広帯域な紫色光、青色光、緑色光、及び赤色光を、それぞれ照明光として発光できる。さらに、光源部２０は、広帯域な紫色光、青色光、緑色光、及び赤色光の他に、狭帯域（波長帯域が１０ｎｍから２０ｎｍ程度の範囲であることをいう）な紫色光、青色光、緑色光、及び赤色光を照明光として発光できる。
なお、光源部２０には、ＬＥＤの代わりに、ＬＤ(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。もちろん、光源部２０をＬＥＤで構成する場合も、蛍光体または帯域制限フィルタを組み合わせて使用することができる。
光源制御部２２は、光源部２０を構成する各光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部２０は、波長が異なる複数種類の照明光を発光することができる。また、光源制御部２２は、イメージセンサ４８の撮像のタイミング（いわゆるフレーム）に合わせて光源部２０を制御する。
光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用できる。
内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が観察対象に向けて出射する。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。ズームレンズ４７は、ズーム操作部１３ａを操作をすることで移動し、イメージセンサ４８を用いて撮影する観察対象を拡大または縮小する。
イメージセンサ４８は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ４８を用いて観察対象を撮影すると、最大で、Ｂ画素から得るＢ画像（青色画像）、Ｇ画素から得るＧ画像（緑色画像）、及び、Ｒ画素から得るＲ画像（赤色画像）の３種類の画像を同時に得ることができる。
なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用できる。この場合、ＢＧＲ等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。
プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、を有する。
制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。例えば、制御部５２は、照明光の照射タイミングと撮像のタイミングの同期制御等を行う。また、ズーム操作部１３ａを操作した場合、制御部５２は、ズーム操作部１３ａから操作信号を受けて、画像処理部６１に観察対象の撮像サイズ（すなわち観察対象の拡大または縮小、及びその程度）を表す制御信号（以下、撮像サイズ信号という）を画像処理部６１に入力する場合がある。画像処理部６１では、撮像サイズ信号に基づき、観察対象の撮像サイズに応じて、所定の処理を行うか否か、または、所定の処理の強度等を調節する場合がある。
また、モード切替スイッチ１３ｂを操作した場合、制御部５２は、モード切替スイッチ１３ｂから操作信号を受け、観察モードを指定する制御信号（以下、観察モード指定信号という）を、光源制御部２２と画像処理部６１に入力する。制御部５２が、光源制御部２２及び画像処理部６１に入力する観察モード指定信号は、使用する照明光の種類及び発光順序等を指定する。光源制御部２２は、観察モード指定信号にしたがって、光源部２０を用いて、観察モード指定信号にしたがって、照明光を発光する。画像処理部６１では、観察モード指定信号に基づき、観察モードに応じて、所定の処理を行うか否か、または、所定の処理の強度等を調節する場合がある。
画像取得部５４は、イメージセンサ４８から観察対象の画像を取得する。画像取得部５４が、イメージセンサ４８から取得する観察対象の画像は、内視鏡画像である。なお、イメージセンサ４８から取得した観察対象の画像を用いて、表示用に生成する画像も内視鏡画像である。以下、区別が必要な場合は、イメージセンサ４８から取得する観察対象の画像を「撮像した内視鏡画像」または単に「画像」といい、表示用に生成した画像は「表示用の内視鏡画像」または単に「内視鏡画像」という。本実施形態においては、イメージセンサ４８はカラーフィルタを有するので、画像取得部５４は、照明光ごとに、かつ、カラーフィルタごとに画像（撮像した内視鏡画像）を取得する。
画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。
ＤＳＰ５６は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して（イメージセンサ４８において他の色の画素を配置しているため）、画素値がない画素である。例えば、Ｂ画像はＢ画素において観察対象を撮影して得る画像なので、Ｇ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。
ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。
画像処理部６１は、画像取得部５４が取得した画像を用いて、モニタ１８に表示する内視鏡画像を生成する。また、画像処理部６１は、必要に応じ、内視鏡画像を用いて、観察対象の特定の特徴を有する部分を判別する判別処理を施す。これらのために、図３に示すように、画像処理部６１は、画像生成部８１、判別処理部８２、及び、判別処理制御部８３を備える。
画像生成部８１は、画像取得部５４が取得した画像を用いて、観察モードに応じた内視鏡画像を生成する。観察モードが通常観察モードである場合、画像生成部８１は、自然な色合いで観察対象を観察可能な内視鏡画像を生成する。また、観察モードが特殊観察モードである場合、通常観察モードとは異なる画像の組み合わせを使用し、または、使用する画像通常観察モードとは異なる色チャンネルへの割当て方等をするなどして、特殊観察モードの目的に応じた内視鏡画像を生成する。例えば、粘膜表層にある血管等を強調した内視鏡画像を生成する。
なお、画像処理部６１は、観察モードに応じた内視鏡画像を生成する際に、必要に応じて、画像取得部５４が取得した画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施す。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（ルックアップテーブル）処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管またはピットパターン等の観察対象の組織や構造を強調する処理である。
判別処理部８２は、画像生成部８１が生成した内視鏡画像を用いて、判別処理をすることにより、観察対象における特定の特徴を有する部分（以下、特定部分という）を判別する。「特定部分」とは、組織もしくは構造の有無、形状（太さ、長さ、他組織等との境界であるエッジの状態、組織等の乱れ、または、線状の組織等の蛇行度等）、量（面積または密度等）、分布、もしくは色、または、組織もしくは構造の状態（例えば、粘膜下の深さ、または、血管に含まれるヘモグロビンの酸素飽和度等の内部的なパラメータの状況）に基づいて、他の部分（例えば正常な粘膜）と区別し得る部分である。特定部分を定める「特定の特徴」とは、上記の通り、内視鏡画像を見て分かる特徴、または、内視鏡画像もしくは内視鏡画像を生成するために使用する画像を用いた演算により得られる情報である。以下、特定部分を定める特定の特徴に関する数量等の情報を「特徴量」という。
「判別」とは、特定部分等の特徴に基づいてさらに診断に資する情報を得ることをいい、「判別処理」とは判別処理部８２が判別のために行う処理をいう。例えば、特定部分の特徴を表す特徴量に基づいて、特定部分が病変であるか否かを認識する認識処理は判別処理である。また、特定部分の特徴を表す特徴量に基づいて、特定部分が病変である可能性を示す指標等、病変である可能性を示唆する情報を算出する処理も判別処理に含む。さらに、特定部分が病変である場合に、病変の種別もしくは分類、良性もしくは悪性の認識、または、病変の進行度もしくは浸潤度の認識等をする処理も判別処理である。
判別処理部８２は、上記判別処理を、例えば、予め特定のタスク（より具体的には特定のクラシフィケーション）で学習してあるＣＮＮ（Convolution Neural Network）７１（図２参照）、ニューラルネットワーク（Neural Network）、ＳＶＭ（Support Vector Macine）、または、アダブースト(Adaboost(Adaptive Boosting))などを用いて行う。判別処理の結果（以下、判別結果という）は、例えば「特定部分が病変であるか否か」（特定部分が病変であるか否かを判別し得る情報である場合を含む）である。したがって、特定部分が病変である場合には、病変の種別もしくは分類、良性もしくは悪性の認識、病変の進行度をもしくは浸潤度等が、判別結果である。また、特定部分が病変であるか否かの判別の確からしさ、または、上記病変の分類等の確からしさを表すスコアを判別結果とすることができる。本実施形態においては、判別処理部８２は、特定部分が病変であるか否かを判別し、当該判別の確からしさを表すスコアを判別結果とする。スコアは、例えば、０．０から１．０の数値である。また、判別処理部８２は、判別処理を行った場合、判別処理に使用した内視鏡画像の情報を保存部７２（図２参照）に保存する。判別処理に使用した内視鏡画像の情報とは、内視鏡画像そのものの他、フレーム番号、または、判別結果であるスコア等である。判別処理部８２は、内視鏡画像、フレーム番号、及び、判別結果であるスコア等を、互いに関連付けて保存部７２に保存する。保存部７２は、例えば、メモリまたはハードディスク等のストレージである。
なお、判別処理部８２は、判別処理に、画像生成部８１が生成した内視鏡画像（表示用の内視鏡画像）を使用しているが、この表示用の内視鏡画像は、撮像した内視鏡画像を使用して生成している。したがって、判別処理部８２は、結果として内視鏡を用いて観察対象を撮像した内視鏡画像を用いて判別処理をしている。また、判別処理部８２は、表示用の内視鏡画像の代わりに、直接的に、撮像した内視鏡画像を使用して判別処理をすることができる。
判別処理制御部８３は、内視鏡１２の動作の変化または内視鏡画像に基づいて、判別処理部８２における判別処理の開始または終了を制御する。「内視鏡１２の動作の変化」とは、内視鏡１２の動作態様の遷移または切り替わりであって、通常は判別処理とは直接的な関わりのない動作態様の遷移または切り替わりをいう。例えば、観察対象の拡大または縮小、または、観察モードの切り替えに起因した照明光の切り替わり等は、内視鏡１２の動作の変化である。「内視鏡画像に基づいて」とは、内視鏡画像に写る観察対象の特徴の変化に基づくこと、例えば、特徴量の変化に基づくことをいう。
なお、「判別処理の開始」とは、ある任意のフレームの内視鏡画像に対して判別処理をしなかった場合に、それに続く少なくとも１以上のフレームの内視鏡画像に対して判別処理をすることをいう。すなわち、「判別処理の開始」には、判別処理を行わないフレームが続くなかで、１フレーム分の内視鏡画像に対してだけ判別処理をする場合も含む。また、「判別処理の終了」とは、ある任意のフレームの内視鏡画像に対して判別処理をした場合に、それに続く１以上のフレームの内視鏡画像に対して判別処理をしないことをいう。すなわち、「判別処理の終了」には、判別処理を行うフレームが続くなかで、１フレーム分の内視鏡画像に対してだけ判別処理をしない場合を含む。
本実施形態においては、判別処理制御部８３は、内視鏡画像に基づいて判別処理部８２における判別処理の開始及び終了を制御する。そのために、判別処理制御部８３は、特徴量算出部８６と、比較部８７と、を備える。
特徴量算出部８６は、画像生成部８１から内視鏡画像を取得する。そして、特徴量算出部８６は、取得した内視鏡画像を用いて、内視鏡画像に写る観察対象の特徴量を算出する。特徴量の算出は、画像生成部８１が生成する一部（例えば数フレームおき等）または全ての内視鏡画像について行う。また、特徴量算出部８６は、内視鏡画像の全体または一部について特徴量を算出する。
比較部８７は、特徴量算出部８６が算出した特徴量を、予め設定した正常な観察対象を撮像した内視鏡画像の特徴量と比較する。比較部８７が行う比較の結果（以下、比較結果という）は、特徴量算出部８６が算出した特徴量の値または値の分布が正常の範囲内であるか否かを示すものであって、かつ、順次取得する内視鏡画像に写る観察対象の特徴の変化を表す。本実施形態においては、比較部８７は、予め設定した正常な観察対象を撮像した内視鏡画像の特徴量を閾値とし、特徴量算出部８６が算出した特徴量を閾値と比較する。特徴量と閾値の比較は、特徴量算出部８６が特徴量を算出するごとに順次行う。特徴量が閾値以上になる場合とは、例えば発赤等が内視鏡画像に写った場合等であって、基本的に判別処理をすることが望まれる場合である。逆に、特徴量が閾値未満になる場合とは、例えば発赤等がなく、観察対象が正常であって、基本的に判別処理をする必要がない場合である。
判別処理制御部８３は、比較部８７の比較結果に基づいて判別処理を開始または終了する。これにより、結果的に、判別処理制御部８３は、内視鏡画像に基づいて、判別処理部８２における判別処理の開始または終了を制御する。より具体的には、本実施形態においては、特徴量が閾値以上になった場合に判別処理を開始し、かつ、特徴量が閾値未満になった場合に判別処理を終了する。この結果、判別処理部８２は、特徴量が閾値以上の場合に自動的に判別処理を実行し、かつ、特徴量が閾値未満になれば自動的に判別処理を終了する。
表示制御部６６は、画像処理部６１から内視鏡画像を取得し、取得した内視鏡画像を表示に適した形式に変換してモニタ１８に順次出力表示する。これにより、医師等は、内視鏡画像を用いて観察対象を観察できる。また、判別処理部８２が判別処理を行った場合、表示制御部６６は、内視鏡画像に加えて、判別処理部８２から判別結果であるスコアを取得する。そして、内視鏡画像とともに判別結果であるスコアをモニタ１８に表示する。
次に、内視鏡システム１０における判別処理の開始及び終了の流れを、図４に示すフローチャートに沿って説明する。まず、観察モードを選択し、観察対象を撮像する（Ｓ１１）。これにより、画像取得部は、イメージセンサ４８から、撮像した内視鏡画像を取得し、画像生成部８１は、撮像した内視鏡画像を用いて表示用の内視鏡画像を生成する。
内視鏡画像を取得すると、判別処理制御部８３は、特徴量算出部８６において特徴量を算出し（Ｓ１２）、その後、比較部８７において特徴量と閾値を比較する（Ｓ１３）。比較部８７における比較の結果、特徴量が閾値以上であった場合（Ｓ１３：ＹＥＳ）、判別処理制御部８３は判別処理部８２における判別処理を実行する（Ｓ１４）。通常、撮像レートは内視鏡画像の変化よりも十分に速いので、特徴量がひとたび閾値以上になると、その後しばらくは特徴量が閾値以上となる。このため、実質的に、特徴量が閾値以上になったことで、判別処理が開始する。判別処理が開始すると、図５に示すように、表示制御部６６は、判別処理に使用した内視鏡画像１０１と、判別結果であるスコア９９と、をモニタ１８に逐次表示する。
一方、比較部８７における比較の結果、特徴量が閾値未満であった場合（Ｓ１３：ＮＯ）、判別処理制御部８３は、判別処理部８２における判別処理をスキップする。通常、撮像レートは内視鏡画像の変化よりも十分に速いので、特徴量がひとたび閾値未満になれば、その後しばらくは特徴量が閾値未満となる。このため、実質的に、特徴量が閾値未満になったことで、判別処理が終了する。判別処理が終了すると、図６に示すように、表示制御部６６は、判別処理を行わなかった内視鏡画像１０２をモニタ１８に逐次表示する。
そして、上記の判別処理の開始及び終了は、観察終了（Ｓ１５）まで繰り返し行う。このため、順次生成する内視鏡画像の特徴量を順次算出し、算出した特徴量を閾値を順次比較するなかで、特徴量が閾値未満である状態から特徴量が閾値以上になると、ボタン操作等を行わなくても自動的に判別処理を開始して、判別結果であるスコアを医師等に提供して診断を支援することができる。また、ひとたび判別処理を開始した状態から、特徴量が閾値未満になって、判別処理の必要性が薄れると、ボタン操作等を行わなくても自動的に判別処理を終了して、プロセッサ装置１６の処理負荷（メモリ等のリソースの消費）を抑えることができる。
［第２実施形態］
上記第１実施形態においては、判別処理制御部８３は、特徴量の変化（内視鏡画像の変化）に基づいて判別処理を開始及び終了しているが、その代わりに、内視鏡１２が観察対象を拡大または縮小した場合に判別処理を開始または終了できる。
この場合、図７に示すように、画像処理部６１には、第１実施形態の判別処理制御部８３の代わりに、判別処理制御部２８３を設ける。判別処理制御部２８３は、制御部５２を介し、ズーム操作部１３ａの操作状況に関する情報を取得する。具体的には、判別処理制御部２８３は、観察対象の撮像サイズを表す撮像サイズ信号を取得する。そして、撮像サイズ信号から知得した観察対象の拡大もしくは縮小の有無、または、その程度に基づいて、判別処理を開始または終了する。
例えば、図８に示すように、観察対象を撮像し（Ｓ２１１）、内視鏡画像を取得する際に、判別処理制御部２８３は、撮像サイズ信号に基づいて、観察対象を拡大観察しているか否かを検知する（Ｓ２１２）。そして、拡大観察をしている場合（Ｓ２１２：ＹＥＳ）、判別処理制御部８３は、判別処理部８２における判別処理を実行する（Ｓ２１３）。直前のフレームにおいて判別処理を実行していない場合には、これが実質的に判別処理の開始となる。一方、拡大観察をしていない場合（Ｓ２１２：ＮＯ）、判別処理制御部２８３は、判別処理部８２における判別処理をスキップする。直前のフレームにおいて判別処理を実行していた場合には、これが実質的に判別処理の終了となる。
上記動作を観察終了（Ｓ２１４）まで繰り返すことにより、拡大観察を行っている間は自動的に判別処理を行い、かつ、拡大観察を終了すると、連動して自動的に判別処理も終了する。これは、医師等が観察対象を拡大観察するのが、拡大した部分が病変であるか病変である可能性がある場合だからである。したがって、上記のように拡大の有無に基づいて判別処理を開始及び終了すれば、医師等が判別処理を望むであろう適切なタイミングで判別処理を行って、判別結果であるスコア９９を提供できる。そして、不必要なタイミングにおいては、無駄に判別処理を行わないことで、プロセッサ装置１６の処理負荷を抑えることができる。
上記第２実施形態においては、判別処理制御部２８３は、観察対象を拡大した場合に判別処理を開始しているが、これとは逆に、観察対象を縮小した場合に判別処理を開始することができる。観察対象を縮小し、いわゆる「引き」で観察対象を撮像するのは、例えば、病変または病変の可能性がある部分の有無を確認する場合である。この場合に判別処理を行って、判別結果であるスコアを表示すれば、観察範囲内に病変または病変の可能性がある部分があるか否か等を容易に確認できる。
上記第２実施形態及び上記変形例においては、観察対象を拡大または縮小した場合に判別処理を開始しているが、特定の拡大率以上に拡大した場合、または、特定の縮小率以下に縮小した場合、または、拡大率（縮小率）が特定範囲内である場合等、観察対象の拡大または縮小の程度に基づいて判別処理を開始または終了することができる。
上記第２実施形態及び上記変形例においては、判別処理制御部２８３は、ズーム操作部１３ａの操作状況を示す撮像サイズ信号に基づいて判別処理を開始または終了しているが、判別処理制御部２８３は、撮像サイズ信号の代わりに、内視鏡画像を用いて、観察対象の拡大もしくは縮小、またはその程度を検知し、その検知結果に基づいて判別処理を開始または終了することができる。この場合、判別処理制御部２８３は、画像取得部５４または画像生成部８１から内視鏡画像を取得し、かつ、少なくとも過去の１フレーム分以上の内視鏡画像を保持する。そして、新たに内視鏡画像を取得した場合に、新たに取得した内視鏡画像と、保持している過去の内視鏡画像と、を比較して、観察対象の拡大もしくは縮小、またはその程度を検知する。この場合、判別処理制御部２８３は、観察対象の拡大もしくは縮小、またはその程度を検出する拡大縮小検出部としても機能している。
［第３実施形態］
内視鏡システム１０は、上記第１実施形態及び第２実施形態とは異なる「内視鏡１２の動作の変化または内視鏡画像」に基づいて、判別処理を開始または終了することができる。例えば、観察モードの切り替え、すなわち、内視鏡１２が観察対象を撮像する際に使用する照明光が切り替わった場合に判別処理を開始または終了することができる。
この場合、図９に示すように、画像処理部６１には、第１実施形態の判別処理制御部８３または第２実施形態の判別処理制御部２８３の代わりに、判別処理制御部３８３を設ける。判別処理制御部３８３は、制御部５２を介し、モード切替スイッチ１３ｂの操作状況に関する情報を取得する。具体的には、判別処理制御部３８３は、観察モードを指定する観察モード指定信号を取得する。そして、観察モード指定信号が指定する観察モードの種類から、照明光の切り替えを検知して判別処理を開始または終了する。
例えば、図１０に示すように、観察対象を撮像し（Ｓ３１１）、内視鏡画像を取得する際に、判別処理制御部３８３は、観察モード指定信号の入力の有無、及び、観察モード指定信号が指定する観察モードの種類に基づいて、照明光に特定の照明光を使用してるか否かを検知する（Ｓ３１２）。特定の照明光とは、医師等が判別処理の実行を望む場合が多い観察モードの照明光である。照明光が特定の照明光に切り替わった場合（Ｓ３１２：ＹＥＳ）、判別処理制御部３８３は、判別処理部８２における判別処理を実行する（Ｓ３１３）。直前のフレームにおいて判別処理を実行していない場合には、これが実質的に判別処理の開始となる。一方、照明光が特定の照明光以外の照明光に切り替わった場合には（Ｓ３１２：ＮＯ）、判別処理制御部３８３は、判別処理部８２における判別をスキップする。直前のフレームにおいて判別処理を実行していた場合には、これが実質的に判別処理の終了となる。
上記動作を観察終了（Ｓ３１４）まで繰り返すことにより、観察モードが特定の照明光を使用する観察モードである間は自動的に判別処理を行い、かつ、特定の照明光を使用しない他の観察モードに観察モードを変更すると、連動して自動的に判別処理も終了する。このように、医師等が判別処理の併用を望む場合が多い「特定の照明光を使用する観察モード」への切り替えがあった場合に判別処理を開始し、他の照明光を使用する観察モードへの切り替えがあった場合に判別処理を終了すれば、医師等が判別処理を望むであろう適切なタイミングで判別処理を行って、判別結果であるスコア９９を提供できる。そして、不必要なタイミングにおいては、無駄に判別処理を行わないことで、プロセッサ装置１６の処理負荷を抑えることができる。
上記第３実施形態においては、判別処理制御部３８３は、観察モード指定信号に基づいて判別処理を開始または終了しているが、判別処理制御部３８３は、観察モード指定信号の代わりに、内視鏡画像を用いて、照明光及び観察モードの切り替えを検知することができる。この場合、判別処理制御部３８３は、画像取得部５４または画像生成部８１から内視鏡画像を取得する。そして、取得した内視鏡画像の特徴（配色等）に基づいて照明光及び観察モードの切り替えを検知する。
なお、特定の照明光とは、例えば、波長４５０ｎｍ以下の照明光である。すなわち、照明光が波長４５０ｎｍ以下の照明光に切り替わった場合に、判別処理を開始することが好ましい。波長４５０ｎｍ以下の照明光を使用すると、粘膜表層の血管またはピットパターン等の微細構造が観察しやすくなるので、波長４５０ｎｍ以下の照明光を使用する場合は、医師等が診断等のために詳細な観察及び判別結果を望む場合が多い。「波長４５０ｎｍ以下の照明光を使用する」とは、波長４５０ｎｍ以下の照明光を実質的に単独で使用し、波長４５０ｎｍ以下の照明光の反射光等のみで観察対象を撮像することをいう。
［第４実施形態］
内視鏡システム１０は、上記第１実施形態、第２実施形態、及び第３実施形態とは異なる「内視鏡１２の動作の変化または内視鏡画像」に基づいて判別処理を開始または終了することができる。例えば、内視鏡１２内に挿通したチャネルを物体が通過した場合に判別処理を開始することができる。内視鏡１２内に挿通したチャネルとは、例えば、鉗子等の処置具を挿通して、先端部１２ｄから観察対象に向けて突出するための鉗子チャネル４０１、及び、水または空気等を挿通して、先端部１２ｄから観察対象に向けて水または空気等を噴出するための送気送水チャネル４０２である（図１１参照）。
内視鏡１２内に挿通したチャネルを物体が通過した場合に判別処理を開始または終了する場合、図１１に示すように、例えば、鉗子チャネル４０１の途中（例えば先端部１２ｄ付近）に、鉗子等の処置具の通過を検出する通過センサ４０３を設ける。また、画像処理部６１には、第１実施形態の判別処理制御部８３等の代わりに、判別処理制御部４８３を設ける。判別処理制御部４８３は、制御部５２を介し、通過センサ４０３から、処置具の検出信号を取得する。そして、鉗子チャネル４０１を処置具の先端等が通過したことを検知した場合に判別処理を開始または終了する。
具体的には、図１２に示すように、観察対象を撮像し（Ｓ４１１）、内視鏡画像を取得する際に、判別処理制御部４８３は、通過センサ４０３から検出信号を取得し、取得した検出信号に基づいて、鉗子チャネル４０１を処置具が通過したか否かを検知する（Ｓ４１２）。そして、鉗子チャネル４０１に処置具が通過していない場合（Ｓ４１２：ＮＯ）、判別処理はスキップする。また、鉗子チャネル４０１に処置具が挿通していない状態から、鉗子チャネル４０１を処置具が通過を検知し（Ｓ４１２：ＹＥＳ）、かつ、先端部１２ｄから観察対象に向けて処置具が突出した場合に（Ｓ４１３：ＹＥＳ）、判別処理制御部４８３は、判別処理部８２における判別処理を実行する（Ｓ４１４）。直前のフレームにおいて判別処理を実行していない場合には、これが実質的に判別処理の開始となる。一方、鉗子チャネル４０１を処置具が通過した場合でも（Ｓ４１２：ＹＥＳ）、一旦処置具の通過を検知した後、処置具の通過を再度検知するケースは処置具を退避させた場合なので（Ｓ４１３：ＮＯ）、判別処理制御部４８３は、判別処理部８２における判別処理をスキップする。直前のフレームにおいて判別処理を実行していた場合には、これが実質的に判別処理の終了となる。
上記動作を観察終了（Ｓ４１５）まで繰り返すことにより、処置具が先端部１２ｄから突出している場合に限って自動的に判別処理を行い、かつ、処置具を退避した場合には、自動的に判別処理を終了する。また、そもそも処置具を使用していない場合には、判別処理を行わない。処置具を使用するのは病変等が存在し、その処置が必要な場合であるから、判別処理を行うことが望ましい場合が多い。このため、上記のように処置具の使用時に判別処理を行うようにすれば、医師等が判別処理を望むであろう適切なタイミングで判別処理を行って、自動的に判別結果であるスコア９９を提供できる。また、不必要なタイミングにおいては、無駄に判別処理を行わないことで、プロセッサ装置１６の処理負荷を抑えることができる。
上記第３実施形態においては、鉗子チャネル４０１に通過センサ４０３を設け、処置具の通過を検出しているが、その代わりに、送気送水チャネル４０２における水等の通過を検知してもよい。この場合、図１３に示すように、送気送水チャネル４０２の途中（例えば先端部１２ｄ付近）に、水等の通過を検出する通過センサ４０４を設ける。そして、判別処理制御部４８３は、送気送水チャネル４０２を水等が通過した場合に判別処理を開始する。水等を噴出するのは、例えば、水等を当てた部分あるはその周辺部分をより詳細に観察する場合であるから、同時に、判別処理を行うことが望ましい場合がある。このため、上記のように、水等の噴出を検知し、水等の噴出を検知した場合に判別処理を行うようにすれば、医師等が判別処理を望むであろう適切なタイミングで判別処理を行って、自動的に判別結果であるスコア９９を提供できる。また、不必要なタイミングにおいては、無駄に判別処理を行わないことで、プロセッサ装置１６の処理負荷を抑えることができる。
なお、送気送水チャネル４０２において通過センサ４０４が検出する物体は、水、または、観察対象の構造等を色付けする色素剤であることが好ましい。色素剤は観察対象の構造等を観察しやすくするために使用するので、色素剤の散布時も医師等が判別処理を望むタイミングだからである。
また、上記のように、送気送水チャネル４０２を水または色素剤等が通過した場合に判別処理を開始する場合、判別処理の開始後、予め定めた一定の時間が経過した後に判別処理を終了することが好ましい。水または色素剤が送気送水チャネル４０２を通過する時間はごく僅かであり、かつ、水または色素剤等を先端部１２ｄから噴出した後の暫くの間が、水または色素剤等を噴出した効果を得て観察対象を観察するための時間だからである。
上記第４実施形態及び変形例においては、通過センサ４０３または通過センサ４０４を用いているが、判別処理制御部４８３は、通過センサ４０３または通過センサ４０４を使用する代わりに、内視鏡画像を用いて水または色素剤等を検知することができる。この場合、判別処理制御部４８３は、画像取得部５４または画像生成部８１から内視鏡画像を取得する。そして、取得した内視鏡画像の特徴の変化（残渣等の消失、色素剤による観察対象の色の変化等）に基づいて水または色素剤等の噴出を検知する。
［第５実施形態］
内視鏡システム１０は、上記第１実施形態、第２実施形態、第３実施形態、及び第４実施形態とは異なる「内視鏡１２の動作の変化または内視鏡画像」に基づいて、判別処理を開始または終了することができる。例えば、内視鏡１２が観察対象を撮像する位置が変化した場合に、または、内視鏡１２が観察対象を撮像する位置が変化しない場合に、判別処理を開始または終了することができる。ここでいう撮像する位置の変化には、挿入部１２ａの挿抜による撮像する位置の変化の他に、観察対象に対する先端部１２ｄの向きの変化に起因した撮像する位置の変化を含む。
上記のように、内視鏡１２が観察対象を撮像する位置が変化した場合に、または、内視鏡１２が観察対象を撮像する位置が変化しない場合に、判別処理を開始または終了する場合、図１４に示すように、画像処理部６１には、第１実施形態の判別処理制御部８３等の代わりに、判別処理制御部５８３を設ける。判別処理制御部５８３は、位置検出部５８６を備える。位置検出部５８６は、内視鏡画像を用いて、内視鏡１２が観察対象を撮像する位置（以下、撮像位置という）の変化または不変化を検出する。例えば、位置検出部５８６は、画像取得部５４または画像生成部８１から内視鏡画像を取得し、かつ、少なくとも過去の１フレーム分以上の内視鏡画像を保持する。そして、新たに内視鏡画像を取得した場合に、新たに取得した内視鏡画像と、保持している過去の内視鏡画像と、を比較することにより、内視鏡画像に写る観察対象の変化に基づいて撮像位置の変化を検出する。
判別処理制御部５８３は、位置検出部５８６の検出結果を用いることで、結果的に、内視鏡画像に写る観察対象の変化に基づいて撮像位置の変化を検知する。そして、判別処理制御部５８３は、検知した撮像位置の変化または不変化に基づいて判別処理部８２における判別処理の開始及び終了を制御する。本実施形態においては、判別処理制御部５８３は、撮像位置が変化した場合に判別処理を開始し、かつ、撮像位置が変化しない場合に判別処理を終了する。
具体的には、図１５に示すように、観察対象を撮像して（Ｓ５１１）、判別処理制御部５８３及び位置検出部５８６が内視鏡画像を取得すると、位置検出部５８６は、保持している過去の内視鏡画像と、新たに取得した内視鏡画像と、を比較し、撮像位置の変化を検出する。撮像位置が変化していない場合あるいは撮像位置の変化が停止した場合（Ｓ５１２：ＮＯ）、判別処理制御部５８３は、判別処理部８２における判別処理を実行する（Ｓ５１３）。直前のフレームにおいて判別処理を実行していない場合には、これが実質的に判別処理の開始となる。一方、撮像位置の変化があった場合（Ｓ５１２：ＹＥＳ）、判別処理制御部５８３は、判別処理部８２における判別処理をスキップする。直前のフレームにおいて判別処理を実行していた場合には、これが実質的に判別処理の終了となる。
上記動作を観察終了（Ｓ５１４）まで繰り返すことにより、撮像位置の変化がない場合には自動的に判別処理を行い、かつ、撮像位置が変化した場合には、連動して自動的に判別処理も終了する。このように、撮像位置の変化がない場合に判別処理を行うのは、撮像位置の変化がない場合が、その撮像位置にある観察対象が病変か否か等を詳細に観察する必要がある場合であって、同時に判別処理を行うことが望ましいからである。したがって、上記のように撮像位置の変化に基づいて判別処理を開始及び終了すれば、医師等が判別処理を望むであろう適切なタイミングで判別処理を行って、判別結果であるスコア９９を提供できる。そして、不必要なタイミングにおいては、無駄に判別処理を行わないことで、プロセッサ装置１６の処理負荷を抑えることができる。
上記第５実施形態においては、撮像位置の変化がない場合に判別処理を行うが、逆に、撮像位置の変化があった場合に、判別処理を開始し、かつ、撮像位置の変化がなくなった場合に判別処理を終了しても良い。こうすれば、判別処理の具体的内容が、主として病変等の有無の探索（いわゆるスクリーニング）に役立つものである場合、撮像位置の変化が大きいスクリーニング時に判別処理をすることでスクリーニングを支援することができる。もちろん、詳細観察に適した判別処理と、スクリーニング時に適した判別処理と、を両方とも行う場合には、撮像位置の変化がない場合に詳細観察に適した判別処理を行い、かつ、撮像位置の変化がある場合にスクリーニング時に適した判別処理をす行うことができる。
なお、「撮像位置の変化がない（撮像位置の不変化）」とは、スクリーニング時等と比較して撮像位置の変化が小さく、概ね撮像位置の変化がないことをいう。「撮像位置の変化がある」とは、詳細観察時と比較して、撮像位置の変化が大きく、概ね撮像位置が静止していないことをいう。
上記第５実施形態及び変形例においては、判別処理制御部５８３は、内視鏡画像を用いて撮像位置を検出しているが、内視鏡画像を用いる代わりに、図１６に示すように、位置センサ５９１（図１６参照）を用いて撮像位置を検知することができる。位置センサ５９１は、例えば、内視鏡１２の先端部１２ｄに設け、先端部１２ｄの診察台（図示しない）等との相対的な位置を検出する。そして、判別処理制御部５８３は、位置センサ５９１が検出する先端部１２ｄの位置の変化（または不変化）に基づいて、撮像位置の変化（または不変化）を検知する。位置センサ５９１は、被検体内への挿入部１２ａの挿入長を検出するセンサであってもよい。
［第６実施形態］
内視鏡システム１０は、上記第１実施形態、第２実施形態、第３実施形態、第４実施形態、及び第５実施形態とは異なる「内視鏡１２の動作の変化または内視鏡画像」に基づいて、判別処理を開始または終了することができる。例えば、内視鏡１２が観察対象の静止画を撮像した場合（すなわち内視鏡１２の動作の変化があった場合）に、判別処理を開始または終了することができる。
図１７に示すように、内視鏡１２が観察対象の静止画を撮像する場合、内視鏡１２に静止画の撮像指示を入力する静止画撮像指示部６０１を設ける。静止画撮像指示部６０１は、例えば操作部１２ａに設けたいわゆるフリーズボタンまたはレリーズボタン等である。その他、フットスイッチ（図示しない）等を静止画撮像指示部６０１にすることができる。静止画撮像指示部６０１は、制御部５２に静止画の撮像指示を入力する。その結果、制御部５２は、内視鏡１２を用いて静止画撮像用の条件で観察対象を撮像し、画像処理部６１を用いて少なくとも１枚の観察対象の静止画を生成する。
また、画像処理部６１には、上記各実施形態における判別処理制御部８３等の代わりに、判別処理制御部６８３を設ける。判別処理制御部６８３は、制御部５２を介して、静止画撮像指示部６０１から静止画の撮像指示を取得する。その結果、判別処理制御部６８３は、内視鏡１２が静止画を撮像したことを検出する。判別処理制御部６８３は、内視鏡１２が静止画を撮像した場合に判別処理を開始する。
具体的には、図１８に示すように、動画用に観察対象を撮像している間に（Ｓ６１１）、内視鏡１２が観察対象の静止画を撮像した場合（Ｓ６１２：ＹＥＳ）、判別処理制御部６８３は判別処理（Ｓ６１３）を実行する。直前のフレームにおいて判別処理を実行していない場合には、これが実質的に判別処理の開始となる。一方、内視鏡１２が静止画を撮像しない場合には（Ｓ６１２：ＮＯ）、判別処理制御部６８３は判別処理（Ｓ６１３）をスキップする。このため、直前のフレームにおいて、静止画を撮像し、判別処理を実行していた場合には、これが実質的に判別処理の終了となる。
上記動作を観察終了（Ｓ６１４）まで繰り返すことにより、内視鏡１２が観察対象の静止画を撮像した場合には自動的に判別処理を行い、かつ、内視鏡１２が観察対象の静止画を撮像しない場合には判別処理を行わないようになる。内視鏡１２が観察対象の静止画を撮像するのは、観察対象に病変等があるなど詳細な観察を必要とする場合である。したがって、上記のように内視鏡１２が静止画を撮像した場合に判別処理を開始及び終了すれば、医師等が判別処理を望むであろう適切なタイミングで判別処理を行って、判別結果であるスコア９９を提供できる。そして、不必要なタイミングにおいては、無駄に判別処理を行わないことで、プロセッサ装置１６の処理負荷を抑えることができる。
なお、上記第１実施形態、第２実施形態、第３実施形態、第４実施形態、及び第５実施形態における判別処理制御部８３等の各判別処理制御部は、内視鏡１２の動作の変化または内視鏡画像に基づいて、判別処理部８２における判別処理の開始及び終了を制御しているが、上記各実施形態の各判別処理制御部は、内視鏡１２の動作の変化または内視鏡画像に基づいて、判別処理部８２における判別処理の開始または終了のいずれか一方のみを制御することができる。
また、上記第１実施形態、第２実施形態、第３実施形態、第４実施形態、及び第５実施形態における各判別処理制御部が、内視鏡１２の動作の変化または内視鏡画像に基づいて判別処理を開始する場合、判別処理の開始後、予め設定した一定の時間経過した場合に判別処理を終了ことができる。このように、判別処理の開始後、予め設定した一定の時間経過した場合に判別処理を終了すると、判別処理の終了のために内視鏡１２の動作の変化または内視鏡画像の変化を検知しなくてもよいため、各判別処理制御部の処理を軽量化することができる。
［第７実施形態］
上記第１実施形態、第２実施形態、第３実施形態、第４実施形態、第５実施形態、及び第６実施形態においては、内視鏡１２の動作の変化または内視鏡画像に基づいて判別処理の開始または終了を制御しているが、さらに、内視鏡１２の動作の変化または内視鏡画像に基づいて判別結果の報知を開始または終了することができる。この場合、図１９に示すように、画像処理部６１には、第1実施形態における判別処理制御部８３等の他に、報知制御部６９０を設ける。
報知制御部６９０は、判別処理部８２から判別結果を取得する。そして、報知制御部６９０は、取得した判別結果を、表示制御部６６に入力し、または、その他の出力デバイス（例えば、音もしくは音声を出力するスピーカ、または、光を発光するインジケータ等）に入力する。その結果、報知制御部６９０は、例えば、音声、画像もしくはメッセージのいずれか、または、これらの組み合わせを用いて判別結果をユーザに報知する。
また、報知制御部６９０は、取得した判別結果を常に表示制御部６６等に出力するのではなく、上記各実施形態における各判別処理制御部のいずれかと同様に内視鏡１２の動作の変化または内視鏡画像に基づいて、取得した判別結果を表示制御部６６等に出力するか否かを決定する。その結果、報知制御部６９０は、内視鏡１２の動作の変化または内視鏡画像に基づいて判別結果の報知を開始または終了する。例えば、判定結果としてスコア９９を取得し、かつ、内視鏡１２の動作の変化または内視鏡画像に基づいて判別結果を報知することが適切であると判断した場合、報知制御部６９０は、表示制御部６６に取得したスコア９９を入力し、その結果、モニタ１８にスコア９９を表示することで判別結果を報知する（図５参照）。
なお、報知制御部６９０は、複数の判別結果を取得する場合には判別結果ごとに、内視鏡１２の動作の変化または内視鏡画像に基づいて報知の開始または終了を制御することができる。その他、報知制御部６９０は、判別処理の開始または終了の基準と同じ基準で、判別結果の報知を開始または終了することができる。また、報知制御部６９０は、判別結果の報知を開始または終了する基準を、判別処理の開始または終了とは異なる基準にすることも可能である。例えば、判別処理制御部８３が判別処理の開始または終了を第１実施形態の方法で制御する場合に、報知制御部６９０は第２実施形態の判別処理制御部２８３と同じ基準で判別結果の報知を開始または終了することができる。
報知制御部６９０は、判定結果と判定結果に関連する情報とを併せて報知することができる。例えば、図２０に示すように、報知制御部６９０は、判定結果の一例であるスコア６９２及び病変の浸潤度６９５に加え、判定結果に関連する情報として、特定部分（病変）の輪郭６９１、類似症例の画像６９４、または、「この領域はガンの可能性があります」等のメッセージ６９３を報知することができる。
特定部分（病変）の輪郭６９１は、例えば、判別処理をした特定部分の内視鏡画像内における位置情報を判別処理部８２から知ることができる。メッセージ６９３は、判定結果を予め用意したメッセージデータベース（図示しない）に照合することで得ることができる。図２０においては、メッセージ６９３をモニタ１８に表示して報知しているが、音声でメッセージ６９３を報知しても良い。類似症例の画像６９４は、判別結果に合わせて、例えば、症例データベース（図示しない）から取得することができる。図２０においては、類似症例の画像６９４を１つ表示しているが、類似症例の画像６９４が複数ある場合には、複数の類似症例の画像をモニタ１８に表示できる。
なお、図２０においては、複数種類のスコア６９２をグラフ形式で表示しているが、第１実施形態等の上記各実施形態においても同様の表示をすることができる。また、図２０においては、判定結果の一例である病変の浸潤度６９５をモニタ１８において図示しているが、判定結果が図、表、またはその他の形式で表せるものである場合には第１実施形態等の上記各実施形態においても判定結果を図、表、またはその他の形式で表示して良い。スコア６９２及び病変の浸潤度６９５以外の判定結果についても同様である。病変の輪郭６９１、メッセージ６９３、及び、類似症例の画像６９４は、判定結果に関連する情報の一例であり、報知制御部６９０は、その他の判定結果に関連する情報を報知することができる。例えば、報知制御部６９０は、上記の他に、被検体内における特定部分の位置、または、過去の診断において撮像した内視鏡画像（過去画像）等を判定結果に関連する情報として報知することができる。
なお、第７実施形態においては、画像処理部６１が、第１実施形態における判別処理制御部８３等の各実施形態の各判別処理制御部と、報知制御部６９０と、を備えているが、画像処理部６１は、判別処理制御部８３等の代わりに、報知制御部６９０だけを備えることができる。この場合、内視鏡システム１０は、内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部５４と、内視鏡画像を用いて判別処理をすることにより、観察対象における特定の特徴を有する部分を判別する判別処理部８２と、内視鏡１２の動作の変化または内視鏡画像に基づいて、判別処理の結果である判別結果の報知を開始または終了を制御する報知制御部６９０と、を備える。
なお、画像処理部６１が判別処理制御部８３等とともに報知制御部６９０を備える場合、または、画像処理部６１が判別処理制御部８３等の代わりに報知制御部６９０だけを備える場合のいずれにおいても、報知制御部６９０は第１実施形態の判別処理制御部８３等と同様に構成することができる。
例えば、報知制御部６９０は、内視鏡画像を用いて特徴量を算出する特徴量算出部８６と、特徴量と閾値を比較する比較部８７と、を備え、報知制御部６９０は、比較部８７における比較結果に基づいて判別結果の報知を開始または終了することが好ましい。
また、報知制御部６９０は、内視鏡１２が観察対象を拡大または縮小した場合に、判別結果の報知を開始または終了することができる。
報知制御部６９０は、内視鏡１２が観察対象を撮像する際に使用する照明光が特定の照明光に切り替わった場合に判別結果の報知を開始し、かつ、内視鏡が観察対象を撮像する際に使用する照明光が特定の照明光以外の照明光に切り替わった場合に判別結果の報知を終了することができる。
報知制御部６９０は、照明光が波長４５０ｎｍ以下の照明光に切り替わった場合に、判別結果の報知を開始することができる。
報知制御部６９０は、内視鏡１２に挿通したチャネルを物体が通過した場合に判別結果の報知を開始または終了することができる。
報知制御部６９０は、チャネルを水が通過した場合に判別結果の報知を開始することができる。
報知制御部６９０は、チャネルを色素剤が通過した場合に判別結果の報知を開始することができる。
報知制御部６９０は、内視鏡が観察対象を撮像する位置が変化した場合に、または、内視鏡が観察対象を撮像する位置が変化しない場合に、判別結果の報知を開始または終了することができる。
報知制御部６９０は、内視鏡画像に写る観察対象の変化に基づいて内視鏡が観察対象を撮像する位置を検知することができる。
報知制御部６９０は、位置センサを用いて内視鏡が観察対象を撮像する位置を検知することができる。
報知制御部６９０は、内視鏡１２が観察対象を撮像する位置が変化した場合に判別結果の報知を終了することができる。
報知制御部６９０は、内視鏡１２の動作の変化または内視鏡画像に基づいて判別結果の報知を開始し、かつ、判別結果の報知開始後、予め設定した一定の時間の経過した後に判別結果の報知を終了することができる。
報知制御部６９０は、内視鏡１２が静止画を撮像した場合に、判別結果の報知を開始または終了することができる。
上記各実施形態においては、イメージセンサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０において本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図１７に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡７００と、プロセッサ装置（図示しない）とを少なくとも有する。
カプセル内視鏡７００は、光源部７０２と制御部７０３と、イメージセンサ７０４と、画像処理部７０６と、送受信アンテナ７０８と、を備えている。光源部７０２は、光源部２０に対応する。制御部７０３は、光源制御部２２及び制御部５２と同様に機能する。また、制御部７０３は、送受信アンテナ７０８を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態のプロセッサ装置１６とほぼ同様であるが、画像取得部５４及び画像処理部６１に対応する画像処理部７０６はカプセル内視鏡７００に設けられ、内視鏡画像は、送受信アンテナ７０８を介してプロセッサ装置に送信される。イメージセンサ７０４はイメージセンサ４８と同様に構成される。
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ ズーム操作部
１３ｂ モード切替スイッチ
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源部
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ イメージセンサ
５２ 制御部
５４ 画像取得部
５６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６６ 表示制御部
７１ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
７２ 保存部
８１ 画像生成部
８２ 判別処理部
８３、２８３、３８３、４８３、５８３、６８３ 判別処理制御部
８６ 特徴量算出部
８７ 比較部
９９、６９２ スコア
１０１、１０２ 内視鏡画像
４０１ 鉗子チャネル
４０２ 送気送水チャネル
４０３、４０４ 通過センサ
５８６ 位置検出部
５９１ 位置センサ
６０１ 静止画撮像指示部
６９０ 報知制御部
６９１ 輪郭
６９３ メッセージ
６９４ 類似症例の画像
６９５ 病変の浸潤度
７００ カプセル内視鏡
７０２ 光源部
７０３ 制御部
７０４ イメージセンサ
７０６ 画像処理部
７０８ 送受信アンテナ

Claims (36)

  1. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    を備え、
    前記判別処理制御部は、前記内視鏡の動作の変化または前記内視鏡画像に基づいて前記判別処理を開始し、かつ、前記判別処理の開始後、予め設定した一定の時間が経過した後に前記判別処理を終了する内視鏡システム。
  2. 前記判別処理制御部は、
    前記内視鏡画像を用いて特徴量を算出する特徴量算出部と、
    前記特徴量と閾値を比較する比較部と、
    を備え、
    前記判別処理制御部は、前記比較部における比較結果に基づいて前記判別処理を開始または終了する請求項１に記載の内視鏡システム。
  3. 前記判別処理制御部は、前記内視鏡が前記観察対象を拡大または縮小した場合に、前記判別処理を開始または終了する請求項１に記載の内視鏡システム。
  4. 前記判別処理制御部は、前記内視鏡が前記観察対象を撮像する際に使用する照明光が特定の照明光に切り替わった場合に前記判別処理を開始し、かつ、前記内視鏡が前記観察対象を撮像する際に使用する照明光が前記特定の照明光以外の照明光に切り替わった場合に前記判別処理を終了する請求項１に記載の内視鏡システム。
  5. 前記判別処理制御部は、前記照明光が波長４５０ｎｍ以下の照明光に切り替わった場合に前記判別処理を開始する請求項４に記載の内視鏡システム。
  6. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    を備え、
    前記判別処理制御部は、前記内視鏡に挿通したチャネルを物体が通過した場合に前記判別処理を開始または終了する内視鏡システム。
  7. 前記判別処理制御部は、前記チャネルを水が通過した場合に前記判別処理を開始する請求項６に記載の内視鏡システム。
  8. 前記判別処理制御部は、前記チャネルを色素剤が通過した場合に前記判別処理を開始する請求項６に記載の内視鏡システム。
  9. 前記判別処理制御部は、前記内視鏡が前記観察対象を撮像する位置が変化した場合に、または、前記内視鏡が前記観察対象を撮像する位置が変化しない場合に、前記判別処理を開始または終了する請求項１に記載の内視鏡システム。
  10. 前記判別処理制御部は、前記内視鏡画像に写る前記観察対象の変化に基づいて前記内視鏡が前記観察対象を撮像する位置を検知する請求項９に記載の内視鏡システム。
  11. 前記判別処理制御部は、位置センサを用いて前記内視鏡が前記観察対象を撮像する位置を検知する請求項９に記載の内視鏡システム。
  12. 前記判別処理制御部は、前記内視鏡が前記観察対象を撮像する位置が変化した場合に前記判別処理を終了する請求項９〜１１のいずれか１項に記載の内視鏡システム。
  13. 前記判別処理制御部は、前記内視鏡が静止画を撮像した場合に、前記判別処理を開始または終了する請求項１に記載の内視鏡システム。
  14. 前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の結果である判別結果の報知を開始または終了を制御する報知制御部を備える請求項１〜１３のいずれか１項に記載の内視鏡システム。
  15. 前記報知制御部は、
    前記内視鏡画像を用いて特徴量を算出する特徴量算出部と、
    前記特徴量と閾値を比較する比較部と、
    を備え、
    前記報知制御部は、前記比較部における比較結果に基づいて前記判別結果の報知を開始または終了する請求項１４に記載の内視鏡システム。
  16. 前記報知制御部は、前記内視鏡が前記観察対象を拡大または縮小した場合に、前記判別結果の報知を開始または終了する請求項１４に記載の内視鏡システム。
  17. 前記報知制御部は、前記内視鏡が前記観察対象を撮像する際に使用する照明光が特定の照明光に切り替わった場合に前記判別結果の報知を開始し、かつ、前記内視鏡が前記観察対象を撮像する際に使用する照明光が前記特定の照明光以外の照明光に切り替わった場合に前記判別結果の報知を終了する請求項１４に記載の内視鏡システム。
  18. 前記報知制御部は、前記照明光が波長４５０ｎｍ以下の照明光に切り替わった場合に前記判別結果の報知を開始する請求項１７に記載の内視鏡システム。
  19. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の結果である判別結果の報知を開始または終了を制御する報知制御部と、
    を備え、
    前記報知制御部は、前記内視鏡に挿通したチャネルを物体が通過した場合に前記判別結果の報知を開始または終了する内視鏡システム。
  20. 前記報知制御部は、前記チャネルを水が通過した場合に前記判別結果の報知を開始する請求項１９に記載の内視鏡システム。
  21. 前記報知制御部は、前記チャネルを色素剤が通過した場合に前記判別結果の報知を開始する請求項１９に記載の内視鏡システム。
  22. 前記報知制御部は、前記内視鏡が前記観察対象を撮像する位置が変化した場合に、または、前記内視鏡が前記観察対象を撮像する位置が変化しない場合に、前記判別結果の報知を開始または終了する請求項１４に記載の内視鏡システム。
  23. 前記報知制御部は、前記内視鏡画像に写る前記観察対象の変化に基づいて前記内視鏡が前記観察対象を撮像する位置を検知する請求項２２に記載の内視鏡システム。
  24. 前記報知制御部は、位置センサを用いて前記内視鏡が前記観察対象を撮像する位置を検知する請求項２２に記載の内視鏡システム。
  25. 前記報知制御部は、前記内視鏡が前記観察対象を撮像する位置が変化した場合に前記判別結果の報知を終了する請求項２２〜２４のいずれか１項に記載の内視鏡システム。
  26. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の結果である判別結果の報知を開始または終了を制御する報知制御部と、
    を備え、
    前記判別処理制御部は、前記内視鏡の動作の変化または前記内視鏡画像に基づいて前記判別結果の報知を開始し、かつ、前記判別結果の報知開始後、予め設定した一定の時間が経過した後に前記判別結果の報知を終了する内視鏡システム。
  27. 前記報知制御部は、前記内視鏡が静止画を撮像した場合に、前記判別結果の報知を開始または終了する請求項１４に記載の内視鏡システム。
  28. 前記報知制御部は、音声、画像もしくはメッセージのいずれか、または、これらの組み合わせを用いて前記判別結果を報知する請求項１４〜２７のいずれか１項に記載の内視鏡システム。
  29. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    を備え、
    前記判別処理制御部は、前記内視鏡の動作の変化または前記内視鏡画像に基づいて前記判別処理を開始し、かつ、前記判別処理の開始後、予め設定した一定の時間が経過した後に前記判別処理を終了するプロセッサ装置。
  30. 画像取得部が、内視鏡を用いて観察対象を撮像した内視鏡画像を取得するステップと、判別処理部が、前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別するステップと、を備える内視鏡システムの作動方法において、
    判別処理制御部が、前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御するステップを備え、
    前記判別処理制御部は、前記内視鏡の動作の変化または前記内視鏡画像に基づいて前記判別処理を開始し、かつ、前記判別処理の開始後、予め設定した一定の時間が経過した後に前記判別処理を終了する内視鏡システムの作動方法。
  31. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    を備え、
    前記判別処理制御部は、異なる時刻に取得された２つの前記内視鏡画像を比較し、拡大または縮小を検知した場合に、前記判別処理を開始または終了する内視鏡システム。
  32. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    を備え、
    前記判別処理制御部は、前記内視鏡が前記観察対象を撮像する際に使用する照明光が特定の照明光に切り替わった場合に前記判別処理を開始し、かつ、前記内視鏡が前記観察対象を撮像する際に使用する照明光が前記特定の照明光以外の照明光に切り替わった場合に前記判別処理を終了する内視鏡システム。
  33. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    を備え、
    前記判別処理制御部は、前記内視鏡が前記観察対象を撮像する位置に変化がある場合は、
    病変等の有無の探索に適した前記判別処理を行い、前記内視鏡が前記観察対象を撮像する位置の変化がない場合は、詳細観察に適した前記判別処理を行う内視鏡システム。
  34. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の結果である判別結果の報知を開始または終了を制御する報知制御部と、
    を備え、
    前記報知制御部は、異なる時刻に取得された２つの前記内視鏡画像を比較し、拡大または縮小を検知した場合に、前記判別結果の報知を開始または終了する内視鏡システム。
  35. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の結果である判別結果の報知を開始または終了を制御する報知制御部と、
    を備え、
    前記報知制御部は、前記内視鏡が前記観察対象を撮像する際に使用する照明光が特定の照明光に切り替わった場合に前記判別結果の報知を開始し、かつ、前記内視鏡が前記観察対象を撮像する際に使用する照明光が前記特定の照明光以外の照明光に切り替わった場合に前記判別結果の報知を終了する内視鏡システム。
  36. 内視鏡を用いて観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて判別処理をすることにより、前記観察対象における特定の特徴を有する部分を判別する判別処理部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の開始または終了を制御する判別処理制御部と、
    前記内視鏡の動作の変化または前記内視鏡画像に基づいて、前記判別処理の結果である判別結果の報知を開始または終了を制御する報知制御部と、
    を備え、
    前記判別処理制御部は、前記内視鏡が前記観察対象を撮像する位置に変化がある場合は、
    病変等の有無の探索に適した前記判別処理の結果を報知し、前記内視鏡が前記観察対象を撮像する位置の変化がない場合は、詳細観察に適した前記判別処理の結果を報知する内視鏡システム。
JP2019502940A 2017-03-03 2018-02-22 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Active JP6785942B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017040344 2017-03-03
JP2017040344 2017-03-03
PCT/JP2018/006547 WO2018159461A1 (ja) 2017-03-03 2018-02-22 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JPWO2018159461A1 JPWO2018159461A1 (ja) 2019-12-26
JP6785942B2 true JP6785942B2 (ja) 2020-11-18

Family

ID=63370447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502940A Active JP6785942B2 (ja) 2017-03-03 2018-02-22 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Country Status (5)

Country Link
US (2) US11759092B2 (ja)
EP (1) EP3590415A4 (ja)
JP (1) JP6785942B2 (ja)
CN (1) CN110381807B (ja)
WO (1) WO2018159461A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN112584746A (zh) * 2018-08-23 2021-03-30 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
JP7326308B2 (ja) * 2018-09-11 2023-08-15 富士フイルム株式会社 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US20210407077A1 (en) * 2018-12-04 2021-12-30 Hoya Corporation Information processing device and model generation method
JP6872581B2 (ja) * 2018-12-04 2021-05-19 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
US20220148182A1 (en) * 2019-03-12 2022-05-12 Nec Corporation Inspection device, inspection method and storage medium
JP7214886B2 (ja) * 2019-10-23 2023-01-30 富士フイルム株式会社 画像処理装置及びその作動方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
JP7276513B2 (ja) * 2020-01-10 2023-05-18 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及びプログラム
CN114945315A (zh) * 2020-01-20 2022-08-26 富士胶片株式会社 医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统
WO2021181564A1 (ja) * 2020-03-11 2021-09-16 オリンパス株式会社 処理システム、画像処理方法及び学習方法
EP4119999A4 (en) 2020-03-11 2023-09-06 FUJIFILM Corporation ENDOSCOPE SYSTEM, CONTROL METHOD AND CONTROL PROGRAM
CN115397303A (zh) * 2020-04-08 2022-11-25 富士胶片株式会社 处理器装置及其工作方法
WO2022097294A1 (ja) * 2020-11-09 2022-05-12 オリンパス株式会社 情報処理システム、内視鏡システム及び情報処理方法
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
WO2024013848A1 (ja) * 2022-07-12 2024-01-18 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
CN116350154A (zh) * 2023-03-31 2023-06-30 广州思舶宇生物科技有限公司 一种内窥镜通气控制方法和内窥镜

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4622954A (en) * 1984-05-15 1986-11-18 Fuji Photo Optical Co., Ltd. Endoscope having a plate-like image sensor for forming images
JP4063933B2 (ja) * 1997-12-01 2008-03-19 オリンパス株式会社 手術シミュレーション装置
JP4936528B2 (ja) * 2007-03-28 2012-05-23 富士フイルム株式会社 カプセル内視鏡システム、およびカプセル内視鏡システムの作動方法
RU2009141610A (ru) * 2007-04-11 2011-05-20 Форт Фотоникс Лимитед (Gb) Опорная конструкция и рабочая станция, содержащая опорную конструкцию, для улучшения, повышения объективности и документирования обследований матки in vivo
JP2011131002A (ja) * 2009-12-25 2011-07-07 Fujifilm Corp 蛍光画像撮像装置
JP5287778B2 (ja) * 2010-03-26 2013-09-11 株式会社島津製作所 画像処理方法およびそれを用いた放射線撮影装置
JP5528255B2 (ja) 2010-08-16 2014-06-25 Ｈｏｙａ株式会社 内視鏡画像処理システム
EP2508116B1 (en) 2010-09-24 2013-11-13 Olympus Medical Systems Corp. Image-display device and capsule-type endoscope system
JP5562808B2 (ja) * 2010-11-11 2014-07-30 オリンパス株式会社 内視鏡装置及びプログラム
JP5657375B2 (ja) * 2010-12-24 2015-01-21 オリンパス株式会社 内視鏡装置及びプログラム
JP5329593B2 (ja) * 2011-04-01 2013-10-30 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5611892B2 (ja) * 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2013065473A1 (ja) * 2011-10-31 2013-05-10 オリンパスメディカルシステムズ株式会社 医療機器
JP6165468B2 (ja) 2012-03-05 2017-07-19 東芝メディカルシステムズ株式会社 医用画像処理システム
EP2910173A4 (en) * 2012-10-18 2016-06-01 Olympus Corp IMAGE PROCESSING DEVICE AND METHOD
AU2014322687B2 (en) * 2013-09-18 2018-11-15 Illumigyn Ltd. Optical speculum
JP2016007355A (ja) * 2014-06-24 2016-01-18 富士フイルム株式会社 光源装置、内視鏡システム、光源装置の作動方法、及び内視鏡システムの作動方法
JP6259747B2 (ja) * 2014-09-30 2018-01-10 富士フイルム株式会社 プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP6234350B2 (ja) 2014-09-30 2017-11-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US9986890B2 (en) 2014-11-25 2018-06-05 Sony Corporation Endoscope system, operation method for endoscope system, and program for balancing conflicting effects in endoscopic imaging
JP6285373B2 (ja) * 2015-02-06 2018-02-28 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
WO2017027638A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3d reconstruction and registration of endoscopic data
CN114795472A (zh) * 2015-10-28 2022-07-29 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
US20210401527A1 (en) * 2020-06-30 2021-12-30 Auris Health, Inc. Robotic medical systems including user interfaces with graphical representations of user input devices
WO2022003493A1 (en) * 2020-06-30 2022-01-06 Auris Health, Inc. Robotic medical system with collision proximity indicators
US11759270B2 (en) * 2020-07-23 2023-09-19 Cilag Gmbh International Robotic surgical tool with replaceable carriage
US11751954B2 (en) * 2020-07-23 2023-09-12 Cilag Gmbh International Robotic surgical tool with translatable drive puck
US11974823B2 (en) * 2020-07-23 2024-05-07 Cilag Gmbh International Robotic surgical tool with drop in instrumentation core
US11701116B2 (en) * 2020-09-29 2023-07-18 Cilag Gmbh International Manual drive functions for surgical tool having carriage architecture
US11678870B2 (en) * 2020-09-29 2023-06-20 Cilag Gmbh International Manual drive function for surgical tools
US11918195B2 (en) * 2020-09-29 2024-03-05 Cilag Gmbh International Decoupling mechanisms for surgical tools

Also Published As

Publication number Publication date
CN110381807B (zh) 2022-01-18
EP3590415A1 (en) 2020-01-08
EP3590415A4 (en) 2020-03-18
US11759092B2 (en) 2023-09-19
US20190380617A1 (en) 2019-12-19
WO2018159461A1 (ja) 2018-09-07
US20230404365A1 (en) 2023-12-21
CN110381807A (zh) 2019-10-25
JPWO2018159461A1 (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
JP6785942B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10799098B2 (en) Medical image processing device, endoscope system, diagnosis support device, and medical service support device
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017057574A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
CN110461209B (zh) 内窥镜系统及处理器装置
US20140046131A1 (en) Endoscope system and method for operating endoscope system
JP6533180B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017057572A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2016144626A (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム
JP6752958B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JPWO2017057573A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6840737B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6774550B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2016121811A1 (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム
US20230200626A1 (en) Image processing apparatus, processor apparatus, endoscope system, image processing method, and program
WO2021044910A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
US20210082568A1 (en) Medical image processing device, processor device, endoscope system, medical image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201027

R150 Certificate of patent or registration of utility model

Ref document number: 6785942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250