JP6751773B2 - 画像処理装置及び画像処理装置の作動方法 - Google Patents

画像処理装置及び画像処理装置の作動方法 Download PDF

Info

Publication number
JP6751773B2
JP6751773B2 JP2018555385A JP2018555385A JP6751773B2 JP 6751773 B2 JP6751773 B2 JP 6751773B2 JP 2018555385 A JP2018555385 A JP 2018555385A JP 2018555385 A JP2018555385 A JP 2018555385A JP 6751773 B2 JP6751773 B2 JP 6751773B2
Authority
JP
Japan
Prior art keywords
image
subject
specular reflection
reflection region
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555385A
Other languages
English (en)
Other versions
JPWO2018105062A1 (ja
Inventor
文行 白谷
文行 白谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018105062A1 publication Critical patent/JPWO2018105062A1/ja
Application granted granted Critical
Publication of JP6751773B2 publication Critical patent/JP6751773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、画像処理装置及び画像処理装置の作動方法に関する。
内視鏡観察においては、内視鏡の外部へ照明光を出射する光学部材の出射面と、当該照明光により照明される物体と、の間の距離の近さ等に起因する鏡面反射が発生し得る。
これに対し、例えば、日本国特開平１０−２１０４５４号公報には、内視鏡により得られた内視鏡画像に対して画像処理を施す画像処理装置であって、鏡面反射に伴って生じるハレーション部等のような、ＩＨｂ量の算出を行う上で不適当なデータを持つ領域を無効領域として除去する技術が開示されている。
しかし、日本国特開平１０−２１０４５４号公報には、内視鏡観察を行うユーザの作業状態に応じ、内視鏡画像から無効領域を除去するか否かを決定するための構成については特に開示等されていない。そのため、日本国特開平１０−２１０４５４号公報に開示された構成によれば、例えば、体腔内のポリープ及び金属表面の傷のような、鏡面反射を利用して発見（検出）される異常箇所の発見率（検出精度）が低下し、その結果、当該異常箇所の診断を行うユーザに対して過度な負担を強いてしまうおそれがある、という課題が生じている。
本発明は、前述した事情に鑑みてなされたものであり、鏡面反射を利用して発見または検出される異常箇所の診断を行うユーザの負担を軽減可能な画像処理装置及び画像処理装置の作動方法を提供することを目的としている。
本発明の一態様の画像処理装置は、被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得るように構成された作業状態推定部と、前記被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行うように構成された鏡面反射領域補正部と、前記作業状態推定部により得られた推定結果に基づき、前記被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、前記被検体において発見された前記所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、前記鏡面反射領域補正部により前記鏡面反射領域が補正された画像を観察画像として出力させるための制御を行うように構成された制御部と、を有する。
本発明の一態様の画像処理装置の作動方法は、作業状態推定部、鏡面反射領域補正部、制御部を有する画像処理装置の作動方法であって、前記作業状態推定部が、被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得る第１ステップと、前記鏡面反射領域補正部が、前記被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行う第２ステップと、前記制御部が、前記第１ステップにより得られた推定結果に基づき、前記被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、前記被検体において発見された前記所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、前記第２ステップにより前記鏡面反射領域が補正された画像を観察画像として出力させるための制御を行う第３ステップと、を有する。
実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図。 第１の実施形態に係る画像処理部の構成の一例を説明するための図。 第２の実施形態に係る画像処理部の構成の一例を説明するための図。 第２の実施形態に係る画像処理部の探索支援用画像認識処理部において用いられる検出用コンボリューショナルニューラルネットワークの構成例等を説明するための概念図。 図４の検出用コンボリューショナルニューラルネットワークの学習手順の一例を説明するためのフローチャート。 第２の実施形態に係る画像処理部の鑑別支援用画像認識処理部において用いられる分類用コンボリューショナルニューラルネットワークの構成例等を説明するための概念図。 ＤｅｅｐＬａｂシステムに含まれるネットワーク構成の一例を示す図。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
（第１の実施形態）
図１及び図２は、本発明の第１の実施形態に係るものである。
内視鏡システム１は、図１に示すように、生体である被検者の体腔内に挿入可能であるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力する内視鏡２と、当該被写体を照明するための照明光を内視鏡２へ供給する光源装置３と、内視鏡２から出力される撮像信号に応じた観察画像を生成して出力するプロセッサ４と、プロセッサ４から出力される観察画像等を表示することが可能な表示装置５と、を有して構成されている。図１は、実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図である。
内視鏡２は、被検者の体腔内に挿入可能な細長形状に形成された挿入部２ａと、挿入部２ａの基端側に設けられた操作部２ｂと、を具備して構成されている。
挿入部２ａの内部には、光源装置３から供給される照明光を挿入部２ａの先端部へ伝送するように構成されたライトガイド７が挿通されている。また、挿入部２ａの先端部には、ライトガイド７を経て出射される照明光を被写体へ照射する照明レンズ２１と、当該照明光により照明された当該被写体から発生する反射光（以降、戻り光とも称する）を撮像して撮像信号を出力する撮像部２２と、が設けられている。また、挿入部２ａの内部には、被検者の体腔内に存在する病変の移動及び切除等に用いられる細長の処置具８を挿通可能な処置具チャンネル２３が設けられている。すなわち、処置具８は、被検体を内視鏡２で観察する際に用いられる観察補助具としての機能を有している。
撮像部２２は、対物レンズ２２ａと、結像レンズ２２ｂと、撮像素子２２ｃと、レンズ駆動機構２２ｄと、を有して構成されている。
対物レンズ２２ａは、照明レンズ２１を経て出射される照明光により照明された被写体から発せられる戻り光に応じた光学像を形成するように構成されている。
結像レンズ２２ｂは、対物レンズ２２ａにより形成された光学像を結像するように構成されている。また、結像レンズ２２ｂは、レンズ駆動機構２２ｄの動作に応じ、光軸方向に沿って移動することができるように構成されている。
撮像素子２２ｃは、例えば、ＣＣＤまたはＣＭＯＳ等を具備して構成されている。また、撮像素子２２ｃは、結像レンズ２２ｂにより結像された光学像を光電変換して撮像するための複数の画素と、当該複数の画素を２次元状に配置した撮像面上に設けられたカラーフィルタと、を具備して構成されている。なお、前述のカラーフィルタは、例えば、Ｒ（赤色）、Ｇ（緑色）及びＢ（青色）の微小なフィルタを撮像素子２２ｃの各画素に対応する位置にベイヤ配列で（市松状に）配置することにより形成されている。また、撮像素子２２ｃは、プロセッサ４から出力される撮像素子駆動信号に応じて駆動するとともに、結像レンズ２２ｂにより結像された光学像を撮像することにより撮像信号を生成し、当該生成した撮像信号をプロセッサ４へ出力するように構成されている。
レンズ駆動機構２２ｄは、プロセッサ４から出力されるレンズ駆動信号に基づき、対物レンズ２２ａの光出射面と撮像素子２２ｃの撮像面との間の所定の可動範囲内で結像レンズ２２ｂを移動させるための動作を行うことができるように構成されている。
処置具チャンネル２３は、挿入部２ａの基端部に設けられた開口である挿入口２３ａと、挿入部２ａの先端部に設けられた開口である突出口２３ｂと、を有して構成されている。また、処置具チャンネル２３は、挿入口２３ａから挿入された細長の処置具８を突出口２３ｂから突出させることが可能な管形状を具備して形成されている。
操作部２ｂは、ユーザが把持して操作することが可能な形状を具備して構成されている。また、操作部２ｂには、ユーザの入力操作に応じた指示をプロセッサ４に対して行うことが可能なスイッチを具備して構成されたスコープスイッチ２４が設けられている。
具体的には、スコープスイッチ２４には、例えば、内視鏡システム１の観察モードを白色光観察モードまたは狭帯域光観察モードのいずれかに設定するための指示をプロセッサ４に対して行うことが可能な観察モード設定スイッチ（不図示）が設けられている。また、スコープスイッチ２４には、例えば、光学的な変倍に係る指示をプロセッサ４に対して行うことが可能な光学ズームスイッチ（不図示）が設けられている。また、スコープスイッチ２４には、例えば、被検者の体腔内に存在する異常箇所であるポリープの診断を支援するための機能（以降、診断支援機能とも称する）をオンまたはオフに設定するための指示をプロセッサ４に対して行うことが可能なポリープ診断支援スイッチ（不図示）が設けられている。
光源装置３は、発光部３１と、合波器３２と、集光レンズ３３と、光源制御部３４と、を有して構成されている。
発光部３１は、赤色光源３１ａと、緑色光源３１ｂと、青色光源３１ｃ及び３１ｄと、を有して構成されている。
赤色光源３１ａは、例えば、赤色ＬＥＤを具備して構成されている。また、赤色光源３１ａは、例えば、６００ｎｍ付近の赤色域に中心波長が設定された狭帯域な赤色光であるＲ光を発するように構成されている。また、赤色光源３１ａは、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、赤色光源３１ａは、点灯状態において、光源制御部３４の制御に応じた強度または光量のＲ光を発生するように構成されている。
緑色光源３１ｂは、例えば、緑色ＬＥＤを具備して構成されている。また、緑色光源３１ｂは、例えば、５４０ｎｍ付近の緑色域に中心波長が設定された狭帯域な緑色光であるＧ光を発するように構成されている。また、緑色光源３１ｂは、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、緑色光源３１ｂは、点灯状態において、光源制御部３４の制御に応じた強度または光量のＧ光を発生するように構成されている。
青色光源３１ｃは、例えば、青色ＬＥＤを具備して構成されている。また、青色光源３１ｃは、例えば、４６０ｎｍ付近の青色域に中心波長が設定された狭帯域な青色光であるＢＬ光を発するように構成されている。また、青色光源３１ｃは、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、青色光源３１ｃは、点灯状態において、光源制御部３４の制御に応じた強度または光量のＢＬ光を発生するように構成されている。
青色光源３１ｄは、例えば、青色ＬＥＤを具備して構成されている。また、青色光源３１ｄは、例えば、４１０ｎｍ付近の青色域に中心波長が設定された狭帯域な青色光であるＢＳ光を発するように構成されている。また、青色光源３１ｄは、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、青色光源３１ｄは、点灯状態において、光源制御部３４の制御に応じた強度または光量のＢＳ光を発生するように構成されている。
合波器３２は、発光部３１から発せられた各光を合波して集光レンズ３３に入射させることができるように構成されている。
集光レンズ３３は、合波器３２を経て入射した光を集光してライトガイド７へ出射するように構成されている。
光源制御部３４は、例えば、光源制御回路を具備して構成されている。また、光源制御部３４は、プロセッサ４から出力されるシステム制御信号に応じ、発光部３１の各光源に対する制御を行うように構成されている。
プロセッサ４は、撮像制御部４１と、画像処理部４２と、制御部４３と、を有して構成されている。
撮像制御部４１は、例えば、撮像制御回路を具備して構成されている。また、撮像制御部４１は、制御部４３から出力されるシステム制御信号に応じ、撮像素子２２ｃを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。また、撮像制御部４１は、制御部４３から出力されるシステム制御信号に応じ、レンズ駆動機構２２ｄを駆動させるためのレンズ駆動信号を生成して出力するように構成されている。
画像処理部４２は、例えば、画像処理回路を具備して構成されている。また、画像処理部４２は、例えば、図２に示すように、画像生成部４２ａと、セレクタ４２ｂと、鏡面反射領域補正部４２ｃと、表示制御部４２ｄと、を有して構成されている。図２は、第１の実施形態に係る画像処理部の構成の一例を説明するための図である。
画像生成部４２ａは、内視鏡２から出力される撮像信号に基づいて画像を生成し、当該生成した画像をセレクタ４２ｂ及び制御部４３へ出力するように構成されている。
セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、画像生成部４２ａから出力される画像の出力先を鏡面反射領域補正部４２ｃまたは表示制御部４２ｄのいずれかに設定するための動作を行うように構成されている。
鏡面反射領域補正部４２ｃは、セレクタ４２ｂを経て出力される画像から鏡面反射領域を抽出するとともに、当該抽出した鏡面反射領域を補正するための処理を行うように構成されている。また、鏡面反射領域補正部４２ｃは、前述の処理により鏡面反射領域を補正した画像を表示制御部４２ｄへ出力するように構成されている、
具体的には、鏡面反射領域補正部４２ｃは、例えば、セレクタ４２ｂを経て出力される画像に基づき、所定の閾値以上の画素値を具備する１つ以上の画素により構成される領域を鏡面反射領域として抽出する処理を行う。また、鏡面反射領域補正部４２ｃは、前述のように抽出した鏡面反射領域の周囲の画素値を用いて当該鏡面反射領域に含まれる各画素の画素値を補間する処理を行う。
なお、鏡面反射領域補正部４２ｃは、以上に例示したような方法で鏡面反射領域を補正するものに限らず、日本国特開平１０−２１０４５４号公報等に開示された公知の方法を用いて鏡面反射領域を補正してもよい。
表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、画像生成部４２ａまたは鏡面反射領域補正部４２ｃのいずれかから出力される画像を観察画像として表示装置５へ出力するための動作を行うように構成されている。
制御部４３は、例えば、ＣＰＵ等の制御回路を具備して構成されている。また、制御部４３は、スコープスイッチ２４からの指示に基づき、光源制御部３４、撮像制御部４１及び画像処理部４２の各部を制御するためのシステム制御信号を生成して出力することができるように構成されている。
具体的には、制御部４３は、例えば、スコープスイッチ２４の観察モード設定スイッチからの指示に基づき、内視鏡システム１の観察モードに応じた照明光を内視鏡２へ供給させるためのシステム制御信号を生成して光源制御部３４へ出力するように構成されている。また、制御部４３は、例えば、スコープスイッチ２４の光学ズームスイッチからの指示に基づき、撮像部２２の観察倍率に応じた位置に結像レンズ２２ｂを移動及び配置させるためのシステム制御信号を生成して撮像制御部４１へ出力するように構成されている。
制御部４３は、スコープスイッチ２４からの指示及び／または画像処理部４２から出力される画像に基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察しながら作業を行うユーザの作業状態を推定して推定結果を得るように構成された作業状態推定部４３ａを具備している。また、制御部４３は、スコープスイッチ２４のポリープ診断支援スイッチからの指示と、作業状態推定部４３ａにより得られた推定結果と、に基づき、セレクタ４２ｂ及び表示制御部４２ｄの動作を制御するためのシステム制御信号を生成して出力することができるように構成されている。
続いて、本実施形態に係る内視鏡システム１の具体的な動作等について説明する。
ユーザは、内視鏡システム１の各部を接続して電源を投入した後、スコープスイッチ２４を操作することにより、内視鏡システム１の観察モードを白色光観察モードに設定するとともにプロセッサ４の診断支援機能をオフに設定するための指示を行う。その後、ユーザは、被検者の体腔内への挿入部２ａの挿入を開始する。
制御部４３は、スコープスイッチ２４からの指示に基づき、内視鏡システム１の観察モードが白色光観察モードに設定されていることを検出した場合に、白色光を照明光として内視鏡２へ供給させるためのシステム制御信号を生成して光源制御部３４へ出力する。また、制御部４３は、スコープスイッチ２４からの指示に基づき、プロセッサ４の診断支援機能がオフに設定されていることを検出した場合に、画像生成部４２ａにより生成された画像を観察画像として表示装置５へ出力させるためのシステム制御信号を生成してセレクタ４２ｂ及び表示制御部４２ｄへ出力する。
光源制御部３４は、制御部４３から出力されるシステム制御信号に応じ、内視鏡システム１の観察モードが白色光観察モードに設定されている場合に、赤色光源３１ａ、緑色光源３１ｂ及び青色光源３１ｃを同時に点灯させつつ青色光源３１ｄを消灯させるための制御を発光部３１に対して行う。すなわち、このような光源制御部３４の制御によれば、白色光観察モード時において、Ｒ光、Ｇ光及びＢＬ光を合波した白色光が光源装置３から内視鏡２へ供給され、当該白色光が照明レンズ２１を経て被写体に照射され、当該白色光の反射光に応じた当該被写体の光学像が撮像素子２２ｃにより撮像される。また、白色光観察モード時においては、撮像素子２２ｃにより撮像された光学像に応じた白色光画像が画像生成部４２ａにより生成される。
セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、プロセッサ４の診断支援機能がオフに設定されている場合に、画像生成部４２ａから出力される白色光画像の出力先を表示制御部４２ｄに設定するための動作を行う。
表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、プロセッサ４の診断支援機能がオフに設定されている場合に、画像生成部４２ａから出力される白色光画像を観察画像として表示装置５へ出力するための動作を行う。
一方、ユーザは、被検者の体腔内におけるポリープの存在が疑われる部分に挿入部２ａの先端部を配置した状態において、スコープスイッチ２４を操作することにより、プロセッサ４の診断支援機能をオンに設定するための指示を行う。
作業状態推定部４３ａは、スコープスイッチ２４からの指示に基づき、プロセッサ４の診断支援機能がオンに設定されかつ内視鏡システム１の観察モードが白色光観察モードに設定されている場合に、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザがポリープの探索に係る作業を行っているとの推定結果を得る。
制御部４３は、作業状態推定部４３ａにより得られた推定結果に基づき、内視鏡２が挿入されている被検体における所望の被写体または発見対象であるポリープの探索に係る作業が行われていることを検出した場合に、鏡面反射領域が維持された画像を観察画像として表示装置５へ出力させるためのシステム制御信号を生成してセレクタ４２ｂ及び表示制御部４２ｄへ出力する。
セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、ポリープの探索に係る作業が行われている場合に、画像生成部４２ａから出力される白色光画像の出力先を表示制御部４２ｄに設定するための動作を行う。
表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、ポリープの探索に係る作業が行われている場合に、画像生成部４２ａから出力される白色光画像を観察画像として表示装置５へ出力するための動作を行う。
一方、ユーザは、鏡面反射領域が維持された状態で表示装置５に表示される白色光画像を確認しつつ挿入部２ａを操作することにより、当該被検者の体腔内に存在するポリープを探索する。そして、ユーザは、ポリープを発見した際に、スコープスイッチ２４を操作することにより、内視鏡システム１の観察モードを狭帯域光観察モードに設定するための指示を行う。
作業状態推定部４３ａは、スコープスイッチ２４からの指示に基づき、プロセッサ４の診断支援機能がオンに設定されかつ内視鏡システム１の観察モードが狭帯域光観察モードに設定されている場合に、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザがポリープの鑑別に係る作業を行っているとの推定結果を得る。
制御部４３は、スコープスイッチ２４からの指示に基づき、内視鏡システム１の観察モードが狭帯域光観察モードに設定されていることを検出した場合に、Ｇ光及びＢＳ光を照明光として内視鏡２へ供給させるためのシステム制御信号を生成して光源制御部３４へ出力する。また、制御部４３は、作業状態推定部４３ａにより得られた推定結果に基づき、内視鏡２が挿入されている被検体において発見された所望の被写体または発見対象であるポリープの鑑別に係る作業が行われていることを検出した場合に、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像を観察画像として表示装置５へ出力させるためのシステム制御信号を生成してセレクタ４２ｂ及び表示制御部４２ｄへ出力する。
光源制御部３４は、制御部４３から出力されるシステム制御信号に応じ、狭帯域光観察モードにおいて、緑色光源３１ｂ及び青色光源３１ｄを同時に点灯させつつ赤色光源３１ａ及び青色光源３１ｃを消灯させるための制御を発光部３１に対して行う。すなわち、このような光源制御部３４の制御によれば、狭帯域光観察モード時において、Ｇ光及びＢＳ光を合波した混合光が光源装置３から内視鏡２へ供給され、当該混合光が照明レンズ２１を経て被写体に照射され、当該混合光の反射光に応じた当該被写体の光学像が撮像素子２２ｃにより撮像される。また、狭帯域光観察モード時においては、撮像素子２２ｃにより撮像された光学像に応じた狭帯域光画像が画像生成部４２ａにより生成される。
セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、ポリープの鑑別に係る作業が行われている場合に、画像生成部４２ａから出力される画像の出力先を鏡面反射領域補正部４２ｃに設定するための動作を行う。
表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、ポリープの鑑別に係る作業が行われている場合に、鏡面反射領域補正部４２ｃから出力される画像を観察画像として表示装置５へ出力するための動作を行う。
一方、ユーザは、鏡面反射領域が補正された状態で表示装置５に表示される狭帯域光画像を確認することにより、前述の探索に係る作業を経て発見したポリープの悪性度等を鑑別する。そして、ユーザは、ポリープの鑑別に係る作業を完了した後で、スコープスイッチ２４を操作することにより、例えば、内視鏡システム１の観察モードを白色光観察モードに設定するとともにプロセッサ４の診断支援機能をオフに設定するための指示を行う。
ここで、出願人の検討によれば、ポリープの探索時に得られた画像から鏡面反射領域を除去した場合に、当該鏡面反射領域を除去しない場合よりもポリープの発見率または検出精度が低下してしまう、との知見が得られている。また、出願人の検討によれば、探索を経て発見または検出されたポリープの鑑別時において、当該ポリープを含む画像から鏡面反射領域を除去することにより、当該ポリープの悪性度の判別精度を安定させることができる、との知見が得られている。そして、このような知見に鑑み、本実施形態においては、プロセッサ４の診断支援機能がオンに設定されている場合に、作業状態推定部４３ａにより得られた推定結果に応じ、鏡面反射領域が維持された観察画像、または、鏡面反射領域が補正された観察画像のいずれかを選択的に表示装置５へ出力させるようにしている。従って、本実施形態によれば、鏡面反射を利用して検出されるポリープの診断を行うユーザの負担を軽減することができる。
なお、本実施形態の作業状態推定部４３ａは、プロセッサ４の診断支援機能がオンに設定されている場合に、以上に述べたような推定方法によりユーザの作業状態を推定するものに限らず、以下に例示するような推定方法によりユーザの作業状態を推定するようにしてもよい。
作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像の明るさに基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
具体的には、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に含まれる各画素の平均輝度値を算出し、当該算出した平均輝度値が閾値ＴＨ１以上である場合にポリープの探索作業中であるとの推定結果を取得する一方で、当該算出した平均輝度値が当該閾値ＴＨ１未満である場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
作業状態推定部４３ａは、例えば、内視鏡２（撮像部２２）の現在の観察倍率に基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
具体的には、作業状態推定部４３ａは、例えば、スコープスイッチ２４からの指示により設定されている内視鏡２（撮像部２２）の現在の観察倍率を取得し、当該取得した現在の観察倍率が閾値ＴＨ２未満である場合にポリープの探索作業中であるとの推定結果を取得する一方で、当該取得した現在の観察倍率が閾値ＴＨ２以上である場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
作業状態推定部４３ａは、例えば、処置具８の使用状態に基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
具体的には、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に対して画像認識処理を施した際の処理結果に基づき、処置具８の先端部を検出することができなかった場合にポリープの探索作業中であるとの推定結果を取得する一方で、処置具８の先端部を検出することができた場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。または、作業状態推定部４３ａは、例えば、スコープスイッチ２４に設けられた所定のスイッチからの指示を検出することができなかった場合にポリープの探索作業中であるとの推定結果を取得する一方で、当該所定のスイッチからの指示を検出することができた場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像の色調に基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
具体的には、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に含まれる各画素の中から（ポリープ用の染色液の色に相当する）所定の色の画素を抽出するとともに、当該抽出した画素の数が閾値ＴＨ３未満である場合にポリープの探索作業中であるとの推定結果を取得する一方で、当該抽出した画素の数が閾値ＴＨ３以上である場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に含まれるポリープの位置及びサイズに基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
具体的には、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に対して画像認識処理及びトラッキング処理を施した際の処理結果に基づき、ポリープを検出することができなかった場合、当該画像の周縁部にポリープが存在する場合、または、当該画像においてポリープが占める面積の割合が閾値ＴＨ４未満である場合に、ポリープの探索作業中であるとの推定結果を取得するようにしてもよい。また、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に対して画像認識処理及びトラッキング処理を施した際の処理結果に基づき、当該画像の中央部にポリープが存在し、かつ、当該画像においてポリープが占める面積の割合が閾値ＴＨ４以上である場合に、ポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
また、本実施形態によれば、作業状態推定部４３ａは、ユーザの作業状態を推定して推定結果を得る際に、以上に例示した方法を単独で用いてもよく、または、以上に例示した方法を複数組み合わせて用いてもよい。すなわち、作業状態推定部４３ａは、被検体を内視鏡２で観察する際の観察モードと、当該被検体を内視鏡２で撮像して得られた内視鏡画像の明るさと、当該被検体を内視鏡２で観察する際の観察倍率と、当該被検体を内視鏡２で観察する際に用いられる処置具８の使用状態と、当該内視鏡画像の色調と、当該内視鏡画像に含まれるポリープの位置及びサイズと、のうちの少なくとも１つに基づいて前記作業状態を推定するものであればよい。
また、本実施形態によれば、スコープスイッチ２４のポリープ診断支援スイッチからの指示の代わりに、例えば、挿入部２ａが体腔内に挿入されているか否かを検出して得られた検出結果に基づき、プロセッサ４の診断支援機能がオンまたはオフに設定されるようにしてもよい。
具体的には、例えば、制御部４３（または作業状態推定部４３ａ）は、画像処理部４２から出力される画像の明るさ及び／または色調に基づき、挿入部２ａが体腔内に挿入されていることを検出した場合にプロセッサ４の診断支援機能をオンに設定する一方で、挿入部２ａが体腔内に挿入されていないことを検出した場合にプロセッサ４の診断支援機能をオフに設定するようにしてもよい。
一方、本実施形態の診断支援機能は、ポリープの診断を行う場合に限らず、例えば、金属表面の傷のような、鏡面反射を利用して検出される様々な異常箇所の診断を行う場合において略同様に利用することができる。
具体的には、本実施形態の診断支援機能によれば、例えば、被検体における所望の被写体または発見対象である金属表面の傷の探索作業中であるとの推定結果が作業状態推定部４３ａにより得られた場合に、鏡面反射領域が維持された観察画像を表示装置５へ出力させることができるとともに、当該被検体において発見された金属表面の傷の鑑別作業中であるとの推定結果が作業状態推定部４３ａにより得られた場合に、鏡面反射領域が鏡面反射領域補正部４２ｃにより補正された観察画像を表示装置５へ出力させることができる。
（第２の実施形態）
図３から図７は、本発明の第２の実施形態に係るものである。
なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。
本実施形態のプロセッサ４は、画像処理部４２の代わりに、図３に例示するような画像処理部６２を具備して構成されている。図３は、第２の実施形態に係る画像処理部の構成の一例を説明するための図である。
画像処理部６２は、例えば、画像処理回路を具備して構成されている。また、画像処理部６２は、例えば、図３に示すように、画像生成部４２ａと、セレクタ４２ｂと、鏡面反射領域補正部４２ｃと、表示制御部４２ｄと、セレクタ４２ｂの出力側と表示制御部４２ｄの入力側との間に設けられた探索支援用画像認識処理部６２ａ（以降、画像認識処理部６２ａと略記する）と、鏡面反射領域補正部４２ｃの出力側と表示制御部４２ｄの入力側との間に設けられた鑑別支援用画像認識処理部６２ｂ（以降、画像認識処理部６２ｂと略記する）と、を有して構成されている。
セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、ポリープの探索に係る作業が行われている場合に、画像生成部４２ａから出力される画像の出力先を画像認識処理部６２ａに設定するための動作を行う。
セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、ポリープの鑑別に係る作業が行われている場合に、画像生成部４２ａから出力される画像の出力先を鏡面反射領域補正部４２ｃに設定するための動作を行う。
画像認識処理部６２ａは、セレクタ４２ｂを経て出力される画像、すなわち、鏡面反射領域が維持された画像におけるポリープの有無を検出するための処理を行うように構成されている。また、画像認識処理部６２ａは、セレクタ４２ｂを経て出力される画像からポリープを検出した際に、当該ポリープの位置及びサイズを示す検出枠を生成するための処理を行うとともに、当該生成した検出枠と当該画像とを併せて表示制御部４２ｄへ出力するように構成されている。なお、本実施形態の画像認識処理部６２ａは、検出用コンボリューショナルニューラルネットワーク（以降、検出用ＣＮＮと略記する）を用いてポリープの有無の検出及び検出枠の生成を行うように構成されている。このような検出用ＣＮＮの構成例等については、後程詳述する。
画像認識処理部６２ｂは、セレクタ４２ｂ及び鏡面反射領域補正部４２ｃを経て出力される画像、すなわち、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像に含まれるポリープを所定の分類基準に従って分類して分類結果を得るための処理を行うとともに、当該得られた分類結果と当該画像とを併せて表示制御部４２ｄへ出力するように構成されている。なお、本実施形態の画像認識処理部６２ｂは、分類用コンボリューショナルニューラルネットワーク（以降、分類用ＣＮＮと略記する）を用いてポリープの分類を行うように構成されている。このような分類用ＣＮＮの構成例等については、後程詳述する。また、以降においては、画像認識処理部６２ｂが、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像に含まれるポリープをＮＩＣＥ分類のＴｙｐｅ１、Ｔｙｐｅ２またはＴｙｐｅ３のいずれかに分類するための処理を行う場合を例に挙げて説明する。また、本実施形態においては、鏡面反射領域が補正された画像が画像認識処理部６２ｂに入力されるものに限らず、例えば、セレクタ４２ｂから出力される画像におけるポリープを含む部分を矩形に切り出す処理により鏡面反射領域が除外された画像が画像認識処理部６２ｂに入力されるようにしてもよい。
表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、ポリープの探索に係る作業が行われている場合に、画像認識処理部６２ａから出力される鏡面反射領域が維持された画像と、画像認識処理部６２ａから出力される処理結果であるポリープの検出枠と、を用いて生成した観察画像を表示装置５へ出力するための動作を行う。
表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、ポリープの鑑別に係る作業が行われている場合に、画像認識処理部６２ｂから出力される鏡面反射領域が補正された画像と、画像認識処理部６２ｂから出力される処理結果であるポリープの分類結果と、を用いて生成した観察画像を表示装置５へ出力するための動作を行う。
制御部４３は、作業状態推定部４３ａにより得られた推定結果に基づき、ポリープの探索に係る作業が行われていることを検出した場合に、鏡面反射領域が維持された画像に対して画像認識処理部６２ａによる処理を施して得られた処理結果に応じた観察画像を出力させるための制御をセレクタ４２ｂ及び表示制御部４２ｄに対して行う。
制御部４３は、作業状態推定部４３ａにより得られた推定結果に基づき、ポリープの鑑別に係る作業が行われていることを検出した場合に、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像に対して画像認識処理部６２ｂによる処理を施して得られた処理結果に応じた観察画像を出力させるための制御をセレクタ４２ｂ及び表示制御部４２ｄに対して行う。
すなわち、以上に述べたような本実施形態の各部の動作によれば、例えば、ポリープの探索に係る作業が行われている場合に、鏡面反射領域が維持された画像と、当該画像に含まれるポリープの周囲に形成された検出枠と、を具備する観察画像が表示装置５に表示される。また、以上に述べたような本実施形態の各部の動作によれば、例えば、ポリープの鑑別に係る作業が行われている場合に、鏡面反射領域が補正された画像と、当該画像に含まれるポリープがＮＩＣＥ分類のＴｙｐｅ１、Ｔｙｐｅ２及びＴｙｐｅ３のうちのいずれに属するかをユーザに報知するための文字列等の視覚情報と、を具備する観察画像が表示装置５に表示される。
ここで、画像認識処理部６２ａにおいて用いられる検出用ＣＮＮの構成例等について、図４を参照しつつ説明する。なお、本実施形態においては、Ｆａｓｔｅｒ Ｒ−ＣＮＮを検出用ＣＮＮとして用いた場合を例に挙げて説明する。図４は、第２の実施形態に係る画像処理部の探索支援用画像認識処理部において用いられる検出用ＣＮＮの構成例等を説明するための概念図である。
検出用ＣＮＮ７１は、図４に示すように、鏡面反射領域が維持された入力画像の中からポリープを含む矩形の候補枠を検出するＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ（以降、ＲＰＮと略記する）７１ａと、当該検出した候補枠に含まれるポリープを精査することにより検出枠を生成するＦａｓｔ Ｒ−ＣＮＮ（以降、ＦＲＣＮＮと略記する）７１ｂと、を有して構成されている。
ＲＰＮ７１ａは、図４に示すように、特徴量抽出用ＣＮＮ７２ａと、候補枠検出用ＣＮＮ７２ｂと、を有して構成されている。また、ＦＲＣＮＮ７１ｂは、図４に示すように、特徴量抽出用ＣＮＮ７２ａと、ＲＯＩ Ｐｏｏｌｉｎｇ層７２ｃと、候補枠分類用全結合層７２ｄと、を有して構成されている。すなわち、特徴量抽出用ＣＮＮ７２ａは、ＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂの両方において共有されている。
特徴量抽出用ＣＮＮ７２ａは、入力画像に対して複数回の畳み込み演算及びプーリング演算を施すことにより、当該入力画像の特徴マップを演算結果として得るように構成されている。また、特徴量抽出用ＣＮＮ７２ａは、例えば、ＡｌｅｘＮｅｔまたはＶＧＧ−１６のようなネットワーク構造を用いて構成されている。
なお、以降においては、特に言及の無い限り、特徴量抽出用ＣＮＮ７２ａがＶＧＧ−１６を用いて構成されているものとして説明を行う。すなわち、以降においては、例えば、横幅Ｗ、縦幅Ｈ及びチャンネル数３（Ｒｅｄ、Ｇｒｅｅｎ及びＢｌｕｅ）を具備する入力画像が特徴量抽出用ＣＮＮ７２ａに入力された場合に、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数５１２を具備する特徴マップが特徴量抽出用ＣＮＮ７２ａの演算結果として得られるものとして説明を行う。
候補枠検出用ＣＮＮ７２ｂは、例えば、ＲＰＮ枠変動量マップを取得して出力するＲＰＮ枠変動量マップ出力用畳み込み層７３１と、ＲＰＮスコアマップを取得して出力するＲＰＮスコアマップ出力用畳み込み層７３２と、を有する３層のＣＮＮとして構成されている。また、候補枠検出用ＣＮＮ７２ｂは、ＲＰＮ枠変動量マップ及びＲＰＮスコアマップを用いて後述の演算を行うことにより、候補枠の座標値及びポリープらしさを表すＲＰＮスコアを算出するように構成されている。
ＲＰＮ枠変動量マップ出力用畳み込み層７３１は、特徴量抽出用ＣＮＮ７２ａの演算結果として得られた特徴マップを用いて演算を行うことにより、例えば、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数４×Ａを具備するＲＰＮ枠変動量マップを取得して出力するように構成されている。すなわち、ＲＰＮ枠変動量マップは、空間方向の位置が入力画像の位置に対応するとともに、チャンネル方向に各アンカーの枠変動量（ｘｙ方向それぞれの枠中心移動量及び枠幅拡大量）を具備するものとして取得される。なお、前述のＡの値は、アンカー数を表すものとする。また、アンカーは、縦横比及びスケールを含む候補枠の形状を表すものとする。
ＲＰＮスコアマップ出力用畳み込み層７３２は、ＲＰＮ枠変動量マップ出力用畳み込み層７３１から出力されるＲＰＮ枠変動量マップを用いて演算を行うことにより、例えば、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数２×Ａを具備するＲＰＮスコアマップを取得して出力するように構成されている。すなわち、ＲＰＮスコアマップは、空間方向の位置が入力画像の位置に対応するとともに、チャンネル方向に各アンカーのスコア（ポリープスコア及び背景スコア）を具備するものとして取得される。
ここで、アンカーａが表す矩形の候補枠の（０，０）を中心としたときの座標値（矩形の左上のｘ座標及びｙ座標、及び、当該矩形の右下のｘ座標及びｙ座標）は、下記数式（１）を用いて算出される。なお、下記数式（１）において、ｂはアンカーベースサイズを表し、ｒは縦横比を表し、ｓはスケールを表すものとする。また、下記数式（１）において、Ｒは縦横比数を表し、Ｓはスケール数を表し、Ｒ×Ｓ＝Ａの関係が成り立つものとする。

Figure 0006751773

そして、候補枠検出用ＣＮＮ７２ｂは、下記数式（２）を用いた演算を行うことにより、候補枠の座標値ｐを算出する。

Figure 0006751773

なお、上記数式（２）に含まれる各パラメータは、下記数式（３）から（１１）を用いてそれぞれ算出される。但し、下記数式（３）から（６）におけるｂｍａｐは、ＲＰＮ枠変動量マップを示すものとする。

Figure 0006751773
Figure 0006751773
Figure 0006751773
Figure 0006751773
Figure 0006751773
Figure 0006751773
Figure 0006751773
Figure 0006751773
Figure 0006751773

また、候補枠検出用ＣＮＮ７２ｂは、下記数式（１２）を用いた演算を行うことにより、ポリープらしさを表すＲＰＮスコアｓｃを算出する。但し、下記数式（１２）におけるｓｍａｐは、ＲＰＮスコアマップを示すものとする。

Figure 0006751773

ＲＯＩ Ｐｏｏｌｉｎｇ層７２ｃは、特徴量抽出用ＣＮＮ７２ａの演算結果として得られた特徴マップと、候補枠検出用ＣＮＮ７２ｂの演算結果として得られた候補枠の座標値と、を用い、特徴マップを候補枠毎に切り出すとともに、当該切り出した各特徴マップに対してＭａｘ Ｐｏｏｌｉｎｇによるリサイズを施すように構成されている。そして、ＲＯＩ Ｐｏｏｌｉｎｇ層７２ｃは、候補枠毎の特徴マップとして、例えば、横幅７、縦幅７及びチャンネル数５１２を具備する特徴マップを取得して出力するように構成されている。
候補枠分類用全結合層７２ｄは、例えば、ＦＲＣＮＮ枠変動量マップを取得して出力するＦＲＣＮＮ枠変動量マップ出力用全結合層７３３と、ＦＲＣＮＮスコアマップを取得して出力するＦＲＣＮＮスコアマップ出力用全結合層７３４と、を有する４層のＣＮＮとして構成されている。また、候補枠分類用全結合層７２ｄは、ＦＲＣＮＮ枠変動量マップ及びＦＲＣＮＮスコアマップを用い、上記数式（１）から（１２）に示したものと同様の演算を行うことにより、検出枠の座標値及びポリープらしさを表すＦＲＣＮＮスコアを算出するように構成されている。
ＦＲＣＮＮ枠変動量マップ出力用全結合層７３３は、特徴量抽出用ＣＮＮ７２ａの演算結果として得られた特徴マップを用いて演算を行うことにより、例えば、横幅１、縦幅１、切り出されたマップ数Ｍ、及び、チャンネル数４（ｘｙ方向それぞれの枠中心移動量及び枠幅拡大量）×Ａを具備するＦＲＣＮＮ枠変動量マップを取得して出力するように構成されている。
ＦＲＣＮＮスコアマップ出力用全結合層７３４は、ＦＲＣＮＮ枠変動量マップ出力用全結合層７３３から出力されるＦＲＣＮＮ枠変動量マップを用いて演算を行うことにより、例えば、横幅１、縦幅１、切り出されたマップ数Ｍ、及び、チャンネル数２（ポリープスコア及び背景スコア）×Ａを具備するＦＲＣＮＮスコアマップを取得して出力するように構成されている。
次に、検出用ＣＮＮ７１の学習手順の一例について、図５を参照しつつ説明する。なお、本実施形態においては、ＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂを１回ずつ学習させた後で、さらに、特徴量抽出用ＣＮＮ７２ａを固定してＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂを１回ずつ学習させることにより、ＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂの両方において特徴量抽出用ＣＮＮ７２ａを共有させる場合を例に挙げて説明する。また、本実施形態においては、例えば、内視鏡を用いて体腔内を撮像して得られた内視鏡画像が学習画像として用いられるものとする。また、本実施形態においては、例えば、前述の学習画像におけるポリープ領域を白色で着色し、かつ、前述の学習画像における背景領域（ポリープ領域以外の領域）を黒色で着色した画像が正解マスク画像として用いられるものとする。図５は、図４の検出用コンボリューショナルニューラルネットワークの学習手順の一例を説明するためのフローチャートである。
図５のステップＳ１において、学習画像と、正解マスク画像と、プレトレーニングデータと、がＲＰＮ７１ａに入力される。
なお、図５のステップＳ１の処理において入力されるプレトレーニングデータは、例えば、ＩｍａｇｅＮｅｔのような大規模画像データベースに含まれる画像群を用いてＲＰＮ７１ａの学習を行うことにより予め得られたデータである。
その後、図５のステップＳ２において、図５のステップＳ１の処理により入力された正解マスク画像を用いてＲＰＮ７１ａの学習用の正解枠変動量マップ及び正解ラベルマップが作成される。
なお、図５のステップＳ２の処理により作成される正解枠変動量マップは、例えば、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数４（ｘｙ方向それぞれの枠中心移動量及び枠幅拡大量）×Ａを具備するものとして作成される。また、図５のステップＳ２の処理により作成される正解ラベルマップは、例えば、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数１（ラベル）×Ａを具備するものとして作成される。また、図５のステップＳ２の処理においては、例えば、マップの各点に対応する候補枠の座標値と正解マスク画像との重複度が５０％以上の場合にはポリープを示すラベル＝０が正解ラベルマップに格納される一方で、当該重複度が０％以上５０％未満の場合には背景を示すラベル＝１が正解ラベルマップに格納される。また、図５のステップＳ２の処理においては、ラベル＝０が正解ラベルマップに格納される際に、候補枠から正解マスク画像のポリープ領域に外接する矩形への変動量が正解枠変動量マップに格納される。
その後、図５のステップＳ３において、図５のステップＳ１の処理により入力された学習画像と、図５のステップＳ２の処理により作成された正解枠変動量マップ及び正解ラベルマップと、を用い、１回目のＲＰＮ７１ａの学習が行われる。
なお、図５のステップＳ３の処理においては、図５のステップＳ１で入力されたプレトレーニングデータが特徴量抽出用ＣＮＮ７２ａの初期値として用いられる。また、図５のステップＳ３の処理は、特徴量抽出用ＣＮＮ７２ａ及び候補枠検出用ＣＮＮ７２ｂの両方を最適化するために行われる。また、図５のステップＳ３の処理においては、正解ラベルマップ及びＲＰＮスコアマップのＳｏｆｔｍａｘ交差エントロピーと、正解枠変動量マップ及びＲＰＮ枠変動量マップのＳｍｏｏｔｈ Ｌ１ Ｌｏｓｓと、に対して重み付けを行って加えたものをｌｏｓｓ関数として用いるものとする。また、図５のステップＳ３の処理においては、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：ＳＧＤ）を用いて特徴量抽出用ＣＮＮ７２ａ及び候補枠検出用ＣＮＮ７２ｂを最適化するものとする。
その後、図５のステップＳ４において、図５のステップＳ３の処理を経て構築された１回目の学習済のＲＰＮ７１ａを、図５のステップＳ１の処理により入力された学習画像に対して適用することにより、候補枠の座標値と、ポリープらしさを表すＲＰＮスコアと、がそれぞれ算出される。
その後、図５のステップＳ５において、図５のステップＳ４の処理により算出された候補枠の座標値と、図５のステップＳ１の処理により入力された正解マスク画像と、を用い、１回目のＦＲＣＮＮ７１ｂの学習用の正解枠変動量マップ及び正解ラベルマップが作成される。
なお、図５のステップＳ５の処理により作成される正解枠変動量マップは、例えば、横幅Ｗ／１６、縦幅Ｈ／１６、出力候補枠数Ｍ、及び、チャンネル数４（ｘｙ方向それぞれの枠中心移動量及び枠幅拡大量）×Ａを具備するものとして作成される。また、図５のステップＳ５の処理により作成される正解ラベルマップは、例えば、横幅Ｗ／１６、縦幅Ｈ／１６、出力候補枠数Ｍ、及び、チャンネル数１（ラベル）×Ａを具備するものとして作成される。また、図５のステップＳ５の処理においては、例えば、図５のステップＳ４の処理により算出された候補枠の座標値と正解マスク画像との重複度が５０％以上の場合にはポリープを示すラベル＝０が正解ラベルマップに格納される一方で、当該重複度が０％以上５０％未満の場合には背景を示すラベル＝１が正解ラベルマップに格納される。また、図５のステップＳ５の処理においては、ラベル＝０が正解ラベルマップに格納される際に、候補枠から正解マスク画像のポリープ領域に外接する矩形への変動量が正解枠変動量マップに格納される。
その後、図５のステップＳ６において、図５のステップＳ１の処理により入力された学習画像と、図５のステップＳ５の処理により作成された正解枠変動量マップ及び正解ラベルマップと、に基づき、１回目のＦＲＣＮＮ７１ｂの学習が行われる。
なお、図５のステップＳ６の処理においては、図５のステップＳ１で入力されたプレトレーニングデータが特徴量抽出用ＣＮＮ７２ａの初期値として用いられる。また、図５のステップＳ６の処理は、特徴量抽出用ＣＮＮ７２ａ及び候補枠分類用全結合層７２ｄの両方を最適化するために行われる。また、図５のステップＳ６の処理においては、図５のステップＳ３の処理で用いたものと同様のｌｏｓｓ関数及び最適化手法が用いられる。
その後、図５のステップＳ７において、図５のステップＳ１の処理により入力された学習画像と、図５のステップＳ２の処理により作成された正解枠変動量マップ及び正解ラベルマップと、を用い、２回目のＲＰＮ７１ａの学習が行われる。
なお、図５のステップＳ７の処理においては、特徴量抽出用ＣＮＮ７２ａが、図５のステップＳ６の処理を経て取得された１回目のＦＲＣＮＮ７１ｂの学習結果で固定されているものとする。また、図５のステップＳ７の処理は、候補枠検出用ＣＮＮ７２ｂだけを最適化するために行われる。
その後、図５のステップＳ８において、図５のステップＳ７の処理を経て構築された２回目の学習済のＲＰＮ７１ａを、図５のステップＳ１の処理により入力された学習画像に対して適用することにより、候補枠の座標値と、ポリープらしさを表すＲＰＮスコアと、がそれぞれ算出される。
その後、図５のステップＳ９において、図５のステップＳ８の処理により算出された候補枠の座標値と、図５のステップＳ１の処理により入力された正解マスク画像と、を用い、２回目のＦＲＣＮＮ７１ｂの学習用の正解枠変動量マップ及び正解ラベルマップが作成される。
その後、図５のステップＳ１０において、図５のステップＳ１の処理により入力された学習画像と、図５のステップＳ９の処理により作成された正解枠変動量マップ及び正解ラベルマップと、を用い、２回目のＦＲＣＮＮ７１ｂの学習が行われる。
なお、図５のステップＳ１０の処理においては、特徴量抽出用ＣＮＮ７２ａが、図５のステップＳ６の処理を経て取得された１回目のＦＲＣＮＮ７１ｂの学習結果で固定されているものとする。また、図５のステップＳ７の処理は、候補枠分類用全結合層７２ｄだけを最適化するために行われる。
すなわち、本実施形態の画像認識処理部６２ａは、図５に例示した一連の学習手順を経て構築された検出用ＣＮＮ７１を用い、セレクタ４２ｂを経て出力される画像（鏡面反射領域が維持された画像）におけるポリープの有無を検出するとともに、当該検出したポリープの位置及びサイズを示す検出枠を生成するように構成されている。
次に、画像認識処理部６２ｂにおいて用いられる分類用ＣＮＮの構成例等について、図６を参照しつつ説明する。図６は、第２の実施形態に係る画像処理部の鑑別支援用画像認識処理部において用いられる分類用コンボリューショナルニューラルネットワークの構成例等を説明するための概念図である。
分類用ＣＮＮ８１は、図６に示すように、鏡面反射領域が補正された入力画像に対し、コンボリューション層８１ａ及びプーリング層（サブサンプリング層）８１ｂによる処理を３回繰り返して施した後で、２層の全結合層８１ｃによる処理をさらに施すことにより、当該入力画像に含まれるポリープをＮＩＣＥ分類に従って分類して分類結果を得るように構成されている。
なお、分類用ＣＮＮ８１の各コンボリューション層８１ａは、コンボリューション処理の後に非線形関数（ＲｅＬＵ）を適用して得られる処理結果をプーリング層８１ｂへ出力するように構成されているものとする。また、分類用ＣＮＮ８１においては、入力画像に対し、コンボリューション層８１ａ及びプーリング層８１ｂによる処理が１回以上繰り返して行われればよい。また、分類用ＣＮＮ８１においては、全結合層８１ｃが１層以上存在していればよい。
一方、本実施形態においては、Ａｌｅｘ−ｎｅｔ、ＺＦＮｅｔ、ＶＧＧ−１６、ＧｏｏｇＬｅＮｅｔ、または、Ｎｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋ等を用いて分類用ＣＮＮ８１を構築することができる。そのため、ＶＧＧ−１６を用いて分類用ＣＮＮ８１を構築した場合の例について以下に説明する。
ＶＧＧ−１６を用いて構築された分類用ＣＮＮ８１においては、３×３のサイズのコンボリューションフィルターが用いられるとともに、当該コンボリューションフィルターと入力画像とのコンボリューション処理結果が非線形関数ＲｅＬＵに適用される。また、ＶＧＧ−１６を用いて構築された分類用ＣＮＮ８１においては、コンボリューション層による処理が２回または３回続いた後で、ＭａｘＰｏｏｌｉｎｇ（前層の２×２の出力の中の最大値を選択するサブサンプリング）が行われる。（なお、ＶＧＧ−１６においては、プーリングが層の数としてはカウントされない。）そして、ＶＧＧ−１６を用いて構築された分類用ＣＮＮ８１においては、１３層のコンボリューション層による処理と、５回のＭａｘ Ｐｏｏｌｉｎｇと、を経た後で、３層の全結合層による処理が行われる。
次に、分類用ＣＮＮ８１の学習手順の一例について説明する。
分類用ＣＮＮ８１の学習においては、例えば、内視鏡システム１の外部の消化器内視鏡画像データベース（以降、消化器内視鏡画像ＤＢと略記する）９１に格納された白色光画像または狭帯域光画像のような内視鏡画像を利用することができる。そして、分類用ＣＮＮ８１の学習を行う際には、例えば、内視鏡画像と、当該内視鏡画像をＮＩＣＥ分類に従って分類することにより生成したラベルと、を１組ずつ組み合わせたデータである学習データセットが用いられる。
分類用ＣＮＮ８１の学習においては、例えば、前述の学習データセットを数万組準備することができる場合には、ＶＧＧ−１６ネットワークを直接学習させることができる。但し、前述の学習データセットを十分な数だけ準備できない場合には、例えば、ＩｍａｇｅＮｅｔのような大規模画像ＤＢを用いてプレトレーニングが行われたＶＧＧ−１６ネットワークに対し、消化器内視鏡画像を含むデータセットによるファインチューニングを施すようにしてもよい。
分類用ＣＮＮ８１の学習においては、前述の学習データセットに含まれる画像が入力された際に、当該入力された画像に対するコンボリューション及びプーリングが繰返し行われることにより信号が順方向に（入力側から出力側へ）伝播し、出力層の信号と教師信号との差が誤差として算出され、当該算出された誤差が小さくなるように信号が逆方向に（出力側から入力側へ）伝播するに従って各層の重みが更新される。そして、分類用ＣＮＮ８１の学習が完了した際に、各層の重みが固定される。
そして、例えば、学習済の分類用ＣＮＮ８１に対して未知の画像が入力された場合には、当該入力された画像に対するコンボリューション及びプーリングが繰返し行われることにより信号が順方向に伝播するとともに、出力層（全結合層）から出力される各信号値に基づいて当該入力された画像が分類される。具体的には、例えば、ＮＩＣＥ分類のＴｙｐｅ１、Ｔｙｐｅ２及びＴｙｐｅ３の３つのラベルにそれぞれ対応する３つの信号値が分類用ＣＮＮ８１の出力層（全結合層）から出力されるとともに、当該３つの信号値の中で最大値を示すラベルが分類結果として取得される。
すなわち、本実施形態の画像認識処理部６２ｂは、以上に述べたような方法で構築された分類用ＣＮＮ８１を用い、セレクタ４２ｂ及び鏡面反射領域補正部４２ｃを経て出力される画像（鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像）に含まれるポリープをＮＩＣＥ分類に従って分類して分類結果を得るように構成されている。
以上に述べたように、本実施形態によれば、画像処理部４２の代わりに画像処理部６２を設けてプロセッサ４が構成されている場合であっても、第１の実施形態と同様の作用効果を発揮することができる。
なお、本実施形態によれば、例えば、分類用ＣＮＮ８１を用いて画像認識処理部６２ｂを構成する一方で、検出用ＣＮＮ７１の代わりに領域抽出用コンボリューショナルニューラルネットワーク（以降、領域抽出用ＣＮＮと略記する）を用いて画像認識処理部６２ａを構成するようにしてもよい。
領域抽出用ＣＮＮは、例えば、セレクタ４２ｂを経て出力される画像（鏡面反射領域が維持された画像）から正常な領域及びポリープが存在する領域をそれぞれ抽出して領域抽出結果を取得し、当該取得した領域抽出結果を連結処理し、連結領域を含む画像に対して鏡面反射領域を補正する処理を施し、当該処理を施した画像を分類用ＣＮＮに入力してＮＩＣＥ分類に従う分類（Ｔｙｐｅ１、Ｔｙｐｅ２またはＴｙｐｅ３）を行うように構成されている。
ここで、図７のようなネットワーク構成を含むＤｅｅｐＬａｂシステムを用いた領域抽出用ＣＮＮの構成例等について以下に説明する。図７は、ＤｅｅｐＬａｂシステムに含まれるネットワーク構成の一例を示す図である。
ＤｅｅｐＬａｂシステムにおいては、入力画像がＣＮＮ（具体的にはＶＧＧ−１６の修正モデル）に入力され、縦横の画像サイズがそれぞれ当該入力画像の１／８であるスコアマップ（所定のカテゴリの尤度を表す）がカテゴリごとに出力され、当該出力されたスコアマップがバイリニア補間により当該入力画像と同サイズの画像となるように解像度変換される。そして、入力画像及び解像度変換されたスコアマップに対して条件付き確率場（具体的にはＦｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ＣＲＦ）に係る処理が施されることにより、各画素がどのカテゴリに属するかを表す画像が出力される。
画像のカテゴリ分類用のＣＮＮをカテゴリの領域抽出用のＣＮＮに転用したものとして、例えば、全結合層を全てコンボリューション層に置き換えることにより、出力層から出力されるカテゴリ確率に空間情報が含まれるようにしたＦｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ（ＦＣＮ）が提案されている。そして、ＤｅｅｐＬａｂシステムにおいては、ＶＧＧ−１６の修正モデルとしてＦＣＮが導入されている。
ＶＧＧ−１６の修正モデルは、図８に示すように、ＶＧＧの処理を構成する４つ目と５つ目のプーリングにおけるストライドを２から１に修正し、３層ある全結合層を全てコンボリューション層に置き換えることにより、出力層からの出力が入力画像の１／８のサイズになるようにしている。また、ストライドを２から１に修正した４つ目のプーリングの直後のコンボリューション層では、フィルタの入力側のサンプリングの画素間隔を元の２倍の間隔とすることにより、フィルタ特性と入力側の画像のサンプル画素位置とを整合するようにしている。同様に、５つ目のプーリングの直後のコンボリューション層の入力側のサンプリング画素間隔を元の４倍の間隔としている。ＶＧＧ−１６の修正モデルの出力スコアマップは、入力画像の１／８のサイズとなっているため、バイリニア補間により入力画像と同じサイズに解像度変換された後で、Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ＣＲＦに係る処理を行う。
ＤｅｅｐＬａｂシステムにおいては、ＶＧＧ−１６の修正モデルの出力スコアマップに含まれる空間情報が低解像度であるため、当該出力スコアマップに対してＦｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ＣＲＦに係る処理を施すことにより、画素単位の高精度な領域抽出が行われるようにしている。また、Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ＣＲＦは、入力画像及び解像度変換されたスコアマップの入力に応じてカテゴリマップを出力するように構成されている。また、Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ＣＲＦは、スコアマップから得られるカテゴリの尤度に基づくｕｎａｒｙ ｐｏｔｅｎｔｉａｌと、入力画像の全ての画素間で計算される「似た色が近くにあるか」を示す指標及び「カテゴリ領域のスムーズさ」を示す指標に基づくｐａｉｒｗｉｓｅ ｐｏｔｅｎｔｉａｌと、を用いた反復的な処理を行うことにより、当該入力画像に含まれる各画素のカテゴリを推定する。
また、本実施形態によれば、例えば、検出用ＣＮＮ７１を用いて画像認識処理部６２ａを構成する一方で、分類用ＣＮＮ８１の代わりに前述の領域抽出用ＣＮＮを用いて画像認識処理部６２ｂを構成するようにしてもよい。なお、このような構成においては、セレクタ４２ｂから出力される画像におけるポリープを含む部分を矩形に切り出す処理により鏡面反射領域が除外された画像が画像認識処理部６２ｂに入力されることが望ましい。
また、本実施形態によれば、例えば、前述の検出用ＣＮＮ７１を適宜変形することにより、画像認識処理部６２ａ及び６２ｂの両方の機能を実現するようにしてもよい。具体的には、例えば、ＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂが別々の特徴量抽出用ＣＮＮを具備し、ポリープの探索が行われている際に、鏡面反射領域が維持された画像がＲＰＮ７１ａの特徴量抽出用ＣＮＮに入力され、ポリープの鑑別が行われている際に、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像がＦＲＣＮＮ７１ｂの特徴量抽出用ＣＮＮに入力されるようにすればよい。
なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (7)

  1. 被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得るように構成された作業状態推定部と、
    前記被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行うように構成された鏡面反射領域補正部と、
    前記作業状態推定部により得られた推定結果に基づき、前記被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、前記被検体において発見された前記所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、前記鏡面反射領域補正部により前記鏡面反射領域が補正された画像を観察画像として出力させるための制御を行うように構成された制御部と、
    を有することを特徴とする画像処理装置。
  2. 前記作業状態推定部は、前記被検体を内視鏡で撮像して得られた画像である内視鏡画像を観察しながら作業を行うユーザの作業状態を推定する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記作業状態推定部は、前記被検体を前記内視鏡で観察する際の観察モードと、前記内視鏡画像の明るさと、前記被検体を前記内視鏡で観察する際の観察倍率と、前記被検体を前記内視鏡で観察する際に用いられる観察補助具の使用状態と、前記内視鏡画像の色調と、前記内視鏡画像に含まれる前記所望の被写体の位置及びサイズと、のうちの少なくとも１つに基づいて前記作業状態を推定する
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 前記所望の被写体の有無を検出するための処理を行うように構成された第１の画像認識処理部と、
    前記所望の被写体を所定の分類基準に従って分類するための処理を行うように構成された第２の画像認識処理部と、
    をさらに有し、
    前記制御部は、前記作業状態推定部により得られた推定結果に基づき、前記第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像に対して前記第１の画像認識処理部による処理を施して得られた処理結果に応じた観察画像を出力させるための制御を行うとともに、前記第２の作業が行われていることを検出した場合に、前記鏡面反射領域補正部により前記鏡面反射領域が補正された画像に対して前記第２の画像認識処理部による処理を施して得られた処理結果に応じた観察画像を出力させるための制御を行う
    ことを特徴とする請求項１に記載の画像処理装置。
  5. 前記第１の画像認識処理部がコンボリューショナルニューラルネットワークを用いて構成されている
    ことを特徴とする請求項４に記載の画像処理装置。
  6. 前記第２の画像認識処理部がコンボリューショナルニューラルネットワークを用いて構成されている
    ことを特徴とする請求項４に記載の画像処理装置。
  7. 作業状態推定部、鏡面反射領域補正部、制御部を有する画像処理装置の作動方法であって、
    前記作業状態推定部が、被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得る第１ステップと、
    前記鏡面反射領域補正部が、前記被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行う第２ステップと、
    前記制御部が、前記第１ステップにより得られた推定結果に基づき、前記被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、前記被検体において発見された前記所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、前記第２ステップにより前記鏡面反射領域が補正された画像を観察画像として出力させるための制御を行う第３ステップと、
    を有することを特徴とする画像処理装置の作動方法。
JP2018555385A 2016-12-07 2016-12-07 画像処理装置及び画像処理装置の作動方法 Active JP6751773B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086408 WO2018105062A1 (ja) 2016-12-07 2016-12-07 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018105062A1 JPWO2018105062A1 (ja) 2019-10-24
JP6751773B2 true JP6751773B2 (ja) 2020-09-09

Family

ID=62492311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555385A Active JP6751773B2 (ja) 2016-12-07 2016-12-07 画像処理装置及び画像処理装置の作動方法

Country Status (3)

Country Link
US (1) US10491813B2 (ja)
JP (1) JP6751773B2 (ja)
WO (1) WO2018105062A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211709A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 ブレ補正装置、内視鏡装置及びブレ補正方法
US20190095764A1 (en) * 2017-09-26 2019-03-28 Panton, Inc. Method and system for determining objects depicted in images
CN108830144B (zh) * 2018-05-03 2022-02-22 华南农业大学 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法
EP3807650A4 (en) 2018-06-15 2021-11-17 Siemens Healthcare Diagnostics, Inc. SAMPLE CONTAINER CHARACTERIZATION USING A SINGLE DEEP NEURONAL NETWORK IN END-TO-END LEARNING MODE
CN112437948A (zh) 2018-07-31 2021-03-02 奥林巴斯株式会社 图像诊断支援系统及图像诊断支援装置
CN109447973B (zh) 2018-10-31 2021-11-26 腾讯医疗健康(深圳)有限公司 一种结肠息肉图像的处理方法和装置及系统
CN109657665B (zh) * 2018-10-31 2023-01-20 广东工业大学 一种基于深度学习的发票批量自动识别系统
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
CN113473899A (zh) * 2019-02-26 2021-10-01 奥林巴斯株式会社 内窥镜装置以及程序
US10929669B2 (en) * 2019-06-04 2021-02-23 Magentiq Eye Ltd Systems and methods for processing colon images and videos
WO2021146904A1 (zh) * 2020-01-21 2021-07-29 云象科技股份有限公司 内视镜检测系统及其方法
CN111881854A (zh) * 2020-07-31 2020-11-03 上海商汤临港智能科技有限公司 动作识别方法、装置、计算机设备及存储介质
WO2022097294A1 (ja) * 2020-11-09 2022-05-12 オリンパス株式会社 情報処理システム、内視鏡システム及び情報処理方法
WO2023286199A1 (ja) * 2021-07-14 2023-01-19 アイリス株式会社 処理装置、処理プログラム、処理方法及び処理システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3689212B2 (ja) * 1997-01-17 2005-08-31 オリンパス株式会社 画像処理装置
JP4885388B2 (ja) 2001-09-25 2012-02-29 オリンパス株式会社 内視鏡挿入方向検出方法
US7599576B2 (en) * 2004-01-23 2009-10-06 Electro Scientific Industries, Inc. Image subtraction of illumination artifacts
WO2008102205A2 (en) * 2006-08-09 2008-08-28 Fotonation Vision Limited Detection of airborne flash artifacts using preflash image
CN102301391B (zh) * 2009-01-27 2013-07-17 日本电气株式会社 彩色图像处理方法、彩色图像处理设备以及彩色图像处理程序
JP5533670B2 (ja) * 2009-01-29 2014-06-25 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
JP5438634B2 (ja) * 2010-08-31 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP2014174132A (ja) * 2013-03-13 2014-09-22 Ricoh Co Ltd 光学センサ及び画像形成装置
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
EP3089102B1 (en) * 2013-12-03 2019-02-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US9752974B2 (en) * 2014-04-21 2017-09-05 Buglab Llc Particle sensor with interferent discrimination
JP2016076851A (ja) * 2014-10-07 2016-05-12 株式会社リコー 撮像装置、画像処理方法、及びプログラム
JP2016209466A (ja) * 2015-05-13 2016-12-15 ソニー株式会社 内視鏡装置及び内視鏡装置の制御方法
JP6523085B2 (ja) * 2015-07-21 2019-05-29 株式会社沖データ 画像形成装置および情報処理装置

Also Published As

Publication number Publication date
JPWO2018105062A1 (ja) 2019-10-24
WO2018105062A1 (ja) 2018-06-14
US10491813B2 (en) 2019-11-26
US20190268538A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6751773B2 (ja) 画像処理装置及び画像処理装置の作動方法
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
JP6833870B2 (ja) 画像処理装置
KR102028780B1 (ko) 영상 내시경 시스템
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
CN112423645B (zh) 内窥镜系统
WO2023103467A1 (zh) 图像处理方法、装置及设备
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
US11298012B2 (en) Image processing device, endoscope system, image processing method, and program
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
US20210343011A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JP6952214B2 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
JP2021086350A (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
WO2020194568A1 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
US20210385367A1 (en) Endoscope apparatus, information storage medium, control method of endoscope apparatus, and processing device
JPWO2020174747A1 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
JP7451680B2 (ja) 処理システム、画像処理方法、学習方法及び処理装置
JP6925501B2 (ja) 画像処理装置及び内視鏡システム
US20220222840A1 (en) Control device, image processing method, and storage medium
KR102637484B1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
US20240049944A1 (en) Recording Medium, Method for Generating Learning Model, and Surgery Support Device
CN115066196A (zh) 医用图像处理装置、内窥镜系统、医用图像处理方法及程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R151 Written notification of patent or utility model registration

Ref document number: 6751773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250