JP7270626B2 - 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体 - Google Patents

医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
JP7270626B2
JP7270626B2 JP2020530054A JP2020530054A JP7270626B2 JP 7270626 B2 JP7270626 B2 JP 7270626B2 JP 2020530054 A JP2020530054 A JP 2020530054A JP 2020530054 A JP2020530054 A JP 2020530054A JP 7270626 B2 JP7270626 B2 JP 7270626B2
Authority
JP
Japan
Prior art keywords
image
classification
area
unit
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020530054A
Other languages
English (en)
Other versions
JPWO2020012872A1 (ja
Inventor
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020012872A1 publication Critical patent/JPWO2020012872A1/ja
Priority to JP2023071374A priority Critical patent/JP2023083555A/ja
Application granted granted Critical
Publication of JP7270626B2 publication Critical patent/JP7270626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Description

本発明は医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラムに係り、特に医用画像における病変の自動分類に関する。
医療分野においては、内視鏡システム等のモダリティを用いた検査が行われている。近年、内視鏡スコープを用いて撮像した時系列画像である内視鏡画像等の医用画像を解析して、内視鏡画像に含まれる病変を自動分類し、分類結果を提供する技術が知られている。なお、本明細書において、画像の分類と画像の鑑別とは同じ概念として取り扱うこととする。
特許文献１は、内視鏡を用いて撮像した画像における特徴的な病変部位の検出を支援する内視鏡画像処理システムが記載されている。同文献に記載の内視鏡画像処理システムは、病変推定機能を実行した場合、モニタに表示した画像の中で病変部位と推定される位置を点線で囲んで表示する。
特許文献２は、血管が撮像されている撮像画像の全体の濃淡についてテクスチャ解析を行い、テクスチャ解析の結果を用いて、非腫瘍、及び腺腫等の病理診断に対応した分類を行う画像処理システムが記載されている。同文献には、分類の正解確率を表示する例が記載されている。
特許文献３は、内視鏡装置を用いて撮像した体腔内の画像から診断に不適切な画像を除く内視鏡装置が記載されている。
特許文献４は、医用観察装置を用いて生体内管腔を時系列で撮像した時系列画像を処理する画像処理装置が記載されている。同文献に記載の画像処理装置は、時系列画像を構成する画像内の正常粘膜の領域を特定領域として判別する。また、同文献に記載の画像処理装置は、特定領域の信頼度を算出する。
特許第５５２８２５５号公報 特開２０１７－７０６０９号公報 特許第４６１５９６３号公報 特許第５５７６７１１号公報
内視鏡装置を用いた体腔内の検査において発見された病変の病種を、ＡＩ（Artificial Intelligence）を用いて自動分類を実施する場合、自動分類を実施するＡＩは、検査中に取得した画像を入力として分類結果を出力する。
しかしながら、検査の際に取得した画像は、病変が存在しているにも関わらず、病変が何らかの物体に隠れている場合など病変の一部が写っていないもの、病変が写っていてもぼけているものなど、ＡＩを用いた分類に適していない画像も含まれる。このような場合は、ＡＩは不適切な分類結果を出力してしまう可能性がある。
特許文献１から特許文献４に記載の発明は、上記した自動分類に適していない画像を分類する場合、不適切な分類結果が出力されるおそれがある。一方、分類結果が適切であるか否かを観察者が判定することは困難である。
本発明はこのような事情に鑑みてなされたもので、医用画像の自動分類において分類が適切であるか否かを観察者が把握し得る医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、次の発明態様を提供する。
第１態様に係る医用画像処理装置は、生体を撮像して生成された撮像画像を取得する画像取得部と、撮像画像を二つ以上のクラスに分類する分類部と、分類部の分類対象の撮像画像における、分類部を用いた分類に寄与した領域の位置を可視化した領域画像を生成する画像生成部と、撮像画像、分類部を用いて導出した分類結果、及び領域画像を表す表示信号を表示装置へ送信する表示信号送信部と、を備え、表示信号送信部は、領域画像を撮像画像と別に表示する表示信号を表示装置へ送信する医用画像処理装置である。
第１態様によれば、撮像画像を二つ以上のクラスに分類し、撮像画像において分類に寄与した領域を可視化した領域画像を生成し、表示装置を用いて領域画像を撮像画像と別に表示させる。これにより、観察者は分類に寄与した領域を把握でき、分類が適切であるか否かを把握し得る。
撮像画像は、医療機器を用いて撮像された医用画像を適用し得る。医用画像とは、内視鏡装置、ＣＴ装置、ＭＲＩ装置、及びＸ線撮像装置等のモダリティを用いて生成された生体を撮像した画像を表す。
クラスとして、規定の医療分類を適用し得る。
第２態様は、第１態様の医用画像処理装置において、画像生成部は、撮像画像の分類結果に応じて領域画像の可視化形態を変更する構成としてもよい。
第２態様によれば、分類の区別を認識し易くなる。
可視化形態の例として、色を用いた可視化形態、及び位置を変更する可視化形態が挙げられる。これらを併用する可視化形態も可能である。
第３態様は、第１態様又は第２態様の医用画像処理装置において、分類部は、撮像画像から取得した特徴量に基づいて撮像画像を分類し、画像生成部は、特徴量に基づいて領域画像を生成する構成としてもよい。
第３態様によれば、撮像画像の特徴量に基づく領域画像の生成が可能となる。
第３態様において、撮像画像を複数の領域に分割し、領域ごとに特徴量を算出し、領域ごとの特徴に基づき撮像画像における分類に寄与した領域を特定してもよい。
第４態様は、第１態様又は第２態様の医用画像処理装置において、分類部は、学習済みの深層学習器が適用され、画像生成部は、深層学習器における中間層の情報に基づいて領域画像を生成する構成としてもよい。
第４態様によれば、学習済みの深層学習器の中間層の情報に基づく領域画像の生成が可能となる。
第５態様は、第１態様から第４態様のいずれか一態様の医用画像処理装置において、分類部は、撮像画像に設定された複数の領域ごとに、クラスへの帰属度合いを算出し、帰属度合いに基づいて撮像画像の分類を行う構成としてもよい。
第５態様によれば、帰属度合いに基づく分類が可能である。
帰属度合いの例として、クラスへの帰属確率、及びクラスのスコアが挙げられる。
第６態様は、第５態様の医用画像処理装置において、画像生成部は、帰属度合いに基づいて領域画像を生成する構成としてもよい。
第６態様によれば、帰属度合いに基づく領域画像の生成が可能である。
第７態様は、第１態様から第６態様のいずれか一態様の医用画像処理装置において、分類部は、領域画像に基づく分類の例外判定を行い、表示信号送信部は、分類部を用いた例外判定の結果を表す表示信号を表示装置へ送信する構成としてもよい。
第７態様によれば、分類が困難な撮像画像について、不適切な分類結果の出力を抑制し得る。
表示信号送信部は、分類結果に代わり、例外判定の結果を表す表示信号を表示装置へ送信し得る。表示信号送信部は、分類結果、及び例外判定の結果を表す表示信号を表示装置へ送信し得る。
第８態様は、第７態様の医用画像処理装置において、分類部は、領域画像に基づいて、分類部を用いて導出された分類結果の信頼度を算出し、表示信号送信部は、信頼度を表す表示信号を表示装置へ送信する構成としてもよい。
第８態様によれば、分類の信頼度を把握し得る。
第９態様は、第８態様の医用画像処理装置において、前記撮像画像の記憶指示を取得する記憶指示取得部と、前記撮像画像を記憶する記憶部と、を備え、前記記憶部は、前記撮像画像の記憶指示に基づいて前記記憶部へ前記撮像画像を記憶する際に、前記撮像画像に前記分類結果、前記例外判定の結果、及び前記分類結果の信頼度の少なくともいずれかを関連付けする構成としてもよい。
第９態様によれば、撮像画像及び撮像画像に関連付けされた情報を利用し得る。また、撮像画像に関連付けされた情報を確認し得る。
第１０態様は、第１態様から第９態様のいずれか一態様の医用画像処理装置において、表示信号送信部は、分類結果の文字情報を表す表示信号を表示装置へ送信する構成としてもよい。
第１０態様によれば、文字情報に基づき分類結果を把握し得る。
文字情報は、言語の種類を問わない。文字情報は省略語を適用し得る。
第１１態様に係る医用画像処理システムは、生体を撮像して生成された撮像画像を取得する画像取得部と、撮像画像を二つ以上のクラスに分類する分類部と、分類部の分類対象の撮像画像における、分類部を用いた分類に寄与した領域の位置を可視化した領域画像を生成する画像生成部と、撮像画像、及び領域画像を表示する表示装置と、撮像画像、及び領域画像を表す表示信号を表示装置へ送信する表示信号送信部と、を備え、表示信号送信部は、領域画像を撮像画像と別に表示する表示信号を表示装置へ送信する医用画像処理システムである。
第１１態様によれば、第１態様と同様の効果を得ることができる。
第１１態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像処理システムの構成要素として把握することができる。
第１２態様に係る医用画像処理方法は、生体を撮像して生成された撮像画像を取得する画像取得工程と、撮像画像を二つ以上のクラスに分類する分類工程と、分類工程の分類対象の撮像画像における、分類工程において分類に寄与した領域の位置を可視化した領域画像を生成する画像生成工程と、撮像画像、分類工程において導出した分類結果、及び領域画像を表す表示信号を表示装置へ送信する表示信号送信工程と、を含み、表示信号送信工程は、領域画像を撮像画像と別に表示する表示信号を表示装置へ送信する医用画像処理方法である。
第１２態様によれば、第１態様と同様の効果を得ることができる。
第１２態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像処理方法の構成要素として把握することができる。
第１３態様に係るプログラムは、コンピュータに、生体を撮像して生成された撮像画像を取得する画像取得機能、撮像画像を二つ以上のクラスに分類する分類機能、分類機能の分類対象の撮像画像における、分類機能を用いて分類に寄与した領域の位置を可視化した領域画像を生成する画像生成機能、及び撮像画像、分類機能を用いて導出した分類結果、及び領域画像を表す表示信号を表示装置へ送信する表示信号送信機能であり、領域画像を撮像画像と別に表示する表示信号を表示装置へ送信する表示信号送信機能を実現させるプログラムである。
第１３態様によれば、第１態様と同様の効果を得ることができる。
第１３態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
本発明によれば、撮像画像を二つ以上のクラスに分類し、撮像画像において分類に寄与した領域を可視化した領域画像を生成し、表示装置を用いて領域画像を撮像画像と別に表示させる。これにより、観察者は分類に寄与した領域を把握でき、分類が適切であるか否かを把握し得る。
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。 図２は医用画像処理装置のハードウェア構成を示すブロック図である。 図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。 図４は第一実施形態に適用される表示画面の説明図である。 図５は比較例に係る表示画面の説明図である。 図６は分類結果の信頼性が低い場合の表示画面の説明図である。 図７は分類結果の信頼性が低い場合の他の例を示す表示画面の説明図である。 図８は複数の病変が存在する場合の表示画面の説明図である。 図９は分類結果の表示例の説明図である。 図１０は分類結果として帰属確率を表示する例の説明図である。 図１１は分類結果としてスコアを表示する例の説明図である。 図１２は医用画像処理方法の手順を示すフローチャートである。 図１３は領域画像の変形例に係る表示画面の説明図である。 図１４は分類結果の第一変形例に係る表示画面の説明図である。 図１５は分類結果の第二変形例に係る表示画面の説明図である。 図１６は寄与度に応じた濃淡が適用される領域画像の説明図である。 図１７は寄与度に応じたヒートマップが適用される領域画像の説明図である。 図１８はコンボリューションニューラルネットワークを適用した分類部の構成例を示すブロック図である。 図１９はコンボリューションニューラルネットワークの特徴量の形状変遷の概念図である。 図２０はコンボリューションニューラルネットワークの中間層の情報に基づく可視化の概念図である。 図２１はセグメンテーション技術の説明図である。 図２２は検出不能を示す表示画面の説明図である。 図２３は判定不能を示す表示画面の説明図である。 図２４は第三実施形態に係る医用画像処理装置の機能ブロック図である。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。
［内視鏡システムの全体構成］
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。図１に示す内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、医用画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。
内視鏡１０は電子内視鏡である。また、内視鏡１０は軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。
挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。
撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。
先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓は図示しないカバーが取り付けられる。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。
操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、二種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、観察者、及びユーザなどと呼ばれることがあり得る。
操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。
操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に、術者が操作する。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。静止画像は符号３９を付して図３に図示する。
ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。
また、ユニバーサルコード２２の先端部は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、かつプロセッサ装置１２に接続されるコネクタ３７ｂを備える。
コネクタ３７ａを光源装置１１に接続すると、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。
その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。
コネクタ３７ｂをプロセッサ装置１２に接続すると、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置１２から内視鏡１０へ制御信号が出力される。
本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。
光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。
白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、一種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域の光は、特殊光と呼ばれる場合がある。
プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。
プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像３９が含まれてもよい。なお、動画像は符号３８ａを付して図３に図示する。実施形態に示す内視鏡画像３８は撮像画像の一例である。
プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。静止画像３９は、動画像の解像度に対して高解像度に生成されていてもよい。
内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。
内視鏡画像３８は、被検体内、すなわち生体内を撮像した生体内画像である。内視鏡画像３８が、特定の波長帯域の光を用いて撮像して得られた画像である場合、内視鏡画像３８は特殊光画像である。そして、プロセッサ装置１２は、生成した内視鏡画像３８を表示装置１３と医用画像処理装置１４とのそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、図示しないネットワークを介して内視鏡画像３８を、図示しない記憶装置へ出力してもよい。なお、ネットワークは図２に図示するネットワーク１４０を適用し得る。
表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。
医用画像処理装置１４は、コンピュータが用いられる。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。
医用画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、医用画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
医用画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。医用画像処理装置１４は、モニタ装置１６の再生制御を行う。なお、明細書における画像という用語は、画像を表す電気信号、及び画像を表す情報等の画像データという意味が含まれている。本明細書における画像という用語は、画像自身、及び画像データの少なくともいずれかを意味している。
また、画像の記憶という用語は、画像の保存と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。医用画像処理装置１４は画像を一時記憶する一時記憶用のメモリを備えてもよい。
入力装置１５は、医用画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、医用画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、医用画像処理装置１４における各種情報の表示部として機能してもよい。
医用画像処理装置１４は、図１に図示しないネットワークを介して、図示しない記憶装置と接続され得る。画像の格納形式、及びネットワークを経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。
図示しない記憶装置は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。
実施形態に示す医用画像処理装置１４、及びモニタ装置１６を含む構成は、医用画像処理システムの一例である。
［第一実施形態に係る医用画像処理装置の説明］
〔医用画像処理装置のハードウェア構成〕
図２は医用画像処理装置のハードウェア構成を示すブロック図である。図２に示す医用画像処理装置１４は、制御部１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、電源装置１２８、ディスプレイコントローラ１３０、入出力インターフェース１３２、及び入力コントローラ１３４を備える。なお、図２に示すＩ／Ｏは入出力インターフェース１３２を表す。
制御部１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、ディスプレイコントローラ１３０、及び入出力インターフェース１３２は、バス１３６を介してデータ通信が可能に接続される。
〈制御部〉
制御部１２０は、医用画像処理装置１４の全体制御部、各種演算部、及び記憶制御部として機能する。制御部１２０は、メモリ１２２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。
制御部１２０は、ネットワークコントローラ１２６を介して、図示しない外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１４０を介して医用画像処理装置１４と通信可能に接続されていてもよい。
制御部１２０は、メモリ１２２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、医用画像処理装置１４の各種機能が実現される。
制御部１２０は、ストレージ装置１２４からのデータの読み出し、及びストレージ装置１２４へのデータの書き込みを制御する。制御部１２０は、ネットワークコントローラ１２６を介して、外部の記憶装置から各種データを取得してもよい。制御部１２０は、取得した各種データを用いて、演算等の各種処理を実行可能である。
制御部１２０は、一つ、又は二つ以上のプロセッサ（processor）が含まれてもよい。プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）、及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ、及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。
プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
制御部１２０は、同じ種類の二つ以上のプロセッサを適用可能である。例えば、制御部１２０は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。制御部１２０は、異なる種類の二つ以上プロセッサを適用してもよい。例えば、制御部１２０は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。
複数の制御部１２０を備える場合、複数の制御部１２０は一つのプロセッサを用いて構成してもよい。複数の制御部１２０を一つのプロセッサで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数の制御部１２０として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。
複数の制御部１２０を一つのプロセッサで構成する他の例として、複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On a Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
このように、制御部１２０は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。
〈メモリ〉
メモリ１２２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、医用画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部１２０のワーク領域等として機能する。
〈ストレージ装置〉
ストレージ装置１２４は、各種データを非一時的に記憶する。ストレージ装置１２４は、医用画像処理装置１４の外部に外付けされてもよい。ストレージ装置１２４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
〈ネットワークコントローラ〉
ネットワークコントローラ１２６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１２６を介して接続されるネットワーク１４０は、ＬＡＮなどの公知のネットワークを適用し得る。
〈電源装置〉
電源装置１２８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置１２８は停電等に起因して商用電源が遮断された際に、医用画像処理装置１４の各部へ電源を供給する。
〈ディスプレイコントローラ〉
ディスプレイコントローラ１３０は、制御部１２０から送信される指令信号に基づいてモニタ装置１６を制御するディスプレイドライバーとして機能する。
〈入出力インターフェース〉
入出力インターフェース１３２は、医用画像処理装置１４と外部機器とを通信可能に接続する。入出力インターフェース１３２は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。
〈入力コントローラ〉
入力コントローラ１３４は、入力装置１５を用いて入力された信号の形式を医用画像処理装置１４の処理に適した形式に変換する。入力コントローラ１３４を介して入力装置１５から入力された情報は、制御部１２０を介して各部へ送信される。
なお、図２に示す医用画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。なお、図２に示す医用画像処理装置１４のハードウェア構成は、第一実施形態の他の実施形態にも適用可能である。
〔医用画像処理装置の機能ブロックの説明〕
図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。医用画像処理装置１４は、画像取得部４０、画像処理部４２、表示制御部４４、及び記憶部４６を備える。画像取得部４０は、プロセッサ装置１２から内視鏡画像３８を取得する。画像取得部４０は、内視鏡画像３８を内視鏡画像記憶部４６ａへ記憶する。
画像取得部４０は、メモリカード等の情報記憶媒体を介して、プロセッサ装置１２から内視鏡画像３８を取得してもよい。画像取得部４０は、図２に示すネットワーク１４０を介して内視鏡画像３８を取得してもよい。
すなわち、画像取得部４０は、時系列のフレーム画像３８ｂから構成される動画像３８ａを取得し得る。画像取得部４０は動画像３８ａの撮像途中に静止画撮影が実施された場合に、静止画像３９を取得し得る。
画像処理部４２は、分類部４８、領域画像生成部５０を備える。分類部４８は、内視鏡画像３８から病変の自動分類を行う。本明細書における分類という用語は、鑑別と読み替えが可能である。
すなわち、分類部４８は、内視鏡画像３８を規定のクラスに分類し、分類結果を導出し得る。分類部４８は、内視鏡画像３８の自動分類の際に、動画像３８ａを構成するフレーム画像３８ｂにクラスの情報を付与する。分類部４８は、全てのフレーム画像３８ｂに対してクラスの情報を付与してもよいし、数フレームごとのフレーム画像３８ｂに対してクラスの情報を付与してもよい。分類部４８は、静止画像３９にクラスの情報を付与してもよい。なお、クラス、及びクラスの情報は、分類結果と読み替えが可能である。
分類部４８は、分類結果をフレーム画像３８ｂと関連付けして分類記憶部４６ｂへ記憶する。下記の表１に分類部４８に適用されるクラスの例を示す。
Figure 0007270626000001
なお、上記の表１に記載のＮＩＣＥは、NBI International Colorectal Endoscopic Classificationの省略語である。ＮＢＩは、Narrow Band Imagingの省略語である。ＪＮＥＴは、The Japan NBI Expert Teamの省略語である。
領域画像生成部５０は、内視鏡画像３８において、分類に寄与した領域を表す領域画像を生成する。領域画像生成部５０は、領域画像を領域画像記憶部４６ｃへ記憶する。領域画像は符号２０８を用いて図４に図示する。
表示制御部４４は、内視鏡画像３８、及び領域画像生成部５０を用いて生成された領域画像をモニタ装置１６へ表示させる表示制御信号をモニタ装置１６へ送信する。表示制御部４４は、分類部４８を用いて導出された内視鏡画像３８の分類結果を表す文字情報をモニタ装置１６へ表示させる表示制御信号をモニタ装置１６へ送信する。実施形態に示す表示制御部４４は表示信号送信部の一例である。
モニタ装置１６は、内視鏡画像３８、領域画像、及び分類結果を表す文字情報を同一画面に表示する。モニタ装置１６は、内視鏡画像３８と領域画像とを画面における別の領域に表示する。分類結果を表す文字情報は符号２１２を用いて図４に図示する。モニタ装置１６を用いて表示する画面の詳細は後述する。
記憶部４６は、内視鏡画像記憶部４６ａ、分類記憶部４６ｂ、及び領域画像記憶部４６ｃを備える。内視鏡画像記憶部４６ａは、画像取得部４０を用いて取得した内視鏡画像３８を記憶する。
画像処理部４２は、内視鏡画像記憶部４６ａに記憶されている内視鏡画像３８を読み出し、内視鏡画像３８の画像処理を実施する。表示制御部４４は、内視鏡画像記憶部４６ａに記憶されている内視鏡画像３８を読み出して、モニタ装置１６へ内視鏡画像３８を表示させる。
分類記憶部４６ｂは、分類部４８を用いて分類された内視鏡画像３８のクラスが内視鏡画像３８と関連付けして記憶される。具体的には、分類記憶部４６ｂは、動画像３８ａを構成するフレーム画像３８ｂのクラスがフレーム画像３８ｂと対応付けして記憶される。表示制御部４４は、分類記憶部４６ｂから分類結果を読み出し、モニタ装置１６へ分類結果を表す文字情報等を表示させる。
領域画像記憶部４６ｃは、領域画像生成部５０を用いて生成された領域画像が記憶される。表示制御部４４は、領域画像記憶部４６ｃから領域画像を読み出し、モニタ装置１６へ領域画像を表示させる。
図３に示す記憶部４６は、一つ以上の記憶素子を適用し得る。すなわち、記憶部４６は、内視鏡画像記憶部４６ａ、分類記憶部４６ｂ、及び領域画像記憶部４６ｃのそれぞれに対応する三つの記憶素子を備え得る。また、内視鏡画像記憶部４６ａ、分類記憶部４６ｂ、及び領域画像記憶部４６ｃは、それぞれ複数の記憶素子を適用し得る。さらに、内視鏡画像記憶部４６ａ、分類記憶部４６ｂ、及び領域画像記憶部４６ｃのうち二つ又は全てを、一つの記憶素子を用いて構成し得る。
〔モニタ装置に表示する表示画面の説明〕
〈領域画像の説明〉
図４は第一実施形態に適用される表示画面の説明図である。図４に示す表示画面２００は、内視鏡画像表示領域２０２、領域画像表示領域２０４、及び分類結果表示領域２０６を含む。
内視鏡画像表示領域２０２は、内視鏡画像３８が表示される領域である。内視鏡画像表示領域２０２は、静止画像３９を表示し得る。内視鏡画像表示領域２０２は、内視鏡画像３８と静止画像３９とを切り替えて表示させ得る。符号２０９は内視鏡画像３８の分類に寄与した領域である分類寄与領域２０９を表す。図４には、分類寄与領域２０９を模式的に示す。
領域画像表示領域２０４は、領域画像２０８が表示される。領域画像２０８は分類寄与対応領域２１０がハイライト表示される。分類寄与対応領域２１０は、分類寄与領域２０９に対応する、領域画像２０８における領域である。
分類結果表示領域２０６は、分類結果を表す文字情報２１２が表示される。図４には、文字情報２１２として、腫瘍の英語表記であるneoplasticが分類結果表示領域２０６に表示される例を示す。なお、文字情報２１２は言語の種類を問わない。すなわち、文字情報２１２は日本語表記、又は英語以外の外国語表記を適用し得る。また、文字情報２１２は省略語を適用し得る。
図５は比較例に係る表示画面の説明図である。比較画面２２０は自動分類の結果を表示するものであり、内視鏡画像３８から腫瘍２２２が発見され、内視鏡画像３８が腫瘍に分類された例である。比較画面２２０は、内視鏡画像３８、及び分類結果を表す文字情報２１２が表示される。なお、図５では腫瘍２２２を模式的に図示した。
図５に示す比較画面２２０は、分類結果を表す文字情報２１２を表示しているが、内視鏡画像３８が分類困難な場合は、間違った分類結果が出されることがあり得る。一方、図４に示す表示画面２００は、内視鏡画像３８に対応する領域画像２０８を表示させ、領域画像２０８に分類寄与対応領域２１０を表示する。これにより、観察者は、分類部４８が内視鏡画像３８のどの領域に基づき分類を行っているかを視覚的に把握し得る。また、領域画像２０８は分類結果の信頼性の指標となり得る。
図６は分類結果の信頼性が低い場合の表示画面の説明図である。図６に示す表示画面２００ａは、分類結果が誤っている場合であり、内視鏡画像３８の腫瘍２２２とは別の領域に基づいて分類がされた場合の例を示す。
図６に示す領域画像２０８ａは、分類寄与対応領域２１０ａとされるべき領域とは異なる領域２３０が、分類寄与対応領域として表示されている。
図７は分類結果の信頼性が低い場合の他の例を示す表示画面の説明図である。図７に示す表示画面２００ｂは、内視鏡画像３８の腫瘍２２２を見つけられない場合の例である。
図７に示す領域画像２０８ｂは、分類寄与対応領域とされるべき領域２１０ｂが非表示となっている。図７に示す表示画面２００ｂが表示される場合は、腫瘍２２２がぼけている、及び腫瘍２２２のサイズの小さい等の理由に起因して、分類部４８が分類対象を見つけられないことが考えられる。
かかる場合は、操作者が図１に示す内視鏡１０を操作して、ピントを合わせるか、又は病変、及び病変の周囲を拡大表示することにより、分類部４８は正しい分類を行うことが可能となる。すなわち、内視鏡画像３８と併せて領域画像２０８を表示させた場合、分類部４８に正しい分類結果を導出させるための操作者への操作の示唆になり得る。
本実施形態では、一つのモニタ装置１６に表示される表示画面２００に、内視鏡画像表示領域２０２、及び領域画像表示領域２０４を表示する例を示したが、二つのモニタ装置の一方に内視鏡画像表示領域２０２を含む表示画面２００を表示し、他方に領域画像表示領域２０４を含む表示画面２００を表示してもよい。
また、一つのモニタ装置１６に表示される一つの表示画面２００において、内視鏡画像表示領域２０２と領域画像表示領域２０４とを時分割で切り替えて表示してもよい。さらに、内視鏡画像表示領域２０２に領域画像表示領域２０４を重畳表示させてもよい。例えば、図７に示す内視鏡画像表示領域２０２の左下隅など、内視鏡画像表示領域２０２において内視鏡画像３８の観察の邪魔にならない位置に領域画像表示領域２０４を重畳表示させ得る。
観察者は精緻な操作をしながら内視鏡画像の観察を行うために、視点移動を嫌う傾向がある。内視鏡画像表示領域２０２に領域画像表示領域２０４を重畳表示させた場合、表示画面２００ｂにおける内視鏡画像表示領域２０２と領域画像表示領域２０４とが、より近い位置に配置される。これにより、観察者の視点移動が少なくなるという効果を奏する。
図８は複数の病変が存在する場合の表示画面の説明図である。図８に示す表示画面２００ｄは、内視鏡画像３８に存在する複数の病変に対応して、第一分類寄与領域２０９ａ及び第二分類寄与領域２０９ｂが抽出される。
領域画像２０８ｇには、第一分類寄与領域２０９ａに対応する第一分類寄与対応領域２１０ｇ、及び第二分類寄与領域２０９ｂに対応する第二分類寄与対応領域２１０ｈが表示される。第一分類寄与対応領域２１０ｇ及び第二分類寄与対応領域２１０ｈはそれぞれを区別可能な表示態様が適用される。
また、表示画面２００ｄの分類結果表示領域２０６ａは、第一分類寄与対応領域２１０ｇに対応する第一分類結果を表す第一文字情報２１２ｅ、及び第二分類寄与対応領域２１０ｈに対応する第二分類結果を表す第二文字情報２１２ｆが表示される。
非腫瘍性の病変と腫瘍性の病変のように異なる分類の病変が存在する場合、内視鏡画像３８から一つの分類結果を出力するシステムでは、適切な分類結果を返すことが困難である。一方、本実施形態に係る医用画像処理装置１４では、図８に示すように、領域画像２０８ｇに分類ごとの表示態様を用いて、第一分類寄与領域２０９ａ及び第二分類寄与領域２０９ｂを可視化する。これにより、内視鏡画像３８に複数の病変が存在し、かつ複数の病変の分類が異なる場合でも、適切な分類結果を得ることが可能となる。
〈分類結果表示の説明〉
図９は分類結果の表示例の説明図である。図９には、分類結果として特定のクラスが表示される例を示す。図９に示す文字情報２１２ａは、分類結果がＮＩＣＥ１であることを表す。
図１０は分類結果として帰属確率を表示する例の説明図である。図１０には、分類結果として各クラスの帰属確率が表示される例を示す。図１０に示す文字情報２１２ｂは、ＮＩＣＥ１の帰属確率が９８パーセント、ＮＩＣＥ２の帰属確率が２パーセント、及びＮＩＣＥ３の帰属確率が０パーセントであることを表す。
図１０に示す文字情報２１２ｂは、ＮＩＣＥ１の帰属確率が９８パーセントであることを表す文字のみでもよい。図１０に示す文字情報２１２ｂは、ＮＩＣＥ１の帰属確率が９８パーセント、及びＮＩＣＥ２の帰属確率が２パーセントであることを表す文字でもよい。
図１１は分類結果としてスコアを表示する例の説明図である。図１１には、分類結果として各クラスのスコアが表示される例を示す。図１１に示す文字情報２１２ｃは、ＮＩＣＥ１のスコアが１．２３、ＮＩＣＥ２のスコアが０．００２、及びＮＩＣＥ３のスコアが０．０５であることを表す。図１０に示す帰属確率、及び図１１に示すスコアは、クラスの帰属度合いの一例である。
〔医用画像処理方法の手順〕
図１２は医用画像処理方法の手順を示すフローチャートである。内視鏡画像取得工程Ｓ１０では、図３に示す画像取得部４０は内視鏡画像３８を取得する。内視鏡画像記憶工程Ｓ１２では、画像取得部４０は内視鏡画像記憶部４６ａへ内視鏡画像取得工程Ｓ１０において取得した内視鏡画像３８を記憶する。
分類工程Ｓ１４では、分類部４８は内視鏡画像３８を規定のクラスに分類する。分類結果記憶工程Ｓ１６では、分類部４８は分類記憶部４６ｂへ分類工程Ｓ１４において導出された分類結果を記憶する。
領域画像生成工程Ｓ１８では、領域画像生成部５０は、分類結果に基づいて図４に示す領域画像２０８等の領域画像を生成する。領域画像記憶工程Ｓ２０では、領域画像生成部５０は領域画像生成工程Ｓ１８において生成された領域画像を領域画像記憶部４６ｃへ記憶する。
表示信号送信工程Ｓ２２では、表示制御部４４はモニタ装置１６へ表示信号を送信する。表示制御部４４からモニタ装置１６へ送信される表示信号は、内視鏡画像３８、及び領域画像２０８を表す表示信号が含まれる。表示制御部４４からモニタ装置１６へ送信される表示信号は、分類結果が表す表示信号が含まれてもよい。
〔表示画面の変形例〕
〈領域画像の変形例〉
図１３は領域画像の変形例に係る表示画面の説明図である。図１３に示す表示画面２００ｃは領域画像２０８ｃの背景に内視鏡画像３８を縮小した画像が合成される。すなわち、領域画像２０８ｃは、縮小した内視鏡画像３８に分類寄与対応領域２１０が重畳表示される。内視鏡画像３８を縮小した画像は、内視鏡画像３８よりも低解像度としてもよい。
〈分類結果の変形例〉
図１４は分類結果の第一変形例に係る表示画面の説明図である。図１４に示す領域画像２０８ｄは、分類結果を表す文字情報２１２ｄが重畳表示される。領域画像２０８ｄにおいて、文字情報２１２ｄの色を分類寄与対応領域２１０の色と変える等の、文字情報２１２ｄの強調を適用してもよい。
図１５は分類結果の第二変形例に係る表示画面の説明図である。図１５に示す表示画面２００ｅは内視鏡画像３８の枠２０１及び領域画像２０８ｈの枠２０７に分類結果に応じた色が付与される。なお、枠２０１のみに色が付与されてもよいし、枠２０７のみに色が付与されてもよい。すなわち、表示画面２００ｅは、内視鏡画像３８の枠２０１及び領域画像２０８ｈの枠２０７の少なくともいずれかに分類結果に応じた色が付与される。
観察者は精緻な操作をしながら内視鏡画像の観察を行うために、観察者の視点移動及び観察者の文字情報の視認等は、観察者の操作への悪影響が懸念される。一方、図１５に示す表示画面２００ｅを見た操作者は、ほとんど視点移動をせずに分類結果を把握し得る。
医用画像処理装置１４は、分類結果に応じて枠２０１等へ色を付与するだけでなく、分類結果が腫瘍の場合など特定の分類の場合に枠２０１等へ色を付与し、他の分類の場合は枠２０１等へ色を非付与とする態様も可能である。また、医用画像処理装置１４は、後述する例外判定の場合に枠２０１等へ色を付与してもよいし、信頼度に応じて表示を変更する場合に信頼度に応じて色を変更してもよい。
なお、色を変える態様には、同一の色彩において濃淡を変える態様を含み得る。例えば、腫瘍に分類された場合は濃い赤とし、非腫瘍に分類された場合は薄い赤とし得る。色の付与は枠２０１等に限定されない。枠２０１及び枠２０７以外の領域に色を付与してもよい。さらに、文字情報と比較して、操作者の視点移動の抑制及び操作者の分類結果の把握を容易とする態様であれば、記号等の色以外の表示態様を適用可能である。
〈その他の変形例〉
領域画像は分類結果に応じて表示形態を変更してもよい。例えば、腫瘍、又は非腫瘍の二つのクラスに内視鏡画像３８を分類する場合、腫瘍の場合の色と、非腫瘍の場合の色を変えてもよい。かかる例において、腫瘍に分類された場合は赤とし、非腫瘍に分類された場合は青とし得る。
また、複数の領域画像表示領域２０４が表示可能に表示画面を構成し、分類結果に応じて領域画像２０８の位置を変更してもよい。例えば、上下に二つの領域画像表示領域２０４を表示可能な表示画面では、腫瘍に分類された場合は上の領域画像表示領域２０４、非腫瘍に分類された場合は下の領域画像表示領域２０４とし得る。以上説明した表示画面の変形例によれば、操作者の視認性を補助し得る。実施形態に示す分類結果に応じた表示形態は可視化形態の一例である。
〈分類の寄与度に応じた領域画像の表示例〉
図１６は寄与度に応じた濃淡が適用される領域画像の説明図である。図１６に示す表示画面２００ｅは、領域画像２０８ｅの分類寄与対応領域２１０ｅに寄与度に応じた濃淡が適用される。
図１６に示す分類寄与対応領域２１０ｅは、中央近傍２１１ａが濃く、周囲２１１ｂが薄くなっている。これは、中央近傍２１１ａの寄与度が高く、周囲２１１ｂの寄与度が低いことを表す。なお、寄与度の分類は三段階以上としてもよい。
図１７は寄与度に応じたヒートマップが適用される領域画像の説明図である。図１７に示す表示画面２００ｆは、領域画像２０８ｆの分類寄与対応領域２１０ｆに寄与度に応じたヒートマップが適用される。
図１７に示す分類寄与対応領域２１０ｆは、中央近傍２１１ａに赤が適用され、周囲２１１ｂに青が適用される。中央近傍２１１ａと周囲２１１ｂとの間の中間領域２１１ｃは赤から青へ変化する中間色が適用される。中間色として、橙、黄、及び緑等が挙げられる。
図１７に示す分類寄与対応領域２１０ｆは、中央近傍２１１ａの寄与度が高く、中央近傍２１１ａから周囲２１１ｂへ向かうに従い寄与度が低下し、周囲２１１ｂの寄与度が最も低いことを表す。なお、ここで説明した変形例は、二つ以上を適宜組み合わせてもよい。
〔分類、及び分類に寄与する領域の可視化の詳細な説明〕
次に、内視鏡画像３８の分類、及び分類に寄与する領域の可視化の具体例について説明する。
〈パターン１〉
パターン１として、内視鏡画像３８から特徴量を算出し、特徴量に基づいて分類を行い、分類に寄与する領域の可視化を行う例を示す。特徴量に基づく分類は、ＳＶＭ（support vector machine）等の手法を適用し得る。例えば、内視鏡画像３８から血管領域を抽出し、抽出された血管領域の特徴量を算出する。
他の手法として、内視鏡画像３８のテクスチャ解析を行い、解析結果を用いて特徴量を算出する手法、及びＳＩＦＴ（scale-invariant feature transform）などの局所特徴量を算出する手法等が挙げられる。
上記の手法を用いて算出された特徴量を、対象画像を複数の領域に分割した際の領域単位で解析する。これにより、領域単位のクラス帰属確率の算出が可能となる。領域単位のクラス帰属確率に基づく領域ごとの可視化処理が可能となる。実施形態に示す複数の領域は、撮像画像に設定された複数の領域の一例である。
〈パターン２〉
パターン２として、コンボリューションニューラルネットワークの中間層の情報を解析して内視鏡画像３８を分類し、分類に寄与する領域を可視化する例を示す。かかる手法は、分類と可視化とを並行して処理することが可能である。
図１８はコンボリューションニューラルネットワークを適用した分類部の構成例を示すブロック図である。以下、コンボリューションニューラルネットワークを略してＣＮＮ（Convolutional Neural Network）と記載する場合がある。実施形態に示すコンボリューションニューラルネットワークを適用した分類部は深層学習器の一例である。
図１８に示す分類部３００は、図３に示す分類部４８の一例である。分類部３００は、ＣＮＮ３０２、誤差算出部３０４、及びパラメータ更新部３０６を備える。
ＣＮＮ３０２は、内視鏡画像３８に写っている病変の種類を画像認識する。ＣＮＮ３０２は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。ＣＮＮ３０２の重みパラメータが初期値から最適値に更新されることで、未学習モデルは学習済みモデルへ変化し得る。
ＣＮＮ３０２は、入力層３１０、中間層３１２、及び出力層３１４を備える。中間層３１２は、畳み込み層３２０、及びプーリング層３２２から構成される複数セットを備える。また、中間層３１２は全結合層３２４を備える。各層は複数のノードがエッジで結ばれる構造となっている。
入力層３１０には、学習対象である内視鏡画像３８が入力される。中間層３１２は、入力層３１０から入力した内視鏡画像３８から特徴を抽出する。畳み込み層３２０は、前の層で近くにあるノードにフィルタ処理を施して特徴マップを取得する。なお、フィルタ処理はフィルタを使用した畳み込み演算と同義である。
プーリング層３２２は、畳み込み層３２０から出力された特徴マップを縮小して新たな特徴マップを生成する。畳み込み層３２０は、内視鏡画像３８からのエッジ抽出等の特徴抽出の役割を担う。
プーリング層３２２は、抽出された特徴が平行移動などによる影響を受けないようにロバスト性を与える役割を担う。なお、中間層３１２は畳み込み層３２０、及びプーリング層３２２を一セットとする場合に限らず、畳み込み層３２０が連続する場合、及び図示しない正規化層が含まれる構成もあり得る。
出力層３１４は、中間層３１２を適用して抽出された特徴に基づき、内視鏡画像３８に写っている病変の種類を分類する。学習済みＣＮＮ３０２では、例えば、医用画像を腫瘍、又は非腫瘍の二つのクラスに分類し得る。認識結果は、腫瘍、又は非腫瘍に対応する二種類のスコアとし得る。
学習前のＣＮＮ３０２における畳み込み層３２０に適用されるフィルタの係数、オフセット値、及び全結合層３２４における次の層との接続の重みは、任意の初期値がセットされる。
誤差算出部３０４は、ＣＮＮ３０２の出力層３１４から出力される認識結果、及び内視鏡画像３８に対する正解データ３７０を取得し、両者間の誤差を算出する。誤差の算出方法の一例として、ソフトマックスクロスエントロピー、及びシグモイドなどが挙げられる。
パラメータ更新部３０６は、誤差算出部３０４を適用して算出された誤差を元に、誤差逆伝播法を適用してＣＮＮ３０２の重みパラメータを調整する。パラメータ更新部３０６は、パラメータの調整処理を繰り返し行い、ＣＮＮ３０２の出力と正解データ３７０との差が小さくなるまで繰り返し学習を行う。
分類部３００は、図示しないデータベースに記憶された内視鏡画像３８のデータセットを使用し、ＣＮＮ３０２の各パラメータを最適化する学習を行うことで、学習済みモデルを生成する。
図１９はコンボリューションニューラルネットワークの特徴量の形状変遷の概念図である。符号３３０は模式的化した情報を示す。Ｉｎｐｕｔ ｄａｔａは入力層３１０の情報３３０ａを表す。Ｃｏｎｖ．１からＣｏｎｖ．５までは中間層３１２を表す。ＦＣ６からＦＣ８までは全結合層３２４を表す。図１９では、入力層３１０の情報３３０ａの情報量及び中間層３１２の情報３３０ｂの情報量が、幅×高さ×チャネル数を用いて表されている。
コンボリューションニューラルネットワークは、入力画像の空間的な情報を集約しながら最終出力を行う。図１９に示すように、コンボリューションニューラルネットワークは、入力層３１０から中間層３１２へ進むに従って、幅及び高さを持つ空間的な情報を集約し、全結合層３２４の情報３３０ｃ以降は空間的な情報を失う。
つまり、中間層３１２の情報３３０ｂを解析することで、空間的な情報を保持した特徴を抽出することが可能となる。但し、一般に中間層３１２の情報３３０ｂは入力層３１０の情報３３０ａに比べてチャネル数が多くなる。
図１９に示す例では、入力層３１０では情報３３０ａのチャネル数が３であるのに対して、中間層３１２のＣｏｎｖ．４では情報３３０ｂのチャネル数が３８４に増えている。そこで、チャネル方向の情報をどのように集約して分類寄与領域を可視化するかが問題となる。以下に、チャネル方向の情報を集約して、分類寄与領域を可視化する例を示す。
《第一例》
一般に、最終出力へ大きく寄与するチャネルは絶対値が大きい傾向がある。そこで、中間層３１２の各チャネルにおける情報の絶対値を比較し、絶対値がより大きいチャネルを抽出する。抽出したチャネルを可視化する。これにより、最終出力への寄与がより大きい領域の可視化が可能となる。
チャネルを抽出する際に、複数のチャネルを抽出してもよい。複数のチャネルを抽出する場合の一例として、絶対値が大きい順に規定数のチャネルを抽出する例が挙げられる。複数のチャネルを抽出する場合、複数のチャネルを平均化してもよい。
《第二例》
中間層３１２のチャネル方向に主成分分析を行い、主成分を抽出し、抽出した主成分を可視化してもよい。例えば、チャネルの次元を一次元まで削減することで、抽出した主成分を可視化することが可能である。第二例は、全チャネルの情報が可視化されているので、第一例よりも正確な可視化が可能となる。
《第三例》
最終出力結果は、分類の各クラスラベルのスコアとなる。分類の各クラスラベルのスコアへの寄与度は微分を用いて導出することが可能である。例えば、Ｇｒａｄ－ＣＡＭ（ Gradient-weighted Class Activation Mapping）を適用して、分類の各クラスラベルのスコアへの寄与度を導出し得る。
任意のクラスｃのスコアをｙｃとする。任意の中間層のｋチャネル目の特徴マップをＡｋとする。特徴マップＡｋの座標（ｉ，ｊ）の値をＡｋ ｉｊとする。クラスｃの寄与度を可視化したマップＬＣ Ｇｒａｄ－ＣＡＭは、次式で得られる。
Figure 0007270626000002
マップＬＣ Ｇｒａｄ－ＣＡＭは、チャネル方向の情報を集約した、分類寄与領域を可視化した領域画像を表す。
図２０はコンボリューションニューラルネットワークの中間層の情報に基づく可視化の概念図である。図２０に示す例は、二種類の動物が含まれる処理対象画像３８０を、一方の動物３８１ａ、又は他方の動物３８１ｂに分類し、分類の根拠となる領域を可視化した例を示す。
第一分類済画像３８２は、一方の動物３８１ａに分類され、分類の根拠となる領域３８４が可視化された例を示す。第二分類済画像３８６は、他方の動物３８１ｂに分類され、分類の根拠となる領域３８８が可視化された例を示す。
パターン２を内視鏡画像３８の分類に適用する場合は、処理対象画像３８０を内視鏡画像３８とし、二種類の動物を二種類のクラスとすればよい。二種類の動物は二種類の特徴領域としてもよい。
〈パターン３〉
パターン３として、セグメンテーション技術を適用して領域の可視化を行う例を示す。図２１はセグメンテーション技術の説明図である。図２１には、人物３９１ａ、及び動物３９１ｂが含まれる分類対象画像３９０を、人物領域３９４、動物領域３９６、及び背景領域３９８に分類する例を示す。符号３９２は分類済画像を示す。
セグメンテーション技術では、領域ごとのクラス帰属確率が得られる。帰属確率に基づく各領域の可視化が可能である。また、セグメンテーション技術を適用して得られた領域に基づいて、分類対象画像３９０の分類を行うことが可能である。例えば、分類に適用されるクラスのうち、分類対象画像３９０に占める面積が最も大きいクラスを分類結果としてもよい。
［第一実施形態の作用効果］
第一実施形態に係る医用画像処理装置によれば、以下の作用効果を得ることが可能である。
〔１〕
モニタ装置１６へ表示させる表示画面２００において、内視鏡画像表示領域２０２に内視鏡画像３８を表示させる。表示画面２００の内視鏡画像表示領域２０２とは別の領域画像表示領域２０４に領域画像２０８に表示させる。領域画像２０８は、内視鏡画像３８の分類に寄与した分類寄与領域２０９に対応する分類寄与対応領域２１０が含まれる。これにより、観察者は、分類部４８が内視鏡画像３８のどの領域に基づき分類を行っているかを視覚的に把握し得る。また、領域画像２０８は分類結果の信頼性の指標となり得る。
〔２〕
分類結果をモニタ装置１６へ表示させる。これにより、観察者は内視鏡画像３８の分類結果を視認し得る。
〔３〕
分類結果として各クラスの帰属度合いを導出する。各クラスの帰属度合いをモニタ装置１６へ表示させる。帰属度合いは、各クラスの帰属確率、各クラスのスコアを適用し得る。これにより、観察者は各クラスの帰属度合いを視認し得る。
〔４〕
分類結果に応じて領域画像２０８の表示形態を変更し得る。これにより、分類結果の視認性が向上し得る。
［第二実施形態に係る医用画像処理装置の説明］
次に、第二実施形態に係る医用画像処理装置について説明する。第二実施形態に係る医用画像処理装置は、内視鏡画像３８の分類に例外判定が追加される。すなわち、第一実施形態に示したパターン１、パターン２、及びパターン３を用いて、内視鏡画像３８の病変領域を可視化した上で、領域画像を解析して例外判定を実施する。
例えば、内視鏡画像３８から検出された病変領域の面積が規定の閾値以下の場合は検出不能とし得る。内視鏡画像３８から検出された病変領域が複数であり、各病変領域の面積がいずれも規定の閾値以上の場合は判定不能とし得る。
なお、第二実施形態に係る医用画像処理装置は、第一実施形態に係る医用画像処理装置１４と同様のハードウェア、及び機能ブロックが適用される。第二実施形態に係る医用画像処理装置のハードウェア、及び機能ブロックの説明は省略する。
〔検出不能の場合の表示画面〕
図２２は検出不能を示す表示画面の説明図である。図２２に示す表示画面４００は、文字情報４１２として、検出不能を表すundetectableが表示される。検出不能を表す文字情報４１２が表示される場合、領域画像４０８には分類寄与対応領域４１０が表示されない。なお、図２２では、検出不能の場合の病変領域４０７が実線を用いて模式的に図示される。検出可能な場合の病変領域４０７が二点鎖線を用いて模式的に図示される。
文字情報４１２は、分類結果を表す文字情報に、検出不能を表す文字情報を上書きする形態を適用し得る。表示画面４００は、分類結果を表す文字情報とは別に、検出不能を表す形態を適用し得る。
図３に示す分類部４８は、領域画像４０８を解析して分類の信頼度を定量化し、表示制御部４４は、分類の信頼度を表すスコア等の数値を表示画面４００に表示させてもよい。なお、図２２に示す符号４０２は内視鏡画像表示領域を表す。符号４０４は領域画像表示領域を表す。符号４０６は分類結果表示領域を表す。
〔判定不能の場合の表示画面〕
図２３は判定不能を示す表示画面の説明図である。図２３に示す表示画面４００ａは、文字情報４１２ａとして、判定不能を表すundeterminableが表示される。判定不能を表す文字情報４１２ａが表示される場合、領域画像４０８ａには、判定不能を表す分類寄与対応領域４１０ａが表示される。
判定不能を表す分類寄与対応領域４１０ａの例として、異なる分類に対応する二種類の表示形態が混在する例が挙げられる。図２３には、分類に応じて色を変える場合において、二色が混在する分類寄与対応領域４１０ａを図示する。なお、図２３の符号４０９は分類寄与領域を表す。
［第二実施形態の作用効果］
第二実施形態に係る医用画像処理装置によれば、以下の作用効果を得ることが可能である。
〔１〕
内視鏡画像３８における病変が検出不能の場合、及び判定不能の場合に、検出不能、又は判定不能であることを表す文字情報４１２を表示する。これにより、不適切な分類であることを操作者が把握し得る。
〔２〕
領域画像に基づき分類の信頼度を算出する。表示画面に信頼度が表示される。これにより、分類の信頼性を認識し得る。
［第三実施形態に係る医用画像処理装置の説明］
図２４は第三実施形態に係る医用画像処理装置の機能ブロック図である。図２４に示す医用画像処理装置１４ａは、図３に示す医用画像処理装置１４に対して、記憶指示取得部４１を備える。記憶指示取得部４１は図１に示すプロセッサ装置１２から送信される内視鏡画像３８の記憶指示を取得する。記憶指示取得部４１は、内視鏡１０から内視鏡画像３８の記憶指示を取得してもよい。
記憶指示取得部４１が内視鏡画像３８の記憶指示を取得した場合、画像取得部４０を用いて取得した内視鏡画像３８は、分類結果、領域画像、例外判定結果、及び信頼度の少なくともいずれかと関連付けされて内視鏡画像記憶部４６ａに記憶される。
医用画像処理装置１４ａは、分類結果等を内視鏡画像３８と合成して記憶してもよいし、分類結果等と内視鏡画像３８とを別々に記憶してもよい。図示しない操作ボタン等を操作者が操作した際に、内視鏡画像３８の記憶指示がプロセッサ装置１２から送信されてもよいし、分類結果等に基づいて内視鏡画像３８の記憶指示がプロセッサ装置１２から自動送信されてもよい。プロセッサ装置１２は、信頼度が規定の閾値以上の場合に、医用画像処理装置１４ａは適切な分類結果が得られていると判定して、内視鏡画像３８の記憶指示を自動送信してもよい。
［第三実施形態の作用効果］
第三実施形態に係る医用画像処理装置によれば、以下の作用効果を得ることが可能である。
〔１〕
内視鏡検査の後に、ユーザがレポートを作成する際に、分類結果等が適切であるか否かを確認し得る。
〔２〕
再検査の際に、前回までの検査結果を参照し得る。
［内視鏡システムの変形例］
〔プロセッサ装置の変形例〕
プロセッサ装置１２は、医用画像処理装置１４の機能を有してもよい。すなわち、プロセッサ装置１２は、医用画像処理装置１４と一体に構成されてもよい。かかる態様では、表示装置１３はモニタ装置１６と兼用し得る。プロセッサ装置１２は入力装置１５を接続させる接続端子を備え得る。
〔照明光の変形例〕
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の他の例として、特定の波長領域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。
〈第１例〉
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。
〈第２例〉
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。
〈第３例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。
〈第４例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
〈第５例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。
〔特殊光画像の生成例〕
プロセッサ装置１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。
〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータを、内視鏡画像取得機能、画像処理機能、表示信号送信機能、及び記憶機能を実現させるプログラムを構成し得る。画像処理機能は、分類機能、及び領域画像生成機能を含み得る。
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
［他の機器への適用例］
上記の実施形態では、医用画像として内視鏡画像を例示したが、本実施形態に示す自動分類は、ＣＴ装置、ＭＲＩ装置、及びＸ線撮像装置などを用いて取得した医用画像にも適用可能である。実施形態に示す医用画像は撮像画像の一例である。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
９ 内視鏡システム
１０ 内視鏡
１１ 光源装置
１２ プロセッサ装置
１３ 表示装置
１４ 医用画像処理装置
１４ａ 医用画像処理装置
１５ 入力装置
１６ モニタ装置
２０ 挿入部
２１ 操作部
２２ ユニバーサルコード
２５ 軟性部
２６ 湾曲部
２７ 先端部
２７ａ 先端面
２８ 撮像素子
２９ 湾曲操作ノブ
３０ 送気送水ボタン
３１ 吸引ボタン
３２ 静止画像撮像指示部
３３ 処置具導入口
３５ ライトガイド
３６ 信号ケーブル
３７ａ コネクタ
３７ｂ コネクタ
３８ 内視鏡画像
３８ａ 動画像
３８ｂ フレーム画像
３９ 静止画像
４０ 画像取得部
４１ 記憶指示取得部
４２ 画像処理部
４４ 表示制御部
４６ 記憶部
４６ａ 内視鏡画像記憶部
４６ｂ 分類記憶部
４６ｃ 領域画像記憶部
４８ 分類部
５０ 領域画像生成部
１２０ 制御部
１２２ メモリ
１２４ ストレージ装置
１２６ ネットワークコントローラ
１２８ 電源装置
１３０ ディスプレイコントローラ
１３２ 入出力インターフェース
１３４ 入力コントローラ
１３６ バス
１４０ ネットワーク
２００ 表示画面
２００ａ 表示画面
２００ｂ 表示画面
２００ｃ 表示画面
２００ｄ 表示画面
２００ｅ 表示画面
２０１ 枠
２０２ 内視鏡画像表示領域
２０４ 領域画像表示領域
２０６ 分類結果表示領域
２０６ａ 分類結果表示領域
２０７ 枠
２０８ 領域画像
２０８ａ 領域画像
２０８ｂ 領域画像
２０８ｃ 領域画像
２０８ｄ 領域画像
２０８ｅ 領域画像
２０８ｆ 領域画像
２０８ｇ 領域画像
２０８ｈ 領域画像
２０９ 分類寄与領域
２０９ａ 第一分類寄与領域
２０９ｂ 第二分類寄与領域
２１０ 分類寄与対応領域
２１０ａ 分類寄与対応領域とされるべき領域
２１０ｂ 分類寄与対応領域とされるべき領域
２１０ｅ 分類寄与対応領域
２１０ｆ 分類寄与対応領域
２１０ｇ 第一分類寄与対応領域
２１０ｈ 第二分類寄与対応領域
２１１ａ 中央近傍
２１１ｂ 周囲
２１１ｃ 中間領域
２１２ 文字情報
２１２ａ 文字情報
２１２ｂ 文字情報
２１２ｃ 文字情報
２１２ｄ 文字情報
２１２ｅ 第一文字情報
２１２ｆ 第二文字情報
２１３ａ 第一病変
２１３ｂ 第二病変
２２０ 比較画面
２２２ 腫瘍
２３０ 領域
３００ 分類部
３０２ ＣＮＮ
３０４ 誤差算出部
３０６ パラメータ更新部
３１０ 入力層
３１２ 中間層
３１４ 出力層
３２０ 畳み込み層
３２２ プーリング層
３２４ 全結合層
３３０ 情報
３３０ａ 入力層の情報
３３０ｂ 中間層の情報
３３０ｃ 全結合層の情報
３７０ 正解データ
３８０ 処理対象画像
３８１ａ 一方の動物
３８１ｂ 他方の動物
３８２ 第一分類済画像
３８４ 分類の根拠となる領域
３８６ 第二分類済画像
３８８ 分類の根拠となる領域
３９０ 分類対象画像
３９１ａ 人物
３９１ｂ 動物
３９２ 分類済画像
３９４ 人物領域
３９６ 動物領域
４００ 表示画面
４００ａ 表示画面
４０２ 内視鏡画像表示領域
４０４ 領域画像表示領域
４０６ 分類結果表示領域
４０８ 領域画像
４１０ 分類寄与対応領域
４１２ 文字情報
４１２ａ 文字情報
Ｓ１０からＳ２２ 医用画像処理方法の各工程

Claims (14)

  1. 生体を撮像して生成された撮像画像を取得する画像取得部と、
    前記撮像画像に含まれる病変領域を二つ以上の病変の種類を表すクラスに分類する分類部と、
    前記撮像画像の領域を示す背景画像上に、前記分類部による前記病変領域の分類に寄与した領域を視認可能に表した領域画像を生成する画像生成部であって、前記分類部を用いた分類において、それぞれの分類に寄与した領域をそれぞれ分類結果に応じて異なる形態で可視化した前記領域画像を生成する画像生成部と、
    前記撮像画像、及び前記領域画像を表す表示信号を表示装置へ送信する表示信号送信部と、
    を備え、
    前記表示信号送信部は、前記領域画像を前記撮像画像と別に表示する前記表示信号を前記表示装置へ送信する医用画像処理装置。
  2. 前記分類部は、前記撮像画像に含まれる病変領域を腫瘍性の病変と非腫瘍性の病変とに分類する請求項１に記載の医用画像処理装置。
  3. 前記分類部は、前記撮像画像から取得した特徴量に基づいて前記撮像画像を分類し、
    前記画像生成部は、前記特徴量に基づいて前記領域画像を生成する請求項１又は２に記載の医用画像処理装置。
  4. 前記分類部は、学習済みの深層学習器が適用され、
    前記画像生成部は、前記深層学習器における中間層の情報に基づいて前記領域画像を生成する請求項１又は２に記載の医用画像処理装置。
  5. 前記分類部は、前記撮像画像に設定された複数の領域ごとに、前記クラスへの帰属度合いを算出し、前記帰属度合いに基づいて前記撮像画像の分類を行う請求項１から４のいずれか一項に記載の医用画像処理装置。
  6. 前記画像生成部は、前記帰属度合いに基づいて前記領域画像を生成する請求項５に記載の医用画像処理装置。
  7. 前記分類部は、前記領域画像に基づく分類の例外判定を行い、
    前記表示信号送信部は、前記分類部を用いた例外判定の結果を表す表示信号を前記表示装置へ送信する請求項１から６のいずれか一項に記載の医用画像処理装置。
  8. 前記分類部は、領域画像に基づいて、前記分類部を用いて導出された分類結果の信頼度を算出し、
    前記表示信号送信部は、前記信頼度を表す表示信号を前記表示装置へ送信する請求項７に記載の医用画像処理装置。
  9. 前記撮像画像の記憶指示を取得する記憶指示取得部と、
    前記撮像画像を記憶する記憶部と、
    を備え、
    前記記憶部は、前記撮像画像の記憶指示に基づいて前記記憶部へ前記撮像画像を記憶する際に、前記撮像画像に前記分類結果、前記例外判定の結果、及び前記分類結果の信頼度の少なくともいずれかを関連付けする請求項８に記載の医用画像処理装置。
  10. 前記表示信号送信部は、前記分類部を用いて導出された分類結果の文字情報を表す表示信号を前記表示装置へ送信する請求項１から９のいずれか一項に記載の医用画像処理装置。
  11. 生体を撮像して生成された撮像画像を取得する画像取得部と、
    前記撮像画像に含まれる病変領域を二つ以上の病変の種類を表すクラスに分類する分類部と、
    前記撮像画像の領域を示す背景画像上に、前記分類部による前記病変領域の分類に寄与した領域を視認可能に表した領域画像を生成する画像生成部であって、前記分類部を用いた分類において、それぞれの分類に寄与した領域をそれぞれ分類結果に応じて異なる形態で可視化した前記領域画像を生成する画像生成部と、
    前記撮像画像、及び前記領域画像を表示する表示装置と、
    前記撮像画像、及び前記領域画像を表す表示信号を表示装置へ送信する表示信号送信部と、
    を備え、
    前記表示信号送信部は、前記領域画像を前記撮像画像と別に表示する前記表示信号を前記表示装置へ送信する医用画像処理システム。
  12. 医用画像処理装置の作動方法であって、前記医用画像処理装置は、画像取得部と、分類部と、画像生成部と、表示信号送信部とからなり、
    前記画像取得部が、生体を撮像して生成された撮像画像を取得する画像取得工程と、
    前記分類部が、前記撮像画像に含まれる病変領域を二つ以上の病変の種類を表すクラスに分類する分類工程と、
    前記画像生成部が、前記撮像画像の領域を示す背景画像上に、前記分類部による前記病変領域の分類に寄与した領域を視認可能に表した領域画像を生成する画像生成工程であって、前記分類工程を用いた分類において、それぞれの分類に寄与した領域をそれぞれ分類結果に応じて異なる形態で可視化した前記領域画像を生成する画像生成工程と、
    前記表示信号送信部が、前記撮像画像、及び前記領域画像を表す表示信号を表示装置へ送信する表示信号送信工程と、
    を含み、
    前記表示信号送信工程は、前記領域画像を前記撮像画像と別に表示する前記表示信号を前記表示装置へ送信する医用画像処理装置の作動方法。
  13. コンピュータを、
    生体を撮像して生成された撮像画像を取得する画像取得部と、
    前記撮像画像に含まれる病変領域を二つ以上の病変の種類を表すクラスに分類する分類部と、
    前記撮像画像の領域を示す背景画像上に、前記分類部による前記病変領域の分類に寄与した領域を視認可能に表した領域画像を生成する画像生成部であって、前記分類部を用いた分類において、それぞれの分類に寄与した領域をそれぞれ分類結果に応じて異なる形態で可視化した前記領域画像を生成する画像生成部と、
    前記撮像画像、及び前記領域画像を表す表示信号を表示装置へ送信する表示信号送信部であり、前記領域画像を前記撮像画像と別に表示する前記表示信号を前記表示装置へ送信する表示信号送信部として機能させるプログラム。
  14. 非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
    生体を撮像して生成された撮像画像を取得する画像取得機能、
    前記撮像画像に含まれる病変領域を二つ以上の病変の種類を表すクラスに分類する分類機能、
    前記撮像画像の領域を示す背景画像上に、前記分類機能による前記病変領域の分類に寄与した領域を視認可能に表した領域画像を生成する画像生成機能であって、前記分類機能を用いた分類において、それぞれの分類に寄与した領域をそれぞれ分類結果に応じて異なる形態で可視化した前記領域画像を生成する画像生成機能、及び、
    前記撮像画像、及び前記領域画像を表す表示信号を表示装置へ送信する表示信号送信機能であり、前記領域画像を前記撮像画像と別に表示する前記表示信号を前記表示装置へ送信する表示信号送信機能をコンピュータに実行させる記憶媒体。
JP2020530054A 2018-07-09 2019-06-14 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体 Active JP7270626B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023071374A JP2023083555A (ja) 2018-07-09 2023-04-25 医用画像処理装置、内視鏡システム、医用画像処理システム、医用画像処理装置の作動方法、プログラム及び記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018130138 2018-07-09
JP2018130138 2018-07-09
PCT/JP2019/023696 WO2020012872A1 (ja) 2018-07-09 2019-06-14 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023071374A Division JP2023083555A (ja) 2018-07-09 2023-04-25 医用画像処理装置、内視鏡システム、医用画像処理システム、医用画像処理装置の作動方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2020012872A1 JPWO2020012872A1 (ja) 2021-08-02
JP7270626B2 true JP7270626B2 (ja) 2023-05-10

Family

ID=69142574

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020530054A Active JP7270626B2 (ja) 2018-07-09 2019-06-14 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体
JP2023071374A Pending JP2023083555A (ja) 2018-07-09 2023-04-25 医用画像処理装置、内視鏡システム、医用画像処理システム、医用画像処理装置の作動方法、プログラム及び記憶媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023071374A Pending JP2023083555A (ja) 2018-07-09 2023-04-25 医用画像処理装置、内視鏡システム、医用画像処理システム、医用画像処理装置の作動方法、プログラム及び記憶媒体

Country Status (5)

Country Link
US (1) US11991478B2 (ja)
EP (1) EP3821790A4 (ja)
JP (2) JP7270626B2 (ja)
CN (1) CN112367896A (ja)
WO (1) WO2020012872A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021156974A1 (ja) * 2020-02-05 2021-08-12 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、表示制御装置及び内視鏡装置
JP2021145726A (ja) * 2020-03-16 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システム及び医療用画像処理装置の作動方法
JPWO2022009478A1 (ja) * 2020-07-07 2022-01-13
JP7461866B2 (ja) 2020-12-23 2024-04-04 名古屋電機工業株式会社 情報処理装置、情報処理方法およびプログラム
JPWO2022224859A1 (ja) * 2021-04-23 2022-10-27
WO2022249572A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像処理装置、画像処理方法及び記録媒体
CN114821272A (zh) * 2022-06-28 2022-07-29 上海蜜度信息技术有限公司 图像识别方法、系统、介质、电子设备及目标检测模型
CN116681681B (zh) * 2023-06-13 2024-04-02 富士胶片（中国）投资有限公司 内窥镜图像的处理方法、装置、用户设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280229A (ja) 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
WO2012165505A1 (ja) 2011-06-02 2012-12-06 オリンパス株式会社 蛍光観察装置
WO2015045576A1 (ja) 2013-09-26 2015-04-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法及びプロセッサ装置の作動方法
WO2017073338A1 (ja) 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置
WO2017175282A1 (ja) 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2018003395A1 (ja) 2016-06-29 2018-01-04 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JP2018007078A (ja) 2016-07-04 2018-01-11 株式会社ニコン 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2018008593A1 (ja) 2016-07-04 2018-01-11 日本電気株式会社 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS557671B2 (ja) 1974-03-28 1980-02-27
JPS523156A (en) 1975-06-25 1977-01-11 Matsushita Electric Ind Co Ltd Television receiver
JP4615963B2 (ja) 2004-10-29 2011-01-19 オリンパス株式会社 カプセル型内視鏡装置
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
WO2006112227A1 (ja) * 2005-04-13 2006-10-26 Olympus Medical Systems Corp. 画像処理装置及び画像処理方法
JP5005981B2 (ja) 2006-08-03 2012-08-22 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2010172673A (ja) 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP5576711B2 (ja) 2010-05-14 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5528255B2 (ja) 2010-08-16 2014-06-25 Ｈｏｙａ株式会社 内視鏡画像処理システム
WO2013149038A1 (en) * 2012-03-28 2013-10-03 University Of Houston System Methods and software for screening and diagnosing skin lesions and plant diseases
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
EP3115634A1 (en) 2015-07-08 2017-01-11 National Oilwell Varco Norway AS Bearing arrangement
WO2017023569A1 (en) * 2015-08-04 2017-02-09 Siemens Aktiengesellschaft Visual representation learning for brain tumor classification
WO2017057574A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP6580446B2 (ja) 2015-10-09 2019-09-25 サイバネットシステム株式会社 画像処理装置及び画像処理方法
JP2017213097A (ja) 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN109310306B (zh) 2016-06-28 2021-09-24 索尼公司 图像处理装置、图像处理方法和医疗成像系统
CN110325100B (zh) * 2017-03-01 2021-09-24 富士胶片株式会社 内窥镜系统及其操作方法
EP3603483A4 (en) * 2017-03-30 2020-04-22 FUJIFILM Corporation ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF
CN111212591B (zh) * 2017-10-17 2022-08-02 富士胶片株式会社 医疗图像处理装置及内窥镜装置
CN111278349B (zh) * 2017-10-26 2023-03-24 富士胶片株式会社 医疗图像处理装置
WO2019146066A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280229A (ja) 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
WO2012165505A1 (ja) 2011-06-02 2012-12-06 オリンパス株式会社 蛍光観察装置
WO2015045576A1 (ja) 2013-09-26 2015-04-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法及びプロセッサ装置の作動方法
WO2017073338A1 (ja) 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置
WO2017175282A1 (ja) 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2018003395A1 (ja) 2016-06-29 2018-01-04 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JP2018007078A (ja) 2016-07-04 2018-01-11 株式会社ニコン 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2018008593A1 (ja) 2016-07-04 2018-01-11 日本電気株式会社 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体

Also Published As

Publication number Publication date
US11991478B2 (en) 2024-05-21
CN112367896A (zh) 2021-02-12
US20210097331A1 (en) 2021-04-01
EP3821790A1 (en) 2021-05-19
WO2020012872A1 (ja) 2020-01-16
EP3821790A4 (en) 2021-09-08
JPWO2020012872A1 (ja) 2021-08-02
JP2023083555A (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
JP7270626B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体
US11734820B2 (en) Medical image processing device, medical image processing method, and medical image processing program
US11918176B2 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
JP7143504B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
US11074690B2 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2020031851A1 (ja) 画像処理方法及び画像処理装置
CN113453607B (zh) 医用图像处理装置及方法
JP7122328B2 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
WO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
US20210201080A1 (en) Learning data creation apparatus, method, program, and medical image recognition apparatus
US20230206445A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210730

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230425

R150 Certificate of patent or registration of utility model

Ref document number: 7270626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150