JP6866497B2 - 医療画像処理装置、及び、内視鏡装置 - Google Patents

医療画像処理装置、及び、内視鏡装置 Download PDF

Info

Publication number
JP6866497B2
JP6866497B2 JP2019550326A JP2019550326A JP6866497B2 JP 6866497 B2 JP6866497 B2 JP 6866497B2 JP 2019550326 A JP2019550326 A JP 2019550326A JP 2019550326 A JP2019550326 A JP 2019550326A JP 6866497 B2 JP6866497 B2 JP 6866497B2
Authority
JP
Japan
Prior art keywords
abnormal
medical image
region
processing unit
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019550326A
Other languages
English (en)
Other versions
JPWO2019083020A1 (ja
Inventor
孝明 齋藤
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019083020A1 publication Critical patent/JPWO2019083020A1/ja
Application granted granted Critical
Publication of JP6866497B2 publication Critical patent/JP6866497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Description

本発明は、医療画像の解析結果を用いる医療画像処理装置、及び、内視鏡装置に関する。
従来、医療に係る装置(以下、医療装置という)のうち、被写体像を含む画像(以下、医療画像という)を取得するものは、取得した医療画像を医師に提示する。そして、医師は、医療装置から得る医療画像を判断材料の1つとして使用して診断等をする。当然ながら、診断の際に医療画像を用いてする被写体の状態等の鑑別は、医師の技量及び経験等に基づく。
近年においては、画像解析技術の進歩により、医療画像を解析することで、医療画像から客観的な情報または定量的な情報を得ることができる。このため、医療画像の解析結果を医師等に提示することにより、鑑別及び診断等を支援する医療装置が増えてきている。例えば、特許文献1に記載の内視鏡装置は、被写体(被検体ともいう)が発光する蛍光を用いて撮影した蛍光画像、病変等を観察しやすくする特定のスペクトルを有する照明光(いわゆる特殊光)を用いて撮影した特殊光画像、またはこれら両方を用いて病変等がある領域を検出する。そして、蛍光画像等よりも観察用途に適していることから、いわゆる白色光画像において、検出した領域の位置等を表示することにより、医師等を支援する。
国際公開第2014/084134号
従来の医療装置においては、医療画像を解析することにより病変等の異常が認められる部分(病変部分または病変の可能性がある部分)を1または複数含む注目すべき領域(いわゆる注目領域、関心領域、または、異常領域等と称する領域である。以下、異常領域という。)を検出し、その位置等を提示して診断等を支援する。そして、異常領域の検出においては、検出対象とする病変の種類等を検出しやすい特定の撮影条件のもとで撮影した医療画像を使用するのが通常である。すなわち、従来の医療装置においては、ある特定の撮影条件において、特定の病変等が検出しやすいという事実を前提として異常領域の検出を行っている。
しかし、病変等の種類または性状(進行度等)等によっては、良く観察し得る撮影条件が異なるので、1種類または2種類の医療画像だけを用いても精度良く異常領域を検出できない場合がある。このため、従来の1種類または2種類の医療画像を使用する場合よりも精度良く異常領域を検出するためには、3種類以上の医療画像を異常領域の検出に使用することが望ましい。一方、異常領域の検出に3種類以上の医療画像を使用する場合、異常領域を検出するための条件が途端に複雑化するという困難がある。また、異常領域の検出を、AI(Artificial Intelligence)プログラムを用いて行う場合であっても、3種類以上の医療画像を使用すると、学習の困難性が増し、かつ、学習できたとしても異常領域の処理は遅い。
本発明は、3種類以上の医療画像を用いて、従来よりも精度良く異常領域を検出できる医療画像処理装置、及び、内視鏡装置を提供することを目的とする。
本発明の医療画像処理装置は、被写体像を含む医療画像を取得する医療画像取得部と、撮影条件が異なる少なくとも3種類以上の医療画像について、異常候補領域をそれぞれ判別する異常候補領域判別処理部と、各種類の医療画像に係るそれぞれの異常候補領域の判別結果の組み合わせにしたがって異常領域を判別する異常領域判別処理部と、を備える。
医療画像が異常候補領域を含む場合、異常候補領域判別処理部は、異常候補領域における異常の種類を判別することが好ましい。
医療画像が異常候補領域を含む場合、異常候補領域判別処理部は、異常候補領域における異常の進行度を判別することが好ましい。
異常領域判別処理部は、それぞれの異常候補領域の判別結果の多数決により、異常領域を判別することが好ましい。
異常領域判別処理部は、それぞれの異常候補領域の判別結果に重み付けをして異常領域を判別することが好ましい。
異常領域判別処理部はそれぞれの異常候補領域の判別結果に係る確度を用いて異常領域を判別することが好ましい。
異常候補領域判別処理部は、医療画像を小領域に分けて、小領域ごとに異常候補領域判別処理を行い、かつ、異常領域判別処理部は、小領域ごとに異常領域を判別することが好ましい。
医療画像取得部は、異常候補領域判別処理部において用いる医療画像の他に、表示用の医療画像を取得することが好ましい。
表示用の医療画像は、異常候補領域判別処理部において用いる医療画像と、撮影条件が異なることが好ましい。
医療画像を表示する表示部を備え、表示部は、表示用の医療画像を表示することが好ましい。
異常候補領域判別処理部において用いる医療画像を、表示用の医療画像として用いることが好ましい。
表示部に表示用の医療画像を表示する際に、表示用の医療画像において異常領域に対応する領域を強調する表示制御部を備えることが好ましい。
異常領域の判別結果を音または光を用いて報知する異常領域判別結果報知部を備えることが好ましい。
本発明の内視鏡装置は、スペクトルが異なる複数種類の照明光を用いて被写体を撮影することにより、撮影条件が異なる少なくとも3種類以上の内視鏡画像を生成する内視鏡画像取得部と、各種類の内視鏡画像について、異常候補領域をそれぞれ判別する異常候補領域判別処理部と、各種類の内視鏡画像に係るそれぞれの異常候補領域の判別結果の組み合わせにしたがって、異常領域を判別する異常領域判別処理部と、を備える。
本発明の医療画像処理装置及び内視鏡装置は、従来よりも精度良く異常領域を判別できる。
医療画像処理装置のブロック図である。 内視鏡装置のブロック図である。 医療画像解析処理部のブロック図である。 医療画像処理装置の作用を示すフローチャートである。 表示用の医療画像である。 第1医療画像である。 第2医療画像である。 第3医療画像である。 異常候補領域の判別結果と最終判別結果との対応関係を示す表である。 判別結果を表示した表示用の医療画像である。 異常の種類または進行度等を判別する場合における異常候補領域の判別結果と最終判別結果との対応関係を示す表である。 異常の種類または進行度等を判別する場合の表示例である。 異常候補領域の判別結果と最終判別結果との対応関係を示す説明図である。 異常候補領域の判別結果と最終判別結果との対応関係を示す説明図である。 異常候補領域の判別結果と最終判別結果との対応関係を示す説明図である。 4種類の医療画像を使用する場合の異常候補領域の判別条件を示す説明図である。 異常候補領域の判別結果の組み合わせと、異常の種類または進行度等を含む最終判別結果と、を直接的に対応付ける表である。 医療画像処理装置を含む内視鏡装置のブロック図である。 医療画像処理装置を含む診断支援装置の説明図である。 医療画像処理装置を含む医療業務支援装置の説明図である。
[第1実施形態]
図1に示すように、医療画像処理装置10は、医療画像取得部11、医療画像解析処理部12、表示部13、表示制御部15、入力受信部16、統括制御部17、及び、保存部18を備える。
医療画像取得部11は、医療装置である内視鏡装置21等から直接に、または、PACS(Picture Archiving and Communication System)22等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像を取得する。医療画像は、静止画像または動画(いわゆる検査動画)である。医療画像が動画である場合、医療画像取得部11は、検査後に、動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する1つの代表フレームの静止画像を表示することのほか、動画を1または複数回、再生することを含む。また、医療画像取得部11が取得する医療画像には、内視鏡装置21等の医療装置を用いて医師が撮影した画像の他、内視鏡装置21等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。
医療画像取得部11は、複数の医療画像を取得し得る場合、これらの医療画像のうち1または複数の医療画像を選択的に取得できる。また、医療画像取得部11は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部11は、任意に医療画像を取得できる。
本実施形態においては、医療画像処理装置10は、内視鏡装置21と接続し、内視鏡装置21から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。
また、異常領域の判別を行う場合には、医療画像取得部11は、少なくとも「撮影条件が異なる3種類以上の内視鏡画像(医療画像)」を取得する。具体的には、本実施形態においては、医療画像取得部11は、第1内視鏡画像111(図6参照)、第2内視鏡画像112(図7参照)、及び、第3内視鏡画像113(図8参照)の3種類の撮影条件が異なる内視鏡画像を取得する。
撮影条件とは、医療画像の撮影に係る条件であって、例えば、照明光のスペクトル、または、医療画像を生成する際の画像処理の有無もしくは強度、等である。照明光のスペクトルとは、波長ごとの強度分布であり、波長帯域及び中心波長の概念を含む。医療画像を生成する際の画像処理とは、例えば、特定の組織または病変等を強調する色彩等の調節に係る処理等である。上記の他、本実施形態においては、医療画像取得部11は、異常領域の判別を行う部分、及び、異常領域の判別を行わない部分の両方について、観察のために表示部13に表示する表示用の内視鏡画像101を取得する(図5参照)。表示用の内視鏡画像101は、異常候補領域判別処理部51(図3参照)において用いる内視鏡画像とは異なる撮影条件で取得しても良い。但し、異常候補領域判別処理部51において、表示にも適した内視鏡画像を使用する場合、異常候補領域判別処理部51において用いる内視鏡画像を、表示用の内視鏡画像101にも使用しても良い。
なお、本実施形態において医療画像取得部11が取得する医療画像は、1回の特定の検査において撮影した医療画像である。また、異常領域の判別を行う部分について取得する3種類以上の医療画像は、原則として、画角または被写体の形状等が大きく変化しない時間的範囲内(画像処理において相互に部分の対応付けができる程度の時間的範囲内)において撮影した一連の医療画像である。
図2に示すように、本実施形態において医療画像処理装置10が接続する内視鏡装置21は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影する内視鏡31、内視鏡31を介して被写体内に照明光を照射する光源装置32、プロセッサ装置33、及び、内視鏡31を用いて撮影した内視鏡画像等を表示するモニタ34を有する。
内視鏡31は、被写体が反射または散乱した照明光、または、被写体もしくは被写体に投与した薬剤等が発光する蛍光、等を用いて被写体を撮影するイメージセンサ41を備える。イメージセンサ41は、例えば、CMOS(Complementary Metal-Oxide-Semiconductor)のカラーセンサ(カラーフィルタを有するセンサ)である。
光源装置32は、光源部42と、光源制御部47と、を含む。光源部42は、例えば、LED(Light Emitting Diode)、LD(Laser Diode)、またはキセノンランプ等の発光デバイスを備える。また、光源部42は、プリズム、ミラー、光ファイバ、または、波長帯域もしくは光量等を調節する光学フィルタ等、を必要に応じて備える。本実施形態においては、光源部42は、中心波長が約405nmの紫色光を発光するV−LED43と、中心波長が約450nmの青色光を発光するB−LED44と、中心波長が約540nmの緑色光を発光するG−LED45と、中心波長が約630nmのR−LED46と、を備える。
光源制御部47は、光源部42が含む発光源を制御し、内視鏡31が被写体の撮影に使用する照明光を発生する。また、光源制御部47は、光源部42が複数の発光デバイスを含む場合、各発光デバイスの発光のタイミング及び発光量をそれぞれに制御することができる。したがって、光源装置32は、スペクトルが異なる複数種類の照明光を、任意のタイミング及び任意の強度で内視鏡31に供給できる。例えば、本実施形態においては、光源装置32は、光源制御部47が行う制御により、白色光の他、紫色光、青色光、緑色光、赤色光、または、これら各色の光のうち2以上を任意の強度比で混合した光等を、任意のタイミング及び任意の強度で照明光として発光できる。この他、光源装置32は、発光デバイスの特性により、または、光学フィルタの使用により、特定の狭い波長帯域を有する光(いわゆる狭帯域光)を照明光として発光できる。例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光を発光できる。
プロセッサ装置33は、イメージセンサ41から内視鏡画像を取得し、または、イメージセンサ41から取得した内視鏡画像に画像処理を施した内視鏡画像を生成する内視鏡画像生成部48を備える。イメージセンサ41及び内視鏡画像生成部48は、内視鏡装置21において「内視鏡画像取得部」を構成する。内視鏡画像取得部は、スペクトルが異なる複数種類の照明光を用いて被写体を撮影することにより、撮影条件が異なる少なくとも3種類以上の内視鏡画像を生成する。医療画像処理装置10は上記プロセッサ装置33と接続する。そして、医療画像取得部11は、内視鏡装置21の内視鏡画像生成部48から直接に内視鏡画像を取得する。
医療画像解析処理部12は、医療画像取得部11が取得した医療画像である内視鏡画像(以下、単に内視鏡画像という)を用いて解析処理をする。具体的には、図3に示すように、医療画像解析処理部12は、異常候補領域判別処理部51と、異常領域判別処理部52と、を含む。
異常候補領域判別処理部51は、医療画像取得部11が取得した撮影条件が異なる少なくとも3種類以上の内視鏡画像(医療画像)について、異常候補領域をそれぞれ判別する。異常候補領域とは、病変等の異常が認められる部分(病変部分または病変の可能性がある部分)を含む注目すべき領域の「候補」である。すなわち、異常候補領域は、異常領域の候補である。また、異常候補領域の判別には、異常候補領域であるか否かを判別することのほか、医療画像が異常候補領域を含む場合においては、異常候補領域における異常の種類(病変等の種類)の判別、異常候補領域における異常の進行度(病変等の進行度(いわゆるステージ等))の判別、または、これらの両方を含む。本実施形態においては、異常候補領域判別処理部51は、異常候補領域に該当するか否かを判別する。
異常候補領域判別処理部51は、異常候補領域の判別を、画素ごとに、内視鏡画像を小領域に分ける場合にはその小領域ごとに、または、内視鏡画像の全体に対して、行うことができる。本実施形態においては、異常候補領域判別処理部51は、所定数の画素からなる小領域ごとに、異常候補領域を判別する。
医療画像取得部11が内視鏡画像を取得する場合、異常領域及び異常候補領域とは、1または複数の病変、周辺の組織等と相違する色もしくは形状の特徴を有する領域、薬剤を散布等した領域、または、処置(生検、内視鏡的粘膜切除術(EMR(Endoscopic Mucosal Resection))、または、内視鏡的粘膜下層剥離術(ESD(Endoscopic Submucosal Dissection))等)を実施した領域、等の対象を含む領域である。医療画像が内視鏡画像である場合、病変等とは、例えば、ポリープ(隆起性病変)であり、より具体的には、過形成ポリープ(HP:hyperplastic polyp)、SSA/P(sessile serrated adenoma/polyp)、腺腫、癌、等である。また、周辺の組織等と相違する色もしくは形状の特徴を有する領域とは、被写体の発赤、萎縮、憩室、または、治療痕、等である。
異常候補領域判別処理部51は、医療画像取得部11が取得した内視鏡画像(医療画像)の種類(すなわち撮影条件)、異常候補領域として判別する病変等の種類もしくは性状等、または、これらの両方に応じて複数の処理部を有する。具体的には、異常候補領域判別処理部51は、第1処理部53、第2処理部54、第3処理部55、…、及び第M処理部56等、必要に応じた任意個数の処理部を含む。これらの処理部は、例えば、機械学習またはディープラーニング等によって学習済みのAIプログラムである。具体的には、青色光を使用して撮影した内視鏡画像を用いてある特定種類の病変V1を判別するAIプログラム、緑色光を使用して撮影した内視鏡画像を用いて病変V1を判別するAIプログラム、赤色光を使用して撮影した内視鏡画像を用いてある病変V1を判別するAIプログラム、被写体もしくは投与した薬剤が発光した蛍光を用いて撮影した内視鏡画像を用いて病変V3を判別するAIプログラム、特定の組織等の色彩を強調した画像を用いて病変V4を判別するAIプログラム、または、酸素飽和度等の特徴量を表す内視鏡画像を用いて病変V5を判別するAIプログラム、等である。いずれにしても、異常候補領域判別処理部51が含む各々の処理部は、それぞれ、特定の撮影条件で撮影した1種類の医療画像を用いて予め定めた病変等を判別することに特化している。
異常候補領域判別処理部51が含む各々の処理部は、上記のように、異常候補領域の判別する際に、判別の確からしさを表す「確度」を判別結果に含めることができる。したがって、異常候補領域判別処理部51は、異常候補領域の判別結果として、異常候補領域に該当するか否か、異常の種類(病変等の種類)、または、異常の進行度に加え、これら各判別結果についての確度を出力することができる。
異常領域判別処理部52は、各種類の内視鏡画像(医療画像)に係るそれぞれの異常候補領域の判別結果の組み合わせにしたがって異常領域を判別する。異常領域の判別には、異常領域に該当するか否かを判別することのほか、医療画像が異常領域を含む場合においては、異常領域における異常の種類(病変等の種類)の判別、異常領域における異常の進行度(病変等の進行度)の判別、または、これらの両方を含む。本実施形態においては、異常領域判別処理部52は、異常領域に該当するか否かを判別する。
異常領域判別処理部52は、それぞれの異常候補領域の判別結果の多数決により、異常領域を判別することができる。また、異常領域判別処理部52は、それぞれの異常候補領域の判別結果に重み付けをして異常領域を判別することができる。さらに、異常領域判別処理部52は、それぞれの異常候補領域の判別結果に係る確度を用いて異常領域を判別することができる。本実施形態においては、異常領域判別処理部52は、それぞれの異常候補領域の判別結果の多数決により、異常領域を判別する。
異常領域判別処理部52は、異常領域の判別を、異常候補領域判別処理部51における処理単位に合わせて、画素ごとに、内視鏡画像を複数の小領域に分ける場合にはその小領域ごとに、または、内視鏡画像の全体に対して、行うことができる。本実施形態においては、異常候補領域判別処理部51が所定数の画素からなる小領域ごとに異常候補領域を判別するので、異常領域判別処理部52は、異常候補領域判別処理部51が異常候補領域の判別をした小領域ごとに、異常領域を判別する。
表示部13は、医療画像取得部11が取得した医療画像、及び、異常領域の判別結果等を表示するディスプレイである。医療画像処理装置10が接続するデバイス等が含むモニタまたはディスプレイを共用し、医療画像処理装置10の表示部13として使用できる。
表示制御部15は、表示部13における医療画像及び解析結果の表示態様を制御する。例えば、本実施形態においては、表示制御部15は、表示用の内視鏡画像101を表示部13に表示する。また、表示制御部15は、表示用の内視鏡画像101において、異常領域判別処理部52における最終的な判別結果である異常領域131(図10参照)の輪郭を強調する等して、表示用の内視鏡画像101において異常領域131の所在を示す。すなわち、表示制御部15は、表示部13に表示用の医療画像101を表示する際に、表示用の医療画像101において異常領域131に対応する領域を強調する。「異常領域131に対応する領域」とは、表示用の医療画像101に写る被写体像の一部または全部であって、少なくとも異常領域131を含む領域である。また、異常領域131に対応する領域を「強調する」とは、異常領域131に対応する領域を直接的に強調することの他、異常領域131に対応する領域以外の領域の表示を抑制することにより、異常領域131に対応する領域を相対的に強調することを含む。なお、表示制御部15は、設定によっては、異常領域131または異常領域131以外の領域の色を調節して異常領域131の所在を示すことができる。また、表示制御部15は、設定によっては、音(音声を含む)、光(内視鏡画像101の部分的な点滅等)、座標の表示等、その他の任意の方法で異常領域131の有無または異常領域131の所在等の異常領域131の判別結果を報知できる。この場合、表示制御部15は、異常領域判別結果報知部として機能する。表示制御部15は、表示用の医療画像101において異常領域131に対応する領域を強調し、かつ、音または光等を用いて異常領域131の判別結果を報知できる。
入力受信部16は、医療画像処理装置10に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。医療画像処理装置10の各部の動作はこれらの操作デバイスを用いて制御できる。
統括制御部17は、医療画像処理装置10の各部の動作を統括的に制御する。入力受信部16が操作デバイスを用いた操作入力を受信した場合には、統括制御部17は、その操作入力にしたがって医療画像処理装置10の各部を制御する。
保存部18は、医療画像処理装置10が含むメモリ等の記憶デバイス(図示しない)、または、内視鏡装置21等の医療装置もしくはPACS22が含む記憶デバイス(図示しない)に、必要に応じて異常領域の判別結果等を保存する。
以下、医療画像処理装置10の動作の流れを説明する。図4に示すように、まず、医療画像取得部11が、自動的に、または、手動選択により、複数の内視鏡画像を取得する(ステップS10)。本実施形態においては、医療画像取得部11は、図5に示す表示用の内視鏡画像101を取得する。また、本実施形態においては、表示用の内視鏡画像101に写る部分について異常領域の判別をするので、医療画像取得部11は、表示用の内視鏡画像101を取得する際に、さらに、図6に示す第1内視鏡画像111と、図7に示す第2内視鏡画像112と、図8に示す第3内視鏡画像113と、を取得する。第1内視鏡画像111は、例えば、青色光を用いて撮影した内視鏡画像である。第2内視鏡画像112は、少なくとも第1内視鏡画像111と撮影条件が異なる内視鏡画像であり、例えば、緑色光を用いて撮影した内視鏡画像である。そして、第3内視鏡画像113は、少なくとも第1内視鏡画像111及び第2内視鏡画像112と撮影条件が異なる内視鏡画像であり、例えば、赤色光を用いて撮影した内視鏡画像である。すなわち、医療画像取得部11は、表示用の内視鏡画像101に加えて、表示用の内視鏡画像101と同じ対象を含み、かつ、相互に撮影条件が異なる3種類の内視鏡画像111,112,113を取得する。これらの内視鏡画像111,112,113は、異常候補領域の判別に使用し、結果として、異常領域の判別に使用する。
医療画像取得部11が医療画像を取得すると、表示制御部15は、医療画像取得部11が取得した医療画像のうち少なくとも1つの医療画像を表示部13に表示する(ステップS11)。本実施形態においては、医療画像取得部11は表示用の内視鏡画像101を取得するので、表示制御部15は表示用の内視鏡画像101を表示部13に表示する。
一方、上記のように、表示部13に表示用の内視鏡画像101を表示する際に、バックグラウンドでは、異常候補領域判別処理部51が、第1内視鏡画像111、第2内視鏡画像112、及び、第3内視鏡画像113に対して、それぞれ異常候補判別処理をする(ステップS12)。その結果、本実施形態においては、異常候補領域判別処理部51は、第1内視鏡画像111においては、病変V1を含む異常候補領域121(図6参照)を判別する。また、異常候補領域判別処理部51は、第2内視鏡画像112においては病変V1を含む異常候補領域122(図7参照)を判別し、かつ、第3内視鏡画像113においては病変V1を含む異常候補領域123(図8参照)を判別する。
異常候補領域判別処理部51が、第1内視鏡画像111の異常候補領域121、第2内視鏡画像112の異常候補領域122、及び、第3内視鏡画像113の異常候補領域123をそれぞれ判別すると、異常領域判別処理部52がこれらの判別結果を用いて異常領域を判別する(ステップS14)。本実施形態においては、図9の表に示すように、異常候補領域判別処理部51は、第1内視鏡画像111における異常候補領域の判別結果と、第2内視鏡画像112における異常候補領域の判別結果と、第3内視鏡画像113における異常候補領域の判別結果と、の多数決によって、異常か否かの最終的な判別結果である「異常領域」を判別する。すなわち、異常候補領域判別処理部51が、第1内視鏡画像111、第2内視鏡画像112、及び、第3内視鏡画像113のうち、少なくとも過半数の内視鏡画像において「異常」と判別した部分(小領域)を、異常領域判別処理部52は、最終判別結果として「異常」と判別する。逆に、異常候補領域判別処理部51が、第1内視鏡画像111、第2内視鏡画像112、及び、第3内視鏡画像113のうち、過半数の内視鏡画像において「正常」と判別した部分(小領域)については、異常領域判別処理部52は、最終判別結果として「正常」と判別する。この結果、異常領域判別処理部52は異常領域を判別する。なお、多数決の結果が同数となってしまった場合は、「異常」と判別するようにしても良い。これにより、異常領域の見落としをより避けることができる。
上記のように、異常領域判別処理部52が最終判別結果として異常領域を判別すると、図10に示すように、表示制御部15は、例えば、表示用の内視鏡画像101において最終判別結果である異常領域131の輪郭を示して異常領域131の所在を表示する(ステップS14)。これにより、医療画像処理装置10は、診断等を支援する。
上記のように、医療画像処理装置10は、撮影条件が異なる少なくとも3種類以上の医療画像について異常候補領域をそれぞれ判別し、これら異常候補領域の判別結果の組み合わせにしたがって最終的に異常領域を判別する。このため、医療画像処理装置10は、従来よりも精度良く異常領域を判別できる。
例えば、1種類の内視鏡画像を用いて異常領域を判別する場合、病変等の種類または性状によって、異常領域を判別し難い場合がある。これに対して、医療画像処理装置10は、異常領域を判別する過程において、3種類以上の内視鏡画像を使用するので、1種類の内視鏡画像を用いる場合よりも、異常領域を正しく判別できる確率が向上している。
また、2種類の内視鏡画像を用いて異常領域を判別する場合、基本的には、これら2種類の内視鏡画像の両方において異常と判別した共通部分だけを異常と判別せざるを得ないので、実際の病変等の一部分のみを異常領域と検出してしまう場合も多い。もちろん、2種類の内視鏡画像のどちらかで異常と判別した部分の全体を異常領域と判別することもできるが、この場合、実際の病変等よりも広範囲を異常領域と判別してしまう場合も多い。これに対して、医療画像処理装置10は、少なくとも3種類以上の内視鏡画像を使用し、これらの各内視鏡画像における異常候補領域の判別結果を組み合わせて、最終的に、異常領域の判別をするので、2種類の内視鏡画像を用いて異常領域を判別する場合よりも、適正に異常領域を判別することができる。
上記の他、医療画像処理装置10は、3種類以上の医療画像からそれぞれ異常候補領域を判別するステップ(S12)と、異常候補領域の判別結果を組み合わせて最終的二以上領域を判別するステップ(S13)の2段階のステップで異常領域を判別する。このため、異常候補領域判別処理部51は、第1処理部53等、特定の撮影条件のもとで特定の病変等を判別することに特化した処理部によって、異常候補領域を容易にかつ高精度に判別できる。その結果、医療画像処理装置10は、高精度に異常領域を判別できる。異常候補領域判別処理部51をAIプログラムを用いて構成する場合においても、AIプログラム学習も容易であり、かつ、AIプログラムの処理速度も速いことも利点である。
[第2実施形態]
上記第1実施形態においては、異常候補領域判別処理部51は、異常候補領域であるか否かを判別し、異常領域判別処理部52においても、最終的に異常領域であるか否かを判別しているが、医療画像処理装置10は、異常候補領域または異常領域について、さらに、異常の種類または進行度を判別できる。
例えば、図11に示すように、異常候補領域判別処理部51は、第1内視鏡画像111において異常候補領域121を判別し、かつ、異常候補領域121にある病変等の種類を例えば「病変V1」と判別する。異常候補領域判別処理部51は、第2内視鏡画像112において異常候補領域122を判別し、かつ、異常候補領域121にある病変等の種類を例えば「病変V1」と判別する。また、異常候補領域判別処理部51は、第3内視鏡画像113において異常候補領域123を判別し、かつ、異常候補領域123にある病変等の種類を例えば「病変V2」と判別する。
この場合、異常候補領域判別処理部51が、第1内視鏡画像111、第2内視鏡画像112、及び、第3内視鏡画像113の全てにおいて異常候補領域(「異常」)と判別した小領域については、異常領域判別処理部52は、異常領域(「異常」)と判別する。これは、第1実施形態と同様である。一方、本実施形態においては、異常候補領域判別処理部51は病変等の種類も判別するので、異常領域判別処理部52は、異常候補領域判別処理部51が判別した病変等の種類の多数決により、異常領域にある病変糖の種類を判別する。すなわち、第1内視鏡画像111及び第2内視鏡画像112において「病変V1」と判別し、かつ、第3内視鏡画像113において「病変V2」と判別しているので、異常領域判別処理部52は、この異常領域における病変の種類を、過半数を占める「病変V1」と判別する。
上記のように、本実施形態の医療画像処理装置10によれば、病変等の種類も含めて異常領域を判別できる。病変等の種類の代わりに、または、病変等の種類に加えて、病変等の進行度を判別する場合も同様である。
なお、上記第2実施形態のように、最終的に、異常領域の判別に加えて、異常の種類、異常の進行度、またはこれらの両方を判別する場合、図12に示すように、表示制御部15は、表示部13の表示画面に異常の種類、異常の進行度、またはこれらの両方を表示する種類等表示領域201を設ける。そして、表示用の内視鏡画像101において異常領域判別処理部52が判別した異常領域131の所在を示し、かつ、種類等表示領域201において異常領域判別処理部52が判別した異常領域131にある異常の種類、異常の進行度、またはこれらの両方を表示する。
上記第2実施形態においては、異常領域判別処理部52は、異常領域であるか否かを、第1実施形態と同様に、異常候補領域判別処理部51が判別した異常候補領域であるか否かの判別結果の組み合わせを用いて判別し、かつ、異常領域であるか否かの判別とは別に、異常候補領域判別処理部51が判別した異常候補領域にある異常の種類等の判別結果を組み合わせて、異常領域にある異常の種類等を判別している。しかし、異常領域判別処理部52は、異常候補領域判別処理部51の異常候補領域であるか否かの判別結果と、異常の種類の判別結果、異常の進行度の判別結果、または、これらの両方と、を一体的に総合的に考慮して、最終判別結果を決定することができる。例えば、図11の例においては、異常候補領域判別処理部51の判別結果のうち過半数が「病変V1に係る異常候補領域」であるという判別結果であることから、異常領域判別処理部52は、この領域を「病変V1に係る異常候補領域」と判別することができる。異常候補領域判別処理部51が病変等の進行度を判別する場合も同様である。
[第3実施形態]
第1実施形態及び第2実施形態においては、異常領域判別処理部52は、異常候補領域判別処理部51が判別結果に含めて出力する判別の確度を利用していないが、異常領域判別処理部52は、異常候補領域判別処理部51が出力する判別結果についての確度を用いて、異常領域を判別することができる。例えば、図13に示すように、ある小領域についての異常候補領域の判別結果が、第1内視鏡画像111及び第3内視鏡画像113においては正常領域(「正常」)であり、かつ、第2内視鏡画像112においては異常候補領域(「異常」)であるとする。また、例えば、第1内視鏡画像111についての異常候補領域の判別の確度が「15」であり、第2内視鏡画像112についての異常候補領域の判別の確度が「80」であり、第3内視鏡画像113についての異常候補領域の判別の確度が「20」であって、かつ、確度は数値が大きいほど「確からしい」ことを表すとする。この場合、第1実施形態のように、判別対象の小領域が異常領域であるか否かを、異常候補領域であるか否かの判別結果の多数決によって判別すれば、過半数が「正常」であるため、最終判別結果は「正常」となる。
しかし、本実施形態においては、異常候補領域の判別の確度をみると、第1内視鏡画像111及び第3内視鏡画像113における異常候補領域の判別の確度は比較的低く、第2内視鏡画像112における異常候補領域の判別の確度は比較的高いので、多数決で「正常」と判別する妥当性は低い。このため、異常領域判別処理部52は、異常候補領域の判別の確度にしたがって当該小領域についての最終判別結果を「異常」と判別する。こうしたケースは、例えば、第1内視鏡画像111、第2内視鏡画像112、及び、第3内視鏡画像113において判別対象の病変等の観察のしやすさ(判別のしやすさ)が大きく異なり、判別対象の小領域が、第2内視鏡画像112においてのみ観察しやすい病変等を含む場合を想定できる。
なお、上記の例は一例に過ぎず、異常領域判別処理部52が、異常領域の判別に、異常候補領域の判別の確度を用いる場合、異常候補領域の判別の確度の用い方は任意である。異常領域判別処理部52は、異常候補領域であるか否かの判別結果に、異常候補領域の判別の確度にしたがった重み付けをして、最終的に、異常領域であるか否かを判別することができる。図13の例においては、例えば、正常を数値「1」とし、異常を数値「−1」として、確度の1/100を重みとした重み付け和を求めると「−0.45」であるため、異常の数値「−1」に近いので、異常領域判別処理部52は当該小領域が異常領域であると判別できる。上記のように確度を重みとした重み付け和を求める等する代わりに、異常領域判別処理部52をAIプログラムで実装しても良い。
上記第3実施形態においては、異常領域判別処理部52は、異常領域であるか否かの判別のために異常領域の判別のために、異常候補領域の判別の確度を用いるが、異常領域判別処理部52は、異常の種類、異常の進行度、またはこれらの両方の判別のために、異常候補領域の判別の確度を用いることができる。
例えば、図14に示すように、ある小領域について、第1内視鏡画像111の異常候補領域の判別結果が「病変V1による異常領域」であり、第2内視鏡画像112の異常候補領域の判別結果が「病変V2による異常領域」であり、かつ、第3内視鏡画像113の異常候補領域の判別結果が「病変V3による異常領域」であるとする。この場合、異常領域判別処理部52は、少なくとも当該小領域を異常領域であると判別するが、病変の種類はV1,V2,V3であり、判別結果が割れている。このような場合、異常領域判別処理部52は、異常候補領域の判別の確度を用いて、例えば、最も確からしい「病変V2」を最終判別結果とすることができる。
また、図15に示すように、例えば、病変の種類の判定結果のうち過半数が「病変V2」であるとしても、異常領域判別処理部52は、過半数に満たなくても確度が高い結果を信頼して、病変の種類を「病変V1」と判別することができる。なお、異常領域判別処理部52は、図14及び図15に示すような場合においても、異常候補領域の判別の確度を重み付けに用いることができる。また、異常領域判別処理部52は、図14及び図15に示すような場合においても、AIプログラムで実装できる。
[第4実施形態]
異常領域判別処理部52は、異常候補領域の判別結果の組み合わせと、異常領域の判別結果と、を予め対応付ける判別条件(例えば表などの形式である)を用いて異常領域の判別をすることができる。例えば、医療画像取得部11が、異常候補領域及び異常領域の判別のために、青色光を用いて撮影した第1内視鏡画像111、緑色光を用いて撮影した第2内視鏡画像112、及び、赤色光を用いて撮影した第3内視鏡画像113の他に、紫色光を用いて撮影した第4内視鏡画像(図示しない)を取得する場合、偶数個の内視鏡画像を使用することになるので、確度を用いる場合を除けば、異常候補領域の判別結果を用いても最終的な異常領域の判別できない。このような場合には、異常領域判別処理部52は、異常候補領域の判別結果の組み合わせと、異常領域の判別結果と、の判別条件を用いれば、異常領域の判別が容易である。
上記4種類の内視鏡画像を異常候補領域及び異常領域の判別に用いる場合、例えば、異常領域判別処理部52は、図16に示す条件を用いて、ある小領域について異常領域の判別をすることができる。D(B)は、第1内視鏡画像111を用いた異常候補領域の判別結果を表し、D(B)の内側が「異常」、外側が「正常」判別結果を表す。同様に、D(V)は、第4内視鏡画像を用いた異常候補領域の判別結果を表し、D(G)は、第2内視鏡画像112を用いた異常候補領域の判別結果を表し、かつ、D(R)は第3内視鏡画像113を用いた異常候補領域の判別結果を表す。そして、図16におけるハッチング部分の条件を満たす場合、異常領域判別処理部52は、その小領域を「異常」と判別する。
すなわち、異常候補領域の判別結果が、紫色光で撮影した第4内視鏡画像において「異常」であり、かつ、青色光で撮影した第1内視鏡画像111において「異常」である場合、他の内視鏡画像における異常候補領域の判別結果の如何を問わず、異常領域判別処理部52は判別対象の小領域を異常領域と判別する。これは、粘膜の概ね表層付近にある異常を表す。また、異常候補領域の判別結果が、青色光で撮影した第1内視鏡画像111において「異常」であり、かつ、緑色光で撮影した第2内視鏡画像112において「異常」である場合、他の内視鏡画像における異常候補領域の判別結果の如何を問わず、異常領域判別処理部52は判別対象の小領域を異常領域と判別する。これは、粘膜の概ね中層付近にある異常を表す。さらに、異常候補領域の判別結果が、緑色光で撮影した第2内視鏡画像112において「異常」であり、かつ、赤色光で撮影した第3内視鏡画像113において「異常」である場合、他の内視鏡画像における異常候補領域の判別結果の如何を問わず、異常領域判別処理部52は判別対象の小領域を異常領域と判別する。これは、粘膜の概ね深層付近の異常を表す。
なお、異常領域判別処理部52は、異常領域であるか否かを判別する場合に、上記のように異常候補領域の判別結果の組み合わせと、異常領域であるか否かの判別結果と、の対応を予め定める判別条件を用いることができるほか、異常領域判別処理部52は、図17に示す表のように、異常候補領域の判別結果の組み合わせと、異常の種類、異常の進行度、またはこれらの両方と、の対応を予め定めることができる。図17においては、X1〜X7は、病変の種類(ポリープもしくは癌等の病名)または病変の進行度(癌のステージ等)である。
上記各実施形態においては、医療画像処理装置10と内視鏡装置21は別個の装置であるが、内視鏡装置21は、医療画像処理装置10を含むことができる。この場合、図18に示すように、医療画像処理装置10を構成する各部520は、プロセッサ装置33に設ける。但し、表示部13は、内視鏡装置21のモニタ34を共用できる。また、医療画像取得部11は、イメージセンサ41及び内視鏡画像生成部48が形成する「内視鏡画像取得部」に相当する。このため、プロセッサ装置33には医療画像取得部11及び表示部13以外の各部を設ければ足りる。また、上記各実施形態及びその他変形例の医療画像処理装置10と、図2の内視鏡装置21と、の全体で新たな内視鏡装置を構成できる。
内視鏡装置21は、基本的にリアルタイムに被写体を観察する装置であるから、上記のように、内視鏡装置21が医療画像処理装置10を含む場合、異常候補領域の判別、異常領域の判別、及び、異常領域の判別結果の表示は、内視鏡画像を撮影する際に、または、任意のタイミングで実行できる。
また、図19に示すように、内視鏡装置21その他モダリティと組み合わせて使用する診断支援装置610は、上記実施形態及びその他変形例の医療画像処理装置10を含むことができる。また、図20に示すように、例えば内視鏡装置21を含む、第1検査装置621、第2検査装置622、…、第N検査装置623等の各種検査装置と任意のネットワーク626を介して接続する医療業務支援装置630は、上記実施形態及びその他変形例の医療画像処理装置10を含むことができる。
この他、医療画像処理装置10、及び、医療画像処理装置10を含む各種装置、及び、医療画像処理装置10の機能を内包する各種装置またはシステムは、以下の種々の変更等をして使用できる。
医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。
医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。
特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。
特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、可視域の赤色帯域である。
特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、585nm以上615nmまたは610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。
特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。
また、蛍光は、ピーク波長が390nm以上470nm以下である励起光を生体内に照射して得る蛍光を利用できる。
医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。
医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、790nm以上820nmまたは905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像取得部11は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。
特定の波長帯域の信号は、通常光画像に含むRGBまたはCMYの色情報に基づく演算により得ることができる。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。
内視鏡装置21については、内視鏡31としてカプセル内視鏡を使用できる。この場合、光源装置32と、プロセッサ装置33の一部と、はカプセル内視鏡に搭載できる。
上記各実施形態及び変形例において、医療画像取得部11、医療画像解析処理部12(医療画像解析処理部12を構成する各部)、表示制御部15、入力受信部16、統括制御部17、並びに、内視鏡装置21の内視鏡画像生成部48等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 医療画像処理装置
11 医療画像取得部
12 医療画像解析処理部
13 表示部
15 表示制御部
16 入力受信部
17 統括制御部
18 保存部
21 内視鏡装置
22 PACS
31 内視鏡
32 光源装置
33 プロセッサ装置
34 モニタ
41 イメージセンサ
42 光源部
43 V−LED
44 B−LED
45 G−LED
46 R−LED
47 光源制御部
48 内視鏡画像生成部
51 異常候補領域判別処理部
52 異常領域判別処理部
53 第1処理部
54 第2処理部
55 第3処理部
56 第M処理部
101 表示用の内視鏡画像
111 第1内視鏡画像
112 第2内視鏡画像
113 第3内視鏡画像
121、122、123 異常候補領域
131 異常領域
201 種類等表示領域
520 医療画像処理装置を構成する各部
610 診断支援装置
621 第1検査装置
622 第2検査装置
623 第N検査装置
626 ネットワーク
630 医療業務支援装置
V1,V2,V3,V4,V5 病変
D(B) 第1内視鏡画像を用いた異常候補領域の判別結果
D(G) 第2内視鏡画像を用いた異常候補領域の判別結果
D(R) 第3内視鏡画像を用いた異常候補領域の判別結果
D(V) 第4内視鏡画像を用いた異常候補領域の判別結果

Claims (14)

  1. 被写体像を含む医療画像を取得する医療画像取得部と、
    撮影条件が異なる少なくとも3種類以上の前記医療画像について、異常候補領域をそれぞれ判別する異常候補領域判別処理部と、
    各種類の前記医療画像に係るそれぞれの前記異常候補領域の判別結果の組み合わせにしたがって異常領域を判別する異常領域判別処理部と、
    を備える医療画像処理装置。
  2. 前記医療画像が前記異常候補領域を含む場合、前記異常候補領域判別処理部は、前記異常候補領域における異常の種類を判別する請求項1に記載の医療画像処理装置。
  3. 前記医療画像が前記異常候補領域を含む場合、前記異常候補領域判別処理部は、前記異常候補領域における異常の進行度を判別する請求項1または2に記載の医療画像処理装置。
  4. 前記異常領域判別処理部は、それぞれの前記異常候補領域の判別結果の多数決により、前記異常領域を判別する請求項1〜3のいずれか1項に記載の医療画像処理装置。
  5. 前記異常領域判別処理部は、それぞれの前記異常候補領域の判別結果に重み付けをして前記異常領域を判別する請求項1〜4のいずれか1項に記載の医療画像処理装置。
  6. 前記異常領域判別処理部は、それぞれの前記異常候補領域の判別結果に係る確度を用いて前記異常領域を判別する請求項4または5に記載の医療画像処理装置。
  7. 前記異常候補領域判別処理部は、前記医療画像を小領域に分けて、前記小領域ごとに異常候補領域判別処理を行い、かつ、前記異常領域判別処理部は、前記小領域ごとに異常領域を判別する請求項1〜6のいずれか1項に記載の医療画像処理装置。
  8. 前記医療画像取得部は、前記異常候補領域判別処理部において用いる前記医療画像の他に、表示用の前記医療画像を取得する請求項1〜7のいずれか1項に記載の医療画像処理装置。
  9. 表示用の前記医療画像は、前記異常候補領域判別処理部において用いる前記医療画像と、撮影条件が異なる請求項8に記載の医療画像処理装置。
  10. 前記異常候補領域判別処理部において用いる前記医療画像を、表示用の前記医療画像として用いる請求項1〜7のいずれか1項に記載の医療画像処理装置。
  11. 前記医療画像を表示する表示部を備え、
    前記表示部は、表示用の前記医療画像を表示する請求項8〜10のいずれか1項に記載の医療画像処理装置。
  12. 前記表示部に表示用の前記医療画像を表示する際に、表示用の前記医療画像において前記異常領域に対応する領域を強調する表示制御部を備える請求項11に記載の医療画像処理装置。
  13. 前記異常領域の判別結果を音または光を用いて報知する異常領域判別結果報知部を備える請求項11または12に記載の医療画像処理装置。
  14. スペクトルが異なる複数種類の照明光を用いて被写体を撮影することにより、撮影条件が異なる少なくとも3種類以上の内視鏡画像を生成する内視鏡画像取得部と、
    各種類の前記内視鏡画像について、異常候補領域をそれぞれ判別する異常候補領域判別処理部と、
    各種類の前記内視鏡画像に係るそれぞれの前記異常候補領域の判別結果の組み合わせにしたがって、異常領域を判別する異常領域判別処理部と、
    を備える内視鏡装置。
JP2019550326A 2017-10-26 2018-10-26 医療画像処理装置、及び、内視鏡装置 Active JP6866497B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017207131 2017-10-26
JP2017207131 2017-10-26
PCT/JP2018/039915 WO2019083020A1 (ja) 2017-10-26 2018-10-26 医療画像処理装置、及び、内視鏡装置

Publications (2)

Publication Number Publication Date
JPWO2019083020A1 JPWO2019083020A1 (ja) 2020-10-22
JP6866497B2 true JP6866497B2 (ja) 2021-04-28

Family

ID=66246953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019550326A Active JP6866497B2 (ja) 2017-10-26 2018-10-26 医療画像処理装置、及び、内視鏡装置

Country Status (2)

Country Link
JP (1) JP6866497B2 (ja)
WO (1) WO2019083020A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
WO2015077474A1 (en) * 2013-11-20 2015-05-28 The George Washington University Systems and methods for hyperspectral analysis of cardiac tissue
US10750947B2 (en) * 2014-01-08 2020-08-25 Board Of Regents Of The University Of Texas System System and method for intraoperative fluorescence imaging in ambient light
JP6392570B2 (ja) * 2014-07-11 2018-09-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
WO2016185733A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
JPWO2019083020A1 (ja) 2020-10-22
WO2019083020A1 (ja) 2019-05-02

Similar Documents

Publication Publication Date Title
JP7296498B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP6827557B2 (ja) 医療画像処理装置
JP6920931B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
US11449988B2 (en) Medical image processing apparatus
JP7411772B2 (ja) 内視鏡システム
JPWO2020036121A1 (ja) 内視鏡システム
JP7146925B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112512398B (zh) 医疗图像处理装置
JP6785990B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP6834019B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP6866497B2 (ja) 医療画像処理装置、及び、内視鏡装置
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
US20210224989A1 (en) Medical image processing system and learning method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210407

R150 Certificate of patent or registration of utility model

Ref document number: 6866497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250