JP6937438B2 - 画像診断支援システムおよび画像診断支援方法 - Google Patents

画像診断支援システムおよび画像診断支援方法 Download PDF

Info

Publication number
JP6937438B2
JP6937438B2 JP2020533945A JP2020533945A JP6937438B2 JP 6937438 B2 JP6937438 B2 JP 6937438B2 JP 2020533945 A JP2020533945 A JP 2020533945A JP 2020533945 A JP2020533945 A JP 2020533945A JP 6937438 B2 JP6937438 B2 JP 6937438B2
Authority
JP
Japan
Prior art keywords
interest
classification
region
result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020533945A
Other languages
English (en)
Other versions
JPWO2020026349A1 (ja
Inventor
文行 白谷
文行 白谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020026349A1 publication Critical patent/JPWO2020026349A1/ja
Application granted granted Critical
Publication of JP6937438B2 publication Critical patent/JP6937438B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、画像診断支援システムおよび画像診断支援装置に関する。
近年、ディープラーニングに代表される教師付き学習を内視鏡画像の診断に応用する試みが開始されている。従来では、既存手法と教師付き学習の組合せによって、内視鏡画像から関心対象である病変を検出する技術が提案されている(特許文献1)。
WO2017/042812号公報
特許文献1には、検出した関心対象を含む関心領域を、教師付き学習によって分類(鑑別)する記載も見られるが、関心領域を高精度に分類するための課題や工夫については開示されていない。本発明者は、より高精度に関心領域を分類できる技術を模索し、本発明に想到した。
本発明はこうした状況に鑑みなされたものであり、その目的は、より高精度に関心領域を分類できる技術を提供することにある。
上記課題を解決するために、本発明のある態様の画像診断支援システムは、画像の入力を受け付ける入力部と、関心対象を含む関心領域を画像から検出し、検出された関心領域を分類して第1分類結果を出力する第1処理部と、関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて関心領域を分類して第2分類結果を出力する第2処理部と、関心領域に関して所定の条件が成立する場合、第1分類結果が関心領域の分類として採用され、成立しない場合、第2分類結果が関心領域の分類として採用される。
本発明の別の態様は、画像診断支援装置である。この装置は、画像の入力を受け付ける入力部と、関心対象を含む関心領域を画像から検出し、検出された関心領域を分類して第1分類結果を出力する第1処理部と、関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて関心領域を分類して第2分類結果を出力する第2処理部と、関心領域に関して所定の条件が成立する場合、第1分類結果が関心領域の分類として採用され、満たさない場合、第2分類結果が関心領域の分類として採用される。
本発明のさらに別の態様は、画像診断支援システムである。この画像診断支援システムは、画像の入力を受け付ける入力部と、関心対象を含む関心領域を、画像を低解像度化した画像から検出する第1処理部と、低解像度化した画像よりも高解像度な画像における、関心領域に対応する領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて関心領域を分類する第2処理部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、より高精度に関心領域を分類できる技術を提供できる。
第1の実施の形態に係る画像診断支援システムの機能および構成を示すブロック図である。 図1の決定部による処理を説明するための図である。 第1の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。 第2の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。 第4の実施の形態に係る画像診断支援システムの機能および構成を示すブロック図である。
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。
(第1の実施の形態)
図1は、第1の実施の形態に係る画像診断支援システム100の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのCPU(central processing unit)をはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。後述の図4についても同様である。
画像診断支援システム100は、内視鏡画像を用いた病変の診断を支援する。なお、内視鏡画像は、例えばスコープを体内に挿入する従来型の内視鏡、カプセル内視鏡またはNBI(Narrow Band Imaging)内視鏡により撮影される。
画像診断支援システム100は、画像入力部110と、第1処理部112と、第2処理部114と、決定部116と、出力部118と、を備える。
画像入力部110は、ユーザ端末または他の装置から、内視鏡画像の入力を受け付ける。第1処理部112は、画像入力部110が受け付けた内視鏡画像に対して、病変候補領域(関心領域)を検出する検出処理を実行する。病変候補領域は、病変(関心対象)を含む矩形状の領域である。そして第1処理部112は、検出された病変候補領域(すなわち病変)の悪性度を分類(鑑別)する第1分類処理を実行し、その分類結果である第1分類結果を出力する。
具体的には第1処理部112は、検出処理として、内視鏡画像から病変を含む病変候補領域を検出するよう学習された学習済みの検出用の学習モデルに内視鏡画像を入力する。なお、検出用の学習モデルは、好ましくはニューラルネットワークとして、さらに好ましくは、例えばRegion Proposal Network(RPN)などの畳み込みニューラルネットワークとして構築される。つまり、第1処理部112は、検出処理として、好ましくはニューラルネットワーク、さらに好ましくは畳み込みニューラルネットワークによる処理を実行する。内視鏡画像によっては、検出処理で病変候補領域が検出されない場合もあれば、1つまたは複数の病変候補領域が検出される場合もある。
また、第1処理部112は、第1分類処理として、病変候補領域を分類するよう学習された学習済みの第1分類用の学習モデルに、検出された病変候補領域に関する情報を入力する。ここでは、第1分類用の学習モデルは、病変候補領域を良性、やや悪性、悪性のいずれかに分類するよう学習されているものとする。なお、第1分類用の学習モデルは、好ましくはニューラルネットワークとして、さらに好ましくは、例えばFast R-CNN(FRCNN)などの畳み込みニューラルネットワークとして構築される。つまり、第1処理部112は、第1分類処理として、好ましくはニューラルネットワーク、さらに好ましくは畳み込みニューラルネットワークによる処理を実行する。
第2処理部114は、検出処理により検出された病変候補領域の各画素の悪性度を分類するすなわち病変候補領域を画素単位で分類するセマンティックセグメンテーションを実行し、さらにセマンティックセグメンテーションの実行結果すなわち各画素の分類結果に基づいて病変候補領域の悪性度を分類する第2分類処理を実行し、その分類結果である第2分類結果を出力する。
具体的には第2処理部114は、学習済みのセマンティックセグメンテーション用の学習モデルに、検出された病変候補領域に関する情報を入力する。ここでは、セマンティックセグメンテーション用の学習モデルは、病変候補領域の各画素を良性、やや悪性、悪性または正常のいずれかに分類するよう学習されているものとする。なお、セマンティックセグメンテーション用の学習モデルは、好ましくはニューラルネットワークとして、さらに好ましくは、例えばDeepLabなどの畳み込みニューラルネットワークとして構築される。つまり、第2処理部114は、第2分類処理として、好ましくはニューラルネットワーク、さらに好ましくは畳み込みニューラルネットワークによる処理を実行する。
また、第2処理部114は、第2分類処理では、例えば、病変に分類された画素(すなわち良性、やや悪性または悪性に分類された画素)において割合が一番多い分類を、病変候補領域(すなわち病変)としての分類結果すなわち第2分類結果とする。
決定部116は、第1分類結果と第2分類結果のどちらの分類結果を病変候補領域の分類として採用するかを決定する。ここで、第1分類処理では、病変候補領域を全体としてひとつのカテゴリに分類するため、病変候補領域における病変の専有面積が狭い場合、具体的には病変が斜め方向に細長い場合、分類精度が低くなる傾向にある。そこで決定部116は、病変候補領域における病変の専有面積が広い場合は第1分類処理による第1分類結果を病変候補領域の分類として採用すると決定し、狭い場合は第2分類処理による第2分類結果を病変候補領域の分類として採用すると決定する。
図2(a)、(b)は、決定部116による処理を説明するための図である。図2(a)は、セマンティックセグメンテーションの実行結果を示す。図2(b)は、図2(a)の病変領域を公知の手法に基づいて楕円近似して得られた楕円を示す。図2(a)、(b)を参照して、決定部116による処理をより具体的に説明する。決定部116は、まず、セマンティックセグメンテーションの実行結果における病変領域A1を、すなわちセマンティックセグメンテーションにより病変(すなわち良性、やや悪性または悪性)に分類された画素の集まりである病変領域A1を、楕円近似する。続いて決定部116は、楕円近似して得られた病変領域A2の長径D、短径Dおよび長軸Axの向きを特定する。そして決定部116は、下記の条件が成立する場合、病変がそこまで細長くない又は細長いとしても斜め方向に細長くはないと推定し、第1分類結果を病変候補領域の分類として採用すると決定する。一方、決定部116は、下記の条件が成立しない場合、病変が斜め方向にある程度以上細長いと推定して、第2分類結果を病変候補領域の分類結果として採用すると決定する。
(条件)
短径D/長径D ≧ 閾値Th1(例えばTh1=0.3)
または
画像の縦方向と長軸Axとがなす鋭角αが所定の角度範囲(例えば0°〜30°)
出力部118は、決定部116によって病変候補領域の分類として採用が決定された分類を、例えばディスプレイに出力する。
以上が画像診断支援システム100の構成である。続いて画像診断支援システム100の動作を説明する。
図3は、画像診断支援システム100における一連の処理の一例を示すフローチャートである。画像入力部110は、内視鏡画像の入力を受け付ける(S110)。第1処理部112は、内視鏡画像に対して、病変候補領域を検出する検出処理を実行する(S112)。病変候補領域が検出された場合、すなわち内視鏡画像中に病変候補領域が存在する場合(S114のY)、第1処理部112は検出された病変候補領域に対して第1分類処理を実行して第1分類結果を出力する(S116)。第2処理部114は、検出された病変候補領域に対してセマンティックセグメンテーションを実行し(S118)、その結果に基づいて第2分類結果を出力する第2分類処理を実行する(S120)。決定部116は、セマンティックセグメンテーションの実行結果が示す病変領域の形状に基づいて、第1分類結果と第2分類結果のどちらの分類結果を病変候補領域の分類として採用するかを決定する(S122)。出力部118は、採用が決定された分類を出力する(S124)。病変候補領域が検出されなかった場合(S114のN)、S116〜S124をスキップして処理を終了する。
なお、S112の検出処理において病変候補領域が検出された場合に、S116の第1分類処理をスキップしてS118のセマンティックセグメンテーションの実行に進んでもよい。そして、セマンティックセグメンテーションを実行した後に、S120の第2分類処理をスキップしてS122の採用する分類結果を決定する処理に進んでもよい。そして、第1分類結果を採用すると決定された場合に、S116の第1分類処理を実行し、第2分類結果を採用すると決定された場合にS120の第2分類処理を実行してもよい。
なお、以上の動作は、内視鏡画像が静止画である場合を想定したものであるが、動画の場合は、内視鏡画像の読み込みに応じて分類結果を出力し続け、例えば動画の最後になった時点で処理が終了させてもよい。
以上説明した第1の実施の形態に係る画像診断支援システム100によると、病変候補領域中の病変が斜め方向に細長い場合、そうである場合に分類精度が低くなる傾向にある第1分類結果ではなく、第2分類結果が採用される。これにより、分類精度を向上させることができる。
(第2の実施の形態)
第1の実施の形態では、第2処理部によるセマンティックセグメンテーションの実行結果が示す病変の形状に基づいて、第1分類結果と第2分類結果のいずれの分類結果を病変候補領域の分類として採用するか決定する場合について説明した。第2の実施の形態では、病変候補領域の形状に基づいて、第1分類結果と第2分類結果のいずれの分類結果を病変候補領域の分類として採用するか決定する場合について説明する。第1の実施の形態との相違点を中心に説明する。
ここで、第1処理部112による検出処理により検出される病変候補領域が細長い形状である場合、そこに含まれる病変の形状は細長い形状であると推定される。一方、病変は側方から見ると細長く見えることが多く、第1処理部112による分類では、側方から撮影された病変の分類精度が低くなる傾向にある。そこで決定部116は、病変候補領域が正方形またはそこまで細長くない矩形状である場合は第1分類処理による第1分類結果を病変候補領域の分類として採用すると決定し、病変候補領域がある程度以上細長い矩形状である場合は第2分類処理による第2分類結果を病変候補領域の分類として採用すると決定する。
具体的には決定部116は、下記の条件が成立する場合、第1分類結果を病変候補領域の分類として採用すると決定し、下記の条件が成立しない場合、第2分類結果を病変候補領域の分類結果として採用すると決定する。
(条件)
病変候補領域の短辺の長さ/病変候補領域の長辺の長さ ≧ 閾値Th2(例えばTh2=0.2)
続いて、画像診断支援システムの動作を説明する。
図4は、第2の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。図3との相違点を中心に説明する。第1分類結果が出力されると、決定部116は、病変候補領域の形状に基づいて、第1分類結果と第2分類結果のどちらの分類結果を病変候補領域の分類として採用するかを決定する(S118)。第1分類結果を採用すると決定した場合(S118のY)、S120のセマンティックセグメンテーションの実行およびS122の第2分類処理をスキップして、採用が決定された第1分類結果を出力する(S124)。第2分類結果を採用すると決定した場合(S118のN)、セマンティックセグメンテーションの実行および第2分類処理を実行し(S120,S122)、第2分類結果を分類結果として出力する(S124)。
なお、S118の決定部116による処理は、S114の処理のすぐ後に実行してもよい。この場合、第1分類結果を採用すると決定した場合にのみ第1分類処理を実行し、第2分類結果を採用すると決定した場合にのみ第2分類処理を実行してもよい。
また、病変候補領域が正方形または正方形に近い矩形の場合、病変が斜め方向に細長い場合があり得る。したがって、第1の実施の形態の技術をさらに組み合わせて、病変候補領域が正方形または正方形に近い矩形の場合に、第1分類結果を採用するか第2分類結果を採用するかをさらに判定してもよい。
以上説明した第2実施の形態に係る画像診断支援システムによると、病変候補領域がある程度以上細長い矩形状である場合、そうである場合に分類精度が低くなる傾向にある第1分類結果ではなく、第2分類結果が採用される。これにより、分類精度を向上させることができる。
(第3の実施の形態)
本発明者は、学習時にはSoftMax関数を施した出力を尤度とし、認識時にはSoftMax関数を施さない出力を尤度とした場合、分類の尤度と分類の精度との間に相関があることを確認してした。そこで第3の実施の形態では、第1分類結果の尤度と第2分類結果の尤度に基づいて、第1分類結果と第2分類結果のどちらの分類結果を病変候補領域の分類として採用するか決定する場合について説明する。第1の実施の形態との相違点を中心に説明する。
第1処理部112は、検出処理および第1分類処理を実行する。決定部116は、第1分類処理による第1分類結果の尤度が所定の閾値Th3(例えばTh3=0.6)以上であるか否かを判定する。第1分類結果の尤度が閾値Th3以上である場合、決定部116は第1分類結果を病変候補領域の分類として採用すると決定する。第1分類結果の尤度が閾値Th3未満である場合、決定部116は第1分類結果を病変候補領域の分類として採用しないと決定する。この場合、第2処理部114は、セマンティックセグメンテーションの実行および第2分類処理を実行する。決定部116は、第2分類処理による第2分類結果の尤度が所定の閾値Th4(例えばTh4=0.6)以上であるか否かを判定する。第2分類結果の尤度が閾値Th4以上である場合、決定部116は第2分類結果を病変候補領域の分類として採用すると決定する。第2分類結果の尤度が閾値Th4未満である場合、決定部116は第2分類結果を病変候補領域の分類として採用しないと決定する。この場合、決定部116は病変候補領域を分類不可とする。出力部118は、第1分類結果、第2分類結果または分類不可を出力する。
以上説明した第3の実施の形態に係る画像診断支援システムによると、分類の尤度が低い分類結果を採用しないため、分類精度を向上させることができる。
(第4の実施の形態)
図5は、第4の実施の形態に係る画像診断支援システム200の機能および構成を示すブロック図である。第1の実施の形態との相違点を中心に説明する。
画像診断支援システム200は決定部を備えない。第1処理部112は、画像入力部110が受け付けた内視鏡画像またはそれを低解像度化した画像に対して、検出処理を実行する。なお、本実施の形態の第1処理部112は、第1分類処理は実行しない。第2処理部114は、検出処理により検出された病変候補領域に対応する領域であって、検出処理に用いられた画像よりも高解像度な画像における当該病変候補領域に対応する領域に対して第2分類処理を実行する。出力部118は、第2分類処理による第2分類結果を病変候補領域の分類として出力する。
以上説明した第4の実施の形態に係る画像診断支援システム200によると、
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施の形態では、画像診断支援システム100が医療用の内視鏡により撮影された内視鏡画像を用いた病変の診断を支援する場合について説明したが、これに限られない。画像診断支援システム100は、例えば、工業用の内視鏡により撮影された内視鏡画像を用いた金属表面の傷検査等を支援する場合にも適用できる。例えば、傷の損傷度合いを見極める場合に、内視鏡画像から傷候補領域である関心領域を検出し、関心領域の鏡面反射領域と非鏡面反射領域とを特定し、非鏡面反射領域からエッジを抽出し、エッジのボケ量を算出し、関心領域がボケを伴う診断不適格領域であるか否かをボケ量に基づいて判定し、診断不適格領域ではない場合は傷の損傷度合いを分類する分類処理を実行してその分類結果を出力し、診断不適格領域である場合は分類処理を実行せずに、その関心領域が診断不適格領域であることを出力してもよい。
実施の形態では、検出用の学習モデルと第1分類用の学習モデルを別々の学習モデルとして構築する場合について説明したが、これらは1つの学習モデルとして、好ましくは1つのニューラルネットワークとして、さらに好ましくは、例えばFaster R−CNNなどの1つの畳み込みニューラルネットワークとして構築されてもよい。
第1〜第4の実施の形態の手法は、矛盾しない範囲において、任意に組み合わせてもよい。
実施の形態および変形例において、画像診断支援システムは、プロセッサーと、メモリー等のストレージを含んでもよい。ここでのプロセッサーは、例えば各部の機能が個別のハードウェアで実現されてもよいし、あるいは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサーはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路およびアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサーは、回路基板に実装された1又は複数の回路装置(例えばIC等)や、1又は複数の回路素子(例えば抵抗、キャパシター等)で構成することができる。プロセッサーは、例えばCPU(Central Processing Unit)であってもよい。ただし、プロセッサーはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、あるいはDSP(Digital Signal Processor)等、各種のプロセッサーを用いることが可能である。またプロセッサーはASIC(Application Specific Integrated Circuit)又はFPGA(Field-programmable Gate Array)によるハードウェア回路でもよい。またプロセッサーは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリーは、SRAM、DRAMなどの半導体メモリーであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサーにより実行されることで、画像診断支援システムの各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。
また、実施の形態および変形例において、画像診断支援システムの各処理部は、例えば通信ネットワークのようなデジタルデータ通信の任意の型式または媒体によって接続されてもよい。通信ネットワークの例は、例えば、LANと、WANと、インターネットを形成するコンピュータおよびネットワークとを含む。
100 画像診断支援システム、 110 画像入力部、 112 第1処理部、 114 第2処理部、 116 決定部。
本発明は、画像診断支援システムおよび画像診断支援装置に関する。

Claims (9)

  1. 画像の入力を受け付ける入力部と、
    関心対象を含む関心領域を前記画像から検出し、検出された前記関心領域を分類して第1分類結果を出力する第1処理部と、
    前記関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類して第2分類結果を出力する第2処理部と、を備え、
    前記関心領域に関して所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とする画像診断支援システム。
  2. セマンティックセグメンテーションにより前記関心対象に分類された画素に基づいて特定される前記関心対象の形状について所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とする請求項1に記載の画像診断支援システム。
  3. 前記条件は、セマンティックセグメンテーションにより前記関心対象に分類された画素の集まりを楕円近似して得られた楕円の長径に対する短径の比が所定の閾値以上で、かつ、当該楕円の長軸と前記画像の縦方向がなす鋭角が所定の角度範囲であることを特徴とする請求項2に記載の画像診断支援システム。
  4. 前記関心領域の形状について所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とする請求項1に記載の画像診断支援システム。
  5. 前記第1分類結果の尤度が所定の閾値以上である場合、前記第1分類結果が前記関心領域の分類として採用され、閾値未満である場合、前記第2分類結果が前記関心領域の分類として採用される又は前記関心領域は分類不可とされることを特徴とする請求項1に記載の画像診断支援システム。
  6. 前記第1処理部、前記第2処理部はそれぞれ、畳み込みニューラルネットワークによる処理を実行することを特徴とする請求項1から5のいずれかに記載の画像診断支援システム。
  7. 画像の入力を受け付ける機能と、
    関心対象を含む関心領域を前記画像から検出し、検出された前記関心領域を分類して第1分類結果を出力する機能と、
    前記関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類して第2分類結果を出力する機能と、
    をコンピュータに実行させ、
    前記関心領域に関して所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とするコンピュータプログラム。
  8. 画像の入力を受け付ける入力部と、
    関心対象を含む関心領域を、前記画像を低解像度化した画像から検出する第1処理部と、
    前記低解像度化した画像よりも高解像度な画像における、前記関心領域に対応する領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類する第2処理部と、を備えることを特徴とする画像診断支援システム。
  9. 画像の入力を受け付けるステップと、
    関心対象を含む関心領域を前記画像から検出し、検出された前記関心領域を分類して第1分類結果を出力するステップと、
    前記関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類して第2分類結果を出力するステップと、を備え、
    前記関心領域に関して所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とする画像診断支援方法。
JP2020533945A 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援方法 Active JP6937438B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028689 WO2020026349A1 (ja) 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援装置

Publications (2)

Publication Number Publication Date
JPWO2020026349A1 JPWO2020026349A1 (ja) 2021-04-08
JP6937438B2 true JP6937438B2 (ja) 2021-09-22

Family

ID=69232480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020533945A Active JP6937438B2 (ja) 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援方法

Country Status (4)

Country Link
US (1) US11488311B2 (ja)
JP (1) JP6937438B2 (ja)
CN (1) CN112437948A (ja)
WO (1) WO2020026349A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185369A1 (ja) * 2021-03-01 2022-09-09 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
KR102600401B1 (ko) * 2021-06-03 2023-11-10 주식회사 크레스콤 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
JP7366111B2 (ja) * 2021-12-10 2023-10-20 広州智睿医療科技有限公司 病理診断支援方法
JP7400035B1 (ja) 2022-07-27 2023-12-18 日本農薬株式会社 害虫の検査のためのプログラム及び害虫検査装置
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US7225551B2 (en) * 2004-04-07 2007-06-05 Siemens Vdo Automotive Corporation Electronic compass and method for tracking vehicle rotation
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
US7680307B2 (en) * 2005-04-05 2010-03-16 Scimed Life Systems, Inc. Systems and methods for image segmentation with a multi-stage classifier
CA2747337C (en) * 2008-12-17 2017-09-26 Thomas D. Winkler Multiple object speed tracking system
JP2011123587A (ja) * 2009-12-09 2011-06-23 Seiko Epson Corp 画像処理装置、画像表示装置および画像処理方法
JP5413408B2 (ja) * 2011-06-09 2014-02-12 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
JP6147740B2 (ja) * 2012-06-07 2017-06-14 株式会社日立製作所 超音波診断装置の作動方法及び超音波診断装置
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
JP6339872B2 (ja) 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法
JP2018515197A (ja) * 2015-04-29 2018-06-14 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 腹腔鏡および内視鏡による2d/2.5d画像データにおけるセマンティックセグメンテーションのための方法およびシステム
CN104933711B (zh) * 2015-06-10 2017-09-29 南通大学 一种肿瘤病理图像自动快速分割方法
US10510144B2 (en) 2015-09-10 2019-12-17 Magentiq Eye Ltd. System and method for detection of suspicious tissue regions in an endoscopic procedure
CN105640577A (zh) * 2015-12-16 2016-06-08 深圳市智影医疗科技有限公司 一种自动检测放射影像中局部性病变的方法和系统
JP6656357B2 (ja) 2016-04-04 2020-03-04 オリンパス株式会社 学習方法、画像認識装置およびプログラム
JP6751773B2 (ja) 2016-12-07 2020-09-09 オリンパス株式会社 画像処理装置及び画像処理装置の作動方法
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
CN107330883A (zh) * 2017-07-04 2017-11-07 南京信息工程大学 一种医学图像病变区域定位和分类方法
CN107680678B (zh) * 2017-10-18 2020-12-01 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节诊断系统
WO2019142243A1 (ja) 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法

Also Published As

Publication number Publication date
JPWO2020026349A1 (ja) 2021-04-08
US11488311B2 (en) 2022-11-01
WO2020026349A1 (ja) 2020-02-06
CN112437948A (zh) 2021-03-02
US20210118145A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
JP6937438B2 (ja) 画像診断支援システムおよび画像診断支援方法
EP3620979B1 (en) Learning method, learning device for detecting object using edge image and testing method, testing device using the same
US10360465B2 (en) Liveness testing methods and apparatuses and image processing methods and apparatuses
US9552536B2 (en) Image processing device, information storage device, and image processing method
EP3333768A1 (en) Method and apparatus for detecting target
CN111860414B (zh) 一种基于多特征融合检测Deepfake视频方法
US8385649B2 (en) Information processing apparatus and method for detecting object in image data
US9990710B2 (en) Apparatus and method for supporting computer aided diagnosis
US8254690B2 (en) Information processing apparatus, information processing method, and program
WO2020029874A1 (zh) 对象跟踪方法及装置、电子设备及存储介质
JP4724638B2 (ja) オブジェクト検出方法
JP2007156655A (ja) 変動領域検出装置及びその方法
KR100601453B1 (ko) 지문 인식 방법
WO2014074959A1 (en) Real-time face detection using pixel pairs
US8442348B2 (en) Image noise reduction for digital images using Gaussian blurring
CN113449538A (zh) 视觉模型的训练方法、装置、设备及存储介质
CN116977895A (zh) 用于通用相机镜头的污渍检测方法、装置及计算机设备
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
JP4771887B2 (ja) 受動式及びインタラクティブ式の即時影像認識方法
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
US11636577B2 (en) Method and apparatus with blur estimation
JP2012230671A (ja) シーンにおけるオブジェクトを分類する方法
JP7107440B2 (ja) 学習データ生成装置、学習データ生成方法、プログラム
WO2023111674A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
KR20230006939A (ko) 노이즈 부가를 이용한 위변조 이미지 판정 방법 및 그 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210830

R151 Written notification of patent or utility model registration

Ref document number: 6937438

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151