JP6815711B1 - 診断支援プログラム、装置、及び方法 - Google Patents

診断支援プログラム、装置、及び方法 Download PDF

Info

Publication number
JP6815711B1
JP6815711B1 JP2020014823A JP2020014823A JP6815711B1 JP 6815711 B1 JP6815711 B1 JP 6815711B1 JP 2020014823 A JP2020014823 A JP 2020014823A JP 2020014823 A JP2020014823 A JP 2020014823A JP 6815711 B1 JP6815711 B1 JP 6815711B1
Authority
JP
Japan
Prior art keywords
recognizer
recognizers
recognition
image
breast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020014823A
Other languages
English (en)
Other versions
JP2021121261A (ja
Inventor
哲 林田
哲 林田
紀行 二木
紀行 二木
塩田　靖彦
靖彦 塩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FIXSTARS CORPORATION
Keio University
Original Assignee
FIXSTARS CORPORATION
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FIXSTARS CORPORATION, Keio University filed Critical FIXSTARS CORPORATION
Priority to JP2020014823A priority Critical patent/JP6815711B1/ja
Priority to JP2020195523A priority patent/JP2021125230A/ja
Application granted granted Critical
Publication of JP6815711B1 publication Critical patent/JP6815711B1/ja
Priority to US17/796,694 priority patent/US20230057933A1/en
Priority to PCT/JP2021/002960 priority patent/WO2021153648A1/ja
Publication of JP2021121261A publication Critical patent/JP2021121261A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】ＣＡＤ（Computer-Assisted Diagnosis/Detection）機能の使用状況に適した認識結果を提示可能な診断支援プログラム、装置、及び方法を提供する。【解決手段】診断支援装置１８が、ニューラルネットワークを含んで構成される複数の認識器５０の中から１以上の認識器５０を用いて、被検者の乳房の投影像又は断面像を示す乳房画像５４の認識処理を行い、被検者の検査に関する検査情報５６に応じて、複数の認識器５０の中から、認識処理に用いられる認識器５０又は認識処理による認識結果を出力すべき認識器５０を選択する。【選択図】図３

Description

本発明は、診断支援プログラム、装置、及び方法に関する。
従来から、医療分野において、コンピュータ支援診断／検出（以下、ＣＡＤ：Computer-Assisted Diagnosis/Detection）に関する技術が知られている。
特許文献１には、ディープラーニングにより機械学習がなされたニューラルネットワークを用いて、乳房画像の判定範囲内に特定の病変があるか否かを判定する装置が開示されている。
特開２０１９−０３７６９２号公報
ところで、ニューラルネットワークは、様々なネットワーク構造や膨大な数の学習パラメータを組み合わせて構築されるので、多種多様な特性が付与された画像認識器として機能し得る。よって、特許文献１に開示される装置のように、常に一律のニューラルネットワークを用いて認識処理を行う場合、ＣＡＤ機能の使用状況によってはその性能（例えば、認識精度や処理速度等）を十分に発揮できない可能性がある。
本発明は上記した問題に鑑みてなされたものであり、その目的は、ＣＡＤ機能の使用状況に適した認識結果を提示可能な診断支援プログラム、装置、及び方法を提供することにある。
第１の本発明における診断支援プログラムは、１又は複数のコンピュータを、ニューラルネットワークを含んで構成される複数の認識器のうち１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段、前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段、として機能させる。
また、前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択してもよい。
また、前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、前記選択手段は、前記検査情報により特定される表示手段であって前記乳房画像を表示させる表示手段の表示性能が相対的に低い場合に前記第１認識器を選択する一方、前記表示手段の表示性能が相対的に高い場合に前記第２認識器を選択してもよい。
また、前記第１認識器は、ＢＩ−ＲＡＤＳカテゴリーを区別する値を出力し、前記第２認識器は、良性であるか悪性であるかを区別する値を出力してもよい。
また、前記複数の認識器は、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器と、を含み、前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択してもよい。
また、前記複数の認識器は、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器と、を含み、前記選択手段は、前記検査情報により特定される医師又は検査技師（以下、単に「医師等」ともいう）による読影の熟練度が相対的に低い場合に前記第１認識器を選択する一方、前記読影の熟練度が相対的に高い場合に前記第２認識器を選択してもよい。
また、前記複数の認識器は、地域毎に収集されるテスト画像を含む２以上の母集団を用いて機械学習がなされた２以上の認識器を含み、前記選択手段は、前記検査情報により特定される検査の実施地域に対応する認識器を選択してもよい。
また、前記複数の認識器は、第１認識器と、該第１認識器と比べて前記認識処理の演算量又は演算時間が相対的に少ない第２認識器と、を含み、前記選択手段は、前記検査情報により特定される前記乳房画像の種類が静止画像である場合に前記第１認識器を選択する一方、前記乳房画像の種類が動画像である場合に前記第２認識器を選択してもよい。
また、前記１又は複数のコンピュータを、前記選択手段により選択された前記認識器の種類又は特性を示す認識器情報を、前記認識結果を示す結果情報と併せて表示手段に表示させる制御を行う表示制御手段としてさらに機能させてもよい。
第２の本発明における診断支援装置は、ニューラルネットワークを含んで構成される複数の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、を備える。
第３の本発明における診断支援方法は、１又は複数のコンピュータが、ニューラルネットワークを含んで構成される複数の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識ステップと、前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択ステップと、を実行する。
本発明によれば、ＣＡＤ機能の使用状況に適した認識結果を提示することができる。
本発明の一実施形態における医用画像診断システムの全体構成図である。 図１における診断支援装置のハードウェア構成の一例を示す図である。 図１及び図２における診断支援装置の機能ブロックの一例を示す図である。 図３における認識器の処理流れの一例を示す図である。 図１における機械学習用サーバの機能ブロックの一例を示す図である。 被検者の診断画面の一例を示す図である。 図７（ａ）は、出力値の定義が異なる認識器の生成方法を示す模式図である。図７（ｂ）は、認識器の選択規則を記述する選択テーブルの第１例を示す図である。 図８（ａ）は、認識性能が異なる認識器の生成方法を示す模式図である。図８（ｂ）は、認識器の選択規則を記述する選択テーブルの第２例を示す図である。 図９（ａ）は、教師データの母集団が異なる認識器の生成方法を示す模式図である。図９（ｂ）は、認識器の選択規則を記述する選択テーブルの第３例を示す図である。 図１０（ａ）は、ニューラルネットワークの構造が異なる認識器の生成方法を示す模式図である。図１０（ｂ）は、認識器の選択規則を記述する選択テーブルの第４例を示す図である。 変形例における認識器の処理流れを示す図である。
本発明における診断支援プログラムについて、診断支援装置及び診断支援方法との関係において好適な実施形態を挙げ、添付の図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対して可能な限り同一の符号を付するとともに、重複する説明を省略する場合がある。
［医用画像診断システム１０の構成］
＜全体構成＞
図１は、本発明の一実施形態における診断支援装置１８が組み込まれた医用画像診断システム１０の全体構成図である。この医用画像診断システム１０は、医療施設内にて医療業務を行う医師等に対して、コンピュータ支援診断／検出機能（つまり、ＣＡＤ機能）を提供可能に構成される。
医用画像診断システム１０は、画像撮影装置１２，１４と、画像サーバ１６と、診断支援装置１８と、診断端末２０と、中継装置２２と、機械学習用サーバ２４と、を含んで構成される。機械学習用サーバ２４を除く各機器は、院内ネットワークＮＴ１を介して、相互に通信可能に構成される。
画像撮影装置１２，１４は、被検者の乳房の投影像又は断面像を示す乳房画像５４（図３）を撮影する装置である。撮影態様（いわゆる、モダリティ）の種類は、例えば、超音波、単純Ｘ線、Ｘ線ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）、トモシンセシス、光ＣＴのいずれであってもよい。ＣＡＤ機能部を備えていない画像撮影装置１２の場合、画像サーバ１６、診断支援装置１８及び診断端末２０が協働することで、オンデマンド型のＣＡＤ機能が提供される。一方、ＣＡＤ機能部１４ｆを備える画像撮影装置１４の場合、画像撮影装置１４が単体で動作することで、リアルタイム型のＣＡＤ機能が提供される。
画像サーバ１６は、画像撮影装置１２，１４により取得された乳房画像５４を、いずれも後述する検査情報５６及び結果情報５８と対応付けて管理するファイルサーバである。診断支援装置１８は、乳房画像５４に対して様々な認識処理を行い、医師等の診断を支援するための各種情報を生成するデータ処理サーバである。診断端末２０は、医師等が読影を行うための端末装置であり、ディスプレイ装置からなる表示手段２６と、表示手段２６に対して表示制御を行う表示制御手段２８と、を備える。機械学習用サーバ２４は、院外ネットワークＮＴ２及び中継装置２２を介して、診断支援装置１８及び画像撮影装置１４と相互に通信可能に構成されるデータ処理サーバである。
＜診断支援装置１８のハードウェア構成＞
図２は、図１における診断支援装置１８のハードウェア構成の一例を示す図である。診断支援装置１８は、通信Ｉ／Ｆ３０と、プロセッサ３２と、メモリ３４と、記憶装置３６と、を含んで構成される。
通信Ｉ／Ｆ３０は、外部装置に対して電気信号を送受信するインターフェースである。これにより、診断支援装置１８は、例えば、認識処理の対象である乳房画像５４（図３）を画像サーバ１６から受信可能であるとともに、乳房画像５４の認識結果を示す結果情報５８（図３）を画像サーバ１６に送信可能である。
プロセッサ３２は、ＣＰＵ（Central Processing Unit）を含む汎用プロセッサであってもよいし、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）を含む専用プロセッサであってもよい。メモリ３４は、非一過性の記憶媒体であり、プロセッサ３２が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶装置３６は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）やソリッドステートドライブ（ＳＳＤ：Solid State Drive）を含む非一過性の記憶媒体である。
＜診断支援装置１８の機能ブロック＞
図３は、図１及び図２における診断支援装置１８の機能ブロックの一例を示す図である。診断支援装置１８は、メモリ３４に記憶された診断支援プログラムを読み出して実行することで、取得手段４０、認識手段４２、選択手段４４、送信手段４６、及び記憶手段４８として機能する。取得手段４０は、図２の通信Ｉ／Ｆ３０及びプロセッサ３２によって実現される手段である。認識手段４２及び選択手段４４はそれぞれ、図２のプロセッサ３２により実現される手段である。送信手段４６は、図２の通信Ｉ／Ｆ３０及びプロセッサ３２によって実現される手段である。記憶手段４８は、図２の記憶装置３６によって実現される手段である。
取得手段４０は、画像サーバ１６との通信によって、認識処理の対象である乳房画像５４及び検査情報５６を取得する。取得手段４０は、画像サーバ１６以外の装置（例えば、被検者、医療従事者又は医用機器に関する様々な情報を管理する院内サーバ）に記憶されている検査情報５６を取得してもよい。また、取得手段４０は、機械学習用サーバ２４との通信によって、１グループ以上の学習パラメータ群５２を取得する。
認識手段４２は、取得手段４０により取得された乳房画像５４に対して様々な認識処理を施すことで、乳房画像５４の認識結果を出力する。また、認識手段４２は、複数グループの学習パラメータ群５２をセットすることで複数の認識器５０として機能する。この複数の認識器５０には、例えば、出力値の定義、認識性能、テスト画像７１（図５）の収集地域、演算量又は演算時間のうち少なくともいずれかが異なる２以上の認識器が含まれる。
選択手段４４は、乳房画像５４に関連付けられた検査情報５６に応じて、複数の認識器５０の中から、認識処理に用いられる１の認識器５０を選択する。あるいは、選択手段４４は、上記した検査情報５６に応じて、複数の認識器５０の中から、認識処理による認識結果を出力すべき１の認識器５０を選択する。
送信手段４６は、認識手段４２から出力された結果情報５８を外部に送信する。送信手段４６は、画像サーバ１６から管理ＩＤと一緒に乳房画像５４を受け取った場合、この管理ＩＤを付与した結果情報５８を画像サーバ１６に送信する。
記憶手段４８は、複数グループの学習パラメータ群５２、乳房画像５４、検査情報５６、及び結果情報５８を記憶する。学習パラメータ群５２は、認識器５０の演算規則を定めるための学習パラメータの集合体である。乳房画像５４は、１又は複数の画像からなり、静止画像あるいは動画像であってもよい。検査情報５６は、被検者の検査に関する情報であり、例えば、検査ＩＤ、被検者の身体的情報（例えば、年齢・性別・身長・体重等）、検査の種類、表示手段２６の種類、医師等による読影の熟練度、検査の実施地域、乳房画像５４の種類等が含まれる。結果情報５８は、認識手段４２による認識結果を示す情報であり、例えば、病変部位の有無、個数、種類（例えば、腫瘍）、位置、性状、又は確度等が含まれる。
＜認識器５０の処理流れ＞
図４は、図３における認識器５０の処理流れの一例を示す図である。認識器５０は、ニューラルネットワークを含んで構成される。認識器５０は、ニューラルネットワークのみで構成されてもよい。このニューラルネットワークは、機械学習（以下、単に「学習」ともいう）を通じて、画像中の物体を検出する「物体検出モデル」を構築可能に構成される。物体検出モデルの種類は、関心領域（ＲＯＩ：Region Of Interest）の抽出器が物体の検出器とは別に設けられている「two-stage detector」（例えば、Faster R-CNNやその派生モデル等）であってもよいし、抽出器と検出器とが一体的に構成されている「one-stage detector」（例えば、ＹＯＬＯ、ＳＳＤ、Ｍ２Ｄｅｔやこれらの派生モデル等）であってもよい。
認識器５０は、上流側から下流側にわたって順に、特徴マップ生成部６０と、腫瘍検出部６２と、データ解釈部６４と、を含んで構成される。本図の例では、特徴マップ生成部６０及び腫瘍検出部６２が学習処理の対象であり、データ解釈部６４が学習処理の対象ではない。
特徴マップ生成部６０は、乳房画像５４に対して畳み込み演算及びプーリング演算（いわゆるＣＮＮ演算）を繰り返して実行することで、乳房画像５４の形態的特徴を示す特徴マップをチャンネル毎に生成する。上記したＣＮＮ演算は、ＶＧＧ１６、ＲｅｓＮｅｔを含む様々なネットワーク構造により実行され得る。
腫瘍検出部６２は、チャンネル毎の特徴マップを用いて、乳房画像５４の全体領域６６内における腫瘍領域Ｔの有無及び位置を検出する。例えば、「ＹＯＬＯ」モデルの場合、検出結果として、クラス毎の確度（あるいは、ラベル値の合計が１に正規化された確率）を示すテンソル形式の出力データが得られる。
データ解釈部６４は、腫瘍検出部６２からの出力データを解釈することで、乳房画像５４の認識結果（例えば、腫瘍領域Ｔの有無、位置、又は性状）を取得する。ここで、腫瘍領域Ｔの位置は、腫瘍領域Ｔの代表的な位置（例えば、重心）であってもよいし、腫瘍領域Ｔに外接する矩形状の関心領域６８に関する位置であってもよい。
＜機械学習用サーバ２４の構成＞
図５は、機械学習用サーバ２４の学習処理に関わる機能ブロック図である。この機械学習用サーバ２４は、予め準備された教師データ７０を用いて、学習器７４に対する学習処理を行うことで、１グループ以上の学習パラメータ群５２を作成する。本図では、機械学習用サーバ２４の構成のうち、学習器７４及び学習処理手段７６を模式的に示している。
学習器７４の演算規則は、学習パラメータ群５２を構成する学習パラメータの各値によって定められる。学習パラメータ群５２は、例えば、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度を含む「可変パラメータ」と、ネットワーク構造を特定するための「固定パラメータ」（いわゆる、ハイパーパラメータ）から構成される。ハイパーパラメータの例として、各層を構成する演算ユニットの個数、中間層の数、物体検出モデルの種類が挙げられる。
学習処理手段７６は、複数組の教師データ７０を用いて、学習器７４に対する学習処理（つまり、学習パラメータ群５２の最適化処理）を行う。学習処理手段７６は、データ取得部７８と、目的関数算出部８０と、パラメータ更新部８２と、収束判断部８４と、を備える。
データ取得部７８は、予め準備されたデータベース８６の中から１組又は複数組の教師データ７０を取得する。この教師データ７０は、テスト画像７１と正解情報７２のデータセットからなる。テスト画像７１は、臨床画像やファントム画像であってもよいし、ＧＡＮ（Generative Adversarial Network）を含む生成モデルを用いて生成した疑似画像であってもよい。正解情報７２には、ラベル値、境界ボックスの位置情報が含まれる。
目的関数算出部８０は、教師データ７０のテスト画像７１に対する学習器７４の出力情報と、教師データ７０の正解情報７２の間の誤差（以下、学習誤差という）を含む目的関数を算出する。この学習誤差は、差分の絶対値を返すＬ１ノルム関数であってもよいし、差分の２乗値を返すＬ２ノルム関数であってもよい。また、この学習誤差は、１組の教師データ７０における誤差（オンライン学習の場合）であってもよいし、複数組の教師データ７０に関する誤差（バッチ学習又はミニバッチ学習の場合）であってもよい。
パラメータ更新部８２は、目的関数算出部８０により算出された目的関数が小さくなるように学習パラメータ群５２（上記した可変パラメータ）を更新する。更新アルゴリズムとして、例えば、勾配降下法、確率的勾配降下法、モーメンタム法、ＲＭＳｐｒｏｐを含む様々な手法を用いてもよい。
収束判断部８４は、現在の学習時点にて予め定められた収束条件を満たすか否かを判断する。この収束条件の一例として、［１］目的関数が十分に小さくなったこと、［２］目的関数の更新量が十分に小さくなったこと、［３］学習の繰り返し回数が上限値に到達したこと、等が挙げられる。
［医用画像診断システム１０の動作］
本発明の一実施形態における診断支援装置１８が組み込まれた医用画像診断システム１０は、以上のように構成される。続いて、医用画像診断システム１０の全体動作について図１〜図３及び図６を、診断支援装置１８による認識器５０の選択動作について図７〜図１０を参照しながらそれぞれ説明する。
＜全体動作＞
（１．学習パラメータ群５２のダウンロード）
機械学習用サーバ２４は、新たな学習又は追加的な学習を通じて学習パラメータ群５２を生成する。そして、機械学習用サーバ２４は、診断支援装置１８又は画像撮影装置１４の要求に応じて、自装置が記憶している学習パラメータ群５２を要求先に向けて送信する。これにより、診断支援装置１８又は画像撮影装置１４は、機械学習用サーバ２４からの学習パラメータ群５２を取得・記憶することで、最新バージョンの認識器５０が利用可能となる。
（２．被検者の撮影）
医師等は、画像撮影装置１２を用いて、被検者の乳房を撮影する作業を行う。撮影の終了後、画像撮影装置１２は、自装置が生成した乳房画像５４を、被検者ＩＤ及び検査情報５６と紐付けた状態にて画像サーバ１６に送信する。これにより、画像サーバ１６には、乳房画像５４及び検査情報５６を含むデータセット（以下、診断情報）が記憶される。なお、現時点の診断情報には結果情報５８が含まれない。
（３．認識処理）
診断支援装置１８は、定期的に又は不定期に、画像サーバ１６に対して未処理の乳房画像５４があるか否かを問い合わせる。未処理の乳房画像５４がある場合、診断支援装置１８の取得手段４０は、該当する診断情報とその管理ＩＤを画像サーバ１６から取得する。
選択手段４４は、診断情報に含まれる検査情報５６が所定の条件を満たすか否かに応じて、認識手段４２が利用可能な複数の認識器５０の中から、認識処理に用いられる１の認識器５０を選択する。例えば、選択手段４４が該当する学習パラメータ群５２を記憶手段４８から読み出して認識手段４２に供給することで、選択された認識器５０が利用可能になる。
認識手段４２は、選択された認識器５０を用いて乳房画像５４の認識処理を行うことで、乳房画像５４の認識結果を示す結果情報５８を出力する。送信手段４６は、得られた結果情報５８を該当する管理ＩＤと紐付けた状態にて画像サーバ１６に送信する。これにより、画像サーバ１６には、乳房画像５４、検査情報５６及び結果情報５８を含む診断情報が記憶される。
（４．診断画面１００の表示）
医師等は、診断端末２０を用いて、診断対象である被検者の診断画面１００（図６）の表示を要求する操作を行う。そうすると、診断端末２０は、指定された被検者に対応する診断情報を要求する旨の信号（つまり、要求信号）を画像サーバ１６に送信する。画像サーバ１６は、診断端末２０からの要求信号に応答して、乳房画像５４、検査情報５６及び結果情報５８（図３）を含む診断情報を診断端末２０に送信する。
診断端末２０の表示制御手段２８は、画像サーバ１６から診断情報を受信すると、この診断情報を用いて診断画面１００の表示用データを生成した後、この表示用データを表示手段２６に供給する。これにより、表示手段２６の図示しない表示領域内には、図６の診断画面１００が表示される。
図６に示すように、診断画面１００上には、検査情報欄１０２と、画像欄１０４と、サムネイル欄１０６と、処理情報欄１０８と、検査結果欄１１０と、が設けられている。検査情報欄１０２には、被検者名や画像ＩＤを含む検査情報５６が表示されている。画像欄１０４には、指定された１枚の乳房画像５４が表示されている。乳房画像５４上には、角丸矩形枠を示すマーク１１２，１１４が、それぞれの腫瘍を囲む位置に重ねて表示されている。サムネイル欄１０６は、複数枚の乳房画像５４の中から画像欄１０４に表示させる１枚を、ＵＩ（ユーザインターフェース）を通じて選択可能に構成される。
処理情報欄１０８には、認識器５０の種類又は特性を示す認識器情報１１６と、マーク１１２，１１４の意味を説明するための説明情報１１８と、が表示されている。認識器情報１１６には、例えば、認識器５０の名称、物体検出モデルの呼称、認識特性の特徴（例えば、高感度型、高特異度型、バランス型）、推奨ユーザ名（例えば、初級者向け、熟練者向け）等が含まれる。
なお、結果情報５８は、医師等が認識手段４２による認識結果を一見して把握可能な態様で表示されている。本図の例では、この結果情報５８は、画像欄１０４内のマーク１１２，１１４、及び、処理情報欄１０８内の説明情報１１８として可視化されている。また、この結果情報５８と併せて認識器情報１１６が表示されているので、医師等は、表示されている認識結果を認識器５０の種類又は特性と関連付けて把握することができる。
ここで、医師等は、診断画面１００上の画像欄１０４及び処理情報欄１０８を視認しながら乳房画像５４の読影を行い、検査結果に関する所見やコメントを検査結果欄１１０内に入力する。このようにして、医用画像診断システム１０による診断支援動作が終了する。
ところで、上記した動作の例では、認識手段４２は、選択手段４４により選択された認識器５０のみを用いて認識処理を行っているが、これに代えて、同一の乳房画像５４に対して複数の認識処理を行ってそれぞれの認識結果を得てもよい。この場合、選択手段４４は、複数の認識器５０の中から、認識処理による認識結果を出力すべき認識器５０を選択すればよい。
＜認識器５０の選択動作＞
続いて、診断支援装置１８が備える選択手段４４による認識器５０の選択動作について、図７〜図１０を参照しながら説明する。
（第１例：出力値の定義）
選択動作の第１例では、認識手段４２に実装される複数の認識器５０には、出力値の定義が異なる２以上の認識器５０が含まれることを想定する。この「出力値の定義」とは、検出対象である病変部位の表現方法を意味し、例えば、病変部位の種類、性状、又はカテゴリーが含まれる。種類の一例として、具体的には、腫瘍、微小石灰化等が挙げられる。性状の一例として、具体的には、良性、悪性等が挙げられる。カテゴリーの一例として、ＢＩ−ＲＡＤＳ（Breast Imaging Reporting And Data System）分類のカテゴリー１〜５、あるいはサブカテゴリー４Ａ／４Ｂ／４Ｃ等が挙げられる。
図７（ａ）は、出力値の定義が異なる認識器５０の生成方法を示す模式図である。ここでは、教師データ７０を構成するテスト画像７１及び正解情報７２のうち、ラベル値の定義が異なる２値のラベルＡ，Ｂを準備した後、同一のネットワーク構造を有する学習器７４によりそれぞれ学習させる。例えば、ラベルＡに関して、「０」のラベル値はＢＩ−ＲＡＤＳ分類の「カテゴリーが３以下」であることを示し、「１」のラベル値はＢＩ−ＲＡＤＳ分類の「カテゴリーが４以上」であることを示す。一方、ラベルＢに関して、「０」のラベル値は「良性」であることを示し、「１」のラベル値は「悪性」であることを示す。
図７（ｂ）は、認識器５０の選択規則を記述する選択テーブルの第１例を示す。検査の種類が「スクリーン検査」である場合には、「ＢＩ−ＲＡＤＳ」のカテゴリー判定値を出力する認識器５０が選択される。これにより、スクリーン検査時において医師等による客観的な判断に対する支援になる。一方、検査の種類が「精密検査」である場合には、「良性／悪性」の性状判定値を出力する認識器５０が選択される。これにより、精密検査時において医師等による正確な判断や意思決定に対する支援になる。
ところで、精密検査の場合には、スクリーン検査の場合と比べてより高性能な表示手段２６が用いられる傾向がある。そこで、検査の種類に代わって、表示手段２６の種類が用いられてもよい。例えば、表示手段２６の種類が、表示性能が相対的に低い「第１グループ」に属する場合には、「ＢＩ−ＲＡＤＳ」のカテゴリー判定値を出力する認識器５０が選択される。一方、表示手段２６の種類が、表示性能が相対的に高い「第２グループ」に属する場合には、「良性／悪性」の性状判定値を出力する認識器５０が選択される。なお、第１／第２グループの分類は、表示手段２６の機種、管理状態、製品仕様、用途（例えば、読影用／電子カルテ用）等の様々な観点で予め行われてもよいし、輝度・解像度を含む定量値を用いた閾値判定により行われてもよい。
（第２例：認識性能）
選択動作の第２例では、認識手段４２に実装される複数の認識器５０には、認識性能が異なる２以上の認識器５０が含まれることを想定する。この「認識性能」は、感度、特異度、ＲＯＣ（Receiver Operating Characteristic）曲線のＡＵＣ（Area Under the Curve）スコア等により評価される。
図８（ａ）は、認識性能が異なる認識器５０の生成方法を示す模式図である。例えば、教師データ７０を蓄積したデータベース８６から異なる母集団Ａ，Ｂを形成した後、同一のネットワーク構造を有する学習器７４をそれぞれ学習させる。例えば、学習パラメータ群５２ａは、母集団Ａを構成する教師データ群９０ａを用いた学習を通じて生成される。一方、学習パラメータ群５２ｂは、母集団Ｂを構成する教師データ群９０ｂを用いた学習を通じて生成される。なお、母集団Ａ，Ｂは、標本の分布又は標本数が異なってもよいし、正例と負例の配分、訓練データと検証データの配分が異なってもよい。
図８（ｂ）は、認識器５０の選択規則を記述する選択テーブルの第２例を示す。検査の種類が「精密検査」である場合には、スクリーン検査と比べて「感度」が高い認識器５０が選択される。これによって偽陰性率が下がり、病気で「ある」被検者を病気で「ない」と誤って診断する可能性が低下する。一方、検査の種類が「スクリーン検査」である場合には、精密検査と比べて「特異度」が高い認識器５０が選択される。これによって偽陽性率が下がり、病気で「ない」被検者を病気で「ある」と誤って診断する可能性が低下する。
ところで、熟練度が低い医師等は、読影に不慣れであるため、診断に時間が掛かる傾向がある。そこで、検査の種類と併せて又はこれとは別に、医師等による読影の熟練度が用いられてもよい。例えば、検査の種類が「スクリーン検査」であって医師等の熟練度が相対的に低い「第１グループ」に属する場合には、上記した「特異度」が高い認識器５０が選択される。一方、検査の種類が「スクリーン検査」であって医師等の熟練度が相対的に高い「第２グループ」に属する場合には、上記した２種類の「中間」の認識性能を有する認識器５０が選択される。これにより、スクリーン検査時において熟練度が低い医師等が偽陽性と判定する誤診が抑制されやすくなる。なお、第１／第２グループの分類は、医師等の経験度、役職、資格、年齢等の様々な観点で予め行われてもよいし、経験年齢を含む定量値を用いた閾値判定により行われてもよい。
（第３例：テスト画像７１の収集地域）
選択動作の第３例では、認識手段４２に実装される複数の認識器５０には、異なる地域で収集されたテスト画像７１を含む２以上の母集団を用いて学習がなされた２以上の認識器５０が含まれることを想定する。この「収集地域」は、被検者の体格又は食文化等が統計的に有意に異なる地域を意味し、例えば、国家共同体、国、県、州等により区分される。
図９（ａ）は、テスト画像７１の収集地域が異なる認識器５０の生成方法を示す模式図である。例えば、地域別のテスト画像７１を含む教師データ７０を蓄積したデータベース８６ａ，８６ｂを構築した後、同一のネットワーク構造を有する学習器７４をそれぞれ学習させる。例えば、学習パラメータ群５２ａは、データベース８６ａを用いた学習を通じて生成される。一方、学習パラメータ群５２ｂは、データベース８６ｂを用いた学習を通じて生成される。
図９（ｂ）は、認識器５０の選択規則を記述する選択テーブルの第３例を示す。検査の実施地域が「地域Ａ」である場合には、地域Ａに対応する学習パラメータ群５２ａが設定された認識器５０が選択される。一方、検査の実施地域が「地域Ｂ」である場合には、地域Ｂに対応する学習パラメータ群５２ｂが設定された認識器５０が選択される。これにより、実施地域内の被検者に適した認識処理を実行可能となり、その分だけ認識精度が向上する。
（第４例：演算量・演算時間）
選択動作の第４例では、認識手段４２に実装される複数の認識器５０には、演算時間又は演算量が異なる２以上の認識器５０が含まれることを想定する。
図１０（ａ）は、演算時間又は演算量が異なる認識器５０の生成方法を示す模式図である。例えば、データベース８６に蓄積されている教師データ７０を用いて、異なるネットワーク構造を有する学習器７４ａ，７４ｂをそれぞれ学習させる。例えば、学習パラメータ群５２ａは学習器７４ａに適したパラメータセットであり、学習パラメータ群５２ｂは学習器７４ｂに適したパラメータセットである。なお、学習器７４ａ，７４ｂは、ネットワーク構造を特定するハイパーパラメータが異なってもよいし、物体検出モデルの種類が異なってもよい。
図１０（ｂ）は、認識器５０の選択規則を記述する選択テーブルの第４例を示す。乳房画像５４の種類が「静止画像」である場合には、「動画像」と比べて演算時間が長い（あるいは演算量が多い）認識器５０が選択される。一方、乳房画像５４の種類が「動画像」である場合には、「静止画像」と比べて演算時間が短い（あるいは演算量が少ない）認識器５０が選択される。これにより、静止画像又は動画像に適した認識処理を選択的に行うことができる。
［実施形態による効果］
以上のように、この診断支援装置１８は、ニューラルネットワークを含んで構成される複数の認識器５０の中から１以上の認識器５０を用いて、被検者の乳房の投影像又は断面像を示す乳房画像５４の認識処理を行う認識手段４２と、被検者の検査に関する検査情報５６に応じて、複数の認識器５０の中から、認識処理に用いられる認識器５０又は認識処理による認識結果を出力すべき認識器５０を選択する選択手段４４を備える。
また、この診断支援方法及びプログラムでは、１又は複数のコンピュータが、ニューラルネットワークを含んで構成される複数の認識器５０を用いて、被検者の乳房の投影像又は断面像を示す乳房画像５４の認識処理を行い、被検者の検査に関する検査情報５６に応じて、複数の認識器５０の中から、認識処理に用いられる認識器５０又は認識処理による認識結果を出力すべき認識器５０を選択する。このように構成したので、被検者の検査に応じた認識処理による認識結果を選択的に出力可能となり、ＣＡＤ機能の使用状況に適した認識結果を提示することができる。
また、複数の認識器５０が、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器を含む場合、選択手段４４は、検査情報５６により特定される検査の種類がスクリーン検査である場合に第１認識器を選択する一方、検査の種類が精密検査である場合に第２認識器を選択してもよい。これにより、スクリーン検査時において医師等による客観的な判断に対する支援になり、精密検査時において医師等による正確な判断や意思決定に対する支援になる。
また、複数の認識器５０が、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器を含む場合、選択手段４４は、検査情報５６により特定される表示手段２６であって乳房画像５４を表示させる表示手段２６の表示性能が相対的に低い場合に第１認識器を選択する一方、表示手段２６の表示性能が相対的に高い場合に第２認識器を選択してもよい。これにより、スクリーン検査を実施している確度が高い状況下にて医師等による客観的な判断に対する支援になり、精密検査を実施している確度が高い状況下において医師等による正確な判断や意思決定に対する支援になる。
この場合、第１認識器は、ＢＩ−ＲＡＤＳカテゴリーを区別する値を出力し、第２認識器は、良性であるか悪性であるかを区別する値を出力してもよい。
また、複数の認識器５０が、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器を含む場合、選択手段４４は、検査情報５６により特定される検査の種類がスクリーン検査である場合に第１認識器を選択する一方、検査の種類が精密検査である場合に第２認識器を選択してもよい。これにより、スクリーン検査時において偽陽性と判定する誤診の可能性が低下し、精密検査時において偽陰性と判定する誤診の可能性が低下する。
また、複数の認識器５０が、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器を含む場合、選択手段４４は、検査情報５６により特定される医師等による読影の熟練度が相対的に低い場合に第１認識器を選択する一方、読影の熟練度が相対的に高い場合に第２認識器を選択してもよい。これにより、スクリーン検査時において読影の熟練度が低い医師等が偽陽性と判定する誤診が抑制されやすくなる。
また、複数の認識器５０が、異なる地域で収集されるテスト画像７１を含む母集団を用いて機械学習がなされた２以上の認識器５０を含む場合、選択手段４４は、検査情報５６により特定される検査の実施地域に対応する認識器５０を選択してもよい。これにより、実施地域内の被検者に適した認識処理を実行可能となり、その分だけ認識精度が向上する。
また、複数の認識器５０が、第１認識器と、該第１認識器と比べて演算量又は演算時間が相対的に少ない第２認識器を含む場合、選択手段４４は、検査情報５６により特定される乳房画像５４の種類が静止画像である場合に第１認識器を選択する一方、乳房画像５４の種類が動画像である場合に第２認識器を選択してもよい。これにより、静止画像又は動画像に適した認識処理を選択的に行うことができる。
また、診断支援装置１８又は診断端末２０は、選択手段４４により選択された認識器５０の種類又は特性を示す認識器情報１１６を、認識結果を示す結果情報５８と併せて表示手段２６に表示させる制御を行う表示制御手段２８をさらに備えてもよい。これにより、医師等は、認識器情報１１６を視認することで、表示された結果情報５８を、認識器５０の種類又は特性と関連付けて把握することができる。
［変形例］
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
上記した実施形態では、被検者の撮影部位として乳房を例に挙げて説明したが、乳房以外の様々な人体部位に適用され得る。また、病変部位として腫瘍を例に挙げて説明したが、微小石灰化を含む他の病変であってもよい。特に、２以上の病変部位を検出対象とする場合、認識器５０は、複数の分類クラスに関する認識結果を出力してもよい。また、上記した実施形態では、認識器５０は、ＢＩ−ＲＡＤＳ分類の結果を２値として出力するが、これに代えて、カテゴリー毎（１〜５）又はサブカテゴリー毎（４Ａ〜４Ｃ）のラベル値を出力してもよい。
上記した実施形態では、選択手段４４は、複数の認識器５０の中から１の認識器５０を選択しているが、これに代えて、２以上の認識器５０を同時に選択してもよい。この場合、表示制御手段２８は、得られた２以上の認識結果を同時に表示手段２６に表示させてもよいし、２以上の認識結果を合成した１の認識結果を表示手段２６に表示させてもよい。
上記した実施形態では、選択手段４４は、検査の種類、表示手段２６の種類、読影の熟練度、検査の実施地域、乳房画像５４の種類のうち少なくともいずれかを用いて認識器５０を選択しているが、選択の根拠となる検査情報５６はこれに限られない。例えば、選択手段４４は、被検者の身体的情報を用いて、被検者の年齢又は体重の区分に応じた認識器５０を選択してもよい。
上記した実施形態では、認識器５０は、単体のニューラルネットワークから構成されるが、これに代えて、機能が異なる２又は３以上のニューラルネットワークによって構成されてもよい。
図１１は、変形例における認識器１４０の処理流れを示す図である。この認識器１４０は、腫瘍認識器１４２と、他組織認識器１４４と、性状判定部１４６と、を含んで構成される。なお、「他組織」には、骨、筋肉、乳腺、脂肪等が含まれる。
腫瘍認識器１４２は、乳房画像５４を入力とし、乳房画像５４に対する腫瘍の認識結果を出力とする認識器である。腫瘍認識器１４２は、ニューラルネットワークを含んで構成される。上記した認識結果として、例えば、腫瘍領域Ｔの位置情報及び良性・悪性の確率を含むリスト（以下、「腫瘍位置リストＬ１」という）が出力される。
他組織認識器１４４は、乳房画像５４を入力とし、乳房画像５４に対する他組織の認識結果を出力とする認識器である。他組織認識器１４４は、ニューラルネットワークを含んで構成される。上記した認識結果として、例えば、他組織領域の位置情報及び確率を含むリスト（以下、「他組織位置リストＬ２」という）が出力される。
性状判定部１４６は、腫瘍位置リストＬ１及び他組織位置リストＬ２を用いて、複数の領域間の位置関係を特定し、当該位置関係に基づいて、腫瘍の性状、例えば良性であるか悪性であるかを判定する。具体的には、腫瘍領域Ｔが骨領域又は筋肉領域よりも体表から遠い側にある場合には、当該腫瘍領域Ｔは腫瘍に該当しないと判定される。また、複数の腫瘍領域Ｔが重ならない場合、腫瘍認識器１４２から出力された確率をそのまま用いて、当該腫瘍が良性／悪性であると判定される。また、２以上の腫瘍領域Ｔが少なくとも部分的に重なる場合、腫瘍認識器１４２から出力された２以上の確率のうちの最大値を求め、この確率の最大値を用いて当該腫瘍が良性／悪性であると判定される。
１０…医用画像診断システム、１２，１４…画像撮影装置、１４ｆ…ＣＡＤ機能、１８…診断支援装置、２０…診断端末、２６…表示手段、２８…表示制御手段、４２…認識手段、４４…選択手段、５０，１４０…認識器、５４…乳房画像、５６…検査情報、５８…結果情報、１００…診断画面、１１２，１１４…マーク（結果情報）、１１６…認識器情報、１１８…説明情報（結果情報）

Claims (12)

  1. １又は複数のコンピュータを、
    ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段、
    として機能させ、
    前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択する、診断支援プログラム。
  2. １又は複数のコンピュータを、
    ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段、
    として機能させ、
    前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    前記選択手段は、前記検査情報により特定される表示手段であって前記乳房画像を表示させる表示手段の表示性能が相対的に低い場合に前記第１認識器を選択する一方、前記表示手段の表示性能が相対的に高い場合に前記第２認識器を選択する、診断支援プログラム。
  3. 前記第１認識器は、ＢＩ−ＲＡＤＳカテゴリーを区別する値を出力し、
    前記第２認識器は、良性であるか悪性であるかを区別する値を出力する、
    請求項１又は２に記載の診断支援プログラム。
  4. １又は複数のコンピュータを、
    ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段、
    として機能させ、
    前記複数の認識器は、第１認識器と、該第１認識器と比べて演算量又は演算時間が相対的に少ない第２認識器と、を含み、
    前記選択手段は、前記検査情報により特定される前記乳房画像の種類が静止画像である場合に前記第１認識器を選択する一方、前記乳房画像の種類が動画像である場合に前記第２認識器を選択する、診断支援プログラム。
  5. 前記複数の認識器は、地域毎に収集されるテスト画像を含む２以上の母集団を用いて機械学習がなされた２以上の認識器を含み、
    前記選択手段は、前記検査情報により特定される検査の実施地域に対応する認識器を選択する、
    請求項１〜４のいずれか１項に記載の診断支援プログラム。
  6. 前記１又は複数のコンピュータを、
    前記選択手段により選択された前記認識器の種類又は特性を示す認識器情報を、前記認識結果を示す結果情報と併せて表示手段に表示させる制御を行う表示制御手段としてさらに機能させる、
    請求項１〜５のいずれか１項に記載の診断支援プログラム。
  7. ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、
    を備え、
    前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択する、診断支援装置。
  8. ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、
    を備え、
    前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    前記選択手段は、前記検査情報により特定される表示手段であって前記乳房画像を表示させる表示手段の表示性能が相対的に低い場合に前記第１認識器を選択する一方、前記表示手段の表示性能が相対的に高い場合に前記第２認識器を選択する、診断支援装置。
  9. ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、
    を備え、
    前記複数の認識器は、第１認識器と、該第１認識器と比べて演算量又は演算時間が相対的に少ない第２認識器と、を含み、
    前記選択手段は、前記検査情報により特定される前記乳房画像の種類が静止画像である場合に前記第１認識器を選択する一方、前記乳房画像の種類が動画像である場合に前記第２認識器を選択する、診断支援装置。
  10. １又は複数のコンピュータが、
    ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識ステップと、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択ステップと、
    を実行し、
    前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    前記選択ステップでは、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択する、診断支援方法。
  11. １又は複数のコンピュータが、
    ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識ステップと、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択ステップと、
    を実行し、
    前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    前記選択ステップでは、前記検査情報により特定される表示手段であって前記乳房画像を表示させる表示手段の表示性能が相対的に低い場合に前記第１認識器を選択する一方、前記表示手段の表示性能が相対的に高い場合に前記第２認識器を選択する、診断支援方法。
  12. １又は複数のコンピュータが、
    ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識ステップと、
    前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択ステップと、
    を実行し、
    前記複数の認識器は、第１認識器と、該第１認識器と比べて演算量又は演算時間が相対的に少ない第２認識器と、を含み、
    前記選択ステップでは、前記検査情報により特定される前記乳房画像の種類が静止画像である場合に前記第１認識器を選択する一方、前記乳房画像の種類が動画像である場合に前記第２認識器を選択する、診断支援方法。
JP2020014823A 2020-01-31 2020-01-31 診断支援プログラム、装置、及び方法 Active JP6815711B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020014823A JP6815711B1 (ja) 2020-01-31 2020-01-31 診断支援プログラム、装置、及び方法
JP2020195523A JP2021125230A (ja) 2020-01-31 2020-11-25 診断支援プログラム、装置、及び方法
US17/796,694 US20230057933A1 (en) 2020-01-31 2021-01-28 Storage medium, diagnosis support apparatus and diagnosis support method
PCT/JP2021/002960 WO2021153648A1 (ja) 2020-01-31 2021-01-28 記憶媒体、診断支援装置及び診断支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020014823A JP6815711B1 (ja) 2020-01-31 2020-01-31 診断支援プログラム、装置、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020195523A Division JP2021125230A (ja) 2020-01-31 2020-11-25 診断支援プログラム、装置、及び方法

Publications (2)

Publication Number Publication Date
JP6815711B1 true JP6815711B1 (ja) 2021-01-20
JP2021121261A JP2021121261A (ja) 2021-08-26

Family

ID=74164544

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020014823A Active JP6815711B1 (ja) 2020-01-31 2020-01-31 診断支援プログラム、装置、及び方法
JP2020195523A Pending JP2021125230A (ja) 2020-01-31 2020-11-25 診断支援プログラム、装置、及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020195523A Pending JP2021125230A (ja) 2020-01-31 2020-11-25 診断支援プログラム、装置、及び方法

Country Status (3)

Country Link
US (1) US20230057933A1 (ja)
JP (2) JP6815711B1 (ja)
WO (1) WO2021153648A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391934B1 (ko) * 2022-01-19 2022-04-28 주식회사 엘티포 인공지능 기반 갑상선 결절의 암 위험도 진단 시스템 및 방법
WO2023188903A1 (ja) * 2022-03-29 2023-10-05 富士フイルム株式会社 画像処理装置、医療診断装置、超音波内視鏡装置、画像処理方法、及びプログラム
CN116665865B (zh) * 2023-06-13 2023-12-26 爱汇葆力(广州)数据科技有限公司 基于大数据实现陪诊人员的信息智能管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
US20150173705A1 (en) * 2013-12-23 2015-06-25 Samsung Electronics Co., Ltd. Apparatus and method for adapting diagnostic model for computer-aided diagnosis
US20180157800A1 (en) * 2016-12-02 2018-06-07 General Electric Company Methods and systems for user defined distributed learning models for medical imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
US20150173705A1 (en) * 2013-12-23 2015-06-25 Samsung Electronics Co., Ltd. Apparatus and method for adapting diagnostic model for computer-aided diagnosis
US20180157800A1 (en) * 2016-12-02 2018-06-07 General Electric Company Methods and systems for user defined distributed learning models for medical imaging

Also Published As

Publication number Publication date
WO2021153648A1 (ja) 2021-08-05
JP2021125230A (ja) 2021-08-30
JP2021121261A (ja) 2021-08-26
US20230057933A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US11850021B2 (en) Dynamic self-learning medical image method and system
WO2021153648A1 (ja) 記憶媒体、診断支援装置及び診断支援方法
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN111401398B (zh) 用于根据人工智能检测输出确定疾病进展的系统和方法
CN107403058B (zh) 图像报告方法
US11488306B2 (en) Immediate workup
JP6818424B2 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
US20190130565A1 (en) Method of processing medical image, and medical image processing apparatus performing the method
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
JP6930411B2 (ja) 情報処理装置及び情報処理方法
AU2019204365B1 (en) Method and System for Image Segmentation and Identification
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
KR102480134B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
CN114220534A (zh) 针对前列腺癌的多模态计算机辅助诊断系统和方法
JP2022061191A (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
US11967424B2 (en) Information processing apparatus, information processing method, and recording medium
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report
US11410341B2 (en) System and method for visualizing placement of a medical tube or line
EP4022636A1 (en) Methods and systems for computer-aided diagnosis with deep learning models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200716

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S633 Written request for registration of reclamation of name

Free format text: JAPANESE INTERMEDIATE CODE: R313633

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250