JP7427902B2 - 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置 - Google Patents

超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置 Download PDF

Info

Publication number
JP7427902B2
JP7427902B2 JP2019182469A JP2019182469A JP7427902B2 JP 7427902 B2 JP7427902 B2 JP 7427902B2 JP 2019182469 A JP2019182469 A JP 2019182469A JP 2019182469 A JP2019182469 A JP 2019182469A JP 7427902 B2 JP7427902 B2 JP 7427902B2
Authority
JP
Japan
Prior art keywords
target
image
likelihood
ultrasound
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019182469A
Other languages
English (en)
Other versions
JP2021058232A (ja
Inventor
義浩 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2019182469A priority Critical patent/JP7427902B2/ja
Priority to US17/038,454 priority patent/US11842808B2/en
Publication of JP2021058232A publication Critical patent/JP2021058232A/ja
Application granted granted Critical
Publication of JP7427902B2 publication Critical patent/JP7427902B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、機械学習により訓練された識別モデルを用いてターゲットを識別するための超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置に関する。
従来、医用画像診断装置の一つとして、超音波を被検体に向けて送信し、その反射波を受信して受信信号に所定の信号処理を行うことにより、被検体内部の形状、性状又は動態を超音波画像として可視化する超音波診断装置が知られている。超音波診断装置は、超音波探触子を体表に当てる又は体内に挿入するという簡単な操作で超音波画像を取得することができるので、安全であり、被検体にかかる負担も小さい。
超音波診断装置は、例えば、超音波ガイド下で、被検体の体内に治療器具（例えば、穿刺針）を挿入して対象領域の治療を行う場合に用いられる。このような治療において、医師等の施術者は、超音波診断装置により得られる超音波画像を見て、治療対象領域を確認しながら治療器具を挿入するとともに、治療を行うことができる。
超音波ガイド下で治療を行う場合、治療対象領域の位置及び領域を正確に把握するために、ターゲットとなる対象領域が超音波画像（Ｂモード画像）に鮮明に反映されていることが好ましい。例えば、末梢神経に直接又はその周辺に穿刺して局所麻酔を行う神経ブロックにおいては、麻酔薬を注入する神経や、麻酔薬を誤注入してはいけない血管等がターゲットとなり得る。また、神経ブロックでは、施術者が超音波画像上で神経と血管とを目視にて区別して、血管に穿刺しないように注意しているが、高い技量及び豊富な経験が要求される。
近年では、機械学習により訓練された識別モデルを用いて、超音波画像内におけるターゲットを識別し、ユーザー（例えば、施術者）に提供する技術も提案されている（例えば、特許文献１参照）。
特表２０１９－５０８０７２号公報
しかしながら、特許文献１に開示の超音波診断装置では、識別モデルの訓練に、正確で且つ膨大な訓練データ（グランドトゥルースデータ）を用意する必要があり、特に、識別モデルの訓練に不慣れなユーザーにとっては、識別モデルの性能（識別精度）を向上するのに大きな手間と時間がかかり、利便性に欠けるという問題がある。
本発明の目的は、機械学習により識別モデルを容易に訓練でき、超音波画像におけるターゲットを精度良く識別して視認させることができる超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置を提供することである。
本発明に係る超音波画像診断用訓練装置は、
被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデルの訓練を行う超音波画像診断用訓練装置であって、
訓練用の前記超音波画像から第１画像を抽出し、前記第１画像と予め設定された参照データとに基づいて、前記第１画像に含まれる第２画像の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データを生成する教師データ生成部と、
前記教師データを用いた機械学習により前記識別モデルを訓練する識別モデル訓練部と、を備え、
前記教師データ生成部は、訓練用の前記超音波画像におけるユーザーによるターゲット指定に関する操作に基づいて、前記第１画像の抽出領域を設定し、
前記参照データは、
前記ターゲットの領域に対応する尤度を最大尤度とし、前記ターゲットからの距離が離れるほど前記尤度が小さくなる尤度分布を有し、前記第１画像に前記ターゲットが含まれる場合に参照される第１参照データと、
前記第１画像全体に対応する領域の尤度が０以下であり、前記第１画像が前記ターゲットを含まない非ターゲットである場合に参照される第２参照データと、を含む。
本発明に係る超音波画像診断装置は、
上記の超音波画像診断用訓練装置と、
前記識別モデルを実行し、診断用の超音波画像の入力に対して前記ターゲットの尤度に関する情報を出力する識別モデル実行部と、を備える。
本発明に係る識別モデルの訓練方法は、
被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデルの訓練方法であって、
訓練用の前記超音波画像から第１画像を抽出し、
前記第１画像と予め設定された参照データとに基づいて、前記第１画像に含まれる第２画像の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データを生成し、
前記教師データを用いた機械学習により前記識別モデルを訓練し、
前記第１画像を抽出する工程では、訓練用の前記超音波画像におけるユーザーによるターゲット指定に関する操作に基づいて、前記第１画像の抽出領域を設定し、
前記教師データを生成する工程で用いる前記参照データは、
前記ターゲットの領域に対応する尤度を最大尤度とし、前記ターゲットからの距離が離れるほど前記尤度が小さくなる尤度分布を有し、前記第１画像に前記ターゲットが含まれる場合に参照される第１参照データと、
前記第１画像全体に対応する領域の尤度が０以下であり、前記第１画像が前記ターゲットを含まない非ターゲットである場合に参照される第２参照データと、を含む。
本発明に係るプログラムは、
被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデルの訓練プログラムであって、
コンピューターに、
訓練用の前記超音波画像から第１画像を抽出する第１処理と、
前記第１画像と予め設定された参照データとに基づいて、前記第１画像に含まれる第２画像の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データを生成する第２処理と、
前記教師データを用いた機械学習により識別モデルを訓練する第３処理と、を実行させ、
前記第１処理では、訓練用の前記超音波画像におけるユーザーによるターゲット指定に関する操作に基づいて、前記第１画像の抽出領域を設定し、
前記第２処理で用いる前記参照データは、
前記ターゲットの領域に対応する尤度を最大尤度とし、前記ターゲットからの距離が離れるほど前記尤度が小さくなる尤度分布を有し、前記第１画像に前記ターゲットが含まれる場合に参照される第１参照データと、
前記第１画像全体に対応する領域の尤度が０以下であり、前記第１画像が前記ターゲットを含まない非ターゲットである場合に参照される第２参照データと、を含む。
本発明に係る超音波診断装置は、
被検体内で反射した反射超音波に応じた超音波画像を生成し、表示する超音波診断装置であって、
前記反射超音波に応じた受信信号に基づいて、Ｂモード画像を生成するＢモード画像生成部と、
ターゲットに対応する領域の尤度が高くかつ前記ターゲット以外の構造物の尤度が低くなるように予め訓練された識別モデルを用いて、前記Ｂモード画像に対するターゲットの尤度に関する情報を取得し、前記尤度に関する情報に基づいて、前記Ｂモード画像に対応する尤度分布を生成するターゲット識別部と、
前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を視認可能に表示する表示処理部と、を備える。
上記の超音波診断装置において、前記ターゲットは神経であり、前記ターゲット以外の構造物は血管を含み、前記識別モデルは、少なくとも、前記神経を含む参照データに基づいて、予め訓練されている。
上記の超音波診断装置において、前記表示処理部は、前記尤度分布に基づいて、前記Ｂモード画像の色相、彩度、明度の少なくとも１つを変化させて表示するとともに、前記尤度分布においてターゲット尤度が予め定められたしきい値を下回る非ターゲットの領域については、前記Ｂモード画像をそのまま表示する。
上記の超音波診断装置において、前記表示処理部は、前記尤度分布に基づく等高線を、前記Ｂモード画像に重ね合わせて表示する。
上記の超音波診断装置において、前記表示処理部は、前記尤度分布に基づくターゲット枠を、前記Ｂモード画像に重ねて表示する。
上記の超音波診断装置において、前記ターゲット識別部は、前記尤度に関する情報の時間的な変化に基づいて、前記尤度分布に含まれるノイズを除去する。
上記の超音波診断装置は、前記Ｂモード画像から、前記被検体に刺入された穿刺針を示す穿刺針情報を取得する穿刺針特定部を備え、前記表示処理部は、前記穿刺針情報及び前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を、視認可能に表示する。
本発明によれば、機械学習により識別モデルを容易に訓練でき、超音波画像におけるターゲットを精度良く識別して視認させることができる。
図１は、実施の形態に係る超音波診断装置の外観を示す図である。 図２は、超音波探触子の構成を示す図である。 図３は、超音波診断装置の制御系の主要部を示すブロック図である。 図４は、ターゲット識別部の具体的な構成を示す図である。 図５Ａ～図５Ｃは、参照データの一例を示す図である。 図６は、識別モデルを訓練するための識別モデル訓練処理の一例を示すフローチャートである。 図７は、訓練用のＢモード画像及び第１画像を示す図である。 図８Ａ～図８Ｃは、教師データの生成方法の一例について示す図である。 図９は、穿刺を行う治療に超音波診断装置が利用される場合の超音波画像表示処理の一例を示すフローチャートである。 図１０は、治療時のＢモード画像と、対応する尤度分布の一例を示す図である。 図１１は、モード画像と尤度分布に基づいて表示画像を生成する方法の一例を示す図である。 図１２Ａ、図１２Ｂは、表示画像の他の一例を示す図である。
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係る超音波診断装置１の外観を示す図である。図２は、超音波探触子２０の構成を示す図である。図３は、超音波診断装置１の制御系の主要部を示すブロック図である。
超音波診断装置１は、被検体内の形状、性状又は動態を超音波画像として可視化し、画像診断するために用いられる。超音波診断装置１は、例えば、被検体に穿刺して神経又は神経周辺に麻酔薬を投入して神経ブロックを行う際に、穿刺支援情報として、ターゲットを視認可能に提示する機能を備えている。超音波診断装置１では、Ｂモード画像に、ターゲットを示す標識が表示され、ターゲット以外の構造物（以下、「非ターゲット」と称する）と容易に区別することができる。
神経ブロックでは、例えば、穿刺針を刺入すべき領域を把握するための神経や、神経と絶対に誤認してはいけない血管が、ターゲットとなり得る。本実施の形態では、神経をターゲットと扱い、血管や骨、筋繊維等の神経以外の構造物を非ターゲットとして扱う。
なお、神経周辺に麻酔薬を投入する場合は、穿刺針を刺入してはいけない神経及び血管をターゲットして扱い、それ以外の構造物を非ターゲットとして扱ってもよい。
図１に示すように、超音波診断装置１は、超音波診断装置本体１０及び超音波探触子２０を備える。超音波診断装置本体１０と超音波探触子２０は、ケーブル３０を介して接続される。なお、超音波探触子２０は、超音波診断装置本体１０と無線通信を介して接続されてもよい。
超音波探触子２０は、被検体に対して超音波を送信するとともに、被検体で反射された超音波エコー（反射超音波）を受信し、受信信号に変換して超音波診断装置本体１０に送信する。超音波探触子２０には、コンベックス探触子、リニア探触子、又はセクタ探触子等の任意の電子走査方式の探触子やメカニカルセクタ探触子等の機械走査方式の探触子を適用することができる。超音波探触子２０は、穿刺針を取り付けて刺入方向を案内する穿刺針ガイド部を有していてもよい。
図２に示すように、超音波探触子２０は、例えば、超音波送受信側から順に、音響レンズ２１、音響整合層２２、振動子アレイ２３、バッキング材２４を有する。なお、音響レンズ２１の表面（超音波送受信面）には、保護層が配置されてもよい。
音響レンズ２１は、超音波をスライス方向(複数の振動子が配列されているスキャン方向とは直行する方向)に収束させるレンズであり、例えば、生体よりも音速が遅い材料を音響レンズに用いる場合は、一般的にはスライス方向における中央部が盛り上がったかまぼこ様の形状を有する。
音響整合層２２は、超音波を効率よく被検体内に進入させるための中間的物質であり、振動子（図示略）と被写体の音響インピーダンスを整合させる。
振動子アレイ２３は、例えば、スキャン方向に単列で配置された複数の短冊状の振動子により構成される。すなわち、超音波探触子２０は、いわゆる単列探触子である。
バッキング材２４は、振動子アレイ２３で発生する不要振動を減衰する。
超音波診断装置本体１０は、超音波探触子２０からの受信信号を用いて、被検体内の形状、性状又は導体を超音波画像（Ｂモード画像）として可視化する。
図３に示すように、超音波診断装置本体１０は、操作入力部１１、送信部１２、受信部１３、画像処理部１４、ターゲット識別部１５、表示処理部１６、表示部１７及びシステム制御部１８等を備える。
送信部１２、受信部１３、画像処理部１４、ターゲット識別部１５及び表示処理部１６は、例えば、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の、各処理に応じた専用もしくは汎用のハードウェア（電子回路）で構成され、システム制御部１８と協働して各機能を実現する。
操作入力部１１は、例えば、診断開始等を指示するコマンド又は被検体に関する情報の入力を受け付ける。また、操作入力部１１は、識別モデル４０（図４参照）の訓練時に、ターゲット又は非ターゲットを指定するためのターゲット指定に関する操作を受付ける。操作入力部１１は、例えば、複数の入力スイッチを有する操作パネル、キーボード、及びマウス等を有する。なお、操作入力部１１は、表示部１７と一体的に設けられるタッチパネルで構成されてもよい。
送信部１２は、システム制御部１８の指示に従って、送信信号（駆動信号）を生成して、超音波探触子２０に出力する。図示を省略するが、送信部１２は、例えば、クロック発生回路、パルス発生回路、パルス幅設定部及び遅延回路を有する。
クロック発生回路は、パルス信号の送信タイミングや送信周波数を決定するクロック信号を発生させる。パルス発生回路は、所定の周期で予め設定された電圧振幅のバイポーラー型の矩形波パルスを発生させる。パルス幅設定部は、パルス発生回路から出力される矩形波パルスのパルス幅を設定する。パルス発生回路で生成された矩形波パルスは、パルス幅設定部への入力前又は入力後に、超音波探触子２０の個々の振動子ごとに異なる配線経路に分離される。遅延回路は、生成された矩形波パルスを、振動子ごとの送信タイミングに応じて遅延させ、振動子に出力する。
受信部１３は、システム制御部１８の指示に従って、超音波探触子２０からの受信信号を受信し、画像処理部１４へ出力する。図示を省略するが、受信部１３は、例えば、増幅器、Ａ／Ｄ変換回路、整相加算回路を有する。
増幅器は、超音波探触子２０の各振動子により受信された超音波に応じた受信信号を予め設定された所定の増幅率でそれぞれ増幅する。Ａ／Ｄ変換回路は、増幅された受信信号を所定のサンプリング周波数でデジタルデータに変換する。整相加算回路は、Ａ／Ｄ変換された受信信号に対して、振動子に対応した配線経路毎に遅延時間を与えて時相を整え、これらを加算（整相加算）する。
画像処理部１４は、Ｂモード画像生成部１４１及び画像解析部１４２を含む。また、図示を省略するが、画像処理部１４は、超音波探触子２０の種類に応じた座標変換及び画素補間を行うＤＳＣ（Digital Scan Converter）を含む。
Ｂモード画像生成部１４１は、システム制御部１８の指示に従って、受信信号に基づいて、被検体の内部状態を示すＢモード画像を生成する。被検体内に穿刺針が挿入されている場合、Ｂモード画像には、穿刺針が描出される。
画像解析部１４２は、Ｂモード画像を解析して、例えば、Ｂモード画像に含まれる穿刺針を特定し、穿刺針情報を取得する。
ターゲット識別部１５は、システム制御部１８の指示に従って、識別モデル４０（図４参照）を用いて、治療時のＢモード画像におけるターゲット（ここでは、神経）を識別するためのデータを生成する。ターゲット識別部１５に、本発明に係る超音波画像診断用訓練装置及び超音波画像診断装置が適用されている。ターゲット識別部１５の詳細については、後述する。
ここで、識別モデル４０は、例えば、ニューラルネットワークなどの公知の機械学習アルゴリズム（いわゆるディープラーニング）を利用して、Ｂモード画像の特徴量（例えば、輝度配列）とターゲット尤度に関する情報との関係を教師データ６０（図４参照）として訓練する教師あり機械学習により構築される。
ターゲット尤度とは、ターゲットであることの尤もらしさを示す指標であり、ターゲット及びその周辺の領域はターゲット尤度が大きく、非ターゲットの領域はターゲット尤度が小さくなる。識別モデル４０から出力されるターゲット尤度に関する情報は、例えば、識別モデル４０に入力されたＢモード画像の中央の画素ブロックに対応するターゲット尤度（尤度値）であってもよいし、入力されたＢモード画像全体に対応するターゲット尤度の分布（以下、「尤度分布」と称する）であってもよい。なお、画素ブロックは、画像を複数領域に分割したときのそれぞれの分割領域であり、複数の画素からなる画素群で構成されてもよいし、一つの画素で構成されてもよい。
すなわち、識別モデル４０は、治療時のＢモード画像の入力に対して、尤度分布の元となるデータを出力する。本実施の形態では、識別モデル４０は、所定サイズのＢモード画像（以下、「識別用画像」）の入力に対して、当該識別用画像の中央の画素ブロックのターゲット尤度を演算して出力する。識別モデル４０の出力に基づいて、治療時のＢモード画像に対応する尤度分布が生成される。なお、識別モデル４０に入力される識別用画像のサイズや、識別モデル４０から出力される情報は、任意に設定可能である。
表示処理部１６は、システム制御部１８の指示に従って、画像処理部１４において生成されたＢモード画像のデータを、ターゲット識別部１５（尤度分布生成部１５４（図４参照））において生成された尤度分布のデータと合成して、表示部１７に対応する表示信号に変換して出力する。表示処理部１６は、例えば、尤度分布に基づいて、Ｂモード画像の各画素に対して色情報（色相、彩度、明度）を付加し、Ｂモード画像の色相、彩度、明度の少なくとも１つを変化させて表示する。
表示部１７は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等で構成される。表示部１７は、システム制御部１８の指示に従って、表示処理部１６からの表示信号に基づいて画像を表示する。
システム制御部１８は、操作入力部１１、送信部１２、受信部１３、画像処理部１４、ターゲット識別部１５、尤度分布生成部１６、表示処理部１６及び表示部１７を、それぞれの機能に応じて制御することによって、超音波診断装置１の全体制御を行う。
システム制御部１８は、演算／制御装置としてのＣＰＵ（Central Processing Unit）１８１、主記憶装置としてのＲＯＭ（Read Only Memory）１８２及びＲＡＭ（Random Access Memory）１８３等を有する。ＲＯＭ１８２には、基本プログラムや基本的な設定データが記憶される。また、ＲＯＭ１８２には、治療モードで実行される治療支援プログラムが記憶される。ＣＰＵ１８１は、ＲＯＭ１８２から処理内容に応じたプログラムを読み出してＲＡＭ１８３に展開し、展開したプログラムを実行することにより、超音波診断装置本体１０の各機能ブロック（送信部１２、受信部１３、画像処理部１４、ターゲット識別部１５、表示処理部１６及び表示部１７）の動作を集中制御する。
本実施の形態では、機能ブロックを構成する各ハードウェアとシステム制御部１８とが協働することにより、各機能ブロックの機能が実現される。なお、システム制御部１８がプログラムを実行することにより、各機能ブロックの一部又は全部の機能が実現されるようにしてもよい。
図４は、ターゲット識別部１５の具体的な構成を示す図である。
図４に示すように、ターゲット識別部１５は、例えば、教師データ生成部１５１、識別モデル訓練部１５２、識別モデル実行部１５３、尤度分布生成部１５４及び記憶部１５５を有する。
教師データ生成部１５１は、教師データ生成用の第１画像と、予め用意された参照データ５０とに基づいて、識別モデル４０を訓練するための教師データ６０を生成する。第１画像は、例えば、訓練用のＢモード画像から抽出される。教師データ６０は、第１画像から抽出される第２画像の特徴量（例えば、輝度配列）と、ターゲット尤度に関する情報（例えば、第２画像の中央の画素ブロックに対応するターゲット尤度）と、が対応付けられたデータセットである。
識別モデル訓練部１５２は、教師データ生成部１５１によって生成された教師データ６０を用いた機械学習により、識別モデル４０を訓練する。具体的には、識別モデル訓練部１５２は、教師データ６０の例題（第２画像の特徴量）を識別モデル４０に入力したときに、教師データ６０の答え（ターゲット尤度に関する情報）が出力されるように、識別モデル４０を修正する。
識別モデル実行部１５３は、訓練された識別モデル４０を実行して、治療時のＢモード画像におけるターゲットを識別するためのデータを生成する。識別モデル実行部１５３は、例えば、治療時のＢモード画像９１から識別用画像９２を抽出し、識別用画像９２を入力として識別モデル４０を実行することにより、出力として、当識別用画像９２に対する尤度に関する情報（識別用画像９２ごとの中央の画素ブロックに対応するターゲット尤度）を取得する（図１０参照）。
尤度分布生成部１５４は、識別モデル実行部１５３からの出力に基づいて、治療時のＢモード画像９１の全体又は一部（例えば、ＲＯＩ枠で囲まれた領域）に対応する尤度分布９３を示すデータを生成する（図１０参照）。このとき、時間的に連続するＢモード画像から得られる尤度に関する情報（例えば、ターゲット尤度、尤度分布）の変化に基づいて、尤度分布に含まれるノイズを除去することが好ましい。例えば、時間軸方向において、移動平均フェイルター処理やメディアンフィルター処理を適用することで、尤度分布に含まれるノイズを除去することができる。この場合、尤度に関する情報の変化（急峻度）が予め設定されたしきい値を超える領域をノイズ領域として検出し、このノイズ領域についてのみ、ノイズ除去処理を行うようにしてもよい。
記憶部１５５は、例えば、不揮発性の半導体メモリ（いわゆるフラッシュメモリ）やハードディスクドライブ等で構成される。記憶部１５５は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc（「Blu-ray」は登録商標））等の光ディスク、ＭＯ（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。
記憶部１５５は、例えば、識別モデル４０、参照データ５０、及び教師データ６０を記憶する。識別モデル４０の訓練に用いられた教師データ６０は、教師データ生成部１５１によって新たに教師データ６０が生成された場合に、適宜上書きされてもよい。また、記憶部１５５は、訓練履歴記憶部として機能し、訓練履歴データ７０を記憶する。訓練履歴データ７０は、例えば、訓練に用いた教師データ６０の数や訓練日時等の情報を含む。
図５Ａ～図５Ｃは、参照データ５０の一例を示す図である。
図５Ａ～図５Ｃに示すように、参照データ５０は、第１画像（教師データ生成用のＢモード画像）にターゲットが含まれる場合に参照される第１参照データ５１と、第１画像にターゲットが含まれない場合に参照される第２参照データ５２とを有する。
図５Ａに示す第１参照データ５１は、第１画像の中央に、ターゲットである神経の横断面が描出されている場合に参照されるものであり、例えば、ターゲット尤度が０．０～１．０の範囲で円形ガウス分布にしたがって設定されている。通常、神経ブロックにおいて利用されるＢモード画像には神経の横断面が描出され、穿刺針を刺入すべき領域を把握するための標識として利用される。
第２参照データ５２は、第１画像にターゲットである神経がない場合（第１画像が非ターゲットで構成されている場合）の尤度分布を示す。図５Ｂに示す第２参照データ５２では、全領域に対応するターゲット尤度が０に設定されている。
なお、第１参照データ５１及び第２参照データ５２は、必要に応じて複数用意されてもよい。例えば、第１参照データ５１として、第１画像に神経の縦断面が描出されている場合に参照されるデータが用意されてもよい。また、図５Ｃに示すように、第２参照データ５２として、第１画像に穿刺針を刺入してはいけない血管が含まれる場合に参照される血管識別用の第２参照データ５２１が用意されてもよい。血管識別用の第２参照データ５２１は、第１画像の中央に、血管の横断面が描出されている場合に参照されるものであり、ターゲット尤度が－１．０～０．０の範囲で円形ガウス分布にしたがって設定されている。
図６は、識別モデル４０を訓練するための識別モデル訓練処理の一例を示すフローチャートである。この処理は、例えば、超音波診断装置１において、識別モデル４０の訓練モードが有効化されることに伴い、ＣＰＵ１８１がＲＯＭ１８２に格納されている所定のプログラム（識別モデル訓練プログラム）を実行し、教師データ生成部１５１及び識別モデル訓練部１５２と協働することにより実現される。訓練モードの有効化は、例えば、操作入力部１１におけるモード選択によって行われる。
ステップＳ１０１において、教師データ生成部１５１は、システム制御部１８の指示に従って、訓練用のＢモード画像８０（図７参照）の指定を受け付ける。訓練用のＢモード画像８０は、例えば、訓練用に予め取得して記憶部１５５に記憶されており、操作入力部１１を用いたユーザーの入力操作に基づいて読み出される。また例えば、訓練用のＢモード画像８０には、過去の治療時に取得されたＢモード画像を適用することができ、この場合、訓練用のＢモード画像８０には、穿刺針が含まれてもよい。
ステップＳ１０２において、教師データ生成部１５１は、システム制御部１８の指示に従って、ラベルの指定を受付ける。ラベルは、訓練対象がターゲットである場合に指定される第１ラベルと、訓練対象が非ターゲットである場合に指定される第２ラベルを有し、操作入力部１１を用いたユーザーの入力操作に基づいて、いずれかのラベルが選択される。第１ラベルが指定された場合には、第１参照データ５１を用いて教師データ６０が生成され、第２ラベルが指定された場合には、第２参照データ５２を用いて教師データ６０が生成される。
ステップＳ１０３において、教師データ生成部１５１は、システム制御部１８の指示に従って、Ｂモード画像８０内で第１画像８１を設定する（図７参照）。図７では、ターゲットを訓練対象とする場合に設定される第１画像８１１と、非ターゲットを訓練対象とする場合に設定される第１画像８１２の一例が示されている。
第１画像８１は、例えば、操作入力部１１を用いたユーザーによるターゲット指定に関する操作に基づいて設定される。例えば、ユーザーが、Ｂモード画像８０上で、ターゲット（又は非ターゲット）が描出されている領域にカーソルを合わせてクリック操作すると、当該領域を中心とする所定サイズの領域が第１画像８１として設定される。また例えば、ユーザーが、Ｂモード画像８０上で、ターゲット（又は非ターゲット）が描出されている領域を中心としてドラッグ操作することで、矩形枠が拡縮され、第１画像８１として設定する領域を指定できるようにしてもよい。
ここで、ターゲットを訓練対象とする場合に設定される第１画像８１１には、穿刺針が含まれていることが好ましい。当該第１画像８１１を用いて生成される教師データ６０によって識別モデル４０を訓練することにより、穿刺針を刺入すべき領域を把握するためのターゲットの識別性能が向上する。
以下においては、ステップＳ１０２で第１ラベルが指定され、ターゲットを含む第１画像８１１が設定された場合について具体的に説明する。
ステップＳ１０４において、教師データ生成部１５１は、システム制御部１８の指示に従って、第１画像８１から第２画像８２を抽出する（図８Ａ参照）。第２画像８２は、第１画像８１に含まれ、教師データの入力（例題）となる画像である。例えば、Ｍ×Ｍの画素ブロックで構成される第１画像８１から、Ｎ×Ｎ（Ｎ＜Ｍ）の画素ブロックで構成される第２画像８２が抽出される。
ステップＳ１０５において、教師データ生成部１５１は、システム制御部１８の指示に従って、第２画像８２の特徴量を取得する。第２画像８２の特徴量は、例えば、第２画像８２の画素（又は画素ブロック）ごとの輝度値からなる輝度配列である。
ステップＳ１０６において、教師データ生成部１５１は、システム制御部１８の指示に従って、参照データ５０に基づいて、第２画像８２の特徴量とターゲット尤度を対応付ける。
例えば、図８Ａ、図８Ｂに示すように、第２画像８２と第１参照データ５１を比較して、第２画像８２の中央の画素ブロックに対応するターゲット尤度Ｖを第１参照データ５１から特定して、第２画像８２の特徴量と対応付ける。このとき、第１参照データ５１は、第１画像８１のサイズに応じて適宜調整される。
ステップＳ１０６の処理により、第２画像８２の特徴量と、当該第２画像８２の中央の画素ブロックに対応するターゲット尤度Ｖが対応付けられた、１セットの教師データ６０が生成される。第１画像８１において第２画像８２の抽出領域をスライドさせながらステップＳ１０４～Ｓ１０６の処理を行うことにより、複数セットの教師データ６０が生成される。例えば、参照データ５０がＫ×Ｋの画素ブロックで構成される場合、（Ｋ×Ｋ）個の第２画像８２の特徴量に対して、ターゲット尤度を割り当てることができる。すなわち、第１画像８１を一回指定するだけで、（Ｋ×Ｋ）個の教師データを生成することができる。
教師データ生成部１５１によって実行される以上の工程により、教師データ６０が生成される。
ステップＳ１０７おいて、識別モデル訓練部１５２は、システム制御部１８の指示に従って、生成された教師データ６０を用いた機械学習により識別モデル４０を訓練する。具体的には、図８Ｃに示すように、識別モデル訓練部１５２は、教師データ６０の例題（第２画像８２の特徴量）を識別モデル４０に入力したときに、教師データ６０の答え（第２画像８２の中央の画素ブロックに対応するターゲット尤度Ｖ）が出力されるように、識別モデル４０を修正する。訓練結果に基づいて、記憶部１５５に記憶されている識別モデル４０及び訓練履歴データ７０が更新される。
識別モデル４０の訓練が行われる場合は、識別モデル４０の訓練履歴（例えば、訓練に用いられた教師データの数）が表示部１７に表示されるのが好ましい。
これにより、ユーザーは、識別モデル４０の訓練程度を把握することができ、識別モデル４０を用いたターゲット識別において十分な精度を得るために、今後、どれくらいの訓練が必要かを知得することができる。
図９は、穿刺を行う治療（例えば、神経ブロック）に超音波診断装置１が利用される場合の超音波画像表示処理の一例を示すフローチャートである。この処理は、例えば、超音波診断装置１において、穿刺モードが有効化されることに伴い、ＣＰＵ１８１がＲＯＭ１８２に格納されている所定のプログラム（治療支援プログラム）を実行することにより実現される。治療モードの有効化は、例えば、操作入力部１１におけるモード選択によって行われる。
ステップＳ２０１において、システム制御部１８は、治療に用いるＢモード画像９１を取得する（図１０参照）。具体的には、システム制御部１８は、送信部１２を制御して、超音波探触子２０から超音波を送信するとともに、受信部１３を制御して、超音波探触子２０で受信した反射超音波（超音波エコー）に応じた受信信号を取得する。そして、システム制御部１８は、画像処理部１４（Ｂモード画像生成部１４１）を制御して、受信信号に基づくＢモード画像９１を生成する。
ステップＳ２０２において、システム制御部１８は、治療時のＢモード画像９１の尤度分布９３を取得する（図１０参照）。具体的には、システム制御部１８は、ターゲット識別部１５（識別モデル実行部１５３）を制御して、治療時のＢモード画像９１から識別用画像９２を抽出し、識別用画像９２の特徴量（例えば、輝度配列）を入力として識別モデル４０を実行する。そして、出力として、識別用画像９２の中央の画素ブロックＢ（ｘ、ｙ）に対応するターゲット尤度Ｖ（ｘ，ｙ）を取得する。識別用画像９２の抽出領域をスライドさせながら識別モデル４０を実行することにより、Ｂモード画像９１の全画素ブロックに対応するターゲット尤度が取得される。そして、システム制御部１８は、ターゲット識別部１５（尤度分布生成部１５４）を制御して、識別モデル実行部１５３からの出力に基づいて、治療時のＢモード画像９１の全体又は一部（例えば、ＲＯＩ枠で囲まれた領域）に対応する尤度分布９３を示すデータを生成する。
ここで、治療時のＢモード画像９１には、被検体に刺入される穿刺針も描出される。そのため、識別モデル４０の教師データ６０を生成する場合、第１画像８１には、ターゲットである神経とともに穿刺針が含まれていることが好ましい。これにより、穿刺針を刺入すべき領域を把握するためのターゲットの識別性能が向上する。
ステップＳ２０３において、システム制御部１８は、表示処理部１６を制御して、Ｂモード画像９１のデータ及び尤度分布９３のデータに基づいて、表示データを生成する。例えば、図１１に示すように、システム制御部１８は、Ｂモード画像９１の輝度値を縦軸、尤度分布９３のターゲット尤度を横軸としたカラーマップ９４を用いて、Ｂモード画像９１の各画素の輝度及び色（色相、彩度、明度）を設定する。
ステップＳ２０４において、システム制御部１８は、表示部１７を制御して、表示処理部１６で生成された表示データに基づいて、診断用の表示画像９５を表示する（図１１参照）。Ｂモード画像９１においてターゲットである神経が描出されている領域Ｒ１は、Ｂモード画像９１の輝度値が高く、ターゲット尤度も高い。したがって、表示画像９５における神経が描出されている領域Ｒ１は、赤みを帯びた表示となる。一方、Ｂモード画像９１においてターゲットでない構造物（例えば、血管）が描出されている領域Ｒ２は、Ｂモード画像９１の輝度値は比較的高いが、ターゲット尤度は低い。したがって、表示画像９５における領域Ｒ２は、青みを帯びた表示となる。
ユーザーは、Ｂモード画像９１とターゲットの尤度分布９３に基づいて生成された表示画像９５からターゲットである神経を特定でき、穿刺針を刺入すべき領域を容易に把握することができる。
なお、表示画像９５は、Ｂモード画像９１におけるターゲットの領域が視認可能に表示されていればよく、表示形態は特に限定されない。
例えば、ステップＳ２０３の処理において、カラーマップ９４を用いずに、尤度分布９３をカラーで表示した尤度分布画像（図示略）をＢモード画像９１に重ね合わせて、表示データを生成してもよい。また、Ｂモード画像９１と尤度分布画像を単に並べて表示してもよい。
また、尤度分布９３において、ターゲット尤度が予め定められたしきい値を下回る非ターゲットの領域については、尤度分布９３とＢモード画像９１を合成せずに、Ｂモード画像９１をそのまま表示してもよい。これにより、尤度分布９３と合成することに伴いＢモード画像９１の鮮明さが損なわれるのを防止でき、ターゲットである神経と無関係な非ターゲット領域の視認性を確保することができる。
さらに、図１２Ａに示すように、表示画像９５に、尤度分布９３に基づく等高線９６を重ね合わせてもよいし、図１２Ｂに示すように、尤度分布９３に基づくターゲット枠９７を重ね合わせてもよい。表示画像９５に等高線９６又はターゲット枠９７を表示することにより、ユーザーは、ターゲットの領域をより明確に把握することができる。なお、等高線９６又はターゲット枠９７の表示は、尤度分布が反映されたカラーの表示画像９５に対して行われてもよいし、尤度分布が反映されていないモノクロの表示画像９５（元のＢモード画像９１と同じ）に対して行われてもよい。
このように、実施の形態に係るターゲット識別部１５（超音波画像診断用訓練装置）は、被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデル４０の訓練を行う超音波画像診断用訓練装置であって、Ｂモード画像８０（訓練用の超音波画像）から第１画像８１を抽出し、第１画像８１と予め設定された参照データ５０とに基づいて、第１画像８１に含まれる第２画像８２の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データ６０を生成する教師データ生成部１５１と、教師データ６０を用いた機械学習により識別モデル４０を訓練する識別モデル訓練部１５２と、を備える。
また、実施の形態に係る超音波診断装置１は、教師データ生成部１５１及び識別モデル訓練部１５２（超音波画像診断用訓練装置）と、識別モデル４０を実行し、Ｂモード画像９１（診断用の超音波画像）の入力に対してターゲットの尤度に関する情報を出力する識別モデル実行部１５３と、を備える。
また、実施の形態に係る識別モデル４０の訓練方法は、被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデル４０の訓練方法であって、Ｂモード画像８０（訓練用の超音波画像）から第１画像８１を抽出し（図６のステップＳ１０３）、第１画像８１と予め設定された参照データ５０とに基づいて、第１画像８１に含まれる第２画像８２の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データ６０を生成し（図６のステップＳ１０４～Ｓ１０６）、教師データ６０を用いた機械学習により識別モデル４０を訓練する（図６のステップＳ１０７）。
また、実施の形態に係るプログラムは、被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデル４０の訓練プログラムであって、コンピューターに、Ｂモード画像８０（訓練用の超音波画像）から第１画像８１を抽出する第１処理（図６のステップＳ１０３）と、第１画像８１と予め設定された参照データ５０とに基づいて、第１画像８１に含まれる第２画像８２の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データ６０を生成する第２処理（図６のステップＳ１０４～Ｓ１０６）と、教師データ６０を用いた機械学習により識別モデルを訓練する第３処理（図６のステップＳ１０７）と、を実行させる。
このプログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、このプログラムは、当該プログラムを保有するサーバーから、ネットワークを介してダウンロードにより提供することもできる。
実施の形態に係るターゲット識別部１５（超音波画像診断用訓練装置）、識別モデル４０の訓練方法及び訓練プログラムによれば、機械学習により識別モデル４０を容易に訓練でき、Ｂモード画像におけるターゲットを精度良く識別して視認させることができる。
特に、識別モデル４０を訓練するために必要な膨大な教師データ６０を、訓練用のＢモード画像８０から第１画像８１を設定してラベル（ターゲット／非ターゲット）を対応付けるという極めて簡易な処理により、短時間で生成することができる。したがって、識別モデル４０の訓練に不慣れなユーザーであっても、簡単に識別モデル４０を訓練して識別性能を向上することができる。
また、ターゲット識別部１５（超音波画像診断用訓練装置）において、教師データ生成部１５１は、Ｂモード画像８０（訓練用の超音波画像）におけるユーザーによるターゲット指定に関する操作に基づいて、第１画像８１の抽出領域を設定する。
具体的には、教師データ生成部１５１は、ユーザーによって指定されたターゲットの座標を中心とする特定領域を、第１画像８１の抽出領域として設定する。
これにより、識別モデル４０を訓練するための教師データ６０を容易に生成することができる。
また、ターゲット識別部１５（超音波画像診断用訓練装置）において、参照データ５０は、第１画像８１にターゲットが含まれる場合に参照される第１参照データ５１と、第１画像８１がターゲットを含まない非ターゲットである場合に参照される第２参照データ５２を含む。
具体的には、第１参照データ５１は、ターゲットの領域に対応する尤度を最大尤度とし、ターゲットからの距離が離れるほど尤度が小さくなる尤度分布を有し、第２参照データ５２は、第１画像８１の全体に対応する領域の尤度が０である。
これにより、ターゲットと非ターゲットとを精度良く識別するように識別モデル４０を訓練することができ、識別モデル４０の識別性能を向上することができる。
また、ターゲット識別部１５（超音波画像診断用訓練装置）において、ターゲットは神経であり、非ターゲットは、血管を含む。
これにより、識別モデル４０は、構造が類似しておりユーザーが誤認しやすい神経と血管とを確実に識別することができる。したがって、ターゲット識別部１５の出力を元に表示画像２５が生成され表示されることで、ユーザーが神経と誤認して血管又は血管の近傍に穿刺針を刺入するのを防止することができ、安全性が向上する。
また、ターゲット識別部１５（超音波画像診断用訓練装置）において、第１画像８１は、神経又は神経の周辺に刺入される穿刺針を含む。
これにより、穿刺針を刺入すべき領域を把握するためのターゲットの識別性能が向上する。
また、ターゲット識別部１５（超音波画像診断用訓練装置）において、第１参照データ５１は、複数のターゲットに対して設定されてもよい。
これにより、例えば、神経ブロックにおいて穿刺針を刺入してはいけない血管等もターゲットとすることもでき、識別モデル４０の出力に基づいて、穿刺針を刺入すべき領域だけでなく、穿刺針を刺入すべきでない領域も把握することができる。
また、ターゲット識別部１５（超音波画像診断用訓練装置）において、教師データ生成部１５１は、一つの第１画像８１から複数セットの教師データを生成する。
具体的には、教師データ生成部１５１は、参照データ５０を参照して、第２画像８２ごとに尤度に関する情報を演算し、第２画像８２の特徴量と当該第２画像８２の中央の画素ブロックのターゲット尤度とを対応付ける。
これにより、識別モデル４０の訓練に必要な膨大な教師データ６０を効率よく生成することができ、識別モデル４０の識別性能を向上することができる。
また、ターゲット識別部１５（超音波画像診断用訓練装置）は、識別モデル４０の訓練履歴を記憶する記憶部１５５（訓練履歴記憶部）を備える。
これにより、識別モデル４０の訓練履歴（例えば、訓練に用いられた教師データの数）を提示することができ。ユーザーは、識別モデル４０の訓練程度を把握することができ、識別モデル４０を用いたターゲット識別において十分な精度を得るために、今後、どれくらいの訓練が必要かを知得することができる。
また、実施の形態に係る超音波診断装置１は、被検体内で反射した反射超音波に応じた超音波画像を生成し、表示する超音波診断装置であって、反射超音波に応じた受信信号に基づいて、Ｂモード画像９１を生成するＢモード画像生成部１４１と、ターゲットに対応する領域の尤度が高くかつターゲット以外の構造物の尤度が低くなるように予め訓練された識別モデル４０を用いて、Ｂモード画像９１に対するターゲットの尤度に関する情報を取得し、尤度に関する情報に基づいて、Ｂモード画像９１に対応する尤度分布９３を生成するターゲット識別部１５と、尤度分布９３を用いて、Ｂモード画像９１におけるターゲットの領域を視認可能に表示する表示処理部１６と、を備える。
超音波診断装置１によれば、識別モデル４０よりターゲットが精度良く識別され、Ｂモード画像９１におけるターゲットの領域が視認可能に表示されるので、ユーザーは、治療（例えば、神経ブロック）を行う際の標識を容易に把握することができる。
また、超音波診断装置１において、ターゲットは神経であり、ターゲット以外の構造物は血管を含み、識別モデル４０は、少なくとも、神経を含む第１参照データ５１に基づいて、予め訓練されている。
これにより、例えば、神経ブロックを行う際に、穿刺針を刺入すべき領域の標識となる神経と、穿刺針を刺入してはいけない血管とを明確に区別して、ユーザーに提示することができる。したがって、ユーザーが神経と誤認して血管又は血管の近傍に穿刺針を刺入するのを防止することができ、安全性が向上する。
また、超音波診断装置１において、表示処理部１６は、尤度分布９３に基づいて、Ｂモード画像９１の色相、彩度、明度の少なくとも１つを変化させて表示する。
具体的には、表示処理部１６は、尤度分布９３をカラー表示した尤度分布画像（図示略）と、Ｂモード画像９１を重ね合わせて表示する。
これにより、ユーザーは、ターゲットの存在を色彩により容易に把握することができる。
また、超音波診断装置１において、表示処理部１６は、尤度分布９３においてターゲット尤度が予め定められたしきい値を下回る非ターゲットの領域については、Ｂモード画像９１をそのまま表示する。
これにより、尤度分布９３と合成することに伴いＢモード画像９１の鮮明さが損なわれるのを防止でき、表示画像９５の視認性を確保することができる。
さらに、超音波診断装置１において、表示処理部１６は、尤度分布に基づく等高線９６を、Ｂモード画像９１に重ね合わせて表示する。
また、表示処理部１６は、前記尤度分布に基づくターゲット枠９７を、Ｂモード画像９１に重ねて表示する。
これにより、ユーザーは、ターゲットの領域をより明確に把握することができる。
また、超音波診断装置１において、尤度分布生成部１５４は、時間的に連続する尤度に関する情報の時間的な変化に基づいて、尤度分布に含まれるノイズを除去する。
これにより、時間軸方向において表示画像２５が平滑化され、ターゲットの視認性が向上する。
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、実施の形態では、ターゲットの尤度分布に基づいてターゲットの領域を視認可能に表示しているが、ターゲットの尤度分布とともに、被検体に刺入された穿刺針を示す穿刺針情報を利用してもよい。
すなわち、超音波診断装置１は、Ｂモード画像から、被検体に刺入された穿刺針を示す穿刺針情報を取得する画像解析部１４２（穿刺針特定部）を備え、表示処理部１６は、穿刺針情報及び尤度分布を用いて、Ｂモード画像におけるターゲットの領域を、視認可能に表示する。
この場合、識別モデル４０は、少なくとも、神経及び穿刺針を含む第１参照データ５１に基づいて、予め訓練される。
これにより、Ｂモード画像における穿刺針の刺入領域を把握するためのターゲットを精度良く識別して視認させることができる。
また、表示処理部１６は、Ｂモード画像において穿刺針を強調表示してもよい。
これにより、ユーザーは、穿刺針とターゲットである神経との位置関係を容易に視認することができる。
また、表示処理部１６は、穿刺針情報及び尤度分布に基づいて、Ｂモード画像の色相、彩度、明度の少なくとも１つを変化させて表示してもよい。
また、表示処理部１６は、尤度分布に基づく等高線を、Ｂモード画像に重ね合わせて表示するとともに、穿刺針情報に基づいて等高線の表示態様を変化させてもよい。
また、表示処理部１６は、尤度分布に基づくターゲット枠を、Ｂモード画像に重ねて表示するとともに、穿刺針情報に基づいてターゲット枠の表示態様を変化させてもよい。
具体的には、穿刺針と神経との位置関係に基づいて、ターゲット尤度の高い部分及び／又は穿刺針が描出されている部分の表示態様を変化させる。
これにより、ユーザーは、穿刺針の刺入状況を容易に把握することができる。
また、実施の形態では、第２画像８２が第１画像８１の一部の領域で構成されることにより、１つの第１画像から複数セットの教師データ生成されるが、第２画像８２が第１画像８１の全領域で構成されてもよい。この場合は、一つの第１画像８１から１セットの教師データが生成されることとなる。
また、実施の形態では、神経をターゲットとして扱い、血管を含む神経以外の構造物を非ターゲットとして扱っているが、神経及び血管をターゲットとして扱ってもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１ 超音波診断装置
１０ 超音波診断装置本体
１１ 操作入力部
１２ 送信部
１３ 受信部
１４ 画像処理部
１４１ Ｂモード画像生成部
１４２ 画像解析部（穿刺針特定部）
１５ ターゲット識別部（超音波画像診断用訓練装置）
１５１ 教師データ生成部
１５２ 識別モデル訓練部
１５３ 識別モデル実行部
１５４ 尤度分布生成部
１５５ 記憶部（訓練履歴記憶部）
１６ 表示処理部
１７ 表示部
１８ システム制御部（コンピューター）
２０ 超音波探触子

Claims (23)

  1. 被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデルの訓練を行う超音波画像診断用訓練装置であって、
    訓練用の前記超音波画像から第１画像を抽出し、前記第１画像と予め設定された参照データとに基づいて、前記第１画像に含まれる第２画像の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データを生成する教師データ生成部と、
    前記教師データを用いた機械学習により前記識別モデルを訓練する識別モデル訓練部と、
    を備え、
    前記教師データ生成部は、訓練用の前記超音波画像におけるユーザーによるターゲット指定に関する操作に基づいて、前記第１画像の抽出領域を設定し、
    前記参照データは、
    前記ターゲットの領域に対応する尤度を最大尤度とし、前記ターゲットからの距離が離れるほど前記尤度が小さくなる尤度分布を有し、前記第１画像に前記ターゲットが含まれる場合に参照される第１参照データと、
    前記第１画像全体に対応する領域の尤度が０以下であり、前記第１画像が前記ターゲットを含まない非ターゲットである場合に参照される第２参照データと、を含む、
    超音波画像診断用訓練装置。
  2. 前記教師データ生成部は、前記ユーザーによって指定されたターゲットの座標を中心とする特定領域を、前記抽出領域として設定する、請求項１に記載の超音波画像診断用訓練装置。
  3. 前記第２参照データは、前記第１画像全体に対応する領域の尤度が０である、請求項１に記載の超音波画像診断用訓練装置。
  4. 前記ターゲットは神経であり、
    前記非ターゲットは、血管を含む、請求項１から３のいずれか一項に記載の超音波画像診断用訓練装置。
  5. 前記第１画像は、神経又は前記神経の周辺に刺入される穿刺針を含む、請求項１から４のいずれか一項に記載の超音波画像診断用訓練装置。
  6. 前記第１参照データは、複数の前記ターゲットに対して設定される、請求項１から５のいずれか一項に記載の超音波画像診断用訓練装置。
  7. 前記教師データ生成部は、一つの前記第１画像から複数セットの前記教師データを生成する、請求項１から６のいずれか一項に記載の超音波画像診断用訓練装置。
  8. 前記教師データ生成部は、前記参照データを参照して、前記第２画像ごとに前記尤度に関する情報を演算し、前記第２画像の特徴量と当該第２画像の中央の画素ブロックのターゲット尤度とを対応付ける、請求項７に記載の超音波画像診断用訓練装置。
  9. 前記識別モデルの訓練履歴を記憶する訓練履歴記憶部を備える、請求項１から８のいずれか一項に記載の超音波画像診断用訓練装置。
  10. 請求項１から９のいずれか１項に記載の超音波画像診断用訓練装置と、
    前記識別モデルを実行し、診断用の超音波画像の入力に対して前記ターゲットの尤度に関する情報を出力する識別モデル実行部と、
    を備える、超音波画像診断装置。
  11. 被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデルの訓練方法であって、
    訓練用の前記超音波画像から第１画像を抽出し、
    前記第１画像と予め設定された参照データとに基づいて、前記第１画像に含まれる第２画像の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データを生成し、
    前記教師データを用いた機械学習により前記識別モデルを訓練し、
    前記第１画像を抽出する工程では、訓練用の前記超音波画像におけるユーザーによるターゲット指定に関する操作に基づいて、前記第１画像の抽出領域を設定し、
    前記教師データを生成する工程で用いる前記参照データは、
    前記ターゲットの領域に対応する尤度を最大尤度とし、前記ターゲットからの距離が離れるほど前記尤度が小さくなる尤度分布を有し、前記第１画像に前記ターゲットが含まれる場合に参照される第１参照データと、
    前記第１画像全体に対応する領域の尤度が０以下であり、前記第１画像が前記ターゲットを含まない非ターゲットである場合に参照される第２参照データと、を含む、
    識別モデルの訓練方法。
  12. 被検体内で反射した反射超音波に基づいて生成される超音波画像内のターゲットを識別するために用いられる識別モデルの訓練プログラムであって、
    コンピューターに、
    訓練用の前記超音波画像から第１画像を抽出する第１処理と、
    前記第１画像と予め設定された参照データとに基づいて、前記第１画像に含まれる第２画像の特徴量と、ターゲットの尤度に関する情報と、を対応付けた教師データを生成する第２処理と、
    前記教師データを用いた機械学習により識別モデルを訓練する第３処理と、
    を実行させ、
    前記第１処理では、訓練用の前記超音波画像におけるユーザーによるターゲット指定に関する操作に基づいて、前記第１画像の抽出領域を設定し、
    前記第２処理で用いる前記参照データは、
    前記ターゲットの領域に対応する尤度を最大尤度とし、前記ターゲットからの距離が離れるほど前記尤度が小さくなる尤度分布を有し、前記第１画像に前記ターゲットが含まれる場合に参照される第１参照データと、
    前記第１画像全体に対応する領域の尤度が０以下であり、前記第１画像が前記ターゲットを含まない非ターゲットである場合に参照される第２参照データと、を含む、
    プログラム。
  13. 被検体内で反射した反射超音波に応じた超音波画像を生成し、表示する超音波診断装置であって、
    前記反射超音波に応じた受信信号に基づいて、Ｂモード画像を生成するＢモード画像生成部と、
    請求項１から９のいずれか一項に記載の超音波画像診断用訓練装置によりターゲットに対応する領域の尤度が高くかつ前記ターゲット以外の構造物の尤度が低くなるように予め訓練された識別モデルを用いて、前記Ｂモード画像に対するターゲットの尤度に関する情報を取得し、前記尤度に関する情報に基づいて、前記Ｂモード画像に対応する尤度分布を生成するターゲット識別部と、
    前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を視認可能に表示する表示処理部と、
    を備え、
    前記ターゲットは神経であり、前記ターゲット以外の構造物は血管を含み、
    前記識別モデルは、少なくとも、前記神経を含む参照データに基づいて、予め訓練されている、超音波診断装置。
  14. 被検体内で反射した反射超音波に応じた超音波画像を生成し、表示する超音波診断装置であって、
    前記反射超音波に応じた受信信号に基づいて、Ｂモード画像を生成するＢモード画像生成部と、
    ターゲットに対応する領域の尤度が高くかつ前記ターゲット以外の構造物の尤度が低くなるように予め訓練された識別モデルを用いて、前記Ｂモード画像に対するターゲットの尤度に関する情報を取得し、前記尤度に関する情報に基づいて、前記Ｂモード画像に対応する尤度分布を生成するターゲット識別部と、
    前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を視認可能に表示する表示処理部と、を備え、
    前記表示処理部は、前記尤度分布に基づいて、前記Ｂモード画像の色相、彩度、明度の少なくとも１つを変化させて表示するとともに、前記尤度分布においてターゲット尤度が予め定められたしきい値を下回る非ターゲットの領域については、前記Ｂモード画像をそのまま表示する、超音波診断装置。
  15. 被検体内で反射した反射超音波に応じた超音波画像を生成し、表示する超音波診断装置であって、
    前記反射超音波に応じた受信信号に基づいて、Ｂモード画像を生成するＢモード画像生成部と、
    ターゲットに対応する領域の尤度が高くかつ前記ターゲット以外の構造物の尤度が低くなるように予め訓練された識別モデルを用いて、前記Ｂモード画像に対するターゲットの尤度に関する情報を取得し、前記尤度に関する情報に基づいて、前記Ｂモード画像に対応する尤度分布を生成するターゲット識別部と、
    前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を視認可能に表示する表示処理部と、を備え、
    前記表示処理部は、前記尤度分布に基づく等高線を、前記Ｂモード画像に重ね合わせて表示する、超音波診断装置。
  16. 被検体内で反射した反射超音波に応じた超音波画像を生成し、表示する超音波診断装置であって、
    前記反射超音波に応じた受信信号に基づいて、Ｂモード画像を生成するＢモード画像生成部と、
    ターゲットに対応する領域の尤度が高くかつ前記ターゲット以外の構造物の尤度が低くなるように予め訓練された識別モデルを用いて、前記Ｂモード画像に対するターゲットの尤度に関する情報を取得し、前記尤度に関する情報に基づいて、前記Ｂモード画像に対応する尤度分布を生成するターゲット識別部と、
    前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を視認可能に表示する表示処理部と、を備え、
    前記表示処理部は、前記尤度分布に基づくターゲット枠を、前記Ｂモード画像に重ねて表示する、超音波診断装置。
  17. 被検体内で反射した反射超音波に応じた超音波画像を生成し、表示する超音波診断装置であって、
    前記反射超音波に応じた受信信号に基づいて、Ｂモード画像を生成するＢモード画像生成部と、
    請求項１から９のいずれか一項に記載の超音波画像診断用訓練装置によりターゲットに対応する領域の尤度が高くかつ前記ターゲット以外の構造物の尤度が低くなるように予め訓練された識別モデルを用いて、前記Ｂモード画像に対するターゲットの尤度に関する情報を取得し、前記尤度に関する情報に基づいて、前記Ｂモード画像に対応する尤度分布を生成するターゲット識別部と、
    前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を視認可能に表示する表示処理部と、を備え、
    前記ターゲット識別部は、前記尤度に関する情報の時間的な変化に基づいて、前記尤度分布に含まれるノイズを除去する、超音波診断装置。
  18. 被検体内で反射した反射超音波に応じた超音波画像を生成し、表示する超音波診断装置であって、
    前記反射超音波に応じた受信信号に基づいて、Ｂモード画像を生成するＢモード画像生成部と、
    請求項１から９のいずれか一項に記載の超音波画像診断用訓練装置によりターゲットに対応する領域の尤度が高くかつ前記ターゲット以外の構造物の尤度が低くなるように予め訓練された識別モデルを用いて、前記Ｂモード画像に対するターゲットの尤度に関する情報を取得し、前記尤度に関する情報に基づいて、前記Ｂモード画像に対応する尤度分布を生成するターゲット識別部と、
    前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を視認可能に表示する表示処理部と、を備え、
    前記Ｂモード画像から、前記被検体に刺入された穿刺針を示す穿刺針情報を取得する穿刺針特定部を備え、
    前記表示処理部は、前記穿刺針情報及び前記尤度分布を用いて、前記Ｂモード画像における前記ターゲットの領域を、視認可能に表示する、超音波診断装置。
  19. 前記識別モデルは、少なくとも、神経及び前記穿刺針を含む参照データに基づいて、予め訓練されている、請求項１８に記載の超音波診断装置。
  20. 前記表示処理部は、前記Ｂモード画像において前記穿刺針を強調表示する、請求項１８又は１９に記載の超音波診断装置。
  21. 前記表示処理部は、前記穿刺針情報及び前記尤度分布に基づいて、前記Ｂモード画像の色相、彩度、明度の少なくとも１つを変化させて表示する、請求項１８から２０のいずれか一項に記載の超音波診断装置。
  22. 前記表示処理部は、前記尤度分布に基づく等高線を、前記Ｂモード画像に重ね合わせて表示するとともに、前記穿刺針情報に基づいて前記等高線の表示態様を変化させる、請求項１８から２１のいずれか一項に記載の超音波診断装置。
  23. 前記表示処理部は、前記尤度分布に基づくターゲット枠を、前記Ｂモード画像に重ねて表示するとともに、前記穿刺針情報に基づいて前記ターゲット枠の表示態様を変化させる、請求項１８から２２のいずれか一項に記載の超音波診断装置。
JP2019182469A 2019-10-02 2019-10-02 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置 Active JP7427902B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019182469A JP7427902B2 (ja) 2019-10-02 2019-10-02 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
US17/038,454 US11842808B2 (en) 2019-10-02 2020-09-30 Ultrasound diagnostic imaging training apparatus, ultrasound diagnostic imaging apparatus, identification model training method, non-transitory recording medium storing computer readable training program, and ultrasound diagnostic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019182469A JP7427902B2 (ja) 2019-10-02 2019-10-02 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置

Publications (2)

Publication Number Publication Date
JP2021058232A JP2021058232A (ja) 2021-04-15
JP7427902B2 true JP7427902B2 (ja) 2024-02-06

Family

ID=75273660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019182469A Active JP7427902B2 (ja) 2019-10-02 2019-10-02 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置

Country Status (2)

Country Link
US (1) US11842808B2 (ja)
JP (1) JP7427902B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230030941A1 (en) * 2021-07-29 2023-02-02 GE Precision Healthcare LLC Ultrasound imaging system and method for use with an adjustable needle guide

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181679A (ja) 2005-12-29 2007-07-19 General Electric Co <Ge> 空間解析に対する先行処理として時間解析を利用するコンピュータ支援式検出システム
JP2014138847A (ja) 2013-01-03 2014-07-31 Siemenscorp 診断用超音波イメージングにおける針の強調
JP2015036123A (ja) 2013-08-09 2015-02-23 株式会社東芝 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法
WO2016157499A1 (ja) 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
JP2019028887A (ja) 2017-08-02 2019-02-21 国立研究開発法人産業技術総合研究所 画像処理方法
WO2019039050A1 (ja) 2017-08-25 2019-02-28 富士フイルム株式会社 音響波診断装置および音響波診断装置の制御方法
JP2019508072A (ja) 2016-12-02 2019-03-28 アヴェント インコーポレイテッド 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法
JP2019525786A (ja) 2016-07-08 2019-09-12 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9439624B2 (en) * 2007-10-19 2016-09-13 Metritrack, Inc. Three dimensional mapping display system for diagnostic ultrasound machines and method
WO2017160651A1 (en) * 2016-03-12 2017-09-21 Lang Philipp K Devices and methods for surgery
JP6727176B2 (ja) * 2017-09-27 2020-07-22 富士フイルム株式会社 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
US10786306B2 (en) * 2018-01-24 2020-09-29 Medtronic Ardian Luxembourg S.A.R.L. Denervation therapy
US20190223949A1 (en) * 2018-01-24 2019-07-25 Medtronic Ardian Luxembourg S.A.R.L. Multielectrode catheter
JP6937731B2 (ja) * 2018-09-27 2021-09-22 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
WO2020102670A1 (en) * 2018-11-15 2020-05-22 Nantomics, Llc Classification based on characterization analysis methods and systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181679A (ja) 2005-12-29 2007-07-19 General Electric Co <Ge> 空間解析に対する先行処理として時間解析を利用するコンピュータ支援式検出システム
JP2014138847A (ja) 2013-01-03 2014-07-31 Siemenscorp 診断用超音波イメージングにおける針の強調
JP2015036123A (ja) 2013-08-09 2015-02-23 株式会社東芝 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法
WO2016157499A1 (ja) 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
JP2019525786A (ja) 2016-07-08 2019-09-12 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
JP2019508072A (ja) 2016-12-02 2019-03-28 アヴェント インコーポレイテッド 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法
JP2019028887A (ja) 2017-08-02 2019-02-21 国立研究開発法人産業技術総合研究所 画像処理方法
WO2019039050A1 (ja) 2017-08-25 2019-02-28 富士フイルム株式会社 音響波診断装置および音響波診断装置の制御方法

Also Published As

Publication number Publication date
US20210103773A1 (en) 2021-04-08
US11842808B2 (en) 2023-12-12
JP2021058232A (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
CN115944392A (zh) 用于规划消融的超声系统及方法
CN109475343A (zh) 超声弹性测量显示方法及系统
JP2018516135A (ja) がん悪性度マップにより拡張された精密診断及び治療に対するシステム及び方法
CN114364325B (zh) 超声波诊断装置及超声波诊断装置的控制方法
EP3013246B1 (en) Acoustic highlighting of interventional instruments
CN104905812A (zh) 用于显示对象的多个不同图像的方法和设备
EP3818943B1 (en) Acoustic wave diagnostic device and method for controlling acoustic wave diagnostic device
JP2024516814A (ja) 超音波画像における血管の表示
US20240197286A1 (en) Automated Needle Entry Detection
CN114222537A (zh) 超声波诊断装置及超声波诊断装置的控制方法
Illanes et al. Surgical audio guidance surag: extracting non-invasively meaningful guidance information during minimally invasive procedures
JP2023160986A (ja) 超音波診断装置及び解析装置
JP2020010753A (ja) 超音波診断装置、超音波画像表示方法、プログラム及び超音波探触子
JP7427902B2 (ja) 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
KR102133695B1 (ko) 니들 가이드 시스템 및 그 방법
CN117224161A (zh) 一种超声成像方法以及超声成像系统
US20170347992A1 (en) Automated region of interest placement
CN112515747A (zh) 用于分析超声场景以提供针引导和警告的方法和系统
KR101654676B1 (ko) 초음파 영상에 가변적 에디팅을 수행하는 방법 및 그 방법을 수행하는 초음파 시스템
US11653898B2 (en) Ultrasound diagnostic apparatus, ultrasound image display method and computer-readable recording medium
CN104887271A (zh) 输出包括在感兴趣区域中的血流信息的方法、设备和系统
JP7499135B2 (ja) 超音波観測装置、内視鏡補助装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
EP3840655B1 (en) Constraining sensor tracking estimates in interventional acoustic imaging
EP4248879A1 (en) Information processing device, information processing method, and program
US20220370045A1 (en) Image generation device, image generation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240108

R150 Certificate of patent or registration of utility model

Ref document number: 7427902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150