JP7427497B2 - 情報処理装置、情報処理方法、プログラムおよび超音波診断装置 - Google Patents

情報処理装置、情報処理方法、プログラムおよび超音波診断装置 Download PDF

Info

Publication number
JP7427497B2
JP7427497B2 JP2020055973A JP2020055973A JP7427497B2 JP 7427497 B2 JP7427497 B2 JP 7427497B2 JP 2020055973 A JP2020055973 A JP 2020055973A JP 2020055973 A JP2020055973 A JP 2020055973A JP 7427497 B2 JP7427497 B2 JP 7427497B2
Authority
JP
Japan
Prior art keywords
image data
inference
unit
ultrasound image
probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020055973A
Other languages
English (en)
Other versions
JP2021153774A (ja
Inventor
翔也 佐々木
直哉 飯塚
竜太 植田
好教 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020055973A priority Critical patent/JP7427497B2/ja
Priority to US17/208,934 priority patent/US11723628B2/en
Publication of JP2021153774A publication Critical patent/JP2021153774A/ja
Application granted granted Critical
Publication of JP7427497B2 publication Critical patent/JP7427497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、超音波画像データに基づいてボディマークの推論を行う情報処理装置、情報処理方法、プログラム及び超音波診断装置に関するものである。
超音波診断装置を用いた検査では、ユーザは被検体に対してプローブを走査させ超音波画像を撮影する。特許文献１には、検査の際に撮影した超音波画像データと、超音波画像の撮影位置との対応を判別する方法として、ユーザが超音波画像データにおける診断領域を示すボディマークと、該ボディマーク上で超音波プローブの位置を示すプローブマークとを設定する技術が開示されている。
特開２０１４－００８０８３号公報
特許文献１に開示の技術では、検査ごとにユーザが当該検査に対応するボディマーク及びプローブマークを設定することで、超音波画像データと超音波画像の撮影位置との対応の把握を可能としていた。一方で、検査の度にユーザがボディマーク及びプローブマークを設定することは手間がかかる。
本発明は、超音波画像データからボディマークを推論することで、ユーザの手間を削減しながら、超音波画像データと超音波画像の撮影位置との対応関係を把握することができる情報処理装置を提供することを目的とする。
本発明に係る情報処理装置は、超音波画像データを取得する取得部と、取得部が取得した超音波画像データから、該超音波画像データに対応するボディマークを推論する推論部と、推論部によって推論されたボディマークを超音波画像データとともに表示する表示制御部と、を備える。
本発明によれば、超音波画像データからボディマークを推論することで、ユーザの手間を削減しながら、超音波画像データと超音波画像の撮影位置との対応関係を把握することができる。
第一の実施形態に係る情報処理装置の機能構成図。 第一の実施形態に係る情報処理装置のハードウェア構成の一例を示す図。 第一の実施形態に係る情報処理装置のフローチャート図。 第一の実施形態に係る表示画面の一例を示す図。 超音波診断装置の機能構成図。 第二の実施形態に係る情報処理装置の機能構成図。 第二の実施形態に係る情報処理装置のフローチャート図。 第二の実施形態に係る表示画面の一例を示す図。 変形例に係る情報処理装置の機能構成図。 変形例に係る情報処理装置のフローチャート図。 変形例に係る表示画面の一例を示す図。
以下、図面を参照して本明細書に開示の情報処理装置の好ましい実施形態について説明する。各図面に示される同一の構成要素、部材、処理には同一の符号を付すものとし、適宜重複した説明は省略する。また本発明は図示された構成に限定されるものではない。
＜第一の実施形態＞
以下では図１を用いて本発明の機能構成について説明する。ここで、情報処理装置１００は、超音波診断装置を用いて撮影された超音波画像データを対象にボディマークおよび、ボディマーク上のプローブの位置の推論・表示を行うものとして説明をする。尚、情報処理装置１００の各構成は独立の装置から構成されてもよいし、超音波診断装置の一機能として構成されてもよい。超音波診断装置の一機能として情報処理装置１００が構成される場合については図５を用いて後述する。また本構成または、本構成の一部がネットワークを介したクラウド上で実現されてもよい。
本実施形態において、記憶装置７０には、ユーザによって撮影された超音波画像データが記憶されている。情報処理装置１００は記憶装置７０から超音波画像データを取得し、取得した超音波画像データに基づいてボディマークと、ボディマーク上のプローブの位置を推論し、出力装置１０４に対して表示処理を実行させる。出力装置１０４には、例えば、ＣＲＴモニタや液晶モニタ等であり、情報処理装置１００により表示の指示を受けると、ボディマークとボディマーク上にプローブマークを重畳した重畳画像データを表示する。なお出力装置１０４は、情報処理装置１００の構成が超音波診断装置の一機能として搭載されている場合には、超音波診断装置に備え付けのモニタである。以下より情報処理装置１００の各構成について説明をする。
＜取得部１０１＞
情報処理装置１００における取得部１０１は、記憶装置７０から処理対象となる超音波画像データを取得する。取得部１０１は処理対象の超音波画像データを取得すると、推論部１０２に処理対象の超音波画像データを送信する。
＜推論部１０２＞
情報処理装置１００における推論部１０２は、取得部１０１が取得・送信した超音波画像データを対象にボディマーク及びボディマーク上のプローブの位置を推論する。推論部１０２は、例えばボディマーク及びボディマーク上のプローブの位置を機械学習に基づいた分類器を用いて推論する。
推論部１０２における機械学習に基づく分類器は、正解ラベルと正解画像データを対にした教師データに基づいて学習処理を行うことによって推論を行うことが可能となった分類器である。以下では、推論部１０２を構成する機械学習に基づく分類器の学習処理と、該学習処理によって生成された分類器の出力について説明をする。
推論部１０２を構成する機械学習に基づく分類器として、ここでは機械学習の中でも深層学習の一種として知られるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて説明をする。尚、ＣＮＮに限らずＳＶＭ等の他の機械学習の技術によって推論部１０２を構成する分類器が構成されてもよい。また、推論部１０２を構成する機械学習技術によって、画像データを特徴量に変換するためのフィルタ処理や、正規化処理等が適宜行われるものとする。
推論部１０２におけるＣＮＮに基づく分類器は、正解ラベルと正解画像を対にした教師データを基に学習処理が行われる。正解ラベルとして、ボディマークの種類を示す情報と、プローブの位置を対応付けた情報を設定する。正解ラベルの種類は、例えばボディマークの数にプローブの位置を掛け合わせた数となる。分類器が分類をするラベルのそれぞれをクラスと呼び、分類器による推論を例えばクラス分類という。尚正解ラベルの種類が正解画像の数に比べて多い場合には、データ拡張をしてデータの絶対数を増加させてもよいし、いくつかの正解ラベルを統合した正解ラベルを用いてもよい。
ここで正解画像としては、該正解ラベルに対応するボディマーク上のプローブの位置を撮影範囲として被検体を撮影した超音波画像データを用いる。上述した正解ラベルと正解画像とを対にした教師データをＣＮＮのモデルを学習するために十分な数準備し、学習処理を実行することで機械学習に基づく分類器が作成される。推論部１０２は学習処理によって生成された分類器を用いることで、取得部１０１が取得した処理対象の超音波画像データに対して、ボディマークとボディマーク上のプローブの位置を推論することが可能となる。即ち、推論部１０２における機械学習に基づく分類器は、ボディマークの種類を示す情報を正解ラベルとし、該正解ラベルに対応する撮影範囲が撮影された超音波画像データを正解画像とした教師データを基に学習処理された分類器である。
推論部１０２における分類器の出力は、ＣＮＮを構成するネットワーク層にＳｏｆｔｍａｘ層を設けることで、各正解ラベルに対して尤度を割り当てることができる。即ち、推論部１０２は推論結果を尤度で出力することを特徴とする。尤度はその正解ラベルであると推論される確率（信頼度）であり、分類器によるクラス分類の尤度を足し合わせると１となる。推論部１０２は、超音波画像データに対するクラス分類の結果を尤度で出力し、表示制御部１０３に送信する。
＜表示制御部１０３＞
表示制御部１０３は、推論部１０２から推論結果として、クラスとクラスに割り振られた尤度を取得する。クラスはここでは学習処理時に正解ラベルとして設定をしたボディマークとプローブの位置を対応づけた情報であり、即ち表示制御部１０３は、処理対象の超音波画像データに対応するボディマークとボディマーク上のプローブの位置をクラスとして推論部１０２から取得する。表示制御部１０３は取得したボディマークに対して、推論部１０２によって推論されたプローブ位置に基づいたプローブマークを重畳した重畳画像データを生成し、出力装置１０４に出力させる。即ち情報処理装置１００は超音波画像データを取得する取得部１０１と、取得部１０１が取得した超音波画像データから、該超音波画像データに対応するボディマークと該ボディマークにおけるプローブの位置とを推論する推論部１０２と、推論部１０２によって推論されたボディマークを超音波画像データとともに表示する表示制御部１０３とを有する。
また推論部１０２はさらに取得部１０１が取得した超音波画像データから、ボディマークにおけるプローブの位置を推論し、表示制御部１０３は、推論部１０２によって推論されたボディマークに対して、推論されたプローブ位置に基づくプローブマークを重畳した重畳画像データを表示する。
本実施形態で説明をした構成により、ユーザはボディマークおよびプローブマークの設定をする手間を省きながら、超音波画像データと超音波画像の撮影位置との対応関係を把握することが可能となる。
（ハードウェア構成）
図２は情報処理装置１００におけるハードウェア構成の一例を示す図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、主として各構成要素の動作を制御する。主メモリ２０２は、ＣＰＵ２０１が実行する制御プログラムを格納したり、ＣＰＵ２０１によるプログラム実行時の作業領域を提供したりする。磁気ディスク２０３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３等に格納されているプログラムを実行することにより、図１に示した情報処理装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。
表示メモリ２０４は、表示用データを一時記憶する。モニタ２０５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ２０４からのデータに基づいて画像データやテキスト等の表示を行う。ここでモニタ２０５は情報処理装置１００における出力装置１０４として機能してもよい。マウス２０６及びキーボード２０７は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス２０８により互いに通信可能に接続されている。
ＣＰＵ２０１はプロセッサの一例に相当する。情報処理装置１００は、ＣＰＵ２０１に加えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくともいずれかを有していてもよい。また、ＣＰＵ２０１に代えて、ＧＰＵやＦＰＧＡの少なくともいずれかを有していてもよい。主メモリ２０２、磁気ディスク２０３はメモリの一例に相当する。
（処理手順）
次に、本実施形態における情報処理装置１００の処理手順について、図３のフロー図を用いて説明する。
まずステップＳ３０１において、取得部１０１は、記憶装置７０より処理対象の超音波画像データを取得する。取得部１０１は超音波画像データを取得すると推論部１０２に対して超音波画像データを送信する。
ステップＳ３０２において、推論部１０２は取得部１０１から送信された超音波画像データに対して、ボディマークとボディマーク上のプローブの位置とを推論する。推論部１０２における推論には、機械学習に基づいた分類器を用いる。推論部１０２における分類器は上述した学習処理を行って学習された分類器であり、出力結果として、入力された超音波画像データに対応するボディマークとボディマーク上のプローブの位置（クラス）と、その尤度を出力する。推論部１０２は分類器の出力結果を表示制御部１０３に送信する。
ステップＳ３０３において、表示制御部１０３は、ボディマークとボディマーク上のプローブの位置と、分類器による分類器の尤度を取得する。さらに表示制御部１０３は、ボディマーク上のプローブの位置に基づいてプローブマークをボディマーク上に重畳した重畳画像データを生成する。表示制御部１０３は生成された重畳画像データを出力装置１０４に送信する。尚、表示制御部１０３は、分類器の尤度によってはボディマークを表示せずに、ユーザからの指示を受け付ける旨を表示画面として出力装置１０４に送信してもよい。
ステップＳ３０４において出力装置１０４は、表示制御部１０３から送信された重畳画像データを表示する。よってユーザのボディマークとプローブマークの設定の手間を省きながら超音波画像データと超音波画像データの撮影位置との対応関係を把握することが可能となる。
表示制御部１０３が出力装置１０４に出力させる重畳画像データを含んだ表示画面の例を図４を用いて説明する。
図４は表示制御部１０３によって表示処理される表示画面の例である。図４の表示画面４００は、検査で撮影された超音波画像データを表示する超音波画像データ表示欄４０１を有する。さらに超音波画像データの近傍に重畳画像データを表示する重畳画像データ表示欄４０２がある。重畳画像データ表示欄４０２には推論部１０２によって推論されたボディマークにボディマーク上のプローブ位置を示す情報に基づいたプローブマーク４０３が重畳表示されている。さらに表示画面４００には、推論部１０２が推論した推論結果を表示する推論結果表示欄４０４と、推論部１０２による推論の尤度を示す尤度表示欄４０５とを備える。即ち表示制御部１０３は、重畳画像データと、尤度とを対応づけて表示する。推論結果表示欄４０４には、ボディマークの種類を占めす情報と、プローブの位置として例えばＸＹ座標の始点と終点を示す座標情報によって表現される。プローブの位置は座標情報でなくともユーザが部位を示す名称によって表現されてもよい。尤度表示欄４０５には推論部１０２の尤度を１００分率で示した値が表示される。尚、本表示画面は一例であり例えば尤度が閾値よりも高い場合には、尤度表示を行わなくともよいし、尤度が閾値よりも低い場合には、ユーザからボディマークやプローブマークの設定を受け付けるための表示を行ってもよい。
ここで図５を用いて、情報処理装置１００が超音波診断装置の一機能として動作する場合の構成について説明をする。超音波診断装置は、被検者に接触させ超音波の送受信を行う超音波探触子５０００と、超音波探触子５０００によって受信した超音波信号を処理して超音波画像データを生成し、各種計測を行う装置本体５００１と、装置本体５００１を操作するための操作部５００４と、超音波画像データと計測結果などを出力するモニタ等の出力装置１０４とを備えている。また情報処理装置１００は、超音波診断装置の装置本体５００１の構成の一つとして機能する。
超音波探触子５０００は、装置本体５００１に接続されている。超音波探触子５０００は、複数の振動子を有しており、複数の振動子を駆動することによって、超音波を発生することができる。超音波探触子５０００は、被検者からの反射波を受信して電気信号に変換する。変換された電気信号は、装置本体５００１に伝達される。
また、超音波探触子５０００は、複数の振動子の前面側（被検者側）に設けられ、複数の振動子と被検者の音響インピーダンスを整合させる音響整合層と、複数の振動子の背面側に設けられ、複数の振動子から背面側への超音波の伝播を防止するバッキング材とを備えている。
超音波探触子５０００は、装置本体５００１に対して着脱自在に接続される。超音波探触子５０００の種類には、リニア型、セクタ型、コンベックス型、ラジアル型、３次元走査型などがあり、操作者は、撮影用途に応じて、超音波探触子５０００の種類を選択することができる。
装置本体５００１は、超音波探触子５０００に対して超音波を送受信させる送受信部５００２と、送受信部５００２で受信された超音波信号を用いて、超音波画像データを生成する超音波画像データ生成部１１２と、生成された超音波画像データからボディマークを推論する情報処理装置１００を有する。
送受信部５００２は、超音波探触子５０００が行なう超音波の送受信を制御する。送受信部５００２は、パルス発生部、送信遅延回路等を有し、超音波探触子５０００に駆動信号を供給する。パルス発生部は、所定の繰り返し周波数（ＰＲＦ）のレートパルスを繰り返し発生させる。また、送信遅延回路は、超音波探触子５０００から発生される超音波を集束し、送信指向性を決定するための遅延時間を、パルス発生部が発生するレートパルスに与える。送信遅延回路は、レートパルスに対し与える遅延時間を変化させることで、振動子から送信される超音波の送信方向を制御することができる。
また、送受信部５００２は、アンプ、Ａ／Ｄ変換部、受信遅延回路、加算部等を有している。超音波探触子５０００が受信した反射波信号に対して各種処理を行って超音波信号を生成する。アンプは、反射波信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換部は、ゲイン補正された反射波信号をＡ／Ｄ変換する。受信遅延回路は、デジタルデータに受信指向性を決定するために遅延時間を与える。加算部は、受信遅延回路により遅延時間が与えられた反射波信号の加算処理を行う。加算部の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
送受信部５００２は、被検者を２次元走査する場合、超音波探触子５０００から２次元の超音波を送信させる。そして、送受信部５００２は、超音波探触子５０００が受信した２次元の反射波信号から２次元の超音波信号を生成する。また、送受信部５００２は、被検者を３次元走査する場合、超音波探触子５０００から３次元の超音波を送信させる。そして、送受信部５００２は、超音波探触子５０００が受信した３次元の反射波信号から３次元の超音波信号を生成する。
超音波画像データ生成部５００３は、送受信部１１０から出力された超音波信号に対して、各種の信号処理を行ない、超音波画像データを生成する。超音波画像データ生成部１１２は、超音波信号に対して、検波処理、対数圧縮などの信号処理を行なって、信号強度が輝度の明るさで表現される超音波画像データ（Ｂモード画像データ）を生成する。
情報処理装置１００は、超音波画像データ生成部５００３によって生成された超音波画像データに対して上述の処理を実行する。
操作部５００４は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有する。操作部１０４は、超音波診断装置の操作者からの各種指示を受け付け、装置本体１０２に対して、受け付けた各種指示を伝達する。
出力装置１０４は、超音波診断装置の操作者が操作部５００４を用いて各種指示を入力するためのＧＵＩを表示したり、装置本体５００１において生成された超音波画像データを表示したり情報処理装置１００によって生成された表示画面を表示したりする。
超音波診断装置の構成の一つとして情報処理装置１００が機能することで、ユーザは超音波診断装置を用いながら、情報処理装置１００の処理を実施し、結果を表示・確認することができる。よって超音波診断装置においてもユーザによってボディマークおよびプローブマークの設定をする手間を省きながら、超音波画像データと超音波画像の撮影位置との対応関係を把握することが可能となる。
＜第二の実施形態＞
第一の実施形態では取得部１０１が取得する情報が超音波画像データであって、該超音波画像データに対する処理について説明を行った。本実施形態においては、図６を用いて、取得部５０１が超音波画像データだけでなく、超音波プローブの種類や、ユーザによって入力された情報を取得する場合の実施形態について説明を行う。さらに本形態では、推論部５０３が複数の分類器から構成されるものとして説明をする。即ち、推論部５０３は複数の分類器から構成されることを特徴とする。また取得部５０１が取得した情報を基に該複数の分類器からボディマークとボディマーク上のプローブの位置を推論する分類器を選択する選択部５０２を有する。以下、第二の実施形態に係る情報処理装置１００の各構成について説明をする。
＜取得部５０１＞
取得部５０１は、記憶装置７０から超音波画像データとさらに超音波画像データを撮影する際に用いた超音波プローブの種類の情報を取得する。超音波プローブの種類としては例えばコンベックス型やセクタ型、リニア型がある。ここで取得部５０１はユーザからの例えばマウス２０６やキーボード２０７から超音波プローブの情報や診断領域の入力を受け付けてもよい。取得部５０１は取得した超音波プローブの情報や診断領域の情報を選択部５０２に送信する。また推論部５０３に対して超音波画像データを送信する。
＜選択部５０２＞
選択部５０２は、取得部５０１から送信された情報が超音波プローブの種類を示す情報であった場合には、超音波プローブの種類ごとに診断領域の候補を記憶したテーブルと比較をすることで診断領域の候補を取得する。一方で、取得した情報が診断領域の情報であった場合には、当該診断領域の情報を診断領域候補として取得する。選択部５０２は取得した診断領域候補に基づいて、取得部５０１が取得した超音波画像データに対して推論を行う分類器を推論部５０３の中から選択する。
＜推論部５０３＞
推論部５０３は、選択部５０２によって選択された分類器を用いて超音波画像データからボディマークと、ボディマーク上のプローブの位置を推論する。ここで、例えば推論部５０３を構成する複数の分類器は、それぞれが診断領域ごとの教師データを学習した分類器である。診断領域ごとの学習処理とは例えば、腹部領域に対応するボディマークと、該ボディマーク上のプローブの位置とを対応付けた情報を正解ラベルとし、腹部領域に対応するボディマーク上のプローブの位置に対応する診断領域を撮影した超音波画像データを正解画像とした教師データを学習することによって、腹部領域を分類することに適した分類器が生成できる。他の診断領域においても同様の方法によって学習処理を行った分類器が設けられるものとする。診断領域に応じた分類器を複数有することで、例えばＣＮＮのモデル構造の簡素化や、教師データ数の削減、学習や推論の処理時間の削減が期待される。また、あらかじめ診断対象を絞り込むことで、異なる診断領域の画像データ間が似た画像データ特徴量を有していた場合においても一定の精度が得られる。推論部５０３は、分類器を用いて推論したボディマークと、ボディマーク上のプローブ位置とを示す情報を表示制御部１０４に送信する。
＜表示制御部５０４＞
表示制御部５０４が行う処理は、第一の実施形態で示した表示制御部１０４の処理に加えてさらに、推論を行った分類器の情報を出力装置１０５に出力させる。表示制御部５０４が表示させる表示画面については後述する。即ち情報処理装置１００において取得部５０１はさらにプローブの種類を取得し、取得したプローブの種類によって推論部５０３を構成する複数の分類器から推論を行う分類器を選択する選択部５０２をさらに有し、推論部５０３は選択部５０２によって選択された分類器を用いて超音波画像データから超音波画像データに対応するボディマークと、該ボディマークにおけるプローブの位置とを推論することを特徴とする。
ここで図７を用いて第二の実施形態に係る情報処理装置１００の処理についてフローチャートを用いて説明する。ステップＳ６０１において取得部５０１は記憶装置７０から超音波画像データと他の情報を取得する。他の情報とは超音波画像を撮影する際に用いた超音波プローブの種類を示す情報や、ユーザによって入力された診断領域を示す情報である。取得部５０１は取得した超音波画像データは推論部５０３に送信し、他の情報は選択部５０２に送信をする。
ステップＳ６０２において選択部５０２は取得した他の情報に診断領域を示す情報もしくはプローブの種類を示す情報があるかを判定する。選択部５０２は、取得部５０１から送信された他の情報に診断領域を示す情報もしくはプローブの種類を示す情報がない場合は、第一の実施形態で説明したフローにて推論と推論結果の表示を行う。選択部５０２は取得部５０１によって送信された情報にプローブの種類を示す情報が含まれていた場合には、ステップＳ６０３に進み、超音波プローブの種類ごとに診断領域の候補を記憶したテーブルと比較をすることで診断領域の候補を取得し、ステップＳ６０４に進む。一方で、取得部５０１から送信された他の情報に診断領域を示す情報が含まれていた場合には、選択部５０２は診断領域の情報から診断領域の候補を取得し、ステップＳ６０４に進む。ステップＳ６０４において選択部５０２は取得した領域候補に基づいて、推論部５０３を構成する複数の分類器から、超音波画像データを推論する分類器を選択する。選択部５０２が超音波画像データに対して推論を行う分類器を選択すると、ステップＳ６０５に移る。ステップＳ６０５において、推論部５０３は選択部５０２によって選択された分類器を用いて、取得部５０１から送信された超音波画像データを推論する。分類器は第一の実施形態で説明したようにボディマークとボディマーク上のプローブの位置を推論する。推論部５０３は推論結果と共に、推論を行った分類器の情報を表示制御部５０４に送信する。
ステップ６０６において、表示制御部５０４は、推論部５０３から推論結果と、推論を行った分類器の情報を取得する。表示制御部５０４は第一の実施形態と同様にボディマークに対して、ボディマーク上のプローブの位置に基づいたプローブマークを重畳表示した重畳画像データを生成する。ステップＳ６０７において、表示制御部５０４は、生成した重畳画像データと、さらに推論した分類を示す情報を含む情報を表示画面として出力装置１０５に表示させる。
以下、図８を用いて表示制御部５０４が表示させる表示画面７００について説明する。ここでは、図４で説明した表示画面４００との差異についてのみ述べる。表示画面７００には、図４の表示画面４００の表示欄に加えてさらに、推論を行った分類器の情報を表示する分類器情報表示欄７０１が表示される。
本実施形態によって、ユーザのボディマークおよびプローブマークの設定の手間を省きながら、超音波画像データと超音波画像データの撮影位置との対応関係を把握することが可能となる。診断領域に応じた分類器を複数有することで、例えばＣＮＮのモデル構造の簡素化や、教師データ数の削減、学習や推論の処理時間の削減が期待される。また、診断領域の情報やプローブの種類を示す情報を取得して、あらかじめ診断対象を絞り込むことで異なる診断領域の画像データ間が類似する画像データ特徴量を有していた場合においても一定の精度が得られ、表示される内容の精度が高くなる。
＜変形例＞
ここでは、変形例として情報処理装置１００が、推論部１０２の推論結果を判定する判定部８０１を有する場合について説明をする。尚、本変形例は実施形態１や実施形態２のいずれにも適用可能であり、上述の実施形態に適宜本構成が組み合わされてもよい。
本変形例の機能構成図である図９を用いて本変形例について説明をする。本変形例に係る情報処理装置１００は、超音波画像データを取得する取得部１０１と、超音波画像データからボディマークおよびプローブマークの位置を推論する推論部１０２と、さらに推論部１０２による推論結果を判定する判定部８０１を有する。また判定部８０１の判定結果に基づいた表示を行う表示制御部８０２を有する。以下、上述までの実施形態との差異のある構成について説明を行い、重複部分については適宜説明を省略するものとする。
＜判定部８０１＞
判定部８０１は推論部１０２において分類器が分類した推論の結果を取得する。判定部８０１は取得した推論結果におけるクラス分類の尤度を所定の基準と比較をし、尤度が所定の基準を満たしている場合には、第１の実施形態や第２の実施形態において表示画面例として説明をしたように表示画面を表示する。一方で、推論部１０２より取得した尤度が所定の基準を満たしてない場合には、判定部８０１は推論結果を構成する複数のクラスとクラスに対応する尤度とを表示制御部８０２に送信する。ここで、所定の基準とは例えばクラスに対応する尤度に対する閾値である。クラスに対応する尤度は、推論部１０２を構成する分類器の分類に対する信頼度を確率で示した値であり、例えばクラスに対応する尤度が低いことは信頼度が低いことを指す。故に、クラスに対応する尤度に対して閾値を設けることで信頼度が低いクラスを省いた推論結果を取得することができる。さらに判定部８０１が判定に用いる所定の基準として推論結果を構成する複数のクラス間のクラスに対応する尤度を比較することが考えられる。分類器が分類をした結果、クラス間のクラスに対応する尤度の差が小さい場合には、分類器にとって推論対象となった超音波画像データに対する分類が困難であることを示す。即ち、判定部８０１は、推論結果を構成するクラスに対応する尤度および、複数のクラスに対応する尤度の差の少なくとも一方が所定の基準を満たすかを判定する。
ここで例示したような所定の基準を設けて、判定部８０１は推論部１０２による推論結果であるクラスに対応する尤度を所定の基準と比較する。クラスに対応する尤度が所定の基準を満たさない場合には、判定部８０１は、クラス（ボディマークおよびプローブマークの位置）とクラスに対応する尤度を示す情報を表示制御部８０２に送信する。
＜表示制御部８０２＞
表示制御部８０２は、判定部８０１より送信されたクラスとクラスに対応する尤度を取得し、出力装置１０４に表示させる表示画面を生成する。表示制御部８０２が表示処理する表示画面の例については後述する。ここで、表示制御部８０２は、判定部８０１によって所定の基準を満たさなかった推論結果を構成する複数のクラスとクラスに対応する尤度のそれぞれから重畳画像データを生成し、表示処理を行う。故に、判定部８０１による判定結果に応じて、表示する表示画像データの数を異ならせる。即ち表示制御部８０２は、判定結果に応じて表示をする重畳画像データの数を異ならせて表示をする。また表示制御部８０２は数以外にも、尤度に応じて表示のサイズや色、明滅等を異ならせて表示をしてもよい。例えば、尤度が拮抗するクラスのそれぞれに対して重畳画像データを生成し、表示画面として出力装置１０４に表示をさせる。
本構成によって、推論部１０２を構成する分類器による推論結果が所定の基準を満たさない場合においても、超音波画像データと、超音波画像の撮影位置との対応関係を把握するための重畳画像データの候補を提示することができる。さらにユーザは当該候補から、マウス２０６やキーボード２０７等を用いて撮影位置を示す重畳画像データを選択することで、撮影位置の把握をするための重畳画像データを候補から確定することができる。
以下、図１０のフローチャートを用いて本変形例の情報処理装置１００が行う処理について説明をする。ステップＳ９０１において判定部８０１は、推論部１０２から推論結果としてクラスとクラスに対応する尤度を取得する。ここでクラスとは推論部１０２の推論対象であるボディマークおよびプローブの位置に対応する。ステップＳ９０１において判定部８０１は取得したクラスに対応する尤度と所定の基準とを比較し、推論結果の尤度が所定の基準を満たす場合にはステップＳ３０３の処理へと進む。所定の基準は上述したような閾値や、クラスに対応する尤度間の差である。判定部８０１は、クラスに対応する尤度が所定の基準を満たさない場合には、クラスとクラスに対応する尤度を示す情報を表示制御部８０２に送信をする。
ステップＳ９０２において、表示制御部８０２は判定部８０１からクラスとクラスに対応する尤度とを取得する。表示制御部８０２は、判定部８０１より取得したクラスのそれぞれに対応する重畳画像データを生成し、表示画面として表示させる。ここで表示制御部８０２は、判定部８０１の判定結果に基づいて出力装置１０４に出力する表示画面を決定する。表示制御部８０２が表示させる表示画面の例について図１１を用いて説明する。
図１１は、表示制御部８０２によって出力装置１０４に表示される表示画面１０００の例である。表示制御部８０２は、取得したクラスのそれぞれに対応する重畳画像データが表示される重畳画像データ表示欄１００２、１００４がある。また重畳画像データのそれぞれに対応するプローブマーク１００３とプローブマーク１００５が表示されている。本表示画面１０００では、尤度がそれぞれ５０％であり、クラス間の差が所定の基準を満たさなかったクラス（左側頭部および背中を示すボディマークおよびプローブマークの位置）が取得・表示されている。故に推論結果表示欄１００６には、背中のボディマークおよびプローブマークの位置に対応する推論結果が表示され、該推論の尤度を示す尤度表示欄１００７が表示されている。本構成によって、情報処理装置１００は推論部１０２を構成する分類器の分類結果が所定の基準を満たさない場合においても、超音波画像データと、超音波画像データの撮影位置との対応関係を把握するための候補の情報を提示することができる。さらにユーザは当該候補から、マウス２０６やキーボード２０７等を通して撮影位置を示す重畳画像データを選択することで、撮影位置の把握を候補から確定することができる。
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
７０ 記憶装置
１００ 情報処理装置
１０１ 取得部
１０２ 推論部
１０３ 表示制御部
１０４ 出力装置

Claims (14)

  1. 超音波画像データを取得する取得部と、
    ボディマークの種類を示す情報を正解ラベルとし、該正解ラベルに対応する撮影範囲が撮影された超音波画像データを正解画像とした教師データを基に学習処理された分類器を用いて、前記取得部が取得した超音波画像データから、該超音波画像データに対応するボディマークを推論する推論部と、
    前記推論部によって推論されたボディマークを前記超音波画像データとともに表示する表示制御部とを有することを特徴とする情報処理装置。
  2. 前記推論部は、さらに前記取得部が取得した超音波画像データから前記ボディマークにおけるプローブの位置を推論し、
    前記表示制御部は、前記推論部によって推論された前記ボディマークに対して、推論された前記プローブの位置に基づくプローブマークを重畳した重畳画像データを表示することを特徴とする請求項１に記載の情報処理装置。
  3. 前記推論部は、推論結果を尤度で出力することを特徴とする請求項１または２に記載の情報処理装置。
  4. 前記推論部は、複数の分類器から構成されることを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 前記取得部はさらにプローブの種類を取得し、
    前記取得部が取得したプローブの種類によって前記推論部を構成する複数の分類器から、推論を行う分類器を選択する選択部をさらに有し、
    前記推論部は、前記選択部によって選択された分類器を用いて前記超音波画像データから該超音波画像データに対応するボディマークを推論することを特徴とする請求項４に記載の情報処理装置。
  6. 前記表示制御部は、前記重畳画像データと、前記分類器から出力された尤度とを対応付けて表示することを特徴とする請求項２に記載の情報処理装置。
  7. 前記推論部による推論結果が所定の基準を満たすかを判定する判定部をさらに有し、
    前記表示制御部は、前記判定部の判定結果に基づいた表示を行うことを特徴とする請求項３に記載の情報処理装置。
  8. 前記判定部は、前記推論結果を構成するクラスに対応する尤度および、複数のクラスに対応する尤度の差のすくなくとも一方が所定の基準を満たすかを判定することを特徴とする請求項７に記載の情報処理装置。
  9. 前記表示制御部は、前記判定部による判定結果に応じて表示をする重畳画像データの数を異ならせて表示をすることを特徴とする請求項８に記載の情報処理装置。
  10. 超音波画像データを取得する取得ステップと、
    ボディマークの種類を示す情報を正解ラベルとし、該正解ラベルに対応する撮影範囲が撮影された超音波画像データを正解画像とした教師データを基に学習処理された分類器を用いて、前記取得ステップで取得した超音波画像データから、該超音波画像データに対応するボディマークを推論する推論ステップと、
    前記推論ステップで推論されたボディマークを前記超音波画像データとともに表示する表示制御ステップと、
    を有することを特徴とする情報処理方法。
  11. 前記推論ステップは、さらに前記取得ステップで取得した超音波画像データから前記ボディマークにおけるプローブの位置を推論し、
    前記表示制御ステップは、前記推論ステップにおいて推論された前記ボディマークに対して、推論された前記プローブの位置に基づくプローブマークを重畳した重畳画像データを表示することを特徴とする請求項１０に記載の情報処理方法。
  12. 請求項１０または１１に記載の情報処理方法をコンピュータに実行させるためのプログラム。
  13. 超音波画像データを取得する取得部と、
    ボディマークの種類を示す情報を正解ラベルとし、該正解ラベルに対応する撮影範囲が撮影された超音波画像データを正解画像とした教師データを基に学習処理された分類器を用いて、前記取得部が取得した超音波画像データから、該超音波画像データに対応するボディマークを推論する推論部と、
    前記推論部によって推論されたボディマークを前記超音波画像データとともに表示する表示制御部とを有することを特徴とする超音波診断装置。
  14. 前記推論部は、さらに前記取得部が取得した超音波画像データから前記ボディマークにおけるプローブの位置を推論し、
    前記表示制御部は、前記推論部によって推論された前記ボディマークに対して、推論された前記プローブの位置に基づくプローブマークを重畳した重畳画像データを表示することを特徴とする請求項１３に記載の超音波診断装置。
JP2020055973A 2020-03-26 2020-03-26 情報処理装置、情報処理方法、プログラムおよび超音波診断装置 Active JP7427497B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020055973A JP7427497B2 (ja) 2020-03-26 2020-03-26 情報処理装置、情報処理方法、プログラムおよび超音波診断装置
US17/208,934 US11723628B2 (en) 2020-03-26 2021-03-22 Information processing apparatus, information processing method, non-transitory computer readable storage medium, and ultrasonic diagnosis apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020055973A JP7427497B2 (ja) 2020-03-26 2020-03-26 情報処理装置、情報処理方法、プログラムおよび超音波診断装置

Publications (2)

Publication Number Publication Date
JP2021153774A JP2021153774A (ja) 2021-10-07
JP7427497B2 true JP7427497B2 (ja) 2024-02-05

Family

ID=77856780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020055973A Active JP7427497B2 (ja) 2020-03-26 2020-03-26 情報処理装置、情報処理方法、プログラムおよび超音波診断装置

Country Status (2)

Country Link
US (1) US11723628B2 (ja)
JP (1) JP7427497B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023060767A (ja) * 2021-10-18 2023-04-28 ジーイー・プレシジョン・ヘルスケア・エルエルシー 超音波画像表示システムおよび表示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007530160A (ja) 2004-03-23 2007-11-01 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 医用画像のための自動決定支援を提供するシステムおよび方法
US20120108962A1 (en) 2010-11-02 2012-05-03 Samsung Medison Co., Ltd. Providing a body mark in an ultrasound system
JP2014124309A (ja) 2012-12-26 2014-07-07 Toshiba Corp 超音波診断装置
US20180360427A1 (en) 2017-06-14 2018-12-20 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and medical image processing apparatus

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4894662A (en) * 1982-03-01 1990-01-16 Western Atlas International, Inc. Method and system for determining position on a moving platform, such as a ship, using signals from GPS satellites
US4870422A (en) * 1982-03-01 1989-09-26 Western Atlas International, Inc. Method and system for determining position from signals from satellites
JPS63317140A (ja) * 1987-06-19 1988-12-26 Toshiba Corp 超音波診断装置
EA005472B1 (ru) * 2001-02-12 2005-02-24 Ай Си О СЕРВИСИЗ ЛИМИТЕД Устройство и способ связи
US6642900B2 (en) * 2001-09-21 2003-11-04 The Boeing Company High radiation efficient dual band feed horn
CN1750527A (zh) * 2004-09-17 2006-03-22 上海无线通信研究中心 一种正交频分复用系统中的信号均衡方法
US7634229B2 (en) * 2005-03-15 2009-12-15 Atc Technologies, Llc Intra-system and/or inter-system reuse of feeder link frequencies including interference suppression systems and methods
US9084556B2 (en) * 2006-01-19 2015-07-21 Toshiba Medical Systems Corporation Apparatus for indicating locus of an ultrasonic probe, ultrasonic diagnostic apparatus
US8279745B2 (en) * 2009-11-23 2012-10-02 Telefonaktiebolaget L M Ericsson (Publ) Orthogonal vector DSL
WO2012016056A1 (en) * 2010-07-29 2012-02-02 Entropic Communications, Inc. Method and apparatus for cross polarization and cross satellite interference cancellation
JP5950619B2 (ja) * 2011-04-06 2016-07-13 キヤノン株式会社 情報処理装置
US9687204B2 (en) * 2011-05-20 2017-06-27 Siemens Healthcare Gmbh Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images
JP6012288B2 (ja) 2012-06-27 2016-10-25 株式会社日立製作所 超音波診断装置
KR101566198B1 (ko) * 2013-06-28 2015-11-05 삼성전자주식회사 초음파 진단 장치의 디스플레이 이동 방법 및 초음파 진단 장치
JP6200249B2 (ja) * 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
US9698492B2 (en) * 2015-01-28 2017-07-04 Northrop Grumman Systems Corporation Low-cost diplexed multiple beam integrated antenna system for LEO satellite constellation
JP6507047B2 (ja) * 2015-02-10 2019-04-24 日本放送協会 送信装置、受信装置、及び半導体チップ
US9538538B2 (en) * 2015-03-20 2017-01-03 Qualcomm Incorporated Satellite beam power backoff
US10616768B2 (en) * 2016-06-05 2020-04-07 Iridium Satellite Llc Wireless communication with interference mitigation
US11219427B2 (en) * 2016-06-07 2022-01-11 Koninklijke Philips N.V. Ultrasound system and method for breast tissue imaging and annotation of breast ultrasound images
JP7145107B2 (ja) * 2019-03-11 2022-09-30 富士フイルムヘルスケア株式会社 超音波診断装置及び表示方法
WO2020185455A2 (en) * 2019-03-13 2020-09-17 University Of Rochester Automated ultrasound assessment of tendon healing and analysis/utilization of results using artificial intelligence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007530160A (ja) 2004-03-23 2007-11-01 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 医用画像のための自動決定支援を提供するシステムおよび方法
US20120108962A1 (en) 2010-11-02 2012-05-03 Samsung Medison Co., Ltd. Providing a body mark in an ultrasound system
JP2014124309A (ja) 2012-12-26 2014-07-07 Toshiba Corp 超音波診断装置
US20180360427A1 (en) 2017-06-14 2018-12-20 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and medical image processing apparatus
JP2019000315A (ja) 2017-06-14 2019-01-10 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び医用画像処理装置

Also Published As

Publication number Publication date
US20210303917A1 (en) 2021-09-30
JP2021153774A (ja) 2021-10-07
US11723628B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
US11116475B2 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
US11666310B2 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus using predetermined imaging conditions for B-mode image generation
US20200178933A1 (en) Acoustic wave diagnostic apparatus and control method of acoustic wave diagnostic apparatus
US11593933B2 (en) Systems and methods for ultrasound image quality determination
US11432806B2 (en) Information processing apparatus, information processing method, and storage medium
US20150126867A1 (en) Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method
US20210161510A1 (en) Ultrasonic diagnostic apparatus, medical imaging apparatus, training device, ultrasonic image display method, and storage medium
JP5016911B2 (ja) 超音波診断装置
JP2023160986A (ja) 超音波診断装置及び解析装置
JP7427497B2 (ja) 情報処理装置、情報処理方法、プログラムおよび超音波診断装置
US20200383662A1 (en) Ultrasonic diagnostic apparatus, control method for ultrasonic diagnostic apparatus, and control program for ultrasonic diagnostic apparatus
JP2020178989A (ja) 超音波診断装置及び解析装置
US11786209B2 (en) Ultrasonic diagnostic apparatus and image processing apparatus
US20210137501A1 (en) Ultrasound diagnostic apparatus and examination method
JP4960013B2 (ja) 超音波診断装置およびその画像処理プログラム
JP2012143356A (ja) 超音波診断装置及びプログラム
JP2019063483A (ja) 解析装置
EP4360564A1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
US20220079553A1 (en) Ultrasound diagnosis apparatus, measurement condition setting method, and non-transitory computer-readable storage medium
US20230225710A1 (en) Ultrasonic diagnostic apparatus and image processing apparatus
US20230274430A1 (en) Information processing apparatus, information processing method, and program
US20230371930A1 (en) Ultrasonic diagnostic apparatus
US20230263505A1 (en) Information processing apparatus, information processing method, and program
US20220370045A1 (en) Image generation device, image generation method, and program
US20230196580A1 (en) Ultrasound diagnostic apparatus and ultrasound image processing method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20200616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231212

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240124

R151 Written notification of patent or utility model registration

Ref document number: 7427497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151