JP7427497B2 - 情報処理装置、情報処理方法、プログラムおよび超音波診断装置 - Google Patents
情報処理装置、情報処理方法、プログラムおよび超音波診断装置 Download PDFInfo
- Publication number
- JP7427497B2 JP7427497B2 JP2020055973A JP2020055973A JP7427497B2 JP 7427497 B2 JP7427497 B2 JP 7427497B2 JP 2020055973 A JP2020055973 A JP 2020055973A JP 2020055973 A JP2020055973 A JP 2020055973A JP 7427497 B2 JP7427497 B2 JP 7427497B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- inference
- unit
- ultrasound image
- probe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002604 ultrasonography Methods 0.000 title claims description 145
- 230000010365 information processing Effects 0.000 title claims description 56
- 238000003672 processing method Methods 0.000 title claims description 5
- 239000000523 sample Substances 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Physiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
以下では図1を用いて本発明の機能構成について説明する。ここで、情報処理装置100は、超音波診断装置を用いて撮影された超音波画像データを対象にボディマークおよび、ボディマーク上のプローブの位置の推論・表示を行うものとして説明をする。尚、情報処理装置100の各構成は独立の装置から構成されてもよいし、超音波診断装置の一機能として構成されてもよい。超音波診断装置の一機能として情報処理装置100が構成される場合については図5を用いて後述する。また本構成または、本構成の一部がネットワークを介したクラウド上で実現されてもよい。
情報処理装置100における取得部101は、記憶装置70から処理対象となる超音波画像データを取得する。取得部101は処理対象の超音波画像データを取得すると、推論部102に処理対象の超音波画像データを送信する。
情報処理装置100における推論部102は、取得部101が取得・送信した超音波画像データを対象にボディマーク及びボディマーク上のプローブの位置を推論する。推論部102は、例えばボディマーク及びボディマーク上のプローブの位置を機械学習に基づいた分類器を用いて推論する。
表示制御部103は、推論部102から推論結果として、クラスとクラスに割り振られた尤度を取得する。クラスはここでは学習処理時に正解ラベルとして設定をしたボディマークとプローブの位置を対応づけた情報であり、即ち表示制御部103は、処理対象の超音波画像データに対応するボディマークとボディマーク上のプローブの位置をクラスとして推論部102から取得する。表示制御部103は取得したボディマークに対して、推論部102によって推論されたプローブ位置に基づいたプローブマークを重畳した重畳画像データを生成し、出力装置104に出力させる。即ち情報処理装置100は超音波画像データを取得する取得部101と、取得部101が取得した超音波画像データから、該超音波画像データに対応するボディマークと該ボディマークにおけるプローブの位置とを推論する推論部102と、推論部102によって推論されたボディマークを超音波画像データとともに表示する表示制御部103とを有する。
図2は情報処理装置100におけるハードウェア構成の一例を示す図である。CPU(Central Processing Unit)201は、主として各構成要素の動作を制御する。主メモリ202は、CPU201が実行する制御プログラムを格納したり、CPU201によるプログラム実行時の作業領域を提供したりする。磁気ディスク203は、OS(Operating System)、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。CPU201が主メモリ202、磁気ディスク203等に格納されているプログラムを実行することにより、図1に示した情報処理装置100の機能(ソフトウェア)及び後述するフローチャートにおける処理が実現される。
次に、本実施形態における情報処理装置100の処理手順について、図3のフロー図を用いて説明する。
第一の実施形態では取得部101が取得する情報が超音波画像データであって、該超音波画像データに対する処理について説明を行った。本実施形態においては、図6を用いて、取得部501が超音波画像データだけでなく、超音波プローブの種類や、ユーザによって入力された情報を取得する場合の実施形態について説明を行う。さらに本形態では、推論部503が複数の分類器から構成されるものとして説明をする。即ち、推論部503は複数の分類器から構成されることを特徴とする。また取得部501が取得した情報を基に該複数の分類器からボディマークとボディマーク上のプローブの位置を推論する分類器を選択する選択部502を有する。以下、第二の実施形態に係る情報処理装置100の各構成について説明をする。
取得部501は、記憶装置70から超音波画像データとさらに超音波画像データを撮影する際に用いた超音波プローブの種類の情報を取得する。超音波プローブの種類としては例えばコンベックス型やセクタ型、リニア型がある。ここで取得部501はユーザからの例えばマウス206やキーボード207から超音波プローブの情報や診断領域の入力を受け付けてもよい。取得部501は取得した超音波プローブの情報や診断領域の情報を選択部502に送信する。また推論部503に対して超音波画像データを送信する。
選択部502は、取得部501から送信された情報が超音波プローブの種類を示す情報であった場合には、超音波プローブの種類ごとに診断領域の候補を記憶したテーブルと比較をすることで診断領域の候補を取得する。一方で、取得した情報が診断領域の情報であった場合には、当該診断領域の情報を診断領域候補として取得する。選択部502は取得した診断領域候補に基づいて、取得部501が取得した超音波画像データに対して推論を行う分類器を推論部503の中から選択する。
推論部503は、選択部502によって選択された分類器を用いて超音波画像データからボディマークと、ボディマーク上のプローブの位置を推論する。ここで、例えば推論部503を構成する複数の分類器は、それぞれが診断領域ごとの教師データを学習した分類器である。診断領域ごとの学習処理とは例えば、腹部領域に対応するボディマークと、該ボディマーク上のプローブの位置とを対応付けた情報を正解ラベルとし、腹部領域に対応するボディマーク上のプローブの位置に対応する診断領域を撮影した超音波画像データを正解画像とした教師データを学習することによって、腹部領域を分類することに適した分類器が生成できる。他の診断領域においても同様の方法によって学習処理を行った分類器が設けられるものとする。診断領域に応じた分類器を複数有することで、例えばCNNのモデル構造の簡素化や、教師データ数の削減、学習や推論の処理時間の削減が期待される。また、あらかじめ診断対象を絞り込むことで、異なる診断領域の画像データ間が似た画像データ特徴量を有していた場合においても一定の精度が得られる。推論部503は、分類器を用いて推論したボディマークと、ボディマーク上のプローブ位置とを示す情報を表示制御部104に送信する。
表示制御部504が行う処理は、第一の実施形態で示した表示制御部104の処理に加えてさらに、推論を行った分類器の情報を出力装置105に出力させる。表示制御部504が表示させる表示画面については後述する。即ち情報処理装置100において取得部501はさらにプローブの種類を取得し、取得したプローブの種類によって推論部503を構成する複数の分類器から推論を行う分類器を選択する選択部502をさらに有し、推論部503は選択部502によって選択された分類器を用いて超音波画像データから超音波画像データに対応するボディマークと、該ボディマークにおけるプローブの位置とを推論することを特徴とする。
ここでは、変形例として情報処理装置100が、推論部102の推論結果を判定する判定部801を有する場合について説明をする。尚、本変形例は実施形態1や実施形態2のいずれにも適用可能であり、上述の実施形態に適宜本構成が組み合わされてもよい。
判定部801は推論部102において分類器が分類した推論の結果を取得する。判定部801は取得した推論結果におけるクラス分類の尤度を所定の基準と比較をし、尤度が所定の基準を満たしている場合には、第1の実施形態や第2の実施形態において表示画面例として説明をしたように表示画面を表示する。一方で、推論部102より取得した尤度が所定の基準を満たしてない場合には、判定部801は推論結果を構成する複数のクラスとクラスに対応する尤度とを表示制御部802に送信する。ここで、所定の基準とは例えばクラスに対応する尤度に対する閾値である。クラスに対応する尤度は、推論部102を構成する分類器の分類に対する信頼度を確率で示した値であり、例えばクラスに対応する尤度が低いことは信頼度が低いことを指す。故に、クラスに対応する尤度に対して閾値を設けることで信頼度が低いクラスを省いた推論結果を取得することができる。さらに判定部801が判定に用いる所定の基準として推論結果を構成する複数のクラス間のクラスに対応する尤度を比較することが考えられる。分類器が分類をした結果、クラス間のクラスに対応する尤度の差が小さい場合には、分類器にとって推論対象となった超音波画像データに対する分類が困難であることを示す。即ち、判定部801は、推論結果を構成するクラスに対応する尤度および、複数のクラスに対応する尤度の差の少なくとも一方が所定の基準を満たすかを判定する。
表示制御部802は、判定部801より送信されたクラスとクラスに対応する尤度を取得し、出力装置104に表示させる表示画面を生成する。表示制御部802が表示処理する表示画面の例については後述する。ここで、表示制御部802は、判定部801によって所定の基準を満たさなかった推論結果を構成する複数のクラスとクラスに対応する尤度のそれぞれから重畳画像データを生成し、表示処理を行う。故に、判定部801による判定結果に応じて、表示する表示画像データの数を異ならせる。即ち表示制御部802は、判定結果に応じて表示をする重畳画像データの数を異ならせて表示をする。また表示制御部802は数以外にも、尤度に応じて表示のサイズや色、明滅等を異ならせて表示をしてもよい。例えば、尤度が拮抗するクラスのそれぞれに対して重畳画像データを生成し、表示画面として出力装置104に表示をさせる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100 情報処理装置
101 取得部
102 推論部
103 表示制御部
104 出力装置
Claims (14)
- 超音波画像データを取得する取得部と、
ボディマークの種類を示す情報を正解ラベルとし、該正解ラベルに対応する撮影範囲が撮影された超音波画像データを正解画像とした教師データを基に学習処理された分類器を用いて、前記取得部が取得した超音波画像データから、該超音波画像データに対応するボディマークを推論する推論部と、
前記推論部によって推論されたボディマークを前記超音波画像データとともに表示する表示制御部とを有することを特徴とする情報処理装置。 - 前記推論部は、さらに前記取得部が取得した超音波画像データから前記ボディマークにおけるプローブの位置を推論し、
前記表示制御部は、前記推論部によって推論された前記ボディマークに対して、推論された前記プローブの位置に基づくプローブマークを重畳した重畳画像データを表示することを特徴とする請求項1に記載の情報処理装置。 - 前記推論部は、推論結果を尤度で出力することを特徴とする請求項1または2に記載の情報処理装置。
- 前記推論部は、複数の分類器から構成されることを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。
- 前記取得部はさらにプローブの種類を取得し、
前記取得部が取得したプローブの種類によって前記推論部を構成する複数の分類器から、推論を行う分類器を選択する選択部をさらに有し、
前記推論部は、前記選択部によって選択された分類器を用いて前記超音波画像データから該超音波画像データに対応するボディマークを推論することを特徴とする請求項4に記載の情報処理装置。 - 前記表示制御部は、前記重畳画像データと、前記分類器から出力された尤度とを対応付けて表示することを特徴とする請求項2に記載の情報処理装置。
- 前記推論部による推論結果が所定の基準を満たすかを判定する判定部をさらに有し、
前記表示制御部は、前記判定部の判定結果に基づいた表示を行うことを特徴とする請求項3に記載の情報処理装置。 - 前記判定部は、前記推論結果を構成するクラスに対応する尤度および、複数のクラスに対応する尤度の差のすくなくとも一方が所定の基準を満たすかを判定することを特徴とする請求項7に記載の情報処理装置。
- 前記表示制御部は、前記判定部による判定結果に応じて表示をする重畳画像データの数を異ならせて表示をすることを特徴とする請求項8に記載の情報処理装置。
- 超音波画像データを取得する取得ステップと、
ボディマークの種類を示す情報を正解ラベルとし、該正解ラベルに対応する撮影範囲が撮影された超音波画像データを正解画像とした教師データを基に学習処理された分類器を用いて、前記取得ステップで取得した超音波画像データから、該超音波画像データに対応するボディマークを推論する推論ステップと、
前記推論ステップで推論されたボディマークを前記超音波画像データとともに表示する表示制御ステップと、
を有することを特徴とする情報処理方法。 - 前記推論ステップは、さらに前記取得ステップで取得した超音波画像データから前記ボディマークにおけるプローブの位置を推論し、
前記表示制御ステップは、前記推論ステップにおいて推論された前記ボディマークに対して、推論された前記プローブの位置に基づくプローブマークを重畳した重畳画像データを表示することを特徴とする請求項10に記載の情報処理方法。 - 請求項10または11に記載の情報処理方法をコンピュータに実行させるためのプログラム。
- 超音波画像データを取得する取得部と、
ボディマークの種類を示す情報を正解ラベルとし、該正解ラベルに対応する撮影範囲が撮影された超音波画像データを正解画像とした教師データを基に学習処理された分類器を用いて、前記取得部が取得した超音波画像データから、該超音波画像データに対応するボディマークを推論する推論部と、
前記推論部によって推論されたボディマークを前記超音波画像データとともに表示する表示制御部とを有することを特徴とする超音波診断装置。 - 前記推論部は、さらに前記取得部が取得した超音波画像データから前記ボディマークにおけるプローブの位置を推論し、
前記表示制御部は、前記推論部によって推論された前記ボディマークに対して、推論された前記プローブの位置に基づくプローブマークを重畳した重畳画像データを表示することを特徴とする請求項13に記載の超音波診断装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020055973A JP7427497B2 (ja) | 2020-03-26 | 2020-03-26 | 情報処理装置、情報処理方法、プログラムおよび超音波診断装置 |
US17/208,934 US11723628B2 (en) | 2020-03-26 | 2021-03-22 | Information processing apparatus, information processing method, non-transitory computer readable storage medium, and ultrasonic diagnosis apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020055973A JP7427497B2 (ja) | 2020-03-26 | 2020-03-26 | 情報処理装置、情報処理方法、プログラムおよび超音波診断装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021153774A JP2021153774A (ja) | 2021-10-07 |
JP7427497B2 true JP7427497B2 (ja) | 2024-02-05 |
Family
ID=77856780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020055973A Active JP7427497B2 (ja) | 2020-03-26 | 2020-03-26 | 情報処理装置、情報処理方法、プログラムおよび超音波診断装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11723628B2 (ja) |
JP (1) | JP7427497B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023060767A (ja) * | 2021-10-18 | 2023-04-28 | ジーイー・プレシジョン・ヘルスケア・エルエルシー | 超音波画像表示システムおよび表示方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007530160A (ja) | 2004-03-23 | 2007-11-01 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | 医用画像のための自動決定支援を提供するシステムおよび方法 |
US20120108962A1 (en) | 2010-11-02 | 2012-05-03 | Samsung Medison Co., Ltd. | Providing a body mark in an ultrasound system |
JP2014124309A (ja) | 2012-12-26 | 2014-07-07 | Toshiba Corp | 超音波診断装置 |
US20180360427A1 (en) | 2017-06-14 | 2018-12-20 | Canon Medical Systems Corporation | Ultrasonic diagnostic apparatus and medical image processing apparatus |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4894662A (en) * | 1982-03-01 | 1990-01-16 | Western Atlas International, Inc. | Method and system for determining position on a moving platform, such as a ship, using signals from GPS satellites |
US4870422A (en) * | 1982-03-01 | 1989-09-26 | Western Atlas International, Inc. | Method and system for determining position from signals from satellites |
JPS63317140A (ja) * | 1987-06-19 | 1988-12-26 | Toshiba Corp | 超音波診断装置 |
EA005472B1 (ru) * | 2001-02-12 | 2005-02-24 | Ай Си О СЕРВИСИЗ ЛИМИТЕД | Устройство и способ связи |
US6642900B2 (en) * | 2001-09-21 | 2003-11-04 | The Boeing Company | High radiation efficient dual band feed horn |
CN1750527A (zh) * | 2004-09-17 | 2006-03-22 | 上海无线通信研究中心 | 一种正交频分复用系统中的信号均衡方法 |
US7634229B2 (en) * | 2005-03-15 | 2009-12-15 | Atc Technologies, Llc | Intra-system and/or inter-system reuse of feeder link frequencies including interference suppression systems and methods |
US9084556B2 (en) * | 2006-01-19 | 2015-07-21 | Toshiba Medical Systems Corporation | Apparatus for indicating locus of an ultrasonic probe, ultrasonic diagnostic apparatus |
US8279745B2 (en) * | 2009-11-23 | 2012-10-02 | Telefonaktiebolaget L M Ericsson (Publ) | Orthogonal vector DSL |
WO2012016056A1 (en) * | 2010-07-29 | 2012-02-02 | Entropic Communications, Inc. | Method and apparatus for cross polarization and cross satellite interference cancellation |
JP5950619B2 (ja) * | 2011-04-06 | 2016-07-13 | キヤノン株式会社 | 情報処理装置 |
US9687204B2 (en) * | 2011-05-20 | 2017-06-27 | Siemens Healthcare Gmbh | Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images |
JP6012288B2 (ja) | 2012-06-27 | 2016-10-25 | 株式会社日立製作所 | 超音波診断装置 |
KR101566198B1 (ko) * | 2013-06-28 | 2015-11-05 | 삼성전자주식회사 | 초음파 진단 장치의 디스플레이 이동 방법 및 초음파 진단 장치 |
JP6200249B2 (ja) * | 2013-09-11 | 2017-09-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
KR102328269B1 (ko) * | 2014-10-23 | 2021-11-19 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
US9698492B2 (en) * | 2015-01-28 | 2017-07-04 | Northrop Grumman Systems Corporation | Low-cost diplexed multiple beam integrated antenna system for LEO satellite constellation |
JP6507047B2 (ja) * | 2015-02-10 | 2019-04-24 | 日本放送協会 | 送信装置、受信装置、及び半導体チップ |
US9538538B2 (en) * | 2015-03-20 | 2017-01-03 | Qualcomm Incorporated | Satellite beam power backoff |
US10616768B2 (en) * | 2016-06-05 | 2020-04-07 | Iridium Satellite Llc | Wireless communication with interference mitigation |
US11219427B2 (en) * | 2016-06-07 | 2022-01-11 | Koninklijke Philips N.V. | Ultrasound system and method for breast tissue imaging and annotation of breast ultrasound images |
JP7145107B2 (ja) * | 2019-03-11 | 2022-09-30 | 富士フイルムヘルスケア株式会社 | 超音波診断装置及び表示方法 |
WO2020185455A2 (en) * | 2019-03-13 | 2020-09-17 | University Of Rochester | Automated ultrasound assessment of tendon healing and analysis/utilization of results using artificial intelligence |
-
2020
- 2020-03-26 JP JP2020055973A patent/JP7427497B2/ja active Active
-
2021
- 2021-03-22 US US17/208,934 patent/US11723628B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007530160A (ja) | 2004-03-23 | 2007-11-01 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | 医用画像のための自動決定支援を提供するシステムおよび方法 |
US20120108962A1 (en) | 2010-11-02 | 2012-05-03 | Samsung Medison Co., Ltd. | Providing a body mark in an ultrasound system |
JP2014124309A (ja) | 2012-12-26 | 2014-07-07 | Toshiba Corp | 超音波診断装置 |
US20180360427A1 (en) | 2017-06-14 | 2018-12-20 | Canon Medical Systems Corporation | Ultrasonic diagnostic apparatus and medical image processing apparatus |
JP2019000315A (ja) | 2017-06-14 | 2019-01-10 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、及び医用画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210303917A1 (en) | 2021-09-30 |
JP2021153774A (ja) | 2021-10-07 |
US11723628B2 (en) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11116475B2 (en) | Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus | |
US11666310B2 (en) | Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus using predetermined imaging conditions for B-mode image generation | |
US20200178933A1 (en) | Acoustic wave diagnostic apparatus and control method of acoustic wave diagnostic apparatus | |
US11593933B2 (en) | Systems and methods for ultrasound image quality determination | |
US11432806B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US20150126867A1 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method | |
US20210161510A1 (en) | Ultrasonic diagnostic apparatus, medical imaging apparatus, training device, ultrasonic image display method, and storage medium | |
JP5016911B2 (ja) | 超音波診断装置 | |
JP2023160986A (ja) | 超音波診断装置及び解析装置 | |
JP7427497B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび超音波診断装置 | |
US20200383662A1 (en) | Ultrasonic diagnostic apparatus, control method for ultrasonic diagnostic apparatus, and control program for ultrasonic diagnostic apparatus | |
JP2020178989A (ja) | 超音波診断装置及び解析装置 | |
US11786209B2 (en) | Ultrasonic diagnostic apparatus and image processing apparatus | |
US20210137501A1 (en) | Ultrasound diagnostic apparatus and examination method | |
JP4960013B2 (ja) | 超音波診断装置およびその画像処理プログラム | |
JP2012143356A (ja) | 超音波診断装置及びプログラム | |
JP2019063483A (ja) | 解析装置 | |
EP4360564A1 (en) | Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device | |
US20220079553A1 (en) | Ultrasound diagnosis apparatus, measurement condition setting method, and non-transitory computer-readable storage medium | |
US20230225710A1 (en) | Ultrasonic diagnostic apparatus and image processing apparatus | |
US20230274430A1 (en) | Information processing apparatus, information processing method, and program | |
US20230371930A1 (en) | Ultrasonic diagnostic apparatus | |
US20230263505A1 (en) | Information processing apparatus, information processing method, and program | |
US20220370045A1 (en) | Image generation device, image generation method, and program | |
US20230196580A1 (en) | Ultrasound diagnostic apparatus and ultrasound image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20200616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231212 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7427497 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |