JP2024001405A - 超音波診断装置および超音波診断装置の制御方法 - Google Patents
超音波診断装置および超音波診断装置の制御方法 Download PDFInfo
- Publication number
- JP2024001405A JP2024001405A JP2022100015A JP2022100015A JP2024001405A JP 2024001405 A JP2024001405 A JP 2024001405A JP 2022100015 A JP2022100015 A JP 2022100015A JP 2022100015 A JP2022100015 A JP 2022100015A JP 2024001405 A JP2024001405 A JP 2024001405A
- Authority
- JP
- Japan
- Prior art keywords
- image
- lesion
- ultrasound
- score
- ultrasound images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000003902 lesion Effects 0.000 claims abstract description 140
- 238000004364 calculation method Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000002604 ultrasonography Methods 0.000 claims description 200
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 125000001475 halogen functional group Chemical group 0.000 description 14
- 206010028980 Neoplasm Diseases 0.000 description 10
- 201000011510 cancer Diseases 0.000 description 10
- 230000036210 malignancy Effects 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 210000005075 mammary gland Anatomy 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000001788 irregular Effects 0.000 description 5
- 230000003211 malignant effect Effects 0.000 description 5
- 208000037396 Intraductal Noninfiltrating Carcinoma Diseases 0.000 description 4
- 206010073094 Intraductal proliferative breast lesion Diseases 0.000 description 4
- 230000002308 calcification Effects 0.000 description 4
- 208000028715 ductal breast carcinoma in situ Diseases 0.000 description 4
- 201000007273 ductal carcinoma in situ Diseases 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 206010073096 invasive lobular breast carcinoma Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 3
- 206010073095 invasive ductal breast carcinoma Diseases 0.000 description 3
- 201000010985 invasive ductal carcinoma Diseases 0.000 description 3
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 2
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 2
- 229910052749 magnesium Inorganic materials 0.000 description 2
- 239000011777 magnesium Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- BQCIDUSAKPWEOX-UHFFFAOYSA-N 1,1-Difluoroethene Chemical compound FC(F)=C BQCIDUSAKPWEOX-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 229920000131 polyvinylidene Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000006104 solid solution Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Vascular Medicine (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】ユーザが病変部を精度良く診断できる超音波診断装置および超音波診断装置の制御方法を提供する。
【解決手段】超音波診断装置は、被検体の病変部を撮影した複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける多次元画像特徴を算出する画像特徴算出部(25)と、多次元画像特徴に基づいて複数の超音波画像のそれぞれにおける病変部のスコアを算出するスコア算出部(26)と、複数の超音波画像に対してそれぞれ算出されたスコアに基づいて病変部の判定を行う判定部(27)と、複数の超音波画像から判定部による判定結果を最も良く表す超音波画像を根拠画像として抽出する抽出部(28)と、モニタ(23)と、判定部による判定結果と抽出部により抽出された根拠画像をモニタ(23)に表示する表示制御部(22)とを備える。
【選択図】図1
【解決手段】超音波診断装置は、被検体の病変部を撮影した複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける多次元画像特徴を算出する画像特徴算出部(25)と、多次元画像特徴に基づいて複数の超音波画像のそれぞれにおける病変部のスコアを算出するスコア算出部(26)と、複数の超音波画像に対してそれぞれ算出されたスコアに基づいて病変部の判定を行う判定部(27)と、複数の超音波画像から判定部による判定結果を最も良く表す超音波画像を根拠画像として抽出する抽出部(28)と、モニタ(23)と、判定部による判定結果と抽出部により抽出された根拠画像をモニタ(23)に表示する表示制御部(22)とを備える。
【選択図】図1
Description
本発明は、病変部の判定を行う超音波診断装置および超音波診断装置の制御方法に関する。
従来から、医療分野において、超音波画像を利用した超音波診断装置が実用化されている。一般に、超音波診断装置は、振動子アレイを内蔵する超音波プローブと、超音波プローブに接続される装置本体とを備えており、超音波プローブから被検体に向けて超音波ビームを送信し、被検体からの超音波エコーを超音波プローブで受信し、その受信信号を電気的に処理することにより超音波画像が生成される。
医師等のユーザは、このようにして生成された超音波画像を確認することにより、例えば被検体の病変部の診断を行う。この際にユーザは、通常、超音波検査において撮影された複数の超音波画像を確認することにより診断に適切な超音波画像を選出する。このようにして超音波画像を選出するユーザの労力を低減するために、特許文献1に開示される技術が開発されている。
特許文献1は、超音波画像を解析して病変部の候補を自動的に検出し、病変部の候補が検出されなかった一連の超音波画像を画像処理によりマージすることで超音波画像の数を削減する装置を開示している。ユーザは、病変部の候補が検出され且つマージの後に残った複数の超音波画像を確認することにより、診断に適した超音波画像を選出できる。
しかしながら、ユーザは、特許文献1のように装置が自動的に病変部の候補を検出したとしても、その検出結果を信用せずに、例えば病変部の形状等の特徴が表れていないような、診断に適さない超音波画像を選出してしまうことがある。これにより、病変の診断精度が低下してしまうおそれがあった。
本発明は、このような従来の問題点を解消するためになされたものであり、ユーザが病変部を精度良く診断できる超音波診断装置および超音波診断装置の制御方法を提供することを目的とする。
以下の構成により、上記目的を達成できる。
〔1〕 被検体の病変部を撮影した複数の超音波画像に基づいて病変部の判定を行う超音波診断装置であって、
複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける多次元画像特徴を算出する画像特徴算出部と、
多次元画像特徴に基づいて複数の超音波画像のそれぞれにおける病変部のスコアを算出するスコア算出部と、
複数の超音波画像に対してそれぞれ算出されたスコアに基づいて病変部の判定を行う判定部と、
複数の超音波画像から判定部による判定結果を最も良く表す超音波画像を根拠画像として抽出する抽出部と、
モニタと、
判定部による判定結果と抽出部により抽出された根拠画像をモニタに表示する表示制御部と
を備える超音波診断装置。
〔2〕 複数の超音波画像は、病変部を撮影した動画を構成する画像である〔1〕に記載の超音波診断装置。
〔3〕 複数の超音波画像のそれぞれは、病変部の全体または一部が撮影された画像である〔1〕または〔2〕に記載の超音波診断装置。
〔4〕 複数の超音波画像は、病変部を撮影した動画を構成する画像から間引きされた画像、補間された画像、または、合成された画像である〔2〕に記載の超音波診断装置。
〔5〕 抽出部は、根拠画像において、病変部を囲む囲み線を形成し、
表示制御部は、根拠画像上に、囲み線を重畳表示する〔1〕~〔4〕のいずれかに記載の超音波診断装置。
〔6〕 抽出部は、根拠画像において、スコア算出部によるスコアの算出に寄与する部分の寄与率が色の濃淡または色の違いにより表されたヒートマップを形成し、
表示制御部は、ヒートマップをモニタに表示する〔1〕~〔4〕のいずれかに記載の超音波診断装置。
〔7〕 スコア算出部は、超音波画像の多次元画像特徴を学習させた機械学習モデルによりスコアを算出する〔1〕~〔6〕のいずれかに記載の超音波診断装置。
〔8〕 判定部は、複数の超音波画像のうち、病変部が最も大きく撮影された超音波画像のスコアに基づいて判定を行う〔1〕~〔7〕のいずれかに記載の超音波診断装置。
〔9〕 判定部は、複数の超音波画像のスコアの多数決、最大値、中央値または最頻値に基づいて判定を行う〔1〕~〔7〕のいずれかに記載の超音波診断装置。
〔10〕 判定部は、複数の超音波画像のスコアから外れ値を除き、外れ値が除かれた複数の超音波画像のスコアの多数決、最大値、中央値または最頻値に基づいて判定を行う〔1〕~〔7〕のいずれかに記載の超音波診断装置。
〔11〕 被検体の病変部を撮影した複数の超音波画像に基づいて病変部の判定を行う超音波診断装置の制御方法であって、
複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける多次元画像特徴を算出し、
多次元画像特徴に基づいて複数の超音波画像のそれぞれにおける病変部のスコアを算出し、
複数の超音波画像に対してそれぞれ算出されたスコアに基づいて病変部の判定を行い、
複数の超音波画像から病変部の判定結果を最も良く表す超音波画像を根拠画像として抽出し、
判定結果と根拠画像をモニタに表示する
超音波診断装置の制御方法。
〔1〕 被検体の病変部を撮影した複数の超音波画像に基づいて病変部の判定を行う超音波診断装置であって、
複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける多次元画像特徴を算出する画像特徴算出部と、
多次元画像特徴に基づいて複数の超音波画像のそれぞれにおける病変部のスコアを算出するスコア算出部と、
複数の超音波画像に対してそれぞれ算出されたスコアに基づいて病変部の判定を行う判定部と、
複数の超音波画像から判定部による判定結果を最も良く表す超音波画像を根拠画像として抽出する抽出部と、
モニタと、
判定部による判定結果と抽出部により抽出された根拠画像をモニタに表示する表示制御部と
を備える超音波診断装置。
〔2〕 複数の超音波画像は、病変部を撮影した動画を構成する画像である〔1〕に記載の超音波診断装置。
〔3〕 複数の超音波画像のそれぞれは、病変部の全体または一部が撮影された画像である〔1〕または〔2〕に記載の超音波診断装置。
〔4〕 複数の超音波画像は、病変部を撮影した動画を構成する画像から間引きされた画像、補間された画像、または、合成された画像である〔2〕に記載の超音波診断装置。
〔5〕 抽出部は、根拠画像において、病変部を囲む囲み線を形成し、
表示制御部は、根拠画像上に、囲み線を重畳表示する〔1〕~〔4〕のいずれかに記載の超音波診断装置。
〔6〕 抽出部は、根拠画像において、スコア算出部によるスコアの算出に寄与する部分の寄与率が色の濃淡または色の違いにより表されたヒートマップを形成し、
表示制御部は、ヒートマップをモニタに表示する〔1〕~〔4〕のいずれかに記載の超音波診断装置。
〔7〕 スコア算出部は、超音波画像の多次元画像特徴を学習させた機械学習モデルによりスコアを算出する〔1〕~〔6〕のいずれかに記載の超音波診断装置。
〔8〕 判定部は、複数の超音波画像のうち、病変部が最も大きく撮影された超音波画像のスコアに基づいて判定を行う〔1〕~〔7〕のいずれかに記載の超音波診断装置。
〔9〕 判定部は、複数の超音波画像のスコアの多数決、最大値、中央値または最頻値に基づいて判定を行う〔1〕~〔7〕のいずれかに記載の超音波診断装置。
〔10〕 判定部は、複数の超音波画像のスコアから外れ値を除き、外れ値が除かれた複数の超音波画像のスコアの多数決、最大値、中央値または最頻値に基づいて判定を行う〔1〕~〔7〕のいずれかに記載の超音波診断装置。
〔11〕 被検体の病変部を撮影した複数の超音波画像に基づいて病変部の判定を行う超音波診断装置の制御方法であって、
複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける多次元画像特徴を算出し、
多次元画像特徴に基づいて複数の超音波画像のそれぞれにおける病変部のスコアを算出し、
複数の超音波画像に対してそれぞれ算出されたスコアに基づいて病変部の判定を行い、
複数の超音波画像から病変部の判定結果を最も良く表す超音波画像を根拠画像として抽出し、
判定結果と根拠画像をモニタに表示する
超音波診断装置の制御方法。
本発明によれば、超音波診断装置が、複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける多次元画像特徴を算出する画像特徴算出部と、多次元画像特徴に基づいて複数の超音波画像のそれぞれにおける病変部のスコアを算出するスコア算出部と、複数の超音波画像に対してそれぞれ算出されたスコアに基づいて病変部の判定を行う判定部と、複数の超音波画像から判定部による判定結果を最も良く表す超音波画像を根拠画像として抽出する抽出部と、モニタと、判定部による判定結果と抽出部により抽出された根拠画像をモニタに表示する表示制御部とを備えるため、ユーザが病変部を精度良く診断できる。
以下、この発明の実施の形態を添付図面に基づいて説明する。
以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
なお、本明細書において、「~」を用いて表される数値範囲は、「~」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。
以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
なお、本明細書において、「~」を用いて表される数値範囲は、「~」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。
実施の形態1
図1に、本発明の実施の形態1に係る超音波診断装置の構成を示す。超音波診断装置は、超音波プローブ1と、装置本体2を備えている。超音波プローブ1と装置本体2は、互いに図示しないケーブルを介して有線接続されている。
図1に、本発明の実施の形態1に係る超音波診断装置の構成を示す。超音波診断装置は、超音波プローブ1と、装置本体2を備えている。超音波プローブ1と装置本体2は、互いに図示しないケーブルを介して有線接続されている。
超音波プローブ1は、振動子アレイ11と、振動子アレイ11に接続された送受信回路12を有している。
装置本体2は、超音波プローブ1の送受信回路12に接続された画像生成部21を有し、画像生成部21に、表示制御部22およびモニタ23が順次接続され、画像生成部21に画像メモリ24が接続されている。画像メモリ24には画像特徴算出部25、スコア算出部26、判定部27および抽出部28が順次接続されている。判定部27は、表示制御部22に接続している。抽出部28は、表示制御部22および画像メモリ24に接続している。また、送受信回路12、画像生成部21、表示制御部22、画像メモリ24、画像特徴算出部25、スコア算出部26、判定部27および抽出部28に、本体制御部29が接続されている。また、本体制御部29に入力装置30が接続されている。
また、画像生成部21、表示制御部22、画像特徴算出部25、スコア算出部26、判定部27、抽出部28および本体制御部29により、装置本体2用のプロセッサ31が構成されている。
超音波プローブ1の振動子アレイ11は、1次元または2次元に配列された複数の超音波振動子を有している。これらの振動子は、それぞれ送受信回路12から供給される駆動信号に従って超音波を送信し、且つ、被検体からの反射波を受信してアナログの受信信号を出力する。各振動子は、例えば、PZT(Lead Zirconate Titanate:チタン酸ジルコン酸鉛)に代表される圧電セラミック、PVDF(Poly Vinylidene Di Fluoride:ポリフッ化ビニリデン)に代表される高分子圧電素子およびPMN-PT(Lead Magnesium Niobate-Lead Titanate:マグネシウムニオブ酸鉛-チタン酸鉛固溶体)に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。
送受信回路12は、本体制御部29による制御の下で、振動子アレイ11から超音波を送信し且つ振動子アレイ11により取得された受信信号に基づいて音線信号を生成する。送受信回路12は、図2に示されるように、振動子アレイ11に接続されるパルサ41と、振動子アレイ11に順次直列に接続された増幅部42、AD(Analog Digital)変換部43およびビームフォーマ44を有している。
パルサ41は、例えば、複数のパルス発生器を含んでおり、本体制御部29からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ11の複数の振動子から送信される超音波が超音波ビームを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ11の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームが形成される。
送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波エコーが、超音波プローブ1の振動子アレイ11に向かって伝搬する。このように振動子アレイ11に向かって伝搬する超音波エコーは、振動子アレイ11を構成するそれぞれの振動子により受信される。この際に、振動子アレイ11を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部42に出力する。
増幅部42は、振動子アレイ11を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をAD変換部43に送信する。AD変換部43は、増幅部42から送信された信号をデジタルの受信データに変換し、これらの受信データをビームフォーマ44に送信する。ビームフォーマ44は、本体制御部29からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、AD変換部43により変換された各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、AD変換部43で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。
装置本体2の画像生成部21は、図3に示されるように、信号処理部45、DSC(Digital Scan Converter:デジタルスキャンコンバータ)46および画像処理部47が順次直列に接続された構成を有している。
信号処理部45は、超音波プローブ1の送受信回路12から送出された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報である超音波画像信号(Bモード画像信号)を生成する。
信号処理部45は、超音波プローブ1の送受信回路12から送出された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報である超音波画像信号(Bモード画像信号)を生成する。
DSC46は、信号処理部45で生成された超音波画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)する。
画像処理部47は、DSC46から入力される超音波画像信号に階調処理等の各種の必要な画像処理を施した後、超音波画像を表す信号を表示制御部22および画像メモリ24に出力する。このようにして画像生成部21により生成された超音波画像を表す信号を、単に、超音波画像と呼ぶこととする。
画像処理部47は、DSC46から入力される超音波画像信号に階調処理等の各種の必要な画像処理を施した後、超音波画像を表す信号を表示制御部22および画像メモリ24に出力する。このようにして画像生成部21により生成された超音波画像を表す信号を、単に、超音波画像と呼ぶこととする。
画像メモリ24は、本体制御部29の制御の下、画像生成部21により生成された超音波画像を保存するメモリである。例えば、画像メモリ24は、被検体の同一の病変部を含む領域を連続的に撮影することで画像生成部21により生成された、動画を構成する複数の超音波画像を保存できる。複数の超音波画像のそれぞれは、病変部の全体が撮影された画像でもよく、病変部の一部が撮影された画像でもよい。
画像メモリ24としては、フラッシュメモリ、HDD(Hard Disc Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、FD(Flexible Disc:フレキシブルディスク)、MOディスク(Magneto-Optical disc:光磁気ディスク)、MT(Magnetic Tape:磁気テープ)、RAM(Random Access Memory:ランダムアクセスメモリ)、CD(Compact Disc:コンパクトディスク)、DVD(Digital Versatile Disc:デジタルバーサタイルディスク)、SDカード(Secure Digital card:セキュアデジタルカード)、USBメモリ(Universal Serial Bus memory:ユニバーサルシリアルバスメモリ)等の記録メディアを用いることができる。
画像特徴算出部25は、画像メモリ24に保存されている、被検体の病変部を撮影した複数の超音波画像を解析することにより、それらの複数の超音波画像のそれぞれにおける多次元画像特徴を算出する。画像特徴算出部25は、例えば、機械学習におけるいわゆるニューラルネットワーク等の画像認識モデルに複数の超音波画像を入力し、複数の超音波画像のそれぞれに対して出力される中間的な数値データを多次元画像特徴として算出できる。この中間的な数値データは、機械学習の分野において一般的に特徴量と呼ばれることがある。
また、画像特徴算出部25は、例えば、超音波画像の全体領域に対する、定められた輝度よりも低い輝度を有する低輝度領域の面積比、低輝度領域のエッジとその周囲の領域とのコントラスト比等を多次元画像特徴として算出することもできる。画像特徴算出部25は、超音波画像の全体領域に対する低輝度領域の面積比および低輝度領域のエッジとその周囲の領域とのコントラスト比等を、画像認識モデルを用いて算出することができ、画像認識モデルを用いずに公知の画像解析の手法を用いて算出することもできる。
スコア算出部26は、画像特徴算出部25により算出された多次元画像特徴に基づいて、複数の超音波画像のそれぞれにおける病変部のスコアを算出する。スコア算出部26は、例えば、多数の病変部が撮影された多数の典型的な超音波画像から得られる多数の多次元画像特徴と、それらの病理所見、形状および病変部に関する診断所見等の病変部に関する情報との関係をそれぞれ教師データとして予め学習した、機械学習モデル(例えばニューラルネットワークおよび深層学習モデル等)を用いて、多次元画像特徴から病変部のスコアを算出できる。
スコア算出部26は、良悪性スコア、カテゴリスコア、形状スコア、境界スコア、haloスコア、境界線断裂スコアおよび乳腺部位スコア等の複数の種類のスコアを算出できる。良悪性スコアは、超音波画像が撮影された被検体の病変部の良性度合いを表すスコア(良性スコア)または悪性度合いを表すスコア(悪性スコア)である。
カテゴリスコアは、JABTS(the Japanese Association of Breast and Thyroid Sonology:日本乳腺甲状腺超音波医学会)またはACR(American College of Radiology:米国放射線医学会)等により定められた病変部のいわゆる検診または診断カテゴリを表すスコアである。例えば、JABTSは、検診カテゴリ1~5を次のように規定している。
検診カテゴリ1:異常所見なし
検診カテゴリ2:所見があるが精密検査不要
検診カテゴリ3:良性であるが悪性を否定できない
検診カテゴリ4:悪性の疑い
検診カテゴリ5:悪性
検診カテゴリ1:異常所見なし
検診カテゴリ2:所見があるが精密検査不要
検診カテゴリ3:良性であるが悪性を否定できない
検診カテゴリ4:悪性の疑い
検診カテゴリ5:悪性
形状スコアは、病変部の形状に関するスコアである。形状スコアは、例えば、病変部の形状が「くびれ」および「かど」を有するほど大きい値を有する。ここで、一般的に、病変部Mの形状は、超音波画像における境界部高エコー部分を含めた形状が「くびれ」および「かど」を有するか否かに応じて、例えば図4に示すような円形または楕円形(くびれ無し、かど無し)、図5に示すような多角形(くびれ無し、かど有り)、図6に示すような分葉形(くびれ有り、かど無し)、図7に示すような不整形(くびれ有り、かど有り)に分類される。
スコア算出部26は、例えば、病変部Mにおけるくびれの個数をスコアとして算出することもできる。
境界スコアは、病変部Mの境界部分の平滑さに関するスコアであり、例えば境界部分が粗造であるほど大きい値を有し、平滑であるほど小さい値を有する。
haloスコアは、病変部Mの境界部に高エコー帯であるいわゆるハロー(halo)が存在しているか否かを表すスコアである。haloスコアとして、例えば、ハローが存在していることを示す「+」のスコアと、ハローが存在していないことを示す「-」のスコアのいずれかが出力される。
境界線断裂スコアは、乳腺とその周辺組織の境界線が病変部Mによって断裂しているか否かを示すスコアである。スコア算出部26は、例えば、病変部Mの一定周囲の組織の境界線を抽出し、抽出された境界線が病変部Mの境界部により断裂しているか否かを判定できる。境界線断裂スコアの一例としては、境界線が断裂していることを示す「+」のスコアと境界線が断裂していないことを示す「-」のスコアのいずれかが出力される。
乳腺部位スコアは、病変部Mが乳腺におけるどの位置に存在しているかを示すスコアである。乳腺部位スコアは、例えば、その値によって病変部Mが乳腺における乳管側に位置しているか小葉側に位置しているかを表すことができる。
判定部27は、複数の超音波画像に対してスコア算出部26により算出されたスコアに基づいて病変部Mの判定を行う。判定部27は、例えば、スコア算出部26により算出された形状スコアに基づいて病変部Mの形状が、円形または楕円形、多角形、分葉形および不整形のいずれであるかを判定できる。また、判定部27は、例えば、スコア算出部26により算出された境界スコアに基づいて、超音波画像における病変部Mの境界部が平滑、粗造および不明瞭のいずれであるかを判定できる。
また、判定部27は、例えば、スコア算出部26により算出されたhaloスコア、境界線断裂スコアおよび乳腺部位スコアに基づいて、病変部Mの組織型を判定することもできる。例えば、乳房に生じる病変部は、一般的に、DCIS(Ductal Carcinoma In Situ:非浸潤性乳管癌)、IDC(Invasive Ductal Carcinoma:浸潤性乳管癌)およびILC(Invasive Lobular Carcinoma:浸潤性小葉癌)等の複数の組織型に分類されることが知られている。判定部27は、例えば、haloスコアおよび境界線断裂スコアに基づいて病変部Mの浸潤型であるか非浸潤型であるかを判定し、乳腺部位スコアに基づいて病変部Mが乳管側に位置しているか小葉側に位置しているかを判定し、これらの判定結果の組み合わせにより、病変部Mの組織型を最終的に判定できる。
ここで、判定部27は、複数の超音波画像のうち病変部Mが最も大きく撮影された超音波画像のスコアに基づいて判定を行うことができる。この際に判定部27は、複数の超音波画像を画像解析することにより、複数の超音波画像における病変部Mの最大径を算出し、算出された最大径の値に基づいて、病変部Mが最も大きく撮影された超音波画像を特定できる。
また、判定部27は、スコアの複数の種類のそれぞれに対して、複数の超音波画像のスコアの多数決、例えば、複数の形状スコアのうち最も多く算出された値を有する形状スコア、および、複数の境界スコアのうち最も多く算出された値を有する境界スコア等に基づいて判定を行うこともできる。
また、判定部27は、スコアの複数の種類のそれぞれに対して、複数の超音波画像のスコアの最大値、例えば、複数の形状スコアのうち最大の形状スコア、および、複数の境界スコアのうち最大の境界スコア等に基づいて判定を行うこともできる。
また、判定部27は、スコアの複数の種類のそれぞれに対して、複数の超音波画像のスコアの中央値、例えば、複数の形状スコアの中央値となる形状スコア等、または、最頻値、例えば、複数の形状スコアのうち最も頻度が多く得られた値等に基づいて判定を行うこともできる。
また、判定部27は、スコアの複数の種類のそれぞれに対して外れ値を除き、外れ値が除かれた複数のスコアの多数決、最大値、中央値または最頻値に基づいて判定を行うこともできる。判定部27は、例えばスコアに対して一定のしきい値を有しており、しきい値を超えるスコアを外れ値として除外できる。
また、判定部27は、判定結果に対応するスコアを特定し、そのスコアが算出された超音波画像の情報を抽出部28に出力する。例えば、判定部27は、超音波画像における病変部Mの境界部が粗造であると判定された場合に、複数の境界スコアから粗造であると判定される境界スコアを特定し、その境界スコアが算出された超音波画像の情報を抽出部28に出力できる。
また、判定部27は、スコア算出部26で算出されたスコアのうち、病変部Mの良悪性スコア、病変部Mのカテゴリスコアおよび病変部Mにおけるくびれの個数等の、ユーザが容易に理解できるスコアの代表値を表示制御部22に出力できる。この際に、判定部27は、例えば、病変部Mの判定を行う場合と同様にして、病変部Mが最も大きく撮影された超音波画像のスコア、複数の超音波画像の多数決、または、複数の超音波画像のスコアの最大値を代表値として出力できる。
また、判定部27は、病変部Mに関する判定結果を表示制御部22に送出する。
抽出部28は、判定部27から病変部Mの判定結果を受け取り、画像メモリ24に保存された複数の超音波画像の中から、判定部27による判定結果を最も良く表す少なくとも1つの超音波画像を根拠画像として抽出する。抽出部28は、例えば、超音波画像における病変部Mの境界部が粗造であると判定部27により判定された場合に、判定部27から送出された、粗造であると判定される少なくとも1つの境界スコアのうち最大の境界スコアを有する超音波画像を、病変部Mの境界部が粗造であるという判定に対する根拠画像として抽出できる。
また、抽出部28は、例えば、超音波画像における病変部Mの境界部が粗造であると判定部27により判定された場合に、定められた境界スコアしきい値よりも高い境界スコアを有する全ての超音波画像を選出し、選出された超音波画像間の類似度を算出し、算出された類似度が一定値よりも低くなる、すなわち、互いに類似する複数の超音波画像毎にグループ分けをし、それぞれのグループにおいて境界スコアが最大値または中央値となる超音波画像を根拠画像として抽出することもできる。抽出部28は、例えば、互いに類似する超音波画像の複数のグループが作成された場合に、複数の根拠画像を抽出できる。
表示制御部22は、画像生成部21により生成された超音波画像、判定部27により出力されたスコアの代表値、判定部27における判定結果および抽出部28により抽出された少なくとも1つの根拠画像U等に対して所定の処理を施し、それらをモニタ23に表示する。
表示制御部22は、判定部27における判定結果として、例えば図8に示すような所見特徴A1をモニタ23に表示できる。図8の例において、所見特徴A1は、「形状」、「境界線」、「内部エコー」、「halo」、「境界線断裂」、「後方エコー」、「縦横比」および「石灰化」の項目を含んでいる。
「形状」の項目は、病変部Mの形状が円形、楕円形、多角形、分葉形および不整形のいずれかであることを示す。「境界線」の項目は、病変部Mの境界部が平滑、粗造および不明瞭のいずれかであることを示す。「内部エコー」の項目は、「レベル」および「均質性」の項目に分かれている。「レベル」の項目は、超音波画像における病変部M内の明度を表すエコーレベルが「無」、「極低」、「低」、「等」および「高」のいずれであるかを示す。エコーレベルが「無」に近いほど超音波画像における病変部M内の明度が低いことを示し、エコーレベルが「高」に近いほど超音波画像における病変部M内の明度が高いことを示す。「均質性」の項目は、超音波画像における病変部M内が均質であるか不均質であるかを示す。
「halo」の項目は、病変部Mの境界部に高エコー帯であるハロー(halo)が存在しているか否かを示す。ハローが存在している状態は「+」で示され、ハローが存在していない状態は「-」で示される。「境界線断裂」の項目は、病変部Mの境界部が断裂しているか否かを示す。境界部が断裂している状態は「+」で示され、境界部が断裂していない状態は「-」で示される。
「後方エコー」の項目は、病変部Mの深部の領域のエコーレベルが病変部Mの浅部の領域のエコーレベルと比較して、増強、不変、減弱および消失のいずれであるかを示す。「縦横比」の項目は、超音波画像における病変部Mの深さ方向の寸法が深さ方向に直交する方向における寸法に対して大きいか小さいかを示す。「石灰化」の項目は、病変部Mに石灰化している部分が存在する場合にその石灰化の程度が微細か粗大かを示す。
図8に示す例において、所見特徴A1は、「形状」が不整形、「境界線」が不明瞭、「内部エコー」の「レベル」が等レベル、「均質性」が不均質、「halo」が「+」(存在している)、「境界線断裂」が「+」(境界部が断裂している)、「後方エコー」が微弱、「縦横比」が小さい、および、「石灰化」が無いことを示している。
また、表示制御部22は、判定部27における判定結果として、例えば図9に示すような推定組織型A2をモニタ23に表示できる。図9の例において、推定組織型A2は、「DCIS」、「IDC」、「ILC」および「その他」の項目と、複数の超音波画像に撮影されている病変部Mが「DCIS」、「IDC」、「ILC」および「その他」の項目に対応する組織型を有する確率を示している。
また、表示制御部22は、判定部27により出力されたスコアの代表値として、例えば図10に示すような悪性度A3をモニタ23に表示できる。図10の例において、悪性度A3の表示は、病変部Mの悪性度を表す数値(○○%)と、その数値を視覚的に表すメータを含む。
また、表示制御部22は、判定部27により出力されたスコアの代表値として、例えば図11に示すような検診カテゴリA4をモニタ23に示すことができる。図11の例において、検診カテゴリA4の表示は、病変部Mの検診カテゴリが1~5のいずれであるかを示す。図11では、病変部Mの検診カテゴリが4であることが示されている。
ここで、例えば入力装置30を介してユーザにより、モニタ23に表示された判定部27の判定結果のいずれかが選択されると、表示制御部22は、図12に示すように、選択された判定結果を最も良く表す、抽出部28により抽出された根拠画像Uをモニタ23に表示する。
例えば、判定部27により病変部Mの境界部が不明瞭であると判定された場合に、所見特徴A1における「境界線」の項目の「不明瞭」の領域がユーザによって選択されると、表示制御部22は、抽出部28により抽出された、病変部Mの境界部が不明瞭であることを最も良く表す少なくとも1つの根拠画像Uをモニタ23に表示できる。
表示制御部22は、判定部27の判定結果を最も良く表す複数の根拠画像Uをモニタ23に表示する場合に、複数の根拠画像Uを、いわゆるスクロール表示することができ、入力装置30を介したユーザの指示により順次切り替えて表示することもできる。この際に、表示制御部22は、最も過去に生成された根拠画像Uから最も新しく生成された根拠画像Uに対して順に番号を付与し、根拠画像Uと番号を一緒に表示できる。ユーザは、番号を確認することにより、複数の超音波画像を互いに区別して認識できる。
このようにして、判定部27の判定結果と、その判定結果に対応する根拠画像Uが一緒に表示されるため、ユーザは、根拠画像Uを確認することで、判定結果の根拠を把握できるため、被検体の診断に適した超音波画像を容易に且つ精度良く選出し、被検体の診断を精度良く行うことができる。
また、抽出部28は、図13に示すように、根拠画像Uを画像解析することにより病変部Mを検出し、検出された病変部Mを囲む囲み線Lを形成できる。この場合に、表示制御部22は、根拠画像U上に、抽出部28により形成された囲み線Lを重畳表示できる。この際に、表示制御部22は、囲み線Lの内側部分に色付けすることもできる。このようにして根拠画像Uにおいて病変部Mが強調表示されることにより、ユーザは、根拠画像Uにおける病変部Mの位置と形状を容易に把握できる。
また、抽出部28は、図14に示すように、根拠画像Uにおいて、スコア算出部26によるスコアの算出に寄与する部分の寄与率が色の濃淡または色の違いにより表されたヒートマップHMを形成できる。スコアの算出に寄与する部分とは、スコアの算出において着目された領域のことである。例えば形状スコアまたは境界スコアが算出される場合に、病変部Mの境界部および/またはその近傍の領域において判定に寄与した部分、例えば、境界部が不明瞭であると判定された場合には境界部のうち不明瞭な部分が強調表示される。また、病変部Mの内部のエコーに対して、例えば、均質性に関するスコアが算出される場合に、病変部Mの内部において判定に寄与した部分、例えば、不均質な部分が強調表示される。ユーザは、ヒートマップHMを確認することにより、スコアに関連する根拠画像U上の領域を把握でき、判定部27の判定結果についてより詳細に根拠を把握できる。
モニタ23は、表示制御部22の制御の下で、画像生成部21により生成された超音波画像、判定部27により出力されたスコアの代表値、判定部27における判定結果および抽出部28により抽出された少なくとも1つの根拠画像U等を表示するものであり、例えば、LCD(Liquid Crystal Display:液晶ディスプレイ)、有機ELディスプレイ(Organic Electroluminescence Display)等のディスプレイ装置を有している。
本体制御部29は、予め記憶している制御プログラム等に基づいて、装置本体2の各部および超音波プローブ1の送受信回路12の制御を行う。
入力装置30は、ユーザが入力操作を行うためのものであり、例えば、キーボード、マウス、トラックボール、タッチパッド、および、モニタ23に重ねて配置されたタッチセンサ等の装置により構成される。
なお、画像生成部21、表示制御部22、画像特徴算出部25、スコア算出部26、判定部27、抽出部28および本体制御部29を有するプロセッサ31は、CPU(Central Processing Unit:中央処理装置)、および、CPUに各種の処理を行わせるための制御プログラムから構成されるが、FPGA(Field Programmable Gate Array:フィードプログラマブルゲートアレイ)、DSP(Digital Signal Processor:デジタルシグナルプロセッサ)、ASIC(Application Specific Integrated Circuit:アプリケーションスペシフィックインテグレイテッドサーキット)、GPU(Graphics Processing Unit:グラフィックスプロセッシングユニット)、その他のIC(Integrated Circuit:集積回路)を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。
また、プロセッサ31の画像生成部21、表示制御部22、画像特徴算出部25、スコア算出部26、判定部27、抽出部28および本体制御部29は、部分的にあるいは全体的に1つのCPU等に統合させて構成することもできる。
次に、図15に示すフローチャートを用いて、本発明の実施の形態1の超音波診断装置の動作を説明する。
まず、ステップS1において、ユーザにより超音波プローブ1が被検体の体表に接触した状態で、被検体の病変部Mを撮影した複数の超音波画像が取得される。超音波画像が取得される際に、送受信回路12は、本体制御部29の制御の下でいわゆる受信フォーカス処理を行って音線信号を生成する。送受信回路12により生成された音線信号は、画像生成部21に送出される。画像生成部21は、送受信回路12から送出された音線信号を用いて超音波画像を生成する。この処理が繰り返されることにより、連続する複数の超音波画像が取得される。取得された複数の超音波画像は、画像メモリ24に送出され、画像メモリ24に保存される。
次に、ステップS2において、画像特徴算出部25は、ステップS1で生成され且つ画像メモリ24に保存された複数の超音波画像を解析することにより、複数の超音波画像のそれぞれにおける多次元画像特徴を算出する。画像特徴算出部25は、例えば、機械学習におけるニューラルネットワーク等の画像認識モデルに複数の超音波画像を入力し、複数の超音波画像のそれぞれに対して出力される中間的な数値データを多次元画像特徴として算出できる。また、画像特徴算出部25は、例えば、超音波画像の全体領域に対する、定められた輝度よりも低い輝度を有する低輝度領域の面積比、低輝度領域のエッジとその周囲の領域とのコントラスト比等を多次元画像特徴として算出することもできる。
ステップS3において、スコア算出部26は、ステップS2で算出された複数の超音波画像における多次元画像特徴に基づいて、被検体の病変部Mのスコアを算出する。スコア算出部26は、病変部Mのスコアとして、例えば良悪性スコア、カテゴリスコア、形状スコアおよび境界スコア等の複数の種類のスコアを算出できる。また、スコア算出部26は、例えば、多次元画像特徴とこれらのスコアとの関係を学習した機械学習モデルを用いて多次元画像特徴からスコアを算出できる。
ステップS4において、判定部27は、ステップS3で複数の超音波画像に対してそれぞれ算出されたスコアに基づいて病変部Mの判定を行う。判定部27は、例えば、病変部Mの形状、病変部Mの境界部の平滑さ、病変部Mの組織型等を判定結果として出力できる。また、判定部27は、それぞれの判定結果に当てはまる超音波画像の情報を抽出部28に送出する。
ステップS5において、抽出部28は、ステップS4で判定部27から送出された、判定結果に当てはまる超音波画像の情報に基づいて、ステップS1で画像メモリ24に保存された複数の超音波画像から、判定結果を最も良く表す少なくとも1つの超音波画像を根拠画像Uとして抽出する。
最後に、ステップS6において、表示制御部22は、例えば図12に示すように、ステップS4における判定結果である所見特徴A5等と、所見特徴A5の項目のいずれかを最も良く表す少なくとも1つの根拠画像Uをモニタ23に表示する。この際に、表示制御部22は、例えば、入力装置30を介してユーザにより、所見特徴A5における項目により示される判定結果が選択されると、選択された判定結果を最も良く表す少なくとも1つの根拠画像Uをモニタ23に表示できる。ユーザは、根拠画像Uを確認することにより、選択された判定結果の根拠を詳細に把握できる。
このようにしてステップS6の処理が完了すると、図15のフローチャートに示す超音波診断装置の動作が終了する。
以上から、本発明の実施の形態1の超音波診断装置によれば、スコア算出部26が、画像特徴算出部25により算出された多次元画像特徴に基づいて病変部Mのスコアを算出し、判定部27が、スコア算出部26により算出されたスコアに基づいて病変部Mの判定を行い、抽出部28が、複数の超音波画像から判定部27による判定結果を最も良く表す超音波画像を根拠画像Uとして抽出し、判定部27による判定結果と抽出部28により抽出された根拠画像Uがモニタ23に表示されるため、ユーザは、選択された判定結果の根拠を詳細に把握して、精度良く被検体の病変部Mの診断を行うことができる。
なお、超音波プローブ1と装置本体2は、互いに有線接続されることが説明されているが、互いに無線接続されることもできる。
また、装置本体2は、いわゆる据え置き型でもよく、携帯型でもよく、いわゆるスマートフォンまたはタブレット型のコンピュータ等により構成されるハンドヘルド型でもよい。このように、装置本体2を構成する機器の種類は特に限定されない。
また、装置本体2は、いわゆる据え置き型でもよく、携帯型でもよく、いわゆるスマートフォンまたはタブレット型のコンピュータ等により構成されるハンドヘルド型でもよい。このように、装置本体2を構成する機器の種類は特に限定されない。
また、送受信回路12は、超音波プローブ1に備えられているが、超音波プローブ1に備えられる代わりに装置本体2に備えられていてもよい。
また、画像生成部21は、装置本体2に備えられているが、装置本体2に備えられる代わりに超音波プローブ1に備えられていてもよい。
また、画像生成部21は、装置本体2に備えられているが、装置本体2に備えられる代わりに超音波プローブ1に備えられていてもよい。
また、実施の形態1の超音波診断装置は、超音波プローブ1を備えているが、超音波プローブ1を備えていなくてもよい。この場合に例えば、装置本体2は、図示しないが、画像生成部21の代わりに、外部の超音波診断装置、サーバ装置または記憶媒体等の機器に接続され且つ複数の超音波画像が入力される画像入力部を備えることができる。画像メモリ24には、図示しない外部の機器から画像入力部に入力された複数の超音波画像が保存される。このようにして保存された複数の超音波画像に対して、画像特徴算出部25、スコア算出部26、判定部27、抽出部28および表示制御部22による処理がなされる。
実施の形態2
図16に、実施の形態2の超音波診断装置を示す。この超音波診断装置は、図1に示す超音波診断装置において、装置本体2の代わりに装置本体2Aを備えている。装置本体2Aは、図1に示す装置本体2において、画像間引き部51が追加され、本体制御部29の代わりに本体制御部29Aを備えている。また、装置本体2Aにおいて、画像生成部21、表示制御部22、画像特徴算出部25,スコア算出部26、判定部27、抽出部28および本体制御部29Aによりプロセッサ31Aが構成されている。
図16に、実施の形態2の超音波診断装置を示す。この超音波診断装置は、図1に示す超音波診断装置において、装置本体2の代わりに装置本体2Aを備えている。装置本体2Aは、図1に示す装置本体2において、画像間引き部51が追加され、本体制御部29の代わりに本体制御部29Aを備えている。また、装置本体2Aにおいて、画像生成部21、表示制御部22、画像特徴算出部25,スコア算出部26、判定部27、抽出部28および本体制御部29Aによりプロセッサ31Aが構成されている。
画像間引き部51は、画像メモリ24に保存されている複数の超音波画像を間引く。画像間引き部51は、例えば、複数の超音波画像から一定の間隔毎に超音波画像を間引くことができる。また、画像間引き部51は、複数の超音波画像に対して画像解析を行って、複数の超音波画像のそれぞれにおいて病変部Mを検出する処理を行い、病変部Mが検出できなかった超音波画像を間引くことができる。
このようにして画像間引き部51が間引きの処理を行うことによって残った超音波画像に基づいて画像特徴算出部25により多次元画像特徴が算出される。スコア算出部26は、算出された多次元画像特徴に基づいて病変部Mのスコアを算出し、判定部27は、算出された病変部Mのスコアに基づいて病変部Mを判定する。また、抽出部28は、判定部27による判定結果を最も良く表す根拠画像Uを画像間引き部51による間引きの処理で残った超音波画像から抽出する。表示制御部22は、判定部27による判定結果と、抽出部28によって抽出された根拠画像Uをモニタ23に表示する。
このように、画像間引き部51により複数の超音波画像が間引かれる場合でも、表示制御部22が判定部27による判定結果と抽出部28によって抽出された根拠画像Uをモニタ23に表示するため、ユーザは、選択された判定結果の根拠を詳細に把握して、精度良く被検体の病変部Mの診断を行うことができる。
なお、図示しないが、装置本体2Aは、画像間引き部51の代わりに、画像メモリ24に保存された複数の超音波画像を補間する画像補間部を備えることもできる。この場合には、画像特徴算出部25により多次元画像特徴を算出するために用いられる超音波画像の数と、抽出部28の抽出対象となる超音波画像の数が、画像メモリ24に保存された複数の超音波画像の数よりも増加するが、表示制御部22が判定部27による判定結果と抽出部28によって抽出された根拠画像Uをモニタ23に表示するため、ユーザは、選択された判定結果の根拠を詳細に把握して、精度良く被検体の病変部Mの診断を行うことができる。
また、図示しないが、装置本体2Aは、画像間引き部51の代わりに、画像メモリ24に保存された複数の超音波画像を合成して複数の合成画像を生成する画像合成部を備えることもできる。画像合成部は、例えば、時間的に隣接し且つ互いに類似する超音波画像を合成することにより画質を向上させた合成画像を生成できる。画像特徴算出部25は、複数の合成画像を画像解析することにより複数の合成画像のそれぞれから多次元画像特徴を算出する。また、抽出部28は、複数の合成画像から、判定部27による判定結果を最も良く表す合成画像を根拠画像Uとして抽出する。このように、複数の超音波画像が合成される場合でも、表示制御部22が判定部27による判定結果と抽出部28によって抽出された根拠画像Uをモニタ23に表示するため、ユーザは、選択された判定結果の根拠を詳細に把握して、精度良く被検体の病変部Mの診断を行うことができる。
また、装置本体2Aが画像間引き部51、画像補間部または画像合成部を備える代わりに、間引きされた複数の超音波画像、補間された複数の超音波画像、または、合成された複数の超音波画像が画像メモリ24に保存され、それらの超音波画像が処理に使用されることもできる。
1 超音波プローブ、2,2A 装置本体、11 振動子アレイ、12 送受信回路、21 画像生成部、22 表示制御部、23 モニタ、24 画像メモリ、25 画像特徴算出部、26 スコア算出部、27 判定部、28 抽出部、29,29A 本体制御部、30 入力装置、31,31A プロセッサ、41 パルサ、42 増幅部、43 AD変換部、44 ビームフォーマ、45 信号処理部、46 DSC、47 画像処理部、51 画像間引き部、A1 所見特徴、A2 推定組織型、A3 悪性度、A4 検診カテゴリ、HM ヒートマップ、L 囲み線、M 病変部、U 根拠画像。
Claims (11)
- 被検体の病変部を撮影した複数の超音波画像に基づいて前記病変部の判定を行う超音波診断装置であって、
前記複数の超音波画像を解析することにより、前記複数の超音波画像のそれぞれにおける多次元画像特徴を算出する画像特徴算出部と、
前記多次元画像特徴に基づいて前記複数の超音波画像のそれぞれにおける前記病変部のスコアを算出するスコア算出部と、
前記複数の超音波画像に対してそれぞれ算出された前記スコアに基づいて前記病変部の判定を行う判定部と、
前記複数の超音波画像から前記判定部による判定結果を最も良く表す超音波画像を根拠画像として抽出する抽出部と、
モニタと、
前記判定部による前記判定結果と前記抽出部により抽出された前記根拠画像を前記モニタに表示する表示制御部と
を備える超音波診断装置。 - 前記複数の超音波画像は、前記病変部を撮影した動画を構成する画像である請求項1に記載の超音波診断装置。
- 前記複数の超音波画像のそれぞれは、前記病変部の全体または一部が撮影された画像である請求項1または2に記載の超音波診断装置。
- 前記複数の超音波画像は、前記病変部を撮影した動画を構成する画像から間引きされた画像、補間された画像、または、合成された画像である請求項2に記載の超音波診断装置。
- 前記抽出部は、前記根拠画像において前記病変部を囲む囲み線を形成し、
前記表示制御部は、前記根拠画像上に、前記囲み線を重畳表示する請求項1または2に記載の超音波診断装置。 - 前記抽出部は、前記根拠画像において、前記スコア算出部による前記スコアの算出に寄与する部分の寄与率が色の濃淡または色の違いにより表されたヒートマップを形成し、
前記表示制御部は、前記ヒートマップを前記モニタに表示する請求項1または2に記載の超音波診断装置。 - 前記スコア算出部は、超音波画像の多次元画像特徴を学習させた機械学習モデルにより前記スコアを算出する請求項1または2に記載の超音波診断装置。
- 前記判定部は、前記複数の超音波画像のうち、前記病変部が最も大きく撮影された超音波画像の前記スコアに基づいて判定を行う請求項1または2に記載の超音波診断装置。
- 前記判定部は、前記複数の超音波画像の前記スコアの多数決、最大値、中央値または最頻値に基づいて判定を行う請求項1または2に記載の超音波診断装置。
- 前記判定部は、前記複数の超音波画像の前記スコアから外れ値を除き、前記外れ値が除かれた前記複数の超音波画像の前記スコアの多数決、最大値、中央値または最頻値に基づいて判定を行う請求項1または2に記載の超音波診断装置。
- 被検体の病変部を撮影した複数の超音波画像に基づいて前記病変部の判定を行う超音波診断装置の制御方法であって、
前記複数の超音波画像を解析することにより、前記複数の超音波画像のそれぞれにおける多次元画像特徴を算出し、
前記多次元画像特徴に基づいて前記複数の超音波画像のそれぞれにおける前記病変部のスコアを算出し、
前記複数の超音波画像に対してそれぞれ算出された前記スコアに基づいて前記病変部の判定を行い、
前記複数の超音波画像から前記病変部の判定結果を最も良く表す超音波画像を根拠画像として抽出し、
前記判定結果と前記根拠画像をモニタに表示する
超音波診断装置の制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022100015A JP2024001405A (ja) | 2022-06-22 | 2022-06-22 | 超音波診断装置および超音波診断装置の制御方法 |
EP23175669.3A EP4295780A1 (en) | 2022-06-22 | 2023-05-26 | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus |
US18/325,495 US20230414204A1 (en) | 2022-06-22 | 2023-05-30 | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus |
CN202310723772.7A CN117257345A (zh) | 2022-06-22 | 2023-06-19 | 超声波诊断装置及超声波诊断装置的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022100015A JP2024001405A (ja) | 2022-06-22 | 2022-06-22 | 超音波診断装置および超音波診断装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024001405A true JP2024001405A (ja) | 2024-01-10 |
Family
ID=86605000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022100015A Pending JP2024001405A (ja) | 2022-06-22 | 2022-06-22 | 超音波診断装置および超音波診断装置の制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230414204A1 (ja) |
EP (1) | EP4295780A1 (ja) |
JP (1) | JP2024001405A (ja) |
CN (1) | CN117257345A (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7458936B2 (en) * | 2003-03-12 | 2008-12-02 | Siemens Medical Solutions Usa, Inc. | System and method for performing probabilistic classification and decision support using multidimensional medical image databases |
JP4701397B2 (ja) | 2006-03-24 | 2011-06-15 | 国立大学法人岐阜大学 | 医用動画像による画像診断システム |
JP6638230B2 (ja) * | 2015-07-21 | 2020-01-29 | コニカミノルタ株式会社 | 超音波画像処理装置及びプログラム |
EP3818943A4 (en) * | 2018-07-02 | 2021-08-25 | FUJIFILM Corporation | ACOUSTIC WAVE DIAGNOSIS DEVICE AND PROCESS FOR CONTROLLING THE ACOUSTIC WAVE DIAGNOSIS DEVICE |
KR20200109093A (ko) * | 2019-03-12 | 2020-09-22 | 삼성메디슨 주식회사 | 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품 |
EP4129199A4 (en) * | 2020-03-24 | 2023-08-30 | FUJIFILM Corporation | ULTRASONIC DIAGNOSTIC APPARATUS, CONTROL METHOD FOR ULTRASONIC DIAGNOSTIC APPARATUS, AND PROCESSOR FOR ULTRASONIC DIAGNOSTIC APPARATUS |
-
2022
- 2022-06-22 JP JP2022100015A patent/JP2024001405A/ja active Pending
-
2023
- 2023-05-26 EP EP23175669.3A patent/EP4295780A1/en active Pending
- 2023-05-30 US US18/325,495 patent/US20230414204A1/en active Pending
- 2023-06-19 CN CN202310723772.7A patent/CN117257345A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117257345A (zh) | 2023-12-22 |
US20230414204A1 (en) | 2023-12-28 |
EP4295780A1 (en) | 2023-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7235868B2 (ja) | 超音波診断装置および超音波診断装置の制御方法 | |
WO2020075609A1 (ja) | 超音波診断装置および超音波診断装置の制御方法 | |
KR20120102447A (ko) | 진단장치 및 방법 | |
US20230346334A1 (en) | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus | |
JP2006280520A (ja) | 超音波撮像装置、超音波画像処理方法、及び、超音波画像処理プログラム | |
JP7434529B2 (ja) | 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ | |
EP4295780A1 (en) | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus | |
JP2010012157A (ja) | 超音波画像処理装置及び方法並びにプログラム | |
JP5205152B2 (ja) | 超音波画像処理装置及びプログラム | |
CN113545806A (zh) | 前列腺弹性成像方法和超声弹性成像系统 | |
JP5060141B2 (ja) | 超音波診断装置 | |
WO2024127992A1 (ja) | 超音波診断装置および超音波診断装置の制御方法 | |
US20230404538A1 (en) | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus | |
US20230414194A1 (en) | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus | |
EP4186437B1 (en) | Ultrasound image analysis apparatus, ultrasound diagnostic apparatus, and control method for ultrasound image analysis apparatus | |
EP4360564A1 (en) | Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device | |
WO2023228564A1 (ja) | 画像切り出し支援装置、超音波診断装置および画像切り出し支援方法 | |
EP4360565A1 (en) | Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device | |
US20230157661A1 (en) | Ultrasound image analysis apparatus, ultrasound diagnostic apparatus, and control method for ultrasound image analysis apparatus | |
WO2022230379A1 (ja) | 超音波診断装置および超音波診断装置の制御方法 | |
JP2024001441A (ja) | 画像表示装置および画像表示装置の制御方法 | |
JP2023087303A (ja) | 超音波診断装置および超音波診断装置の制御方法 | |
JP2024039916A (ja) | 超音波診断装置および超音波診断装置の制御方法 | |
JP2024039871A (ja) | 超音波診断装置および超音波診断装置の制御方法 | |
KR101126917B1 (ko) | 3차원 영상을 이용하여 오블리크 단면영상을 형성하는 영상처리 시스템 및 방법 |