JP7193979B2 - 医用撮像装置、画像処理装置、および、画像処理方法 - Google Patents
医用撮像装置、画像処理装置、および、画像処理方法 Download PDFInfo
- Publication number
- JP7193979B2 JP7193979B2 JP2018202441A JP2018202441A JP7193979B2 JP 7193979 B2 JP7193979 B2 JP 7193979B2 JP 2018202441 A JP2018202441 A JP 2018202441A JP 2018202441 A JP2018202441 A JP 2018202441A JP 7193979 B2 JP7193979 B2 JP 7193979B2
- Authority
- JP
- Japan
- Prior art keywords
- cross
- image
- section
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 80
- 238000002059 diagnostic imaging Methods 0.000 title claims description 42
- 238000003672 processing method Methods 0.000 title claims 3
- 238000000605 extraction Methods 0.000 claims description 115
- 238000005259 measurement Methods 0.000 claims description 108
- 238000004364 calculation method Methods 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 44
- 238000004458 analytical method Methods 0.000 claims description 43
- 239000000284 extract Substances 0.000 claims description 9
- 210000001015 abdomen Anatomy 0.000 description 30
- 230000003187 abdominal effect Effects 0.000 description 28
- 238000000034 method Methods 0.000 description 24
- 210000003606 umbilical vein Anatomy 0.000 description 23
- 230000001605 fetal effect Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 230000015654 memory Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 210000003754 fetus Anatomy 0.000 description 17
- 210000000038 chest Anatomy 0.000 description 12
- 239000000523 sample Substances 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000002496 gastric effect Effects 0.000 description 9
- 238000002604 ultrasonography Methods 0.000 description 7
- 210000000689 upper leg Anatomy 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 206010056978 Gastric cyst Diseases 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000002458 fetal heart Anatomy 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000004381 amniotic fluid Anatomy 0.000 description 2
- 210000002376 aorta thoracic Anatomy 0.000 description 2
- 230000037396 body weight Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012732 spatial analysis Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 230000002861 ventricular Effects 0.000 description 2
- 210000003815 abdominal wall Anatomy 0.000 description 1
- 210000000702 aorta abdominal Anatomy 0.000 description 1
- 208000002352 blister Diseases 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000003456 pulmonary alveoli Anatomy 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/488—Diagnostic techniques involving Doppler signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10076—4D tomography; Time-sequential 3D tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Geometry (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Description
本実施形態の医用撮像装置10は、図1に示すように、被検体を撮像し、画像データを収集する撮像部100と、撮像部100が収集した画像データから、所定の構造物を含む目的断面の断面画像を抽出する処理を行う画像処理部200とを少なくとも備えている。図1の例では、医用撮像装置10は、さらに、撮像部100が取得した画像或いは画像処理部200が処理した画像を表示する表示部310と、撮像部100や画像処理部200の処理に必要な指令やデータをユーザが入力するための操作入力部330とを備える。表示部310及び操作入力部330は、通常、近接して配置され、ユーザーインターフェイス(UI)300として機能する。医用撮像装置10は、さらに撮像部100が得た画像データや画像処理部200が処理に用いるデータや処理結果などを格納する記憶装置350を備えていてもよい。
まず図4を参照して、本発明が適用される超音波診断装置について説明する。
本実施形態の超音波診断装置40には、探触子410が接続されている。超音波診断装置40は、送信ビームフォーマ420と、D/Aコンバータ430と、A/Dコンバータ440と、ビームフォーマメモリ450と、受信ビームフォーマ460と、画像処理部470と、表示部310と、操作入力部330とを備える。
次にモデル導入部270のモデル保存部251に保存された学習モデル550について図5から図8を用いて説明する。
多段階の抽出の詳細について、図9を参照してさらに説明する。まず、構造物検出部232は、検出対象の断面画像800を、学習済み複数スケール対応縮小化モデル550の入力画像541のサイズにリサイズ(縮小)し、縮小化モデル550に入力する。これにより、縮小化モデル550から、第一段階の識別(検出)結果810が得られる。
スコア算出部250の詳細について、図10の腹部断面を参照して説明する。構造物の検出の結果として、910のように、各構造物の種類を特定する情報(名称)、構造物の領域911~913、及び検出された構造物の信頼度のスコアS1~S4が結果として得られる。図10の例では、腹部の輪郭領域911とスコアS1、脊椎領域912とスコアS2、臍静脈領域913とスコアS3、胃胞領域914とスコアS4が検出されている。
自動計測の具体例を、胎児の体重計測と心臓計測を例に説明する。胎児の体重計測は、一般的に、図11に示すように、計測対象である胎児の構造に対して、胎児頭部断面1010からBPD(児頭大横径)を計測し、腹部断面1020からAC(腹部周囲長)を計測し、大腿骨部断面1030からFL(大腿骨長)を計測し、それらの計測値に基づいて胎児の体重を推測し、週数に応じた成長曲線と見比べ、胎児が順調に成長しているかを判断する。
(a、bは経験値から求められた係数で、例えばa=1.07、b=0.30である)
自動計測部210は各部位の計測値と算出した推定体重を表示部310に表示させる。
上述した超音波撮像装置40の構成と図12の目的断面の特徴を踏まえ、本実施形態の構造物検出部によって検出(抽出)される構造物の例を説明する。ここでは一例として、胎児計測用腹部断面、頭部断面、大腿骨断面、胸部断面の構造物を例に説明する。
図13と図15を用いて、画像データが、時間軸における連続2D断面である場合に、データの取得から断面画像群生成を生成し、目的断面の画像を抽出処理までを説明する。
図14を用いて、抽出対象が3Dボリュームデータである場合に、データを取得し、断面画像群を生成し、目的断面の断面画像を選択するまでを説明する。なお、処理フローとして、図15を参照する。
自動計測部210の自動計測の処理フローを図16を用いて説明する。この自動計測の機能は、断面抽出の機能と直接繋がってもよいし、自動計測機能単体としても利用可能である。
表示部310に表示される画面(UI)の一例を図17に示す。図17はAC(腹部周囲長)計測用の目的断面を例に説明したものであり、表示画面1600上に、目的断面表示ブロック1610、分析結果表示1620、断面候補表示ブロック1630、位置調整スライダ1640、断面の種類や計測値を示すブロック1650、適正スコアを示すブロック1660、設定ブロック1670などが表示される。目的断面表示ブロック1610には、断面抽出部260により抽出された目的断面1601を表示する。また目的断面1601において計測を行った位置1602と計測値1650を表示する。計測位置1602上にはユーザ操作によりドラッグ可能なマーカ1603を表示する。マーカ1603のドラッグ操作により、計測位置1602と計測値1650が更新される。
図19~図21を用いて、第一および第二実施形態の構造物の領域の検出技術をベースにした自動ROI(AUTO_ROI)設定とスキャン範囲自動調整の技術である。
実施形態とその変形例は、本発明を超音波診断装置に適用した実施形態であるが、本発明はボリュームデータ或いは時系列データを取得可能な医用撮像装置であれば、全て適用することができる。また上述した実施形態では、画像処理部200が、医用撮像装置の一部である場合を説明したが、撮像と画像処理とを並行して行わない場合には、医用撮像装置(図1の撮像部100)から空間的或いは時間的に離れて配置された画像処理装置或いは画像処理部として用いることができる。具体的には、画像処理部200は、既存の超音波診断装置等の医用撮像装置の外付け装置として用いることが可能であるし、既存の医用撮像装置と公衆回線やインターネット回線で接続されたアプリケーションサービスプロバイダ(ASP)やSaaS(Software as a service)等のクラウドサービスを実現する装置として用いることができる。
40 超音波診断装置
100 撮像部
101 被検体
200 画像処理部
210 演算部
230 構造物抽出部
231 断面選出部
232 構造物検出部
233 構造物判定部
250 スコア算出部
251 形状スコア算出部
252 幾何学スコア算出部
260 断面抽出部
261 解析部
262 断面決定部
270 モデル導入部
271 保存部
273 モデル呼出部
300 ユーザーインターフェイス
310 表示部
330 操作入力部
350 記憶装置
410 探触子
420 送信ビームフォーマ
430 D/Aコンバータ
440 A/Dコンバータ
450 ビームフォーマメモリ
460 受信ビームフォーマ
470 画像処理部
471 データ構成部
472 データメモリ
478 断面調整部
500 学習データベース
510 学習済み高精度モデル
530 複数スケール学習データベース
540 複数スケール対応縮小化モデル
560 多段階構造物抽出
Claims (14)
- 被検体の画像データを収集する撮像部と、前記撮像部が収集した画像データから、所定の複数の構造物を含む目的断面の断面画像を抽出する処理を行う画像処理部と、を備え、
前記画像処理部は、学習データにより学習済みの学習モデルを保存する学習モデル保存部と、前記画像データから得られる複数の断面画像に前記学習モデルを適用することにより、前記断面画像に含まれる前記所定の複数の構造物の領域を検出する構造物抽出部と、検出された前記所定の複数の構造物の領域に基づいて複数の前記断面画像から前記目的断面の断面画像を抽出する断面抽出部と、総合スコア算出部とを含み、
前記学習データは、前記目的断面について予め撮像された、前記構造物の像を含む学習用目的断面画像と、前記学習用目的断面画像のうち前記構造物が含まれる関心領域を切り出して拡大した学習用関心領域断面画像とを含み、
前記構造物抽出部は、検出した前記所定の複数の構造物の領域について、その検出の信頼度を示すスコアをさらに出力し、
前記総合スコア算出部は、前記構造物抽出部が検出した前記所定の複数の構造物の領域間の幾何学的な角度または距離を求め、求めた角度または距離を用いて幾何学スコアを算出し、前記信頼度を示すスコアと前記幾何学スコアとを用いて総合スコアをさらに算出し、
前記断面抽出部は、前記総合スコアの高い前記断面画像を前記目的断面の断面画像として選択する
ことを特徴とする医用撮像装置。 - 請求項1に記載の医用撮像装置であって、
前記構造物抽出部は、前記画像データから得られる前記断面画像に前記学習モデルを適用することにより、前記断面画像に含まれる構造物の領域が検出された場合、当該断面画像から前記構造物の領域が含まれる領域を切り出した画像を生成し、再度前記学習モデルを適用して前記切り出した画像に含まれる構造物をさらに検出することを特徴とする医用撮像装置。 - 請求項1に記載の医用撮像装置であって、前記目的断面には、前記構造物として、第1の構造物と、前記第1の構造物の内部に位置する第2の構造物が含まれ、前記学習データの前記学習用目的断面画像には、前記第1の構造物と前記第2の構造物の像が含まれ、前記学習用関心領域断面画像は、前記学習用目的断面画像の前記第1の構造物を含む一部領域を切り出して拡大した画像であり、
前記構造物抽出部は、前記画像データから得られる前記断面画像に前記学習モデルを適用することにより、前記第1の構造物の領域が検出された場合、当該断面画像から前記第1の構造物の領域が含まれる領域を切り出した画像を生成し、当該切り出した画像に前記学習モデルを適用し、前記第2の構造物の領域を検出することを特徴とする医用撮像装置。 - 請求項1に記載の医用撮像装置であって、前記学習データは、前記構造物について種類を特定する情報と画像上の当該構造物が位置する領域の位置情報とを、その構造物が含まれる前記学習用目的断面画像または前記学習用関心領域断面画像とそれぞれ対応させてさらに含むことを特徴とする医用撮像装置。
- 請求項1に記載の医用撮像装置であって、前記学習モデルは、検出対象領域の相対サイズの分析に基づき、前記目的断面画像を学習データとして学習済みの高精度モデルの入力画像サイズおよび階層数の少なくとも一方を低減した縮小化モデルを、前記学習用目的断面画像と前記学習用関心領域断面画像とを含む前記学習データにより再学習させたものであることを特徴とする医用撮像装置。
- 請求項5に記載の医用撮像装置であって、前記学習モデルが、前記入力画像サイズが低減されたものである場合、前記構造物抽出部は、前記画像データから得られる前記断面画像を、前記入力画像サイズまで縮小して入力画像として前記学習モデルに入力することを特徴とする医用撮像装置。
- 請求項1に記載の医用撮像装置であって、
前記画像処理部は、前記目的断面の断面画像として選択した前記断面画像の前記構造物の領域を用いて、予め定めた計測値の演算を行う自動計測部をさらに備えることを特徴とする医用撮像装置。 - 請求項6に記載の医用撮像装置であって、
前記画像処理部は、前記断面抽出部が選択した前記目的断面の断面画像と、前記構造物の領域と、前記総合スコアとを表示部に表示させる表示制御部をさらに備えることを特徴とする医用撮像装置。 - 請求項6に記載の医用撮像装置であって、
前記構造物抽出部は、前記画像データから得られた複数の断面画像について順次前記構造物の領域を抽出し、
前記総合スコア算出部は、前記断面画像ごとに前記総合スコアを算出し、
前記断面抽出部は、前記複数の断面画像について順次算出される前記総合スコアの変化を解析することにより前記目的断面の断層画像を選択するとともに、表示部に表示させることを特徴と医用撮像装置。 - 請求項1に記載の医用撮像装置であって、
前記構造物抽出部は、検出した複数の前記構造物の領域の一つを関心領域として選択することを特徴とする医用撮像装置。 - 請求項10に記載の医用撮像装置であって、
前記構造物抽出部が選択した関心領域に対応する前記断面画像の領域を、表示部に拡大表示させる表示制御部をさらに有することを特徴とする医用撮像装置。 - 請求項10に記載の医用撮像装置であって、
前記撮像部は、超音波ビームを被検体に対して走査しながら送信することにより前記画像データを収集するものであり、
前記撮像部は、前記超音波ビームの走査範囲を、前記構造物抽出部が選択した関心領域の範囲に限定することを特徴とする医用撮像装置。 - 被検体の画像データを受け取って、前記画像データから所定の構造物を含む目的断面の断面画像を抽出する処理を行う画像処理装置であって、
学習データにより学習済みの学習モデルを保存する学習モデル保存部と、前記画像データから得られる複数の断面画像に前記学習モデルを適用することにより、前記断面画像に含まれる前記所定の複数の構造物の領域を検出する構造物抽出部と、検出された前記所定の複数の構造物の領域に基づいて前記目的断面の断面画像を抽出する断面抽出部と、総合スコア算出部とを含み、
前記学習データは、前記目的断面について予め撮像された、前記構造物の像を含む学習用目的断面画像と、前記学習用目的断面画像のうち前記構造物が含まれる一部領域を切り出して拡大した学習用関心領域断面画像とを含み、
前記構造物抽出部は、検出した前記所定の複数の構造物の領域について、その検出の信頼度を示すスコアをさらに出力し、
前記総合スコア算出部は、前記構造物抽出部が検出した前記所定の複数の構造物の領域間の幾何学的な角度または距離を求め、求めた角度または距離を用いて幾何学スコアを算出し、前記信頼度を示すスコアと前記幾何学スコアとを用いて総合スコアをさらに算出し、
前記断面抽出部は、前記総合スコアの高い前記断面画像を前記目的断面の断面画像として選択する
ことを特徴とする画像処理装置。 - 被検体の画像データから、所定の複数の構造物を含む目的断面の断面画像を抽出する画像処理方法であって、
前記構造物の像を含む学習用目的断面画像と、前記学習用目的断面画像のうち前記構造物が含まれる一部領域を切り出して拡大した学習用関心領域断面画像とを含む学習データによって学習済みの学習モデルを、前記画像データから得られる複数の断面画像に適用することにより、前記断面画像に含まれる前記所定の複数の構造物の領域を検出するとともに、検出した前記所定の複数の構造物の領域について、その検出の信頼度を示すスコアを検出し、
検出した前記所定の複数の構造物の領域間の幾何学的な角度または距離を求め、求めた角度または距離を用いて幾何学スコアを算出し、前記信頼度を示すスコアと前記幾何学スコアとを用いて総合スコアをさらに算出し、
前記総合スコアの高い前記断面画像を前記目的断面の断面画像として選択する
ことを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018202441A JP7193979B2 (ja) | 2018-10-29 | 2018-10-29 | 医用撮像装置、画像処理装置、および、画像処理方法 |
US16/594,116 US11450003B2 (en) | 2018-10-29 | 2019-10-07 | Medical imaging apparatus, image processing apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018202441A JP7193979B2 (ja) | 2018-10-29 | 2018-10-29 | 医用撮像装置、画像処理装置、および、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020068797A JP2020068797A (ja) | 2020-05-07 |
JP7193979B2 true JP7193979B2 (ja) | 2022-12-21 |
Family
ID=70327498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018202441A Active JP7193979B2 (ja) | 2018-10-29 | 2018-10-29 | 医用撮像装置、画像処理装置、および、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11450003B2 (ja) |
JP (1) | JP7193979B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD878416S1 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Electronic device with graphical user interface |
KR102027974B1 (ko) * | 2018-08-31 | 2019-10-04 | 길재소프트 주식회사 | 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 |
US11488650B2 (en) * | 2020-04-06 | 2022-11-01 | Memryx Incorporated | Memory processing unit architecture |
WO2021099449A1 (en) * | 2019-11-22 | 2021-05-27 | Koninklijke Philips N.V. | Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods |
CN113689375A (zh) * | 2020-05-18 | 2021-11-23 | 西门子(深圳)磁共振有限公司 | 介入治疗中的图像呈现方法、系统、成像系统及存储介质 |
US20220071595A1 (en) * | 2020-09-10 | 2022-03-10 | GE Precision Healthcare LLC | Method and system for adapting user interface elements based on real-time anatomical structure recognition in acquired ultrasound image views |
IT202100004376A1 (it) * | 2021-02-25 | 2022-08-25 | Esaote Spa | Metodo di determinazione di piani di scansione nell’acquisizione di immagini ecografiche e sistema ecografico per l’attuazione del detto metodo |
CN115496703A (zh) * | 2021-06-18 | 2022-12-20 | 富联精密电子(天津)有限公司 | 肺炎区域检测方法及系统 |
CN113393456B (zh) * | 2021-07-13 | 2022-04-19 | 湖南大学 | 基于多任务的早孕期胎儿标准切面的自动质量控制方法 |
WO2023204610A2 (ko) * | 2022-04-19 | 2023-10-26 | 주식회사 온택트헬스 | 심장 초음파에 대한 가이드 방법 및 이를 이용한 심장 초음파에 대한 가이드용 디바이스 |
EP4407558A1 (en) * | 2023-01-26 | 2024-07-31 | Koninklijke Philips N.V. | Obtaining a medical image at a target plane |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042808A1 (ja) | 2010-09-30 | 2012-04-05 | パナソニック株式会社 | 超音波診断装置 |
US20160038122A1 (en) | 2014-08-05 | 2016-02-11 | Samsung Medison Co., Ltd. | Ultrasound diagnosis apparatus |
JP2016168046A (ja) | 2015-03-09 | 2016-09-23 | 学校法人法政大学 | 植物病診断システム、植物病診断方法、及びプログラム |
JP2018022484A (ja) | 2016-08-02 | 2018-02-08 | 三菱電機株式会社 | 画像内の物体を検出する方法及び物体検出システム |
JP2018079000A (ja) | 2016-11-15 | 2018-05-24 | 株式会社日立製作所 | 超音波診断装置、及び画像処理装置 |
JP2018151748A (ja) | 2017-03-10 | 2018-09-27 | オムロン株式会社 | 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008259622A (ja) * | 2007-04-11 | 2008-10-30 | Fujifilm Corp | レポート作成支援装置およびそのプログラム |
US20110311116A1 (en) * | 2010-06-17 | 2011-12-22 | Creighton University | System and methods for anatomical structure labeling |
CA2974377C (en) * | 2015-01-23 | 2023-08-01 | The University Of North Carolina At Chapel Hill | Apparatuses, systems, and methods for preclinical ultrasound imaging of subjects |
JP6490809B2 (ja) | 2015-05-22 | 2019-03-27 | 株式会社日立製作所 | 超音波診断装置、及び画像処理方法 |
-
2018
- 2018-10-29 JP JP2018202441A patent/JP7193979B2/ja active Active
-
2019
- 2019-10-07 US US16/594,116 patent/US11450003B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042808A1 (ja) | 2010-09-30 | 2012-04-05 | パナソニック株式会社 | 超音波診断装置 |
US20160038122A1 (en) | 2014-08-05 | 2016-02-11 | Samsung Medison Co., Ltd. | Ultrasound diagnosis apparatus |
JP2016168046A (ja) | 2015-03-09 | 2016-09-23 | 学校法人法政大学 | 植物病診断システム、植物病診断方法、及びプログラム |
JP2018022484A (ja) | 2016-08-02 | 2018-02-08 | 三菱電機株式会社 | 画像内の物体を検出する方法及び物体検出システム |
JP2018079000A (ja) | 2016-11-15 | 2018-05-24 | 株式会社日立製作所 | 超音波診断装置、及び画像処理装置 |
JP2018151748A (ja) | 2017-03-10 | 2018-09-27 | オムロン株式会社 | 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11450003B2 (en) | 2022-09-20 |
JP2020068797A (ja) | 2020-05-07 |
US20200134825A1 (en) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7193979B2 (ja) | 医用撮像装置、画像処理装置、および、画像処理方法 | |
EP3826544B1 (en) | Ultrasound system with an artificial neural network for guided liver imaging | |
US11653897B2 (en) | Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus | |
JP5265850B2 (ja) | 関心領域を指示するためのユーザ対話式の方法 | |
JP6453857B2 (ja) | 超音波画像の3d取得のためのシステムおよび方法 | |
CN111885964B (zh) | 识别超声图像的特性的系统和方法 | |
JP6824125B2 (ja) | 医用撮像装置及び画像処理方法 | |
CN105451656B (zh) | 用于获得对象的感兴趣区域的x射线图像的方法和设备 | |
EP3174467B1 (en) | Ultrasound imaging apparatus | |
JP5645811B2 (ja) | 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム | |
US20110201935A1 (en) | 3-d ultrasound imaging | |
EP3463098B1 (en) | Medical ultrasound image processing device | |
EP2433567A1 (en) | Medical image diagnosis device and region-of-interest setting method therefor | |
CN111035408B (zh) | 用于超声探头定位反馈的增强的可视化的方法和系统 | |
JP2011224362A (ja) | 超音波データにおいて関心領域を決定するための方法及びシステム | |
JP7010948B2 (ja) | 胎児超音波撮像 | |
CN112040877B (zh) | 医用信息处理系统以及计算机可读存储介质 | |
CN111683600B (zh) | 用于根据超声图像获得解剖测量的设备和方法 | |
US9357981B2 (en) | Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same | |
KR20170098168A (ko) | 초음파 볼륨의 자동 정렬 | |
CN110446466A (zh) | 体积绘制的超声成像 | |
EP3900635A1 (en) | Vascular system visualization | |
EP3673815B1 (en) | Acoustic wave measurement apparatus and method for operating acoustic wave measurement apparatus | |
CN114601494A (zh) | 超声波诊断系统以及操作辅助方法 | |
JP2022180993A (ja) | 超音波診断装置及び診断支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210615 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7193979 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |