JP6824125B2 - 医用撮像装置及び画像処理方法 - Google Patents

医用撮像装置及び画像処理方法 Download PDF

Info

Publication number
JP6824125B2
JP6824125B2 JP2017146782A JP2017146782A JP6824125B2 JP 6824125 B2 JP6824125 B2 JP 6824125B2 JP 2017146782 A JP2017146782 A JP 2017146782A JP 2017146782 A JP2017146782 A JP 2017146782A JP 6824125 B2 JP6824125 B2 JP 6824125B2
Authority
JP
Japan
Prior art keywords
cross
section
unit
model
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017146782A
Other languages
English (en)
Other versions
JP2019024925A5 (ja
JP2019024925A (ja
Inventor
云 李
云 李
崇 豊村
崇 豊村
俊徳 前田
俊徳 前田
子盛 黎
子盛 黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017146782A priority Critical patent/JP6824125B2/ja
Priority to US16/630,581 priority patent/US20210089812A1/en
Priority to PCT/JP2018/021926 priority patent/WO2019021646A1/ja
Publication of JP2019024925A publication Critical patent/JP2019024925A/ja
Publication of JP2019024925A5 publication Critical patent/JP2019024925A5/ja
Application granted granted Critical
Publication of JP6824125B2 publication Critical patent/JP6824125B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Description

本発明は、超音波診断装置、ＭＲＩ装置、ＣＴ装置等の医用撮像装置に係り、特に医用撮像装置で取得した３次元画像や時系列２次元又は時系列３次元画像から所定の断面を選択し、表示させるための技術に関する。
医用撮像装置は、対象となる部位の形態画像を取得した後、画像を表示するだけでなく、形態情報や機能情報を定量的に取得する用途でも用いられる。このような用途として、例えば、超音波診断装置における、胎児の成長を観察するための推定体重計測がある。このような計測は、大きく分けて、画像取得、計測画像の選択、計測の３つの工程により行われる。画像取得の工程では、対象部位周辺から連続に撮像した複数枚の２次元断面画像、またはボリュームデータを取得する。計測画像の選択の工程では、取得したデータから計測に最適な断面画像を選択する。計測の工程では、胎児の推定体重計測であれば頭部、腹部、脚部の各部位を計測し、計測値に対し、所定の計算式に従った計算を行い、体重を算出する。頭部や腹部の計測は、表面のトレースを必要とし、検査に時間がかかっていたが、近年では、トレースを自動で行い、所定の計算まで行う自動計測技術の提案されている（特許文献１等）。この技術により計測のワークフロー改善が実現されている。
しかし、検査にもっとも時間と手間をかかるのは画像取得後の計測画像の選択である。特に胎児の場合は被検査者の腹部内部について、計測断面の存在場所の推定と描出が難しく、断面の取得に時間がかかる。胎児検査に必要な断面の取得が難しいという課題に対し、特許文献２には、３次元データから高エコー領域を抽出し、抽出した高エコー領域の３次元特徴に基いて断面を選択することが開示されている。具体的には、断面選択において、予め用意した３次元の特徴を示すテンプレートとのマッチングを行い、それらが一致する場合に、断面と決定する。
国際公開２０１６／１９０２５６号公報 国際公開２０１２／０４２８０８号公報
一般に超音波画像の特徴として、撮像者や撮像回次ごとに撮像される画像データが異なること（撮像者依存性）と、撮像対象の体質や疾患により撮像される画像データが異なること（撮像対象依存性）が挙げられる。撮像者依存性は、超音波を照射し断面画像またはボリュームデータとして取得する体内の領域の探索を撮像の都度、人手で行うため、同一患者に対し同一検査者が検査を行ったとしても取得データを完全に一致させることが難しいことから生じる。また、撮像対象者依存性は、患者の体質により音波の体内伝搬速度および減衰率が異なること、患者の疾患や個人差により異なる患者間では臓器の形状が完全に一致しないことから生じる。つまり、計測に理想的な画像は、撮像者依存性および撮像対象者依存性の影響により、撮像回次や患者によらず取得することが難しい。取得されたデータには理想的な位置に対するずれ、画像の不鮮明、特徴的な形状の差異などが生じる。
特許文献２に開示された技術は、予め用意したテンプレートとのマッチングによって断面を決定するため、上述した撮像者依存性や撮像対象依存性に対応することができない。
ＭＲＩ装置やＣＴ装置では、超音波診断装置に比べ撮像者依存性は少ないが、個人差や同じ個人でも心臓や肺など時系列画像において形態変化がある場合、テンプレートとのマッチングで断面を決めることは困難である。
また近年、画質の向上や特定疾患の判定などにＤＬ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術を適用することが試みられているが、ＤＬで高い精度の識別力を達成するためには、高い処理能力を持つハードウェアが必要となり、また処理に要する時間も長くなるため、従来の医用撮像装置や処理の高速性が要求される医用撮像装置に搭載することは困難である。
そこで、本発明は、医用撮像装置で取得した３Ｄボリュームデータ、または時間的に連続撮像した２Ｄ又は３Ｄ画像や３Ｄボリュームデータから、診断や計測に用いる所定の断面を決定する際に、撮像者依存性や撮像対象依存性の問題を回避して、高精度且つ高速で断面を自動抽出する技術を提供することを課題とする。
上記課題を解決するため、本発明は、処理対象のデータから選択した複数の断面について、抽出すべき断面（目的断面）との空間的或いは時間的距離を識別スコアとして出力するように学習され、目的断面の抽出に適し且つ医用撮像装置に容易に搭載可能な学習済の学習モデルを提供する。そして、処理対象の断面画像の適性スコアを機械学習で得られたモデルを用いて算出することで、目的断面画像の抽出を高精度に実現する。
すなわち、本発明の医用撮像装置は、被検体の画像データを収集する撮像部と、前記撮像部が収集した画像データから所定の断面を抽出する処理を行う画像処理部と、を備え、前記画像処理部は、複数の断面画像データに対し所定の断面との空間的又は時間的近さを示すスコアとして出力するように予め学習された学習モデルを導入するモデル導入部と、前記画像データから複数の断面画像を選択し、選択した断面画像に対し前記学習モデルを適用した結果に基づき所定の断面を抽出する断面抽出部と、を備える。学習モデルは、学習済モデルの特徴量抽出層と未学習モデルの識別層とを融合し縮小化した学習モデルであり、融合前の学習済モデルよりも簡易な層構成からなる。
また本発明の画像処理方法は、撮像データから、処理対象となる目的断面を決定し、提示する画像処理方法であって、複数の断面画像について目的断面画像との空間的又は時間的近さを識別スコアとして出力するように学習された学習モデルを用意するステップと、当該学習モデルを用いて、前記撮像データから選択した複数の断面画像について前記識別スコアの分布を得て、当該分布に基き前記目的断面を判定するステップと、を含む。前記学習モデルは、前記撮像データを構成する複数の断面画像と目的断面画像とを学習データとして学習した学習済モデルの特徴量抽出層と、未学習モデルの識別層とを融合し、再学習した縮小化モデルである。
本発明によれば、学習モデルを断面抽出に適用することで、計測に最適な断面画像の自動抽出において、手技依存性の軽減、検査時間の短縮を実現できる。また、学習モデルとして、高精度な複雑なモデルから精度を維持したまま縮小した簡素な縮小化モデルを用いることで、医用撮像装置において標準的な画像処理部の規模を維持したまま、学習モデルを装置に搭載することができ、且つ高速処理が可能となる。
医用撮像装置の全体構成を示す図 第一実施形態の画像処理部の要部の構成を示す図 第一実施形態の画像処理部の処理工程を示すフローチャート 第二実施形態の医用撮像装置（超音波診断装置）の構成を示すブロック図 学習モデルの融合・縮小化を説明する図 ＣＮＮを用いた学習モデルの融合・縮小化を説明する図 学習モデルの学習過程を説明する図 第二実施形態の断面選択処理を説明する図 第二実施形態の断面抽出の処理工程を示すフローチャート 第二実施形態の断面選択における探索領域を説明する図 第二実施形態の抽出断面の調整工程を示すフローチャート 抽出断面の表示例と断面調整のＧＵＩを示す図 胎児の体重計測における計測断面を説明する図 （ａ）〜（ｃ）は、図１３の各計測断面における計測位置を示す図 時系列２Ｄ画像の取得及びデータメモリからの断面群生成を説明する図
以下、本発明の実施形態を、図面を用いて説明する。
＜第一実施形態＞
本実施形態の医用撮像装置１０は、図１に示すように、被検体を撮像し、画像データを取得する撮像部１００と、撮像部１００が取得した画像データに対し画像処理を行う画像処理部２００と、撮像部１００が取得した画像或いは画像処理部２００が処理した画像を表示する表示部３１０と、撮像部１００や画像処理部２００の処理に必要な指令やデータをユーザが入力するための操作入力部３３０とを備える。表示部３１０及び操作入力部３３０は、通常、近接して配置され、ユーザーインターフェイス（ＵＩ）３００として機能する。医用撮像装置１０は、さらに撮像部１００が得た画像データや画像処理部２００が処理に用いるデータや処理結果などを格納する記憶装置３５０を備えていてもよい。
撮像部１００の構成は、モダリティによって異なり、ＭＲＩ装置であれば、静磁場中に置かれた被検体から磁気共鳴信号を収集するための磁場発生手段等が備えられる。またＣＴ装置であれば、被検体にＸ線を照射するＸ線源や被検体を透過したＸ線を検出するＸ線検出器及びＸ線源とＸ線検出器とを被検体の周りで回転させる機構などが備えられる。超音波診断装置では被検体に超音波を送信し、被検体からの反射波である超音波を受信して超音波画像を生成する手段を備える。撮像部において画像データを生成する手法もモダリティにより異なるが、最終的にはボリュームデータ（３Ｄ画像データ）或いは時系列の２Ｄ画像データ又はボリュームデータを得る。以下では、これらをまとめてボリュームデータとして説明する。
画像処理部２００は、撮像部１００から入力した３Ｄボリュームデータから所定の断面（目的断面という）を抽出する断面抽出部２３０、及び３Ｄボリュームデータに含まれる複数の断面の情報を入力し、各断面の特徴から、断面と目的断面との近さを表すスコアを出力する学習モデル（識別器）を断面抽出部２３０に導入するモデル導入部２５０を備える。目的断面は、診断の目的や断面に対する画像処理の目的によって異なるが、ここでは断面に含まれる構造体、例えば所定の臓器や部位の大きさ（幅、長さ、直径、周囲長など）を計測するのに適した断面とする。さらに、画像処理部２００には、断面抽出部２３０が抽出した断面の画像データに対しさらに計測その他の演算を施す演算部２１０や断面抽出部２３０が抽出した断面や演算部の結果等を表示部３１０に表示させるための表示制御部２７０を備えていてもよい。
断面抽出部２３０が使用する学習モデルは、目的断面が既知であるボリュームデータの目的断面画像を正解画像として、その３Ｄボリュームデータに含まれる多数の断面画像と正解画像との類似度をスコアとして出力するように学習した機械学習モデルであり、例えば、ＣＮＮ（畳み込みニューラルネットワーク）で構成することができる。また本実施形態の学習モデルは、高度に学習した学習済モデル（第一の学習済モデル）と、それより層数が少ない未学習モデルとを融合して作成した縮小化モデル（第二の学習済モデル）である。縮小化モデルは、融合後に学習済ＣＮＮと同様の学習が行われている。第一の学習済モデルは、層数が多く、学習に要する繰り返し回数が多いが、学習の精度が高いものである。縮小化モデルは、このように高い精度で学習されたモデルの各層の一部、例えば特徴量抽出層を含む特に高精度に学習した層と、未学習モデルのうち学習の寄与が比較的少ない層、例えばＣＮＮの下層側の識別層とを結合したものであり、第一の学習済モデルより層数が少ない簡易な構成となっている。学習モデルとして、このような縮小化モデルを用いることで、医用撮像装置への搭載が可能となり、また画像処理部２００の処理時間を短縮することができる。学習モデルの具体的な構造や学習過程については後述の実施形態において詳述する。
学習モデル（縮小化モデル）は、医用撮像装置１０において或いは医用撮像装置１０とは独立した計算機等で予め作成され、記憶装置３５０に格納されている。識別タスクの違いにより複数の縮小化モデルを格納しても良い。例えば、計測対象の断面が複数存在する場合には、計測対象ごとに例えば、頭部、胸部、脚部のそれぞれについて、作成される。また目的断面の種類が、複数ある場合には、目的断面の種類に応じて作成される。縮小化モデルが複数存在する場合には、モデル導入部２５０が識別タスクに応じて必要なモデルを呼び出し、断面抽出部２３０に渡す。
このためモデル導入部２５０は、図２に示すように、記憶装置から処理目的に適合する学習モデル２２０を読出し保存するモデル保存部２５１と、モデル保存部２５１から学習モデルを呼び出し、断面抽出部２３０に適用するモデル呼出部２５３と、を備える。また断面抽出部２３０は、ボリュームデータ２４０から複数の断面の画像データを選出する断面選出部２３１と、断面選出部２３１が選出した断面の画像データについて、モデル導入部２５０が読み出した学習モデルを用いて、当該断面と目的断面との近さを表すスコアを出力する断面識別部２３３と、断面識別部２３３の出力であるスコアを解析し目的断面を決定する判定部２３５とを備える。
このような画像処理部２００の機能の一部又は全部は、ＣＰＵが実行するソフトウェアとして実現することができる。また撮像部の画像データ作成に係る部分や画像処理部の一部はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒｙ）などのハードウェアで実現してもよい。
以上の、構成を踏まえ、本実施形態の医用撮像装置の動作、主として画像処理部２００の処理の流れを、図３を参照して説明する。ここでは撮像と画像表示とを並行して実行する場合を例に説明する。
まず前提として、例えば、操作入力部３３０を介して、ユーザによる目的断面の種類が選択される。目的断面の種類とは、計測のための断面か構造体の延びる方向を確定するための断面かなど目的の違いによる種類、及び計測の対象（部位や臓器か或いは胎児か）の違いによる種類などがある。このような入力は、撮像条件の設定時に行ってもよいし、撮像条件が設定されるとデフォルトで設定されるようにしてもよい。
撮像部１００が撮像して得た３Ｄ画像データを受け取ると、断面選出部２３１が３Ｄ画像データから複数の断面を選出する（Ｓ３０１）。ここで目的断面の画像空間における方向がわかっている場合には、その方向に平行な複数の断面を選出し、断面識別部２３３に渡す。例えば、Ｚ軸を体軸方向とするとき、ＸＹ面であることがわかっているときには、ＸＹ面を所定の間隔で選出する。ボリュームデータに含まれる構造体（組織や部位）によって目的断面は、一定に定まらないので、その場合は、種々の方向の断面を選出する。断面選出の仕方は、所謂「粗‐密アプローチ（ｃｏａｒｓｅ ｔｏ ｆｉｎｅ ａｐｐｒｏａｃｈ）」とすることが好ましい。このアプローチでは、断面選出部２３１による選出と断面識別部２３３による識別とを繰り返しながら、繰り返し毎に、断面を選出する領域（探索領域という）を比較的広い領域から狭い領域に狭めていく。探索領域が狭まるにつれ、選出する断面の間隔を狭くし、さらに断面の角度の数を増やしてもよい。
一方、モデル導入部２５０は、予め設定された目的断面の種類に応じて記憶装置３５０から学習モデルを読出し、モデル保存部２５１に保存しておく。断面選出部２３１が選出した断面を断面識別部２３３に渡すと、モデル呼出部２５２はモデル保存部２５１から適用すべき学習モデルを呼び出す。断面識別部２３３は、この呼び出された学習モデルを用いて、選出された断面の特徴抽出と識別とを行い、識別結果であるスコアの分布を出力する（Ｓ３０２）。スコアの分布は、目的断面と処理対象である断面との類似度を示すスコアを、複数の断面の目的断面からの距離に対しプロットした分布であり、スコアが高いほど目的断面との空間的距離が近づく分布となる。スコアの分布は、目的断面と一致する断面のスコアを１とし、０〜１の間の数値を取る。
識別結果判定部２３５は、断面識別部２３３の結果であるスコアの分布を受け取り、最終的にスコアが最もよいもの、上述の例ではスコアが１或いは最も１に近い断面を目的断面と決定する（Ｓ３０３）。
こうして断面抽出部２３０によって目的断面が抽出されると、表示制御部２５０はこの断面を表示部３１０に表示させる（Ｓ３０４）。或いは演算部２１０が自動計測機能を備える場合には、この断面に存在する構造体の計測を行い、その結果を、表示制御部２５０を介して表示部３１０に表示させる（Ｓ３０５）。識別タスクが複数ある場合、或いはユーザ調整により再処理が必要な場合は、ステップＳ３０１に戻り（Ｓ３０６）、Ｓ３０１〜Ｓ３０４（Ｓ３０５）を繰り返す。
本実施形態によれば、予め目的断面と最も近い断面を識別するように学習したモデル（識別器）を用いることで、短時間に且つ自動的に目的断面を決定することができる。また本実施形態によれば、学習モデルは、予め高度に学習したモデルの層の一部と、構造が比較的簡単な未学習のモデルの層の一部とを融合し、再学習したものであるので、撮像装置への実装が容易で且つ学習モデルによる処理時間を大幅に短縮できる。その結果、撮像から目的断面表示或いは目的断面を用いた計測までの時間を短縮し、リアルタイム性を高めることができる。
なお第一実施形態では、処理の対象が３Ｄボリュームデータの場合を例に説明を行ったが、時系列データの場合も同様に適用することができる。即ち、時系列データは、例えば時系列２Ｄ画像データの場合、３Ｄの一つの次元が時間の次元に置き換わったものであり、種々の時相の断面画像で構成されている。このうち、所定の時相の画像を目的断面とするとき、撮像中の時系列２Ｄ画像データを所定の時間単位で、画像処理部２００に入力し、上述した処理を行うことで、目的の時相の断面を自動的に識別し表示させることができる。
また時系列２Ｄ画像データに目的断面が含まれない場合には、撮像を連続して行いながら画像処理部２００による処理を平行して行うことで、目的断面の探索を行うことができる。
なお時系列２Ｄ画像データの場合には、断面選出部２３１は、撮像断面（一方向の面）のみを選出すればよいので、高速な処理が可能となる。また所定の間隔で撮像される撮像断面を全て選択してもよい。
以上、モダリティに関わりなく適用可能な本発明の実施形態を説明した。以下では、本発明を超音波撮像装置に適用した実施形態を説明する。
＜第二実施形態＞
まず図４を参照して、本発明が適用される超音波診断装置の構成を説明する。本実施形態の超音波診断装置４０は、超音波撮像部４００として、探触子４１０と、送信ビームフォーマ４２０と、Ｄ／Ａコンバータ４３０と、Ａ／Ｄコンバータ４４０と、ビームフォーマメモリ４５０と、受信ビームフォーマ４６０とを備え、さらに、画像処理部４７０と、表示部４８０と、操作入力部４９０を備える。
探触子４１０は、所定の方向に沿って配列された複数の超音波素子で構成される。各超音波素子は、例えば、セラミックで生成されたセラミック素子である。探触子４１０は、検査対象１０１の表面に接するよう配置される。
送信ビームフォーマ４２０は、Ｄ／Ａコンバータ４３０を介して複数の超音波素子の少なくとも一部から超音波を送信させる。探触子４１０を構成する各超音波素子から送信される超音波それぞれに対して、所定の深度で集束するよう遅延時間を与え、所定の深度で集束する送信ビームを生成する。
Ｄ／Ａコンバータ４３０は、送信ビームフォーマ４２０から送信パルスの電気信号を音響信号に変換する。また、Ａ／Ｄコンバータ４４０は、探触子４１０において受信した、検査対象１０１の内部を伝播する過程で反射した音響信号を再び電気信号に変換し受信信号を生成する。
ビームフォーマメモリ４５０は、Ａ／Ｄコンバータ４４０を介して、送信毎に、超音波素子の出力する受信信号に対して受信焦点ごとの整相遅延データを送信ごとに格納する。受信ビームフォーマ４６０は、Ａ／Ｄコンバータ４４０を介して、送信毎に、超音波素子の出力する受信信号を受け取り、ビームフォーマメモリ４５０に格納された送信ごとの整相遅延データと受け取った受信信号から整相信号を生成する。
画像処理部４７０は、受信ビームフォーマ４６０で生成した整相信号を用いて超音波画像を生成し、撮像した３Ｄボリュームデータ、またはシネメモリ内に蓄積した２Ｄ断面画像群から計測に最適な画像を自動抽出する。このため、画像処理部４７０は、受信ビームフォーマ４６０で生成した整相信号を用いて超音波画像を生成するデータ構成部４７１と、データ構成部において生成された画像データを格納するデータメモリ４７２と、予め装置に搭載した縮小された機械学習モデルを導入するモデル導入部４７３と、機械学習モデルを用いてデータメモリ４７２から取得した３Ｄボリュームデータまたは蓄積した２Ｄ断面画像群から計測に最適な画像を自動抽出する断面抽出部４７４と、抽出断面に対して所定の部位の自動計測を行う自動計測部４７５と、ユーザ操作入力を受ける断面調整部４７６と、を備える。さらに図示していないが、ドプラ撮像を行う場合には、ドプラ信号を処理するドプラ処理部などを備えていてもよい。
データ構成部４７１の機能は、従来の超音波撮像装置と同様であり、Ｂモード或いはＭモード等の超音波画像を生成する。
モデル導入部４７３及び断面抽出部４７４は、それぞれ、第一実施形態のモデル導入部２５０及び断面抽出部２３０に対応する機能を実現するものであり、図２に示した機能ブロック図と同様の構成を有する。即ち、モデル導入部４７３はモデル保存部とモデル呼出部を備え、断面抽出部４７４は、断面選出部（２３１）、断面識別部（２３３）、識別結果判定部（２３５）を備える。以下の説明において、適宜、図２を援用する。断面選出部２３１は、データメモリ４７２に格納されたデータのうち、１人の患者におけるボリュームデータまたは２Ｄ断面画像群を読み出す。また、データメモリから読み出すデータは、２次元断面を撮像した動画データ、または動的に更新された画像でも良い。断面識別部２３３は、モデル導入部４７３で導入した学習モデルを用いて断面選出部２３１により選出された対象断面画像群を識別する。識別結果判定部２３５は、断面識別部２３３の識別結果を分析し、識別を終了するか否かおよび次の断面選出範囲を決定する。
自動計測部４７５は、公知の自動計測アルゴリズムを組み込んだソフトウェアで構成することができ、抽出された１乃至複数の断面から、予め定められた部位のサイズ等の計測を行い、所定のアルゴリズムを用いてサイズ等の値から目的の計測値を算出する。
断面調整部４７６は、表示部４８０に表示された断面抽出部４７５による抽出断面について、ユーザによる修正や調整を、操作入力部４９０を介して受け付け、断面位置の変更やそれにともなく自動計測の再処理の指令を自動計測部４７５に与える。
表示部４８０は、画像処理部４７０において抽出された超音波画像及びその計測値と計測位置を表示する。操作入力部４９０は、ユーザ入力により抽出された断面の位置調整、断面の切り替え、計測位置の調整を受け付けるための入力デバイスからなる。画像処理部４７０はユーザ入力により一部の処理を再度行い、表示部４８０の表示結果を更新する。
次にモデル導入部４７３のモデル保存部２５１に保存された学習モデルについて説明する。
この学習モデルは、予め装置に搭載されている高精度の縮小化モデルである。この縮小化モデルは、図５に示すように、機械学習を用いて、学習データベース５００から学習した高精度なモデル５１０と、未学習モデル５３０と融合して再学習するモデル融合部により獲得され、精度を維持したまま、装置搭載可能な簡素なモデル５５０である。モデル融合部の機能は、超音波撮像装置４０とは別の画像処理装置やＣＰＵ等で実現することが可能であるが、超音波撮像装置４０がＣＰＵを搭載する場合には、当該装置内のＣＰＵで実現してもよい。また学習データベース５００は、予め多数の画像データ、例えば胎児の各生長週の３Ｄ画像や計測に用いた断面画像を収納したものである。
縮小化した機械学習のモデルの具体的な構造について、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（ＤＬ）の一つであるＣＮＮを例に説明する。
図６に示すように、高い精度を担保するため、学習済み高精度のモデル５１０は深い層構成を持ち、層の前段において特徴量を抽出するための畳込層５１１を複数有する。層の後段においては特徴量の識別スコアを算出するための大きい次元のフルコネクション層（プーリング層）５１３をいくつか有する。畳込層５１１のうち、特に入力層に隣接する１乃至複数の層は特徴量抽出に寄与する層であり、特徴量抽出層５１５という。またフルコネクション層５１３に近い層は識別に寄与する層であり、識別層という。モデル５１０は、識別精度が高いがモデルサイズが大きく処理時間がかかる。一方、未学習モデル５３０がモデル５１０と同様に複数の畳込層及びフルコネクション層を有するが、層構成は簡素でサイズが小さく、例えば畳込層の数が学習モデル５１０より少なく、またフルコネクション層の次元数が小さい。未学習モデル５３０は、識別速度は速いが精度は高くない。
縮小化モデル５５０は、学習済みモデル５１０の層構成の一部である特徴量抽出層５１５と未学習モデル５３０の識別層５３１とをモデル融合させて、新たな層構成を構築し、さらに、学習データベース５００を用いて再学習させたものである。
なお、図５に示すモデル５１０，５３０及び５５０の層構成は、モデル縮小化の手法を説明するための一例であって、層構成は図示するものに限定されるものではなく、上述した縮小化手法に適用できる様々な層構成が含まれる。
次に、学習済モデル５１０の生成方法（学習過程）について、図７を参照して説明する。図７は高速かつ高精度な探索を実現するための学習モデル生成を示した図である。図７に示すように、学習用ボリュームデータ７００から学習用計測断面群７０１と非計測断面群（計測断面ではない断面）７０２を生成し、これを学習データとして機械学習を行うことで、これらの計測断面と非計測断面の特徴が自動的に抽出される学習モデル７１０を得る。さらに、学習モデルは、入力した断面（識別断面）に対して計測断面らしさのスコア（識別スコアという）を算出し、複数の断面についてそれぞれ算出したスコアの分布（スコア分布）７０５を作成する。なお図では簡略した一次元に展開した分布を示しているが、実際には三次元的な分布となる。
一般に、生体のボリュームデータにおいて、計測断面位置と空間的に近いほど断面の識別スコアが高くなる。従って、図７に示すように、スコア分布７０５は、計測断面位置を中心としたとき、中心で最も高く中心から離れるにつれてスコアが低下する分布となるはずである。
そこで学習モデルの学習過程において、学習モデルの出力であるスコア分布７０５を確認し、それが、計測断面位置と空間的に近いほど断面の識別スコアが高い分布、になるように、学習データを調整するとともにモデルを構成する各層の重み係数を調整して、機械学習を繰り返す。学習データの調整においては、生体の解剖学的な情報を用いて、非計測断面と計測断面の空間的な距離と取得位置を調整する。このような調整の繰り返しにより、識別スコアの分布から計測断面を探索するのに適した高精度の学習モデルが生成される。処理対象とする計測断面が複数ある場合には、複数の計測断面について、それぞれ学習モデルが生成される。
また学習データがボリュームデータではなく時間的に連続する２Ｄ断面の場合は、図７のスコア分布７０５の横軸を空間軸から時間軸に置き換えたスコア分布を生成する。そして、時間軸において計測断面の近いフレームの断面が計測断面と類似していることを利用し、計測断面に時間軸で近い位置ほど識別スコアが高い分布となるように、学習データのサンプリング間隔を調整する。これによりボリュームデータを学習データとしたときと同様に学習モデルが生成される。
このように学習した学習済のモデル５１０と未学習のモデル５３０とを融合した上述の縮小化モデル５５０についても同様の学習を行う。ただし、この再学習時においては、識別層５３１を中心に学習を行うように、学習済モデル５１０と未学習モデル５３０の学習率を調整する。即ち、学習済モデル５１０から転移した特徴量抽出層５１５の重み係数を保持し、未学習モデル５３０から転移した識別層５３１の学習率を高くする。これにより高精度と高速処理を両立した縮小化モデル５５０を獲得することができる。
上述した超音波撮像装置４０の構成を踏まえ、本実施形態の断面抽出部４７４の各部による、計測に最適な断面を抽出する流れを説明する。
ここでは一例として、胎児の頭部大横径（ＢＰＤ）、腹部周囲長（ＡＣ）及び大腿骨長さ（ＦＬ）を計測し体重推定を行う場合を例に説明する。胎児の体重推定においては、まず、図８に示すように、機械式メカプローブまた電子式２Ｄプローブ４１０を用いて、検査対象である胎児１０１に対し、ボリュームスキャンし、データメモリ４７２にボリュームデータを保存する。断面抽出部４７４は、データメモリ４７２から取得したボリュームデータ８００を呼び出し、決定された探索領域内の切断位置８０１から断面を切り出し、対象となる切断面群８０２を獲得する。切り出す断面は、ボリュームデータの軸（Ｚ軸）に対し垂直な面、Ｚ軸に平行な面、これらを偏角方向や仰角方向に回転させた面などを含む。
断面抽出の処理工程の具体的な実施形態を、図９を参照して詳述する。断面抽出処理は、ユーザが抽出開始の指示を行うことにより、開始される。計測開始の指示が、抽出開始の指示を兼ねていても良い。
断面抽出処理が開始されると、まず、断面抽出部４７４（図２：断面選出部２３１）が、データメモリ４７２より、操作者によりあらかじめ指定された１人の患者におけるボリュームデータまたは連続撮像した２Ｄ画像群を読み出し、処理の対象データに対して、入力形式と抽出対象の種類と抽出しようとする断面の種類を識別する（ステップＳ９０１）。入力形式の識別は、例えば３Ｄデータか２Ｄデータかを識別する。また、抽出対象の種類や断面の種類は、計測の目的に応じた抽出すべき部位や断面の種類が複数ある場合において、そのいずれかを識別する。
ステップＳ９０２は、断面を抽出する領域（探索領域）を広い領域から順次狭めていく「粗−密アプローチ」で行う。そのため、まず断面選出部（図２：２３１）は、初期の探索領域を決定し（ステップＳ９０２）、対象となる断面群を生成する（ステップ９０３）。「粗−密アプローチ」による探索領域の決定の一例を図１０に示す。図１０の（ａ）、（ｃ）は、扇面の回転体であるボリュームデータを、模式的に回転軸を中心とする平面図で示したものである。初期の探索領域１００１は（ａ）に示すように、このボリュームデータ全領域とし、偏角方向及び半径方向に比較的粗い間隔でサンプリング点（黒丸）１００２を設定し、サンプリング点１００２を通る回転体の接線方向の断面を抽出する。
次いで断面識別部（図２：２３２）は、抽出した断面群について、予めモデル導入部４７３により呼び出した学習モデル（図６：縮小化学習モデル５５０）を適用し、断面群を構成する各断面を識別して、目的断面との近さを示すスコアを取得する（ステップＳ９０４）。学習モデル５５０による処理は、断面群を構成する個々の断面を並列処理により行うことができ、最終的に個々の断面のスコアを集計したスコア分布が得られる。ステップＳ９０４で用いる学習モデルは、計測断面の種類、ＢＰＤ計測断面、ＡＣ計測断面、及びＦＬ計測断面、のそれぞれについて、図７に示したような学習過程により予め作成され、モデル保存部（２５１）に格納されており、モデル呼出部（２５２）が処理対象である計測断面に相当する学習モデルを導入する。
断面抽出部４７４は、学習モデルによる各断面の識別結果であるスコアの分布を解析し（ステップＳ９０５）、初期の探索領域１００１より狭い領域に、探索領域を絞る。スコアの分布は、図７に示したように、横軸を目的断面からの距離とし、縦軸をスコアとしたもので、次の探索領域をピークに近い領域に絞る。ピークが複数ある場合には、複数のピークを含むように探索領域を決定する。図１０（ｂ）に示す例では、ステップＳ９０５の結果、次の探索領域の中心１００３と探索範囲１００４が決定し、決定した探索領域１００４から、複数の断面群（白丸で示すサンプリング点を含む断面）を抽出する。この断面群についても、同様に学習モデルを適用してスコアの分布を取得し、さらに断面群を抽出する領域を絞る。
このようにステップＳ９０５では、スコア分布の解析結果に基づいて、探索領域が十分に絞られたか、計測に適した断面が見つかったかを判断し、探索終了するか否かを決定する（ステップＳ９０６）。探索を終了しない場合、結果の解析に基づいて計測断面らしい領域に近づく新たな探索領域を決定する（ステップＳ９０２）。
ステップＳ９０２からステップＳ９０６までの処理を複数回繰り返し、探索領域を絞り込みながら、最適な計測断面を抽出することで、高速かつ漏れなく探索することができる。なお、探索領域がある程度小さくなった時点で、断面の方向（角度）を偏角方向のみならず仰角方向に変化させてもよい。このように、探索領域の絞込みをループのように複数回繰り返すことで、少ない識別回数でスコアが高い計測断面を抽出することが可能となる。
ステップＳ９０６で探索終了と判定された場合、抽出した最適な計測断面に対して自動計測或いは適宜マニュアルによる計測を実施する（ステップＳ９０７）。最後に、抽出した断面、断面の空間上の情報、計測値及び計測位置、他の上位候補など複数の抽出結果を提示する（ステップＳ９０８）。提示した抽出結果を表示部４８０により表示し、終了する。
なお、断面の自動抽出は診断の補助機能であり、最終的な診断はユーザが決定する必要がある。本実施形態では、断面調整部４７６が操作入力部４９０の信号を受け付けることで、ユーザの好みにより簡単な操作で断面の調整、切り替え、計測の見直しを実現することができる。断面調整を行う場合のフローを図１１に示す。断面調整は、上述した計測断面の抽出と表示が終了した後、ユーザの画面操作を受ける操作入力部４９０からの信号を受けることで処理を開始する。入力の信号に応じて、断面の調整、切り替え、計測の見直しのいずれが指示されたのか、入力操作の種類を識別する（ステップＳ９１１）。入力に応じて画面表示と、内部に保持する断面情報とをリアルタイムに更新する（ステップＳ９１２）。操作入力が終了するかどうかを判定する（ステップＳ９１３）。終了する場合、最終的な抽出断面を決定する（ステップＳ９１４）。その後、調整断面に対して自動計測を行う（ステップＳ９１５）こと、抽出断面と計測結果等情報を提示し（ステップＳ９１６）、表示部４８０により表示することは、図９に示すフローと同様である。
表示部４８０に表示される画面（ＵＩ）の一例を図１２に示す。本図はＡＣ計測断面を例に説明したものであり、表示画面１２００上に、計測断面表示ブロック１２１０、断面候補表示ブロック１２２０、位置調整スライダ１２３０、断面の種類や計測値を示すブロックなどが表示される。計測断面表示ブロック１２１０には、断面抽出部４７４により抽出された計測断面１２０１を表示する。また計測断面１２０１において計測を行った位置１２０２と計測値１２０４を表示する。計測位置１２０２上にはユーザ操作によりドラッグ可能なマーカ１２０３を表示する。マーカ１２０３のドラッグ操作により、計測位置１２０２と計測値１２０４が更新される。
断面候補表示ブロック１２２０に、３次元ボリュームデータにおける各断面画像の空間的な位置関係１２０６を表示し、候補を選択するためのＵＩ（候補の選択欄１２０７）を表示してもよい。抽出された計測断面をユーザが変更したい場合は、候補の選択欄１２０７を展開するとともに、抽出されなかった候補断面１２０８、１２０９を表示する。候補断面は、例えば抽出断面に近い位置にある断面や、スコアが高い断面であり、図では、２つ表示しているが、候補となる断面の数は３つ以上でもよい。また候補断面のいずれかを選択できるようボタン１２０８Ａ、１２０９Ａを設けてもよい。
位置調整スライダ１２３０は、例えば、ボリュームデータ上の任意の位置から断面画像を抽出できるよう位置調整するためのＵＩである。位置調整スライダ１２３０或いは候補ボタン１２０８Ａ、１２０９Ｂ等をユーザが操作すると、操作に応じて操作入力部４９０は信号を断面調整部４７６に送信する。断面調整部４７６は、操作に応じて断面の更新、切り替え、計測位置の更新、計測値の更新など一連の処理を行ない、処理結果を表示部４８０に表示する。
計測対象断面が複数ある場合には、各断面について、図９及び図１１に示す手順を繰り返し、計測結果を得る。前掲の例では、ＢＰＤ計測断面、ＡＣ計測断面、及びＦＬ計測断面、のそれぞれについて、計測結果を得る。
自動計測の具体例を、胎児の体重計測を例に説明する。胎児の体重計測は、図１３に示すように、計測対象である胎児の構造１３００に対して、胎児頭部断面１３１０からＢＰＤ（児頭大横径）を計測し、腹部断面１３２０からＡＣ（腹部周囲長）を計測し、大腿骨部断面１３３０からＦＬ（大腿骨長）を計測し、それらの計測値に基づいて胎児の体重を推測し、週数に応じた成長曲線と見比べ、胎児が順調に成長しているかを判断する。
胎児頭部断面では、図１４（ａ）に示すように、頭蓋骨１３１１、正中線１３１２、透明中隔１３１３、及び四丘体槽１３１４などの構造特徴を有する断面を計測断面とすることが、ガイドラインにより推奨されている。計測対象は、国によって異なるが、例えば、日本においては胎児頭部断面からＢＰＤ（児頭大横径）１３１５を計測し、欧米においてはＯＦＤ（児頭前後径）１３１６、ＨＣ（児頭周囲長）１３１７を計測するのが一般的である。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。計測は、自動計測部４７５（図４）が、例えば、特許文献１に記載された手法などの自動計測技術により行うことができる。この技術では、頭部であれば、断層画像の特徴から頭部に対応する楕円を算出し、頭部の径を算出する。
胎児腹部断面では、図１４（ｂ）に示すように、腹部壁１３２１と、臍静脈１３２２と、胃胞１３２３と、腹部大動脈１３２４と、脊椎１３２５などの構造特徴を有する断面を計測断面とするがガイドラインにより推奨されている。一般的にＡＣ（腹部周囲長）１３２６が計測される。地域によりＡＰＴＤ（腹部前後径）１３２７、ＴＴＤ（腹部横径）１３２８が計測される場合もある。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。計測手法は、頭部の場合と同様である。
胎児大腿骨部断面では、図１４（ｃ）に示すように、大腿骨１３３１と、大腿骨の両端である遠位端１３３２と、近位端１３３３などの構造特徴を有する断面がガイドラインにより推奨されている。この計測断面からＦＬ（大腿骨長）１３３４が計測される。
自動計測部４７５は、これら三断面において計測した各計測値（ＢＰＤ、ＡＣ、ＦＬ）を用いて、例えば次式により推定体重を算出する。
推定体重＝ａ×（ＢＰＤ）３＋ｂ×（ＡＣ）２×（ＦＬ）
（ａ、ｂは経験値から求められた係数で、例えばａ＝１．０７、ｂ＝０．３０である）
自動計測部４７５は算出した推定体重を表示部４８０に表示させる。
以上、胎児体重計測に必要なＡＣ計測断面、ＢＰＤ計測断面、ＦＬ計測断面の断面抽出を例に、超音波撮像装置の実施形態を説明したが、本実施形態は縮小化学習モデルをベースに識別と抽出を行うことが特徴であり、胎児の心機能を調べるための心臓の４ＣＶ断面（心臓四腔断面）、３ＶＶ断面（Ｔｈｒｅｅ Ｖｅｓｓｅｌ Ｖｉｅｗ）、左室流出路断面、右室流出路断面、大動脈弓断面の抽出や、は胎児の羊水量を測定する羊水ポケットの計測断面の自動抽出に適用することも可能である。また、胎児に限らず、成人の心臓、循環器の計測や観察に必要な標準断面の自動抽出に適用することも可能である。
本実施形態によれば、高度学習モデルを用いることにより、撮像者依存性の高い断面抽出を自動的且つ高速に行うことができる。また高度に学習した層構成の大きい学習モデルと層構成が比較的簡易なモデルとを融合した縮小化モデルを用いることにより、超音波撮像装置への実装を容易にし、且つ処理の高速化を図ることができる。
さらに本実施形態によれば、断面抽出において、粗−密アプローチを採用することにより、高速に且つ漏れなく断面の探索を行うことができる。
＜第二実施形態の変形例＞
上述した実施形態では、１人の患者における１回の検査で撮像されたボリュームデータを処理する場合を説明したが、本実施形態は、一時刻前または過去数回にわたる検査で撮像された２Ｄ画像群についても適用できる。以下、入力データが時間的に連続する２Ｄ画像の場合を説明する。
図１５は抽出対象が時間軸における連続２Ｄ断面である場合に、データの取得及びデータメモリからの断面群生成を示した図である。本実施形態において、検査対象である胎児１０１に対し、１Ｄプローブを移動しながら、時間的に連続撮像した２Ｄ断面がデータメモリ４７２に蓄積されている。データメモリ４７２から呼び出した断面データ１５０１に対して、時間軸上でサンプリングし、対象断面群１５０２を生成する。即ち、時間軸における探索領域を決定し、時間軸上のフレーム画像を選定する。探索領域の決定については、ボリュームデータと同様に、粗−密アプローチをとってもよい。
その後、断面識別部（２３３）において、予めモデル導入部４７３により呼び出した学習モデルを用いて対象断面群を識別する。識別結果の時間軸上の分布を解析し、計測に適した断面が見つかった時点で探索を終了し、測定断面を決定する。この画像処理と並行して撮像が連続行われている場合には、データメモリから呼び出す断面を、その時刻におけるユーザの撮像操作により更新しても良い。
なお図１５ではデータメモリ４７２から２Ｄ断面データを呼び出す場合を示したが、読み出すデータは１回のスキャンで取得した３Ｄボリュームデータでも良いし、４Ｄモードで連続スキャンした複数の３Ｄボリュームデータでも良い。入力データが複数の３Ｄボリュームデータである場合、一つのボリュームデータから一つの断面抽出後に、ボリュームを更新し断面の抽出を行う。最終的に複数のボリュームデータから抽出した候補断面から、最終的に一つの断面を決定する。
＜その他の変形例＞
第二実施形態とその変形例は、本発明を超音波診断装置に適用した実施形態であるが、本発明はボリュームデータ或いは時系列データを取得可能な医用撮像装置であれば、全て適用することができる。また上述した実施形態では、画像処理部は医用撮像装置の構成要素である場合を説明したが、撮像と画像処理とを並行して行わない場合には、医用撮像装置（図１の撮像部１００）から空間的或いは時間的に離れた画像処理装置或いは画像処理部において、本発明の画像処理を行うこともありうる。
さらに、上記した実施形態及び変形例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備える実施形態に限定されるものではない。また、ある実施形態で説明した構成、機能、処理部、処理手段等は、それらの一部またはすべてを、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
１０ 医用撮像装置
４０ 超音波診断装置
１００ 撮像部
１０１ 検査対象
２００ 画像処理部
２３０ 断面抽出部
２３１ 断面選出部
２３３ 断面識別部
２３５ 識別結果判定部
２５０ モデル導入部
２５１ 保存部
２５３ モデル呼出部
３００ ユーザーインターフェイス
３１０ 表示部
３３０ 操作入力部
３５０ 記憶装置
４１０ 探触子
４２０ 送信ビームフォーマ
４３０ Ｄ／Ａコンバータ
４４０ Ａ／Ｄコンバータ
４５０ ビームフォーマメモリ
４６０ 受信ビームフォーマ
４７０ 画像処理部
４７１ データ構成部
４７２ データメモリ
４７３ モデル導入部
４７４ 断面抽出部
４７５ 自動計測部
４７６ 断面調整部
４８０ 表示部
４９０ 操作入力部
５００ 学習データベース
５１０ 学習済み高精度モデル
５３０ 未学習の簡素モデル
５５０ 高精度の縮小化モデル

Claims (12)

  1. 被検体の画像データを収集する撮像部と、前記撮像部が収集した画像データから所定の断面を抽出する処理を行う画像処理部と、を備え、
    前記画像処理部は、
    前段に畳込層と後段にフルコネクション層とを含む学習済モデルと、前記学習済モデルよりも畳込層の数が少なくフルコネクション層の次元数が小さい未学習モデルとを融合し、前記学習済モデルの畳込層のうち入力層に隣接する特徴量抽出層及び前記未学習モデルのフルコネクション層を含む識別層を新たな層構成とする縮小化した学習モデルを導入するモデル導入部と、
    前記画像データから複数の断面画像を選択し、選択した断面画像に対し前記学習モデルを適用した結果に基づき所定の断面を抽出する断面抽出部と、を備え、
    前記学習済モデルは、複数の断面画像データに対し所定の断面との空間的又は時間的近さを識別スコアとして出力するように予め学習されており、
    前記縮小化した学習モデルは、前記学習済モデルから転移した特徴量抽出層の重み係数を維持し、前記未学習モデルから転移した識別層の学習率が高くなるように、再学習されていることを特徴とする医用撮像装置。
  2. 請求項１に記載の医用撮像装置であって、
    前記モデル導入部は、抽出すべき断面の種類に応じて用意された複数の学習モデルを保存するモデル保存部と、前記複数の学習モデルのうち、前記断面抽出部が選択する複数の断面画像に対応する学習モデルを呼出し、前記断面抽出部に渡すモデル呼出部と、を備えることを特徴とする医用撮像装置。
  3. 請求項１に記載の医用撮像装置であって、
    前記断面抽出部は、前記撮像部が収集した画像データから複数の断面を選択する断面選出部と、前記断面選出部が選択した断面について前記学習モデルを適用する断面識別部と、前記断面識別部の結果を判定する識別結果判定部と、を備えることを特徴とする医用撮像装置。
  4. 請求項３に記載の医用撮像装置であって、
    前記断面抽出部は、前記識別結果判定部の判定結果に応じて、前記断面選出部及び前記断面識別部の処理を複数回繰り返し、前記断面選出部は、繰り返し毎に前記複数の断面を選択する前記画像データの領域を変更または縮小することを特徴とする医用撮像装置。
  5. 請求項１に記載の医用撮像装置であって、
    ユーザによる抽出断面の調整を受け付ける断面調整部を更に備え、
    前記断面抽出部は、前記断面調整部が受け付けた調整の指示に従い、処理の一部を再実行することを特徴とする医用撮像装置。
  6. 請求項５に記載の医用撮像装置であって、
    前記断面抽出部の処理結果を表示する表示部を更に備え、
    前記表示部は、前記断面抽出部による処理が再実行されると表示内容を更新することを特徴とする医用撮像装置。
  7. 請求項１に記載の医用撮像装置であって、
    前記撮像部が収集した画像データは、三次元のボリュームデータであることを特徴とする医用撮像装置。
  8. 請求項１に記載の医用撮像装置であって、
    前記撮像部が収集した画像データは、時系列画像データであることを特徴とする医用撮像装置。
  9. 請求項１に記載の医用撮像装置であって、
    前記撮像部は、超音波を送受信する探触子と、前記探触子が受信した超音波信号を用いて超音波画像を生成する画像生成部とを備えた超音波撮像部であることを特徴とする医用撮像装置。
  10. 撮像データから、処理対象となる目的断面を決定し、提示する画像処理方法であって、
    複数の断面画像について目的断面画像との空間的又は時間的近さを識別スコアとして出力するように学習された学習モデルを用意するステップと、
    当該学習モデルを用いて、前記撮像データから選択した複数の断面画像について前記識別スコアの分布を得て、当該分布に基き前記目的断面を判定するステップと、を含み、
    前記学習モデルは、前段に畳込層と後段にフルコネクション層とを含む学習済モデルと、前記学習済モデルよりも畳込層の数が少なくフルコネクション層の次元数が小さい未学習モデルとを融合し、前記学習済モデルの畳込層のうち入力層に隣接する特徴量抽出層及び前記未学習モデルのフルコネクション層を含む識別層を新たな層構成とする縮小化した学習モデルであって、
    前記学習済モデルは、複数の断面画像データに対し所定の断面との空間的又は時間的近さを識別スコアとして出力するように予め学習されており、
    前記縮小化した学習モデルは、前記学習済モデルから転移した特徴量抽出層の重み係数を維持し、前記未学習モデルから転移した識別層の学習率が高くなるように、再学習されていることを特徴とする画像処理方法。
  11. 請求項１０に記載の画像処理方法であって、
    前記目的断面を判定するステップは、前記撮像データの所定の領域から複数の断面を選出するステップと、当該選出された複数の断面について前記識別スコアの分布を得るステップと、を繰り返し、繰り返し毎に複数の断面を選出する領域を狭めることを特徴とする画像処理方法。
  12. 請求項１０に記載の画像処理方法であって、
    前記撮像データは、超音波撮像装置が取得した三次元ボリュームデータ又は時系列画像データであることを特徴とする画像処理方法。
JP2017146782A 2017-07-28 2017-07-28 医用撮像装置及び画像処理方法 Active JP6824125B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017146782A JP6824125B2 (ja) 2017-07-28 2017-07-28 医用撮像装置及び画像処理方法
US16/630,581 US20210089812A1 (en) 2017-07-28 2018-06-07 Medical Imaging Device and Image Processing Method
PCT/JP2018/021926 WO2019021646A1 (ja) 2017-07-28 2018-06-07 医用撮像装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017146782A JP6824125B2 (ja) 2017-07-28 2017-07-28 医用撮像装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2019024925A JP2019024925A (ja) 2019-02-21
JP2019024925A5 JP2019024925A5 (ja) 2020-02-27
JP6824125B2 true JP6824125B2 (ja) 2021-02-03

Family

ID=65039611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017146782A Active JP6824125B2 (ja) 2017-07-28 2017-07-28 医用撮像装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20210089812A1 (ja)
JP (1) JP6824125B2 (ja)
WO (1) WO2019021646A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12014530B2 (en) * 2018-12-21 2024-06-18 Hitachi High-Tech Corporation Image recognition device and method
WO2020149428A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 학습 장치
JP7204106B2 (ja) * 2019-03-03 2023-01-16 株式会社レキオパワー 超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置
KR102270917B1 (ko) * 2019-06-27 2021-07-01 고려대학교 산학협력단 인공 지능 모델에 기반한 자궁 양수량 자동 측정 방법
KR102318155B1 (ko) * 2019-06-27 2021-10-28 고려대학교 산학협력단 카메라 촬영 각도 보정 기능을 구비한 양수량 자동 측정 방법
JP7347090B2 (ja) * 2019-10-02 2023-09-20 株式会社大林組 鉄筋推定システム、鉄筋推定方法及び鉄筋推定プログラム
JP7432340B2 (ja) * 2019-11-07 2024-02-16 川崎重工業株式会社 手術システム及び制御方法
JP7412223B2 (ja) * 2020-03-02 2024-01-12 キヤノン株式会社 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置
JP7410624B2 (ja) * 2020-09-14 2024-01-10 キヤノン株式会社 超音波診断装置、計測条件設定方法及びプログラム
WO2023204610A2 (ko) * 2022-04-19 2023-10-26 주식회사 온택트헬스 심장 초음파에 대한 가이드 방법 및 이를 이용한 심장 초음파에 대한 가이드용 디바이스

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102288308B1 (ko) * 2014-08-05 2021-08-10 삼성메디슨 주식회사 초음파 진단 장치
US20160081663A1 (en) * 2014-09-18 2016-03-24 General Electric Company Method and system for automated detection and measurement of a target structure
US10083372B2 (en) * 2015-11-03 2018-09-25 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2019024925A (ja) 2019-02-21
US20210089812A1 (en) 2021-03-25
WO2019021646A1 (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JP6824125B2 (ja) 医用撮像装置及び画像処理方法
US11450003B2 (en) Medical imaging apparatus, image processing apparatus, and image processing method
JP6453857B2 (ja) 超音波画像の３ｄ取得のためのシステムおよび方法
JP6238651B2 (ja) 超音波診断装置及び画像処理方法
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
KR102522539B1 (ko) 의료영상 표시장치 및 의료영상 처리방법
RU2642929C2 (ru) Автоматический выбор плоскости визуализации для эхокардиографии
JP5645811B2 (ja) 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム
JP7253560B2 (ja) ニューラルネットワークを用いた案内付き経頭蓋超音波撮像ならびに関連する装置、システムおよび方法
US20160095573A1 (en) Ultrasonic diagnostic apparatus
JP2014161734A (ja) 医療画像を整合する方法及びその装置
KR20140096919A (ko) 의료 영상 정합 방법 및 장치
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
EP1198200A4 (en) ECOGRAPHIC INTRAVASCULAR ANALYSIS USING AN ACTIVE CONTOURING METHOD AND SYSTEM
KR20130026041A (ko) 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
US9357981B2 (en) Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same
JP2017153818A (ja) 超音波診断装置、超音波診断装置制御プログラム、医用画像処理装置及び医用画像処理プログラム
JP5558727B2 (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
JP2010094181A (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
US11672503B2 (en) Systems and methods for detecting tissue and shear waves within the tissue
KR20150129506A (ko) 의료 영상 정합 방법 및 그 장치
JP6739318B2 (ja) 超音波診断装置
US10076311B2 (en) Method and apparatus for registering medical images
KR20150131881A (ko) 의료 영상 정합 방법, 이를 포함하는 장치 및 컴퓨터 기록 매체
JP5987640B2 (ja) 超音波を用いた被検体の３次元復元方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210112

R150 Certificate of patent or registration of utility model

Ref document number: 6824125

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350