WO2021230230A1 - 超音波診断装置、医用画像処理装置、及び、医用画像処理方法 - Google Patents

超音波診断装置、医用画像処理装置、及び、医用画像処理方法 Download PDF

Info

Publication number
WO2021230230A1
WO2021230230A1 PCT/JP2021/017844 JP2021017844W WO2021230230A1 WO 2021230230 A1 WO2021230230 A1 WO 2021230230A1 JP 2021017844 W JP2021017844 W JP 2021017844W WO 2021230230 A1 WO2021230230 A1 WO 2021230230A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ultrasonic
registration
dimensional
images
Prior art date
Application number
PCT/JP2021/017844
Other languages
English (en)
French (fr)
Inventor
パンジェ ゴォ
スゥン ザォウ
リィンリィン ザォウ
チリン シャオ
Original Assignee
キヤノンメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010402012.2A external-priority patent/CN113662579A/zh
Priority claimed from CN202010748328.7A external-priority patent/CN114092374A/zh
Application filed by キヤノンメディカルシステムズ株式会社 filed Critical キヤノンメディカルシステムズ株式会社
Priority to CN202180002022.XA priority Critical patent/CN113939234A/zh
Publication of WO2021230230A1 publication Critical patent/WO2021230230A1/ja
Priority to US17/716,453 priority patent/US20220240898A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G06T3/14
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

実施形態に係る超音波診断装置は、導出部(161B)と、制御部(161C)と、レジストレーション部(163)と、を備える。前記導出部は、超音波プローブ(101)により取得された複数の二次元超音波画像に対して、事前に定義した画像評価パラメータを導出する。前記制御部は、前記画像評価パラメータの導出結果に基づいて、前記複数の二次元超音波画像からレジストレーション用の二次元超音波画像を選択する。前記レジストレーション部は、三次元医用画像と前記レジストレーション用の二次元超音波画像とのレジストレーションを行う。

Description

超音波診断装置、医用画像処理装置、及び、医用画像処理方法
 本明細書及び図面に開示の実施形態は、超音波診断装置、医用画像処理装置、及び、医用画像処理方法に関する。
 医用分野において、超音波プローブの複数の振動子(圧電振動子)で発生した超音波を用いて被検体内部を画像化する医用画像診断装置として超音波診断装置が用いられている。超音波診断装置は、当該超音波診断装置に接続される超音波プローブから被検体内に超音波を送信し、反射波に基づくエコー信号を生成し、画像処理により所望の超音波画像を得る。
 例えば、病巣部位及び大きさ等を判定するために、被検体内部の空間構造を把握する必要がある。この場合、上記超音波診断装置とは異なる医用画像診断装置で得られた三次元(three-dimensional;3D)医用画像が利用される。3D医用画像としては、例えば、超音波診断装置により得られた3D超音波画像の他、X線CT(Computed Tomography)装置あるいはMRI(Magnetic Resonance Imaging)装置などの他の医用画像撮像装置から得られた3D画像を挙げることができる。
 3D医用画像は、例えば、手術前の診断段階において、事前に生成される。しかしながら、手術中、被検体体位の移動などの問題により、実際の内部構造と、3D医用画像におけるボリュームデータにばらつきが生じることで、被検体の内部構造を正確に示すことができない場合がある。従って、手術中に病巣等の手術領域を、リアルタイムで無侵襲な超音波診断装置で撮像することが望まれている。X線CT装置あるいはMRI装置に比べて、超音波診断装置を利用する際に、場所と被検体の状態を限定することなく、できるだけ短時間でレジストレーションを行うことで、例えば開腹状態の被検体の負担を軽減することができる。
 ここで、できるだけ短時間でレジストレーションを行うためには、レジストレーションを容易にする超音波画像をできるだけ短時間で選択することである。例えば、操作者が、超音波画像と3D医用画像の両方に観察可能なマークを設定して位置合わせ等の操作を行う場合、当該操作は複雑であり、時間がかかるため、開腹状態の被検体に大きな負担がかかる。そこで、単一の超音波画像を用いてレジストレーションを行うと、レジストレーション結果が理想的ではないという問題が生じる可能性がある。一方、複数の超音波画像をそれぞれ用いてレジストレーションを行うと、理想的なレジストレーション結果が得られるまでにレジストレーションに要する時間は長くなる。従って、レジストレーションを容易にする超音波画像をできるだけ短時間で検索できることが望ましい。
特開2017-202125号公報
 本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、レジストレーションを容易にする超音波画像を短時間で検索することである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
 本実施形態に係る超音波診断装置は、導出部と、制御部と、レジストレーション部と、を備える。前記導出部は、超音波プローブにより取得された複数の二次元超音波画像に対して、事前に定義した画像評価パラメータを導出する。前記制御部は、前記画像評価パラメータの導出結果に基づいて、前記複数の二次元超音波画像からレジストレーション用の二次元超音波画像を選択する。前記レジストレーション部は、三次元医用画像と前記レジストレーション用の二次元超音波画像とのレジストレーションを行う。
図1は、本実施形態に係る超音波診断装置の構成例を示すブロック図である。 図2は、本実施形態に係る超音波診断装置の処理回路の構成を示すブロック図である。 図3Aは、2D超音波画像の表示例を示す図である。 図3Bは、2D超音波画像の表示例を示す図である。 図3Cは、2D超音波画像の表示例を示す図である。 図4は、2D超音波画像の表示例を示す図である。 図5Aは、本実施形態に係る超音波診断装置の処理を示すフローチャートである。 図5Bは、本実施形態に係る超音波診断装置の処理を示すフローチャートである。 図5Cは、本実施形態に係る超音波診断装置の処理を示すフローチャートである。 図6Aは、ランドマークを含む2D超音波画像を示す図である。 図6Bは、ランドマークを含む2D超音波画像を示す図である。 図7Aは、異なるテクスチャ構造を有する2D超音波画像を示す図である。 図7Bは、異なるテクスチャ構造を有する2D超音波画像を示す図である。 図8は、直交性メトリックの判定方法を説明するための図である。 図9Aは、被覆度の判定方法を説明するための図である。 図9Bは、被覆度の判定方法を説明するための図である。 図10は、レジストレーションの具体例であり、ランドマークを用いたレジストレーションを説明するための図である。 図11は、レジストレーションの具体例であり、ランドマークを用いてレジストレーションを行うフローチャートである。 図12Aは、レジストレーション用の2D超音波画像として複数の2D超音波画像を選択する場合の具体例である。 図12Bは、レジストレーション用の2D超音波画像として複数の2D超音波画像を選択する場合の具体例である。
 以下、添付図面を参照して、超音波診断装置、医用画像処理装置、及び、医用画像処理方法の実施形態を詳細に説明する。なお、以下に説明する実施形態はあくまで一例であり、以下の実施形態に限定されるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用可能である。
 図1は、本実施形態に係る超音波診断装置1の構成例を示すブロック図である。図1に示すように、本実施形態に係る超音波診断装置1は、装置本体100と、超音波プローブ101と、入力装置102と、ディスプレイ103とを有する。超音波プローブ101、入力装置102、及びディスプレイ103は、装置本体100に接続される。
 超音波プローブ101は、複数の振動子(例えば、圧電振動子)を有し、これら複数の振動子は、後述する装置本体100が有する送受信回路110から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ101が有する複数の振動子は、被検体Pからの反射波を受信して電気信号に変換する。また、超音波プローブ101は、振動子に設けられる整合層と、振動子から後方への超音波の伝播を防止するバッキング材等を有する。また、超音波プローブ101には、当該超音波プローブ101の位置情報を取得するための磁気センサが取り付けられている。
 入力装置102は、操作者が操作可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラッキングボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパネル、表示画面とタッチパネルとが一体化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等により実現される。入力デバイスが操作者により操作される場合、入力回路は、当該操作に対応する信号を生成して処理回路に出力する。
 ディスプレイ103は、例えば液晶ディスプレイあるいはOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示出力装置から構成される。ディスプレイ103は、超音波診断装置1の操作者が入力装置102を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体100において生成された超音波画像データ等を表示したりする。ディスプレイ103は、表示部の一例である。
 装置本体100は、超音波プローブ101が受信した反射波信号に基づいて超音波画像データを生成する装置であり、図1に示すように、送受信回路110と、信号処理回路120と、画像生成回路130と、画像メモリ140と、記憶回路150と、処理回路160とを有する。送受信回路110、信号処理回路120、画像生成回路130、画像メモリ140、記憶回路150、及び処理回路160は、相互に通信可能に接続される。
 送受信回路110は、超音波プローブ101による超音波の送信を制御する。例えば、送受信回路110は、処理回路160の指示に基づいて、振動子ごとに所定の送信遅延時間が付与されたタイミングで超音波プローブ101に上述の駆動信号(駆動パルス)を印加する。これにより、送受信回路110は、超音波がビーム状に集束された超音波ビームを超音波プローブ101に送信させる。また、送受信回路110は、超音波プローブ101による反射波信号の受信を制御する。反射波信号は、上述のように、超音波プローブ101から送信された超音波が被検体Pの体内組織で反射された信号である。例えば、送受信回路110は、制御回路170の指示に基づいて、超音波プローブ101が受信した反射波信号に所定の遅延時間を与えて加算処理を行う。これにより、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
 信号処理回路120は、送受信回路110が受信した反射波信号に対して各種の信号処理を行う。例えば、信号処理回路120は、反射波信号に対して各種の信号処理を行うことによって、サンプル点(観測点)ごとの信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。また、信号処理回路120は、移動体のドプラ効果に基づく運動情報を走査領域内の各サンプル点で抽出したデータ(ドプラデータ)を生成する。
 画像生成回路130は、信号処理回路120により各種の信号処理が行われたデータから、画像データ(超音波画像)を生成したり、超音波画像に対する各種の画像処理等を行ったりする。例えば、画像生成回路130は、二次元(two-dimensional;2D)のBモードデータから、反射波の強度を輝度で表した2D超音波画像を生成する。また、画像生成回路130は、二次元のドプラデータから、血流情報が映像化された2D超音波画像を生成する。
 ここで、画像生成回路130は、超音波プローブ101による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像を生成する。例えば、Bモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像処理回路140が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。すなわち、画像生成回路130は、スキャンコンバート処理前の2D超音波画像データから、表示用の2D超音波画像データを生成する。更に、画像生成回路130は、信号処理回路120が生成した三次元(three-dimensional;3D)のBモードデータに対して座標変換を行うことで、3D超音波画像を生成する。また、画像生成回路130は、信号処理回路120が生成した3次元のドプラデータに対して座標変換を行うことで、3D超音波画像を生成する。更に、画像生成回路130は、ボリューム画像データをディスプレイ103にて表示するための各種の2D超音波画像を生成するために、ボリューム画像データに対してレンダリング処理を行う。
 画像生成回路130は、超音波画像や、各種の画像処理を行った超音波画像を、画像メモリ140に格納する。画像メモリ140及び記憶回路150は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。
 処理回路160は、超音波診断装置1の処理全体を制御する。具体的には、処理回路160は、入力装置102を介して操作者から入力された各種設定要求や、記憶回路150から読込んだ各種制御プログラム及び各種データに基づき、送受信回路110、信号処理回路120、画像生成回路130及び画像メモリ140の処理を制御する。処理回路160は、画像生成回路130により生成された表示用の超音波画像、又は、画像メモリ140が記憶した表示用の超音波画像をディスプレイ103にて表示するように制御する。
 処理回路160は、本実施形態における医用画像処理装置として機能する。図2は、処理回路160の構成を示すブロック図である。図2に示すように、処理回路160は、レジストレーション用の2D超音波画像取得機能161と、3D医用画像取得機能162と、レジストレーション機能163と、表示制御機能164とを実行する。2D超音波画像取得機能161は、取得機能161A、導出機能161B、制御機能161Cを有する。なお、導出機能161Bは、導出部の一例である。制御機能161Cは、制御部の一例である。レジストレーション機能163は、レジストレーション部の一例である。
 ここで、図2に示す処理回路160の構成要素である2D超音波画像取得機能161、3D医用画像取得機能162、レジストレーション機能163、表示制御機能164が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で超音波診断装置1の記憶回路150に記録されている。処理回路160は、各プログラムを記憶回路150から読み出し、実行することで各プログラムに対応する処理機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路160は、図2の処理回路160内に示された各機能を有することとなる。画像処理回路140が実行する画像生成機能141、検出機能142、推定機能143、表示制御機能144の処理内容については、後述する。
 なお、図2においては、単一の処理回路160において、2D超音波画像取得機能161、3D医用画像取得機能162、レジストレーション機能163、表示制御機能164にて行われる各処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。
 上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路150に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばASICである場合、記憶回路150にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図2における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
 以上、本実施形態に係る超音波診断装置1の全体構成について説明した。かかる構成のもと、本実施形態に係る超音波診断装置1では、レジストレーションを容易にする超音波画像を短時間で検索できるように、以下の処理を行う。本実施形態に係る超音波診断装置1では、導出機能161Bは、超音波プローブ101により取得された複数の2D超音波画像に対して、事前に定義した画像評価パラメータを導出する。制御機能161Cは、画像評価パラメータの導出結果に基づいて、複数の2D超音波画像からレジストレーション用の2D超音波画像を選択する。レジストレーション機能163は、3D医用画像とレジストレーション用の2D超音波画像とのレジストレーションを行う。
 図2に示す処理回路160の各処理機能について説明する。
 まず、2D超音波画像取得機能161について説明する。2D超音波画像取得機能161は、画像生成回路130により生成した複数の2D超音波画像からレジストレーション用の2D超音波画像を選択する。2D超音波画像取得機能161は、上述のように、取得機能161A、導出機能161B、制御機能161Cを有する。
 取得機能161Aは、被検体Pに対して超音波スキャンを実行したときに得られる被検体Pの超音波画像として、複数の2D超音波画像を画像生成回路130から取得する。取得機能161Aは、画像生成回路130からの全ての2D超音波画像を選別することなく取得する。
 導出機能161Bは、事前に定義した画像評価パラメータと、画像評価パラメータの導出方法とに基づいて、取得機能161Aにより取得された全ての複数の2D超音波画像に対する画像評価パラメータを導出する。また、導出機能161Bは、画像評価パラメータに対応する閾値範囲に応じて、各2D超音波画像に対する画像評価パラメータの導出結果と当該閾値範囲との関係を判定する。
 画像評価パラメータとは、2D超音波画像が正確なレジストレーションに有利な2D超音波画像であるか否かを評価するための指標であり、本実施形態では、例えば、画像評価パラメータは、ランドマーク、テクスチャメトリック、直交性メトリック、被覆度(又は、重複度)、及びドップラー血流画像のうちの少なくとも1つを含む。これらの画像評価パラメータはあくまで一例であり、これに限定されるものではない。各画像評価パラメータの導出方法については、後述する。
 制御機能161Cは、導出機能161Bで導出された画像評価パラメータの導出結果をディスプレイ103に表示することにより、当該導出結果を操作者に提示する。例えば、制御機能161Cは、画像評価パラメータの導出結果と共に2D超音波画像をディスプレイ103に表示させる。具体的には、制御機能161Cは、導出結果を2D超音波画像に書き込んでディスプレイ103に表示させる。
 また、制御機能161Cは、導出結果と、推薦度を評価するための予め決められた閾値範囲とに基づいて、異なる導出結果を、推薦度に応じて異なるように2D超音波画像上に表示させる。ここで、制御機能161Cは、導出結果を、推薦度に応じて異なる色で2D超音波画像上に表示させてもよく、推薦度に応じて、導出結果が所定の閾値を超える2D超音波画像を、好適な2D超音波画像としてディスプレイ103に強調表示させてもよい。これにより、操作者は、ディスプレイ103に表示された導出結果と、強調表示される2D超音波画像とを参照することで、レジストレーション用の2D超音波画像を確認することができる。
 ここで、レジストレーション用の2D超音波画像は、操作者の手動により(例えば、操作者が入力装置102を用いることにより)選択されてもよいし、制御機能161Cにより自動的に選択されてもよい。例えば、制御機能161Cは、導出結果を、推薦度に応じて異なる色で2D超音波画像上に表示させ、操作者は、入力装置102を用いて、推薦度が最も高い2D超音波画像を、レジストレーション用の2D超音波画像として選択する。又は、制御機能161Cは、推薦度に応じて、導出結果が所定の閾値を超える2D超音波画像を、好適な2D超音波画像として、自動的に選択して、ディスプレイ103に強調表示させる。制御機能161Cは、選択されたレジストレーション用の2D超音波画像をレジストレーション機能163に出力する。
 3D医用画像取得機能162は、医用画像診断装置により生成された3D医用画像を取得し、レジストレーション機能163に出力する。医用画像診断装置としては、超音波診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT-CT装置、PET装置とX線CT装置とが一体化されたPET-CT装置などが挙げられる。3D医用画像は、例えば、3D超音波画像、3Dコンピュータ断層撮影画像、3D磁気共鳴画像のうちの何れかである。
 レジストレーション機能163は、2D超音波画像取得機能161の制御機能161Cから出力されたレジストレーション用の2D超音波画像と、3D医用画像取得機能162から出力された3D医用画像とのレジストレーションを行う。すなわち、レジストレーション機能163は、レジストレーション用の2D超音波画像と3D医用画像との位置合わせとしてレジストレーションを行う。
 表示制御機能164は、レジストレーション機能163によるレジストレーション結果をディスプレイ103に表示させる。すなわち、表示制御機能164は、レジストレーション用の2D超音波画像と3D医用画像とをレジストレーションした画像を、ディスプレイ103に表示させる。
 このように、本実施形態に係る超音波診断装置1では、2D超音波画像取得機能161により取得される2D超音波画像が複数存在場合、2D超音波画像取得機能161において、導出機能161Bが、事前に定義した画像評価パラメータに基づいて、取得機能161Aにより取得された複数の2D超音波画像に対する画像評価パラメータを導出し、制御機能161Cが、画像評価パラメータの導出結果に基づいて、複数の2D超音波画像から好適な2D超音波画像をレジストレーション用の2D超音波画像として選択することにより、レジストレーションを容易にする2D超音波画像を短時間で検索することができる。このため、本実施形態に係る超音波診断装置1では、レジストレーション機能163を用いて、レジストレーション用の2D超音波画像と、3D医用画像取得機能162で取得される3D医用画像とのレジストレーションを短時間で、かつ、正確に行うことができる。
 ここで、2D超音波画像取得機能161の導出機能161B及び制御機能161Cの処理について詳細に説明する。
 まず、操作者は、画像評価パラメータごとに推薦度を評価するための複数の数値範囲を予め設定しておく。例えば、2D超音波画像取得機能161において、導出機能161Bが、取得機能161Aにより取得された2D超音波画像に対して画像評価パラメータを導出することで、画像評価パラメータの導出結果を得た後、導出結果がどの数値範囲にあるかを判定することにより、当該2D超音波画像の推薦度を得ることができる。また、導出結果は、正規化した数値で示され、[0,1]の区間内に正規化され、制御機能161Cは、導出結果として、正規化した数値を含む2D超音波画像をディスプレイ103に表示させる。例えば、導出結果は、正規化した数値として、「0~0.6」、「0.6~0.85」、「0.85~1」という3つの区間に分けることができる。この場合、推薦度が最も高い区間は、区間「0.85~1」であり、推薦度が最も低い区間は、区間「0~0.6」である。
 例えば、正規化した数値は、区間毎に色が割り当てられた数値で示され、制御機能161Cは、導出結果を色でディスプレイ103に表示させる。具体的には、3つの区間「0~0.6」、「0.6~0.85」、「0.85~1」には、それぞれ、赤色、黄色、緑色が割り当てられている。この場合、推薦度が最も高い色は、緑色であり、推薦度が最も低い色は、赤色である。例えば、制御機能161Cは、正規化した数値として導出結果が「0~0.6」の区間にある場合、当該2D超音波画像を3D医用画像とのレジストレーションに適していないことを表す情報として、2D超音波画像上に、正規化した数値を赤色で表示させる。例えば、制御機能161Cは、正規化した数値として導出結果が「0.6~0.85」の区間にある場合、当該2D超音波画像の品質が一般的であるが、3D医用画像とのレジストレーションとして用いられてもよいことを表す情報として、2D超音波画像上に、正規化した数値を黄色で表示させる。例えば、制御機能161Cは、正規化した数値として導出結果が「0.85~1」の区間にある場合、当該2D超音波画像の品質がよく、3D医用画像とのレジストレーションに適していることを表す情報として、2D超音波画像上に、正規化した数値を緑色で表示させる。
 図3A~図3Cは、2D超音波画像の表示例として、制御機能161Cが、正規化した数値として導出結果と共に3つの2D超音波画像をディスプレイ103に表示させる概略図である。
 例えば、図3Aにおいて、2D超音波画像の左上に表示された情報「XXX:0.95」は、緑色で表記される。図3Bにおいて、2D超音波画像の左上に表示された情報「XXX:0.3」は、赤色で表記される。図3Cにおいて、2D超音波画像の左上に表示された情報「XXX:0.7」は、黄色で表記される。図3A~図3Cにおいて、当該情報の「XXX」は、選択される画像評価パラメータの名称であり、「0.95」、「0.3」、「0.7」は、正規化した数値を表す導出結果である。図3A~図3Cにおいて、2D超音波画像の左上に表示された情報で用いられる赤色、黄色、緑色は、上述の3つの区間「0~0.6」、「0.6~0.85」、「0.85~1」に基づいて特定される。これにより、操作者は、2D超音波画像上に表示される色に応じて、どの超音波画像が好適であるかを容易に知ることができる。
 なお、制御機能161Cは、導出結果として正規化した数値「0.95」、「0.3」、「0.7」のみをディスプレイ103に表示させ、当該数値のうちの1つを操作者が選択した場合、選択された数値に対応する2D超音波画像をレジストレーション用の2D超音波画像としてもよい。例えば、操作者が数値「0.95」を選択した場合、制御機能161Cは、数値「0.95」に対応する2D超音波画像をレジストレーション用の2D超音波画像とする。
 また、制御機能161Cは、3つの2D超音波画像の左上に、それぞれ、導出結果として正規化した数値を含む情報「XXX:0.95」、「XXX:0.3」、「XXX:0.7」を表示させると共に、3D医用画像とのレジストレーションに好適であるか否かを表す情報を併せて表示させてもよい。例えば、制御機能161Cは、情報「XXX:0.95」の数値「0.95」は、区間「0.85~1」内にあるため、情報「XXX:0.95」については、情報「XXX:0.9(好適)」等のように、3D医用画像とのレジストレーションに好適であることを表す文字をディスプレイ103に表示させる。
 上述の例では、幾つかの導出結果の表示方法を挙げたが、本実施形態はこれに限定されるものではなく、操作者が好適な2D超音波画像を区別するのに寄与できるのであれば、他の方法であってもよい。
 また、上述の例では、導出結果を[0,1]の区間内に正規化して表示する方法を用いているが、正規化を行わなくてもよい。
 図4は、2D超音波画像の表示例として、好適な2D超音波画像をディスプレイ103に強調表示させる概略図である。
 まず、図4の上側において、超音波プローブのリアルタイムスキャンにおいて、導出機能161Bが、取得機能161Aにより取得された複数の2D超音波画像200に対して画像評価パラメータを導出し、制御機能161Cは、画像評価パラメータの導出結果に基づいて、当該複数の2D超音波画像200が3D医用画像とのレジストレーションに適している2D超音波画像であるか否かを判定する。次に、図4の下側において、例えば、複数の2D超音波画像200のうちの2D超音波画像200A、200Bは、他の2D超音波画像に比べて、好適な2D超音波画像であるとする。この場合、制御機能161Cは、2D超音波画像200A、200Bが3D医用画像とのレジストレーションに適している2D超音波画像であると判定し、2D超音波画像200A、200Bに、例えばエッジにハイライトをかけるように強調表示を行う。例えば、エッジは、2D超音波画像200A、200Bのフレームであり、制御機能161Cは、当該フレームにハイライトをかけるように強調表示を行う。例えば、エッジは、2D超音波画像200A、200Bにおけるランドマークであり、制御機能161Cは、当該ランドマークにハイライトをかけるように強調表示を行う。
 なお、上述の強調表示は、2D超音波画像と3D医用画像とのレジストレーションが行われるときに実施されてもよい。例えば、制御機能161Cが、複数の2D超音波画像200のうちの2D超音波画像200Aのみが3D医用画像とのレジストレーションに適している2D超音波画像であると判定した場合、2D超音波画像200Aと3D医用画像とのレジストレーションの実施後においても、2D超音波画像200Aの強調表示が行われる。また、例えば、制御機能161Cが、2D超音波画像200A、200Bをディスプレイ103に表示させることによって操作者に提示した後、操作者によって選択された2D超音波画像を、レジストレーション用の2D超音波画像としてもよい。
 図4に示す例と図3A~図3Cに示す例との相違点は、図4に示す例では、制御機能161Cが、具体的な導出結果(数値)をディスプレイ103に表示させることなく、導出結果に基づいて、好適な2D超音波画像を強調表示させることにある。
 また、図3A~図3Cに示す例では、導出結果と共に2D超音波画像をディスプレイ103に表示させることによって操作者に提示し、図4に示す例では、強調表示させた2D超音波画像を操作者に提示しているが、2D超音波画像を操作者へ表示させなくてもよい。例えば、制御機能161Cが、画像評価パラメータの導出結果に基づいて、複数の2D超音波画像のうちの1つの2D超音波画像が3D医用画像とのレジストレーションに適している2D超音波画像であると判定した後、当該2D超音波画像を操作者に提示することなく、好適な2D超音波画像をレジストレーション用の2D超音波画像として、3D医用画像とのレジストレーションを実施する。
 図5A~図5Cは、本実施形態に係る医用画像処理装置の処理として、レジストレーション用の2D超音波画像の選択を示すフローチャートである。
 図5Aは、図3A~図3Cに示す例に相当し、例えば、処理回路160が、導出結果と共に複数の2D超音波画像をディスプレイ103に表示させることによって操作者に提示した後、操作者によって選択された2D超音波画像と、3D医用画像とのレジストレーションを行う場合の処理である。
 まず、図5AのステップS101は、処理回路160が記憶回路150から取得機能161A及び3D医用画像取得機能162に対応するプログラムを呼び出して実行されるステップである。ステップS101において、2D超音波画像取得機能161の取得機能161Aは、被検体Pに対して超音波スキャンを実行したときに得られる被検体Pの超音波画像として、超音波プローブ101を介して伝送されて処理された複数の2D超音波画像を画像生成回路130から取得する。また、3D医用画像取得機能162は、医用画像診断装置により生成された3D医用画像を取得する。
 次に、図5AのステップS102は、処理回路160が記憶回路150から導出機能161Bに対応するプログラムを呼び出して実行されるステップである。ステップS102において、2D超音波画像取得機能161の導出機能161Bは、事前に特定した画像評価パラメータに基づいて、取得機能161Aにより取得された複数の2D超音波画像に対する画像評価パラメータを導出し、導出結果である数値を得る。
 次に、図5AのステップS103Aは、処理回路160が記憶回路150から制御機能161Cに対応するプログラムを呼び出して実行されるステップである。ステップS103Aにおいて、制御機能161Cは、画像評価パラメータの導出結果として数値を含む複数の2D超音波画像をディスプレイ103に表示させることによって操作者に提示する。このとき、制御機能161Cは、操作者によって選択された2D超音波画像を、レジストレーション用の2D超音波画像とする。
 次に、図5AのステップS103Bは、処理回路160が記憶回路150からレジストレーション機能163及び表示制御機能164に対応するプログラムを呼び出して実行されるステップである。ステップS103Bにおいて、レジストレーション機能163は、レジストレーション用の2D超音波画像として操作者により選択された2D超音波画像と、3D医用画像取得機能162により取得された3D医用画像とのレジストレーションを行う。表示制御機能164は、レジストレーション用の2D超音波画像と3D医用画像とをレジストレーションした画像をディスプレイ103に表示させる。
 図5Bは、図4に示す例に相当し、例えば、処理回路160が、強調表示された2D超音波画像を操作者に提示した後、操作者によって選択された2D超音波画像と、3D医用画像とのレジストレーションを行う場合の処理である。
 まず、図5Bにおいて、図5Aと同様に、ステップS101、S102が実行される。次に、図5BのステップS104Aは、処理回路160が記憶回路150から制御機能161Cに対応するプログラムを呼び出して実行されるステップである。ステップS104Aにおいて、制御機能161Cは、画像評価パラメータの導出結果に基づいて、複数の2D超音波画像が3D医用画像とのレジストレーションに適している2D超音波画像であるか否かを判定し、他の2D超音波画像に比べて、好適な2D超音波画像をディスプレイ103に強調表示させることによって操作者に提示する。このとき、制御機能161Cは、操作者によって選択された2D超音波画像を、レジストレーション用の2D超音波画像とする。
 次に、図5BのステップS104Bは、処理回路160が記憶回路150からレジストレーション機能163及び表示制御機能164に対応するプログラムを呼び出して実行されるステップである。ステップS104Bにおいて、レジストレーション機能163は、レジストレーション用の2D超音波画像として操作者により選択された2D超音波画像と、3D医用画像取得機能162により取得された3D医用画像とのレジストレーションを行う。表示制御機能164は、レジストレーション用の2D超音波画像と3D医用画像とをレジストレーションした画像をディスプレイ103に表示させる。ここで、2D超音波画像と3D医用画像とのレジストレーションの実施後においても、例えば、制御機能161Cによって、2D超音波画像のエッジにハイライトをかける等の強調表示が行われてもよい。
 図5Cは、例えば、処理回路160が、好適な2D超音波画像を操作者に提示することなく、好適な2D超音波画像をレジストレーション用の2D超音波画像として、3D医用画像とのレジストレーションを行う場合の処理である。
 まず、図5Cにおいて、図5Aと同様に、ステップS101、S102が実行される。次に、図5CのステップS105Aは、処理回路160が記憶回路150から制御機能161Cに対応するプログラムを呼び出して実行されるステップである。ステップS105Aにおいて、制御機能161Cは、画像評価パラメータの導出結果に基づいて、複数の2D超音波画像のうちの1つの2D超音波画像が3D医用画像とのレジストレーションに適している2D超音波画像であると判定した場合、その好適な2D超音波画像を操作者に提示することなく、レジストレーション用の2D超音波画像として選択する。
 次に、図5CのステップS105Bは、処理回路160が記憶回路150からレジストレーション機能163及び表示制御機能164に対応するプログラムを呼び出して実行されるステップである。ステップS105Bにおいて、レジストレーション機能163は、制御機能161Cにより選択された2D超音波画像と、3D医用画像取得機能162により取得された3D医用画像とのレジストレーションを行う。表示制御機能164は、レジストレーション用の2D超音波画像と3D医用画像とをレジストレーションした画像をディスプレイ103に表示させる。
 本実施形態によれば、2D超音波画像取得機能161において、導出機能161Bが、事前に定義した画像評価パラメータに基づいて、取得機能161Aにより取得された複数の2D超音波画像に対する画像評価パラメータを導出し、制御機能161Cが、画像評価パラメータの導出結果に基づいて、複数の2D超音波画像から好適な2D超音波画像をレジストレーション用の2D超音波画像として選択することにより、レジストレーション精度の向上に有利な2D超音波画像を短時間で検索することができる。
 また、本実施形態において、レジストレーション用の2D超音波画像として選択される2D超音波画像は、1つではなく、複数であってもよい。即ち、レジストレーション機能163は、制御機能161Cにより複数の2D超音波画像がレジストレーション用の2D超音波画像として選択された場合、制御機能161Cにより選択された複数の2D超音波画像と、3D医用画像取得機能162により取得された3D医用画像とのレジストレーションを行う。この場合、レジストレーションの精度をさらに向上させることができる。
 また、本実施形態では、導出機能161Bが、複数の2D超音波画像に対する画像評価パラメータを導出した後、画像評価パラメータの導出結果と共に2D超音波画像をディスプレイ103に表示させる、あるいは好適な(レジストレーション精度が高い)2D超音波画像をディスプレイ103に強調表示させるように操作者に提示し、操作者に確認させることにより、操作者は、レジストレーションに適した2D超音波画像を選択し易くすることができる。
 また、本実施形態では、導出機能161Bが、画像評価パラメータの導出結果に基づいて、好適な2D超音波画像を操作者に提示することなく、好適な2D超音波画像をレジストレーション用の2D超音波画像として自動的に選択するものであってもよく、この場合、操作者の確認過程が不要であるため、より短い時間でレジストレーションを完成することができる。
 以下、本実施形態に用いられる画像評価パラメータについて、例を挙げて詳細に説明する。ここで、本実施形態に用いられる画像評価パラメータは、ランドマーク(landmark)、テクスチャメトリック、直交性メトリック、被覆度、及びドップラー血流画像のうちの少なくとも1つを含む。
 (ランドマーク)
 ランドマークとは、解剖学的に顕著な特徴を有する部位であり、手術を行う上ではキーポイントである。例えば、治療対象となる臓器が肝臓である場合、ランドマークとしては、門脈や肝静脈の集束所、門脈や肝静脈の起始部などが挙げられる。図6A及び図6Bは、ランドマークを含む2D超音波画像を示す図であり、図6A、図6Bに示す例では、それぞれ、肝臓における門脈や肝静脈の集束所をドットの形態で示している。異なるモードの医用画像において、例えばディープニューラルネットワーク(Deep neural networks)等の検出アルゴリズムによりランドマークを検出することができる。
 そこで、制御機能161Cが、ランドマークを含む2D超音波画像をレジストレーション用の2D超音波画像として選択する。レジストレーション機能163は、レジストレーション用の2D超音波画像及び3D医用画像からランドマークを検出し、検出したランドマークを用いて、2D超音波画像と3D医用画像とのレジストレーションを行う。これにより、レジストレーションの精度を向上させることができる。このように、本実施形態では、画像評価パラメータとしてランドマークを用いることで、3D医用画像とのレジストレーションに適している2D超音波画像を得ることができる。
 ここで、解剖学的に顕著な特徴を特徴量として抽出する場合、例えば、グレースケール、特徴記述子、ニューラルネットワークなどが用いられる。
 グレースケールが用いられる場合、スケールが異なるフィルタにより得られた平滑化画像の差分画像から極値を検出することによってヒストグラムを作成し、ヒストグラムにより表される画像の局所または全体領域におけるグレースケールの変化から特徴量を抽出する。
 特徴記述子が用いられる場合、異なる縮尺で画像の差を計算することにより、画像の拡大縮小、平行移動や回転などに対してロバストな特徴量を抽出する。特徴記述子は、ベクトルで表すことができる。一般的な特徴記述子には、Harrisのコーナー検出、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded-Up Robust Features)が用いられる。
 ニューラルネットワークが用いられる場合、画像をニューラルネットワークに入力し、特徴点の座標を直接求めることにより特徴量を抽出する。ニューラルネットワークとしては、Hourglassネットワーク、U字型のニューラルネットワークであるUNet、nnUNetなどの畳み込みニューラルネットワーク(Convolutional Neural Network;CNN)や、LSTM(Long Short-Term Memory)、LSTMをシンプルにしたモデルであるRNN(Recurrent Neural Network)、GRU(Gated Recurrent Unit)などの回復型ニューラルネットワークなどが挙げられるが、これらの例に限定されない。
 (テクスチャメトリック)
 例えば、2D超音波画像において、「門脈」や「門脈の起始部」等の解剖学的な名称で区別できる部位が存在する場合、上述のように、画像評価パラメータとしてランドマークが用いられる。ここで、2D超音波画像において、解剖学的な名称で区別できない部位については、例えば、画像評価パラメータとしてテクスチャメトリックが用いられる。
 図7A、図7Bは、異なるテクスチャ構造を有する2D超音波画像を示す図である。テクスチャメトリックは、超音波画像におけるテクスチャ構造の数を示す。テクスチャ構造が明らかであるほど、レジストレーションの精度を向上させることができる。例えば、図7Bに示す2D超音波画像は、図7Aに示す2D超音波画像よりもテクスチャ構造がより多い。この場合、図7Bに示す2D超音波画像を選択してレジストレーション用の2D超音波画像とすることが好ましい。
 テクスチャ構造の数を判定するために、標準偏差を用いて導出することができる。例えば超音波画像の中心領域を選択し、式1で当該領域の標準偏差SDを求める。
Figure JPOXMLDOC01-appb-M000001
 式中、Iは画素強度であり、Iのオーバーラインは平均画素強度であり、Nは画素数である。各領域の標準偏差を求めた後、各標準偏差を[0,1]の区間に正規化する。
 これにより、操作者は、テクスチャメトリックの正規化値が1により近いスキャン面(即ち、2D超音波画像)を選択することができる。例えば、制御機能161Cは、テクスチャメトリックの正規化値を含む複数の2D超音波画像をディスプレイ103に表示させることによって操作者に提示する。このとき、制御機能161Cは、操作者によって選択された2D超音波画像を、レジストレーション用の2D超音波画像とする。このように、本実施形態では、画像評価パラメータとしてテクスチャメトリックを用いることで、レジストレーション用の2D超音波画像として、テクスチャ構造をより多く含む2D超音波画像を得ることができる。
 なお、上述の例では、画像評価パラメータの一例であるテクスチャメトリックとして、2D超音波画像の輝度の標準偏差が用いられているが、これに限定されない。画像評価パラメータの一例であるテクスチャメトリックは2D超音波画像における輝度勾配及び輝度差分の少なくとも1つに基づいて設定されてもよい。また、テクスチャメトリックとして用いられる標準偏差、輝度勾配、輝度差分は、各超音波画像において、画像全体で求められてもよいし、一部の領域(中心領域など)で求められてもよい。テクスチャメトリックとしての標準偏差、輝度勾配及び輝度差分というパラメータは、結果的に、臓器の境界や輪郭を示すパラメータであり、当該パラメータを求める処理は、原画像からエッジ強調画像を生成する処理に該当するものである。
 (直交性メトリック)
 複数の2D超音波画像を用いてレジストレーションを行う場合、スキャン方向の差が大きい、換言すると、スキャン方向がより直交に近い複数の2D超音波画像を選択できることが望ましい。これは、スキャン方向を保持する場合、プローブを平行移動してスキャンを行うと、内部テクスチャ構造の差が明らかではない可能性があり、異なる方向でスキャンを行うと、より豊富なテクスチャ構造を観察できるからである。
 各スキャン面の間の直交性を判定するために、直交性メトリックが用いられる。直交性メトリックOrthの導出方法については、下記の式2で実現することができる。
Figure JPOXMLDOC01-appb-M000002
 式中、iは、i番目の選択される2D超音波画像を表し、Nは、当該i番目の選択される超音波画像の直交成分を表し、Nは、2D超音波画像の個数であり、N’は現在の2D超音波画像の直交成分である。直交性メトリックOrthの大きい超音波画像をできる限り選択することが望ましい。
 以下、図8を参照して説明する。図8に示すように、各スキャン面は磁気座標系に変換される。例えば、磁気座標は、超音波プローブ101に取り付けられた磁気センサから得られる。なお、図8では、2D超音波画像を「2D US」と表記している。I、I、I’、I’’はそれぞれ異なるスキャン方向を有する複数のスキャン面(即ち、2D超音波画像)を表す。I、Iは、選択された2D超音波画像であり、N、Nは、それぞれ選択されたI、Iの直交成分であり、I’、I’’は、選択候補の2D超音波画像であり、N’、N’’は、選択候補のI’、I’’の直交成分である。I’とI’’との比較の結果、I’と、選択されたI、Iとの直交度合いがより大きいため、レジストレーション用の2D超音波画像として、I’’を選択することなく、I’を選択することが好ましい。
 直交性メトリックOrthを求めた後、各直交性メトリックOrthを[0,1]の区間に正規化する。
 これにより、操作者は、直交性メトリックの正規化値がより1に近いスキャン面を選択することができる。例えば、制御機能161Cは、直交性メトリックの正規化値を含む複数の2D超音波画像をディスプレイ103に表示させることによって操作者に提示する。このとき、制御機能161Cは、操作者によって選択された2D超音波画像を、レジストレーション用の2D超音波画像とする。このように、本実施形態では、画像評価パラメータとして直交性メトリックを用いることにより、レジストレーション用の2D超音波画像として、各2D超音波画像の走査方向がより直交に近い2D超音波画像を得ることができる。
 (被覆度)
 レジストレーション用の2D超音波画像は、できるだけ大きい注目領域(ROI:region of interesting)を被覆しなければならない。注目領域は、操作者が特に観察したい領域であり、例えば肝臓アブレーション手術において、注目領域は、肝臓全体を意味する。被覆度は、複数の2D超音波画像が三次元空間に形成された閉鎖領域と、注目領域との共通領域の大きさを表す。三次元空間に形成された閉鎖領域が注目領域全体に占める割合が大きい複数の2D超音医用画像を、レジストレーション用の超音波画像とすることが好ましい。
 以下、図9A、図9Bを参照して被覆度の判定方法を説明する。図9A、図9Bにおいて、各スキャン面は磁気座標系に変換される。例えば、磁気座標は、超音波プローブ101に取り付けられた磁気センサから得られる。なお、図9A、図9Bでは、2D超音波画像を「2D US」と表記し、注目領域を「ROI」と表記している。ここで、上記の閉鎖領域とは、外側にあるスキャン面と注目領域とが磁気座標系で交わる各交差点を接続して特定される領域をいう。図9Aに示すI、I、I、及び、図9Bに示すI、I、Iは、それぞれスキャン方向が異なる複数のスキャン面を表す。図9A及び図9Bに示すI、Iは、選択された2D超音波画像であり、I、Iは、選択候補の超音波画像である。図9A、図9Bにおけるメッシュパターンは、各2D超音波画像が3次元空間に形成した閉鎖領域と注目領域ROIとの共通領域を表す。ここで、図9Bに示すI、I、Iと注目領域ROIとにより形成された共通領域の大きさは、図9Aに示すI、I、Iと注目領域ROIとにより形成された共通領域の大きさよりも大きい。従って、Iを選択することなく、Iを選択することが好ましい。
 被覆度の大きさは、同様に、検出アルゴリズムにより実現されてもよく、また、注目領域に対する各スキャン面の被覆度を得た後、被覆度を[0,1]の区間に正規化することができる。
 これにより、操作者は、被覆度の正規化値がより1に近いスキャン面を選択することができる。例えば、制御機能161Cは、被覆度の正規化値を含む複数の2D超音波画像をディスプレイ103に表示させることによって操作者に提示する。このとき、制御機能161Cは、操作者によって選択された2D超音波画像を、レジストレーション用の2D超音波画像とする。このように、本実施形態では、画像評価パラメータとして被覆度を用いることにより、より大きい注目領域を被覆する複数の2D超音波画像を得ることができる。
 (ドップラー血流画像)
 人体の主な血管は、一般的に、何れも明らかな構造特徴を含み、構造特徴が明らかであるほど、レジストレーション効果がよくなる。2D超音波画像として、ドップラー血流画像を用いることにより、2D超音波画像に血流情報が含まれるか否かを容易に観察することができる。
 これにより、操作者は、血流情報を含む2D超音波画像を選択することができる。例えば、制御機能161Cは、血流情報を含む複数の2D超音波画像をディスプレイ103に表示させることによって操作者に提示する。このとき、制御機能161Cは、操作者によって選択された2D超音波画像を、レジストレーション用の2D超音波画像とする。このように、本実施形態では、画像評価パラメータとしてドップラー血流画像を用いることにより、レジストレーションを容易に行うと共に、レジストレーションの精度を向上させることができる。
 本実施形態では、ランドマーク(landmark)、テクスチャメトリック、直交性メトリック、被覆度、及びドップラー血流画像などを画像評価パラメータとして挙げているが、画像評価パラメータは、これらに限定されるものではない。
 制御機能161Cは、画像評価パラメータの1つのみを用いてレジストレーション用の2D超音波画像を選択した場合、2D超音波画像上に、使用した画像評価パラメータを表す情報を表示させる。例えば、制御機能161Cは、画像評価パラメータとしてランドマークのみが用いられた場合には、2D超音波画像上に、使用した画像評価パラメータを表す情報として「ランドマーク」を表示させる。また、制御機能161Cは、複数の画像評価パラメータを用いてレジストレーション用2D超音波画像を選択した場合、2D超音波画像上に、使用した複数の画像評価パラメータを表す情報を表示させる。例えば、複数の画像評価パラメータには重み係数が付与されていて、制御機能161Cは、画像評価パラメータとしてランドマーク、テクスチャメトリック、直交性メトリックが用いられた場合には、2D超音波画像上に、使用した複数の画像評価パラメータを表す情報として「ランドマーク:1;テクスチャメトリック:0.7;直交性メトリック:0.5」を表示させる。
 ここで、「1」、「0.7」、「0.5」は、重み係数であり、それぞれ、「ランドマーク」、「テクスチャメトリック」、「直交性メトリック」に対して付与されたものである。具体的には、複数の画像評価パラメータを用いる場合、例えば、操作者は、手術の類型、注目部位等に基づいて、複数の画像評価パラメータに異なる重み係数(重み)を付与しておき、制御機能161Cは、複数の画像評価パラメータに付与された重み係数に基づいて、重み付け点数を算出し、重み付け点数に基づいて、レジストレーション用の2D超音波画像を選択する。
 各2D超音波画像の重み付け点数Sの計算式は式3に示される。
Figure JPOXMLDOC01-appb-M000003
 式中、Mは、i番目の2D超音波画像の評価パラメータであり、Wは当該i番目の2D超音波画像の重みであり、Nは画像評価パラメータの個数である。制御機能161Cは、重み付けの計算方法を用いて合計の重み付け点数を算出し、算出した重み付け点数に基づいて、レジストレーション用の2D超音波画像を選択する。この場合、制御機能161Cは、2D超音波画像上に、使用した複数の画像評価パラメータを表す情報として、最終の重み付け点数を表す情報を表示させてもよい。例えば、制御機能161Cは、最終の重み付け点数を表す情報として「重み付け点数:0.75」のみを2D超音波画像に表示させる。ここで、当該重み付け点数は、1に近いほど良い。
 これにより、制御機能161Cは、複数の画像評価パラメータに付与された重み係数に基づいて、重み付け点数を算出することで、各2D超音波画像をより全面的に評価して、評価の結果に基づいて、レジストレーション用の2D超音波画像を選択する。このように、本実施形態では、複数の画像評価パラメータに重み係数を付与することで、よりレジストレーションに適合した2D超音波画像を選択することができる。
 (具体例1)
 ここで、レジストレーションの具体例として、ランドマークを用いた場合のレジストレーションについて説明する。
 この場合、レジストレーション機能163は、複数のレジストレーション用の2D超音波画像及び3D医用画像からランドマークを検出する。ランドマークを用いることによって複数の2D超音波画像と3D医用画像とのレジストレーションを容易に実現することができる。
 図10は、ランドマークを用いたレジストレーションを説明するための図である。なお、I、I、Iは2D超音波画像を表し、P、P、Pは各2D超音波画像におけるランドマークであり、Q、Q、Qは、3D医用画像における各ランドマークである。図10の上側に示すように、レジストレーション機能163は、検出アルゴリズムにより、2D超音波画像におけるランドマークP、P、Pと、3D医用画像におけるランドマークQ、Q、Qと、を検出する。そして、レジストレーション機能163は、ランドマークP、P、PとランドマークQ、Q、Qとをマッチングして、対応のランドマークのドットペア(dot pair)<P、Q>を得る。その後、レジストレーション機能163は、<P、Q>のドットペアを用いて、3D医用画像におけるランドマークQ、Q、Qと、各2D超音波画像における対応のランドマークP、P、Pとの間の対応関係を示す変換パラメータを生成し、レジストレーション機能163は、変換パラメータに基づいて、各2D超音波画像と3D医用画像とのレジストレーションを行う。なお、iはドットペアの数を表し、1以上の整数であり、上述の例ではi=3である。
 図11は、ランドマークを用いてレジストレーションを行うフローチャートである。以下、具体例1の2D超音波画像と3D医用画像とのレジストレーションについて、図11を参照しながら説明する。
 図11に示すように、まず、ステップS201において、前述のステップS101と同様の処理が行われる。すなわち、2D超音波画像取得機能161の取得機能161Aは、被検体Pに対して超音波スキャンを実行したときに得られる被検体Pの超音波画像として、超音波プローブ101を介して伝送して処理した複数の2D超音波画像を画像生成回路130から取得する。
 次に、ステップS202において、前述のステップS102及びS103A、又は、前述のステップS102及びS104Aに相当する処理が行われる。すなわち、2D超音波画像取得機能161の導出機能161Bは、事前に特定した画像評価パラメータに基づいて、取得機能161Aにより取得された複数の2D超音波画像に対する画像評価パラメータを導出し、画像評価パラメータの導出結果である数値を得る。そして、制御機能161Cは、レジストレーション用の2D超音波画像を特定するための情報を、ディスプレイ103に表示させることによって操作者に提示する。当該情報は、画像評価パラメータの導出結果と共に2D超音波画像、及び、強調表示される2D超音波画像のうちの少なくとも1つを含む。例えば、制御機能161Cは、画像評価パラメータの導出結果として数値を含む複数の2D超音波画像をディスプレイ103に表示させることによって操作者に提示する。例えば、制御機能161Cは、画像評価パラメータの導出結果に基づいて、複数の2D超音波画像が3D医用画像とのレジストレーションに適している2D超音波画像であるか否かを判定し、他の2D超音波画像に比べて、好適な2D超音波画像をディスプレイ103に強調表示させることによって操作者に提示する。このとき、制御機能161Cは、操作者によって選択された2D超音波画像を、レジストレーション用の2D超音波画像とし、レジストレーション機能163に出力する。
 なお、前述のステップS102及びS105Aに相当する処理が行われてもよい。すなわち、2D超音波画像取得機能161の導出機能161Bは、事前に特定した画像評価パラメータに基づいて、取得機能161Aにより取得された複数の2D超音波画像に対する画像評価パラメータを導出し、画像評価パラメータの導出結果である数値を得る。そして、制御機能161Cは、画像評価パラメータの導出結果に基づいて、複数の2D超音波画像のうち、3D医用画像とのレジストレーションに適している2D超音波画像を、レジストレーション用の2D超音波画像として選択とし、レジストレーション機能163に出力する。
 その後、ステップS203において、レジストレーション機能163は、制御機能161Cから出力されたレジストレーション用の2D超音波画像に対して、それぞれレジストレーション用のランドマークを検出する。
 一方、ステップS204において、3D医用画像取得機能162は、医用画像診断装置によりされた3D医用画像を取得し、レジストレーション機能163に出力する。その後、ステップS205において、レジストレーション機能163は、制御機能161Cから出力された3D医用画像に対して、レジストレーション用のランドマークを検出する。ここで、2D超音波画像のランドマークの検出及び3D医用画像のランドマークの検出は、並行して行われてもよく、時系列的に行われてもよく、ランドマークの検出のタイミングは限定されない。2D超音波画像のランドマークの検出及び3D医用画像のランドマークの検出が時系列的に行われる場合、例えば、表示制御機能164は、3D医用画像のランドマークをハイライト等の強調表示により、当該3D医用画像をディスプレイ103に表示させ、操作者は、ディスプレイ103に表示された3D医用画像のランドマークを参考にしながら、超音波プローブ101を操作することで、上述のステップS201~S203が実行される。
 次に、ステップS206において、レジストレーション機能163は、2D超音波画像におけるランドマークP、P、Pと、3D医用画像におけるランドマークQ、Q、Qと、をマッチングして、対応のランドマークのドットペア<P、Q>を取得する。その後、レジストレーション機能163は、<P、Q>のドットペアを用いて、3D医用画像におけるランドマークQ、Q、Qと、各2D超音波画像における対応のランドマークP、P、Pとの間の対応関係を示す変換パラメータを生成する。そして、ステップS207において、レジストレーション機能163は、生成した変換パラメータを用いて、2D超音波画像と3D医用画像とのレジストレーションを行う。
 具体例1によれば、2D超音波画像と3D医用画像とのレジストレーションを容易に実現することができ、レジストレーションに要する時間を短縮し、レジストレーションの精度を向上させることにより、手術中の患者の負担を軽減することができる。
 (具体例2)
 ここで、画像評価パラメータとしてテクスチャメトリックが用いられる場合、テクスチャメトリックが、複数の2D超音波画像における輝度勾配及び輝度差分のうち、輝度勾配に基づいて設定される場合の具体例について説明する。図12A、図12Bは、レジストレーション用の2D超音波画像として複数の2D超音波画像を選択する場合の具体例であり、図中の「2DUS画像」は2D超音波画像を示している。
 例えば、操作者が被検体Pに対して超音波スキャンを実行したときに、複数の2D超音波画像が取得機能161Aにより取得される。このとき、導出機能161Bは、取得機能161Aにより取得された複数の2D超音波画像に対して画像評価パラメータを導出する。具体的には、2D超音波画像の輝度勾配が大きい場合、導出機能161Bは、複数の2D超音波画像のうち、画像の輝度勾配が大きい2D超音波画像の画像評価パラメータの導出結果には大きい値を設定し、画像の輝度勾配が小さい2D超音波画像の画像評価パラメータの導出結果には小さい値を設定する。
 導出結果は、上述したように、正規化した数値で示され、[0,1]の区間内に正規化されている。そこで、図12Aに示すように、例えば、導出機能161Bは、画像の輝度勾配が最も大きい2D超音波画像200を基準2D超音波画像とし、基準2D超音波画像の画像評価パラメータの導出結果に対して数値「0.9」を設定し、基準2D超音波画像以外の2D超音波画像200の画像評価パラメータの導出結果に対して、数値「0.9」より小さい数値を設定する。具体的には、基準2D超音波画像以外の2D超音波画像200の画像評価パラメータの導出結果には、基準2D超音波画像から離れるほど、小さい数値が設定される。図12Aに示す例では、基準2D超音波画像から前後に1つずつ離れた2D超音波画像200の画像評価パラメータの導出結果には、それぞれ、数値「0.7」、「0.8」が設定され、基準2D超音波画像から前後に3つずつ離れた2D超音波画像200の画像評価パラメータの導出結果には、それぞれ、数値「0.3」、「0.1」が設定される。ここで、制御機能161Cは、導出結果を色でディスプレイ103に表示させる場合、上述したように、3つの区間「0~0.6」、「0.6~0.85」、「0.85~1」にそれぞれ割り当てられた赤色、黄色、緑色で導出結果をディスプレイ103に表示させる。
 超音波スキャンにより得られた複数の2D超音波画像は、ある軸の方向に沿って配列される画像データであるため、制御機能161Cは、画像の輝度勾配が最も大きい2D超音波画像200である基準2D超音波画像と、当該基準2D超音波画像の前後に配列された所定数の2D超音波画像とを、複数の2D超音波画像として選択する。例えば、複数の2D超音波画像は、3以上の奇数個の2D超音波画像である。図12Bに示す例では、所定数を3とした場合、制御機能161Cは、複数の2D超音波画像201~207として7個の2D超音波画像を選択する。1番目から7番目までの複数の2D超音波画像201~207のうち、4番目の2D超音波画像204は、基準となる基準2D超音波画像であり、画像の輝度勾配が大きい2D超音波画像である。
 制御機能161Cは、複数の2D超音波画像201~207の画像評価パラメータの導出結果に対して重み係数(重み)を付与し、画像評価パラメータの導出結果と重み係数とに基づいて、複数の2D超音波画像201~207の全体の画像評価パラメータを導出する。図12Bに示すように、例えば、制御機能161Cは、基準2D超音波画像である2D超音波画像204の画像評価パラメータの導出結果「0.9」に対して重み係数として「0.5」を付与し、2D超音波画像204以外の2D超音波画像201~203、205~207の画像評価パラメータの導出結果に対して、重み係数「0.5」より小さい重み係数を付与する。具体的には、2D超音波画像201~203、205~207の画像評価パラメータの導出結果には、2D超音波画像204から離れるほど、小さい重み係数が付与される。図12Bに示す例では、2D超音波画像203、2D超音波画像205の画像評価パラメータの導出結果には、重み係数「0.25」が付与され、2D超音波画像201、2D超音波画像207の画像評価パラメータの導出結果には、重み係数「0.02」が付与される。
 全体の画像評価パラメータQvolの算出式は式4に示される。
Figure JPOXMLDOC01-appb-M000004
 式中、Qは、i番目の2D超音波画像の評価パラメータであり、Wは当該i番目の2D超音波画像の重みであり、Nは2D超音波画像の個数である。制御機能161Cは、全体の画像評価パラメータの導出結果に基づいて、基準2D超音波画像である2D超音波画像204、又は、複数の2D超音波画像201~207を、レジストレーション用の2D超音波画像として選択する。図12Bに示す例おいて、制御機能161Cが、式4を用いて全体の画像評価パラメータQvolを算出した場合、例えば、算出された全体の画像評価パラメータQvolは、「0.875」となる。制御機能161Cは、全体の画像評価パラメータQvolが予め設定された設定画像評価パラメータ以上である場合、複数の2D超音波画像201~207をレジストレーション用の2D超音波画像として選択する。例えば、肝臓に対して予め設定された設定画像評価パラメータが「0.8」である場合、全体の画像評価パラメータQvolが設定画像評価パラメータ以上であるため、制御機能161Cは、複数の2D超音波画像201~207をレジストレーション用の2D超音波画像として選択する。なお、全体の画像評価パラメータQvolが設定画像評価パラメータより小さい場合、制御機能161Cは、基準2D超音波画像である2D超音波画像204のみをレジストレーション用の2D超音波画像として選択する。
 そして、複数の2D超音波画像201~207がレジストレーション用の2D超音波画像として選択された場合、レジストレーション機能163は、複数の2D超音波画像201~207に基づいて3D医用画像(ボリュームデータ)を再構成し、再構成された3D医用画像と、3D医用画像取得機能162により取得された3D医用画像とを用いて、レジストレーションを行う。
 このように、具体例2においても、2D超音波画像と3D医用画像とのレジストレーションを容易に実現することができ、レジストレーションに要する時間を短縮し、レジストレーションの精度を向上させることにより、手術中の患者の負担を軽減することができる。ここで、具体例2では、テクスチャメトリックが用いられる場合を例に挙げているが、レジストレーション機能163は、レジストレーション用の2D超音波画像、及び、3D医用画像取得機能162により取得された3D医用画像から、ランドマークを検出し、検出したランドマークを用いて、レジストレーション用の2D超音波画像と3D医用画像とのレジストレーションを行ってもよい。
(その他の実施形態)
 本実施形態は、上述した形態に限られるものではない。例えば、処理回路160は、超音波診断装置1とは別に設置されたワークステーションでもよい。この場合、ワークステーションが、医用画像処理装置として、処理回路160と同様の処理回路を有し、上述した処理を実行する。
 また、実施形態で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
 また、上記実施形態で説明した処理方法(医用画像処理方法)は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
 以上説明した少なくとも1つの実施形態によれば、レジストレーションを容易にする超音波画像を短時間で検索することができる。
 いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (22)

  1.  超音波プローブにより取得された複数の二次元超音波画像に対して、事前に定義した画像評価パラメータを導出する導出部と、
     前記画像評価パラメータの導出結果に基づいて、前記複数の二次元超音波画像からレジストレーション用の二次元超音波画像を選択する制御部と、
     三次元医用画像と前記レジストレーション用の二次元超音波画像とのレジストレーションを行うレジストレーション部と、
     を備える超音波診断装置。
  2.  前記レジストレーション用の二次元超音波画像及び前記三次元医用画像からランドマークを検出するランドマーク検出部、
     を更に備え、
     前記レジストレーション部は、前記三次元医用画像におけるランドマークと、前記レジストレーション用の二次元超音波画像における対応するランドマークとに基づいて、前記レジストレーションを行う、
     請求項1に記載の超音波診断装置。
  3.  前記制御部は、前記導出結果と共に二次元超音波画像を表示部に表示させる、
     請求項1又は2に記載の超音波診断装置。
  4.  前記制御部は、前記導出結果を、推薦度に従って異なるように表示させる、
     請求項3に記載の超音波診断装置。
  5.  前記制御部は、前記導出結果が所定の閾値を超える二次元超音波画像を強調表示させる、
     請求項1又は2に記載の超音波診断装置。
  6.  前記制御部は、前記導出結果が所定の閾値を超える二次元超音波画像を、自動的に、前記レジストレーション用の二次元超音波画像として選択する、
     請求項1又は2に記載の超音波診断装置。
  7.  前記画像評価パラメータとして、ランドマーク、テクスチャメトリック、直交性メトリック、被覆度、及びドップラー血流画像のうちの少なくとも1つが用いられる、
     請求項1に記載の超音波診断装置。
  8.  前記画像評価パラメータとして前記テクスチャメトリックが用いられる場合、前記制御部は、前記レジストレーション用の二次元超音波画像として、テクスチャ構造をより多く含む二次元超音波画像を選択する、
     請求項7に記載の超音波診断装置。
  9.  前記画像評価パラメータとして前記直交性メトリックが用いられる場合、前記制御部は、前記レジストレーション用の二次元超音波画像として、各二次元超音波画像の走査方向が直交に近い二次元超音波画像を選択する、
     請求項7に記載の超音波診断装置。
  10.  前記画像評価パラメータとして前記被覆度が用いられる場合、前記制御部は、前記複数の二次元超音波画像において、前記レジストレーション用の二次元超音波画像として、三次元空間における形成された閉鎖領域が注目領域全体に占める割合の大きい二次元超音波画像を選択する、
     請求項7に記載の超音波診断装置。
  11.  前記画像評価パラメータとして前記ドップラー画像が用いられる場合、前記制御部は、前記レジストレーション用の二次元超音波画像として、血流情報を含む二次元超音波画像を選択する、
     請求項7に記載の超音波診断装置。
  12.  複数の前記画像評価パラメータが用いられる場合、前記制御部は、前記複数の画像評価パラメータに付与された重み係数に基づいて、前記レジストレーション用の二次元超音波画像を選択する、
     請求項7に記載の超音波診断装置。
  13.  前記制御部は、前記導出結果として、正規化した数値を表示させる、
     請求項1に記載の超音波診断装置。
  14.  前記三次元医用画像は、三次元超音波画像、三次元コンピュータ断層撮影画像、三次元磁気共鳴画像のうちの何れかである、
     請求項1に記載の超音波診断装置。
  15.  前記ランドマークは、解剖学的に顕著な特徴を有する部位である、
     請求項2に記載の超音波診断装置。
  16.  前記ランドマーク検出部は、三次元医用画像におけるランドマークと、二次元超音波画像における対応のランドマークとの間の対応関係を示す変換パラメータを生成し、
     前記レジストレーション部は、前記変換パラメータに基づいて前記レジストレーションを行う、
     請求項2に記載の超音波診断装置。
  17.  前記レジストレーション部は、前記制御部により前記複数の二次元超音波画像が前記レジストレーション用の二次元超音波画像として選択された場合、前記複数の二次元超音波画像と前記三次元医用画像とを用いて前記レジストレーションを行う、
     請求項1に記載の超音波診断装置。
  18.  前記レジストレーション部は、前記制御部により前記複数の二次元超音波画像が前記レジストレーション用の二次元超音波画像として選択された場合、前記複数の二次元超音波画像に基づいて三次元医用画像を再構成し、前記再構成された三次元医用画像と前記三次元医用画像とを用いて前記レジストレーションを行う、
     請求項1に記載の超音波診断装置。
  19.  前記制御部は、
     前記画像評価パラメータが最も大きい二次元超音波画像である基準二次元超音波画像と、前記基準二次元超音波画像の前後に配列された所定数の二次元超音波画像とを、前記複数の二次元超音波画像として選択し、
     前記複数の二次元超音波画像の前記画像評価パラメータの前記導出結果に対して、前記基準二次元超音波画像から離れるほど重みが小さくなるように当該重みを付与し、前記導出結果と前記重みとに基づいて、前記複数の二次元超音波画像の全体の画像評価パラメータを導出し、
     前記全体の画像評価パラメータが設定画像評価パラメータ以上である場合、前記複数の二次元超音波画像を前記レジストレーション用の二次元超音波画像として選択する、
     請求項18に記載の超音波診断装置。
  20.  前記画像評価パラメータとしてテクスチャメトリックが用いられる場合、前記画像評価パラメータは、前記複数の二次元超音波画像における輝度勾配及び輝度差分の少なくとも1つに基づいて設定される、
     請求項19に記載の超音波診断装置。
  21.  超音波プローブにより取得された複数の二次元超音波画像に対して、事前に定義した画像評価パラメータを導出する導出部と、
     前記導出結果に基づいて、前記複数の二次元超音波画像からレジストレーション用の二次元超音波画像を選択する制御部と、
     三次元医用画像と前記レジストレーション用の二次元超音波画像とのレジストレーションを行うレジストレーション部と、
     を備える医用画像処理装置。
  22.  超音波プローブにより取得された複数の二次元超音波画像に対して、事前に定義した画像評価パラメータを導出し、
     前記画像評価パラメータの導出結果に基づいて、前記複数の二次元超音波画像からレジストレーション用の二次元超音波画像を選択し、
     三次元医用画像と前記レジストレーション用の二次元超音波画像とのレジストレーションを行う、
     ことを含む医用画像処理方法。
PCT/JP2021/017844 2020-05-13 2021-05-11 超音波診断装置、医用画像処理装置、及び、医用画像処理方法 WO2021230230A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180002022.XA CN113939234A (zh) 2020-05-13 2021-05-11 超声波诊断装置、医用图像处理装置以及医用图像处理方法
US17/716,453 US20220240898A1 (en) 2020-05-13 2022-04-08 Ultrasound diagnostic apparatus, medical image processing apparatus, and medical image processing method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN202010402012.2 2020-05-13
CN202010402012.2A CN113662579A (zh) 2020-05-13 2020-05-13 超声波诊断装置、医用图像处理装置及方法、存储介质
CN202010748328.7 2020-07-30
CN202010748328.7A CN114092374A (zh) 2020-07-30 2020-07-30 图像处理装置以及图像处理方法
JP2021-079580 2021-05-10
JP2021079580A JP2021178175A (ja) 2020-05-13 2021-05-10 超音波診断装置、医用画像処理装置、医用画像処理方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/716,453 Continuation US20220240898A1 (en) 2020-05-13 2022-04-08 Ultrasound diagnostic apparatus, medical image processing apparatus, and medical image processing method

Publications (1)

Publication Number Publication Date
WO2021230230A1 true WO2021230230A1 (ja) 2021-11-18

Family

ID=78510147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017844 WO2021230230A1 (ja) 2020-05-13 2021-05-11 超音波診断装置、医用画像処理装置、及び、医用画像処理方法

Country Status (4)

Country Link
US (1) US20220240898A1 (ja)
JP (1) JP2021178175A (ja)
CN (1) CN113939234A (ja)
WO (1) WO2021230230A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018538086A (ja) * 2015-12-22 2018-12-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のボリュームを検査する医用撮像装置及び医用撮像方法
JP2019503748A (ja) * 2015-12-21 2019-02-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のボリュームを検査する超音波撮像装置及び超音波撮像方法
JP2019115487A (ja) * 2017-12-27 2019-07-18 株式会社日立製作所 超音波撮像装置、画像処理装置、及び方法
JP2020054794A (ja) * 2018-10-03 2020-04-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006056679B4 (de) * 2006-11-30 2016-09-29 Siemens Healthcare Gmbh Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten, insbesondere in Echtzeit
WO2010061322A1 (en) * 2008-11-25 2010-06-03 Koninklijke Philips Electronics N.V. Image provision for registration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019503748A (ja) * 2015-12-21 2019-02-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のボリュームを検査する超音波撮像装置及び超音波撮像方法
JP2018538086A (ja) * 2015-12-22 2018-12-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のボリュームを検査する医用撮像装置及び医用撮像方法
JP2019115487A (ja) * 2017-12-27 2019-07-18 株式会社日立製作所 超音波撮像装置、画像処理装置、及び方法
JP2020054794A (ja) * 2018-10-03 2020-04-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理方法

Also Published As

Publication number Publication date
CN113939234A (zh) 2022-01-14
JP2021178175A (ja) 2021-11-18
US20220240898A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
JP7230255B2 (ja) 解析装置及び解析プログラム
JP6608232B2 (ja) 医用画像診断装置、医用画像処理装置および医用情報の表示制御方法
US9801614B2 (en) Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium
JP5670324B2 (ja) 医用画像診断装置
JP2012155723A (ja) 三次元医療映像から最適の二次元医療映像を自動的に生成する方法及び装置
JP7258568B2 (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
JP2023053346A (ja) 解析装置及び解析プログラム
JP7267928B2 (ja) ボリュームレンダリングされる超音波画像
KR20150106779A (ko) 대상체에 대한 복수의 상이한 영상들을 디스플레이하는 방법 및 장치
US11278259B2 (en) Thrombus detection during scanning
EP3108456B1 (en) Motion adaptive visualization in medical 4d imaging
US11903760B2 (en) Systems and methods for scan plane prediction in ultrasound images
KR20170086311A (ko) 의료 영상 장치 및 그 동작방법
CN114554966A (zh) 用于图像优化的系统和方法
US20190183455A1 (en) Ultrasound diagnosis apparatus
WO2021230230A1 (ja) 超音波診断装置、医用画像処理装置、及び、医用画像処理方法
JP7336766B2 (ja) 超音波診断装置、超音波診断方法および超音波診断プログラム
CN113662579A (zh) 超声波诊断装置、医用图像处理装置及方法、存储介质
JP2019217264A (ja) 医用画像処理装置、医用画像診断装置および医用画像処理方法
US20220277834A1 (en) Methods and systems for utilizing histogram views for improved visualization of three-dimensional (3d) medical images
JP2016214868A (ja) 超音波診断装置及び画像診断装置
JP2022161844A (ja) 医用画像処理装置、医用画像診断装置、超音波診断装置、医用画像処理方法及び医用画像処理プログラム
Seabra et al. Three-dimensional ultrasound plaque characterization
CN114098795A (zh) 用于生成超声探头引导指令的系统和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21802946

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21802946

Country of ref document: EP

Kind code of ref document: A1