JP2024006678A - 超音波診断装置および超音波診断装置の制御方法 - Google Patents

超音波診断装置および超音波診断装置の制御方法 Download PDF

Info

Publication number
JP2024006678A
JP2024006678A JP2022107801A JP2022107801A JP2024006678A JP 2024006678 A JP2024006678 A JP 2024006678A JP 2022107801 A JP2022107801 A JP 2022107801A JP 2022107801 A JP2022107801 A JP 2022107801A JP 2024006678 A JP2024006678 A JP 2024006678A
Authority
JP
Japan
Prior art keywords
pseudo
section
image
orthogonal
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022107801A
Other languages
English (en)
Inventor
典司 加藤
Noriji Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022107801A priority Critical patent/JP2024006678A/ja
Priority to US18/332,534 priority patent/US20240000434A1/en
Priority to CN202310788080.0A priority patent/CN117338328A/zh
Priority to EP23183364.1A priority patent/EP4302702A1/en
Publication of JP2024006678A publication Critical patent/JP2024006678A/ja
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A61B8/145—Echo-tomography characterised by scanning multiple planes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】病変部の構造が精度良く再現された断面画像を得ることができる超音波診断装置および超音波診断装置の制御方法を提供する。【解決手段】超音波診断装置は、超音波プローブ（１０）をスキャンさせながら取得され且つ病変部が撮影された動画に基づいて観察面に直交する断面画像を生成する超音波診断装置であって、動画を構成する複数のフレーム画像のうち１つのフレーム画像上において病変部を通る断面抽出ラインを設定し、複数のフレーム画像における断面抽出ライン上の画素値を時系列的に並べることにより観察面に直交する疑似直交断面画像を生成する疑似直交断面生成部（２６）と、疑似直交断面画像を水平方向に非剛体変形することにより正規化疑似直交断面画像を生成する疑似直交断面変形部（２７）とを備える。【選択図】 図１

Description

本発明は、観察面に直交する断面画像を生成する超音波診断装置および超音波診断装置の制御方法に関する。
従来から、医療分野において、超音波画像を利用した超音波診断装置が実用化されている。一般に、超音波診断装置は、振動子アレイを内蔵する超音波プローブと、超音波プローブに接続される装置本体とを備えており、超音波プローブから被検体に向けて超音波ビームを送信し、被検体からの超音波エコーを超音波プローブで受信し、その受信信号を電気的に処理することにより超音波画像が生成される。
超音波診断装置により、例えば被検体の乳腺等に位置する病変部の検査が行われる場合に、互いに直交する２つの断面が撮影されることが多い。このように、２つの断面が撮影される場合に、通常、医師等のユーザは、撮影の向きを変更するために超音波プローブを持ち替えて同一の病変部を撮影することが多いが、これにより検査が円滑に行われないことがあった。
そこで、例えば特許文献１および特許文献２に開示されるように、動画を構成する複数のフレーム画像において指定されたライン上の画素値を時系列的に並べることにより、観察面に直交する断面画像を生成する技術が開発されている。
特開平０８－２８０６７８号公報 特開２００２－３０６４７４号公報
ところで、動画を構成する複数のフレーム画像を撮影する際にユーザにより移動される超音波プローブの速度は、何らかの理由により変動することがあった。このように、超音波プローブのスキャン速度が一定でない場合には、複数のフレーム画像間の時間的な間隔が一定でないため、特許文献１および特許文献２の技術で生成された断面画像において病変部の構造が実際のものとは異なってしまい、医師等のユーザが正確に診断を行うことが難しい場合があった。
本発明は、このような従来の問題点を解消するためになされたものであり、病変部の構造が精度良く再現された断面画像を得ることができる超音波診断装置および超音波診断装置の制御方法を提供することを目的とする。
以下の構成により、上記目的を達成できる。
〔１〕 超音波プローブをスキャンさせながら取得され且つ病変部が撮影された動画に基づいて観察面に直交する断面画像を生成する超音波診断装置であって、
動画を構成する複数のフレーム画像のうち１つのフレーム画像上において病変部を通る断面抽出ラインを設定し、複数のフレーム画像における断面抽出ライン上の画素値を時系列的に並べることにより観察面に直交する疑似直交断面画像を生成する疑似直交断面生成部と、
疑似直交断面画像を水平方向に非剛体変形することにより正規化疑似直交断面画像を生成する疑似直交断面変形部と
を備える超音波診断装置。
〔２〕 正規化疑似直交断面画像から病変部を検出して病変部のサイズを計測する計測部を備える〔１〕に記載の超音波診断装置。
〔３〕 疑似直交断面生成部は、互いに平行に延びる複数の断面抽出ラインを設定して複数の疑似直交断面画像を生成し、
疑似直交断面変形部は、複数の疑似直交断面画像に基づいて複数の正規化疑似直交断面画像を生成し、
計測部は、複数の正規化疑似直交断面画像からそれぞれ測定された病変部のサイズに基づいて病変部の体積を算出する〔２〕に記載の超音波診断装置。
〔４〕 病変部が撮影された画像に基づいて病変部の悪性度を算出する悪性度算出部を備える〔１〕～〔３〕のいずれかに記載の超音波診断装置。
〔５〕 悪性度算出部は、複数のフレーム画像のうちの１つに基づいて算出される第１の悪性度と正規化疑似直交断面画像に基づいて算出される第２の悪性度とを統合した総合悪性度を算出する〔４〕に記載の超音波診断装置。
〔６〕 複数のフレーム画像に対してそれぞれ病変部を検出する病変検出部を備え、
疑似直交断面生成部は、複数のフレーム画像のうち、病変部が最大となるフレーム画像上に断面抽出ラインを設定する〔１〕～〔５〕のいずれかに記載の超音波診断装置。
〔７〕 疑似直交断面変形部は、
複数のフレーム画像が撮影された時刻のそれぞれにおいて、超音波プローブのスキャン速度を一定とした場合の疑似直交断面画像における画素の位置と、実際の疑似直交断面画像における画素の位置との間の変位量を推定する変位量推定部と、
変位量に基づいて疑似直交断面画像を非剛体変形させる画像変形部とを含む〔１〕～〔６〕のいずれかに記載の超音波診断装置。
〔８〕 超音波プローブは、超音波プローブの移動速度を検出するモーションセンサを有し、
変位量推定部は、モーションセンサにより検出された移動速度に基づいて変位量を推定する〔７〕に記載の超音波診断装置。
〔９〕 超音波プローブをスキャンさせながら取得され且つ病変部が撮影された動画に基づいて観察面に直交する断面画像を生成する超音波診断装置の制御方法であって、
動画を構成する複数のフレーム画像のうち１つのフレーム画像上において病変部を通る断面抽出ラインを設定し、
複数のフレーム画像における断面抽出ライン上の画素値を時系列的に並べることにより観察面に直交する疑似直交断面画像を生成し、
疑似直交断面画像を水平方向に非剛体変形することにより正規化疑似直交断面画像を生成する
超音波診断装置の制御方法。
本発明によれば、超音波診断装置が、超音波プローブをスキャンさせながら取得され且つ病変部が撮影された動画に基づいて観察面に直交する断面画像を生成する超音波診断装置であって、動画を構成する複数のフレーム画像のうち１つのフレーム画像上において病変部を通る断面抽出ラインを設定し、複数のフレーム画像における断面抽出ライン上の画素値を時系列的に並べることにより観察面に直交する疑似直交断面画像を生成する疑似直交断面生成部と、疑似直交断面画像を水平方向に非剛体変形することにより正規化疑似直交断面画像を生成する疑似直交断面変形部とを備えるため、病変部の構造が精度良く再現された断面画像を得ることができる。
実施の形態１に係る超音波診断装置の構成を示すブロック図である。 実施の形態１における送受信回路の内部構成を示すブロック図である。 実施の形態１における画像生成部の内部構成を示すブロック図である。 断面抽出ラインを模式的に示す図である。 疑似直交断面画像の例を模式的に示す図である。 正規化疑似直交断面画像の例を模式的に示す図である。 実施の形態１における疑似直交断面変形部の内部構成を示すブロック図である。 実施の形態１に係る超音波診断装置の動作を示すフローチャートである。 実施の形態１における疑似直交断面画像を生成する動作を示すフローチャートである。 実施の形態１における正規化疑似直交断面画像を生成する動作を示すフローチャートである。 実施の形態２に係る超音波診断装置の構成を示すブロック図である。 実施の形態２における疑似直交断面変形部の内部構成を示すブロック図である。 実施の形態３に係る超音波診断装置の構成を示すブロック図である。 実施の形態４に係る超音波診断装置の構成を示すブロック図である。
以下、この発明の実施の形態を添付図面に基づいて説明する。
以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
なお、本明細書において、「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。
実施の形態１
図１に、本発明の実施の形態１に係る超音波診断装置の構成を示す。超音波診断装置は、超音波プローブ１０と、装置本体２０を備えている。超音波プローブ１０と装置本体２０は、互いに図示しないケーブルを介して有線接続されている。
超音波プローブ１０は、振動子アレイ１１と、振動子アレイ１１に接続された送受信回路１２を有している。
装置本体２０は、超音波プローブ１０の送受信回路１２に接続された画像生成部２１を有し、画像生成部２１に、表示制御部２２およびモニタ２３が順次接続され、画像生成部２１に画像メモリ２４が接続されている。画像メモリ２４には、病変検出部２５、疑似直交断面生成部２６および疑似直交断面変形部２７が順次接続されている。疑似直交断面変形部２７は、表示制御部２２に接続されている。また、送受信回路１２、画像生成部２１、表示制御部２２、画像メモリ２４、病変検出部２５、疑似直交断面生成部２６および疑似直交断面変形部２７に、本体制御部２９が接続されている。また、本体制御部２９に入力装置３０が接続されている。
また、画像生成部２１、表示制御部２２、病変検出部２５、疑似直交断面生成部２６、疑似直交断面変形部２７および本体制御部２９により、装置本体２０用のプロセッサ３１が構成されている。
超音波プローブ１０の振動子アレイ１１は、１次元または２次元に配列された複数の超音波振動子を有している。これらの振動子は、それぞれ送受信回路１２から供給される駆動信号に従って超音波を送信し、且つ、被検体からの反射波を受信してアナログの受信信号を出力する。各振動子は、例えば、ＰＺＴ（Lead Zirconate Titanate：チタン酸ジルコン酸鉛）に代表される圧電セラミック、ＰＶＤＦ（Poly Vinylidene Di Fluoride：ポリフッ化ビニリデン）に代表される高分子圧電素子およびＰＭＮ－ＰＴ（Lead Magnesium Niobate-Lead Titanate：マグネシウムニオブ酸鉛－チタン酸鉛固溶体）に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。
送受信回路１２は、本体制御部２９による制御の下で、振動子アレイ１１から超音波を送信し且つ振動子アレイ１１により取得された受信信号に基づいて音線信号を生成する。送受信回路１２は、図２に示されるように、振動子アレイ１１に接続されるパルサ１３と、振動子アレイ１１に順次直列に接続された増幅部１４、ＡＤ（Analog Digital）変換部１５およびビームフォーマ１６を有している。
パルサ１３は、例えば、複数のパルス発生器を含んでおり、本体制御部２９からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ１１の複数の振動子から送信される超音波が超音波ビームを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ１１の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームが形成される。
送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波エコーが、超音波プローブ１０の振動子アレイ１１に向かって伝搬する。このように振動子アレイ１１に向かって伝搬する超音波エコーは、振動子アレイ１１を構成するそれぞれの振動子により受信される。この際に、振動子アレイ１１を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部１４に出力する。
増幅部１４は、振動子アレイ１１を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をＡＤ変換部１５に送信する。ＡＤ変換部１５は、増幅部１４から送信された信号をデジタルの受信データに変換し、これらの受信データをビームフォーマ１６に送信する。ビームフォーマ１６は、本体制御部２９からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、ＡＤ変換部１５により変換された各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、ＡＤ変換部１５で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。
装置本体２０の画像生成部２１は、図３に示されるように、信号処理部４１、ＤＳＣ（Digital Scan Converter：デジタルスキャンコンバータ）４２および画像処理部４３が順次直列に接続された構成を有している。
信号処理部４１は、超音波プローブ１０の送受信回路１２から送出された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報である超音波画像信号（Ｂモード画像信号）を生成する。
ＤＳＣ４２は、信号処理部４１で生成された超音波画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換（ラスター変換）する。
画像処理部４３は、ＤＳＣ４２から入力される超音波画像信号に階調処理等の各種の必要な画像処理を施した後、超音波画像を表す信号を表示制御部２２および画像メモリ２４に出力する。以降では、このようにして画像生成部２１により生成された超音波画像を表す信号を、フレーム画像と呼ぶこととする。
画像メモリ２４は、本体制御部２９の制御の下、画像生成部２１により生成されたフレーム画像を保存するメモリである。例えば、画像メモリ２４は、被検体の同一の病変部を含む領域を連続的に撮影することで画像生成部２１により生成された、動画を構成する複数のフレーム画像を保存できる。
画像メモリ２４としては、フラッシュメモリ、ＨＤＤ（Hard Disc Drive：ハードディスクドライブ）、ＳＳＤ（Solid State Drive：ソリッドステートドライブ）、ＦＤ（Flexible Disc：フレキシブルディスク）、ＭＯディスク（Magneto-Optical disc：光磁気ディスク）、ＭＴ（Magnetic Tape：磁気テープ）、ＲＡＭ（Random Access Memory：ランダムアクセスメモリ）、ＣＤ（Compact Disc：コンパクトディスク）、ＤＶＤ（Digital Versatile Disc：デジタルバーサタイルディスク）、ＳＤカード（Secure Digital card：セキュアデジタルカード）、ＵＳＢメモリ（Universal Serial Bus memory：ユニバーサルシリアルバスメモリ）等の記録メディアを用いることができる。
病変検出部２５は、画像メモリ２４に保存された複数のフレーム画像のそれぞれに対して画像解析を施すことにより、複数のフレーム画像のそれぞれにおいて病変部を検出する。病変検出部２５は、例えば、「REDMON, Joseph, et al. You only look once: Unified, real-time object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. p.779-788」に記載されている物体検出アルゴリズムを用いて病変部を検出できる。
また、病変検出部２５は、例えば、病変部に関する複数のテンプレート画像を記憶し、これらのテンプレート画像を用いた、いわゆるテンプレートマッチングの方法により病変部を検出することもできる。また、病変検出部２５は、例えば、Csurka et al.: Visual Categorization with Bags of Keypoints, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 （2004）に記載されている機械学習手法、あるいは、Krizhevsk et al.: ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25, pp.1106-1114 （2012）に記載されているディープラーニングを用いた一般画像認識手法等を用いて病変部を検出することもできる。
疑似直交断面生成部２６は、図４に示すように、画像メモリ２４に保存されている動画を構成する複数のフレーム画像Ｕ１のうち１つのフレーム画像Ｕ１上において、病変部Ｍ１を通る断面抽出ラインＬ１を設定し、動画を構成する複数のフレーム画像Ｕ１における断面抽出ラインＬ１上の画素値を時系列的に、例えば、過去に取得されたフレーム画像Ｕ１から最新のフレーム画像Ｕ１までの画素値を時系列順に並べることにより、図５に示すような、観察面に直交する疑似直交断面画像Ｕ２を生成する。
疑似直交断面生成部２６は、例えば、複数のフレーム画像Ｕ１のうち、病変検出部２５により検出された病変部Ｍ１が最大となるフレーム画像Ｕ１上に断面抽出ラインＬ１を設定することができる。
また、疑似直交断面生成部２６は、例えば、複数のフレーム画像Ｕ１のうち、入力装置３０を介してユーザにより指定された１つのフレーム画像Ｕ１上に断面抽出ラインＬ１を設定することもできる。
疑似直交断面生成部２６は、病変検出部２５による病変部Ｍ１の検出結果に基づいて複数のフレーム画像Ｕ１にそれぞれ含まれる病変部Ｍ１の位置を追跡し、１つのフレーム画像Ｕ１の病変部Ｍ１と断面抽出ラインＬ１との位置関係と同一の位置関係となるように、複数のフレーム画像Ｕ１の病変部Ｍ１に対して断面抽出ラインＬ１を設定できる。疑似直交断面生成部２６は、このようにして設定された複数のフレーム画像Ｕ１の断面抽出ラインＬ１上の画素値を時系列的に並べることができる。
ここで、疑似直交断面画像Ｕ２は、複数のフレーム画像Ｕ１における断面抽出ラインＬ１上の画素値を単純に時系列的に並べることにより生成されるため、例えば、ユーザが複数のフレーム画像Ｕ１を撮影する際に超音波プローブ１０を移動する速度が変動していると、すなわち、超音波プローブ１０が一定の速度で移動していないと、深さ方向に直交する水平方向における画素の時間的な間隔が一定ではないために、病変部Ｍ１の構造を正しく再現できないことがある。
そこで、病変部Ｍ１の断面画像の精度を向上させるために、疑似直交断面変形部２７は、疑似直交断面画像Ｕ２を水平方向に非剛体変形することにより、図６に示すような、超音波プローブ１０のスキャン速度を一定とした場合の正規化疑似直交断面画像Ｕ３を生成する。正規化疑似直交断面画像Ｕ３は、構造が精度良く再現された病変部Ｍ１を含む。ここで、水平方向とは、疑似直交断面画像Ｕ２における深さ方向に直交する方向のことを言う。
疑似直交断面変形部２７は、図７に示すように、変位量推定部３２と画像変形部３３を有している。
変位量推定部３２は、複数のフレーム画像Ｕ１が撮影された時刻のそれぞれにおいて、すなわち、複数のフレーム画像Ｕ１のそれぞれに対応して、超音波プローブ１０のスキャン速度を一定とした場合の疑似直交断面画像Ｕ２における画素の位置と、実際の疑似直交断面画像Ｕ２における画素の位置との間の変位量を推定する。変位量推定部３２は、例えば、ＨとＴを正の整数値として、縦Ｈ画素および横Ｔ画素からなる疑似直交断面画像Ｕ２を入力とし、Ｔ個の整数値である変位量ｒ（ｉ）（ｉ＝１，２，・・・，Ｔ）を出力する、いわゆるニューラルネットワークを用いた変位量推定モデルを含み、変位量推定モデルにより変位量ｒ（ｉ）を推定できる。疑似直交断面画像Ｕ２の列番号ｉは、動画を構成する複数のフレーム画像Ｕのフレーム番号であり、疑似直交断面画像Ｕ２の画素のスキャン時刻に対応する。また、変位量ｒ（ｉ）は、超音波プローブ１０のスキャン速度を一定とした場合のｉ番目のフレーム番号のフレーム画像Ｕ１に対応する疑似直交断面画像Ｕ２の画素の位置と、実際のｉ番目のフレーム番号のフレーム画像Ｕ１に対応する疑似直交断面画像Ｕ２の画素の位置との間の変位量を示す。疑似直交断面画像Ｕ２の列番号ｉに対して実際のスキャン位置がどの程度変位しているかを表す。なお、以下では、疑似直交断面画像Ｕ２の列番号ｉを第１列番号ｉと呼ぶことがある。
変位量推定モデルは、例えば以下のようにして疑似直交断面画像Ｕ２と変位量ｒ（ｉ）との関係を学習できる。まず、学習用の動画として、超音波プローブにより任意の速度でスキャンされることで生成された動画と、加速度センサ、ジャイロセンサまたは磁気センサ等の位置センサ等により測定した超音波プローブの位置を動画のフレームレートに同期して記録したプローブ位置データＸを用意する。ここで、動画を生成する際の超音波プローブの速度は変動してもよい。動画のフレーム数をＮとすると、プローブ位置データＸのデータ数もＮとなる。用意した動画に対して、疑似直交断面生成部２６により疑似直交断面画像Ｕ２を生成する。また、プローブ位置データＸを、以下の式（１）により変位量Ｙ（ｔ）（ｔ＝１，２，・・・，Ｍ）に変換する。
ここで、ｔは疑似直交断面画像Ｕ２の列番号、すなわち、動画を構成する複数のフレーム画像Ｕ１のフレーム番号である。また、「Ｉｎｔ［］」は括弧内の数値に対して小数点以下を切り捨てて整数値を出力する関数である。変位量Ｙ（ｔ）は、超音波プローブが一定の速度で移動した場合に本来撮影されるべき疑似直交断面画像のフレーム番号と、実際に撮影された疑似直交断面画像Ｕ２のフレーム番号との差分である。
このようにして得られた疑似直交断面画像Ｕ２と変位量Ｙ（ｔ）の多数の組を教師データとして用意し、いわゆる逆誤差伝搬法等の学習方法によって、変位量推定モデルに教師データを学習させることができる。
画像変形部３３は、変位量推定部３２により推定された変位量ｒ（ｉ）に基づいて、実際の病変部Ｍ１において等間隔に並ぶ複数の位置に対応する複数の画素が、深さ方向に直交する画像の水平方向において等間隔に並ぶように、疑似直交断面画像Ｕ２を水平方向に非剛体変形させて正規化疑似直交断面画像Ｕ３を生成する。画像変形部３３により行われる疑似直交断面画像Ｕ２の非剛体変形については後で詳細に説明する。
表示制御部２２は、画像生成部２１により生成されたフレーム画像Ｕ１および疑似直交断面変形部２７により生成された正規化疑似直交断面画像Ｕ３等に対して所定の処理を施し、それらをモニタ２３に表示する。
モニタ２３は、表示制御部２２の制御の下で、画像生成部２１により生成されたフレーム画像Ｕ１および疑似直交断面変形部２７により生成された正規化疑似直交断面画像Ｕ３等を表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、有機ＥＬディスプレイ（Organic Electroluminescence Display）等のディスプレイ装置を有している。
本体制御部２９は、予め記憶している制御プログラム等に基づいて、装置本体２０の各部および超音波プローブ１０の送受信回路１２の制御を行う。
入力装置３０は、ユーザが入力操作を行うためのものであり、例えば、キーボード、マウス、トラックボール、タッチパッド、および、モニタ２３に重ねて配置されたタッチセンサ等の装置により構成される。
なお、画像生成部２１、表示制御部２２、病変検出部２５、疑似直交断面生成部２６、疑似直交断面変形部２７および本体制御部２９を有するプロセッサ３１は、ＣＰＵ（Central Processing Unit：中央処理装置）、および、ＣＰＵに各種の処理を行わせるための制御プログラムから構成されるが、ＦＰＧＡ（Field Programmable Gate Array：フィードプログラマブルゲートアレイ）、ＤＳＰ（Digital Signal Processor：デジタルシグナルプロセッサ）、ＡＳＩＣ（Application Specific Integrated Circuit：アプリケーションスペシフィックインテグレイテッドサーキット）、ＧＰＵ（Graphics Processing Unit：グラフィックスプロセッシングユニット）、その他のＩＣ（Integrated Circuit：集積回路）を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。
また、プロセッサ３１の画像生成部２１、表示制御部２２、病変検出部２５、疑似直交断面生成部２６、疑似直交断面変形部２７および本体制御部２９は、部分的にあるいは全体的に１つのＣＰＵ等に統合させて構成することもできる。
次に、図８に示すフローチャートを用いて、本発明の実施の形態１の超音波診断装置の動作を説明する。
まず、ステップＳ１において、ユーザにより超音波プローブ１０が被検体の体表に接触した状態で、被検体の病変部Ｍ１を撮影したフレーム画像Ｕ１が取得される。フレーム画像Ｕ１が取得される際に、送受信回路１２は、本体制御部２９の制御の下でいわゆる受信フォーカス処理を行って音線信号を生成する。送受信回路１２により生成された音線信号は、画像生成部２１に送出される。画像生成部２１は、送受信回路１２から送出された音線信号を用いてフレーム画像Ｕ１を生成する。このようにして取得されたフレーム画像Ｕ１は、画像メモリ２４に送出され、画像メモリ２４に保存される。
次に、ステップＳ２において、本体制御部２９は、フレーム画像Ｕ１の撮影を終了するか否かを判定する。本体制御部２９は、例えば、入力装置３０を介してユーザによりフレーム画像Ｕ１の撮影を終了する指示が入力された場合に、フレーム画像Ｕ１の撮影を終了すると判定する。この場合に、本体制御部２９は、例えば送受信回路１２等の超音波診断装置の各部を制御してフレーム画像Ｕ１の撮影を終了させる。また、本体制御部２９は、例えば、入力装置３０を介してユーザによりフレーム画像Ｕ１の撮影を終了する指示が入力されない場合に、フレーム画像Ｕ１の撮影を続行すると判定し、超音波診断装置の各部に撮影を続行させる。
ステップＳ２でフレーム画像Ｕ１の撮影を終了しないと判定された場合に、ステップＳ１に戻り、新たなフレーム画像Ｕ１が取得される。このように、ステップＳ２でフレーム画像Ｕ１の撮影を終了しないと判定される限り、ステップＳ１およびステップＳ２の処理が繰り返され、動画を構成する複数のフレーム画像Ｕ１が画像メモリ２４に保存される。また、ステップＳ２でフレーム画像Ｕ１の撮影を終了すると判定された場合にステップＳ３に進む。
ステップＳ３において、疑似直交断面生成部２６は、ステップＳ１およびステップＳ２の繰り返しにより得られた、動画を構成する複数のフレーム画像Ｕ１のうち１つのフレーム画像Ｕ１上において、例えば図４に示すように病変部Ｍ１を通る断面抽出ラインＬ１を設定する。
疑似直交断面生成部２６は、例えば、入力装置３０を介してユーザにより指定されたフレーム画像Ｕ１上の病変部Ｍ１を通る断面抽出ラインＬ１を設定できる。また、ステップＳ３において、病変検出部２５が複数のフレーム画像Ｕ１における病変部Ｍ１を検出し、疑似直交断面生成部２６が、病変検出部２５により検出された複数の病変部Ｍ１のうち最大の病変部Ｍ１を含むフレーム画像Ｕ１上に断面抽出ラインＬ１を設定することもできる。
また、疑似直交断面生成部２６は、例えば、設定された断面抽出ラインＬ１と病変部Ｍ１との位置関係を維持するように、複数のフレーム画像Ｕ１における病変部Ｍ１に対して断面抽出ラインＬ１を設定できる。
続くステップＳ４において、疑似直交断面生成部２６は、動画を構成する複数のフレーム画像Ｕ１における、ステップＳ３で設定された断面抽出ラインＬ１上の位置と同一の位置上の画素値を時系列的に並べることにより、図５に示すような、観察面に直交する疑似直交断面画像Ｕ２を生成する。ステップＳ４の処理は、図９のフローチャートに示されるステップＳ１０～ステップＳ１４の処理により構成される。
まず、ステップＳ１０において、疑似直交断面生成部２６は、疑似直交断面画像Ｕ２に対応する画像バッファを作成する。画像バッファは、縦Ｈ画素、横Ｔ１画素のサイズを有する。ここで、Ｔ１は、ステップＳ１～ステップＳ２の繰り返しで取得された動画を構成する複数のフレーム画像Ｕ１のフレーム数であり、疑似直交断面画像Ｕ２の水平方向の画素数である。
ステップＳ１１において、疑似直交断面生成部２６は、動画を構成する複数のフレーム画像Ｕ１のうちの１つ、例えば最も過去の、すなわちフレーム番号が「１」のフレーム画像Ｕ１を選出する。
ステップＳ１２において、疑似直交断面生成部２６は、ステップＳ１１で選出されたフレーム画像Ｕ１において、ステップＳ３で設定された断面抽出ラインＬ１上の同一の位置上の画素値を取得する。
ステップＳ１３において、疑似直交断面生成部２６は、ステップＳ１１で選出されたフレーム画像Ｕ１に対応するステップＳ１０で作成された画像バッファの列、例えばフレーム番号「１」に対応する画像バッファの列に、ステップＳ１２で取得された画素値をコピーする。
ステップＳ１４において、疑似直交断面生成部２６は、動画を構成する複数のフレーム画像Ｕ１の全てに対してステップＳ１１～ステップＳ１３の処理が行われたか否かを判定する。現時点では、１つのフレーム画像Ｕ１に対してステップＳ１２およびステップＳ１３の処理が行われているのみであるため、疑似直交断面生成部２６は、動画を構成する複数のフレーム画像Ｕ１の全てに対してステップＳ１２およびステップＳ１３の処理が行われていないと判定する。この場合に、ステップＳ１１に戻る。このステップＳ１１において、疑似直交断面生成部２６は、動画を構成する複数のフレーム画像Ｕ１のうち、未だ選出されていないフレーム画像Ｕ１、例えば、２番目に過去に取得されたフレーム画像Ｕ１を選出する。
このようにして、ステップＳ１４において、動画を構成する全てのフレーム画像Ｕ１に対してステップＳ１２およびステップＳ１３の処理が行われたと判定されるまで、ステップＳ１１～ステップＳ１４の処理が繰り返される。これにより、ステップＳ１０で作成された画像バッファの列に画素値が順次コピーされていく。
ステップＳ１４において、動画を構成する全てのフレーム画像Ｕ１に対してステップＳ１２およびステップＳ１３の処理が行われたと判定されると、ステップＳ４の処理が完了する。これにより、ステップＳ１０で作成された画像バッファの全ての列に、対応するフレーム画像Ｕ１における断面抽出ラインＬ１上の画素値がコピーされて、疑似直交断面画像Ｕ２が生成される。
このようにしてステップＳ４が完了すると、ステップＳ５に進む。ステップＳ５において、疑似直交断面変形部２７は、ステップＳ４で生成された疑似直交断面画像Ｕ２を水平方向に非剛体変形することにより、超音波プローブ１０のスキャン速度を一定とした場合の正規化疑似直交断面画像Ｕ３を生成する。このステップＳ５の処理は、図１０のフローチャートに示されるステップＳ２１～ステップＳ３１の処理により構成される。
ステップＳ２１において、疑似直交断面変形部２７は、ステップＳ４で生成された疑似直交断面画像Ｕ２の全ての第１列番号ｉに対して変位量ｒ（ｉ）を推定する。この際に、疑似直交断面変形部２７は、例えば、疑似直交断面画像Ｕ２と変位量ｒ（ｉ）との関係を学習した変位量推定モデルを用いて変位量ｒ（ｉ）を推定できる。変位量推定モデルは、例えば、疑似直交断面画像Ｕ２と、式（１）により表される変位量Ｙ（ｔ）の複数の組を教師データとして学習できる。
ステップＳ２２において、疑似直交断面変形部２７は、疑似直交断面画像Ｕ２の全ての第１列番号ｉに対して変位先列番号を算出する。ここで、変位先列番号は、第１列番号ｉとステップＳ２１で推定された変位量ｒ（ｉ）との和ｉ＋ｒ（ｉ）に対して、１＋ｒ（１）が１になるように定数を加算または減算することにより算出される。以下の表１に、疑似直交断面画像Ｕ２の第１列番号ｉ、変位量ｒ（ｉ）、和ｉ＋ｒ（ｉ）および変位先列番号の例を示す。表１の例において、１＋ｒ（１）＝－４であるため、変位先列番号は、和ｉ＋ｒ（ｉ）に対して定数５を加算することにより算出されている。
ステップＳ２３において、疑似直交断面変形部２７は、正規化疑似直交断面画像Ｕ３に対応する画像バッファを作成する。この画像バッファは、縦Ｈ画素、横Ｔ２画素のサイズを有する。ここで、Ｔ２は、変位先列番号の最大値と最小値との差に１を加算した数である。表１の例では、Ｔ２＝Ｔ１＋１５である。
ステップＳ２４において、疑似直交断面変形部２７は、正規化疑似直交断面画像Ｕ３の列番号ｊ＝１を選出する。以降では、正規化疑似直交断面画像Ｕ３の列番号ｊを第２列番号ｊとも呼ぶ。
ステップＳ２５において、疑似直交断面変形部２７は、ステップＳ２２で算出された変位先列番号がステップＳ２４で選出された第２列番号ｊに等しくなる第１列番号ｉを検索する。表１の例において疑似直交断面変形部２７は、変位先列番号が第２列番号ｊ＝１となる第１列番号ｉ＝１を検索できる。
ステップＳ２６において、疑似直交断面変形部２７は、ステップＳ２５で検索された第１列番号ｉの個数を判定する。検索された第１列番号ｉの個数が１個である場合にステップＳ２７に進み、検索された第１列番号ｉの個数が複数個である場合にステップＳ２８に進み、検索された第１列番号ｉの個数が０個である場合にステップＳ２９に進む。
表１の例において、第２列番号ｊ＝１ではステップＳ２５で検索される第１列番号ｉは、「１」の１つであるため、ステップＳ２７に進む。ステップＳ２７において、疑似直交断面変形部２７は、疑似直交断面画像Ｕ２の第１列番号ｉ＝１の画素値を、第２列番号ｊが１となる、ステップＳ２３で作成された画像バッファの列にコピーする。
ステップＳ２７に続くステップＳ３０において、疑似直交断面変形部２７は、全ての第２列番号ｊでステップＳ２６～ステップＳ２９の処理が完了したか否かを判定する。全ての第２列番号ｊでこれらの処理が完了していないと判定された場合に、ステップＳ３１に進む。
ステップＳ３１において、疑似直交断面変形部２７は、現在選出されている第２列番号ｊ＝１に１を加算した数すなわち第２列番号ｊ＝２を選出する。ステップＳ３１が完了すると、ステップＳ２５に戻る。
ステップＳ２５において、疑似直交断面変形部２７は、変位先列番号＝第２列番号ｊ＝２となる第１列番号ｉを検索する。表１の例では、変位先列番号に「２」は存在しないので、この場合にステップＳ２５で第１列番号ｉは検索されない。なお、複数のフレーム画像Ｕ１の撮影中に、超音波プローブ１０のスキャン速度が急激に高くなると、変位量ｒ（ｉ）が大きくなり、変位先列番号＝第２列番号ｊとなる第１列番号ｉが検索されないことがある。
ステップＳ２６において、ステップＳ２５で検索された第１列番号ｉの個数が０個であると判定されると、ステップＳ２９に進む。ステップＳ２９において、疑似直交断面変形部２７は、画素値を補間し、補間された画素値を、第２列番号ｊが２となる、ステップＳ２３で作成された画像バッファの列にコピーする。この際に、疑似直交断面変形部２７は、例えば、検索されなかった変位先列番号に最も近い２つの変位先列番号、例えば、変位先列番号＝第２列番号ｊ＝２に最も近い２つの変位先列番号である「１」および「３」に対応する第１列番号ｉ＝１の画素値と第１列番号ｉ＝３の画素値の間の画素値を補間し、補間によって得られた画素値を、第２列番号ｊが２となる画像バッファの列にコピーできる。補間の方法は特に限定されず、例えば、いわゆる線形補間または二次補間等の公知の方法を用いることができる。
ステップＳ２８に続くステップＳ３０において、疑似直交断面変形部２７は、全ての第２列番号ｊでステップＳ２５～ステップＳ２９の処理が完了したか否かを判定し、全ての第２列番号ｊで処理が完了していない場合にステップＳ３１に進む。
ステップＳ３１では、第２列番号ｊにさらに１が加算される。その後、ステップＳ２５に戻る。
このようにしてステップＳ２５～ステップＳ３１が繰り返され、ステップＳ３１で第２列番号ｊ＝１１が選出されると、続くステップＳ２５において、変位先列番号＝第２列番号ｊ＝１１となる第１列番号ｉが検索される。表１の例では、変位先列番号＝第２列番号ｊ＝１１となる第１列番号ｉは「５」と「６」の２つであり、これらの第１列番号ｉ＝５，６が検索される。複数のフレーム画像Ｕ１の撮影中に、例えば超音波プローブ１０が静止した場合等に、複数の第１列番号ｉが検索される。
続くステップＳ２５で、検索された第１列番号ｉの個数が「５」と「６」の２つ（複数）であると判定され、ステップＳ２８に進む。
ステップＳ２８において、疑似直交断面変形部２７は、検索された複数の第１列番号ｉの画素値の平均値を、第２列番号ｊに対応する画像バッファの列にコピーする。表１の例において、疑似直交断面変形部２７は、例えば、検索された第１列番号ｉ＝５，６の画素値の平均値を、第２列番号ｊが１１となる画像バッファの列にコピーする。
このようにして、ステップＳ２５～ステップＳ３１の処理が繰り返されることにより、ステップＳ２３で作成された画像バッファの列に画素値が順次コピーされていく。
ステップＳ３０において、全ての第２列番号ｊでステップＳ２５～ステップＳ２９の処理が完了したと判定された場合に、ステップＳ５の処理が完了する。これにより、ステップＳ２３で作成された画像バッファの全ての列に画素値がコピーされて、正規化疑似直交断面画像Ｕ３が生成される。正規化疑似直交断面画像Ｕ３は、超音波プローブ１０のスキャン速度が一定である場合の、病変部Ｍ１の断面画像を表している。このように、ステップＳ５の処理によれば、精度の良い断面画像が得られる。
最後に、ステップＳ６において、ステップＳ５で生成された正規化疑似直交断面画像Ｕ３がモニタ２３に表示される。この際に、例えば入力装置３０を介したユーザの入力操作により、正規化疑似直交断面画像Ｕ３と一緒にフレーム画像Ｕ１がモニタ２３に表示されることができる。ユーザは、モニタ２３に表示された正規化疑似直交断面画像Ｕ３を確認することにより、被検体の病変部Ｍ１を精度良く診断できる。
以上から、実施の形態１の超音波診断装置によれば、疑似直交断面生成部２６が、動画を構成する複数のフレーム画像Ｕ１における断面抽出ラインＬ１上の画素値を時系列的に並べることにより、観察面に直交する疑似直交断面画像Ｕ２を生成し、疑似直交断面変形部２７が、疑似直交断面画像Ｕ２を水平方向に非剛体変形することにより、超音波プローブ１０のスキャン速度を一定とした場合の正規化疑似直交断面画像Ｕ３を生成するため、病変部Ｍ１の構造を精度良く再現した断面画像を得ることができる。
なお、超音波プローブ１０と装置本体２０は、互いに有線接続されることが説明されているが、互いに無線接続されることもできる。
また、装置本体２０は、いわゆる据え置き型でもよく、携帯型でもよく、いわゆるスマートフォンまたはタブレット型のコンピュータ等により構成されるハンドヘルド型でもよい。このように、装置本体２０を構成する機器の種類は特に限定されない。
また、送受信回路１２は、超音波プローブ１０に備えられているが、超音波プローブ１０に備えられる代わりに装置本体２０に備えられていてもよい。
また、画像生成部２１は、装置本体２０に備えられているが、装置本体２０に備えられる代わりに超音波プローブ１０に備えられていてもよい。
また、疑似直交断面生成部２６は、病変部Ｍ１を通る断面抽出ラインＬ１を設定する際に、病変部Ｍ１の中心、または、病変部Ｍ１の幅を一定の割合で内分する位置等、病変部Ｍ１に対して決まった位置に断面抽出ラインＬ１を設定できる。このように、病変部Ｍ１のどの位置を通るように断面抽出ラインＬ１を設定するかは、入力装置３０を介したユーザの入力操作により決定されることができ、装置毎に変更不能に決定されることもできる。
また、疑似直交断面変形部２７が、疑似直交断面画像Ｕ２を水平方向に非剛体変形することにより正規化疑似直交断面画像Ｕ３を生成することが説明されているが、この際に疑似直交断面変形部２７は、さらに、必要に応じて疑似直交断面画像Ｕ２を深さ方向に非剛体変形することもできる。
実施の形態２
実施の形態１において、疑似直交断面変形部２７は、変位量ｒ（ｉ）を変位量推定モデルにより推定しているが、超音波プローブ１０に取り付けたモーションセンサからの信号に基づいて変位量ｒ（ｉ）を推定することもできる。
図１１に、実施の形態２の超音波診断装置の構成を示す。実施の形態２の超音波診断装置は、図１に示す実施の形態１の超音波診断装置において、超音波プローブ１０の代わりに超音波プローブ１０Ａを備え、装置本体２０の代わりに装置本体２０Ａを備えている。
超音波プローブ１０Ａは、実施の形態１における超音波プローブ１０において、モーションセンサ１７が追加されたものである。モーションセンサ１７は、画像メモリ２４に接続されている。
装置本体２０Ａは、実施の形態１における装置本体２０において、疑似直交断面変形部２７の代わりに疑似直交断面変形部２７Ａを備え、本体制御部２９の代わりに本体制御部２９Ａを備えている。また、疑似直交断面変形部２７Ａは、図１２に示すように、実施の形態１における疑似直交断面変形部２７において、変位量推定部３２の代わりに変位量推定部３２Ａを備えている。
また、画像生成部２１、表示制御部２２、病変検出部２５、疑似直交断面生成部２６、疑似直交断面変形部２７Ａおよび本体制御部２９Ａにより、装置本体２０Ａ用のプロセッサ３１Ａが構成されている。
モーションセンサ１７は、超音波プローブ１０Ａに取り付けられて、超音波プローブ１０Ａの移動速度を検出するセンサ装置である。モーションセンサ１７は、画像生成部２１により生成されるフレーム画像Ｕ１の生成フレームレートに同期して超音波プローブ１０Ａの移動速度を画像メモリ２４に送出する。このようにして画像メモリ２４に送出された超音波プローブ１０Ａの移動速度は、対応する複数のフレーム画像Ｕ１のそれぞれに紐付けられて、移動速度Ｖ（ｉ）（ｉ＝１，２，・・・，Ｔ）として画像メモリ２４に保存される。
モーションセンサ１７としては、例えば、加速度センサ、角速度センサ、または、磁気センサ等の公知のセンサ装置を含んで構成されることができる。
疑似直交断面変形部２７Ａの変位量推定部３２Ａは、モーションセンサ１７により検出された超音波プローブ１０Ａの移動速度Ｖ（ｉ）に基づいて、変位量ｒ（ｉ）を推定する。具体的には、疑似直交断面変形部２７Ａは、以下の式（２）および式（３）を用いて疑似直交断面画像Ｕ２の第１列番号ｉに対応する変位量ｒ（ｉ）を推定できる。

画像変形部３３は、このようにして変位量推定部３２Ａにより推定された変位量ｒ（ｉ）に基づいて疑似直交断面画像Ｕ２を水平方向に非剛体変形し、超音波プローブ１０Ａのスキャン速度を一定とした場合の正規化疑似直交断面画像Ｕ３を生成する。
以上から、実施の形態２の超音波診断装置によれば、変位量推定部３２Ａがモーションセンサ１７により計測された超音波プローブ１０Ａの移動速度Ｖ（ｉ）を用いて式（２）および式（３）により変位量ｒ（ｉ）を推定する場合でも、病変部Ｍ１の構造が精度良く再現された正規化疑似直交断面画像Ｕ３が得られる。
実施の形態３
本発明では、病変部Ｍ１の構造が精度良く再現された正規化疑似直交断面画像Ｕ３が得られるため、正規化疑似直交断面画像Ｕ３を用いて病変部Ｍ１のサイズ等を精度良く計測できる。
図１３に、実施の形態３の超音波診断装置の構成を示す。実施の形態３の超音波診断装置は、図１に示す実施の形態１の超音波診断装置において、装置本体２０の代わりに装置本体２０Ｂを備えている。
装置本体２０Ｂは、実施の形態１における装置本体２０において、計測部３４が追加され、本体制御部２９の代わりに本体制御部２９Ｂを備えたものである。計測部３４は、表示制御部２２、疑似直交断面変形部２７および本体制御部２９Ｂに接続されている。
また、画像生成部２１、表示制御部２２、病変検出部２５、疑似直交断面生成部２６、疑似直交断面変形部２７、本体制御部２９Ｂおよび計測部３４により、装置本体２０Ｂ用のプロセッサ３１Ｂが構成されている。
計測部３４は、疑似直交断面変形部２７により生成された正規化疑似直交断面画像Ｕ３から病変部Ｍ１を検出して、病変部Ｍ１のサイズを計測する。計測部３４は、例えば、「REDMON, Joseph, et al. You only look once: Unified, real-time object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. p.779-788」に記載されている病変検出アルゴリズムを用いて病変部Ｍ１を検出できる。
また、計測部３４は、例えば、病変部Ｍ１に関する複数のテンプレート画像を記憶し、これらのテンプレート画像を用いた、いわゆるテンプレートマッチングの方法により病変部Ｍ１を検出することもできる。また、計測部３４は、例えば、Csurka et al.: Visual Categorization with Bags of Keypoints, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 （2004）に記載されている機械学習手法、あるいは、Krizhevsk et al.: ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25, pp.1106-1114 （2012）に記載されているディープラーニングを用いた一般画像認識手法等を用いて病変部Ｍ１を検出することもできる。
計測部３４は、正規化疑似直交断面画像Ｕ３に含まれる病変部Ｍ１のサイズを計測する際に、特に、深さ方向に直交する水平方向における病変部Ｍ１のサイズを計測できる。これにより、スキャン方向すなわち超音波プローブ１０の移動方向における病変部Ｍ１のサイズを精良く得ることができる。
以上から、実施の形態３の超音波診断装置によれば、正規化疑似直交断面画像Ｕ３から病変部Ｍ１のスキャン方向におけるサイズが精度良く計測されるため、医師等のユーザは、スキャン方向における病変部Ｍ１のサイズを計測するために、超音波プローブ１０の向きを変更して新たにフレーム画像Ｕ１を撮影する必要がなく、病変部Ｍ１の検査を円滑に且つ精確に行うことができる。
なお、病変部Ｍ１のサイズの計測について説明されているが、計測部３４は、病変部Ｍ１の体積を計測することもできる。
この際に、まず、疑似直交断面生成部２６は、１つのフレーム画像Ｕ１において、互いに平行に延び且つ病変部Ｍ１を通る複数の断面抽出ラインＬ１を設定し、複数の疑似直交断面画像Ｕ２を生成する。次に、疑似直交断面変形部２７は、疑似直交断面生成部２６により生成された複数の疑似直交断面画像Ｕ２に基づいて複数の正規化疑似直交断面画像Ｕ３を生成する。計測部３４は、疑似直交断面変形部２７により生成された複数の正規化疑似直交断面画像Ｕ３からそれぞれ、病変部Ｍ１の画素数すなわち面積を計測し、得られた複数の面積の値を加算することにより、病変部Ｍ１の体積を算出できる。
実施の形態４
医師等のユーザは、病変部Ｍ１が撮影された画像を確認することにより病変部Ｍ１の悪性度を判断することがある。本発明の超音波診断装置は、病変部Ｍ１が撮影された画像を解析することにより、病変部Ｍ１の悪性度を算出できる。
図１４に、実施の形態４の超音波診断装置の構成を示す。実施の形態４の超音波診断装置は、図１に示す実施の形態１の超音波診断装置において、装置本体２０の代わりに装置本体２０Ｃを備えている。
装置本体２０Ｃは、実施の形態１における装置本体２０において、悪性度算出部３５が追加され、本体制御部２９の代わりに本体制御部２９Ｃを備えたものである。悪性度算出部３５は、表示制御部２２、画像メモリ２４、疑似直交断面変形部２７および本体制御部２９Ｃに接続されている。また、画像生成部２１、表示制御部２２、病変検出部２５、疑似直交断面生成部２６、疑似直交断面変形部２７、本体制御部２９Ｃおよび悪性度算出部３５により、装置本体２０Ｃ用のプロセッサ３１Ｃが構成されている。
悪性度算出部３５は、病変部Ｍ１が撮影された画像に基づいて病変部Ｍ１の悪性度を算出する。悪性度算出部３５は、例えば、病変部Ｍ１が撮影された画像と、その画像に写る病変部Ｍ１の悪性度からなる多数の組を教師データとして予め学習した悪性度算出モデルを有することができる。この場合に、悪性度算出部３５は、悪性度算出モデルに対して病変部Ｍ１が撮影された画像を入力することにより、病変部Ｍ１の悪性度を算出できる。
悪性度算出部３５により算出された病変部Ｍ１の悪性度は、表示制御部２２を介してモニタ２３に表示される。医師等のユーザは、モニタ２３に表示された悪性度の値を確認することにより、より精確に且つ容易に病変部Ｍ１の診断を行うことができる。
また、悪性度算出部３５は、動画を構成する複数のフレーム画像Ｕ１のうちの１つに基づいて病変部Ｍ１の第１の悪性度を算出し、疑似直交断面変形部２７によって生成された正規化疑似直交断面画像Ｕ３に基づいて病変部Ｍ１の第２の悪性度を算出し、さらに、第１の悪性度と第２の悪性度とを統合した総合悪性度を算出できる。ここで、第１の悪性度の算出に用いられるフレーム画像Ｕ１は、例えば、入力装置３０を介したユーザの指示により画像メモリ２４から読み出されることができる。
正規化疑似直交断面画像Ｕ３は、病変部Ｍ１の構造が精度良く再現されているため、第２の悪性度を精度良く算出できる。また、総合悪性度は、病変部Ｍ１の互いに直交する２つの断面に基づいて算出されているため、第１の悪性度および第２の悪性度よりも精度の良い値が得られる。そのため、医師等のユーザは、モニタ２３に表示された総合悪性度を確認することで、より精確に且つ容易に病変部Ｍ１の診断を行うことができる。
１０，１０Ａ 超音波プローブ、１１ 振動子アレイ、１２ 送受信回路、１３ パルサ、１４ 増幅部、１５ ＡＤ変換部、１６ ビームフォーマ、１７ モーションセンサ、２０，２０Ａ，２０Ｂ，２０Ｃ 装置本体、２１ 画像生成部、２２ 表示制御部、２３ モニタ、２４ 画像メモリ、２５ 病変検出部、２６ 疑似直交断面生成部、２７，２７Ａ 疑似直交断面変形部、２９，２９Ａ，２９Ｂ，２９Ｃ 本体制御部、３０ 入力装置、３１，３１Ａ，３１Ｂ，３１Ｃ プロセッサ、３２ 変位量推定部、３３ 画像変形部、３４ 計測部、３５ 悪性度算出部、４１ 信号処理部、４２ ＤＳＣ、４３ 画像処理部、Ｌ１ 断面抽出ライン、Ｍ１ 病変部、Ｕ１ フレーム画像、Ｕ２ 疑似直交断面画像、Ｕ３ 正規化疑似直交断面画像。

Claims (9)

  1. 超音波プローブをスキャンさせながら取得され且つ病変部が撮影された動画に基づいて観察面に直交する断面画像を生成する超音波診断装置であって、
    前記動画を構成する複数のフレーム画像のうち１つのフレーム画像上において前記病変部を通る断面抽出ラインを設定し、前記複数のフレーム画像における前記断面抽出ライン上の画素値を時系列的に並べることにより前記観察面に直交する疑似直交断面画像を生成する疑似直交断面生成部と、
    前記疑似直交断面画像を水平方向に非剛体変形することにより正規化疑似直交断面画像を生成する疑似直交断面変形部と
    を備える超音波診断装置。
  2. 前記正規化疑似直交断面画像から前記病変部を検出して前記病変部を計測する計測部を備える請求項１に記載の超音波診断装置。
  3. 前記疑似直交断面生成部は、互いに平行に延びる複数の前記断面抽出ラインを設定して複数の前記疑似直交断面画像を生成し、
    前記疑似直交断面変形部は、前記複数の前記疑似直交断面画像に基づいて複数の前記正規化疑似直交断面画像を生成し、
    前記計測部は、前記複数の前記正規化疑似直交断面画像からそれぞれ計測された前記病変部の面積に基づいて前記病変部の体積を算出する請求項２に記載の超音波診断装置。
  4. 前記病変部が撮影された画像に基づいて前記病変部の悪性度を算出する悪性度算出部を備える請求項１に記載の超音波診断装置。
  5. 前記悪性度算出部は、前記複数のフレーム画像のうちの１つに基づいて算出される第１の悪性度と前記正規化疑似直交断面画像に基づいて算出される第２の悪性度とを統合した総合悪性度を算出する請求項４に記載の超音波診断装置。
  6. 前記複数のフレーム画像に対してそれぞれ前記病変部を検出する病変検出部を備え、
    前記疑似直交断面生成部は、前記複数のフレーム画像のうち、前記病変部が最大となるフレーム画像上に前記断面抽出ラインを設定する請求項１に記載の超音波診断装置。
  7. 前記疑似直交断面変形部は、
    前記複数のフレーム画像が撮影された時刻のそれぞれにおいて、前記超音波プローブのスキャン速度を一定とした場合の前記疑似直交断面画像における画素の位置と、実際の前記疑似直交断面における画素の位置との間の変位量を推定する変位量推定部と、
    前記変位量に基づいて前記疑似直交断面画像を非剛体変形させる画像変形部と
    を含む請求項１に記載の超音波診断装置。
  8. 前記超音波プローブは、前記超音波プローブの移動速度を検出するモーションセンサを有し、
    前記変位量推定部は、前記モーションセンサにより検出された前記移動速度に基づいて前記変位量を推定する請求項７に記載の超音波診断装置。
  9. 超音波プローブをスキャンさせながら取得され且つ病変部が撮影された動画に基づいて観察面に直交する断面画像を生成する超音波診断装置の制御方法であって、
    前記動画を構成する複数のフレーム画像のうち１つのフレーム画像上において前記病変部を通る断面抽出ラインを設定し、
    前記複数のフレーム画像における前記断面抽出ライン上の画素値を時系列的に並べることにより前記観察面に直交する疑似直交断面画像を生成し、
    前記疑似直交断面画像を水平方向に非剛体変形することにより正規化疑似直交断面画像を生成する
    超音波診断装置の制御方法。
JP2022107801A 2022-07-04 2022-07-04 超音波診断装置および超音波診断装置の制御方法 Pending JP2024006678A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022107801A JP2024006678A (ja) 2022-07-04 2022-07-04 超音波診断装置および超音波診断装置の制御方法
US18/332,534 US20240000434A1 (en) 2022-07-04 2023-06-09 Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
CN202310788080.0A CN117338328A (zh) 2022-07-04 2023-06-29 超声波诊断装置及超声波诊断装置的控制方法
EP23183364.1A EP4302702A1 (en) 2022-07-04 2023-07-04 Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022107801A JP2024006678A (ja) 2022-07-04 2022-07-04 超音波診断装置および超音波診断装置の制御方法

Publications (1)

Publication Number Publication Date
JP2024006678A true JP2024006678A (ja) 2024-01-17

Family

ID=87136784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022107801A Pending JP2024006678A (ja) 2022-07-04 2022-07-04 超音波診断装置および超音波診断装置の制御方法

Country Status (4)

Country Link
US (1) US20240000434A1 (ja)
EP (1) EP4302702A1 (ja)
JP (1) JP2024006678A (ja)
CN (1) CN117338328A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280678A (ja) 1995-04-20 1996-10-29 Hitachi Medical Corp 超音波診断装置
JP2002306474A (ja) 2001-04-05 2002-10-22 Ge Medical Systems Global Technology Co Llc 超音波撮像装置、超音波撮像方法およびその方法をコンピュータに実行させるためのプログラム
JP2005058551A (ja) * 2003-08-18 2005-03-10 Ge Medical Systems Global Technology Co Llc 超音波画像表示方法および超音波診断装置
US20140369583A1 (en) * 2013-06-18 2014-12-18 Konica Minolta, Inc. Ultrasound diagnostic device, ultrasound diagnostic method, and computer-readable medium having recorded program therein
JP5709957B2 (ja) * 2013-10-03 2015-04-30 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
KR102478272B1 (ko) * 2020-08-07 2022-12-16 (주)헬스허브 초음파 영상에서 3차원상의 노듈 볼륨 추정 장치 및 그 방법

Also Published As

Publication number Publication date
EP4302702A1 (en) 2024-01-10
CN117338328A (zh) 2024-01-05
US20240000434A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
JP5404141B2 (ja) 超音波装置及びその制御方法
JP6637610B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
JP7295296B2 (ja) 超音波診断装置および超音波診断装置の制御方法
US11272906B2 (en) Ultrasonic imaging device and method for controlling same
JP5663552B2 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
US11812920B2 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
US11116481B2 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
WO2012090658A1 (ja) 超音波診断装置および画像処理方法
JP5829198B2 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
JP6663029B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
WO2014050889A1 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
JP7434529B2 (ja) 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ
JP2024006678A (ja) 超音波診断装置および超音波診断装置の制御方法
JP7453400B2 (ja) 超音波システムおよび超音波システムの制御方法
US20230301635A1 (en) Ultrasound diagnostic system and method for controlling ultrasound diagnostic system
JP2020048928A (ja) 超音波診断装置および超音波診断装置の制御方法
US20230172587A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20200222030A1 (en) Ultrasound image apparatus and method of controlling the same
US20230414194A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP2023182996A (ja) 超音波診断装置および超音波診断装置の制御方法
JP2023147906A (ja) 超音波診断装置および超音波診断装置の制御方法
JP2014124231A (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
JP2013244221A (ja) 超音波診断装置、音速導出方法およびプログラム