JP2024067371A - 超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラム - Google Patents

超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラム Download PDF

Info

Publication number
JP2024067371A
JP2024067371A JP2022177396A JP2022177396A JP2024067371A JP 2024067371 A JP2024067371 A JP 2024067371A JP 2022177396 A JP2022177396 A JP 2022177396A JP 2022177396 A JP2022177396 A JP 2022177396A JP 2024067371 A JP2024067371 A JP 2024067371A
Authority
JP
Japan
Prior art keywords
ultrasound
classifier
ultrasound image
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022177396A
Other languages
English (en)
Inventor
洋日 松本
志行 金子
義浩 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2022177396A priority Critical patent/JP2024067371A/ja
Priority to US18/494,371 priority patent/US20240148364A1/en
Priority to CN202311436213.4A priority patent/CN117982164A/zh
Publication of JP2024067371A publication Critical patent/JP2024067371A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • A61B8/565Details of data transmission or power supply involving data transmission via a network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427Device being portable or laptop-like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4438Means for identifying the diagnostic device, e.g. barcodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】異なる超音波探触子や超音波診断装置を用いて遠隔超音波診断を行う場合でも、より適切に自動認識を行うこと。【解決手段】超音波診断装置は、超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像と、超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を外部装置から受信する受信部と、外部装置から受信した識別器判定情報に基づき、複数の識別器のうちから超音波画像を入力する識別器を判定する判定部と、判定された識別器に超音波画像を入力して当該識別器から出力される識別結果を取得する取得部と、を備える。【選択図】図1

Description

本発明は、超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラムに関する。
超音波診断装置を用いて医師や検査技師が超音波検査を実施する際、機械学習を用いて学習された学習モデルを使用して、画像内の関心領域や断面判定を自動認識することで、計測を行う際の作業負荷の低減や解剖理解を補助する超音波診断装置が提案されている。
例えば、特許文献1では、被検体の頸動脈に対して超音波を送受信して得られたBモードデータに基づく第1超音波データを取得している。そして、検出部は、複数の第2超音波データ各々における頸動脈の内膜中膜複合体厚と複数の第2超音波データとを用いて学習された学習済みモデルに第1超音波データを入力することで、第1超音波データにおける頸動脈の内膜中膜複合体厚を検出している。
特開2021-164573号公報
ところで、超音波診断装置には異なる種類の超音波探触子が接続可能である。取得される超音波画像は、超音波探触子毎に画質や画像の特徴が大きく異なる。例えば、心臓検査で用いられるセクタープローブと腹部検査で用いられるコンベックスプローブでは画像化される範囲が異なる。また、産科において、経腟検査で用いられる体腔内プローブと、経腹検査で用いられるコンベックスプローブでは画像化される範囲が異なる。
特定の超音波探触子の超音波画像で学習された学習モデルを使用して、異なる超音波探触子で取得された超音波画像の自動認識を行った場合、異なる超音波探触子の画像特徴を学習モデルが学習していないため、自動認識の精度が低下する課題があった。
また、近年、超音波診断装置で取得された超音波画像に対して自動認識を行い、インターネットを介して動画と自動認識結果を転送し、別の画像表示装置で計測や診断を行う遠隔超音波診断が行われている。特に、コロナ禍では、医師や検査技師が訪問できず、超音波画像の撮影は現地の医療従事者の方に、診断は遠隔の医師にと、分担するケースが増加の傾向にある。
訪問診断や遠隔診療では、現地に十全の機材が揃っておらず、患者の状態に応じ、簡易で即時使用可能な携帯型の超音波診断装置を用いることが多い。その場合、診断に用いるための機能が不足していたり、現地によって用いる機種(メーカー、超音波探触子の種類等)が様々であったりする。
そのため、医師は様々な環境下、例えば、複数の種類の超音波診断装置の画像で遠隔超音波診断をする必要がある。自動認識機能が存在しない超音波診断装置で取得された画像に対しては、現状、自動認識結果を参照しないで、計測や診断を行う形となる。また、超音波探触子の種類によらず、同じ学習モデルで自動認識させた場合、使用している超音波探触子に適した学習データを学習していない場合もあるため、自動認識の精度が低くなる場合もある。その結果、自動計測ができないため、医師や検査技師が手動で計測する必要があり、手間が増えたり、正確性に問題が生じたりする場合があった。
本発明の目的は、異なる超音波探触子や超音波診断装置を用いて遠隔超音波診断を行う場合でも、より適切に自動認識を行うことができる超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラムを提供することにある。
本発明に係る超音波診断装置は、
超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像と、前記超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を外部装置から受信する受信部と、
前記外部装置から受信した識別器判定情報に基づき、複数の前記識別器のうちから前記超音波画像を入力する識別器を判定する判定部と、
判定された前記識別器に前記超音波画像を入力して当該識別器から出力される識別結果を取得する取得部と、
を備える。
本発明に係る超音波画像診断システムは、
超音波画像取得装置と超音波画像処理装置とを備えた超音波画像診断システムであって、
前記超音波画像取得装置は、
超音波を被検体に送受信する超音波探触子と、
前記超音波探触子で得られた受信信号に基づいて超音波画像を生成する生成部と、
前記超音波画像と、前記超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を前記超音波画像処理装置へ送信する送信部と、を備え、
前記超音波処理装置は、
前記超音波画像と前記識別器判定情報とを受信する受信部と、
前記超音波画像の対象物を識別する識別器と、
前記識別器判定情報に基づき、複数の前記識別器のうちから前記超音波画像を入力する識別器を判定する判定部と、
判定された前記識別器に前記超音波画像を入力して当該識別器から出力される識別結果を取得する取得部と、
を備える。
本発明に係る超音波画像処理方法は、
超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像と、前記超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を外部装置から受信し、
前記外部装置から受信した前記識別器判定情報に基づき、複数の前記識別器のうちから前記超音波画像を入力する識別器を判定し、
判定された前記識別器に前記超音波画像を入力して当該識別器から出力される識別結果を取得する。
本発明に係る超音波画像処理プログラムは、
コンピューターに、
超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像と、前記超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を外部装置から受信する処理と、
前記外部装置から受信した前記識別器判定情報に基づき、複数の前記識別器のうちから前記超音波画像を入力する識別器を判定する処理と、
判定された前記識別器に前記超音波画像を入力して当該識別器から出力される識別結果を取得する処理と、
を実行させる。
本発明によれば、異なる超音波探触子や超音波診断装置を用いて遠隔超音波診断を行う場合でも、より適切に自動認識を行うことができる。
本発明の実施の形態に係る超音波画像診断システムの一例を説明するブロック図である。 図1に示した超音波画像診断システムにおける超音波画像処理方法の一例を説明するフローチャートである。 図1に示した超音波画像取得装置の表示部において、超音波探触子を選択する選択画面を示す図である。 セクタープローブを用いて取得された教師データの超音波画像と、識別器で自動認識するIVC領域と肝静脈位置とを示す図である。 コンベックスプローブを用いて取得された教師データの超音波画像と、識別器で自動認識するIVC領域と肝静脈位置とを示す図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
[超音波画像診断システム]
図1は、本実施の形態に係る超音波画像診断システム100の一例を説明するブロック図である。
超音波画像診断システム100は、超音波画像処理装置10と、超音波画像診断装置20(本発明における超音波画像取得装置、外部装置)とを有する。
超音波画像処理装置10と超音波画像診断装置20とは、ネットワークNWによって通信可能に接続されている。ネットワークNWとしては、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)等が用いられ、その通信には、無線通信や有線通信を使用可能である。
[超音波画像診断装置(超音波画像取得装置)]
超音波画像診断装置20は、生体等の被検体に対して超音波の送受信を行い、受信した超音波エコーから得られた受信信号に基づいて、被検体内部の生体組織の形状、性状又は動態を超音波画像として生成、表示し、医師等が画像診断するために用いられる。
超音波画像診断装置20は、図1に示すように、装置本体21、超音波探触子30(超音波プローブ)等を備える。超音波画像診断装置20において、超音波探触子30は、ケーブル(図示省略)を介して、装置本体21と接続されている。
[超音波探触子]
超音波探触子30は、詳細な図示は省略するが、圧電素子からなる振動子を複数備えている。振動子は、例えば、超音波の走査方向に一次元アレイ状に複数配列されている。なお、振動子は、二次元アレイ状に配列されたものであってもよい。また、超音波探触子30において、振動子の個数は、任意に設定することができる。
超音波探触子30において、それぞれの振動子は、後述する装置本体21の信号送受信部23から出力された駆動信号を超音波に変換して被検体内へ送信し、被検体内で反射した超音波エコーを受信して受信信号に変換し、信号送受信部23へ出力する。
超音波探触子30としては、例えば、セクター走査方式のセクタープローブ、コンベックス走査方式のコンベックスプローブ、リニア走査方式のリニアプローブ、体腔内プローブ等を含む様々な種類のプローブを使用可能である。
本実施の形態においては、後述するように、装置本体21に接続して使用する超音波探触子30の種類を選択して、超音波画像診断装置20での計測を行うようにしている。なお、装置本体21と超音波探触子30との接続は、ケーブルによる有線通信に代えて、UWB(Ultra Wide Band)等の無線通信により行ってもよい。
[装置本体]
装置本体21は、図1に示すように、制御部22、信号送受信部23、画像生成部24、データ送受信部25、表示部26、操作部27、記憶部28等を備える。装置本体21としては、可搬型のもの、例えば、タブレット型等の携帯端末を用いてもよい。
制御部22は、演算/制御装置としてのCPU(Central Processing Unit)、主記憶装置としてのROM(Read Only Memory)及びRAM(Random Access Memory)等を有する。
制御部22において、ROMは、プログラムや設定データを非一時的に記憶し、CPUは、ROMから処理内容に応じたプログラムを読み出して一時的に記憶するRAMに展開し、展開したプログラムを実行する。これにより、制御部22は、超音波画像診断装置20の各機能ブロックの動作を集中制御する。つまり、制御部22は、信号送受信部23、画像生成部24、データ送受信部25、表示部26、操作部27及び記憶部28を、それぞれの機能に応じて制御することによって、超音波画像診断装置20の全体制御を行う。
信号送受信部23は、図示は省略するが送信部と受信部とを有する。送信部は、制御部22の制御に従って、超音波探触子30に電気信号である駆動信号を供給し、超音波探触子30から超音波を発生させる。
詳細な図示は省略するが、送信部は、例えば、クロック発生回路、遅延回路、パルス発生回路を備えている。クロック発生回路は、駆動信号の送信タイミングや送信周波数を決定するクロック信号を発生させる回路である。遅延回路は、超音波探触子30の振動子毎に対応した個別経路毎に遅延時間を設定し、設定された遅延時間だけ駆動信号の送信を遅延させて送信超音波によって構成される送信ビームの集束(送信ビームフォーミング)等を行うための回路である。パルス発生回路は、設定された電圧および時間間隔で駆動信号としてのパルス信号を発生させるための回路である。
上述のように構成された送信部は、制御部22の制御に従って、駆動信号を供給する複数の振動子を、超音波の送受信毎に所定数ずらしながら順次切り替え、出力の選択された複数の振動子に対して駆動信号を供給することにより走査(スキャン)を行う。
信号送受信部23において、受信部は、制御部22の制御に従って、超音波探触子30からの電気信号である受信信号を受信する。
詳細な図示は省略するが、受信部は、例えば、増幅器、A/D変換回路、整相加算回路を備えている。増幅器は、受信信号を、振動子毎に対応した個別経路毎に、予め設定された増幅率で増幅させるための回路である。A/D変換回路は、増幅された受信信号をアナログ-デジタル変換(A/D変換)するための回路である。整相加算回路は、A/D変換された受信信号に対して、振動子毎に対応した個別経路毎に遅延時間を与えて時相を整え、これらを加算(整相加算)して音線データを生成するための回路である。すなわち、整相加算回路は、振動子毎の受信信号に対して受信ビームフォーミングを行って音線データを生成する。
画像生成部24は、制御部22の制御に従って、信号送受信部23の受信部からの音線データに対して包絡線検波処理や対数圧縮などを実施し、ダイナミックレンジやゲインの調整を行って輝度変換する。これにより、画像生成部24は、2次元断層画像データとしてのBモード画像データ(以下、超音波画像データ)を生成する。すなわち、超音波画像データは、受信信号の強さを輝度によって表したものである。なお、画像生成部24は、Aモード画像データ、Mモード画像データ(2次元断層画像データ)、ドプラ画像データ、カラーモード画像データまたは3次元画像データを生成しても良い。
また、画像生成部24は、DRAM(Dynamic Random Access Memory)などの半導体メモリーによって構成された画像メモリー部(図示せず)を備えている。画像生成部24は、生成した超音波画像データをフレーム単位で画像メモリー部に記憶させる。
また、画像生成部24は、画像メモリー部から読みだした超音波画像データに対して画像フィルタ処理や時間平滑化処理などの画像処理を施し、表示部26へ表示するための表示画像パターンに走査変換する。
データ送受信部25(本発明における送信部)は、制御部22の制御に従って、画像生成部24で生成された超音波画像データと共に、識別器判定情報を、超音波画像処理装置10に送信する。また、データ送受信部25は、超音波画像処理装置10での識別器を用いた処理による識別結果を受信する。受信された識別結果は、超音波画像と共に、表示部26に表示される。
識別器は、詳細は後述するが、超音波画像データの識別対象物を識別するものである。識別器判定情報は、識別器を判定可能な情報であり、例えば、超音波探触子30の種類の情報である。識別結果は、例えば、計測項目の分類結果、自動計測結果、関心領域等であり、このような結果を自動的に取得することにより、操作者の作業負荷が低減される。
表示部26は、LCD(Liquid Crystal Display)、CRT(Cathode-Ray Tube)ディスプレイ、有機EL(Electronic Luminescence)ディスプレイ、無機ELディスプレイ、プラズマディスプレイ等の表示装置である。表示部26は、制御部22の制御に従って、画像生成部24により生成された超音波画像データに対応する超音波画像を表示画面上に表示する。
操作部27は、各種スイッチ、ボタン、トラックパッド、トラックボール、マウス、キーボード、表示部26の表示画面に一体的に設けられ、当該表示画面に対するタッチ操作を検知するタッチパネル等を備える。
操作部27は、例えば、超音波探触子30の種類の選択、超音波探触子30の接続/解除、診断部位の選択、診断開始/診断終了、計測項目の選択、装置やアプリケーションの起動/終了、フリーズ開始/解除等の操作入力等を行う。また、操作部27は、被検体の個人情報等のデータや表示部26に超音波画像を表示するための各種パラメーターの入力等を行う。操作部27は、入力に対応する操作信号を制御部22に出力する。
操作部27を介して選択が行われる計測項目は、超音波画像データを用いた形態的計測(例えば、長さ、面積、角度、速度、体積)、輝度値を用いた計測(例えば、ヒストグラム)、心臓計測、婦人科計測、産科計測などである。なお、本実施の形態では、計測項目の一部は、後述する識別器を用いた自動認識により、操作部27で選択しなくても、自動的に行われる。
記憶部28は、フラッシュメモリー、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の情報の書き込み及び読み出しが可能な記憶装置である。記憶部28には、例えば、画像生成部24で生成された超音波画像データ等を記憶する。
上述した信号送受信部23、画像生成部24、データ送受信部25等は、例えば、各処理に応じた専用又は汎用のハードウェア(電子回路)で構成され、制御部22と協働して各機能を実現する。
例えば、信号送受信部23、画像生成部24、データ送受信部25等は、LSI(Large Scale Integration)等の集積回路のハードウェアで構成される。また、これらは、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)等を含むPLD(Programmable Logic Device)等のハードウェアで構成されてもよい。また、これらは、FPGAやLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
[超音波画像処理装置]
超音波画像処理装置10は、図1に示すように、制御部11、データ送受信部12、判定部13、取得部14、表示部15、操作部16、記憶部17、学習部18、教師データ生成部19等を備える。なお、超音波画像処理装置10は、上記の超音波画像診断装置20と同様の超音波画像診断装置でもよく、その場合は、上記の信号送受信部23や画像生成部24と同様の構成を有する。
制御部11は、演算/制御装置としてのCPU、主記憶装置としてのROM及びRAM等を有する。
ROMは、半導体等の不揮発メモリー等により構成され、超音波画像処理装置10に対応するシステムプログラム、システムプログラム上で実行可能な各種処理プログラム、ルックアップテーブル(ガンマ補正)等の各種データ等を非一時的に記憶する。これらのプログラムは、コンピューターが読み取り可能なプログラムコードの形態で格納され、CPUは、当該プログラムコードに従った動作を逐次実行する。RAMは、CPUにより実行される各種プログラム及びこれらプログラムに係るデータを一時的に記憶するワークエリアを形成する。本実施の形態では、制御部11のROMに、後述する超音波画像処理方法を実行する「超音波画像処理プログラム」が記憶されている。
制御部11は、後述の超音波画像処理方法で説明するように、超音波画像診断装置20から送信された超音波画像データや識別器判定情報を用いて、超音波画像データの自動認識を行い、識別結果を取得し、取得された識別結果を超音波画像診断装置20へ送信する。
データ送受信部12(本発明における受信部)は、制御部11の制御に従って、超音波画像診断装置20から送信された超音波画像データや識別器判定情報を受信し、また、超音波画像処理装置10で取得された識別結果を送信する。
判定部13は、制御部11の制御に従って、超音波画像診断装置20から受信した識別器判定情報に基づき、超音波画像データの識別対象物を識別する複数の識別器のうちから超音波画像データを入力する識別器を判定する。
例えば、識別器判定情報が超音波探触子30の種類である場合、判定部13は、超音波探触子30の種類に応じて、複数の識別器のうちから超音波画像データを入力する識別器を判定する。
取得部14は、制御部11の制御に従って、超音波画像データを識別器に入力して識別器から出力される識別結果を取得する。
表示部15は、LCD、CRTディスプレイ、有機ELディスプレイ、無機ELディスプレイ、プラズマディスプレイ等の表示装置である。表示部15は、制御部11の制御に従って、超音波画像診断装置20から送信された超音波画像データに対応する超音波画像、識別器判定情報、取得部14で取得された識別結果等を表示画面上に表示する。
操作部16は、各種スイッチ、ボタン、トラックパッド、トラックボール、マウス、キーボード、表示部15の表示画面に一体的に設けられ、当該表示画面に対するタッチ操作を検知するタッチパネル等を備える。操作部16は、例えば、表示画面での操作/入力、装置やアプリケーションの起動/終了等の操作入力等を行う。操作部16は、入力に対応する操作信号を制御部11に出力する。
記憶部17は、フラッシュメモリー、HDD、SSD等の情報の書き込み及び読み出しが可能な記憶装置である。記憶部17には、例えば、超音波画像診断装置20から送信された超音波画像データ、識別器判定情報、取得部14で取得された識別結果等を記憶する。
本実施の形態では、記憶部17は、超音波画像診断装置20から送信された超音波画像に写っている識別対象物を識別するために取得部14で利用される複数の識別器を記憶する。
識別器で識別する識別対象物は、例えば、神経、筋膜、筋肉、血管、針、心臓、胎盤、リンパ節、脳、前立腺、頚動脈又は乳房である。また、識別対象物は、細部構造に限らず臓器そのものや、手足や顔、首、腰等の身体構造でもよいし、何らかの疾患を示す病変部や、超音波画像内の異常な輝度領域としてもよい。記憶部17は、識別対象物毎に当該識別対象物の識別精度が高くなるように最適化された複数の識別器を記憶してもよい。
学習部18は、制御部11の制御に従って、教師データを用いた学習(機械学習)を行うことにより、識別器に教師データに潜在する確率分布の特徴を把握させる。学習済みの識別器は、典型的には、超音波画像データのピクセル値情報を入力するだけで、画像パターンを識別し得るようになる。
具体的には、識別器には、超音波画像診断装置20から送信された超音波画像データが入力される。識別器は、入力された超音波画像データに対応する超音波画像に識別対象物(具体的には、識別対象物の位置、境界又は領域)が写っている確からしさを表す確信度を、当該超音波画像を構成する所定部分ごとに出力するように予め学習されている。識別器から出力される確信度は、0より大きく1以下の値で表される。確信度が高いほど、超音波画像上において識別対象物が写っている確からしさが高いことを意味する。
このような識別器に対する学習は、予め用意された教師データに基づいて、公知の教師あり学習、具体的には、バックプロパゲーション(Backpropagation:誤差逆伝播法)を用いた重み係数、バイアス等を含むネットワークパラメータの調整によって行われる。
教師データ生成部19は、制御部11の制御に従って、識別器に対して、学習部18で学習する教師データを生成する。
教師データは、過去に生成された超音波画像データと、それに対応した正解データとの組である。正解データとしては、例えば、超音波画像データに対応する超音波画像内の所望領域を任意の値でラベリングしたラベリング画像、所望領域を座標で示した座標データ、又は、所望領域の境界を示す直線や曲線の式などが使用される。
本実施の形態では、正解データとしてラベリング画像が使用され、教師データとしての超音波画像データにおいて、識別対象物が写っている部分には「1」がラベリングされ、識別対象物が写っていない部分には「0」がラベリングされている。
なお、上述した識別器の一例として、畳み込みニューラルネットワーク(Convolutional Neural Network;以降、「CNN」と呼ぶ)がある。
CNNは、順伝播型ニューラルネットワークの一種であって、脳の視覚野の構造における知見に基づくものである。基本的に、画像の局所的な特徴抽出を担う畳み込み層と、局所毎に特徴をまとめあげるプーリング層(サブサンプリング層)とを繰り返した構造となっている。
CNNの各層によれば、複数のニューロン(Neuron)を所持し、個々のニューロンが視覚野と対応するような形で配置されている。それぞれのニューロンの基本的な働きは、信号の入力と出力とからなる。但し、各層のニューロン間は、相互に信号を伝達する際に、入力された信号をそのまま出力するのではなく、それぞれの入力に対して結合荷重を設定し、その重み付きの入力の総和が各ニューロンに設定されている閾値を超えた時に、次の層のニューロンに信号を出力する。教師データからこれらニューロン間の結合荷重を算出しておく。これによって、リアルタイムのデータを入力することによって、出力値の推定が可能となる。
公知のCNNモデルとしては、例えば、GoogleNet、ResNet、SENet、U-Net、MobileNetなどが挙げられるが、この目的に適合するCNNであれば、それを構成するアルゴリズムは特に限定されない。また、識別器としては、CNNに限らず、計算アルゴリズムや係数を含む数理モデルを用いてもよい。
また、記憶部17は、異なる性質の複数種類の識別器を有していてもよい。例えば、記憶部17は、確信度が異なる2種類の識別器を有していてもよい。例えば、一方は、入力された超音波画像データに複数の識別対象物(汎用的な複数の部位(クラス)に対応)が写っている確からしさを表す確信度を出力するように学習されている識別器である。また、他方は、入力された超音波画像データに特定の識別対象物(特定の部位に対応)が写っている確からしさを表す確信度を出力するように学習されている識別器である。
また、例えば、記憶部17は、応答性や識別精度が異なる2種類の識別器を有していてもよい。例えば、一方は、同一の識別対象物を識別するために取得部14で利用される識別器として、識別精度よりも応答性(識別処理時間、リアルタイム性)を重視した応答性重視モデルの識別器である。また、他方は、応答性よりも識別精度を重視した識別精度重視モデルの識別器である。
なお、データ送受信部12、判定部13、取得部14、学習部18、教師データ生成部19について、各々の機能の一部又は全部は、各機能に応じた専用又は汎用のハードウェア(電子回路)で構成してもよい。その場合、データ送受信部12、判定部13、取得部14、学習部18、教師データ生成部19は、制御部11と協働して各機能を実現する。
例えば、データ送受信部12、判定部13、取得部14、学習部18、教師データ生成部19は、LSI(Large Scale Integration)等の集積回路のハードウェアで構成される。また、これらは、ASIC、DSP、FPGA等を含むPLD等のハードウェアで構成されてもよい。また、これらは、FPGAやLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
一方で、データ送受信部12、判定部13、取得部14、学習部18、教師データ生成部19について、各々の機能の一部又は全部は、ソフトウェアにより実行するようにしてもよい。この場合、このソフトウェアは一つ以上のROM等の記憶媒体、光ディスク、又は、ハードディスク等に記憶されており、このソフトウェアが制御部11のCPUにより実行される。
また、超音波画像処理装置10は、学習部18及び教師データ生成部19を必ずしも備えている必要はない。例えば、学習部18及び教師データ生成部19を備える外部の装置で学習を行って識別器を生成し、外部の装置で生成した識別器を、ネットワークを介して、超音波画像処理装置10の記憶部に記憶するようにしてもよい。
本実施の形態において、超音波画像診断システム100は、上述した構成を有する超音波画像処理装置10及び超音波画像診断装置20を用い、以下に説明する方法により、より適切に自動認識を行うようにしている。
[超音波画像処理方法]
図2は、超音波画像診断システム100(超音波画像処理装置10及び超音波画像診断装置20)における超音波画像処理方法の一例を説明するフローチャートである。図3は、超音波画像診断装置20の表示部26において、超音波探触子30を選択する選択画面Sc1を示す図である。
(ステップS11)
超音波画像診断装置20の制御部22には、超音波画像の生成に使用する超音波探触子30の種類が入力される。なお、このとき、後述する自動認識を行うかどうかの設定が入力されてもよい。
例えば、超音波画像診断装置20の表示部26には、操作者(医師等)の操作により、図3に示す選択画面Sc1が表示される。選択画面Sc1には、超音波画像診断装置20に接続可能な超音波探触子30の種類が表示される。ここでは、一例として、セクタープローブとコンベックスプローブが超音波画像診断装置20に接続可能であり、選択画面Sc1には、セクタープローブを選択するための選択領域Sa1とコンベックスプローブを選択するための選択領域Sa2が表示される。操作者が操作部27を用いて選択領域Sa1及び選択領域Sa2のうちから1つを選択することにより、制御部22に超音波探触子30の種類が入力される。
また、自動認識を行うかどうかの設定を行う場合には、操作者の操作により、表示部26に自動認識の設定画面(図示省略)が表示され、操作者が操作部27を用いて、自動認識の有無を設定することにより、制御部22に自動認識の設定が入力される。
一方で、例えば、超音波画像診断装置20に自動認識機能が備わっていない場合、自動認識に関連する設定画面が無いこともあるので、自動認識を行うかどうかの設定は、超音波画像診断装置20側ではなく、超音波画像処理装置10側で行うようにしてもよい。この場合、自動認識を行うかどうかの設定は、超音波画像処理装置10側において、後述するステップS23より前に行われる。また、後述するステップS14も、超音波画像診断装置20側ではなく、超音波画像処理装置10側において、ステップS23とステップS24との間で行われる。
(ステップS12)
操作者の操作により診断が開始されると、制御部22は、信号送受信部23を制御し、被検体に対して超音波探触子30で超音波の送受信を行う。
(ステップS13)
制御部22は、画像生成部24を制御して、超音波エコーを受信した超音波探触子30からの受信信号に基づき、上述したようにして超音波画像データを生成する。
(ステップS14)
制御部22は、自動認識を行うかどうかを判断し、自動認識を行う場合(YES)、ステップS15へ進み、自動認識を行わない場合(NO)、ステップS18へ進む。制御部22は、ステップS11で自動認識を行うかどうかの設定が予め入力されている場合、当該設定を参照して、自動認識を行うかどうかを判断する。一方、自動認識を行うかどうかの設定が予め入力されていない場合、制御部22は、表示部26に自動認識の設定画面を表示させ、操作者が自動認識の設定を入力するようにする。
なお、上述したように、自動認識を行うかどうかの設定を超音波画像処理装置10側で行う場合には、ステップS14は、超音波画像診断装置20側では行わず、超音波画像処理装置10側で行われる。
(ステップS15)
制御部22は、データ送受信部25を制御して、超音波画像データと識別器判定情報とを超音波画像処理装置10へ送信する。
ここで、超音波画像処理装置10での処理を説明する。
(ステップS21)
超音波画像処理装置10の制御部11は、学習済みの識別器が記憶部17にあるかどうかを確認する。学習済みの識別器が記憶部17にある場合(YES)、ステップS23へ進み、上記のステップS15で説明した超音波画像診断装置20からの超音波画像データ及び識別器判定情報の送信を待つことになる。学習済みの識別器が記憶部17にない場合(NO)、ステップS22へ進む。
(ステップS22)
制御部11は、上述したように、教師データ生成部19、学習部18を用いて、教師データの学習を行って識別器を生成する。識別器の生成については、以下に、下大静脈(Inferior Vena Cava;以降、IVCと呼ぶ)径の自動計測の場合、産科での計測項目の自動分類の場合を例にとって説明する。
なお、上述したように、自動認識を行うかどうかの設定を超音波画像処理装置10側で行う場合、ステップS23より前、例えば、ステップS21の前やステップS22とステップS23との間において行う。この場合、操作者の操作により、表示部15に自動認識の設定画面(図示省略)が表示され、操作者が操作部16を用いて、自動認識の有無を設定することにより、制御部11に自動認識の設定が入力される。
(ステップS23)
制御部11は、データ送受信部12を用いて、超音波画像診断装置20からの超音波画像データ及び識別器判定情報を受信する。
なお、上述したように、自動認識を行うかどうかの設定を超音波画像処理装置10側で行う場合、制御部11は、上記のステップS14と同様の判断をステップS23とステップS24との間で行う。即ち、制御部11は、超音波画像処理装置10側での設定に応じて、自動認識を行うかどうかを判断し、自動認識を行う場合(YES)、ステップS24へ進み、自動認識を行わない場合(NO)、ステップS18へ進む。
(ステップS24)
制御部11は、判定部13を用いて、超音波画像診断装置20から受信した識別器判定情報に基づいて、識別器を設定する。
(ステップS25)
制御部11は、取得部14を用いて、超音波画像診断装置20から受信した超音波画像データをステップS24で設定した識別器に入力し、自動認識による推論を実行し、識別結果を取得する。
(ステップS26)
制御部11は、データ送受信部12を用いて、ステップS25で取得した識別結果を超音波画像診断装置20へ送信する。
超音波画像診断装置20での処理に戻って説明する。
(ステップS16)
制御部22は、データ送受信部25を用いて、超音波画像処理装置10からの識別結果を受信する。
(ステップS17)
制御部22は、表示部26を用いて、画像生成部24で生成された超音波画像と、超音波画像処理装置10からの識別結果を表示する。つまり、自動認識を行う場合、制御部22は、画像生成部24で生成された超音波画像データに対応する超音波画像と、超音波画像処理装置10からの識別結果とを、表示部26を用いて表示する。
このように、超音波画像処理装置10から超音波画像診断装置20へ識別結果を送信し、超音波画像と識別結果とを、表示部26を用いて表示するので、超音波画像診断装置20側で診断を行うことができる。同様に、超音波画像処理装置10において、超音波画像と識別結果とを、表示部15を用いて表示して、超音波画像処理装置10で診断を行ってもよい。
(ステップS18)
制御部22は、表示部26を用いて、画像生成部24で生成された超音波画像データに対応する超音波画像を表示する。つまり、自動認識を行わない場合、制御部22は、画像生成部24で生成された超音波画像を表示する。
[超音波画像処理方法-IVC径の自動計測の場合]
図4は、セクタープローブを用いて取得された教師データの超音波画像と、識別器で自動認識するIVC領域と肝静脈位置とを示す図である。図5は、コンベックスプローブを用いて取得された教師データの超音波画像と、識別器で自動認識するIVC領域と肝静脈位置とを示す図である。
上述した超音波画像処理方法において、IVC径の自動計測を行う場合、学習フェーズである上記のステップS22において、以下の学習を行う。
(1)セクタープローブの場合
教師データ生成部19は、超音波画像診断装置20でセクタープローブを用いて取得された超音波画像データであって、IVC領域と肝静脈位置を示す情報を含む超音波画像データを教師データとして生成する。例えば、教師データ生成部19は、図4に示す教師データの超音波画像Gi1を生成する。学習部18は、IVC領域と肝静脈位置を自動認識するように、教師データ生成部19で生成された教師データを学習して、識別器1を生成する。例えば、学習部18は、図4の画像Go11に示すIVC領域(白色の部分)や画像Go12に示す肝静脈位置(白色の部分)を認識するようにする。
(2)コンベックスプローブの場合
教師データ生成部19は、超音波画像診断装置20でコンベックスプローブを用いて取得された超音波画像データであって、IVC領域と肝静脈位置を示す情報を含む超音波画像データを教師データとして生成する。例えば、教師データ生成部19は、図5に示す教師データの超音波画像Gi2を生成する。学習部18は、IVC領域と肝静脈位置を自動認識するように、教師データ生成部19で生成された教師データを学習して、識別器2を生成する。例えば、学習部18は、図5の画像Go21に示すIVC領域(白色の部分)や画像Go22に示す肝静脈位置(白色の部分)を認識するようにする。
超音波画像処理装置10の記憶部17には、超音波探触子30の種類に対応づけて、識別器1、識別器2が記憶される。
そして、上述した超音波画像処理方法において、IVC径の自動計測を行う場合、推論フェーズである上記のステップS24、S25において、以下の推論を行う。
判定部13は、超音波画像診断装置20から送信された識別器判定情報に基づいて、送信された超音波画像データに使用する識別器を設定する。識別器判定情報がセクタープローブの場合は、識別器1が設定され、識別器判定情報がコンベックスプローブの場合は、識別器2が選択される(ステップS24)。
取得部14は、設定された識別器に超音波画像データを入力すると、識別器は、超音波画像データの自動認識処理を行う。識別器は、超音波画像データにおいて、IVC領域と肝静脈位置を決定し、決定されたIVC領域と肝静脈位置を用いて、IVC径を計測する2点を決定し、決定された2点間の距離を算出する。識別器は、識別結果として、例えば、決定された2点の位置(関心領域)と算出された距離(自動計測結果)を出力する(ステップS25)。
[超音波画像処理方法-産科での計測項目の自動分類の場合]
上述した超音波画像処理方法において、産科での計測項目の自動分類を行う場合、学習フェーズである上記のステップS22において、以下の学習を行う。
(1)体腔内プローブの場合
教師データ生成部19は、超音波画像診断装置20で体腔内プローブを用いて取得された超音波画像データにおいて、頭殿長(Crown-Rump Length;以降、CRLと呼ぶ)と児頭大横径(Bi-Parietal Diameter;以降、BPDと呼ぶ)の計測項目を教師データとして生成する。学習部18は、体腔内プローブでの計測項目の自動分類のため、CRLとBPDの計測項目を自動認識するように、また、計測項目毎の計測位置を自動認識するように、教師データ生成部19で生成された教師データを学習して、識別器3を生成する。
(2)コンベックスプローブの場合
教師データ生成部19は、超音波画像診断装置20でコンベックスプローブを用いて取得された超音波画像データにおいて、CRLとBPDと体幹周囲長(Abdominal Circumference;以降、ACと呼ぶ)と大腿骨長(Femur Length;以降、FLと呼ぶ)の計測項目を教師データとして生成する。学習部18は、コンベックスプローブでの計測項目の自動分類のため、CRLとBPDとACとFLの計測項目を自動認識するように、また、計測項目毎の計測位置を自動認識するように、教師データ生成部19で生成された教師データを学習して、識別器4を生成する。
超音波画像処理装置10の記憶部17には、超音波探触子30の種類に対応づけて、識別器3、識別器4が記憶される。
そして、上述した超音波画像処理方法において、産科での計測項目の自動分類を行う場合、推論フェーズである上記のステップS24、S25において、以下の推論を行う。
判定部13は、超音波画像診断装置20から送信された識別器判定情報に基づいて、送信された超音波画像データに使用する識別器を設定する。識別器判定情報が体腔内プローブの場合は、識別器3が設定され、識別器判定情報がコンベックスプローブの場合は、識別器4が選択される(ステップS24)。
取得部14は、設定された識別器に超音波画像データを入力すると、識別器は、超音波画像データの自動認識処理を行う。識別器は、超音波画像データにおいて、計測項目を決定し、決定された計測項目に対応する計測位置を決定し、決定され計測位置の計測値を算出する。識別器は、識別結果として、例えば、決定された計測位置(関心領域)と、計測項目(計測項目の分類結果)に対応して算出された計測値(自動計測結果)とを出力する(ステップS25)。
このように、超音波画像診断装置20において、被検体の同じ部位に対して異なる超音波探触子30で取得した超音波画像データを教師データとし、それぞれの超音波探触子30に対して識別器を生成している。つまり、超音波画像診断装置20に接続可能な異なる超音波探触子30に対してそれぞれの識別器を用意している。そして、超音波画像診断装置20から送信された識別器判定情報に基づいて、対応する識別器を設定するので、最適な識別器を用いて、超音波画像データの自動認識を行うことができ、精度の高い識別結果を得ることができる。
また、メーカーが異なる超音波画像診断装置20において、上述したようにして、超音波画像診断装置20に接続可能な異なる超音波探触子30に対してそれぞれの識別器を用意してもよい。これにより、メーカーが異なる超音波画像診断装置20から送信された識別器判定情報に基づいて、対応する識別器を設定するので、最適な識別器を用いて、超音波画像データの自動認識を行うことができ、精度の高い識別結果を得ることができる。
以上説明したように、本実施の形態において、超音波画像処理装置10は、データ送受信部12、判定部13、取得部14を備える。データ送受信部12は、超音波画像データと識別器判定情報とを超音波画像診断装置20から受信する。判定部13は、超音波画像診断装置20から受信した識別器判定情報に基づき、超音波画像データの識別対象物を識別する複数の識別器のうちから超音波画像データを入力する識別器を判定する。取得部14は、超音波画像データを識別器に入力して識別器から出力される識別結果を取得する。
また、本実施の形態において、超音波画像診断システム100は、超音波画像処理装置10と超音波画像診断装置20とを備える。超音波画像診断装置20は、超音波探触子30、画像生成部24、データ送受信部25を備える。超音波探触子30は、超音波を被検体に送受信する。画像生成部24は、超音波探触子30で得られた受信信号に基づいて超音波画像データを生成する。データ送受信部25は、超音波画像データと識別器判定情報とを超音波画像処理装置10へ送信する。
このように構成した本実施の形態の超音波画像処理装置10、超音波画像診断システム100によれば、自動認識機能(識別器)を有していない超音波画像診断装置20で取得された超音波画像データに対しても、自動認識による識別結果を得ることができる。そのため、異なる超音波探触子30や超音波画像診断装置20を用いて遠隔超音波診断を行う場合でも、より適切に自動認識を行うことができ、その結果、操作者(医師等)の作業負荷を低減することができる。
また、本実施の形態の超音波画像処理装置10、超音波画像診断システム100によれば、超音波画像診断装置20に接続可能な異なる超音波探触子30に対してそれぞれの識別器を用意している。そして、超音波画像診断装置20から受信した識別器判定情報に基づいて、最適な識別器を設定するので、操作者は、どの超音波探触子30を使用しても、自動認識を行うことができ、精度の高い識別結果を得ることができる。
本実施の形態は、携帯型の超音波画像診断装置20を用いて、遠隔地で診断を行う環境において、特に有用であり、携帯型の超音波画像診断装置20が自動認識機能(識別器)を有していない場合でも、自動認識による識別結果を得ることができる。
また、異なるメーカーの超音波画像診断装置20に接続可能な異なる超音波探触子30に対してそれぞれの識別器を用意する場合には、異なるメーカーの超音波画像診断装置20を用いて診断を行う場合でも、自動認識による識別結果を得ることができる。
<変形例1>
上記の実施の形態においては、超音波画像処理装置10が上記の識別器を備えている。本変形例では、超音波画像処理装置10に加えて、超音波画像診断装置20も上記の識別器を備えている。
本変形例では、基本的には、超音波画像診断装置20において、識別器を用いて、取得した超音波画像データの自動認識を行う。一方で、例えば、超音波画像診断装置20において、制御部22のCPUの処理能力が高くなかったり、記憶部28の記憶容量が多くなかったりすると、複数の識別器を用いることは難しい。このような場合、上記のステップS14において、自動認識の設定に加えて、識別器判定情報に基づき、ステップS15へ進むか、又は、ステップS18へ進むかを判断してもよい(本発明における判断部)。つまり、制御部22は、識別器判定情報に基づき、超音波画像データと識別器判定情報とを超音波画像処理装置10に送信するか否かを判断してもよい。
この場合、制御部22は、識別器判定情報に基づいて、識別器判定情報に対応する識別器が記憶部28にあるかを確認し、識別器判定情報に対応する識別器がある場合、ステップS18へ進む。一方、識別器判定情報に対応する識別器がない場合、ステップS15へ進み、超音波画像処理装置10が記憶する識別器を用いて、超音波画像の自動認識を行うようにする。
このように、使用している超音波探触子30の種類に適した識別器が超音波画像診断装置20側にある場合、超音波画像データと識別器判定情報とを超音波画像処理装置10へ送信しないようにすることができる。
一方、使用している超音波探触子30の種類に適した識別器が超音波画像診断装置20側にない場合、超音波画像データと識別器判定情報とを超音波画像処理装置10へ送信するので、自動認識による識別結果を得ることができる。そのため、異なる超音波探触子30や超音波画像診断装置20を用いて遠隔超音波診断を行う場合でも、より適切に自動認識を行うことができ、その結果、操作者(医師等)の作業負荷を低減することができる。
<その他の変形例>
上記実施の形態や変形例では、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその要旨、又は、その主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、識別器判定情報は、超音波探触子30に関する情報に限らず、超音波探触子30に関する情報、超音波画像に関する情報、識別器に関する情報及び超音波画像診断装置20に関する情報のうちの少なくとも1つの情報であればよい。
超音波画像診断装置20に関する情報は、例えば、超音波画像診断装置20を製造したメーカーの情報である。識別器判定情報として、メーカーの情報を用いることにより、メーカー毎の超音波画像の画質に最適な識別器を選択することができ、最適な識別器で推論することで、精度の高い識別結果が得られる。
超音波画像に関する情報としては、超音波画像の視野深度やサンプリング間隔の情報が含まれてもよい。超音波画像の視野深度やサンプリング間隔の情報を用いることにより、2点の距離等の計測を実寸で算出できる。
なお、超音波画像に関する情報は、所定のファイル(xml、csvファイル等)を、超音波画像又は超音波画像のローデータに付けて送信するようにしてもよい。また、送信の際、通信ヘッダに付帯させてもよく、例えば、DICOM(Digital Imaging and Communications in Medicine)のヘッダと同様にしてもよい。
また、識別器判定情報は、被検体の部位や診療科の情報であってもよい。超音波画像の自動認識は、産科、循環器科、整形外科等の診療科目毎や、上肢、腹部、胎児等の部位毎に、実施される自動認識の項目が異なる場合や、選択肢が多岐にわたる場合がある。このような場合でも、上記の識別器判定情報に基づいて、識別器が選択されるので、自動認識の項目が絞りこまれ、自動認識の選択が必要な場合、その手間が減らせる。また、自動認識の項目を自動で判別する場合には、誤った選択肢があらかじめ除外されるので、より精度の高い自動認識結果が得られる。
また、超音波画像処理装置10は、超音波画像診断装置20から送信される識別器判定情報がない場合、汎用の識別器を用いて、超音波画像の自動認識を行ってもよい。例えば、超音波画像診断装置20によっては、識別器判定情報を送信できない装置もある。このように、識別器判定情報を送信できない超音波画像診断装置20で取得された超音波画像でも、汎用の識別器を用いて、自動認識を行って、所望の計測や診断を行うことができる。
また、超音波画像処理装置10は、超音波画像診断装置20から送信される識別器判定情報がない場合、超音波画像データを解析して、識別器判定情報を取得し、取得された識別器判定情報に基づいて最適な識別器を判定してもよい。
例えば、超音波探触子30の種類の違いによって、超音波画像で描出できる画像サイズ、フレームレート、画質が異なるため、超音波探触子30の種類の識別器判定情報を取得可能であり、取得された識別器判定情報に基づいて最適な識別器を判定できる。
従って、識別器判定情報を送信できない超音波画像診断装置20で取得された超音波画像データでも、最適な識別器を用いて、自動認識を行って、所望の計測や診断において、精度の高い識別結果を得ることができる。
10 超音波画像処理装置
11 制御部
12 データ送受信部
13 判定部
14 取得部
15 表示部
16 操作部
17 記憶部
18 学習部
19 教師データ生成部
20 超音波画像診断装置
21 装置本体
22 制御部
23 信号送受信部
24 画像生成部
25 データ送受信部
26 表示部
27 操作部
28 記憶部
30 超音波探触子
100 超音波画像診断システム

Claims (13)

  1. 超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像と、前記超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を外部装置から受信する受信部と、
    前記外部装置から受信した識別器判定情報に基づき、複数の前記識別器のうちから前記超音波画像を入力する識別器を判定する判定部と、
    判定された前記識別器に前記超音波画像を入力して当該識別器から出力される識別結果を取得する取得部と、
    を備える超音波画像処理装置。
  2. 前記識別器判定情報は、前記超音波探触子に関する情報、前記超音波画像に関する情報、前記識別器に関する情報、前記外部装置に関する情報、の少なくとも一つの情報である、
    請求項1に記載の超音波画像処理装置。
  3. 前記識別器判定情報は前記外部装置に関する情報であり、前記外部装置に関する情報は前記外部装置を製造したメーカーの情報である、
    請求項2に記載の超音波画像処理装置。
  4. 前記識別結果は、計測項目の分類結果、自動計測結果、関心領域、の少なくとも一つである、
    請求項1から3のいずれか一項に記載の超音波画像処理装置。
  5. 超音波画像取得装置と超音波画像処理装置とを備えた超音波画像診断システムであって、
    前記超音波画像取得装置は、
    超音波を被検体に送受信する超音波探触子と、
    前記超音波探触子で得られた受信信号に基づいて超音波画像を生成する生成部と、
    前記超音波画像と、前記超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を前記超音波画像処理装置へ送信する送信部と、を備え、
    前記超音波画像処理装置は、
    前記超音波画像と前記識別器判定情報とを受信する受信部と、
    前記超音波画像の対象物を識別する識別器と、
    前記識別器判定情報に基づき、複数の前記識別器のうちから前記超音波画像を入力する識別器を判定する判定部と、
    判定された前記識別器に前記超音波画像を入力して当該識別器から出力される識別結果を取得する取得部と、
    を備える超音波画像診断システム。
  6. 前記超音波画像処理装置は、前記識別結果を前記超音波画像取得装置に送信する送信部を備え、
    前記超音波画像取得装置は、前記識別結果を前記超音波画像処理装置から受信する受信部を備える、
    請求項5に記載の超音波画像診断システム。
  7. 前記超音波画像取得装置は、前記超音波画像の対象物を識別する識別器を備える、
    請求項5に記載の超音波画像診断システム。
  8. 前記超音波画像取得装置は、前記識別器判定情報に基づき、前記超音波画像処理装置に前記超音波画像と前記識別器判定情報とを送信するか否かを判断する判断部を備える、
    請求項5に記載の超音波画像診断システム。
  9. 超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像と、前記超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を外部装置から受信し、
    前記外部装置から受信した前記識別器判定情報に基づき、複数の前記識別器のうちから前記超音波画像を入力する識別器を判定し、
    判定された前記識別器に前記超音波画像を入力して当該識別器から出力される識別結果を取得する、
    超音波画像処理方法。
  10. コンピューターに、
    超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像と、前記超音波画像の対象物を識別する識別器を判定可能な識別器判定情報と、を外部装置から受信する処理と、
    前記外部装置から受信した前記識別器判定情報に基づき、複数の前記識別器のうちから前記超音波画像を入力する識別器を判定する処理と、
    判定された前記識別器に前記超音波画像を入力して当該識別器から出力される識別結果を取得する処理と、
    を実行させる、超音波画像処理プログラム。
  11. 前記識別器判定情報は、前記超音波探触子に関する情報、前記超音波画像に関する情報、前記識別器に関する情報、前記外部装置に関する情報、の少なくとも一つの情報である、
    請求項10に記載の超音波画像処理プログラム。
  12. 前記識別器判定情報は前記外部装置に関する情報であり、前記外部装置に関する情報は前記外部装置を製造したメーカーの情報である、
    請求項11に記載の超音波画像処理プログラム。
  13. 前記識別結果は、計測項目の分類結果、自動計測結果、関心領域、の少なくとも一つである、
    請求項10から12のいずれか一項に記載の超音波画像処理プログラム。
JP2022177396A 2022-11-04 2022-11-04 超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラム Pending JP2024067371A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022177396A JP2024067371A (ja) 2022-11-04 2022-11-04 超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラム
US18/494,371 US20240148364A1 (en) 2022-11-04 2023-10-25 Ultrasound image processing apparatus, ultrasound image diagnosis system, ultrasound image processing method, and non-transitory computer-readable recording medium storing ultrasonic image processing program
CN202311436213.4A CN117982164A (zh) 2022-11-04 2023-10-31 超声波图像处理装置、诊断系统、处理方法及处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022177396A JP2024067371A (ja) 2022-11-04 2022-11-04 超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2024067371A true JP2024067371A (ja) 2024-05-17

Family

ID=90900478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022177396A Pending JP2024067371A (ja) 2022-11-04 2022-11-04 超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラム

Country Status (3)

Country Link
US (1) US20240148364A1 (ja)
JP (1) JP2024067371A (ja)
CN (1) CN117982164A (ja)

Also Published As

Publication number Publication date
CN117982164A (zh) 2024-05-07
US20240148364A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
US11324486B2 (en) Ultrasound diagnosis apparatus and method for generating image from volume data and displaying the same
CN106659474B (zh) 用于自诊断和远程诊断的超声诊断设备以及操作超声诊断设备的方法
US11197657B2 (en) Methods and systems for identifying ultrasound images
US11033250B2 (en) Ultrasound apparatus and ultrasound medical imaging method for identifying view plane of ultrasound image based on classifiers
US10327738B2 (en) Ultrasound imaging apparatus and method of processing ultrasound image thereof
US10470744B2 (en) Ultrasound diagnosis apparatus, ultrasound diagnosis method performed by the ultrasound diagnosis apparatus, and computer-readable storage medium having the ultrasound diagnosis method recorded thereon
US20140288425A1 (en) Apparatus and method for providing elasticity information
US10832405B2 (en) Medical image processing apparatus with awareness of type of subject pattern
US10163228B2 (en) Medical imaging apparatus and method of operating same
US10918357B2 (en) Methods and systems for automatically determining an anatomical measurement of ultrasound images
EP3542724A1 (en) Ultrasonic diagnostic device and operation method thereof
US20160302761A1 (en) Ultrasound system for displaying stiffness of blood vessel
US20190209134A1 (en) Ultrasound imaging apparatus and method of controlling the same
JP2024067371A (ja) 超音波画像処理装置、超音波画像診断システム、超音波画像処理方法及び超音波画像処理プログラム
KR20230142892A (ko) 방광 상태를 측정하기 위한 장치 및 방법
KR101611443B1 (ko) 초음파 영상 장치의 제어 방법 및 그 초음파 영상 장치
US20200093370A1 (en) Apparatus, medical information processing apparatus, and computer program product
JP2022158712A (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
KR102605151B1 (ko) 빔포밍을 수행하는 방법 및 빔포머.
US12029615B2 (en) Ultrasound diagnosis apparatus and method for generating image from volume data and displaying the same
EP4285836A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP2022172565A (ja) 超音波画像診断装置、識別器変更方法および識別器変更プログラム
US20240225612A1 (en) Ultrasonic imaging apparatus and control method thereof
JP2024008364A (ja) 学習モデル、診断用プログラム、超音波診断装置、超音波診断システム、画像診断装置、機械学習装置、学習データ作成装置、学習データ作成方法及び学習データ作成プログラム
JP2024039916A (ja) 超音波診断装置および超音波診断装置の制御方法