JP7302051B1 - 超音波画像表示システムおよび記憶媒体 - Google Patents

超音波画像表示システムおよび記憶媒体 Download PDF

Info

Publication number
JP7302051B1
JP7302051B1 JP2022023328A JP2022023328A JP7302051B1 JP 7302051 B1 JP7302051 B1 JP 7302051B1 JP 2022023328 A JP2022023328 A JP 2022023328A JP 2022023328 A JP2022023328 A JP 2022023328A JP 7302051 B1 JP7302051 B1 JP 7302051B1
Authority
JP
Japan
Prior art keywords
preset
user
site
examination
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022023328A
Other languages
English (en)
Other versions
JP2023120110A (ja
Inventor
俊一郎 谷川
Original Assignee
ジーイー・プレシジョン・ヘルスケア・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーイー・プレシジョン・ヘルスケア・エルエルシー filed Critical ジーイー・プレシジョン・ヘルスケア・エルエルシー
Priority to JP2022023328A priority Critical patent/JP7302051B1/ja
Priority to CN202310055052.8A priority patent/CN116650007A/zh
Priority to US18/170,074 priority patent/US20230270409A1/en
Application granted granted Critical
Publication of JP7302051B1 publication Critical patent/JP7302051B1/ja
Publication of JP2023120110A publication Critical patent/JP2023120110A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/462Displaying means of special interest characterised by constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • A61B8/565Details of data transmission or power supply involving data transmission via a network
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Hematology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】検査部位とは異なる別の検査部位のプリセットが選択されている場合、検査部位のプリセットで検査が実行できるように、ユーザを支援する技術を提供する。【解決手段】ユーザインターフェースにより入力された信号に基づいて、複数の検査部位に対して設定された複数のプリセットの中から、検査で使用するプリセットを選択すること、超音波プローブで被検体をスキャンすることにより得られた超音波画像に基づいて作成された入力画像を学習済みモデルに入力し、学習済みモデルを用いて、被検体の検査部位を推論すること、選択されたプリセットの検査部位と、推論された検査部位に基づいて、ユーザに、選択されたプリセットを推論された検査部位のプリセットに変更することを推奨するか否かを決定すること、およびプリセットの変更を推奨することを決定した場合、表示部に、ユーザにプリセットを変更することを推奨するためのメッセージ86を表示させる。【選択図】図17

Description

本発明は、プリセットの変更が可能な超音波画像表示システム、当該超音波表示システムに使用される記憶媒体に関する。
超音波診断装置を用いて被検体をスキャンする場合、ユーザは、被検体のスキャンを開始する前に、検査部位ごとに撮影条件などが予め設定されたプリセットを確認し、被検体の検査部位に対応したプリセットを選択することがある。
プリセットの選択については、例えば、特許文献1に開示されている。
特開2020-069301
プリセットとは、検査部位に対応した複数の項目と、各項目の内容とを含むものである。複数の項目には、例えば、送信周波数やゲインなどの計測条件に関する設定項目、コントラストなどの画質条件に関する設定項目、および表示画面のユーザインターフェースに関する設定項目などがある。
プリセットは、検査部位ごとに設定されているので、被検体の検査部位とは異なる検査部位のプリセットを使用して被検体の検査を行うと、所望の画質の超音波画像を取得することが困難になることがある。例えば、被検体の検査部位が下肢であるにも関わらず、選択されたプリセットが乳腺のプリセットである場合、所望の画質の下肢画像を取得することが困難になる場合がある。したがって、ユーザは、プリセットをこれから検査する被検体の検査部位のプリセットに変更する必要がある。しかし、ユーザは被検体を検査する場合、多数の作業工程をこなしていく必要があるため、プリセットの変更を忘れて被検体の検査を開始することがあり得る。ユーザは、検査の途中で、プリセットを変更し忘れたことに気づいた場合、プリセットを変更するが、プリセットの変更前に取得した超音波画像の画質レベルによっては、ユーザは被検体の検査を最初からやり直さなければならないこともあり、ユーザの負担は大きくなるという問題がある。
この問題に対処する方法として、被検体の超音波画像に基づいて検査部位を推論し、ユーザにより設定されている現在のプリセットが、被検体の検査部位とは異なる別の検査部位のプリセットである場合、プリセットを自動で変更することが考えられる。しかし、推論精度が低い場合、プリセットが自動で変更されてしまうと、超音波画像の画質を逆に劣化させてしまうという恐れがある。
そこで、被検体の検査部位とは異なる別の検査部位のプリセットが設定されている場合、被検体の検査部位のプリセットで被検体の検査が実行できるように、ユーザを支援する技術が要求されている。
本発明の第1の観点は、超音波プローブと、
ユーザインターフェースと、
表示部と、
前記超音波プローブ、前記ユーザインターフェース、および前記表示部と通信する1つ又は複数のプロセッサと
を含む超音波画像表示システムであって、
前記1つまたは複数のプロセッサが、
前記ユーザインターフェースにより入力された信号に基づいて、複数の検査部位に対して設定された複数のプリセットの中から、検査で使用するプリセットを選択すること、
前記超音波プローブで被検体をスキャンすることにより得られた超音波画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、前記被検体の検査部位を推論すること、
前記選択されたプリセットの検査部位と、前記推論された検査部位に基づいて、ユーザに、前記選択されたプリセットを前記推論された検査部位のプリセットに変更することを推奨するか否かを決定すること、および
プリセットの変更を推奨することを決定した場合、前記表示部に、前記ユーザにプリセットを変更することを推奨するためのメッセージを表示させること、
を含む動作を実行する、超音波画像表示システムである。
本発明の第2の観点は、超音波プローブ、ユーザインターフェース、および表示部超と通信する1つ以上のプロセッサによって実行可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
前記ユーザインターフェースにより入力された信号に基づいて、複数の検査部位に対して設定された複数のプリセットの中から、検査で使用するプリセットを選択すること、
前記超音波プローブで被検体をスキャンすることにより得られた超音波画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、前記被検体の検査部位を推論すること、
前記選択されたプリセットの検査部位と、前記推論された検査部位に基づいて、ユーザに、前記選択されたプリセットを前記推論された検査部位のプリセットに変更することを推奨するか否かを決定すること、
プリセットの変更を推奨することを決定した場合、前記表示部に、前記ユーザにプリセットを変更することを推奨するためのメッセージを表示させること、を含む動作を実行させる、記憶媒体である。
本発明の第3の観点は、超音波プローブとユーザインターフェースと表示部とを含む超音波画像表示システムを用いてプリセットの変更を推奨する方法であって、
前記ユーザインターフェースにより入力された信号に基づいて、複数の検査部位に対して設定された複数のプリセットの中から、検査で使用するプリセットを選択すること、
前記超音波プローブで被検体をスキャンすることにより得られた超音波画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、前記被検体の検査部位を推論すること、
前記選択されたプリセットの検査部位と、前記推論された検査部位に基づいて、ユーザに、前記選択されたプリセットを前記推論された検査部位のプリセットに変更することを推奨するか否かを決定すること、および
プリセットの変更を推奨することを決定した場合、前記表示部に、前記ユーザにプリセットを変更することを推奨するためのメッセージを表示させること、
を含む、方法である。
本発明では、ユーザにプリセットの変更を推奨するか否かを決定し、プリセットの変更を推奨すると決定した場合、前記表示部に、前記ユーザにプリセットを変更することを推奨するためのメッセージを表示させている。したがって、ユーザは、メッセージを確認することにより、現在選択されているプリセットが被検体の実際の検査部位のプリセットに一致していないことに気付くことができる。ユーザは、プリセットの変更が推奨された場合、必要に応じて、ユーザ自身に都合のよいタイミングでプリセットを変更することができる。また、プリセットの変更をユーザに推奨することにより、プリセットを変更するか否かの最終判断をユーザに委ねることができるので、プリセットが自動で変更されることにより超音波画像の画質が逆に劣化してしまうことを回避することもできる。
本発明の第1の実施形態の超音波診断装置1で被検体をスキャンしている様子を示す図である。 超音波診断装置1のブロック図である。 原画像の概略図である。 原画像からトレーニングデータを生成する説明図である。 正解データの説明図である。 トレーニングデータMAi、QAj、およびRAkと、複数の正解データ61とを示す図である。 学習済みモデルの作成方法の説明図である。 被検体52の検査で実行されるフローチャートの一例を示す図である。 患者情報の入力方法の説明図である。 被検体の検査部位のプリセットを選択するための設定画面の一例を示す図である。 プリセットの説明図である。 ハイライト表示されたボタンB0を示す図である。 学習済みモデル71の推論フェーズの説明図である。 新規の被検体53をスキャンしている様子を示す図である。 新規の被検体53を検査で実行されるフローチャートの一例を示す図である。 学習済みモデル71の推論フェーズの説明図である。 表示モニタ18に表示されたメッセージ86の一例を示す図である。 タッチパネル28に表示されたプリセット変更画面の一例を示す図である。 第2の実施形態における新規の被検体53の検査フローを示す図である。 第3の実施形態における新規の被検体53の検査フローの説明図である。 学習済みモデル71の推論フェーズの説明図である。 ステップST24の処理の説明図である。 確率PがTH2<Pの場合の推論結果の一例を示す図である。 確率PがTH1≦p≦TH2の場合の推論結果の一例を示す図である。 第4の実施形態における新規の被検体53の検査フローを示す図である。 第5の実施形態における新規の被検体53の検査フローを示す図である。 第6の実施形態における新規の被検体53の検査フローを示す図である。 表示モニタ18に表示される推論結果の一例を示す図である。 表示モニタ18に表示される推論結果の他の例を示す図である。 検査部位の推論結果を更に詳細に表示した例である。 カラー画像88を表示させた例を示す図である。 超音波診断装置の動作モードを設定する設定画面の一例を示す図である。
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
(1)第1の実施形態
図1は、本発明の第1の実施形態の超音波診断装置1で被検体をスキャンしている様子を示す図、図2は、超音波診断装置1のブロック図である。
超音波診断装置1は、超音波プローブ2、送信ビームフォーマ3、送信器4、受信器5、受信ビームフォーマ6、プロセッサ7、表示部8、メモリ9、およびユーザインターフェース10を有している。超音波診断装置1は、本発明の超音波画像表示システムの一例である。
超音波プローブ2は、アレイ状に配置された複数の振動素子2aを有している。送信ビームフォーマ3および送信器4は、超音波プローブ2内に配列された複数の振動素子2aをドライブし、振動素子2aから超音波が送信される。振動素子2aから送信された超音波は被検体52(図1参照)内において反射し、反射エコーが振動素子2aで受信される。振動素子2aは、受信したエコーを電気信号に変換し、この電気信号をエコー信号として受信器5に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
受信ビームフォーマ6は、ハードウェアビームフォーマであってもよいし、ソフトウェアビームフォーマであってもよい。受信ビームフォーマ6がソフトウェアビームフォーマである場合、受信ビームフォーマ6は、i)グラフィックス処理ユニット(GPU)、ii)マイクロプロセッサ、iii)中央処理装置(CPU)、iv)デジタル信号プロセッサ(DSP)、v)論理演算を実行することができる他の種類のプロセッサ、のうちの1つまたは複数を含む1つまたは複数のプロセッサを備えることができる。受信ビームフォーマ6を構成するプロセッサは、プロセッサ7とは別のプロセッサで構成されていてもよいし、プロセッサ7で構成されていてもよい。
超音波プローブ2は、送信ビームフォーミングおよび/または受信ビームフォーミングの全部または一部を行うための電気回路を含むことができる。例えば、送信ビームフォーマ3、送信器4、受信器5、および受信ビームフォーマ6の全部または一部は、超音波プローブ2内に設けることができる。
プロセッサ7は、送信ビームフォーマ3、送信器4、受信器5、および受信ビームフォーマ6を制御する。また、プロセッサ7は、超音波プローブ2と電子通信している。プロセッサ7は、振動素子2aのどれがアクティブであるか、および超音波プローブ2から送信される超音波ビームの形状を制御する。プロセッサ7は表示部8およびユーザインターフェース10とも電子通信している。プロセッサ7は、エコーデータを処理して超音波画像を生成することができる。「電子通信」という用語は、有線通信と無線通信の両方を含むように定義することができる。プロセッサ7は、一実施形態によれば中央処理装置(CPU)を含むことができる。他の実施形態によれば、プロセッサ7は、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、グラフィックスプロセッシングユニット(GPU)、または他のタイプのプロセッサなど、処理機能を実行することができる他の電子構成要素を含むことができる。他の実施形態によれば、プロセッサ7は、処理機能を実行することができる複数の電子構成要素を含むことができる。例えばプロセッサ7は、中央処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、およびグラフィックスプロセッシングユニットを含む電子構成要素のリストから選択された2つ以上の電子構成要素を含むことができる。
プロセッサ7は、RFデータを復調する複合復調器(図示せず)を含むこともできる。別の実施形態では、処理チェーン(processing chain)の早い段階で復調を実行することができる。
また、プロセッサ7は、受信ビームフォーマ6による処理によって得られたデータに基づいて、様々な超音波画像(例えば、Bモード画像、カラードップラ画像、Mモード画像、カラーMモード画像、スペクトルドップラ画像、エラストグラフィ画像、TVI画像、歪み画像、歪み速度画像、など)を生成することができる。また、1つまたは複数のモジュールが、これらの超音波画像を生成することができる。
画像ビームおよび/または画像フレームは保存され、データがメモリに取得された時を示すタイミング情報を記録することができる。前記モジュールは、例えば、画像フレームを座標ビーム空間から表示空間座標に変換するために走査変換演算を実行する走査変換モジュールを含むことができる。被検体に処置が実施されている間にメモリから画像フレームを読み取り、その画像フレームをリアルタイムで表示する映像プロセッサモジュールを設けることもできる。映像プロセッサモジュールは画像フレームを画像メモリに保存することができ、超音波画像は画像メモリから読み取られ表示部8に表示される。
本明細書において、「画像」という用語は、可視画像と可視画像を表すデータの両方を広く指すものとすることができる。また、「データ」という用語は、走査変換演算前の超音波データであるローデータ(raw data)と、走査変換演算後のデータである画像データを含み得る。
尚、プロセッサ7が担当する上述の処理タスクを、複数のプロセッサで実行するようにしてもよい。
また、受信ビームフォーマ6がソフトウェアビームフォーマである場合、ビームフォーマが実行する処理を、単一のプロセッサで実行させてもよいし、複数のプロセッサで実行させてもよい。
表示部8は、例えば、LED(Light Emitting Diode)表示部、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)表示部である。表示部8は、超音波画像を表示する。第1の実施形態では、表示部8は、図1に示すように、表示モニタ18とタッチパネル28とを含んでいるが、表示部8は、表示モニタ18とタッチパネル28との代わりに、1つの表示部で構成されてもよい。また、表示モニタ18とタッチパネル28に代えて、2つ以上の表示装置を備えてもよい。
メモリ9は、任意の既知のデータ記憶媒体である。一例では、超音波画像表示ステムは、メモリとして、非一過性の記憶媒体および一過性の記憶媒体を含む。また、超音波画像表示システムは、複数のメモリを含むこともできる。非一過性の記憶媒体は、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、ROM(Read Only Memory)などの不揮発性の記憶媒体である。非一過性の記憶媒体は、CD(Compact Disk)やDVD(Digital Versatile Disk)などの可搬性の記憶媒体を含むことができる。プロセッサ7によって実行されるプログラムは、非一過性の記憶媒体に記憶されている。一過性の記憶媒体は、RAM(Random Access Memory)などの揮発性の記憶媒体である。
メモリ9には、プロセッサ7による実行が可能な1つ又は複数の命令が格納されている。この1つ又は複数の命令は、プロセッサ7に、後述する第1-第9の実施形態に説明されている動作を実行させる。
尚、プロセッサ7は、外部記憶装置15に有線接続又は無線接続することができるように構成することもできる。この場合、プロセッサ7に実行させる命令を、メモリ9と外部記憶装置15との両方に分散させて記憶させることも可能である。
ユーザインターフェース10は、ユーザ51の入力を受け付けることができる。例えば、ユーザインターフェース10は、ユーザ51からの指示や情報の入力を受け付ける。ユーザインターフェース10は、キーボード(keyboard)、ハードキー(hard key)、トラックボール(trackball)、ロータリーコントロール(rotary control)およびソフトキー等を含んでいる。ユーザインターフェース10は、ソフトキー等を表示するタッチスクリーン(例えば、タッチパネル28のタッチスクリーン)を含んでいてもよい。
超音波診断装置1は上記のように構成されている。
ユーザ51は、超音波診断装置1を用いて被検体をスキャンする場合、被検体のスキャンを開始する前に、被検体の検査部位のプリセットを選択する。
プリセットとは、検査部位に対応した複数の項目と、各項目の内容とを含むデータセットである。複数の項目には、例えば、送信周波数やゲインなどの計測条件に関する設定項目、コントラストなどの画質条件に関する設定項目、および表示画面のユーザインターフェースに関する設定項目などがある。
ユーザ51は、被検体を検査する場合、超音波診断装置1のユーザインターフェース10を操作し、被検体の検査部位のプリセットを選択する。このプリセットを選択した後、ユーザ51は、被検体のスキャンを実行する。被検体のスキャンが終了したら、ユーザ51は被検体の検査が終了したことを表す信号を入力する。この信号が入力されると、超音波診断装置1は被検体の検査が終了したことを認識する。
ユーザ51は被検体の検査が終了したら、次の新規の被検体の検査を行う。新規の被検体の検査を行う場合、ユーザ51は、新規の被検体の検査部位のプリセットを選択する。新規の被検体の検査部位が直前の被検体の検査部位と同じ場合、直前の被検体の検査時に選択されたプリセットをそのまま使用することができる。この場合、ユーザ51は、プリセットを変更せずに、新規の被検体の検査を行う。検査が終了したら、ユーザ51は被検体の検査が終了したことを表す信号を入力する。
以下同様に、被検体の検査を行うたびに、その被検体の検査部位のプリセットを選択し、被検体の検査が行われる。
一方、臨床現場において、超音波検査は被検体の診断をする上で非常に重要であり、多くの医療機関などで超音波検査が行われており、人間ドックなどで超音波検査を受ける被検体数も増大している。このため、ユーザ51が一日に検査する被検体数も増大し、ユーザ51の作業負担も大きくなっている。また、被検体の検査を行う場合、ユーザ51は、被検体の検査をするために、被検体とコミュニケーションを取りながら、検査部位に対応したプローブ操作を行うなど、被検体の検査中、多様な作業をする必要がある。このため、多数の被検体を検査していると、ユーザは、プリセットの変更を忘れて新規の被検体の検査を開始することがあり得る。新規の被検体の検査部位が、直前の被検体の検査部位と同じであれば、基本的には、直前の被検体の検査で使用されたプリセットで引き続き新規の被検体を検査することができる。しかし、新規の被検体の検査部位が、直前の被検体の検査部位と異なる場合がある。プリセットに含まれる項目は、検査部位ごとに異なっていたり、項目の設定値も、検査部位ごとに異なっている場合も多いので、直前の被検体の検査部位のプリセットをそのまま使って新規の被検体の検査を行うと、所望の画質の超音波画像を得ることができない場合がある。したがって、ユーザ51は、プリセットを新規の被検体の検査部位のプリセットに変更する必要がある。しかし、上記のように、ユーザ51は被検体を検査する場合、多数の作業工程をこなしていく必要があるため、プリセットを変更せずに、新規の被検体の検査を開始することがあり得る。ユーザ51は、検査の途中で、プリセットを変更し忘れたことに気づいた場合、プリセットを変更するが、プリセットの変更前に取得した超音波画像は、直前の被検体の検査部位のプリセットで取得されている。したがって、プリセットの変更前に取得した超音波画像の画質レベルによっては、ユーザ51は被検体の検査を最初からやり直さなければならず、ユーザ51の負担は大きくなるという問題がある。
この問題に対処する方法として、プリセットを自動で変更することが考えられる。しかし、変更後のプリセットが、被検体の検査部位のプリセットに一致していない場合、超音波画像の画質を逆に劣化させてしまうという恐れもある。
そこで、第1の実施形態の超音波診断装置1は、選択されているプリセットが、実際の被検体の検査部位のプリセットではない場合、ユーザ51に、プリセットの変更を推奨するように構成されている。以下に、ユーザ51にプリセットの変更を推奨する方法の一例について説明する。
尚、第1の実施形態において、ユーザ51にプリセットの変更を推奨するために、超音波診断装置1は、主に以下の動作(1)および(2)を実行する。
(1)学習済みモデルを用いて被検体の検査部位を推論する。
(2)(1)の推論結果に基づいて、ユーザにプリセットの変更を推奨するか否かを決定する。
上記のように、第1の実施形態では、学習済みモデルを使用して被検体の検査部位を推論し、この推論結果に基づいて、ユーザにプリセットの変更を推奨するか否かを決定している。したがって、第1の実施形態では、被検体を検査する前に、被検体の検査部位を推論するのに適した学習済みモデルを生成している。そこで、以下では、最初に、この学習済みモデルを生成する学習フェーズについて説明する。そして、学習フェーズを説明した後で、ユーザ51にプリセットの変更を推奨する方法について説明する。
(学習フェーズについて)
図3~図7は、学習フェーズの説明図である。
学習フェーズでは、先ず、トレーニングデータを生成するための元になる原画像を用意する。
図3は、原画像の概略図である。
第1の実施形態では、原画像として、病院などの医療施設で取得された超音波画像Mi(i=1~n)、医用機器メーカで取得された超音波画像Qj(j=1~n)、および超音波プローブを空中放置させた状態で取得される超音波画像(以下、「空気画像」と呼ぶ)Rk(k=1~n)を用意する。
次に、これらの原画像Mi、Qj、およびRkに対して、図4に示すように、前処理を実行する。
前処理には、例えば、画像を切り出しする処理、標準化処理、正規化処理、画像反転処理、画像回転処理、拡大率変更処理、画質変更処理などがある。原画像Mi、Qj、およびRkを前処理することにより、前処理された原画像MAi、QAj、およびRAkを得ることができる。前処理された各原画像が、学習済みモデルを作成するためのトレーニングデータとして使用される。このようにして、前処理された原画像MAi、QAj、およびRAkを含むトレーニングデータセット60を準備することができる。トレーニングデータセット60は、例えば、5000例~10000例のトレーニングデータを含んでいる。
次に、このトレーニングデータに、正解データをラベリングする(図5参照)。
図5は正解データの説明図である。
第1の実施形態では、複数の超音波診断装置1で検査を行う対象となる複数の検査部位が正解データとして使用される。
検査の対象となる検査部位の数や各検査部位の範囲は、医療機関によっても様々であると考えられるが、ここでは、説明を簡単にするため、以下の6つの人体の部位を、検査部位として考えることにする。
「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」、および「その他」
尚、「その他」は、「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」以外の他の部位全体を表している。
したがって、第1の実施形態で使用される複数の正解データ61には、「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」、および「その他」が含まれている。また、トレーニングデータセット60には、空気画像に基づいて生成されたトレーニングデータも含まれているので、複数の正解データ61には、トレーニングデータが空気であることを表す正解データも含まれている。そこで、第1の実施形態では、複数の正解データ61として、以下の7つの正解データを考えることにする。
「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」、「空気」、および「その他」
正解データ「空気」は、トレーニングデータが空気画像に基づいて生成されたデータであることを表している。また、正解データ「腹部」、「乳腺」、「頸動脈」、「下肢」、および「甲状腺」は、それぞれ、トレーニングデータの検査部位が、「腹部」、「乳腺」、「頸動脈」、「下肢」、および「甲状腺」であることを表している。正解データ「その他」は、トレーニングデータの検査部位が、「腹部」、「乳腺」、「頸動脈」、「下肢」、および「甲状腺」以外の他の部位であることを表している。
これらの正解データをトレーニングデータにラベリングする。図6に、トレーニングデータMAi、QAj、およびRAkと、複数の正解データ61とを示す。第1の実施形態では、各トレーニングデータには、図6に示すように、上記の7つの正解データ「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」、「空気」、および「その他」のうちの対応する正解データがラベリングされる。
次に、上記のトレーニングデータを用いて学習済みモデルを作成する(図7参照)。
図7は、学習済みモデルの作成方法の説明図である。
第1の実施形態では、転移学習の技術を使用して学習済みモデル71を作成する。
先ず、ニューラルネットワークとして、事前学習済みモデル70を用意する。事前学習済みモデル70は、例えば、ImageNetのデータセットを使用して生成されたものや、BERTを使用して作成されたものである。
次に、転移学習の技術を使用して、正解データがラベリングされたトレーニングデータを事前学習済みモデル70に学習させ、検査部位を推論するための学習済みモデル71を作成する。
学習済みモデル71を作成した後、学習済みモデル71の評価を行う。評価は、例えば、混同行列(Confusion Matrix)を使用することができる。評価を表す指標としては、例えば、正解度(accuracy)を使用することができる。
評価が良好であれば、上記の学習済みモデル71を、被検体のどの部位が検査部位であるかを推論するためのモデルとして使用する。評価が不良であれば、追加のトレーニングデータを準備し、再学習を行う。
このようにして、学習済みモデル71を作成することができる。学習済みモデル71は、後で説明する図13に示すように、入力画像81が、「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」、「空気」、および「その他」を含む複数のカテゴリ55のうちのどのカテゴリに分類されるかを推論するものである。この学習済みモデル71は、超音波診断装置1のメモリ9に記憶される。尚、学習済みモデル71を、超音波診断装置1がアクセス可能な外部記憶装置15に記憶してもよい。
第1の実施形態では、学習済みモデル71を利用して、ユーザ51にプリセットの変更を推奨している。以下にこの推奨方法の一例について、図8を参照しながら説明する。
図8は、被検体52(図1参照)の検査で実行されるフローチャートの一例を示す図である。
ステップST11では、ユーザ51は、被検体52(図1参照)を検査室に誘導し、被検体52を検査ベッドに寝かせる。また、ユーザ51は、ユーザインターフェース10(図2参照)を操作し、被検体52のスキャンを行う前に事前に設定しておかなければならない各項目の設定を行う。例えば、ユーザ51は、ユーザインターフェース10を操作し、患者情報を入力する。図9は、患者情報の入力方法の説明図である。
ユーザ51は、タッチパネル28に患者情報の設定画面を表示させる。設定画面を表示させたら、「new patient」ボタン31をクリックする。このボタン31がクリックされることにより、患者情報の入力画面が表示される。ユーザ51は、患者情報を入力し、必要に応じて、その他の情報を入力する。プロセッサ7は、例えば、ユーザ51が「New patient」ボタン31をクリックした場合や、必要な患者情報の入力が完了した場合に、被検体52の検査を開始することを表す信号が入力されたと判断することができる。したがって、例えば、ユーザ51が「new patient」ボタン31をクリックすることにより、超音波診断装置1は、被検体52の検査が開始されることを認識することができる。尚、患者情報の設定画面は、表示モニタ18に表示させてもよい。
また、ユーザ51は、ユーザインターフェース10を操作して、被検体52の検査部位のプリセットを選択する。
プリセットとは、検査部位に対応した複数の項目と、各項目の内容とを含むものである。複数の項目には、例えば、送信周波数やゲインなどの計測条件に関する設定項目などがある。
図10は、被検体52の検査部位のプリセットを選択するための設定画面の一例を示す図である。
ユーザ51はタッチパネル28を操作し、検査部位の設定画面を表示する。ユーザ51がタブ31をタッチすると、設定画面に複数のタブTA1-TA7が表示される。これらのタブTA1-TA7は、検査種類によって分類したものである。尚、検査部位の設定画面は、表示モニタ18に表示させてもよい。
超音波診断装置の検査種類は、例えば、腹部、乳腺、循環器、婦人科、筋骨格、新生児、神経、産科、眼底、スモールパーツ、表在組織、血管、静脈、小児科などがある。
図10では、一部の検査種類に対応したタブTA1-TA7が表示されている。タブTA1-TA7は、それぞれ、腹部、乳腺、産科、婦人科、血管、スモールパーツ、および小児科の検査種類に対応するものである。
図10では、乳腺のタブTA2が選択されている例が示されている。
乳腺のタブTA2の領域には、複数のボタンB0-B6が表示されている。
これらのボタンB0-B6のうち、ボタンB0は、乳腺のプリセットを設定するボタンを表している。そして、残りのボックスB1-B6は、それぞれ、乳腺の内上部、乳腺の内下部、乳腺の外上部、乳腺の腋窩部、乳腺の外下部、乳腺の乳輪部のプリセットを設定するボタンを表している。
ユーザ51は、ボタンB0-B6をクリックすると、検査部位ごとに設定されている項目と、その項目の設定内容を確認することができる。例えば、ユーザ51が、ボタンB0をクリックすると、検査部位「乳腺」に設定されている項目と、その項目の設定内容とを含むプリセットを確認することができる。
図11は、プリセットの説明図である。
プリセットは、検査部位に対応した項目と、その項目の設定内容とを含んでいる。項目には、例えば、送信周波数やゲインなどの計測条件に関する設定項目、コントラストなどの画質条件に関する設定項目、表示画面のユーザインターフェースに関する設定項目、ボディマークやプローブマークに関する設定項目、画像調整のパラメータに関する設定項目、および画像条件に関する設定項目などがある。
図11には、検査部位に対応する項目として、送信周波数、深度、マップが例示されている。
送信周波数の設定内容は、具体的な周波数の値(例えば、数MHz)で表されている。また、深度の設定内容は、具体的な深度の値(例えば、数cm)で表されている。マップの設定内容は、「グレー」であり、これは、マップがグレー表示されることを表している。
したがって、ユーザ51は、検査部位「乳腺」のプリセット情報を確認することができる。また、ユーザ51は、必要に応じて、設定内容を変更することができる。例えば、深度を、別の値に変更することができる。
同様に、ユーザ51は、ボタンB1-B6の各々をクリックすると、乳腺に含まれる各部位(乳腺の内上部、乳腺の内下部、乳腺の外上部、乳腺の腋窩部、乳腺の外下部、および乳腺の乳輪部)に対応した項目と、その設定内容とを含むプリセットを確認することができる。例えば、ボタンB6をクリックすると、ユーザ51は、乳輪部に対応した項目と、各項目に対して設定された内容を確認することができる。
ユーザは、被検体52の「乳腺」を検査部位として検査を行う場合は、「乳腺」のプリセットを選択する。一方、被検体52の乳腺の全体を検査するのではなく、乳腺に含まれる特定の部位のみを検査する場合は、当該特定の部位のプリセットを選択する。
ここでは、被検体52の検査部位は「乳腺」であるとする。したがって、ユーザ51は、乳腺のプリセットを選択する。ユーザ51は、タッチパネル28を操作し、乳腺のプリセットを選択する選択信号を入力する。プロセッサ7は、この選択信号に応答して、乳腺のプリセットを選択する。このプリセットが選択されると、図12に示すように、乳腺に対応するボタンB0がハイライト表示される。したがって、ユーザ51は、乳腺のプリセットが選択されていることを視覚的に確認することができる。
したがって、ユーザがユーザインターフェース10を操作して、プリセットを選択する信号を入力すると、プロセッサは、この入力された信号に基づいて、複数のプリセットの中から、検査で使用するプリセットを選択することができる。
尚、乳腺全体が検査対象ではなく、乳腺の中の特定の部位のみが検査対象の場合は、特定の部位のプリセットを選択すればよい。例えば、腋窩部のプリセットを選択した場合、ボタンB5がハイライト表示され、乳輪部のプリセットを選択した場合にはボタンB6がハイライト表示される。ここでは、上記のように、被検体52の検査部位は「乳腺」であるので、乳腺に対応するボタンB0がハイライト表示される。
図8に戻って説明を続ける。
ユーザ51は、ステップST11において、患者情報の入力、プリセットの選択、および、その他の検査に必要な操作を完了させたら、ステップST12に進み、被検体52のスキャンを開始する。
ユーザ51は、被検体52の検査部位に超音波プローブ2を押し当てながらプローブを操作し、被検体52をスキャンする。第1の実施形態では、検査部位は乳腺であるので、ユーザ51は、図1に示すように、被検体52の乳房に超音波プローブ2を押し当てている。超音波プローブ2は超音波を送信し、被検体52内で反射したエコーを受信する。受信したエコーは電気信号に変換され、この電気信号をエコー信号として受信器5(図2参照)に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
次に、ステップST21に進む。
ステップST21では、プロセッサ7は、エコーデータに基づいて超音波画像80を生成する。
ユーザ51は、生成された超音波画像80を確認したり、必要に応じて超音波画像80を保存したり、超音波画像を取得するための作業を引き続き実行する。
一方、プロセッサ7は、ステップST21で取得した超音波画像80に基づいて、ユーザ51にプリセットの変更を推奨するか否かを決定するための処理40を実行する。以下に、この処理40について説明する。
ステップST22では、プロセッサ7が、超音波画像80に基づいて、学習済みモデル71に入力する入力画像81を生成する。
プロセッサ7は、超音波画像80に対して、前処理を実行する。この前処理は、基本的には、学習済みモデル71のトレーニングデータを生成するときに実行された前処理(図4参照)と同じである。前処理を実行することにより、学習済みモデル71(図7参照)に入力される入力画像81を生成することができる。入力画像81を生成した後、ステップST23に進む。
ステップST23では、プロセッサ7が、学習済みモデル71を用いて、入力画像81が表す部位を推論する(図13参照)。
図13は、学習済みモデル71の推論フェーズの説明図である。
プロセッサ7は、入力画像81を学習済みモデル71に入力し、学習済みモデル71を用いて、入力画像81が表す部位が、被検体に含まれる複数の部位のうちのどの部位であるかを推論する。具体的には、プロセッサ7は、入力画像81の部位が、「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」、「空気」、および「その他」を含む複数のカテゴリ55のうちのどのカテゴリに分類されるかを推論する。また、プロセッサ7は、入力画像81が表す部位が各カテゴリに分類される確率も求める。
具体的には、学習済みモデル71は、入力画像81の部位が、「腹部」に分類される確率、「乳腺」に分類される確率、「頸動脈」に分類される確率、「下肢」に分類される確率、「甲状腺」に分類される確率、「空気」に分類される確率、および「その他」に分類される確率を求め、求めた確率Pを出力する。
図13では、入力画像81の部位は100%に近い確率で乳腺(Breast)であるという推論結果を出力している。したがって、プロセッサ7は、入力画像81が表す部位を「乳腺」と推論する。入力画像81が表す部位を推論した後、ステップST24に進む。
ステップST24では、プロセッサ7は、ステップST23で推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致するか否かを判定する。検査部位が一致する場合、プロセッサ7は、ステップST25に進み、ユーザ51にプリセットの変更を推奨しないと決定し、処理40を終了する。
一方、検査部位が一致しない場合、プロセッサ7は、ステップST26に進み、ユーザ51にプリセットの変更を推奨すると決定する。
ここでは、ユーザ51が選択したプリセットの検査部位は「乳腺」であり、推論された検査部位も「乳腺」である。したがって、プロセッサ7は、ステップST24において、ステップST23で推論された検査部位が、ステップST11においてユーザ51により選択されたプリセットの検査部位に一致すると判定するので、ステップST25に進む。そして、プロセッサ7は、ユーザ51にプリセットの変更を推奨しないことを決定し、処理40を終了する。
一方、ユーザ51は、超音波プローブ2を操作しながら被検体52をスキャンし、検査に必要な超音波画像を取得する。被検体のスキャンが完了したら、ユーザ51は、ユーザインターフェース10を操作し、被検体の検査が終了したことを表す信号を入力する。図8では、被検体の検査が終了した時点を「tend」で示してある。このようにして被検体52の検査が終了する。
被検体52の検査が終了したら、ユーザ51は新規の被検体の検査を行う(図14参照)。
図14は、新規の被検体53をスキャンしている様子を示す図である。
以下に、新規の被検体53の検査部位が直前の被検体52(図1参照)の検査部位と異なる場合について説明する。ここでは、直前の被検体52の検査部位は乳腺であったが、新規の被検体53の検査部位が下肢である場合について説明する。
図15は、新規の被検体53の検査で実行されるフローチャートの一例を示す図である。
ステップST41において、ユーザ51は、患者情報の入力や、プリセットの選択を行う。しかし、検査待ちの人数が多い場合など、多数の被検体の検査をしなければならない場合、ユーザ51は、検査を早急に開始することに集中するあまり、直前の被検体52(図1参照)の検査部位に対して選択したプリセットを変更せずに、新規の被検体53の検査を開始することがある。仮に、新規の被検体53の検査部位が、直前の被検体52の検査部位と同じ場合、直前の被検体52の検査時に選択したプリセットをそのまま使用することができる。したがって、ユーザ51は、プリセットの選択作業を行わなくても、特段の問題も無く、新規の被検体53の検査を進めることができる。
しかし、新規の被検体53の検査部位が、直前の被検体52の検査部位とは異なる場合がある。ここでは、上記のように、直前の被検体52の検査部位が「乳腺」であるが、新規の被検体53の検査部位が「下肢」の場合について考える。
ユーザ51がプリセットの選択を行わない場合、プリセットは、直前の被検体52の検査部位である「乳腺(B0)」のプリセットが選択された状態である(図12参照)。したがって、超音波診断装置1は、新規の被検体53の検査部位を「乳腺」であると認識している。
一方で、新規の被検体53の検査部位は下肢であるので、ユーザ51は、ステップST42において、図14に示すように、新規の被検体53の下肢に超音波プローブ2を接触させ、スキャンを開始する。
超音波プローブ2は超音波を送信し、被検体53内で反射したエコーを受信する。受信したエコーは電気信号に変換され、この電気信号をエコー信号として受信器5に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
次に、ステップST21に進む。
ステップST21では、プロセッサ7は、エコーデータに基づいて超音波画像82を生成する。超音波画像82は、新規の被検体53の下肢画像である。
ユーザ51は、生成された超音波画像82を確認したり、必要に応じて超音波画像82を保存したり、更に超音波画像を取得するための作業を引き続き実行する。
一方、プロセッサ7は、ステップST21で取得した超音波画像82に基づいて、ユーザ51にプリセットの変更を推奨するか否かを決定するための処理40を実行する。以下に、この処理40について説明する。
ステップST22では、プロセッサ7が、超音波画像82に基づいて、学習済みモデル71に入力する入力画像83を生成する。
プロセッサ7は、超音波画像82に対して、前処理を実行する。この前処理は、基本的には、学習済みモデル71のトレーニングデータを生成するときに実行された前処理(図4参照)と同じである。前処理を実行することにより、学習済みモデル71に入力される入力画像83を生成することができる。入力画像83を生成した後、ステップST23に進む。
ステップST23では、プロセッサ7が、学習済みモデル71を用いて、入力画像83が表す部位を推論する(図16参照)。
図16は、学習済みモデル71の推論フェーズの説明図である。
プロセッサ7は、入力画像83を学習済みモデル71に入力し、学習済みモデル71を用いて、入力画像83が表す部位が、被検体に含まれる複数の部位のうちのどの部位であるかを推論する。具体的には、プロセッサ7は、入力画像83の部位が、「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」、「空気」、および「その他」を含む複数のカテゴリ55のうちのどのカテゴリに分類されるかを推論する。また、プロセッサ7は、入力画像83が表す部位が各カテゴリに分類される確率も求める。
図16では、入力画像83の部位は100%に近い確率で下肢であるという推論結果を出力している。したがって、プロセッサ7は、入力画像83が表す部位を「乳腺」と推論する。入力画像81が表す部位を推論した後、ステップST24に進む。
ステップST24では、プロセッサ7が、ステップST23で推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致するか否かを判定する。
ここでは、直前の被検体52の検査時に選択された乳腺のプリセットが変更されずに、新規の被検体53の検査でも使用されている。したがって、推論された検査部位は「下肢」であるが、選択されている検査部位は「乳腺」である。このため、ステップST24において、プロセッサ7は、ステップST23で推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致しないと判定するので、ステップST26に進む。ステップST26では、プロセッサ7は、ユーザ51にプリセットの変更を推奨することを決定する。
ユーザ51にプリセットの変更を推奨する場合、プロセッサ7は、ステップST27に進み、表示モニタ18およびタッチパネル28を制御し、ユーザ51に、以下の情報を提示する(図17および図18参照)。
図17は、表示モニタ18に表示されたメッセージ86の一例を示す図、図18はタッチパネル28に表示されたプリセット変更画面の一例を示す図である。
表示モニタ18には、超音波画像85が表示されている。また、プロセッサ7は、表示モニタ18に、「下肢のプリセットに変更することを推奨します」というメッセージ86を表示させる。メッセージ86は、ユーザ51にプリセットを変更することを推奨するためのものである。ユーザ51は、このメッセージ86を見ることにより、プリセットの変更が推奨されていることを認識することができる。尚、図17では、メッセージ86は文字列で表されている。しかし、ユーザ51にプリセットの変更を推奨できるのであれば、メッセージ86は文字列に限定されることはなく、例えば、記号又はマークであってもよく、文字列、記号、およびマークのうちの少なくとも2つ以上の組合わせとすることもできる。例えば、メッセージ86として、推奨するプリセットの検査部位を表すマークを表示するようにしてもよい。また、メッセージ86が表示されていることをユーザ51にできるだけ早く気付いてもらうために、必要に応じて、メッセージ86を点滅表示させてもよい。
また、図18に示すように、タッチパネル28には、プリセットを変更させるための画面が表示されている。表示画面には、「Auto Preset」ボタンと[Change Preset]ボタンが表示されている。「Change Preset」ボタンは、プリセットを変更するか否かを決定するためのボタンである。ユーザ51が「Change Preset」ボタンをクリックすると、プリセットを変更することを表す信号が入力される。プロセッサ7は、この信号に応答して、プリセットを、下肢のプリセットに変更することができる。
一方、「Auto Preset」ボタンは、超音波診断装置1の動作モードを、プリセットを自動的に変更するプリセット変更モードに設定するか否かを決定するためのボタンである。ユーザ51が「Auto Preset」をオンにするとプリセット変更モードに設定される。プリセット変更モードに設定されると、その後の検査では、ステップST24において「一致しない」と判定された場合、ユーザ51にメッセージ86を提示することなく、プリセットが自動的に変更される。一方、「Auto Preset」をオフにすると、超音波診断装置1の動作モードは、ユーザ51にプリセットを変更することを推奨するプリセット推奨モードに維持される。
したがって、ユーザ51は、検査中に、プリセットを変更したり、超音波診断装置1の動作モードを、プリセット変更モードに設定するなど、ユーザ51の好みに合うように設定することができる。
尚、図15では、メッセージ86が表示された時点が「t1」で示されている。ユーザ51は、新規の被検体53の検査をしている途中で、表示モニタ18に表示されたメッセージ86(図17参照)に気が付く。図15では、ユーザ51がメッセージ86に気が付いた時刻を「t2」で示してある。ユーザ51は、メッセージ86を見ることにより、現在選択されているプリセットは下肢のプリセットではないことに気が付く。
したがって、ユーザ51は、タッチパネル28に表示されているプリセット変更画面(図18参照)上で、「Change Preset」ボタンをオンにすることにより、現在選択されている乳腺のプリセットを、被検体53の検査部位である下肢のプリセットに変更することができる。
一方、ユーザ51は、メッセージ86に気が付いても、検査の進行状況や、ユーザ51自身の作業の進行状況などによっては、直ちにプリセットを変更するのではなく、後でプリセットを変更したいと考える場合がある。例えば、現在取り掛かっている断面のスキャンでは十分な品質の超音波画像が得られそうなのでこの断面のスキャンだけは終わらせて、このスキャンが終わった後でプリセットを変更したいと考える場合や、現在取り掛かっている作業は優先順位が高いので、この作業を先に終わらせてからプリセットを変更したいと考える場合がある。このような場合、ユーザ51は、メッセージ86に気が付いたら直ちにプリセットを変更するのではなく、ユーザ51自身にとって都合のよいタイミングでプリセットを変更することができる。
したがって、ユーザ51は、メッセージ86に気が付いた時点t2で直ちにプリセットを変更するのではなく、新規の被検体53の超音波検査を進める上で都合のよいタイミングを見計らってプリセットを変更することができる。例えば、ユーザ51は、メッセージ86に気が付いた時点t2で直ちにプリセットを変更せずに、所定の作業が一段落した時点t3において、プリセットを変更することができる。
ユーザ51は、プリセットを変更した後、検査を再開し、診断に必要な超音波画像を取得することができたら、検査を終了する。
第1の実施形態では、プリセットにより設定された検査部位が、推論された検査部位と異なる場合、プロセッサ7が、表示モニタ18に、「下肢のプリセットに変更することを推奨します」というメッセージ86が表示されるように、表示モニタ18を制御する。ユーザ51は、超音波プローブ2を操作しながら被検体53をスキャンする作業を行っているが、その作業中に、メッセージ86を見ることにより、現在選択されているプリセットは下肢のプリセットではないことに気付くことができる。したがって、ユーザ51は、プリセット変更画面(図18参照)上で、プリセットを変更することができる。
また、ユーザ51は、メッセージ86に気が付いても、検査の進行状況や、ユーザ51自身の作業の進行状況などによっては、直ちにプリセットを変更するのではなく、後でプリセットを変更したいと考える場合がある。このような場合、ユーザ51は、メッセージ86に気が付いたら直ちにプリセットを変更するのではなく、ユーザ51にとって優先順位の高い作業を終えてから、プリセットを変更することができるので、ユーザ51自身にとって都合のよいタイミングでプリセットを変更することが可能になる。
また、第1の実施形態では、ユーザ51によって選択された検査部位が、推論された検査部位と異なる場合、プリセットを強制的に変更することはせずに、表示モニタ18に、「下肢のプリセットに変更することを推奨します」というメッセージを表示している。したがって、推論された検査部位が、被検体の実際の検査部位に一致している可能性が低い場合に、プリセットが自動で変更されてしまうことにより超音波画像の画質を逆に劣化させてしまうという危険を回避することもできる。
尚、第1の実施形態では、被検体53の検査の間、検査部位を推論する処理を1回だけ実行しているが、被検体53の検査が行われている間、検査部位を推論する処理を繰り返し実行するようにしてもよい。例えば、ユーザ51は、1回の検査で被検体53の複数の検査部位を検査しなければならないことがあり、この場合、被検体53の検査部位ごとに、プリセットを変更することが望まれる。したがって、被検体53の或る検査部位の検査が終了した後に、プリセットを変更せずに、被検体の53の別の検査部位の検査が開始される場合は、ユーザ51にプリセットの変更を推奨できるように、被検体53の検査が行われている間、検査部位を推論する処理を繰り返し実行してもよい。
また、第1の実施形態では、ステップST23で検査部位を推論しているが、推論された検査部位の確率Pが低い(例えば60%以下)の場合、推論結果の信頼性が低くなってしまい、被検体53の実際の検査部位とは異なる検査部位のプリセットをユーザに推奨してしまう恐れがある。したがって、このような恐れを回避するため、確率Pが低い場合には、オペレータにプリセットの変更を推奨せずに処理40を終了することが望ましい。
(2)第2の実施形態
第2の実施形態では、メッセージ86を表示した後に、プロセッサ7が、ユーザが所定の操作を実行したか否かを判断し、ユーザが所定の操作を実行したと判断された場合にプリセットを変更する例について説明する。
第2の実施形態では、第1の実施形態と同様に、検査部位が乳腺である被検体52の検査を行い、次に、検査部位が下肢である新規の被検体53の検査を行う例について説明する。
尚、被検体52の検査フローは、図8を参照しながら説明したフローと同じであるので、被検体52の検査フローは省略し、検査部位が下肢である新規の被検体53の検査フローについて、図19を参照しながら説明する。
図19は、第2の実施形態における新規の被検体53の検査フローを示す図である。
尚、ステップST41、ステップST42、およびステップST21-ST27は、図15を参照しながら説明したステップST41、ステップST42、およびステップST21-ST27と同じであるので、詳細な説明は省略する。
ステップST23において、プロセッサ7が被検体53の検査部位を推論した後、ステップST24に進む。
ステップST24では、プロセッサ7が、ステップST23で推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致するか否かを判定する。
ここでは、直前の被検体52の検査時に選択された乳腺のプリセットが変更されずに、新規の被検体53の検査でも使用されているとする。したがって、推論された検査部位は「下肢」であるが、選択された検査部位は「乳腺」である。このため、ステップST24において、プロセッサ7は、ステップST23で推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致しないと判定するので、ステップST26に進み、プロセッサ7は、ユーザ51にプリセットの変更を推奨することを決定する。
ユーザ51にプリセットの変更を推奨する場合、プロセッサ7は、ステップST27に進み、表示モニタ18に、「下肢のプリセットに変更することを推奨します」というメッセージ86を表示させる(図17参照)。
ユーザ51は、メッセージ86を見ることにより、現在選択されているプリセットは下肢のプリセットではないことに気が付くが、ここでは、ユーザ51は、プリセットの設定変更よりも優先順位の高い作業に取り掛かっているので、ユーザ51が直ちにプリセットを変更しない場合について考える。
この場合、プロセッサ7は、ステップST28に進み、ユーザ51が、超音波の送受信を中断させるための所定の操作を実行したか否かを判定する。超音波の送受信が中断された場合、プリセットを変更しても、ユーザの作業には悪影響を与えないと思われるので、第2の実施形態では、ユーザ51が、超音波の送受信を中断させるための所定の操作を実行した場合、プリセットを変更する。ここで、所定の操作は、例えば、フリーズ操作、画像保存操作、深度変更操作である。
プロセッサ7は、ステップST28において、超音波の送受信を中断させるための所定の操作を実行したか否かを判定し、所定の操作が行われていないと判定した場合、ステップST29に進む。ステップST29では、検査が終了したか否かを判定する。検査が終了した場合、処理40は終了する。一方、ステップST29において検査が終了していないと判定された場合、ステップST28に戻る。したがって、ステップST28において、ユーザ51が所定の操作を実行したと判定されるか、ステップST29において検査が終了したと判定されるまでは、ステップST28およびST29のループが繰り返し実行される。
第2の実施形態では、ユーザ51は、メッセージ86が表示された時点t1から一定時間経過した時点t2において、所定の操作を行っている。したがって、時点t2において、ユーザ51の所定の操作により超音波の送受信が中断される。この場合、ステップST28において、プロセッサ7は、ユーザ51が所定の操作を実行したと判定する。そして、ステップST30に進む。ステップST30において、プロセッサ7は、乳腺のプリセットを、下肢のプリセットに変更する。図19では、プリセットが変更された時点が「t3」で示されている。プロセッサ7は、プリセットを変更した場合、表示モニタ18(又はタッチパネル28)に、プリセットが変更されたことをユーザ51に知らせるメッセージを表示させることができる。ユーザ51は、このメッセージを見ることにより、プリセットが変更されたことを認識することができる。ユーザ51により所定の操作が実行された後は、ユーザ51は、被検体53の実際の検査部位のプリセットで、被検体53の検査を続けることができる。
第2の実施形態では、ユーザの所定の操作により超音波の送受信が中断された場合、選択されたプリセットが、推論された検査部位のプリセットに自動的に変更される。したがって、ユーザ51は、ユーザ51自身でプリセットを変更しなくても、被検体53の実際の検査部位のプリセットで、被検体53の検査を続けることができる。
(3)第3の実施形態
第3の実施形態では、確率Pと2つの閾値TH1およびTH2とを比較し、その比較結果に基づいてユーザ51にプリセットの変更を推奨するか否かを決定する例について説明する。
第3の実施形態では、第1の実施形態と同様に、検査部位が乳腺である被検体52の検査を行い、次に、検査部位が下肢である新規の被検体53の検査を行う例について説明する。
尚、被検体52の検査フローは、図8を参照しながら説明したフローと同じであるので、被検体52の検査フローは省略し、検査部位が下肢である新規の被検体53の検査フローについて、図20を参照しながら説明する。
図20は、第3の実施形態における新規の被検体53の検査フローを示す図である。
尚、ステップST41、ステップST42、およびステップST21-ST23は、図15を参照しながら説明したステップST41、ステップST42、およびステップST21-ST23と同じであるので、詳細な説明は省略する。
ステップST23において、プロセッサ7は、被検体53の検査部位を推論する(図21参照)。
図21は、学習済みモデル71の推論フェーズの説明図である。
プロセッサ7は、入力画像83を学習済みモデル71に入力し、学習済みモデル71を用いて、入力画像83が表す部位が、被検体に含まれる複数の部位のうちのどの部位であるかを推論する。具体的には、プロセッサ7は、入力画像83が表す部位が、「腹部」、「乳腺」、「頸動脈」、「下肢」、「甲状腺」、「空気」、および「その他」を含む複数のカテゴリ55のうち、どのカテゴリに分類されるかを推論する。また、プロセッサ7は、入力画像83が表す部位が各カテゴリに分類される確率も求める。
図21では、プロセッサ7は、入力画像81が表す部位が、「頸動脈」、「下肢」、および「その他」に分類されると推論している。また、プロセッサ7は、入力画像81が表す部位が「頸動脈」に分類される確率Pは8%、「下肢」に分類される確率は50%、および「その他」に分類される確率Pは42%であるとしている。したがって、プロセッサ7は、下肢の確率PがP=50%で最大であるので、入力画像83の部位は下肢であると推論する。
ステップST23において、推論結果が出力されたら、ステップST24に進む。
図22は、ステップST24の処理の説明図である。
プロセッサ7は、推論された「下肢」の確率P(=50%)を、2つの閾値TH1およびTH2と比較し、確率Pが閾値TH1より小さいのか(P<TH1)、確率Pが閾値TH1とTH2との間の値なのか(TH1≦P≦TH2)、確率Pが閾値TH2よりも大きいのか(TH2<P)を判定する。
第3の実施形態では、プロセッサ7は、確率Pが、P<TH1、TH1≦P≦TH2、およびTH2<Pのどの範囲に含まれるかに応じて、メッセージ86を提示するか否かを決定している。そこで、以下では、確率Pが、P<TH1の場合、TH1≦P≦TH2の場合、およびTH2<Pの場合に分けて、プロセッサ7の動作を説明する。
(1)P<TH1の場合
先に説明したように、図22に示す推論結果を参照すると、入力画像83が下肢である確率は50%である。したがって、下肢の確率Pは第1の閾値TH1よりも小さいので、確率PはP<TH1の範囲に含まれる値である。
第1の閾値TH1は、入力画像83が表す部位と推論された検査部位とが一致する確率が小さいことを表す基準値である。第1の閾値TH1は、ここでは、60(%)に設定されているが、他の値に設定してもよい。第1の閾値TH1は、入力画像83が表す部位と推論された検査部位とが一致する確率が小さいことを表す基準値であるので、確率Pが第1の閾値TH1よりも小さい場合、入力画像83が表す部位と推論された検査部位とが一致する確率は低いと考えられる。このため、確率Pが第1の閾値TH1よりも小さい場合にプリセットが変更されると、被検体53の実際の検査部位とは異なる検査部位のプリセットで検査が行われる恐れがある。そこで、被検体53の実際の検査部位とは異なる検査部位のプリセットで被検体53の検査が行われることを回避するために、確率PがP<TH1の範囲に含まれる場合、プロセッサ7は、ステップST25に進み(図20参照)、ユーザ51にプリセットの変更を推奨しないことを決定し、処理40を終了する。したがって、確率Pが第1の閾値TH1より低い場合、プリセットの変更が推奨されないので、ユーザ51がプリセットを変更してしまうことにより超音波画像の画質が劣化する恐れを回避することができる。
(2)TH2<Pの場合
次に、確率PがTH2<Pの場合について説明する。
ステップST23において、プロセッサ7は、被検体53の検査部位を推論する。図23は、確率PがTH2<Pの場合の推論結果の一例を示す図である。推論結果を参照すると、図23では、入力画像83が下肢である確率は90%であり、入力画像83が「その他」である確率は10%となっている。したがって、プロセッサは、下肢の確率PがP=90%で最大であるので、入力画像83の部位は下肢であると推論し、ステップST24に進む。
ステップST24では、プロセッサ7は、推論された「下肢」の確率P(=90%)を、2つの閾値TH1およびTH2と比較し、確率Pが閾値TH1より小さいのか(P<TH1)、確率Pが閾値TH1とTH2との間の値なのか(TH1≦P≦TH2)、確率Pが閾値TH2よりも大きいのか(TH2<P)を判定する。
図23に示す推論結果を参照すると、入力画像83が下肢である確率は90%である。したがって、確率Pは閾値TH2よりも大きい(TH2<P)ので、ステップST31に進む。
ステップST31では、プロセッサ7は、推論された検査部位が、前の被検体52の検査時に選択されたプリセットの検査部位に一致するか否かを判定する。検査部位が一致している場合は、プリセットの変更は不要であるので、プリセットは変更しないと決定され、フローを終了する。
一方、検査部位が一致していない場合は、ステップST32に進む。ここでは、前の被検体52の検査時に選択されたプリセットが変更されずに、新規の被検体53の検査でも使用されている。したがって、推論された検査部位は「下肢」であるが、選択されている検査部位は「乳腺」である。このため、プロセッサ7は、推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致しないと判定するので、ステップST32に進む。
ステップST32では、プロセッサ7は、ユーザ51にプリセットの変更を推奨せずに、プリセットを自動的に変更すると決定する。以下に、プロセットの変更を推奨しない理由について説明する。
図23に示すように、確率Pは第2の閾値TH2よりも大きい(TH2<P)値を有している。第2の閾値TH2は、第1の閾値TH1よりも大きい値であり、入力画像83が表す部位と推論された検査部位とが一致する確率が大きいことを表す基準値である。第2の閾値TH2は、ここでは、80(%)に設定されているが、他の値に設定してもよい。上記のように、第2の閾値TH2は、入力画像83が表す部位と推論された検査部位とが一致する確率が大きいことを表す基準値であるので、確率Pが第2の閾値TH2よりも大きい場合、入力画像83が表す部位と推論された検査部位とが一致する可能性は極めて高いと考えられる。したがって、ユーザ51にプリセットを変更する作業を行ってもらうよりも、プリセットを自動的に変更した方が、十分な品質の検査を維持しつつ、ユーザ51の作業負担を軽減することができると考えられる。そこで、確率Pが第2の閾値TH2よりも大きい場合、ステップST32において、プロセッサ7は、ユーザ51にプリセットの変更を推奨することなく、プリセットを変更すると決定する。プリセットを変更することを決定した場合、プロセッサ7は、ステップST30に進み、選択されたプリセットを、推論された検査部位のプリセットに自動的に変更する。プロセッサ7は、例えば、時点t2において、プリセットを変更する。プリセットが変更されたら、処理40を終了する。
確率Pが高い場合は、プリセットを自動的に変更することにより、十分な品質の検査を維持しつつ、ユーザ51の作業負担を軽減することが可能となる。
(3)TH1≦P≦TH2の場合
最後に、確率PがTH1≦P≦TH2の場合について説明する。
ステップST23において、プロセッサ7は、被検体53の検査部位を推論する。図24は、確率PがTH1≦P≦TH2の場合の推論結果の一例を示す図である。推論結果を参照すると、図24では、入力画像83の部位が下肢に分類される確率は70%であり、入力画像83の部位が「その他」に分類される確率は30%となっている。したがって、プロセッサは、下肢の確率PがP=70%で最大であるので、入力画像83の部位は下肢であると推論し、ステップST24に進む。
ステップST24では、プロセッサ7は、推論された「下肢」の確率P(=70%)を、2つの閾値TH1およびTH2と比較し、確率Pが閾値TH1より小さいのか(P<TH1)、確率Pが閾値TH1とTH2との間の値なのか(TH1≦P≦TH2)、確率Pが閾値TH2よりも大きいのか(TH2<P)を判定する。
図24に示す推論結果を参照すると、入力画像83の部位が下肢に分類される確率は70%である。したがって、確率PはTH1≦P≦TH2の範囲に含まれるので、ステップST33に進む。
ステップST33では、プロセッサ7は、推論された検査部位が、前の被検体52の検査時に選択されたプリセットの検査部位に一致するか否かを判定する。検査部位が一致している場合は、プリセットの変更は不要であるので、プリセットは変更しないと決定され、フローを終了する。
一方、検査部位が一致していない場合は、ステップST26に進む。ここでは、前の被検体52の検査時に設定されたプリセットが変更されずに、新規の被検体53の検査でも使用されている。したがって、推論された検査部位は「下肢」であるが、選択されている検査部位は「乳腺」である。このため、プロセッサ7は、推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致しないと判定するので、ステップST26に進む。
ステップST26では、プロセッサ7は、ユーザ51にプリセットの変更を推奨すると決定する。したがって、確率PがTH1≦P≦TH2の場合、確率PがTH2<Pの場合とは異なり、プリセットを自動的に変更するのではなく、ユーザ51にプリセットの変更を推奨する。以下に、プリセットを自動的に変更するのではなく、ユーザ51にプリセットの変更を推奨する理由について説明する。
図24に示すように、確率Pは、第1の閾値TH1と第2の閾値TH2との間(TH1≦P≦TH2)の値を有している。したがって、確率Pは、低くはなく、また高くもないと考えられる。このような場合、プリセットを強制的に変更するよりも、プリセットを変更するか否かをユーザ51自身の決定に委ねた方が、確実に正しいプリセットを選択できると考えられる。そこで、確率Pが、第1の閾値TH1と第2の閾値TH2との間に含まれる場合、プロセッサ7は、ステップST26において、プリセットを自動的に変更するのではなく、ユーザ51にプリセットの変更を推奨すると決定する。そして、プロセッサ7は、ステップST27に進み、ユーザ51にプリセットの変更を推奨するためのメッセージ86(図17参照)を表示モニタ18に表示させる。プロセッサ7は、例えば、時点t2において、メッセージ86を表示する。メッセージ86が表示されたら、処理40を終了する。
ユーザ51は、メッセージ86に気が付いたら、ユーザ51にとって都合のよいタイミングでプリセットを変更することができるので、被検体53の検査を効率よく行うことができる。
尚、TH1≦P≦TH2の場合、第2の実施形態の図19に示すステップST28およびST30(ユーザ51による所定の操作に応答して、プリセットを変更すること)を実行するようにしてもよい。
(4)第4の実施形態
第4の実施形態では、必要に応じて検査部位の推論を停止する例について説明する。
第4の実施形態では、第1の実施形態と同様に、検査部位が乳腺である被検体52の検査を行い、次に、検査部位が下肢である新規の被検体53の検査を行う例について説明する。
尚、被検体52の検査フローは、図8を参照しながら説明したフローと同じであるので、被検体52の検査フローは省略し、検査部位が下肢である新規の被検体53の検査フローについて、図25を参照しながら説明する。
図25は、第4の実施形態における新規の被検体53の検査フローを示す図である。
ステップST41では、ユーザ51は、新規の被検体53を検査室に誘導し、検査ベッドに寝かせる。また、ユーザ51は、ユーザインターフェース10を操作し、新規の被検体53のスキャンを行う前に事前に設定しておかなければならない各項目の設定を行う。例えば、ユーザ51は、ユーザインターフェース10を操作し、患者情報を入力する。
ユーザ51は、図9に示すように、タッチパネル28に患者情報の設定画面を表示させる。設定画面を表示させたら、「new patient」ボタン31をクリックする。このボタン31がクリックされることにより、患者情報の入力画面32が表示される。ユーザ51は、患者情報を入力し、必要に応じて、その他の情報を入力する。プロセッサ7は、例えば、ユーザ51が「New patient」ボタン31をクリックした場合や、必要な患者情報の入力が完了した場合に、被検体52の検査を開始することを表す信号が入力されたと判断することができる。したがって、例えば、ユーザ51が「new patient」ボタン31をクリックすることにより、超音波診断装置1は、被検体52の検査が開始されることを認識することができる。
新規の被検体53の検査が開始すると、プロセッサ7は、ステップST34おいて、ユーザ51がプリセットを変更したか否かを判断する。新規の被検体53の検査部位が、直前の被検体52の検査部位と異なる場合、一般的には、ユーザ51は、プリセットを変更した上で検査を行う。したがって、新規の被検体53の検査が開始された後でプリセットが変更されたということは、ユーザ51が、先の被検体52(図1参照)の検査時に選択されたプリセットを、新規の被検体53の検査部位のプリセットに変更したと考えられる。この場合、ユーザ51の意思によって、新規の被検体53の検査部位のプリセットが選択されているので、プリセットの変更をユーザ51に推奨する必要は無いと考えられる。そこで、プロセッサ7は、ステップST34において、ユーザ51によってプリセットが変更されたか否かを判定し、ユーザ51によってプリセットが変更されたと判定した場合、ステップST36に進んで、検査部位の推論を停止し、フローを終了する。この場合、ユーザ51は、ユーザ51自身が設定したプリセットに従って、被検体53の検査を行う。
一方、ユーザ51がプリセットの変更をしていないと判断した場合、ステップST35に進む。ステップST35では、超音波画像が取得されたか否かを判断する。超音波画像がまだ取得されていないと判断した場合、ステップST34に戻り、ユーザ51がプリセットの変更をしたか否かが判断される。したがって、ステップST34においてユーザ51がプリセットの変更をしたと判定されるか、ステップST35で超音波画像が取得されたと判定されるまで、ステップST34およびST35のループが繰り返される。超音波画像82が取得された場合、ステップST22に進み、第1の実施形態と同様に、ユーザ51にプリセットの変更を推奨するための処理が実行される。
超音波検査では、1回の検査で複数の検査部位の超音波画像を取得する場合の他に、1回の検査で1つの検査部位の超音波画像を取得する場合がある。後者の場合、1回の検査で1つの検査部位の超音波画像しか取得されないので、ユーザ51がプリセットを変更した後は、検査が終了するまで、新たなプリセットを選択し直す必要がない。しかし、ユーザ51が被検体53の検査部位のプリセットを選択した後で、推論(ステップST23)が実行され、その結果、実際の検査部位とは別の部位を検査部位として推論してしまった場合、ユーザ51にプリセットの変更を推奨することは逆に画質の低下を招いてしまう恐れがある。そこで、このような恐れを回避するため、1つの検査部位の超音波画像しか取得しない検査において、ユーザ51がプリセットを変更した場合、検査が終了するまでは、新たなプリセットを選択し直す必要が無いと判定し、ステップST36においてプロセッサ7は推論を停止する。したがって、第4の実施形態では、ユーザ51がプリセットを変更した後、推論が行われることが停止されるので、不要な推論を実行することにより逆に画質の低下を招いてしまうという恐れを回避することができる。
尚、第3の実施形態など、他の実施形態に対しても、推論停止のステップ36を適用してもよい。
(5)第5の実施形態
第5の実施形態では、第4の実施形態で実行される推論の停止とは別のタイミングで推論を停止する例について説明する。
第5の実施形態では、第1の実施形態と同様に、検査部位が乳腺である被検体52の検査を行い、次に、検査部位が下肢である被検体53の検査を行う例について説明する。
尚、被検体52の検査フローは、図8を参照しながら説明したフローと同じであるので、被検体52の検査フローは省略し、検査部位が下肢である新規の被検体53の検査フローについて、図26を参照しながら説明する。
図26は、第5の実施形態における新規の被検体53の検査フローを示す図である。
尚、第5の実施形態における図26のフローは、第1の実施形態における図15のフローと比較して、ステップST28、ST29、およびST37が加えられている点が異なっているが、その他の点は図15のフローと同じである。したがって、以下の説明では、ステップST28、ST29、およびST37を主に説明し、他のステップは簡潔に説明することにする。
ステップST23において、プロセッサ7が新規の被検体53の検査部位を推論した後、ステップST24に進む。
ステップST24では、プロセッサ7が、ステップST23で推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致するか否かを判定する。
ここでは、直前の被検体52の検査時に設定された乳腺のプリセットが変更されずに、新規の被検体53の検査でも使用されているとする。したがって、推論された検査部位は「下肢」であるが、選択された検査部位は「乳腺」である。このため、ステップST24において、プロセッサ7は、ステップST23で推論された検査部位が、ユーザ51により選択されたプリセットの検査部位に一致しないと判定するので、ステップST26に進み、プロセッサ7は、ユーザ51にプリセットの変更を推奨することを決定する。
ユーザ51にプリセットの変更を推奨する場合、プロセッサ7は、ステップST27に進み、表示モニタ18に、「下肢のプリセットに変更することを推奨します」というメッセージ86を表示させる(図17参照)。
また、プロセッサ7は、ユーザ51にプリセットの変更を推奨した後、ステップST28に進む。ステップST28では、プロセッサ7は、ユーザ51によりプリセットが変更されたか否かを判定する。
一方、ユーザ51は、表示モニタ18に時点t1において表示された「下肢のプリセットに変更することを推奨します」というメッセージ86に気が付いたら、ユーザ51の都合のよいタイミングで、プリセットを変更する。図26では、ユーザ51がプリセットを変更した時点が「t2」で示されている。
ユーザ51がプリセットを変更した場合、ステップST28において、プロセッサ7はユーザ51によりプリセットが変更されたと判定し、ステップST37に進む。ステップST37では、プロセッサ7は推論を停止し、処理40を終了する。
第5の実施形態では、ステップST23において推論を実行し、その推論結果に基づいて、表示モニタ18に、「下肢のプリセットに変更することを推奨します」というメッセージ86が表示される(時点t1)。そして、ユーザ51は、そのメッセージ86の推奨に従って、時点t2においてプリセットを変更し、被検体の検査を続けている。したがって、ユーザ51は、プリセットが実際の被検体53の検査部位に対応するように、ユーザ51自身の意思で検査部位のプリセットを変更している。このため、1つの検査部位の超音波画像しか取得しない検査では、ユーザ51がプリセットを変更した後は、その検査が終了するまで、新たなプリセットを選択し直す必要がない。一方、ユーザ51が被検体53の検査部位のプリセットを変更したにもかかわらず、2回目の推論を実行し、その結果、実際の検査部位とは別の部位を検査部位として推論してしまった場合、ユーザ51にプリセットの変更を推奨することが逆に画質の低下を招いてしまう恐れがある。そこで、このような恐れを回避するため、1つの検査部位の超音波画像しか取得しない検査において、ユーザ51がメッセージ86の推奨に従ってプリセットを変更した場合、検査が終了するまでは、新たなプリセットを選択し直す必要が無いと判定し、ステップST37において、プロセッサ7は推論を停止する。したがって、第5の実施形態では、ユーザ51が時点t2においてプリセットを変更した後は、推論が行われることが停止されるので、不要な推論を実行することにより逆に画質の低下を招いてしまうという恐れを回避することができる。
尚、第3の実施形態など、他の実施形態に対しても、推論停止のステップ37を適用してもよい。
(6)第6の実施形態
第6の実施形態では、プリセットを自動的に変更した後で推論を停止する例について説明する。
第6の実施形態では、第1の実施形態と同様に、検査部位が乳腺である被検体52の検査を行い、次に、検査部位が下肢である被検体53の検査を行う例について説明する。
尚、被検体52の検査フローは、図8を参照しながら説明したフローと同じであるので、被検体52の検査フローは省略し、検査部位が下肢である新規の被検体53の検査フローについて、図27を参照しながら説明する。
図27は、第6の実施形態における新規の被検体53の検査フローを示す図である。
尚、第6の実施形態における図27のフローは、第2の実施形態における図19のフローと比較して、ステップST38が加えられている点が異なっているが、その他の点は図19のフローと同じである。したがって、以下の説明では、ステップST38を主に説明し、他のステップは簡潔に説明することにする。
ステップST26において、プロセッサ7が、ユーザ51にプリセットの変更を推奨することを決定したら、ステップST27に進む。プロセッサ7は、ステップST27において、表示モニタ18に、「下肢のプリセットに変更することを推奨します」というメッセージ86を表示させる(図17参照)。
また、プロセッサ7は、ステップST28に進み、ユーザ51が、超音波の送受信を中断させるための所定の操作を実行したか否かを判定する。超音波の送受信が中断された場合、プリセットを変更しても、ユーザの作業には悪影響を与えないと思われる。したがって、ユーザ51が、超音波の送受信を中断させるための所定の操作を実行した場合、第2の実施形態で説明したように、プリセットを変更する。ここで、所定の操作は、例えば、フリーズ操作、画像保存操作、深度変更操作である。
図27では、ユーザ51が、時点t2において、所定の操作を行っている。したがって、時点t2においてユーザ51が所定の操作を行った場合、ステップST28において、プロセッサ7はユーザ51が所定の操作を実行したと判定し、ステップST30に進む。ステップST30において、プロセッサ7は、ユーザ51の所定の操作に応答して、乳腺のプリセットを、下肢のプリセットに変更する。プリセットが変更された後、ステップST38に進み、プロセッサ7は、推論を停止する。
第6の実施形態では、プロセッサ7がユーザの操作に応答してプリセットを自動的に変更した後は、2回目の推論が行われることが停止される。したがって、不要な推論を実行することにより逆に画質の低下を招いてしまうという恐れを回避することができる。
尚、第3の実施形態など、他の実施形態に対しても、推論停止のステップ38を適用してもよい。
(7)第7の実施形態
第7の実施形態では、特定の検査部位の確率Pに重み付けをする例について説明する。
第1~第6の実施形態で説明したように、ステップST23では、学習済みモデル71を使用して、入力画像の部位が各カテゴリに分類される確率Pを求めている(例えば、図21参照)。
学習済みモデル71は、検査部位ごとに用意されたトレーニングデータを学習することにより作成される。しかし、或る検査部位については多数のトレーニングデータを用意することができるが、他の検査部位については用意できるトレーニングデータの数が少ないなど、用意できるトレーニングデータの数が検査部位間で異なることがある。また、トレーニングデータの特性も、検査部位間で異なっている。このため、検査部位間でのトレーニングデータの数の違い、および/又はトレーニングデータの特性の違いなどが原因で、特定の検査部位だけ確率Pが低く推論されてしまうことがある。
そこで、特定の検査部位の確率Pに重み付けをしてもよい。例えば、図21において、頸動脈については、推論された確率Pは5%であるが、確率Pを5%から例えば10%に高くするブースト処理を実行してもよい。
(8)第8の実施形態
第8の実施形態では、表示モニタ18にステップST23の推論結果を表示する例について説明する。
図28は、表示モニタ18に表示される推論結果の一例を示す図である。
表示モニタ18には、確率Pを求めるために使用された超音波画像87が示されている。
画面の左下には、推論結果が表示されている。
推論結果は、カテゴリを表す列と、インジケータを表す列と、確率を表す列とを含んでいる。
ここでは、説明の便宜上、カテゴリは、検査部位A、B、C、D、およびEと、空気F、およびその他Gで表されている。検査部位A、B、C、D、およびEは、例えば、腹部、乳腺、頸動脈、下肢、および甲状腺あるが、他の検査部位とすることもできる。
確率Pは、入力画像83が表す部位が各カテゴリに分類される確率(例えば、図21~図24参照)を表している。
また、カテゴリと確率Pとの間には、確率の値に対応したインジケータ110が表示されている。
プロセッサ7は、確率Pと閾値TH1およびTH2(図21~図24参照)に基づいて、インジケータ110の色を決定する。具体的には、プロセッサ7は、確率Pが閾値TH1より小さいのか(P<TH1)、確率Pが閾値TH1とTH2との間の値なのか(TH1≦P≦TH2)、確率Pが閾値TH2よりも大きいのか(TH2<P)に基づいて、インジケータ110の色を決定する。例えば、確率Pが閾値TH1よりも小さいと判定された場合(P<TH1)、インジケータ110の色は赤に決定され、確率Pが閾値TH2よりも大きい場合(TH2<P)、インジケータ110の色は緑に決定され、確率Pが閾値TH1と閾値TH2との間の場合(TH1≦P≦TH2)、インジケータ110は黄色に決定される。
図28では、確率Pは100%であるので、インジケータ110は緑で表示されている。
したがって、ユーザ51は、推論結果を見ることにより、被検体53のどの部位が検査部位として推論されたかを、視覚的に認識することができる。
図29は表示モニタ18に表示される推論結果の他の例を示す図である。
図29では、検査部位Bの確率Pが70%である。したがって、検査部位Bの確率PはTH1≦P≦TH2の範囲内であるので、検査部位Bのインジケータ111は黄色で示される。また、検査部位Cの確率Pおよび20%であり、その他Gの確率Pが10%である。したがって、検査部位Cおよびその他Gの確率PはP<TH1の範囲内であるので、検査部位Cのインジケータ112およびその他Gのインジケータ113は赤で示される。また、インジケータ111、112、および113は、確率Pの値に応じた長さで表示される。したがって、ユーザは、検査部位がどのカテゴリに含まれる確率が高いのかを、視覚的に認識することができる。
図30は、検査部位の推論結果を更に詳細に表示した例である。
検査部位Bは、n個のサブ検査部位b1-bnを含んでいる。また、推論結果には、入力画像83が表す部位が各サブ検査部位に分類される確率も表示されている。したがって、図30の表示例では、ユーザ51は、表示画面を確認することにより、超音波画像87の部位が、検査部位Bに含まれるn個のサブ検査部位b1~bnのうちのどのサブ検査部位の確率が最も高いかを認識することができる。
尚、図28~図30に表示されている超音波画像87は、Bモード画像に限らず、その他のモードの超音波画像を表示させてもよい。以下に、超音波診断装置が、血流がカラーで表されるカラー画像を表示する例について説明する。
図31は、カラー画像88を表示させた例である。
カラー画像88を表示させる場合、ユーザ51は、ユーザインターフェース10を操作して、カラー画像88を表示するカラーモードを起動する。カラーモードが起動すると、プロセッサ7は、カラーモードの起動前又は起動後に取得された超音波画像に、カラーで表した血流が重ねられたカラー画像88を表示させる。したがって、ユーザ51は、カラー画像88によって血流の動態を確認することができる。
また、プロセッサ7は、カラーモードが起動された場合、推論結果を表示画面に表示させることができる。したがって、ユーザ51は、任意の種類の超音波画像に対して、推論結果を確認することができる。
尚、超音波画像および推論結果をタッチパネル28に表示させてもよい。
(9)第9の実施形態
第9の実施形態では、超音波診断装置を、ユーザ51にプリセットの変更を推奨するプリセット推奨モードで動作させるか、それとも、このプリセット推奨モードを実行せずに、別のモードで動作させるかを、被検体の検査前又は検査中にユーザが設定する例について説明する。
図32は、超音波診断装置の動作モードを設定する設定画面の一例を示す図である。
ユーザは、ユーザインターフェースを操作することにより、表示モニタ18又はタッチパネル28に、超音波診断装置1の動作モードを設定するための設定ウィンドウ36を表示することができる。設定ウィンドウ36には、「Assist Level(B)」、「Assist Timing (B)」、「Assist Level (CF)」、および「Result Display」が表示されている。
「Assist Level(B)」は、Bモード画像を取得する場合にユーザ51に対して実行される支援レベルを表している。「Assist Level(B)」は、3つの支援レベル(Auto/Assist/OFF)を含んでいる。Autoは、プリセット推奨モードを使用せずに、超音波診断装置が自動的にプリセットを変更する自動モードを表している。Assistは、プリセット推奨モードを使用することを表している。OFFは、自動モードおよびプリセット推奨モードをオフにすることを表している。
「Assist Timing (B)」は、Bモード画像を取得する場合に支援を実行するタイミングを表している。「Assist Timing (B)」は、3つの支援レベル(All the time/Scan start/Exam start)を含んでいる。「All the time」は、被検体の検査を開始してから終了するまでの間、「Assist Level (B)」で設定された支援を実行することを表している。「Scan start」は、被検体のスキャンを開始してから終了するまでの間、「Assist Level (B)」で設定された支援を実行することを表している。「Exam start」は、被検体53のスキャンが開始されるまで、「Assist Level (B)」で設定された支援を実行することを表している。
「Assist Level(CF)」は、カラー流速画像を取得する場合にユーザ51に対して実行される支援レベルを表している。「Assist Level(CF)」は、「Assist Level(B)」と同様に、3つの支援レベル(Auto/Assist/OFF)を含んでいる。
「Result Display」は、推論結果(図28~図31参照)を表示するか否かを表すものである。「Result Display」をアクティブにすると、推論結果を表示することができる。
したがって、ユーザは、ユーザの好みに応じて支援レベルを設定することができる。
1 超音波診断装置
2 超音波プローブ
3 送信ビームフォーマ
4 送信器
5 受信器
6 受信ビームフォーマ
7 プロセッサ
8 表示部
9 メモリ
10 ユーザインターフェース
15 外部記憶装置
18 表示モニタ
28 タッチパネル
36 設定ウィンドウ
51 ユーザ
52、53 被検体
55 カテゴリ
60 トレーニングデータセット
61 正解データ
70 事前学習済みモデル
71 学習済みモデル
81、83 入力画像
86 メッセージ
85、87 超音波画像
88 カラー画像
110、111、112、113 インジケータ

Claims (18)

  1. 超音波プローブと、
    ユーザインターフェースと、
    表示部と、
    前記超音波プローブ、前記ユーザインターフェース、および前記表示部と通信する1つ又は複数のプロセッサと
    を含む超音波画像表示システムであって、
    前記1つまたは複数のプロセッサが、
    前記ユーザインターフェースにより入力された信号に基づいて、複数の検査部位に対して設定された複数のプリセットの中から、検査で使用するプリセットを選択すること、
    前記超音波プローブで被検体をスキャンすることにより得られた超音波画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、前記被検体の検査部位を推論すること、
    前記選択されたプリセットの検査部位と、前記推論された検査部位に基づいて、ユーザに、前記選択されたプリセットを前記推論された検査部位のプリセットに変更することを推奨するか否かを決定すること、および
    プリセットの変更を推奨することを決定した場合、前記表示部に、前記ユーザにプリセットを変更することを推奨するためのメッセージを表示させること、
    を含む動作を実行
    前記1つまたは複数のプロセッサが、
    前記メッセージが表示された後、前記ユーザの所定の操作により超音波の送受信が中断された場合、前記選択されたプリセットを、前記推論された検査部位のプリセットに変更することを含む動作を実行する、超音波画像表示システム。
  2. 前記所定の操作が、フリーズ操作、画像保存操作、又は深度変更操作である、請求項1に記載の超音波画像表示システム。
  3. 前記1つまたは複数のプロセッサが、
    前記ユーザによってプリセットが変更された場合、前記検査部位を推論することを停止する、請求項1又は2に記載の超音波画像表示システム。
  4. 前記1つまたは複数のプロセッサが、
    前記被検体の検査が開始された後、前記ユーザによってプリセットが変更されたか否かを判断することを含む動作を実行する、請求項3に記載の超音波画像表示システム。
  5. 前記1つまたは複数のプロセッサが、
    前記ユーザに、前記プリセットの変更を推奨した後、前記ユーザによってプリセットが変更されたか否かを判断することを含む動作を実行する、請求項3に記載の超音波画像表示システム。
  6. 前記1つまたは複数のプロセッサが、
    前記ユーザの所定の操作に応答して、前記選択されたプリセットを、前記推論された検査部位のプリセットに変更した後、前記検査部位を推論することを停止する、請求項1に記載の超音波画像表示システム。
  7. 超音波プローブと、
    ユーザインターフェースと、
    表示部と、
    前記超音波プローブ、前記ユーザインターフェース、および前記表示部と通信する1つ又は複数のプロセッサと
    を含む超音波画像表示システムであって、
    前記1つまたは複数のプロセッサが、
    前記ユーザインターフェースにより入力された信号に基づいて、複数の検査部位に対して設定された複数のプリセットの中から、検査で使用するプリセットを選択すること、
    前記超音波プローブで被検体をスキャンすることにより得られた超音波画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、前記被検体の検査部位を推論すること、
    前記選択されたプリセットの検査部位と、前記推論された検査部位に基づいて、ユーザに、前記選択されたプリセットを前記推論された検査部位のプリセットに変更することを推奨するか否かを決定すること、および
    プリセットの変更を推奨することを決定した場合、前記表示部に、前記ユーザにプリセットを変更することを推奨するためのメッセージを表示させること、
    を含む動作を実行し、
    前記被検体の検査部位を推論することが、
    前記入力画像が表す部位が、複数の検査部位を含む複数のカテゴリのうち、どのカテゴリに分類されるかを推論すること、
    前記入力画像が表す部位が各カテゴリに分類される確率を求めること、
    前記推論された検査部位に対して求められた確率が、第1の閾値と、前記第1の閾値よりも大きい第2の閾値との間に存在し、且つ前記推論された検査部位が、前記選択されたプリセットの検査部位に一致しない場合、前記ユーザにプリセットの変更を推奨することを決定すること、
    前記確率が前記第2の閾値よりも大きく、且つ前記推論された検査部位が、前記選択されたプリセットの検査部位に一致しない場合、前記選択されたプリセットを、前記推論された検査部位のプリセットに変更すること
    を含む、超音波画像表示システム。
  8. 前記1つまたは複数のプロセッサが、
    前記確率が前記第1の閾値より低い場合、プリセットの変更を推奨しない、請求項7に記載の超音波画像表示システム。
  9. 前記1つまたは複数のプロセッサが、
    前記確率が前記第2の閾値よりも大きく、且つ前記推論された検査部位が、前記選択されたプリセットの検査部位に一致しない場合、前記選択されたプリセットを、前記推論された検査部位のプリセットに変更する、請求項7に記載の超音波画像表示システム。
  10. 前記1つまたは複数のプロセッサが、前記確率に重み付けをする動作を実行する、請求項9に記載の超音波画像表示システム。
  11. 前記1つまたは複数のプロセッサが、
    前記表示部に、前記複数のカテゴリと、前記入力画像が表す部位が各カテゴリに分類される確率とを含む推論結果を表示させるように動作する、請求項7に記載の超音波画像表示システム。
  12. 前記推論結果が、前記確率の値に対応したインジケータを含む、請求項11に記載の超音波画像表示システム。
  13. 前記インジケータは、前記確率の値に応じた色で表示される、又は前記確率の値に応じた長さを有するように表示される、請求項12に記載の超音波画像表示システム。
  14. 前記複数のカテゴリに含まれる第1の検査部位が、複数のサブ検査部位を含み、
    前記推論結果が、前記複数のサブ検査部位と、前記入力画像が表す部位が各サブ検査部位に分類される確率とを含む、請求項12に記載の超音波画像表示システム。
  15. 前記1つまたは複数のプロセッサが、
    前記表示部に前記超音波画像を表示させる、請求項11に記載の超音波画像表示システム。
  16. 前記超音波画像表示システムの動作モードには、血流がカラーで表されるカラー画像を表示するカラーモードが含まれており、
    前記1つまたは複数のプロセッサが、
    前記カラーモードが起動した場合、前記表示部に、前記カラー画像と、前記推論結果とを表示させる、請求項11に記載の超音波画像表示システム。
  17. 超音波プローブ、ユーザインターフェース、および表示部と通信する1つ以上のプロセッサによって実行可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
    前記ユーザインターフェースにより入力された信号に基づいて、複数の検査部位に対して設定された複数のプリセットの中から、検査で使用するプリセットを選択すること、
    前記超音波プローブで被検体をスキャンすることにより得られた超音波画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、前記被検体の検査部位を推論すること、
    前記選択されたプリセットの検査部位と、前記推論された検査部位に基づいて、ユーザに、前記選択されたプリセットを前記推論された検査部位のプリセットに変更することを推奨するか否かを決定すること、
    プリセットの変更を推奨することを決定した場合、前記表示部に、前記ユーザにプリセットを変更することを推奨するためのメッセージを表示させること、
    前記メッセージが表示された後、前記ユーザの所定の操作により超音波の送受信が中断された場合、前記選択されたプリセットを、前記推論された検査部位のプリセットに変更することを含む動作を実行させる、記憶媒体
  18. 超音波プローブ、ユーザインターフェース、および表示部と通信する1つ以上のプロセッサによって実行可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
    前記ユーザインターフェースにより入力された信号に基づいて、複数の検査部位に対して設定された複数のプリセットの中から、検査で使用するプリセットを選択すること、
    前記超音波プローブで被検体をスキャンすることにより得られた超音波画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、前記被検体の検査部位を推論すること、
    前記選択されたプリセットの検査部位と、前記推論された検査部位に基づいて、ユーザに、前記選択されたプリセットを前記推論された検査部位のプリセットに変更することを推奨するか否かを決定すること、
    プリセットの変更を推奨することを決定した場合、前記表示部に、前記ユーザにプリセットを変更することを推奨するためのメッセージを表示させること、
    を含む動作を実行させ、
    前記被検体の検査部位を推論することが、
    前記入力画像が表す部位が、複数の検査部位を含む複数のカテゴリのうち、どのカテゴリに分類されるかを推論すること、
    前記入力画像が表す部位が各カテゴリに分類される確率を求めること、
    前記推論された検査部位に対して求められた確率が、第1の閾値と、前記第1の閾値よりも大きい第2の閾値との間に存在し、且つ前記推論された検査部位が、前記選択されたプリセットの検査部位に一致しない場合、前記ユーザにプリセットの変更を推奨することを決定すること、
    前記確率が前記第2の閾値よりも大きく、且つ前記推論された検査部位が、前記選択されたプリセットの検査部位に一致しない場合、前記選択されたプリセットを、前記推論された検査部位のプリセットに変更すること
    を含む、記憶媒体。
JP2022023328A 2022-02-17 2022-02-17 超音波画像表示システムおよび記憶媒体 Active JP7302051B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022023328A JP7302051B1 (ja) 2022-02-17 2022-02-17 超音波画像表示システムおよび記憶媒体
CN202310055052.8A CN116650007A (zh) 2022-02-17 2023-02-03 超声图像显示系统和存储介质
US18/170,074 US20230270409A1 (en) 2022-02-17 2023-02-16 Ultrasonic image display system and storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022023328A JP7302051B1 (ja) 2022-02-17 2022-02-17 超音波画像表示システムおよび記憶媒体

Publications (2)

Publication Number Publication Date
JP7302051B1 true JP7302051B1 (ja) 2023-07-03
JP2023120110A JP2023120110A (ja) 2023-08-29

Family

ID=86996655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022023328A Active JP7302051B1 (ja) 2022-02-17 2022-02-17 超音波画像表示システムおよび記憶媒体

Country Status (3)

Country Link
US (1) US20230270409A1 (ja)
JP (1) JP7302051B1 (ja)
CN (1) CN116650007A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051578A1 (ja) 2016-09-16 2018-03-22 富士フイルム株式会社 超音波診断装置及び超音波診断装置の制御方法
US20180160981A1 (en) 2016-12-09 2018-06-14 General Electric Company Fully automated image optimization based on automated organ recognition
CN109044398A (zh) 2018-06-07 2018-12-21 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
JP2021516090A (ja) 2018-03-01 2021-07-01 フジフイルム ソノサイト インコーポレイテッド 超音波検査にアノテーションを付けるための方法および装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051578A1 (ja) 2016-09-16 2018-03-22 富士フイルム株式会社 超音波診断装置及び超音波診断装置の制御方法
US20180160981A1 (en) 2016-12-09 2018-06-14 General Electric Company Fully automated image optimization based on automated organ recognition
JP2021516090A (ja) 2018-03-01 2021-07-01 フジフイルム ソノサイト インコーポレイテッド 超音波検査にアノテーションを付けるための方法および装置
CN109044398A (zh) 2018-06-07 2018-12-21 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN116650007A (zh) 2023-08-29
US20230270409A1 (en) 2023-08-31
JP2023120110A (ja) 2023-08-29

Similar Documents

Publication Publication Date Title
KR102491757B1 (ko) 초음파 시스템을 위한 에코 윈도우 아티팩트 분류 및 시각적 표시기
US10736608B2 (en) Ultrasound diagnostic device and ultrasound image processing method
JP4794292B2 (ja) 超音波診断装置
CN106659480A (zh) 超声波诊断图像生成装置以及方法
US20220087644A1 (en) Systems and methods for an adaptive interface for an ultrasound imaging system
JP5473527B2 (ja) 超音波診断装置
JP7302051B1 (ja) 超音波画像表示システムおよび記憶媒体
KR20150000261A (ko) 초음파 영상에 대응하는 참조 영상을 제공하는 초음파 시스템 및 방법
KR20190094974A (ko) 초음파 진단 장치 및 초음파 진단 장치의 제어 방법
JP5623609B2 (ja) 超音波診断装置
US11925506B2 (en) Ultrasonic image diagnostic apparatus, identifier changing method, and identifier changing program
US20240130712A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20240173010A1 (en) Ultrasonic image diagnostic apparatus, identifier changing method, and identifier changing program
JP7225345B1 (ja) 超音波診断装置および表示方法
EP4166980A1 (en) Ultrasound system, ultrasound probe, control method of ultrasound system, and control method of ultrasound probe
WO2022270180A1 (ja) 超音波診断装置および超音波診断装置の制御方法
US20240148364A1 (en) Ultrasound image processing apparatus, ultrasound image diagnosis system, ultrasound image processing method, and non-transitory computer-readable recording medium storing ultrasonic image processing program
US20240065671A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
EP4368117A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
EP4360564A1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
EP4356842A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JPH01291837A (ja) 超音波診断装置
JP5574793B2 (ja) 超音波診断装置
CN117500439A (zh) 一种超声成像设备及其诊断报告的生成方法
WO2020165988A1 (ja) 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R150 Certificate of patent or registration of utility model

Ref document number: 7302051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150