JP7104243B2 - 3次元超音波撮像支援装置、方法、及びプログラム - Google Patents

3次元超音波撮像支援装置、方法、及びプログラム Download PDF

Info

Publication number
JP7104243B2
JP7104243B2 JP2021524743A JP2021524743A JP7104243B2 JP 7104243 B2 JP7104243 B2 JP 7104243B2 JP 2021524743 A JP2021524743 A JP 2021524743A JP 2021524743 A JP2021524743 A JP 2021524743A JP 7104243 B2 JP7104243 B2 JP 7104243B2
Authority
JP
Japan
Prior art keywords
imaging
image
dimensional ultrasonic
unit
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021524743A
Other languages
English (en)
Other versions
JPWO2020246238A1 (ja
Inventor
東 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020246238A1 publication Critical patent/JPWO2020246238A1/ja
Application granted granted Critical
Publication of JP7104243B2 publication Critical patent/JP7104243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本開示は、3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援装置、方法、及びプログラムに関する。
近年、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、及び超音波診断装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。超音波診断装置においては、超音波プローブにより撮像して取得した2次元超音波画像と、超音波プローブの撮像位置とから3次元超音波画像を生成する技術が知られている。この技術において、高解像度な3次元超音波画像を生成するためには、被検体の対象部位に対して複数の2次元超音波画像を密に撮像する必要がある。しかしながら、被検体の体表面には凹凸があるため、一様に、密に複数の2次元超音波画像を撮像することは難しい。そこで、特許文献1には、超音波プローブにより撮像された画像間の距離が最大距離を超える場合に、超音波プローブの操作者に警告する技術が開示されている。また、特許文献2には、画像間の距離、及び超音波プローブの速度等が過剰である場合に、再度撮像すべき経路を対象部位の画像に重ねて表示させる技術が開示されている。また、特許文献3には、被検体内の撮影対象箇所まで、超音波プローブの移動をナビゲーションする技術が開示されている。
特表2014-528347号公報 特表2016-506781号公報 特許6323335号公報
一方、超音波診断においては、被検体の各部位について、各々の部位毎に検査方法が詳細に規定されたガイドラインが設けられている。例えば、撮像部位が頸動脈である場合には、断層像による観察は、血管短軸断面と血管長軸断面の2方向で行い、観察領域は左右共に総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈で、観察可能な領域とすることが規定されている。また、観察領域は、必要に応じて外頸動脈、鎖骨下動脈、腕頭動脈、浅側頭動脈、及びそれらの分枝動脈なども含むことも規定されている。このように、ガイドラインにおいては、頸動脈といった被検体の部位毎に、観察領域内の総頸動脈及び頸動脈洞といった撮像すべき撮像対象が規定されている。
上記特許文献1~3に記載の技術においては、被検体の部位毎にガイドラインで規定された撮像すべき複数の撮像対象が撮像されているか否かを判別することは記載されていない。そのため、被検体の部位毎にガイドラインで規定された撮像すべき複数の撮像対象を全て撮像するためには、撮像する部位毎にユーザがガイドラインを確認しながら超音波プローブを操作する必要があり手間を要してしまう。また、多数の撮像を行わなければならない場合、撮像すべき撮像対象を撮像し忘れてしまう場合もある。
本開示は上記事情に鑑みなされたものであり、ガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できるようにすることを目的とする。
本開示の3次元超音波撮像支援装置は、3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援装置であって、
被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得する画像取得部と、
撮像毎に超音波プローブの撮像位置を取得する撮像位置取得部と、
画像取得部により取得された複数の2次元超音波画像と、撮像位置取得部により取得された撮像毎の撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、
画像取得部により取得された2次元超音波画像及び3次元超音波画像生成部により生成された3次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、
被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像及び3次元超音波画像の少なくとも一方において、推定部により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する判定部と、
判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する第1報知部と、を含む。
なお、本開示の3次元超音波撮像支援装置においては、判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、
第1報知部は、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を報知することができる。
また、本開示の3次元超音波撮像支援装置においては、第1報知部は、本開示の3次元超音波撮像支援装置においては、撮像位置に加えて、撮像位置における超音波プローブの向きを報知することができる。
また、本開示の3次元超音波撮像支援装置においては、ガイドラインには、部位毎に複数の撮像対象の撮像順も規定されており、かつ、複数の2次元超音波画像を用いて、ガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定部が判定する場合において、
判定部は、2次元超音波画像を撮像する毎に、ガイドラインに規定されている撮像順に従って撮像が行われているか否かを判定し、
第1報知部は、判定結果に応じて報知を行うことができる。
また、本開示の3次元超音波撮像支援装置においては、撮像位置取得部により取得された撮像位置に基づいて、超音波プローブが予め定められた速度で移動しているか否かを検出する速度検出部と、
速度検出部が超音波プローブが予め定められた速度で移動していないことを検出した場合に、予め定められた速度で移動していないことを報知する第2報知部とを含むことができる。
また、本開示の3次元超音波撮像支援装置においては、速度検出部は、推定部により撮像部位が推定されている場合に、超音波プローブが推定された撮像部位毎に予め定められた速度で移動しているか否かを検出することができる。
また、本開示の3次元超音波撮像支援装置においては、超音波プローブに固定されたマーカー部材と、
超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
撮像位置取得部は、撮像部により取得された超音波プローブ及びマーカー部材を含む撮像画像に基づいて撮像位置を取得することができる。
また、本開示の3次元超音波撮像支援装置においては、超音波プローブに設けられる6軸センサを備え、
撮像位置取得部は、6軸センサから出力された出力情報に基づいて撮像位置を取得することができる。
また、本開示の3次元超音波撮像支援装置においては、超音波プローブに固定されたマーカー部材、及び超音波プローブに設けられる6軸センサと、
超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
撮像位置取得部は、撮像部により取得された超音波プローブ及びマーカー部材を含む撮像画像、並びに6軸センサから出力された出力情報に基づいて撮像位置を取得することができる。
本開示の3次元超音波撮像支援方法は、被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得し、
撮像毎に超音波プローブの撮像位置を取得し、
取得された複数の2次元超音波画像と、取得された撮像毎の撮像位置とに基づいて3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援方法であって、
取得された2次元超音波画像及び生成された3次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定し、
被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像及び3次元超音波画像の少なくとも一方において、推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定し、
撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する。
本開示の3次元超音波撮像支援プログラムは、3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援プログラムであって、
被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得する画像取得部と、
撮像毎に超音波プローブの撮像位置を取得する撮像位置取得部と、
画像取得部により取得された複数の2次元超音波画像と、撮像位置取得部により取得された撮像毎の撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、
画像取得部により取得された2次元超音波画像及び3次元超音波画像生成部により生成された3次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、
被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像及び3次元超音波画像の少なくとも一方において、推定部により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する判定部と、
判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する第1報知部として、
コンピュータを機能させる。
本開示による他の3次元超音波撮像支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得し、
撮像毎に超音波プローブの撮像位置を取得し、
取得された複数の2次元超音波画像と、取得された撮像毎の撮像位置とに基づいて3次元超音波画像を生成し、
取得された2次元超音波画像及び生成された3次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定し、
被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像及び3次元超音波画像の少なくとも一方において、推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定し、
撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する処理を実行する。
3次元超音波撮像支援装置、方法、及びプログラムによれば、ガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できる。
本開示の第1の実施形態の3次元超音波撮像支援装置を含む診断支援システムの構成を示す概略ブロック図 本開示の一実施形態である診断支援システムの概念図 マーカー部材が固定された超音波プローブを説明するための図 撮像部により取得された画像の一例を示す図である。 超音波プローブによる撮像動作を説明するための図 撮像画像中のマーカー部材52の移動を説明するための図 第1報知部による報知の一例を示す図 第1報知部による報知の他の一例を示す図 本開示の第1の実施形態において行われる処理を示すフローチャート 本開示の第1の実施形態において行われるAの処理を示すフローチャート 本開示の第2の実施形態において行われる処理を示すフローチャート 本開示の第3の実施形態の3次元超音波撮像支援装置を含む診断支援システムの構成を示す概略ブロック図 本開示の第3の実施形態において行われる処理を示すフローチャート センサが設けられた超音波プローブを説明するための図
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の一実施形態による3次元超音波撮像支援装置を適用した、診断支援システムの構成を示す概略ブロック図である。図1に示すように、診断支援システム1は、本実施形態による3次元超音波撮像支援装置10、並びに3次元超音波撮像支援装置10と接続可能に構成された超音波プローブ50、撮像部60、表示部30、及び入力部40を備えている。
3次元超音波撮像支援装置10は、CPU(Central Processing Unit)11、一次記憶部12、二次記憶部13及び外部I/F(Interface)14等を備えたコンピュータから構成される。CPU11は、3次元超音波撮像支援装置10の全体を制御する。一次記憶部12は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部12の一例としては、RAM(Random Access Memory)が挙げられる。二次記憶部13は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本開示の3次元超音波撮像支援プログラム15の一実施形態がインストールされている。
3次元超音波撮像支援プログラム15は、DVD(Digital Versatile Disc)及びCD-ROM(Compact Disc Read Only Memory)などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、3次元超音波撮像支援プログラム15は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
この3次元超音波撮像支援プログラム15がCPU11により実行されることによって、CPU11は、画像取得部21、撮像位置取得部22、3次元超音波画像生成部23、推定部24、判定部25、第1報知部26、及び表示制御部27として機能する。二次記憶部13の一例としては、EEPROM(Electrically Erasable Programmable Read-Only Memory)又はフラッシュメモリ等が挙げられる。
外部I/F14は、3次元超音波撮像支援装置10と外部装置(図示せず)との間の各種情報の送受信を司る。CPU11、一次記憶部12、二次記憶部13、及び外部I/F14は、各々の回路がデータを交換するための共通の経路であるバスライン16に接続されている。
また、バスライン16には、表示部30と入力部40も接続されている。表示部30は、例えば液晶ディスプレイ等で構成される。表示部30は、後述するように、画像取得部21により取得された2次元超音波画像及び3次元超音波画像生成部23により生成された3次元超音波画像を表示する。また、後述する撮像部60によって取得された撮像画像も表示する。なお、表示部30をタッチパネルによって構成し、入力部40と兼用してもよい。入力部40は、マウス及びキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。また、バスライン16には、送受信部17と撮像部60も接続されている。送受信部17は、後述する超音波プローブ50との間の各種情報の送受信を司る。
超音波プローブ50は、3次元超音波撮像支援装置10に接続可能に構成されている。超音波プローブ50としては、例えばセクタ走査対応のプローブ、リニア走査対応のプローブ、及びコンベックス走査対応のプローブ等を使用することができる。図2は、本開示の一実施形態である診断支援システムの概念図である。超音波プローブ50は、図2に示すように、先端に、1次元方向に配列された複数の超音波振動子(図示せず)を有する振動子アレイ50aを有する。なお、振動子アレイ50aは、上記では、複数の超音波振動子が一次元に配列されている例について説明したが、これには限定されない。振動子アレイ50aにおいて、複数の超音波振動子が二次元に配列されていてもよい。
超音波プローブ50は振動子アレイ50aを生体である被検体Mの体表面に当接させた状態で、被検体Mの計測したい部位に対して超音波を出射(送信)し、被検体Mで反射して戻って来た反射超音波を検出(受信)する。超音波プローブ50は、送受信部17から出力されたパルス状又は連続波の電気信号を超音波に変換して出射し、受信した反射超音波を電気信号に変換して送受信部17に送信する。
送受信部17は、超音波プローブ50が有する複数の超音波振動子を駆動させる、パルス状又は連続波の電気信号を超音波プローブ50へ送信する。また、送受信部17は、反射超音波を受信した複数の超音波振動子で生成される複数の電気信号を受信する。そして、送受信部17は、受信した電気信号に対して、増幅とA/D(Analog/Digital)変換とを行うことにより受信信号を生成する。この受信信号は、例えば、超音波振動子の配列方向と超音波の送信方向であって超音波振動子の配列方向と垂直な方向(以下、深度方向とする。)とに並ぶ複数の信号からなり、各信号は反射超音波の振幅をデジタル値で表したデジタル信号である。そして、この送信処理および受信処理を繰り返し連続して行い、複数の受信信号からなるフレームデータを複数構築する。
なお、本開示においてフレームデータは、1枚の断層画像を構築する上で必要な受信信号の集合データ、この集合データに基づいて断層画像データを構築するために処理された信号、及びこの集合データに基づいて構築された1枚の断層画像データ或いは断層画像の何れかのことをいい、本実施形態においては1枚の断層画像データのことをいう。構築された断層画像データは一次記憶部12に記憶される。
また、本実施形態においては、超音波プローブ50には、マーカー部材が固定されている。図3は、本開示の一実施形態であるマーカー部材が固定された超音波プローブ50を説明するための図である。なお、図3においては、マーカー部材の超音波プローブ50への固定箇所等は実際の形状とは異なり簡易的に図示されている。
超音波プローブ50は、図3に示すように、送受信部17と接続するケーブル51を有している。また、超音波プローブ50の外周面には、マーカー部材52が固定されている。マーカー部材52は、球状の3つのマーカー、すなわちマーカー52x、マーカー52y、及びマーカー52zと、軸方向が互いに直交するx軸、y軸、及びz軸の3軸とを備えている。3つのマーカー52x、マーカー52y、及びマーカー52zは、各々のマーカー中心52aを中心として、x軸、y軸、及びz軸の3軸の一端に設けられている。x軸、y軸、及びz軸の3軸の他端は、超音波プローブ50に設けられた支柱に設けられている。また、3つのマーカー52x、マーカー52y、及びマーカー52zは、例えば、異なる色が付されており、色によって識別可能である。
なお、本実施形態においては、マーカー部材52は、3つのマーカー52x、マーカー52y、及びマーカー52zで構成されるものとしたが、本開示の技術はこれに限られず、上記3つのマーカー以外のマーカーを使用してもよい。例えば4つ、5つ等のマーカーを使用してもよい。またマーカーの形状は球状に限られず、例えば直方体であってもよいし、円錐状であってもよいし、適宜変更することができる。
図2に示す撮像部60は、超音波プローブ50とマーカー部材52とを同一撮像範囲内に含めて撮像可能な位置に設置されている。図4は撮像部60により取得された画像の一例を示す図である。図4に示すように、撮像部60により取得された画像Dには、ユーザの手Hに把持され、被検体Mの体表面に当接する超音波プローブ50、及び超音波プローブ50に固定されたマーカー部材52が写っている。
図5は超音波プローブ50による撮像動作を説明するための図である。図5に示すように、ユーザが超音波プローブ50を被検体Mの体表面に当接させた状態で、超音波プローブ50を例えば矢印Sで示す方向に移動させることにより、異なる位置において撮像が行われる。こうした撮像が行われる異なる複数の撮像位置において、複数の2次元超音波画像Pが取得される。撮像位置は、撮像毎の超音波プローブ50の体表面上の位置である。2次元超音波画像Pは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。
図2に戻り、画像取得部21は、超音波プローブ50が各撮像位置で撮像した2次元超音波画像Pを取得する。2次元超音波画像Pは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。超音波プローブ50は、撮像した複数の2次元超音波画像P(断層画像)を一次記憶部12に出力する。画像取得部21は一次記憶部12から2次元超音波画像P(断層画像)を取得する。
撮像位置取得部22は、超音波プローブ50の撮像位置を取得する。具体的には、異なる各撮像位置において、撮像部60は超音波プローブ50及びマーカー部材52を撮像する。こうして得た超音波プローブ50及びマーカー部材52の撮像画像は一次記憶部12に出力される。撮像位置取得部22は、一次記憶部12から撮像画像を読み出す。そして、撮像位置取得部22は、読み出した撮像画像を画像解析することにより、撮像画像中のマーカー中心52aの位置、マーカー52x,52y,52zの位置、大きさ、及び傾きから、超音波プローブ50の撮像位置、及び向きの情報を導出する。撮像位置取得部22は、マーカー52x,52y,52zの各マーカーを色によって識別する。撮像位置取得部22は、こうした導出処理によって、撮像位置及び向きの情報を取得する。
図6は撮像画像中のマーカー部材52の移動を説明するための図である。超音波プローブ50が撮像位置T1及び撮像位置T2において2次元超音波画像Pを取得した場合、例えば図6に示すように、マーカー部材52は撮像画像において、矢印Tの方向に移動する。この場合、マーカー中心52aのx方向の移動量から、超音波プローブ50のx方向の位置が導出される。また、マーカー52x,52y,52zの大きさの変化量から超音波プローブ50のy方向の位置を導出する。また、マーカー52x,52y,52zのマーカー中心52aの移動軌跡から、マーカー部材52の回転量が検出される。そして、回転量に基づいて超音波プローブ50の向きが導出される。そして、導出した超音波プローブ50の撮像位置、及び向きの情報は、当該撮像位置において取得された2次元超音波画像Pに対応させて一次記憶部12に記憶される。なお、マーカー部材52を使用した超音波プローブ50の撮像位置及び向きの情報を取得する方法は、公知の技術を使用することができる。
3次元超音波画像生成部23は、画像取得部21が取得した2次元超音波画像P、及び、2次元超音波画像Pに対応させて一次記憶部12に記憶された超音波プローブ50の撮像位置、及び向きの情報を用いることにより、振動子アレイ50aの機械的走査の角度範囲あるいはストロークと電子的な走査範囲によって決定される空間に対する3次元超音波画像Vを生成する。なお、3次元超音波画像Vの生成方法については公知の技術を使用することができる。ここで、超音波プローブ50の撮像位置及び向きの情報を総称して、超音波プローブ50の位置情報という場合がある。
推定部24は、画像取得部21により取得された2次元超音波画像P及び3次元超音波画像生成部23により生成された3次元超音波画像Vの少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像P及び3次元超音波画像Vに対応する撮像部位を推定する。
撮像部位の推定方法としては、例えば、予め記憶された複数の撮像部位、例えば、血管(頸動脈、頸静脈等)、心臓、肝臓、腎臓、胆嚢、膵臓、胃、肺、膀胱、甲状腺、及び乳房等の一般的に検査される撮像部位にそれぞれ関連付けられた複数の照合パターンを予め用意しておく。そして、これら複数の照合パターンを用いて、生成された2次元超音波画像P又は3次元超音波画像Vを照合することで撮像部位を認識する方法(例えば、国際公開第2017/158998号に記載の技術)を使用することができる。また、2次元超音波画像P及び3次元超音波画像Vを入力とし、各々の2次元超音波画像P及び3次元超音波画像Vに対応する撮像部位を出力として学習された学習モデルを使用することにより、撮像部位を推定してもよい。
判定部25は、被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像P及び3次元超音波画像Vの少なくとも一方において、推定部24により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する。
ガイドラインにおいては、例えば、撮像部位が頸動脈である場合には、断層像による観察は、血管短軸断面と血管長軸断面の2方向で行い、観察領域は左右共に総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈で、観察可能な領域とすることが規定されている。また、観察領域は、必要に応じて外頸動脈、鎖骨下動脈、腕頭動脈、浅側頭動脈、及びそれらの分枝動脈なども含むことも規定されている。このように、ガイドラインにおいては、頸動脈といった被検体の部位毎に、観察領域内の総頸動脈及び頸動脈洞といった撮像すべき複数の撮像対象が規定されている。本実施形態においては、上記ガイドラインに基づいて、撮像部位毎に、予め撮影すべき複数の撮像対象のリストを作成して一次記憶部12に記憶させておく。
また、本実施形態においては、判定部25は、2次元超音波画像P及び3次元超音波画像Vに含まれる構造物を分類する。例えば、撮像部位が頸動脈である場合には、構造物は総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈等である。構造物の分類方法としては、一例として、撮像部位を複数のクラスに分類するために、2次元超音波画像Pについての教師データを用いて学習がなされたニューラルネットワークを使用した特開2018-139693号公報に記載の分類手段を使用することができる。判定部25は、このような構造物の分類を行うことにより、2次元超音波画像Pに含まれている撮像対象を認識する。
また、教師データとして、血管短軸断面と血管長軸断面の2方向で撮像された2次元超音波画像と、各々の2次元超音波画像がどちらの方向で撮像された画像であるかについての方向情報とを組とする教師データを用いることがきる。そしてかかる教師データを判定部25の分類手段を学習させることにより、2次元超音波画像Pにおける撮影方向についても分類することができる。
そして、判定部25は、2次元超音波画像Pに含まれる複数の撮像対象が、ガイドラインに適合しているか否かを判定する。具体的には、判定部25は、画像取得部21により取得された複数の2次元超音波画像Pに含まれる複数の撮像対象と、上述したリストに規定されている撮像すべき複数の撮像対象とを照合する。そして、判定部25は、照合結果に基づいて、推定部24により推定された撮像部位についてガイドラインに予め規定されている複数の撮像対象が全て撮像されているか否かを判定する。また、本実施形態においては、判定部25は、1つの撮像部位における複数の2次元超音波画像Pをすべて撮像した段階で、上記判定を行う。
第1報知部26は、判定部25において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する。なお、第1報知部26による報知は、例えば図示しない音声出力部によりアラームを鳴らすことにより報知してもよいし、表示部30に「撮像されていない撮像対象があります」と表示させてもよい。これにより、ユーザはガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できる。
また、第1報知部26は、撮像対象の有無に加えて、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を報知してもよい。例えば、ガイドラインにおいて規定されている複数の撮像対象が、第1撮像対象、第2撮像対象、第3撮像対象であり、第1撮像対象、第2撮像対象、第3撮像対象の順に並んでいるとする。そして、判定部25が、第2撮像対象が撮像されていないと判定したとする。この場合、第1撮像対象と第3撮像対象が各々に含まれる2枚の2次元超音波画像には、各々の撮像位置、すなわちマーカー部材52の座標位置情報が対応付けられている。そのため、判定部25は、マーカー部材52がどこに位置した場合に、どの撮像対象を撮像可能なのかを推定することができる。上記例では、判定部25は、第2撮像対象を撮像可能な撮像位置を推定する。
第1報知部26は、判定部25によって推定された、第2撮像対象を撮像可能な撮像位置として、マーカー部材52の位置を表示部30に表示させる。また、さらに、第1報知部26は、撮像位置に加えて、撮像位置における超音波プローブ50の向きを報知することができる。例えば、2方向で撮像された第1撮像対象、第2撮像対象、第3撮像対象が必要であるとガイドラインで規定されているとする。そして、判定部25が、第1方向の第2撮像対象が撮像されていないと判定した場合に、第1方向から撮像可能な超音波プローブ50の向きを報知する。
図7及び図8は各々第1報知部26による報知の一例を示す図である。図7においては、撮像部60によりリアルタイムで撮像されている画像が表示部30に表示されている。
第1報知部26は、図7に示すように、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を、点線の円などのマークで示し、かつ「撮像が粗いです」といったメッセージを表示させる。さらに、撮像すべき向きは、超音波プローブ50を模式的に示した簡易画像を用いて表示される。簡易画像には、撮像すべき向きに対応した超音波プローブ50の姿勢が示されている。これにより、ユーザは撮像すべき撮像対象が撮像可能な撮像位置及び向きを確認することができるので、超音波プローブ50を目的の位置まで容易に移動させることができる。
また、図8においては、超音波プローブ50によりリアルタイムで撮像されている2次元超音波画像が表示部30に表示されている。第1報知部26は、図8に示すように、ガイドラインに規定されているが、画像が粗い場合、点線の円を表示させ、かつ「撮像が粗いです」と表示させる。一般に、画像が粗い原因は、超音波プローブ50の深度方向への押し込み不足と考えられる。そのため、超音波プローブ50を深度方向に移動させる方向を表す矢印と超音波プローブ50の簡易画像とを表示させる。これにより、ユーザは超音波プローブ50の移動すべき方向を視認することができるので、超音波プローブ50を目的の位置まで容易に移動させることができる。
図2に戻り、表示制御部27は、超音波プローブ50により撮像された2次元超音波画像P及び3次元超音波画像Vの少なくとも一方を表示部30に表示させる。また、表示制御部27は、撮像部60により撮像された画像を表示部30に表示させる。なお、表示制御部27は1つの表示部30に超音波プローブ50により撮像された2次元超音波画像P及び3次元超音波画像Vの少なくとも一方と、撮像部60により撮像された画像とを表示させてもよいし、表示部30が2つある場合には、各々に表示させてもよい。
次いで、本実施形態において行われる処理について説明する。図9は本開示の第1の実施形態において行われる処理を示すフローチャートである。
画像取得部21は、ユーザが超音波プローブ50を被検体Mの体表面に当接させた状態で、超音波プローブ50を操作することにより撮像された2次元超音波画像Pを取得する(ステップST1)。この際、撮像位置取得部22は、超音波プローブ50の撮像位置を取得する。
次いで、取得した2次元超音波画像Pにおいて撮像部位を推定する(ステップST2)。撮像部位が推定できなかった場合(ステップST3;NO)には、CPU11は、ステップST1に処理を移行して、異なる位置において超音波プローブ50を操作することにより撮像された2次元超音波画像Pを取得し、以降の処理を行う。また、さらにAの処理を並行して行う。なお、Aの処理については後で説明する。
次いで、撮像部位が推定できた場合(ステップST3;YES)には、判定部25が、2次元超音波画像Pにおいて推定された撮像部位のガイドラインに規定された撮像対象とを照合する(ステップST4)。規定された撮像対象が全て撮像されている場合(ステップST5;YES)には、3次元超音波画像生成部23が画像取得部21により取得された2次元超音波画像Pと2次元超音波画像Pを撮像中の超音波プローブ50の撮像位置とに基づいて3次元超音波画像Vを生成して(ステップST6)、処理を終了する。
一方、規定された撮像対象が全て撮像されていない場合(ステップST5;NO)、すなわち、撮像されていない撮像対象がある場合には、第1報知部26が、撮像されていない撮像対象がある旨を報知する(ステップST7)。
次いで、画像取得部21が、超音波プローブ50を操作することにより撮像された2次元超音波画像Pを取得し(ステップST8)、CPU11は、ステップS4に処理を移行して以降の処理を行う。なお、上記撮像の際に、第1報知部26が上述したように、撮像されていない撮像対象が撮像可能な撮像位置を報知する。
次に、ステップST3にて、撮像部位が推定できなかった場合(ステップST3;NO)のAの処理について説明する。図10は本開示の第1の実施形態において行われるAの処理を示すフローチャートである。
図10に示すように、3次元超音波画像生成部23は、画像取得部21により取得された2次元超音波画像Pと2次元超音波画像Pを撮像中の超音波プローブ50の撮像位置とに基づいて3次元超音波画像Vを生成する(ステップST21)。そして、取得した3次元超音波画像Vにおいて撮像部位を推定する(ステップST22)。
次いで、判定部25が、3次元超音波画像Vで推定された撮像部位においてガイドラインに規定された撮像対象とを照合する(ステップST23)。規定された撮像対象が全て撮像されている場合(ステップST24;YES)には、処理を終了する。一方、規定された撮像対象が全て撮像されていない場合(ステップST24;NO)、すなわち、撮像されていない撮像対象がある場合には、第1報知部26が、撮像されていない撮像対象がある旨を報知する(ステップST25)。そして、CPU11は、図9のステップST8に処理を移行して、以降の処理を行う。
一般的に、2次元超音波画像Pにおいて撮像部位が推定できなかった場合であっても、3次元超音波画像Vにおいては撮像部位が特定することができることが知られている。そのため、2次元超音波画像Pにおいて撮像部位が推定できなかった場合に、3次元超音波画像Vにおいては撮像部位を特定することにより、判定部25は、撮像部位毎のガイドラインに基づいた撮像対象との照合を行うことができる。これにより、判定部25は、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定することができる。
なお、上記第1の実施形態においては、2次元超音波画像Pにおいて撮像部位が推定できなかった場合に、図10に示すAの処理を行ったが、本開示の技術はこれに限られない。2次元超音波画像Pにおいて撮像部位が推定できた場合であっても、図10に示すAの処理を行ってもよい。2次元超音波画像Pと3次元超音波画像Vの両方において、撮像部位を推定することにより、より高精度で撮像部位を推定することができる。
次に、第2の実施形態の3次元超音波撮像支援装置について説明する。第2の実施形態の3次元超音波撮像支援装置は、ガイドラインに基づいて、撮像部位毎に、予め撮影すべき複数の撮像対象を、撮像すべき順序に沿って並べたリストを作成し、一次記憶部12に記憶させておく。なお、第2の実施形態の3次元超音波撮像支援装置は、図1に示す第1の実施形態の3次元超音波撮像支援装置10と同じ構成とすることができる。そのため、ここでの説明は省略し、第2の実施形態の3次元超音波撮像支援装置について行われる処理についてのみ説明する。図11は本開示の第2の実施形態において行われる処理を示すフローチャートである。なお、図11のステップST31からステップST33の処理は、図9のステップST1からステップST3の処理と同じであるため、ここでの説明は省略する。
図11に示すように、ステップST33において、撮像部位が推定できた場合(ステップST33;YES)には、画像取得部21が2次元超音波画像Pを取得する毎に、判定部25は、取得された2次元超音波画像Pが、推定された撮像部位のガイドラインに規定された撮像対象の撮像順に沿って撮像されているか否かを照合する(ステップST34)。
規定された撮像順に従って撮像されていない場合(ステップST35;NO)、すなわち、撮像されていない撮像対象がある場合には、第1報知部26が、撮像されていない撮像対象がある旨を報知する(ステップST36)。
次いで、画像取得部21が、超音波プローブ50を操作することにより撮像された2次元超音波画像Pを取得し(ステップST37)、CPU11は、ステップS34に処理を移行して以降の処理を行う。なお、上記撮像の際に、第1報知部26が上述したように、撮像されていない撮像対象が撮像可能な撮像位置を報知する。
一方、規定された撮像順に従って撮像されている場合(ステップST35;YES)、判定部25は、規定された撮像対象が全て撮像されたか否かを判定する(ステップST38)。そして、撮像されている場合(ステップST38;YES)には、3次元超音波画像生成部23が画像取得部21により取得された2次元超音波画像Pと2次元超音波画像Pを撮像中の超音波プローブ50の撮像位置とに基づいて3次元超音波画像Vを生成して(ステップST39)、処理を終了する。
一方、規定された撮像対象が全て撮像されていない場合(ステップST38;NO)、すなわち、撮像されていない撮像対象がある場合には、第1報知部26が、撮像されていない撮像対象がある旨を報知し(ステップST36)、以降の処理を行う。
第2の実施形態においては、2次元超音波画像Pを取得する毎に、ガイドラインに規定されている撮像順に従って撮像が行われているか否かを判定し、撮像順に従って撮像が行われていない場合に、撮像順に従って撮像が行われていないことが報知される。そのため、ユーザは、現在の撮像位置と、1つ前の撮像位置との間に、撮像すべき撮像位置、すなわち、撮像対象が存在していることを認識することができるので、認識した時点で超音波プローブ50を進行方向とは逆方向に戻して上記撮像すべき位置において観察対象を撮像することができる。
以下、図面を参照して本開示の実施形態について説明する。図12は第3の実施形態による3次元超音波撮像支援装置を適用した、診断支援システムの構成を示す概略ブロック図である。なお、図12において、図1に示す診断支援システムと同じ構成については同じ符号で示してここでの説明は省略し、異なる箇所についてのみ説明する。
第3の実施形態の3次元超音波撮像支援装置10-3は、図12に示すように、速度検出部28と、第2報知部29とを備えている。速度検出部28は、撮像位置取得部22により取得された撮像位置に基づいて、超音波プローブ50が予め定められた速度で移動しているか否かを検出する。なお、撮像位置取得部22は、撮像部60により超音波プローブ50及びマーカー部材52が撮像された時間を記憶しておき、マーカー部材52の移動距離と撮像された時間とから超音波プローブ50の移動速度を検出する。
第2報知部29は、速度検出部28が、超音波プローブ50が予め定められた速度で移動していないことを検出した場合に、予め定められた速度で移動していないことを報知する。報知方法としては、例えば図示しない音声出力部によりアラームを鳴らすことにより報知してもよいし、表示部30に「予め定められた速度で移動していません」と表示させてもよい。これにより、超音波プローブ50が予め定められた速度で操作できているか否かを容易に確認できる。これにより、例えば速度が速すぎることにより、撮像すべき撮像位置において観察対象が撮像されない事態等を防ぐことができる。
本実施形態において、予め定められた速度は、推定部24によって撮像部位が推定されている場合には、推定された撮像部位毎に予め定められた速度とする。一方、推定部24によって撮像部位が推定されていない場合には、全ての撮像部位において予め定められた速度のうち、最も遅い速度を予め定められた速度とする。
次に、第3の実施形態の3次元超音波撮像支援装置について行われる処理について説明する。図13は本開示の第3の実施形態において行われる処理を示すフローチャートである。なお、図13に示す処理は、図9及び図10に示す第1の実施形態の処理、又は図11に示す第2の実施形態の処理と並行して行われる。
先ず、速度検出部28が超音波プローブ50の速度を検出する(ステップST41)。速度検出部28は、この時点において、推定部24が撮像部位を推定できているか否かを判定する(ステップST42)。撮像部位が推定できている場合には、速度検出部28は、検出した速度と、推定された撮像部位のガイドラインにおいて規定された速度とを照合する(ステップST43)。
一方、ステップST42において、撮像部位が推定できていない場合には、速度検出部28は、検出した速度と、全ての撮像部位において予め定められた速度のうち最も遅い速度とを照合する(ステップST44)。
そして、速度検出部28が、超音波プローブ50が予め定められた速度で移動していないことを検出した場合(ステップST45;YES)、第2報知部29は、超音波プローブ50が予め定められた速度で移動していないことを報知して(ステップST46)、処理を終了する。
一方、ステップST45において、速度検出部28が、超音波プローブ50が予め定められた速度で移動していることを検出した場合(ステップST45;NO)、CPU11は、ステップST41に処理を移行して、以降の処理を行う。
第3の実施形態においては、ユーザが、撮像部位毎に予め定められた速度で超音波プローブ50を操作できているか否かを知ることができる。これにより、ユーザは、撮像部位毎に適切な速度で超音波プローブ50を移動させることができる。
なお、上記実施形態においては、撮像位置取得部22は、撮像部60に超音波プローブ50及びマーカー部材52を撮像させて取得した撮像画像中のマーカー中心52aの位置、マーカー52x,52y,52zの位置、大きさ、及び傾きから、超音波プローブ50の撮像位置、及び向きの情報を導出しているが、本開示の技術はこれに限られない。
撮像位置取得部22は、例えばAR(Augmented Reality:拡張現実)マーカーを使用することにより超音波プローブ50の撮像位置、及び向きの情報を取得してもよい。ARマーカーは、決まったパターンの図形で構成された画像である。このARマーカーを超音波プローブ50の外周面に配設する。そして、撮像部60により撮像されたARマーカーを含む超音波プローブ50の画像データに基づいて、マーカーの位置及び向きを検出する公知のプログラムを使用することにより、ARマーカー、すなわち超音波プローブ50の撮像位置及び、向きの情報を取得するようにしてもよい。
また、マーカー部材52に替えて、超音波プローブ50本体に凸部及び凹部等を設け、この凸部及び凹部等をマーカーとすることにより、超音波プローブ50の撮像位置、及び向きの情報を導出してもよい。本開示の技術においては、超音波プローブ50の撮像位置、及び向きを規定するための指標とすることができるマーカーであれば、どのような形状及び形式であってもよく、特に限定されるものではない。
また、例えば、診断支援システム1は撮像部60及びマーカー部材52のかわりにセンサを備えることができる。
図14はセンサが設けられた超音波プローブを説明するための図である。なお、図14においては、センサの超音波プローブ50への取り付け方は実際の形状とは異なり簡易的に図示されている。
超音波プローブ50は、図14に示すように、超音波プローブ50の外周面に、センサ70が取付けられている。センサ70は、移動方向、向き、回転を検出することができ、さらに移動距離や移動速度などを算出することができる6軸センサである。前後、左右、上下の3方向を検出できる加速度センサと東西南北を検出できる地磁気センサ、または加速度センサと回転の速さを検出できるジャイロセンサを組み合わせることで、6軸センサが実現される。
撮像位置取得部22は、センサ70から出力された出力情報に基づいて撮像位置を取得することができる。
なお、上記実施形態においては、撮像部60及びマーカー部材52のかわりにセンサ70を設けたが、本開示の技術はこれに限られない。撮像部60及びマーカー部材52に加えてセンサ70を設けてもよい。この場合、センサ70は超音波プローブ50の撮像方向を検出するのに適しており、撮像部60に超音波プローブ50及びマーカー部材52を撮像させて取得した撮像画像から撮像位置を算出する方法は、超音波プローブ50の平行移動を検出するのに適している。そのため、撮像部60、マーカー部材52、及びセンサ70を使用することにより、撮像位置取得部22はより正確な撮像位置及び撮像方向を取得することができる。
また、上述した実施形態において、例えば、画像取得部21、撮像位置取得部22、3次元超音波画像生成部23、推定部24、判定部25、第1報知部26、表示制御部27、速度検出部28、及び第2報知部29といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
1 診断支援システム
10 3次元超音波撮像支援装置
11 CPU
12 一次記憶部
13 二次記憶部
14 外部I/F
15 3次元超音波撮像支援プログラム
16 バス
17 送受信部
21 画像取得部
22 撮像位置取得部
23 3次元超音波画像生成部
24 推定部
25 判定部
26 第1報知部
27 表示制御部
28 速度検出部
29 第2報知部
30 表示部
40 入力部
50 超音波プローブ
60 撮像部
70 センサ

Claims (11)

  1. 3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援装置であって、
    被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得する画像取得部と、
    撮像毎に前記超音波プローブの撮像位置を取得する撮像位置取得部と、
    前記画像取得部により取得された前記複数の2次元超音波画像と、前記撮像位置取得部により取得された撮像毎の前記撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、
    前記画像取得部により取得された前記2次元超音波画像及び前記3次元超音波画像生成部により生成された前記3次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、
    前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の2次元超音波画像及び前記3次元超音波画像の少なくとも一方において、前記推定部により推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定する判定部と、
    前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない前記撮像対象がある旨を報知する第1報知部と、を含む3次元超音波撮像支援装置。
  2. 前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、
    前記第1報知部は、前記ガイドラインに規定されているが、撮像されていない前記撮像対象を撮像可能な前記撮像位置を報知する請求項1に記載の3次元超音波撮像支援装置。
  3. 前記第1報知部は、前記撮像位置に加えて、前記撮像位置における前記超音波プローブの向きを報知する請求項2に記載の3次元超音波撮像支援装置。
  4. 前記ガイドラインには、前記部位毎に前記複数の撮像対象の撮像順も規定されており、かつ、前記複数の2次元超音波画像を用いて、前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを前記判定部が判定する場合において、
    前記判定部は、前記2次元超音波画像を撮像する毎に、前記ガイドラインに規定されている前記撮像順に従って撮像が行われているか否かを判定し、
    前記第1報知部は、判定結果に応じて報知を行う請求項2または3に記載の3次元超音波撮像支援装置。
  5. 前記撮像位置取得部により取得された前記撮像位置に基づいて、前記超音波プローブが予め定められた速度で移動しているか否かを検出する速度検出部と、
    前記速度検出部が前記超音波プローブが前記予め定められた速度で移動していないことを検出した場合に、前記予め定められた速度で移動していないことを報知する第2報知部とを含む請求項1から4何れか1項に記載の3次元超音波撮像支援装置。
  6. 前記速度検出部は、前記推定部により前記撮像部位が推定されている場合に、前記超音波プローブが推定された前記撮像部位毎に予め定められた速度で移動しているか否かを検出する請求項5に記載の3次元超音波撮像支援装置。
  7. 前記超音波プローブに固定されたマーカー部材と、
    前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
    前記撮像位置取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材を含む撮像画像に基づいて前記撮像位置を取得する請求項1から6何れか1項に記載の3次元超音波撮像支援装置。
  8. 前記超音波プローブに設けられる6軸センサを備え、
    前記撮像位置取得部は、前記6軸センサから出力された出力情報に基づいて前記撮像位置を取得する請求項1から6何れか1項に記載の3次元超音波撮像支援装置。
  9. 前記超音波プローブに固定されたマーカー部材、及び前記超音波プローブに設けられる6軸センサと、
    前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
    前記撮像位置取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材を含む撮像画像、並びに前記6軸センサから出力された出力情報に基づいて前記撮像位置を取得する請求項1から6何れか1項に記載の3次元超音波撮像支援装置。
  10. 被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得し、
    撮像毎に前記超音波プローブの撮像位置を取得し、
    取得された前記複数の2次元超音波画像と、取得された撮像毎の前記撮像位置とに基づいて3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援方法であって、
    取得された前記2次元超音波画像及び生成された前記3次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定し、
    前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の2次元超音波画像及び前記3次元超音波画像の少なくとも一方において、推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定し、
    前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する3次元超音波撮像支援方法。
  11. 3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援プログラムであって、
    被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得する画像取得部と、
    撮像毎に前記超音波プローブの撮像位置を取得する撮像位置取得部と、
    前記画像取得部により取得された前記複数の2次元超音波画像と、前記撮像位置取得部により取得された撮像毎の前記撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、
    前記画像取得部により取得された前記2次元超音波画像及び前記3次元超音波画像生成部により生成された前記3次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、
    前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の2次元超音波画像及び前記3次元超音波画像の少なくとも一方において、前記推定部により推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定する判定部と、
    前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない前記撮像対象がある旨を報知する第1報知部として、
    コンピュータを機能させる3次元超音波撮像支援プログラム。
JP2021524743A 2019-06-06 2020-05-20 3次元超音波撮像支援装置、方法、及びプログラム Active JP7104243B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019106448 2019-06-06
JP2019106448 2019-06-06
PCT/JP2020/019903 WO2020246238A1 (ja) 2019-06-06 2020-05-20 3次元超音波撮像支援装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020246238A1 JPWO2020246238A1 (ja) 2020-12-10
JP7104243B2 true JP7104243B2 (ja) 2022-07-20

Family

ID=73652813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524743A Active JP7104243B2 (ja) 2019-06-06 2020-05-20 3次元超音波撮像支援装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US12048592B2 (ja)
JP (1) JP7104243B2 (ja)
DE (1) DE112020002148T5 (ja)
WO (1) WO2020246238A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7300657B2 (ja) * 2021-11-05 2023-06-30 ビフレステック株式会社 超音波プローブの距離・傾き情報遠隔送信システム
WO2024173991A1 (en) * 2023-02-22 2024-08-29 Vause Medical Pty Ltd Method and system for providing guidance to a user performing a medical procedure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094577A1 (ja) 2015-12-02 2017-06-08 株式会社日立製作所 超音波撮像装置、および画像処理方法
JP2017519579A (ja) 2014-06-30 2017-07-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 解剖学的方向に応じた超音波アレイの並進
US20180150598A1 (en) 2016-11-30 2018-05-31 General Electric Company Methods and systems for compliance accreditation for medical diagnostic imaging
CN108634985A (zh) 2018-05-08 2018-10-12 广州尚医网信息技术有限公司 B超探头无盲区扫查方法和系统
WO2019101609A1 (en) 2017-11-21 2019-05-31 Koninklijke Philips N.V. Method and apparatus for guiding an ultrasound probe

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5681744A (en) 1979-12-03 1981-07-04 Obayashi Gumi Kk Soil permeating type equally water sprinkling apparatus
JPS6323335U (ja) 1986-07-24 1988-02-16
AU2012321147A1 (en) 2011-10-10 2014-04-17 Tractus Corporation Method, apparatus and system for complete examination of tissue with hand-held imaging devices
WO2014076931A1 (ja) 2012-11-15 2014-05-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム
EP2945542A1 (en) 2013-01-17 2015-11-25 Tractus Corporation Method, apparatus and system for complete examination of tissue with hand-held imaging devices having mounted cameras
JP6484389B2 (ja) 2016-03-14 2019-03-13 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP6956483B2 (ja) * 2016-11-16 2021-11-02 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び走査支援プログラム
JP6657132B2 (ja) 2017-02-27 2020-03-04 富士フイルム株式会社 画像分類装置、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519579A (ja) 2014-06-30 2017-07-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 解剖学的方向に応じた超音波アレイの並進
WO2017094577A1 (ja) 2015-12-02 2017-06-08 株式会社日立製作所 超音波撮像装置、および画像処理方法
US20180150598A1 (en) 2016-11-30 2018-05-31 General Electric Company Methods and systems for compliance accreditation for medical diagnostic imaging
WO2019101609A1 (en) 2017-11-21 2019-05-31 Koninklijke Philips N.V. Method and apparatus for guiding an ultrasound probe
CN108634985A (zh) 2018-05-08 2018-10-12 广州尚医网信息技术有限公司 B超探头无盲区扫查方法和系统

Also Published As

Publication number Publication date
WO2020246238A1 (ja) 2020-12-10
US12048592B2 (en) 2024-07-30
JPWO2020246238A1 (ja) 2020-12-10
US20220087652A1 (en) 2022-03-24
DE112020002148T5 (de) 2022-01-05

Similar Documents

Publication Publication Date Title
US10362941B2 (en) Method and apparatus for performing registration of medical images
JP5127371B2 (ja) 超音波画像診断システム、及びその制御方法
EP3013243B1 (en) Elastography measurement system and method
EP2807978A1 (en) Method and system for 3D acquisition of ultrasound images
EP2846310A2 (en) Method and apparatus for registering medical images
EP2656790A1 (en) Ultrasound image-generating apparatus and image-generating method
CN103919573A (zh) 病变诊断设备和方法
CN105392428A (zh) 用于映射超声剪切波弹性成像测量的系统和方法
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
JP7104243B2 (ja) 3次元超音波撮像支援装置、方法、及びプログラム
JP7267928B2 (ja) ボリュームレンダリングされる超音波画像
EP2944258B1 (en) Method and apparatus for registering medical images
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
JP2021029675A (ja) 情報処理装置、検査システム及び情報処理方法
US9545242B2 (en) Sensor coordinate calibration in an ultrasound system
US20210106314A1 (en) Method and systems for context awareness enabled ultrasound scanning
CN112022202A (zh) 用于确定超声探头运动的技术
CN112545551A (zh) 用于医学成像设备的方法和系统
CN117392109A (zh) 一种乳腺病灶三维重建方法及系统
EP2716230A1 (en) Ultrasound image-generating apparatus and ultrasound image-generating method
JP5677399B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP7261870B2 (ja) 超音波画像内のツールを追跡するためのシステム及び方法
CN104412123B (zh) 用于3d超声体积测量的系统和方法
JP6501796B2 (ja) 超音波画像のモデル・ベースのセグメンテーションのための取得方位依存特徴
JP7275261B2 (ja) 3次元超音波画像生成装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220707

R150 Certificate of patent or registration of utility model

Ref document number: 7104243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150