JP7008713B2 - 解剖学的特徴の超音波評価 - Google Patents

解剖学的特徴の超音波評価 Download PDF

Info

Publication number
JP7008713B2
JP7008713B2 JP2019542498A JP2019542498A JP7008713B2 JP 7008713 B2 JP7008713 B2 JP 7008713B2 JP 2019542498 A JP2019542498 A JP 2019542498A JP 2019542498 A JP2019542498 A JP 2019542498A JP 7008713 B2 JP7008713 B2 JP 7008713B2
Authority
JP
Japan
Prior art keywords
model
user
anatomical
touch screen
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019542498A
Other languages
English (en)
Other versions
JP2020507388A (ja
Inventor
トビアス ウィッセル
イリーナ ワチター‐ステール
フランク マイケル ウェーバー
アルネ エワルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020507388A publication Critical patent/JP2020507388A/ja
Application granted granted Critical
Publication of JP7008713B2 publication Critical patent/JP7008713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/462Displaying means of special interest characterised by constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427Device being portable or laptop-like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Hematology (AREA)
  • Architecture (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、関心のある解剖学的特徴の少なくとも断面を示す超音波画像上に、関心のある解剖学的特徴のモデルをマッピングし、マッピングされたモデルに従って前記超音波画像をセグメント化するプロセッサ装置を有する超音波画像処理装置に関する。
本発明は更に、そのような超音波画像処理装置を有する超音波イメージングシステムに関する。
本発明は更に、関心のある解剖学的特徴の少なくとも断面を示す超音波画像上に、関心のある解剖学的特徴のモデルをマッピングし、マッピングされたモデルに従って前記超音波画像をセグメント化するコンピュータ実現方法に関する。
本発明は更に、そのようなコンピュータ実現方法を実施するコンピュータプログラム製品に関する。
超音波は、心血管イメージングを含むがこれに限定されない多くの画像診断技術において重要な役割を果たす。これに関連して、診断及び治療計画は一般に、調査下の心臓の有意義な評価を容易にするために、心臓超音波画像内の心室、心房又は周囲の血管などの関連する解剖学的部位の明確な輪郭描写に頼る。歴史的に、左心室などの心腔の(ボリュームの)測定値は、心腔の心内膜境界をユーザのハンドトレースによって生成されてきた。そのようなトレースは、トレースをどこに位置付けるかを決定する際にさまざまなユーザが利用する基準の違いのために、かなりの変動を受ける。
このような望ましくない変動に対処するために、この評価プロセスは、解剖学的に知的なモデルベースのセグメンテーションを使用することによって自動化されており、かかるセグメンテーションにおいては、一般的な形状制約のある心臓モデルが、イメージングデータにフィットされる。例えば、そのような心臓モデルは、国際公報第2016/142204A1号パンフレットに開示されている。続いて心臓モデルは、調査下の心臓の解剖学的部位の関心のある寸法を得るために、例えばそのようなモデルをボリュメトリック画像にマッピングすることによって、超音波画像内のマッピングされた心臓構造をセグメンテーションアルゴリズムにかける助けとして使用されることができる。適切なセグメンテーションアルゴリズムは、O. Ecabert et al. in "Automatic Model-Based Segmentation of the Heart in CT Images", IEEE Transactions on Medical Imaging, 2008 (27), pages 1189-1201に記載されている。
セグメンテーションアルゴリズムの成功には、イメージングデータ、例えばボリュメトリック画像内の心臓モデルの正確な配置が必要である。この配置は一般に、回転、並進及びスケーリングのような基本座標変換を含むが、他の処理は、単一モデルコンポーネント(例えば心室又は心房)のアフィン変換又は個々異なる心臓病理を表す一組の平均形状からの選択(例えば拡張した形状又は正常な形状)も含む。いくつかの場合において、この自動配置プロセスの一部は、例えば、超音波画像品質の悪さ、又は超音波画像内の制限された視野(FoV)のために失敗する。
2つの典型的な例が図1と及び図2に示されている。図1では、かなり小さいサイズの心臓を示す画像データのために、左心室(LV)、右心室(RV)、左心房(LA)、及び右心房(RA)の解剖学的部位モデルを有する心臓モデル1の自動配置は、モデルスケール全体の誤った判断によって失敗し、その結果、心臓全体が、心臓モデル1の左心室モデルによって包まれている。図2において、超音波イメージングデータは、特に頂点において、かなり貧弱なイメージングコントラストと組み合わされた制限された視野を示す。その結果、変換パラメータが、撮像データ内の心臓モデル1の配置の自動プロセスによって誤って判断され、実際の右心室が、心臓モデル1の左側によっておおわれている。
心臓モデル1の配置がこのように失敗する場合、ユーザが、心臓モデル1を超音波画像内において正しい位置に手作業で配置しない限り、解析パイプラインが実施されることができないが、手作業によるモデル配置は、面倒で時間がかかりうる。これは、例えば、国際公開第2005/078666号パンフレットに開示されている。当業者に容易に理解されるように、このようなモデル配置問題は、心臓モデルに限定されず、関心のある他の解剖学的特徴のモデル、例えば臓器モデル、胎児モデルなどの配置にも同様に当てはまる。
本発明は、患者の心臓のような関心のある解剖学的特徴の少なくとも一部分を含む取得された超音波画像と心臓モデルとをユーザが一層容易にアラインすることを可能にする超音波画像処理装置を提供することを目的とする。
本発明は更に、そのような超音波画像処理装置を有する超音波イメージングシステムを提供することを目的とする。
本発明は更に、ユーザが心臓モデルを、患者の心臓のような関心のある解剖学的特徴の少なくとも一部を有する取得された超音波画像と一層容易にアラインすることを可能にするコンピュータ実現方法を提供することを目的とする。
本発明は更に、そのような方法を超音波画像処理装置上で実行するためのコンピュータプログラム製品を提供することを目的とする。
一態様によれば、患者の関心のある解剖学的特徴のモデルを、前記関心のある解剖学的特徴の少なくとも一部を示す超音波画像上にマッピングし、マッピングされたモデルに従って超音波画像をセグメントするように適応されるプロセッサ装置と、マッピングされたモデルを有する前記超音波画像を表示するように適応されるタッチスクリーンディスプレイと、を有し、前記プロセッサ装置は、タッチスクリーンディスプレイに応答し、ユーザタッチ動作の複数のタイプの中から、タッチスクリーンディスプレイを介して提供されたユーザタッチ動作のタイプを識別する処理であって、ユーザタッチ動作の各タイプが、前記マッピングの特定の変更に関連付けられている、処理と、識別されたタイプのユーザタッチ動作に従って前記マッピングを変更する処理とを行うように適応される、超音波画像処理装置が提供される。超音波画像とこの画像にオーバーレイする解剖学的モデルとを表示するタッチスクリーンディスプレイとのタッチインタラクションの使用は、不正確に位置付けられた解剖学的モデルがユーザに従って正確な位置に調整されることができる直感的且つ直接的な方法をユーザに提供し、それにより、自動ポジショニングに続いて、不正確に位置付けられた解剖学的モデルの効率的な調整を容易にするユーザフレンドリな超音波画像処理装置を提供することができる。好適な実施形態では、解剖学的モデルは、関心のある解剖学的特徴のかなりの部分又は関心のある解剖学的特徴の全体が撮像されているボリュメトリック(3D)超音波画像上にマッピングされるが、代替の実施形態では、かかるモデルは、例えば、ボリュメトリック画像からの画像スライス、又はスキャン方向に沿って取得された一連の2D画像からの画像スライスのような、2D超音波画像上にマッピングされる。
プロセッサ装置は更に、変更されたマッピングモデルに従って前記超音波画像をセグメント化するように適応されることができ、それゆえ、ユーザ補正が、セグメンテーションアルゴリズムによって得られる患者の解剖学的特徴の自動生成されるパラメータ測定の改善をもたらす。
モデルが複数の解剖学的コンポーネントを有する実施形態において、プロセッサ装置は、解剖学的コンポーネントを表示するタッチスクリーンディスプレイの領域とのユーザインタラクションに応答して、解剖学的コンポーネントの1つを選択し又は選択解除することにより、その後のジェスチャの適用を、選択されたコンポーネントに制限し、又はコンポーネントの選択解除の場合にはそのような制限を終了するように適応されることができる。この目的のために、プロセッサ装置は更に、タッチスクリーンディスプレイを通して提供される他のユーザタッチ命令に応答して、前記選択された解剖学的コンポーネントのマッピングを変更するように適応されることもできる。
解剖学的モデルが構成可能である実施形態において、プロセッサ装置は、タッチスクリーンディスプレイ上でユーザによって提供されるスワイプ動作に応答して、モデルの構成を選択するように適応され、それによってユーザが、拡張した心臓モデル、正常な心臓モデルなどの適切なモデルを直感的且つ直接的に選択することを可能にする。当然ながら、解剖学的モデルの前述の操作を生じさせるためにタッチスクリーン上に提供される他のタイプのユーザコマンドも同様に実現可能である。
超音波画像処理装置はワークステーションでありえ、又はタブレットコンピュータのような持ち運び可能な超音波画像処理装置でありうる。
別の態様によれば、本明細書に記載の実施形態のいずれかの超音波画像処理装置と、前記装置に超音波画像を提供するための超音波プローブと、を有する超音波イメージングシステムが提供される。このような超音波イメージングシステムは、上述のように超音波画像処理装置に超音波画像を提供することによって、解剖学的測定値及び/又はパラメータ測定値の正確な決定を容易にする。
別の態様によれば、患者の関心のある解剖学的特徴の少なくとも一部分を示す超音波画像からパラメータ測定値を抽出するコンピュータ実現方法であって、超音波画像上に関心のある解剖学的特徴のモデルをマッピングするステップと、ユーザタッチ動作の複数のタイプの中の、タッチスクリーンディスプレイからのユーザタッチ動作のタイプを受け取るステップであって、ユーザタッチ動作の各タイプが、前記マッピングの特定の変更に関連付けられている、ステップと、ユーザタッチ動作の前記タイプを識別するステップと、識別されたタイプのユーザタッチ動作に従って前記マッピングを変更するステップと、前記パラメータ測定値を抽出するために、前記変更されたマッピングモデルに従って前記超音波画像をセグメント化するステップと、を有するコンピュータ実現方法が提供される。そのような方法は、その方法を実施する超音波画像処理装置のユーザが、直感的且つ直接的な方法で超音波画像における解剖学的モデルのポジショニングエラーを補正することを可能にし、それによって改善されたユーザ経験を提供する。更に、そのようなタッチ動作は、解剖学的モデルの意図された変更に直接変換されることができる。
方法は更に、抽出されたパラメータ測定値をタッチスクリーンディスプレイ上に表示してそのような測定値をユーザに提供するステップを有することができる。
モデルが複数の解剖学的コンポーネントを有する実施形態において、本方法は更に、前記解剖学的コンポーネントを表示するタッチスクリーンディスプレイの領域とのユーザインタラクションに応答して、前記解剖学的コンポーネントの1つを選択し又は選択解除して、選択されたコンポーネントへのその後のジェスチャの適用を制限する又はコンポーネントの選択解除がされた場合にはそのような制限を終了するステップを有することができる。この目的のために、本方法は更に、タッチスクリーンディスプレイを通して提供される更なるユーザタッチ命令に応答して、前記選択された解剖学的コンポーネントのマッピングを変更するように適応されることができる。
モデルが構成可能である実施形態において、方法は更に、タッチスクリーンディスプレイ上でユーザによって提供されるスワイプ運動に応答してモデルの構成を選択するステップを有し、それによってユーザは、適切なモデル、例えば拡張した心臓モデル、正常な心臓モデルなどを選択することができる。
当然ながら、解剖学的モデルの前述の操作を生じさせるためにタッチスクリーン上に提供される他のタイプのユーザコマンドも同様に実現可能であることを再び述べておく。
更に別の態様によれば、本明細書に記載の実施形態のいずれかの超音波画像処理装置のプロセッサ装置上で実行される際に、プロセッサ装置に、本願明細書に記載の実施形態のいずれかによる方法を実行させるコンピュータ可読プログラム命令が具体化されたコンピュータ可読記憶媒体を有するコンピュータプログラム製品が提供される。そのようなコンピュータプログラム製品は、例えば、その上にコンピュータ可読プログラム命令をインストールすることによって既存の超音波画像処理装置を強化するために使用されることもできる。
本発明の実施形態は、添付の図面を参照して、非限定的な例によって一層詳しく説明される。
心臓超音波画像上の、不正確にマッピングされた心臓モデルの画像を示す図。 別の心臓超音波画像上の、不正確にマッピングされた心臓モデルの画像を示す図。 患者身体の一部をスキャンするために使用される超音波イメージングシステムの概略図。 アレイトランスデューサを有する超音波イメージングシステムの一実施形態を示す概略ブロック図。 本発明によるコンピュータ実現方法の例示的な実施形態を示すフローチャート。 本発明の例示の実施形態の一態様を概略的に示す図。 本発明の例示の実施形態の一態様を概略的に示す図。 本発明の例示の実施形態の一態様を概略的に示す図。 本発明の例示の実施形態の一態様を概略的に示す図。 本発明の例示の実施形態の一態様を概略的に示す図。
図面は、単に概略的なものであり、一定の縮尺で描かれていないことが理解されるべきである。更に、図面全体を通して、同じ又は同様の部分を示すために同じ参照番号が使用されていることが理解されるべきである。
図3は、超音波システム100、特に医用2次元(2D)又は3次元(3D)超音波イメージングシステムの概略図を示す。超音波システム100は、患者12の解剖学的部位のボリューム、特に患者の心臓のような解剖学的部位、を検査するために適用されることができる。これは、例えば、解剖学的部位に影響を与える状態の進行を追跡するために、或る時間期間にわたって解剖学的部位を監視することを含むことができる。超音波システム100は、超音波を送信及び/又は受信するための多数のトランスデューサ素子を有する少なくとも1つのトランスデューサアレイを備える超音波プローブ14を具備する。一例では、各トランスデューサ素子は、特定のパルス幅の少なくとも1つの送信インパルスの形で、特に複数の連続する送信パルスの形で、超音波を送信することができる。このような超音波プローブ14は、例えば患者12の胸部領域のような皮膚部分に適用されるプローブでありえ、又は代替として、経食道心エコー検査プローブでありうる。トランスデューサ素子は、例えば2次元医用イメージングの場合には1次元アレイで構成され、3次元超音波システム100の場合にはマルチプラナ又は3次元画像を提供するために2次元アレイで構成されることができる。3次元超音波システムの特定の例は、特に本願出願人のX6‐1又はX7‐2tTEEトランスデューサ、又は本願出願人のxMatrix技術を使用する別のトランスデューサと共に、本願出願人によって販売されるCX40コンパクトXtreme超音波システムでありうる。一般に、フィリップスのiE33システムに見られるようなマトリックストランスデューサシステム、又は例えばフィリップスのiU22及びHD15システムに見られる機械的な3D/4Dトランスデューサ技術が、本発明に関連して適用されることができる。
超音波プローブ14は、典型的には超音波画像処理装置10に通信可能に結合され、この結合は、無線結合又は例えば同軸ケーブルを通じた有線結合のような任意の適切なやり方で達成されることができ、この結合を通じて、超音波プローブ14の制御命令が、超音波画像処理装置10によって提供されることができる。このような超音波画像処理装置10は、超音波イメージングシステム100の専用ワークステーション又はコンソールのような任意の適切な形状をとることができ、あるいはパーソナルコンピュータ、ラップトップコンピュータ又はタブレットコンピュータのような汎用コンピューティング装置であり得、かかるコンピューティング装置には、超音波画像処理装置10として動作可能であるようにコンピューティング装置を構成するコンピュータプログラム製品がインストールされる。
超音波画像処理装置10は、超音波システム100を介した2次元又は3次元画像シーケンスの供給を制御する画像再構成ユニットを有するプロセッサ装置16を有することができる。以下に更に詳しく説明されるように、画像再構成ユニットは、超音波プローブ14のトランスデューサアレイを介したデータの取得だけでなく、超音波プローブ14のトランスデューサアレイによって受信された超音波ビームのエコーから2次元又は3次元の画像シーケンスを形成する信号及び画像の処理も制御することができる。
超音波システム100は更に、2次元又は3次元の画像又は画像シーケンスをユーザに表示するための表示装置18(以下、ディスプレイ18とも呼ばれる)を有することができる。ディスプレイ18は、超音波画像処理装置10の一体化した部分を形成することができ、又は超音波画像処理装置10に通信可能に結合されてもよい。ディスプレイ18は、以下に更に詳しく説明するように、タッチスクリーン19を有し、ユーザは、タッチスクリーン19を通じて、そこに表示される画像データである、例えば3Dボリュメトリック超音波画像の表示される2D画像若しくは2Dスライス、又は好適には患者12の関心のある解剖学的領域のボリュメトリック超音波画像のボリュームレンダリングされた表示画像、と対話することができる。患者の関心のある解剖学的領域は、本発明のいくつかの実施形態においては例えば患者の心臓である。任意の適切な種類のタッチスクリーン19が、ディスプレイ18において使用されることができる。
更に、キーボードなどのユーザインタフェース22と、トラックボール24などの他の入力装置とを備えることができる入力装置20が提供されることができる。入力装置20は、ディスプレイ18に接続され、又は画像再構成ユニット16に直接接続されることができる。超音波システム100は更に、データ記憶装置60、例えば1つ又は複数のメモリ装置、ハードディスク、光ディスクなどを有することができ、プロセッサ装置又は画像再構成ユニット16は、例えば後日、すなわち超音波画像データ取得の完了時に評価するために、画像フレーム及び画像フレーム処理データを記憶することができる。
図4は、超音波画像処理装置10のプロセッサ装置16を有する超音波システム100の概略ブロック図を示す。超音波プローブ14は、例えば、CMUTトランスデューサアレイ26を有することができる。トランスデューサアレイ26は、代替として、PZT又はPVDFなどの材料で形成される圧電トランスデューサ素子を有することができる。トランスデューサアレイ26は、2Dイメージングの場合は2次元で、又は3Dイメージングの場合は3次元でスキャンすることができる1次元又は2次元のトランスデューサ素子のアレイである。トランスデューサアレイ26は、CMUTアレイセル又は圧電素子による信号の送信及び受信を制御するプローブ内のマイクロビームフォーマ28に結合される。マイクロビームフォーマは、米国特許第5,997,479号(Savord他)、米国特許第6,013,032号(Savord)、及び米国特許第6,623,432号公報(Powers他)に記載されるように、トランスデューサ素子のグループ又は「パッチ」によって受信される信号の少なくとも部分的なビームフォーミングが可能である。
マイクロビームフォーマ28は、プローブケーブルによって送信/受信(T/R)スイッチ30に結合され、送信/受信(T/R)スイッチ30は、送信及び受信を切り替え、マイクロビームフォーマ28が使用されないとき、高エネルギー送信信号から主ビームフォーマ34を保護し、トランスデューサアレイ26は、主ビームフォーマ34によって直接操作される。マイクロビームフォーマ28の制御下にあるトランスデューサアレイ26からの超音波ビームの送信は、T/Rスイッチ30によってマイクロビームフォーマ28に結合されたトランスデューサコントローラ32によって、及び主システムビームフォーマ34によって指向され、主システムビームフォーマ34は、ユーザインタフェース又はコントロールパネル22のユーザ操作からの入力を受け取る。変換器コントローラ32によって制御される機能の1つは、ビームがステアリングされフォーカスされる方向である。ビームは、トランスデューサアレイ26から(それに直交するほうへ)まっすぐに、又はより広い視野において複数の異なる角度でステアリングされることができる。トランスデューサコントローラ32は、トランスデューサセルのアレイ用のDCバイアス制御器58を制御するように結合されることができる。DCバイアス制御器58は、変換器セル、例えばCMUTセルに印加されるDCバイアス電圧を設定する。
マイクロビームフォーマ26によって受信時に生成される部分的にビーム成形された信号は、主ビームフォーマ34に結合され、主ビームフォーマ34において、トランスデューサ素子の個々のパッチからの部分的にビーム成形された信号が、完全にビーム成形された信号に結合される。例えば、主ビームフォーマ34は、128個のチャネルを有することができ、その各々は、数十又は数百のCMUTトランスデューサセル又は圧電素子のパッチから、部分的にビーム成形された信号を受信する。このようにして、トランスデューサアレイ26の何千ものトランスデューサ素子によって受信された信号は、単一のビーム成形された信号に効率的に寄与することができる。
ビーム成形された信号は、信号プロセッサ36に結合され、信号プロセッサ36は、前述のプロセッサ装置の一部を形成することができる。信号プロセッサ36は、バンドパスフィルタリング、デシメーション、I及びQ成分分離、及び高調波信号分離のようなさまざまな方法で、受信エコー信号を処理することができる。高調波信号分離は、患者12の身体に予め投与された造影剤に含まれるマイクロバブル及び/又は組織から返される非線形(基本周波数の高調波)エコー信号の識別を可能にするために、線形信号と非線形信号を分離する働きをする。信号プロセッサ36は更に、スペックル低減、信号合成、及びノイズ除去のような追加の信号強調を実行することもできる。信号プロセッサ36内のバンドパスフィルタは、トラッキングフィルタとすることができ、その通過帯域は、エコー信号がより深い深さから受信されるとき、より高い周波数帯域からより低い周波数帯域にスライドし、それによって、より大きい深さからのより高い周波数におけるノイズを排除する。より大きい深さにおけるそれらの周波数は、解剖学的情報をもたない。
処理された信号は、Bモードプロセッサ38及びドップラプロセッサ40に転送されることができる。Bモードプロセッサ38は、体内の臓器の組織又は血管などの体内構造を像形成するために、受信した超音波信号の振幅の検出を利用する。身体構造のBモード画像は、米国特許第6,283,919号公報(Roundhill他)及び米国特許第6,458,083号公報(Jago他)に記述されるように、高調波画像モード又は基本画像モードのいずれか、あるいは両方の組み合わせにおいて形成されることができる。
ドップラプロセッサ40は、画像領域内の血球の流れなどの物質の動きを検出するために、組織の動き及び血流からの時間的に識別できる信号を処理することができる。ドップラプロセッサ40は通常、体内の選択された種類の物質から戻ってきたエコーを通過させる及び/又は拒絶するように設定され得るパラメータを有するウォールフィルタを有する。例えば、ウォールフィルタは、比較的低い速度の又はゼロ速度の物質からの比較的強い信号を排除するとともに、比較的速い速度の物質からの比較的低い振幅の信号を通過させる通過帯域特性を有するように設定されることができる。この通過帯域特性は、流れる血液からの信号を通過させるとともに、心臓の壁のような近くの静止している又は遅く動いている物体からの信号を排除する。逆の特性は、血流信号を拒絶するとともに、心臓の動いている組織からの信号を通過させることであり、これは、組織の運動をイメージングし、検出し、描写する組織ドップライメージングと呼ばれるものに関する。
ドップラプロセッサ40は、画像フィールド内の個々の異なる点からの時間的に離散したエコー信号のシーケンスを受信し処理することができ、特定の点からのエコーのシーケンスは、アンサンブルと呼ばれる。比較的短い間隔で高速に連続して受信されるエコーのアンサンブルは、流れる血液のドップラーシフト周波数を算出するために使用されることができ、速度に対するドップラ周波数の対応関係は、血流速度を示す。より長い時間期間にわたって受信されるエコーのアンサンブルが、より遅く流れる血液又は遅く動く組織の速度を算出するために使用される。
Bモードプロセッサ38及びドップラプロセッサ38、40によって生成された構造及び動きの信号は、次いで、スキャンコンバータ44及びマルチプレーンリフォーマッタ54に転送されることができる。スキャンコンバータ44は、空間関係をもつ受信されたエコー信号を、所望の画像フォーマットに配置する。例えば、スキャンコンバータ44は、エコー信号を2次元(2D)のセクタ形のフォーマット、又はピラミッド形の3次元(3D)画像に配置することができる。スキャンコンバータ44は、画像フィールド内のドップラ評価速度をもつ点における動きに対応する色を、Bモード構造画像に重ね合わせて、画像フィールド内の組織の動き及び血流を描くカラードップラ画像を生成することができる。
3Dイメージングシステムでは、マルチプラナリフォーマッタ54は、米国特許第6,443,896号公報(Detmer)に記載されるように、身体のボリュメトリック領域内の共通平面内の点から受信したエコーを、その平面の超音波画像に変換する。ボリュームレンダラ52は、米国特許第6,530,885号等(Entrekin他)に記載されるように、3Dデータセットのエコー信号を、所与の基準点から見た、ある時間にわたる投影3D画像シーケンス56に変換する。3D画像シーケンス56は、ディスプレイ18上に表示するための更なる強化、バッファリング及び一時記憶のために、スキャンコンバータ44、マルチプラナリフォーマッタ54、及びボリュームレンダラ52から画像プロセッサ42に転送される。
例えば、画像プロセッサ42は、心臓モデル1を、心臓の超音波画像、例えば2次元画像又は好適には3次元ボリュメトリック超音波画像(又はそのユーザ選択スライス)にマッピングするように、及び任意の適切なセグメント化アルゴリズム、例えば画像プロセッサ42によって実行されるセグメンテーションソフトウェアモジュールの一部を形成するセグメンテーションアルゴリズム、に従って心臓超音波画像をセグメント化するよう構成されることができる。この点において、画像プロセッサ42への言及は、画像プロセッサ42の機能が複数の協働するプロセッサによって提供される超音波画像処理装置10の実現形態もカバーすることを意図していることを理解されたい。例えば、そのような実現形態では、専用の心臓モデルマッピングプロセッサと専用のセグメンテーションプロセッサとが協働して、画像プロセッサ42の機能を実現することができる。
像形成又はイメージングのために使用されることに加えて、ドップラプロセッサ40によって生成される血流値及びBモードプロセッサ38によって生成される組織構造情報は、プロセッサ装置の一部を形成する定量化プロセッサ46に転送されることができる。この定量化プロセッサ46は、血流の体積率などのさまざまなフロー状態の測定、並びに臓器のサイズのような構造に関する測定及び妊娠期間などの測定を行うことができる。定量化プロセッサ46は、ユーザインタフェース22からの入力、例えば測定が行われるべき画像の解剖学的構造内の点、を受け取ることができる。
定量化プロセッサ46からの出力データは、グラフィックスプロセッサ50に転送されることができ、グラフィックスプロセッサ50は、ディスプレイ18上の画像を用いて測定のグラフィックス及び数値を再び生成するためのプロセッサ装置の一部を形成することができる。グラフィックスプロセッサ50は更に、超音波画像と共に表示するためのグラフィックオーバーレイを生成することができ、例えば、心臓モデル1がマッピングされる心臓超音波画像上への心臓モデル1のオーバーレイを生成することができる。これらのグラフィックスオーバーレイは、患者名、画像の日時、撮像パラメータのような標準的な識別情報を含むこともできる。これらの目的のために、グラフィックスプロセッサ50は、患者名などの入力をユーザインタフェース22から受け取ることができる。ユーザインタフェース22は、トランスデューサアレイ26からの超音波信号の生成、したがってトランスデューサアレイ及び超音波システムによって生成される画像の生成を制御するために、送信コントローラ32に結合されることができる。ユーザインタフェース22は更に、3Dイメージングシステムの場合にMPR画像の画像フィールド内で定量化された測定を実行するために使用されることができる複数のマルチプレーンリフォーマット(MPR)画像のプレーンを選択し制御するために、マルチプレーンリフォーマッタ54に結合されることができる。
定量化プロセッサ46は更に、以下で更に詳しく説明されるように、ディスプレイ18上に表示された心臓超音波画像への心臓モデル1のマッピングを調整するために、タッチスクリーン19を通してユーザタッチ命令を受け取るように構成されることができる。定量化プロセッサ46は、受け取ったユーザタッチ命令を解釈して、受け取ったユーザタッチ命令から心臓モデル1のマッピングの調整を抽出し、この調整を画像プロセッサ42に中継することができる。一般に、このような調整は、ディスプレイ18上に表示されるボリュメトリック画像が利用されている場合、そのようなボリュメトリック画像の現在のビュー平面を基準にする。画像プロセッサ42は、それに応じて心臓モデル1の心臓超音波画像への自動マッピングを調整し、再マッピングされた心臓モデル1に従って心臓超音波画像のセグメンテーションを実行するように構成されることができる。
代替として、画像プロセッサ42が、タッチスクリーン19に応答してもよく、タッチスクリーン19を介して提供されるユーザタッチ命令を解釈し、解釈されたユーザタッチ命令に従って心臓モデル1のマッピングを調整するように適応されることができ、それによって定量化プロセッサ46を迂回することができる。これは、タッチスクリーン19を介して提供されるこのようなユーザタッチ命令を解釈し、解釈されたユーザタッチ命令に従って心臓モデル1を再マッピングし、再マッピングされた心臓モデルに従って心臓の超音波画像のセグメンテーションを行うための超音波画像処理装置10の他のプロセッサ装置が企図され、当業者に直ちに明らかとなるであろうことが理解される。
上述の超音波システム100は、医用超音波画像処理装置10の適用のための1つの可能な例として説明されただけであることを再び述べておく。前述の超音波システム100は、上記で説明したコンポーネントのすべてを備える必要はないことに留意されたい。他方、超音波システム100は、必要な場合、他のコンポーネントを有することもできる。更に、上述した複数のコンポーネントは、必ずしもハードウェアとして実現される必要はなく、ソフトウェアコンポーネントとして実現されてもよいことに留意すべきである。複数の前述のコンポーネントは更に、共通のエンティティに含められることができ、又は単一のエンティティに含められることができ、図2に概略的に示されるように別々のエンティティとしてすべて実現される必要はない。
前述のように、超音波画像処理装置10は、LV、RV、LA及びRA解剖学的部位モデルを有する心臓モデル1を、一般に患者の心臓の断面図であるが必ずしもそうとは限らない患者12の心臓の画像を含む超音波画像、好ましくはボリュメトリック超音波画像に自動的にマッピングするように構成され、かかるマッピングは、例えば、国際公開第2016/142204号パンフレットに開示されるマッピングアルゴリズムを使用して実施される。そのような心臓モデルは、通常、心臓の一般的な構造レイアウト、3Dボリュメトリック超音波画像内で心臓ロケーションがどのように変化するか、異なる患者間で心臓の形状がどのように異なるか、超音波イメージングを使用して心臓がイメージングされる方法、に関する事前知識を利用するモデルベースのセグメンテーションアルゴリズムである。このような心臓モデルはそれ自体よく知られているので、心臓モデル1について単に簡潔さのために更に詳しくは説明しない。心臓モデル1としては、任意の適切な心臓モデルが使用され得ることを述べれば十分である。
そのようなマッピングののち、通常、例えば駆出率や心拍出量などのパラメータの測定値である心臓の測定値を自動的に得るために、マッピングされた心臓モデル1を用いた超音波画像の自動セグメンテーションが実施され、これは、心周期のさまざまな位相における心腔内の血液ボリュームが、心腔の2次元又は3次元画像内において輪郭描出されることを必要とする。
しかしながら、図1及び図2を参照して上記でより詳しく説明したように、心臓モデル1自体を患者の心臓の超音波画像上にマッピングするために心臓モデル1によって展開されるマッピングアルゴリズムは必ずしも成功するわけではなく、マッピングされた心臓モデル1による超音波画像の後続のセグメンテーションが、無意味な結果を生み出すことがある。そのような状況では、超音波画像処理装置10のユーザは、セグメンテーションアルゴリズムの実行前に心臓モデル1を超音波画像に対し手作業で再配置することにより、セグメンテーションアルゴリズムにより得られた測定値が臨床的に重要である、すなわち意味があるものにすることを確実にする必要がある。
本発明の実施形態によれば、超音波画像処理装置10は方法200を実行するように構成されており、方法200のそのフローチャートは、図5に示されている。この目的のために、超音波画像処理装置10のプロセッサ装置16は、方法200のさまざまな処理を実行するように構成されることができる。それらの処理のいくつかは既に上述されている。この方法200によれば、超音波画像処理装置10のユーザは、ディスプレイ18のタッチスクリーン19を通してタッチ命令を提供することができ、このタッチスクリーン命令は、心臓超音波画像上への心臓モデル1の自動化されたマッピングのためのマッピング調整命令として、プロセッサ装置16によって解釈される。
このために、方法200は、処理201において、タッチスクリーン19又はユーザインタフェース22を介して提供されるユーザ選択信号に応答して、取得された心臓超音波画像、例えばデータ記憶装置60から取り出された心臓超音波画像、を入力することから始まり、そののち、方法200は、203に進み、203において、心臓モデル1が、前述のような心臓超音波画像、例えばボリュメトリック画像にマッピングされる。マッピング位置に重ね合わされた心臓モデル1を有する心臓超音波画像が、処理203において決定され、処理205においてディスプレイ18に表示され、それにより、心臓モデル1が、心臓超音波画像上に正しくマッピングされているかどうかをユーザがチェックできるようにする。このチェックは、心臓モデル1と心臓超音波画像とのミスアライメントを示すユーザタッチ命令を、ユーザがタッチスクリーン19を介して提供しているかどうかをプロセッサ装置16がチェックする処理207によって表される。
例えば、ユーザは、例えばタッチスクリーン19をタップすることによって、心臓モデル1と心臓超音波画像とのミスアライメントを示す中断命令を与えることができ、これにより、209においてユーザがタッチスクリーン19を介してマッピング調整命令を提供するまで、自動処理、特に心臓超音波画像のセグメンテーションを停止する。マッピング調整命令は、211においてプロセッサ装置16によって解釈され、それに従って心臓モデル1を心臓超音波画像上に再マッピングするために使用される。典型的には、タッチスクリーン19を介して提供されるジェスチャは、ディスプレイ18上に表示されるような心臓モデル1のメッシュの空間表面情報を操作するためにプロセッサ装置16によって解釈され実行される。例えば、プロセッサ装置16は、タッチスクリーン19を介してユーザコマンドが提供されたかどうかを、例えば定められたサンプリングレートで定期的にチェックすることができ、そのようなユーザコマンドが検出された場合、このコマンドは直ちに解釈され、メッシュへの変換として適用される。そののち、方法200は205に戻り、205において、再マッピングされた心臓モデル1が心臓超音波画像上のオーバーレイとしてディスプレイ18上に表示され、それは、207においてユーザによって確認される。
以下では、各タイプのユーザタッチ動作がモデル1のマッピングの異なるタイプの変更に関連付けられる、いくつかのタイプのユーザコマンドの例を更に詳しく説明する。例示的なコマンドは網羅的なものではなく、心臓モデル1のような解剖学的モデルの他の処理、例えば操作を呼び出すための他のコマンドも企図されることを理解されたい。同等に、当業者には容易に理解されるように、以下に説明されるインタラクションとは異なるタイプのタッチインタラクションがそのような処理を呼び出すために使用されることができる。
例示の実施形態では、ユーザは、図6に概略的に示されるように、タッチスクリーン19を介して、心臓モデル1の並進命令3を提供することができる。ユーザは、非限定的な例として、心臓超音波画像の現在のビューイング面と平行である心臓モデル1の所望の並進方向に、1本又は複数の指をスライドさせることができ、プロセッサ装置16は、タッチスクリーン19におけるスライド運動の距離及び方向を、図6の左のペインに矢印で示すように、心臓超音波画像に対する心臓モデル1の並進距離及び方向に変換するように適応される。図6の右のペイン(「Correction(補正)」と示される)は、プロセッサ装置16によって実行されるような、このユーザタッチ命令に従って再マッピングされた心臓モデル1を示す。ユーザは、207において、例えば、タッチスクリーン19を介して他のタッチ命令を提供することを控えることによって、又は例えばタッチスクリーン19を介して若しくはユーザインタフェース22を介して行われるこの確認を示すユーザ命令を提供することによって、再マッピングされた心臓モデル1が心臓超音波画像上に適切にマッピングされていることを確認することができる。
別の例示的な実施形態において、ユーザは、図7に概略的に示されるように、タッチスクリーン19を介して心臓モデル1に回転命令3を提供することができる。これは、心臓モデル1と心臓超音波画像との回転のミスアライメントを補正するために使用されることができる。心臓モデル1のそのような回転再調整を呼び出すために、ユーザは、非限定的な例として、1本の指又は親指と人差し指のような複数の指でタッチスクリーン19上で回転運動を行うことができ、かかる回転運動は、プロセッサ装置16によって検出され、解釈されて、ユーザによって提供される回転運動の程度(角度)が、図7の湾曲した矢印によって示されるように、心臓超音波画像の現在のビューイング面の法線ベクトル軸の周りの回転運動の方向における、心臓モデル1の回転の程度(角度)に変換され、それにより、図7の右のペイン(「Correction(補正)」と示される)に示すように、回転された心臓モデル1が得られる。
別の例示的実施形態において、ユーザは、図8に概略的に示されるように、タッチスクリーン19を介して心臓モデル1に対するスケーリング命令3を提供することができる。これは、心臓の超音波画像、すなわち心臓の超音波画像に見える心臓の断面に対する心臓モデルの不正確なスケーリングを正しくするために使用されることができる。心臓モデル1のそのような再スケーリングを呼び出すために、ユーザは、非限定的な例として、心臓モデル1のサイズを縮小するために2本以上の指でつまむ動作を行い、タッチスクリーン19上の心臓モデル1のサイズを拡大するために2本の指で引き延ばす動作を行うことができる。前述のようにプロセッサ装置16は、タッチスクリーン19を介して受け取られたそのようなスケーリング命令を解釈し、図8の左のペイン内の矢印によって示されるような受け取られたスケーリング命令に従って心臓モデル1を再スケーリングし、その結果、図8の右のペイン(「Correction(補正)」と示される)に示されるような再スケーリングされた心臓モデル1'を与える。当業者には容易に理解されるように、拡大縮小の程度は通常、例えばタッチスクリーン19上の指の間でのつまみ又は引き伸ばしの量(距離)に対応する。
処理207において、ユーザがディスプレイ18に表示された心臓超音波画像上の心臓モデル1のマッピングを確認することが終えられると、方法200は213に進み、213において、心臓超音波画像が、プロセッサ装置16によって、上述した任意の適切なセグメンテーションアルゴリズムを用いてセグメント化される。その後、215において、セグメンテーション結果がディスプレイ18上に表示される。そのようなセグメンテーション結果は、例えば、ユーザがある期間にわたって、例えば1つ又は複数の心周期にわたって、心臓の性能を評価することを可能にするために、駆出率などの動的心臓パラメータの測定を含むことができる。
一実施形態では、超音波画像処理装置10は更に、心臓モデルの特定の解剖学的コンポーネントの選択又は選択解除のために、ユーザが心臓モデル1の一部を選択することを可能にするように適応される。これは図9に概略的に示される。例えば、ユーザは、図9の左のペイン内に実線で示すように、選択又は選択解除のために心臓モデル1の解剖学的コンポーネント2(ここでは左心房モデル)をタップして保持することができ、例えば、コンポーネントレベルにおいて、既に説明したタッチスクリーン19を介して提供されるユーザタッチ命令を使用して、すなわち、選択されたコンポーネント2の変換又は補正を容易にすることによって、心臓モデル1の変換又は修正を実行する。上述の選択は、図9の右ペイン(「Selection(選択)」と示される)に概略的に示される。解剖学的コンポーネント2が成功裏に選択されたことをユーザに知らせるために、選択された解剖学的コンポーネント2が、ディスプレイ18上で強調表示され、又は他のやり方で強調されることができる。同様に、そのような強調表示、その他は、解剖学的コンポーネント2の選択解除が成功裏に行われた際に終了されることができる。心臓モデル1の他の部分、例えば選択されていない他の解剖学的コンポーネントのマッピングは、通常、調査中の心臓超音波画像に対して凍結され又は固定されて、ユーザが選択された解剖学的コンポーネント2を選択的に操作できるようにする。これは、当業者によって理解されるように、固定され、又は更なるタッチジェスチャを使用して選択可能である影響半径の使用を含むことができる。
別の実施形態において、超音波画像処理装置10は更に、ユーザが、例えば拡張のような特殊な形状の心臓の解剖学的構造のような、異なる初期モード又は病状をスクロールにより選択することを可能にするように構成される。これは図10に概略的に示されている。例えば、ユーザは、タッチスクリーン19上でスワイプ動作3を行い、所望の心臓モデル1'に到達するまで、さまざまな異なる心臓モデル形状のライブラリをスクロールすることができる。所望の心臓モデル1'は、例えばスワイプ動作を終了させることによって、又は所望の心臓モデル1'上をタップすることによって、任意の適切な方法で選択することができ、こうして、図10の右のペイン(「Change Pathology(病状の変化)」と示されている)に示すように、この心臓モデルを選択する。
タッチスクリーン19を介して提供される前述のユーザタッチ命令はいずれも、心臓超音波画像の処理中、例えば心臓モデル1の心臓超音波画像へのマッピング中及びマッピングされた心臓モデル1に従う心臓超音波画像のその後のセグメンテーション中といった任意の時点に提供されることができ、本発明の教示から逸脱することなく、方法200のフローに対する変形が企図される。
更に、本発明の実施形態はセグメンテーションモデルの心臓へのマッピングの状況で説明されているが、本発明の教示は、セグメンテーションモデルが患者12の内臓、女性患者12内の胎児のような関心のある解剖学的特徴にマッピングされることができる他の任意の超音波イメージングアプリケーションにも等しく適用可能であることを理解されたい。
本発明の一態様によれば、コンピュータプログラム製品は、超音波画像処理装置10のプロセッサ装置16上で実行されるとき、プロセッサ装置16に、方法200の任意の実施形態を実行させるためのコンピュータ可読プログラム命令(コード)が組み込まれたコンピュータ可読記憶媒体を備えることができる。
1又は複数のコンピュータ可読媒体の任意の組み合わせが利用されることができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体でありうる。コンピュータ可読記憶媒体は、以下に限定されないが、例えば電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置、デバイス、又はそれらの任意の適切な組み合わせであり得る。そのようなシステム、装置又はデバイスは、任意の適切なネットワーク接続を介してアクセス可能であり得る。例えば、システム、装置又はデバイスは、ネットワークを介してコンピュータ可読プログラムコードを取得するために、ネットワークを介してアクセス可能であり得る。そのようなネットワークは、例えば、インターネット、移動体通信ネットワークなどであり得る。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)は、1又は複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ、メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、持ち運び可能なコンパクトディスク読み出し専用メモリ(CD‐ROM)、光記憶装置、磁気記憶装置、又はそれらの任意の適切な組み合わせを含みうる。本願の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用される又はそれらに関連して使用されるプログラムを有する又は記憶することができる任意の有形の媒体でありうる。
コンピュータ可読信号媒体は、例えばベースバンド又は搬送波の一部として、その中に具体化されるコンピュータ可読プログラムコードを有する伝搬データ信号を含むことができる。そのような伝搬信号は、電磁的、光学的、又はそれらの任意の適切な組み合わせを含むがこれらに限定されない、任意のさまざまな形態をとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、又はデバイスによって又はそれらと関連して使用されるプログラムを通信、伝播、又は伝送することができる任意のコンピュータ可読媒体でありうる。
コンピュータ可読媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、RFなど、又はこれらの任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を使用して送信されることができる。
プロセッサ装置上で実行されることによって本発明の方法を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++などのオブジェクト指向プログラミング言語及び例えば「C」プログラミング言語又は類似のプログラミング言語のような従来の手続き型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで書かれることができる。プログラムコードは、スタンドアロンのソフトウェアパッケージ、例えばアプリとしてプロセッサ装置上で完全に実行することができ、あるいはプロセッサ装置上で部分的に及びリモートサーバ上で部分的に実行されることができる。後者の場合には、リモートサーバは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介して超音波画像処理装置10に接続されることができ、又は例えばインターネットサービスプロバイダを使用してインターネット経由で、外部のコンピュータに接続することも可能である。
本発明の態様は、本発明の実施形態による方法、装置(システム)及びコンピュータプログラム製品のフローチャート図及び/又はブロック図を参照して上記で説明されている。フローチャート図及び/又はブロック図の各ブロック、並びにフローチャート図及び/又はブロック図のブロックの組み合わせは、超音波画像処理装置10のプロセッサ装置上で全体的又は部分的に実行されるコンピュータプログラム命令によって実施されることができ、そのような命令は、フローチャート及び/又はブロック図の1又は複数のブロックで指定される機能/動作を実施する手段を生成することが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶されることができ、超音波画像処理装置10に特定の方法で機能するように指示することができる。
コンピュータプログラム命令は、プロセッサ装置にロードされて、プロセッサ装置上で一連の動作ステップが実行されるようにすることができ、コンピュータ実施プロセスを生成することができ、プロセッサ装置上で実行される命令は、フローチャート及び/又はブロック図のブロック又は複数のブロックで指定された機能/動作を実施するためのプロセスを提供する。コンピュータプログラム製品は、超音波画像処理装置10の一部を形成することができ、例えば、超音波画像処理装置10にインストールされることができる。
上述の実施形態は、本発明を限定するのではなく例示するものであり、当業者は添付の特許請求の範囲から逸脱することなく多くの代替実施形態を設計することができることに留意されたい。請求項において、括弧内に示されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。「有する、含む(comprising)」の語は、請求項に記載されたもの以外の構成要素又はステップの存在を除外しない。構成要素に先行する「a」又は「an」の語は、そのような構成要素が複数存在することを除外するものではない。本発明は、いくつかの異なる構成要素を有するハードウェアによって実現されることができる。いくつかの手段を列挙する装置の請求項において、これらの手段のいくつかは、同一のハードウェアアイテムによって具体化されることができる。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

Claims (13)

  1. 関心のある解剖学的特徴の少なくとも一部を示す超音波画像上に、前記関心のある解剖学的特徴のモデルをマッピングし、前記マッピングされたモデルに従って前記超音波画像をセグメント化するプロセッサ装置と、
    前記マッピングされた解剖学的モデルを有する前記超音波画像を表示するように構成されるタッチスクリーンディスプレイと、
    を有し、
    前記プロセッサ装置は、前記タッチスクリーンディスプレイに応答し、ユーザタッチ動作の複数の規定されたタイプの中から、前記タッチスクリーンディスプレイを介して提供されるユーザタッチ動作のタイプを識別し、前記識別されたタイプのユーザタッチ動作に従って前記マッピングを変更するよう構成され、前記ユーザタッチ動作の各タイプが、前記マッピングの変更の特定のタイプに関連付けられている、超音波画像処理装置。
  2. 前記プロセッサ装置は、前記変更されたマッピングモデルに従って前記超音波画像をセグメント化する、請求項1に記載の超音波画像処理装置。
  3. 前記モデルは、複数の解剖学的コンポーネントを有し、前記プロセッサ装置は、前記解剖学的コンポーネントを表示するタッチスクリーンディスプレイの領域とのユーザインタラクションに応答して、前記解剖学的コンポーネントのうちの1つを選択し又は選択解除する、請求項1又は2に記載の超音波画像処理装置。
  4. 前記プロセッサ装置は更に、前記タッチスクリーンディスプレイを通して提供される他のユーザタッチ命令に応答して、前記選択された解剖学的コンポーネントのマッピングを変更する、請求項3に記載の超音波画像処理装置。
  5. 前記モデルは構成可能であり、前記プロセッサ装置は、前記タッチスクリーンディスプレイ上でユーザによって提供されるスワイプ動作に応答して、前記モデルの構成を選択する、請求項1乃至4のいずれか1項に記載の超音波画像処理装置。
  6. 前記超音波画像処理装置が、ワークステーション又は持ち運び可能な超音波画像処理装置である、請求項1乃至5のいずれか1項に記載の超音波画像処理装置。
  7. 請求項1乃至6のいずれか1項に記載の超音波画像処理装置と、前記超音波画像処理装置に前記超音波画像を提供するための超音波プローブと、を有する超音波イメージングシステム。
  8. 患者の関心のある解剖学的特徴の少なくとも一部を示す超音波画像からパラメータ測定値を抽出するコンピュータ実現方法であって、
    前記関心のある解剖学的特徴のモデルを前記超音波画像上にマッピングするステップと、
    ユーザタッチ動作の複数のタイプの中から、タッチスクリーンディスプレイからのユーザタッチ動作のタイプを受け取るステップであって、前記ユーザタッチ動作の各タイプが、前記マッピングの変更の特定のタイプに関連付けられている、ステップと、
    前記受け取られたユーザタッチ動作のタイプを識別するステップと、
    前記識別されたタイプの前記ユーザタッチ動作に従って、前記マッピングを変更するステップと、
    前記パラメータ測定値を抽出するために、前記変更されたマッピングモデルに従って前記超音波画像をセグメント化するステップと、
    を有するコンピュータ実現方法。
  9. 前記タッチスクリーンディスプレイ上に、前記抽出されたパラメータ測定値を表示するステップを更に有する、請求項に記載のコンピュータ実現方法。
  10. 前記モデルは、複数の解剖学的コンポーネントを有し、前記方法は、前記解剖学的コンポーネントを表示する前記タッチスクリーンディスプレイの領域とのユーザインタラクションに応答して、前記解剖学的コンポーネントのうちの1つを選択し又は選択解除するステップを更に有する、請求項8又は9に記載のコンピュータ実現方法。
  11. 前記方法は、前記タッチスクリーンディスプレイを介して提供される他のユーザタッチ命令に応答して、前記選択された解剖学的コンポーネントのマッピングを変更するステップを更に有する、請求項10に記載のコンピュータ実現方法。
  12. 前記モデルが構成可能であり、前記方法は、前記タッチスクリーンディスプレイ上でユーザによって提供されるスワイプ動作に応答して、前記モデルの構成を選択するステップを更に有する、請求項8乃至11のいずれか1項に記載のコンピュータ実現方法。
  13. 請求項1乃至6のいずれか1項に記載の超音波画像処理装置のプロセッサ装置上で実行される際、請求項8乃至12のいずれか1項に記載の方法を前記プロセッサ装置に実行させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を有するコンピュータプログラム製品。
JP2019542498A 2017-02-13 2018-02-12 解剖学的特徴の超音波評価 Active JP7008713B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17155776.2 2017-02-13
EP17155776.2A EP3360486A1 (en) 2017-02-13 2017-02-13 Ultrasound evaluation of anatomical features
PCT/EP2018/053400 WO2018146296A1 (en) 2017-02-13 2018-02-12 Ultrasound evaluation of anatomical features

Publications (2)

Publication Number Publication Date
JP2020507388A JP2020507388A (ja) 2020-03-12
JP7008713B2 true JP7008713B2 (ja) 2022-01-25

Family

ID=58046515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019542498A Active JP7008713B2 (ja) 2017-02-13 2018-02-12 解剖学的特徴の超音波評価

Country Status (5)

Country Link
US (1) US11484286B2 (ja)
EP (2) EP3360486A1 (ja)
JP (1) JP7008713B2 (ja)
CN (1) CN110300548A (ja)
WO (1) WO2018146296A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102144672B1 (ko) * 2020-01-17 2020-08-14 성균관대학교산학협력단 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법
US20220071595A1 (en) * 2020-09-10 2022-03-10 GE Precision Healthcare LLC Method and system for adapting user interface elements based on real-time anatomical structure recognition in acquired ultrasound image views

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518484A (ja) 2004-01-19 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 変形可能な表面のセグメント化のリアルタイムなユーザ対話処理
JP2009056202A (ja) 2007-09-03 2009-03-19 Hitachi Medical Corp 超音波診断装置
JP2015515312A (ja) 2012-03-26 2015-05-28 テラテク・コーポレーシヨン タブレット超音波システム
WO2016052355A1 (ja) 2014-10-01 2016-04-07 日立アロカメディカル株式会社 超音波画像処理装置
JP2016527018A (ja) 2013-07-25 2016-09-08 スミス アンド ネフュー インコーポレーテッド 骨の病理学的変形を治療するために外科的切除計画を作成する方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995015521A2 (en) 1993-11-29 1995-06-08 Perception, Inc. Pc based ultrasound device with virtual control user interface
US6575908B2 (en) 1996-06-28 2003-06-10 Sonosite, Inc. Balance body ultrasound system
US6283919B1 (en) 1996-11-26 2001-09-04 Atl Ultrasound Ultrasonic diagnostic imaging with blended tissue harmonic signals
US6458083B1 (en) 1996-11-26 2002-10-01 Koninklijke Philips Electronics N.V. Ultrasonic harmonic imaging with adaptive image formation
US6013032A (en) 1998-03-13 2000-01-11 Hewlett-Packard Company Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array
US6261234B1 (en) 1998-05-07 2001-07-17 Diasonics Ultrasound, Inc. Method and apparatus for ultrasound imaging with biplane instrument guidance
US5997479A (en) 1998-05-28 1999-12-07 Hewlett-Packard Company Phased array acoustic systems with intra-group processors
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US6468216B1 (en) 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
GB0219408D0 (en) * 2002-08-20 2002-09-25 Mirada Solutions Ltd Computation o contour
EP1799110B1 (en) * 2004-10-08 2015-12-23 Koninklijke Philips N.V. Ultrasonic imaging system with body marker annotations
WO2006040697A1 (en) 2004-10-12 2006-04-20 Koninklijke Philips Electronics, N.V. Ultrasound touchscreen user interface and display
CA2666313A1 (en) * 2006-10-10 2008-05-08 Cedara Software Corp. System and method for segmenting a region in a medical image
KR101027566B1 (ko) * 2008-11-17 2011-04-06 (주)메디슨 초음파 진단기 및 초음파 진단기에서의 명령 신호 생성 방법
US9330497B2 (en) * 2011-08-12 2016-05-03 St. Jude Medical, Atrial Fibrillation Division, Inc. User interface devices for electrophysiology lab diagnostic and therapeutic equipment
RU2587427C2 (ru) * 2010-07-30 2016-06-20 Конинклейке Филипс Электроникс Н.В. Улучшающий фильтр для конкретного органа для надежной сегментации медицинских изображений
US9877699B2 (en) 2012-03-26 2018-01-30 Teratech Corporation Tablet ultrasound system
US20130324850A1 (en) * 2012-05-31 2013-12-05 Mindray Ds Usa, Inc. Systems and methods for interfacing with an ultrasound system
US8951200B2 (en) * 2012-08-10 2015-02-10 Chison Medical Imaging Co., Ltd. Apparatuses and methods for computer aided measurement and diagnosis during ultrasound imaging
WO2014058929A1 (en) 2012-10-08 2014-04-17 Fujifilm Sonosite, Inc. Systems and methods for touch-based input on ultrasound devices
US10799209B2 (en) 2012-12-26 2020-10-13 Philips Image Guided Therapy Corporation Measurement navigation in a multi-modality medical imaging system
TWI659727B (zh) 2013-09-25 2019-05-21 美商德拉工業公司 平板電腦超聲波系統
KR102243032B1 (ko) * 2014-03-18 2021-04-21 삼성메디슨 주식회사 초음파 장치 및 초음파 장치의 측정 방법
US9710880B2 (en) * 2014-07-03 2017-07-18 Siemens Product Lifecycle Management Software Inc. User-guided shape morphing in bone segmentation for medical imaging
US20160081659A1 (en) * 2014-09-24 2016-03-24 General Electric Company Method and system for selecting an examination workflow
US10275142B2 (en) * 2014-10-29 2019-04-30 International Business Machines Corporation Managing content displayed on a touch screen enabled device
EP3215927A4 (en) * 2014-11-03 2018-07-04 Secured2 Corporation Secured data storage on a hard drive
JP7091069B2 (ja) 2015-03-10 2022-06-27 コーニンクレッカ フィリップス エヌ ヴェ ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518484A (ja) 2004-01-19 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 変形可能な表面のセグメント化のリアルタイムなユーザ対話処理
JP2009056202A (ja) 2007-09-03 2009-03-19 Hitachi Medical Corp 超音波診断装置
JP2015515312A (ja) 2012-03-26 2015-05-28 テラテク・コーポレーシヨン タブレット超音波システム
JP2016527018A (ja) 2013-07-25 2016-09-08 スミス アンド ネフュー インコーポレーテッド 骨の病理学的変形を治療するために外科的切除計画を作成する方法
WO2016052355A1 (ja) 2014-10-01 2016-04-07 日立アロカメディカル株式会社 超音波画像処理装置

Also Published As

Publication number Publication date
RU2019128541A (ru) 2021-03-16
WO2018146296A1 (en) 2018-08-16
JP2020507388A (ja) 2020-03-12
RU2019128541A3 (ja) 2021-06-16
US11484286B2 (en) 2022-11-01
EP3579757A1 (en) 2019-12-18
CN110300548A (zh) 2019-10-01
US20190374194A1 (en) 2019-12-12
EP3360486A1 (en) 2018-08-15
EP3579757B1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
EP3826544B1 (en) Ultrasound system with an artificial neural network for guided liver imaging
US20190066298A1 (en) System for monitoring lesion size trends and methods of operation thereof
US11992369B2 (en) Intelligent ultrasound system for detecting image artefacts
JP7010948B2 (ja) 胎児超音波撮像
JP7240405B2 (ja) 超音波画像から解剖学的測定値を取得するための装置及び方法
US11337677B2 (en) Volume rendered ultrasound imaging
JP7177870B2 (ja) 簡素化された3dイメージング制御を有する超音波イメージングシステム
US11627943B2 (en) Ultrasound imaging system and method for deriving depth and identifying anatomical features associated with user identified point or region
JP7008713B2 (ja) 解剖学的特徴の超音波評価
CN106028946B (zh) 用于监测病变尺寸趋势的系统及其操作方法
JP7313392B2 (ja) 最適な超音波式臓器セグメンテーション
RU2778840C2 (ru) Ультразвуковая диагностика анатомических особенностей
RU2782874C2 (ru) Интеллектуальная ультразвуковая система для обнаружения артефактов изображений
US20230355213A1 (en) Ultrasound image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210210

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220111

R150 Certificate of patent or registration of utility model

Ref document number: 7008713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150