JP7267928B2 - ボリュームレンダリングされる超音波画像 - Google Patents

ボリュームレンダリングされる超音波画像 Download PDF

Info

Publication number
JP7267928B2
JP7267928B2 JP2019551562A JP2019551562A JP7267928B2 JP 7267928 B2 JP7267928 B2 JP 7267928B2 JP 2019551562 A JP2019551562 A JP 2019551562A JP 2019551562 A JP2019551562 A JP 2019551562A JP 7267928 B2 JP7267928 B2 JP 7267928B2
Authority
JP
Japan
Prior art keywords
image
dimensional
interest
ultrasound
ultrasound image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019551562A
Other languages
English (en)
Other versions
JP2020511250A (ja
Inventor
エマヌエル モセ サージ アッティア
クリスティアン ロレンツ
デイヴィッド ニゲル ラウンドヒル
アラスデア ダウ
ベノア ジャン―ドミニク ベルトランド モーリス モリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020511250A publication Critical patent/JP2020511250A/ja
Application granted granted Critical
Publication of JP7267928B2 publication Critical patent/JP7267928B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physiology (AREA)
  • Pregnancy & Childbirth (AREA)
  • Gynecology & Obstetrics (AREA)
  • Primary Health Care (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、3D超音波画像から生体測定値を得るための超音波画像処理装置であって、3D超音波画像からボリュメトリック超音波画像をレンダリングし、レンダリングされる画像を表示するように表示装置を制御するように適合されるプロセッサ装置に通信可能に結合される表示装置を有する、超音波画像処理装置に関する。
本発明はさらに、そのような超音波画像処理装置を含む超音波システムに関する。
本発明はさらに、3D超音波画像からボリュメトリック超音波画像をレンダリングし、前記レンダリングされる画像を表示するように表示装置を制御するコンピュータ実行方法に関する。
本発明はさらに、そのような方法を超音波画像処理装置で実施するためのコンピュータプログラムに関する。
超音波は、限定されないが、胎児イメージングを含む多くの画像診断技術において重要な役割を果たす。超音波画像は、妊娠中に母親の子宮の胎児の発達を評価するために、例えば胎児の構造異常を検出するために日常的に使用される。臨床医が胎児の各々必要とされるビューの画像を取得する従来の方法は、母親の腹部に音響接触しながら、所望の解剖学的方向が2Dイメージングプローブの平面内になるまで超音波プローブを操作することにある。そのようなプロシージャで複数のビューを生成する場合、これらのビューの取得と分析とには高度なスキルが必要であり、更にプロシージャの間、胎児は動いているため異常を見逃すリスクがあり(たとえば、胎児の心エコー検査は操作者に大きく依存する)、臨床医は胎児が動くたびに胎児の方向を変える必要がある。
3次元(3-D)超音波画像取得の出現により、胎児の大きな体積をキャプチャし、患者(胎児)がリリースされた後でさえ、任意の時点で2Dビューの計算レンダリングを実行できるようになった。3D取得プロシージャは、胎児上で2D画像平面をゆっくりとスイープする(機械的ステアリング)か、胎児上で超音波ビームを電子的にステアリングすることで実行できる。その後、ユーザ主導の画像処理を使用して、キャプチャされる画像ボリュームの評価、つまり胎児の解剖学的構造の評価を行うことができる。そのため、3次元超音波画像の取得はオペレータに依存しにくく、たとえば胎児の検査に後続してさまざまな診断上の質問に答えるために、さまざまなビューに沿った画像ボリュームの評価を容易にする。
胎児の発達を分析するのに特に興味深いのは、いわゆる生体測定であり、これは胎児が例えば予想される許容範囲内で正しく発達しているかどうかを確認するために使用される。しかしながら、胎児の3次元ボリュームが超音波イメージングシステムの表示装置にイメージングされるボリュームレンダリングモードにおける3次元超音波画像の解釈が複雑であるために、ボリュームレンダリングモードでの3D超音波により、良好な術者間再現性を備えた2D超音波イメージングに匹敵する生体測定精度が得られることが実証されている「3次元超音波検査での妊娠19週から24週までの胎児の耳の長さの基準間隔」(J .Ultrasound Med 2011; 30:1185-1190)において Alan Roberto Hatanakaらによって提供されるエビデンスにもかかわらず、所望の平面、例えばこのような特徴に沿った平面で関心解剖学的特徴を視覚化する方が簡単であるため、2次元画像から取得されるとき、そのような測定の信頼性に対する信頼度がより高いので、多くの臨床医は2次元超音波画像のそのような生体測定の実行を好む。例えば、臨床医は、臨床医が関心解剖学的特徴が角度の下で視覚化され、臨床医による測定によって得られるその寸法の過小評価を引き起こすという事実に気づかないボリュメトリックビューで実行される測定のために、例えば胎児の骨等の関心解剖学的特徴の短縮のような効果を通じて不正確な生体測定値が得られることを懸念する。
その結果、現在の3次元(及び4次元)超音波イメージングは、期待される親に、発達中の子供、つまり胎児のリアル画像を提供するために広く使用されている。システムが診断目的で日常的に使用されていない場合、そのようなシステムに必要な投資は不当と見なされる可能性があるため、このような3D及び4D超音波イメージングシステムの医療施設への浸透は妨げられる。したがって、臨床医によるボリュームレンダリングされる3D画像の評価を容易にする必要がある。
欧州特許第3 106 096 A1号は、対象物を示す第1の超音波画像を表示するディスプレイと、第1の超音波画像の第1及び第2の深度を選択し、第1及び第2の深度に関する異なる3次元(3D)レンダリングプロパティを設定するためのユーザ入力を受信するユーザ入力デバイスと、設定される3Dレンダリング特性に基づいてオブジェクトの3Dボリュームを示す第2の超音波画像を生成するコントローラとを含み、ディスプレイはさらに、生成される第2の超音波画像を表示するように構成される、超音波診断装置を開示している。特に、不透明度の値、色、ROIの形状、又はフォーカスの程度は、深度に応じてユーザが設定できる。
本発明は、ボリュームレンダリングされる超音波画像からの正確な生体測定を容易にする超音波画像処理装置を提供する。
本発明はさらに、そのような超音波画像処理装置を含む超音波システムを提供する。
本発明はさらに、ボリュームレンダリングされる超音波画像からの正確な生体測定を容易にするコンピュータ実装方法を提供する。
本発明はさらに、超音波画像処理装置でそのような方法を実施するためのコンピュータプログラムを提供する。
一態様によれば、3D超音波画像から関心解剖学的特徴の生体測定値を取得するための超音波画像処理装置であって、3D超音波画像からボリュメトリック超音波画像をレンダリングし、表示装置を制御して、前記レンダリング画像を表示し、3D超音波画像及び関心解剖学的特徴を強調する複数のユーザ入力を受け取り、各入力は表示されるボリュメトリック超音波画像のピクセルに対応し、ボリュメトリック超音波画像における前記ピクセルのそれぞれの深度を推定し、前記推定される深度に沿って受信ユーザ入力に基づいてボリュメトリック超音波画像内の3D経路を定義し、定義される3D経路に基づいて処理操作を実行し、処理操作結果を表示するように表示装置を制御し、定義される3D経路に基づく処理操作は、3D経路の長さの測定、レンダリングされるボリュメトリック超音波画像の向きの再度の変更、及び定義される3D経路に基づいた3D超音波画像の2D画像スライスの生成のうちの少なくとも1つを有するように適合されるプロセッサ装置に通信可能に結合される表示装置を有する、超音波画像処理装置が提供される。
したがって、たとえば、タッチスクリーン表示装置の場合は表示装置の画面に触れることによって、又はボリュメトリック超音波画像内で関心解剖学的特徴を強調表示するためにマウス、トラックボールなどの適切なユーザインターフェイスを使用することによって、ユーザが多数の点、例えば、表示装置上の2つ以上の点を特定でき、画像内の3D経路を識別するために、レンダリングされるボリュメトリック超音波画像のコンテキストでユーザ特定点が超音波画像処理装置によって解釈され、プロセッサ装置は決定される3D経路に基づいて多数の操作の一つ又はそれより多くを実行する、超音波画像処理装置が提供される。たとえばプロセッサ装置は3-D経路の長さを決定し、ユーザが2つ(又はそれ以上)の点を特定して、これらの点によって識別される関心解剖学的特徴の測定値を取得する場合に有用であり、関心解剖学的特徴にマッピングされ、それによりこの解剖学的特徴の寸法、たとえば長さの正確な測定値が提供される。代わりに、3D経路は、レンダリングされるボリュメトリック超音波画像の向きを再度変更するように使用されるので、3D経路がレンダリングされるボリュメトリック超音波画像に沿って視野角に垂直になるように、又は視野角にアラインされ、それによってユーザにボリュメトリック超音波画像の内部の直観的な態様の向きを再度変えるオプション、例えば3-D経路のベースとなるユーザ特定点で特定される関心解剖学的特徴のビューを取得するオプションを提供することができる。特に好ましい処理オプションは、(再フォーマットされる)2D画像スライスがボリュメトリック超音波画像から抽出され、ユーザによる関心解剖学的特徴の解釈を容易にするために表示装置に表示されることである。好ましくは、2-D画像スライスは、関心解剖学的特徴、又は少なくともその実質的な部分が画像スライスの平面にあるように生成され、それにより、ユーザが手動でそのような測定を実行したい場合、関心解剖学的特徴の誤った生体測定のリスクは減らされる。
本発明の様々な実施形態は、通常、ボリュメトリック超音波画像が典型的には、テクスチャレンダリングで得られる特定の強度のアイソ表面、又はボリュメトリック超音波画像を通るビュー線が推定されるユーザ特定点に関連してユーザの視角を使用して取得される深度情報の形式で深度情報を含むという洞察に基づいているという共通点を有する。ビュー線は、ユーザ定義の点と一致する表示装置ピクセルのピクセル強度に最も貢献するボリュメトリック超音波画像の深度を見つけるために、このビューに沿って画像情報を取得するように使用され得る。このようにして、この3-D経路は、ボリュメトリック超音波画像内でキャプチャされる関心解剖学的構造の表面輪郭に沿って正確に作成されることができ、説明したように、3-D経路はボリュメトリック超音波画像で実行されるさらなる処理操作で利用することができる。
一実施形態では、プロセッサ装置は、2D超音波画像のシーケンスから3D超音波画像を生成するように適合されており、このシーケンスは、例えば、患者の体の輪郭などの軌跡に沿って、機械的又は電子ビームステアリングを通じて、又は超音波プローブの手動移動を通じてキャプチャされる。
一実施形態では、プロセッサ装置は、複数の接平面を、定義される3D経路の異なる領域に適合させることによって、定義される3D経路に最適な接平面を選択することによって、選択される接平面に従って2次元画像スライスを生成することによって、定義される3D経路に基づいて2D画像スライスを生成するように適合される。このようにして、ボリュメトリック超音波画像の2D画像スライスを3D経路に正確に位置合わせすることができる。
随意的に、選択される接平面は更に、レンダリングされるボリュメトリック超音波画像の現在のビュー方向にさらに基づいている。たとえば、超音波画像処理装置のユーザを混乱させる、レンダリングされるボリュメトリック超音波画像のビュー方向の突然の大きな変化を避けるために、現在のビュー方向の周りの定義されるビュー方向の範囲内の最適な平面を選択できる。
さらなる実施形態では、プロセッサ装置はさらに、生成される2-D画像スライス内で見える関心解剖学的特徴に生体測定を実行するように適合され、そのような生体測定を得るための完全に自動化されるプロシージャを提供するために、実行される生体測定の結果を表示するように表示装置を制御する。プロセッサ装置は、表示装置を制御して、生成される2-D画像スライスを前記結果とともに表示することにより、実行される生体測定の結果を表示するように表示装置を制御するように適合され得る。
生体測定値を取得するために、プロセッサ装置は、定義される3-D経路に関連する関心ボリュームを定義することにより、及び関心ボリューム内の関心解剖学的特徴を識別することによって、生成される2-D画像スライス内で見える解剖学的特徴に生体測定を実行するように適合され得る。これは、ユーザ特定点に関連付けられた関心解剖学的特徴を識別するための堅牢な方法である。
そのような自動化される生体測定では、例えば、ユーザが探している関心解剖学的特徴を特定したため、関心解剖学的特徴は先験的に知られている場合があり、その場合、関心解剖学的特徴の場合は、関心ボリューム内の既知の関心解剖学的特徴を識別するため、例えば画像フィルタ及び/又はセグメンテーションアルゴリズムを使用して、簡単な方法で、定義される関心ボリュームで識別される。ただし、ユーザがどの解剖学的特徴を探しているかわからないシナリオでは、プロセッサ装置は、複数の画像フィルタを関心ボリュームに適用することによって、及び前記適用によって得られたフィルタ結果に基づいて、関心解剖学的特徴を識別することによって、関心ボリューム内の関心解剖学的特徴を識別するように適合されることができる。このようにして、例えば、関心解剖学的特徴は、最高の信頼度で解剖学的特徴の認識をもたらすそれらのフィルタ結果を使用することにより、自動化される方法で識別されることができる。
別の態様によれば、本明細書に記載の実施形態のいずれかの超音波画像処理装置と、超音波画像処理装置に3次元超音波画像データを提供する超音波プローブとを備える超音波撮像システムが提供される。このような超音波プローブは、通常、機械的又は電子的ステアリングによって3D超音波画像をレンダリングできる2D超音波画像のシーケンスをキャプチャすることによって、3D超音波画像をキャプチャするための超音波プローブである。
さらに別の態様によれば、3D超音波画像から関心解剖学的特徴の生体測定値を取得するためのコンピュータ実装方法であって、3D超音波画像を受信するステップと、3次元超音波画像からボリュメトリック超音波画像をレンダリングし、表示装置を制御して前記レンダリング画像を表示するステップと、関心解剖学的特徴を強調する複数のユーザ入力を受信し、各入力は表示されるボリュメトリック超音波画像のピクセルに対応する、ステップと、ボリュメトリック超音波画像における前記ピクセルのそれぞれの深度を推定するステップと、前記推定される深度に沿って受信したユーザ入力に基づいて、ボリュメトリック超音波画像内の3次元経路を定義するステップと、定義される3D経路に基づいて処理操作を実行するステップと、処理操作結果を表示するように表示装置を制御し、定義される3-D経路に基づく処理操作は、3-D経路の長さの測定と、レンダリングされるボリュメトリック超音波画像の再配向と、定義される3D経路に基づく3D超音波画像の2D画像スライスの生成との少なくとも1つを有する方法が提供される。超音波画像処理装置の文脈で上記に説明したように、そのようなコンピュータ実装方法は、ユーザが生体測定を取得し、レンダリングされるボリュメトリック画像の向きを再度変え、又はタッチスクリーン、マウス、トラックボールなどのユーザインターフェイスを介して点を特定することによって、関心解剖学的特徴が直感的でわかりやすい方法でスライスの平面にある、2D画像スライスを選択することを可能にすることにより、臨床医又は超音波検査者などのユーザによるボリュメトリック超音波画像の解釈を容易にする。上で説明したように、この方法で、ボリュメトリック超音波画像内の輪郭表面などの特徴を正確にたどる3-D経路を構築することができる。
この方法は、上記で説明したように、2D超音波画像のシーケンスから3D超音波画像を生成するステップをさらに含むことができる。
定義される3-D経路に基づいて2-D画像スライスを生成するステップは、定義される3-D経路の異なる領域に複数の接平面を適合させるステップと、定義される3D経路に最適な接平面を選択するステップと、定義される3D経路と上述のように表示装置に表示される2D画像スライスとの間の良好なマッチを得るために、選択される接平面に従って2D画像スライスを生成するステップとを含んでもよい。そのような生成ステップは、超音波画像処理装置のユーザに混乱を与える、レンダリングされるボリュメトリック超音波画像のビュー方向の突然の大きな変化を回避するために、レンダリングされるボリュメトリック超音波画像の現在のビュー方向の周りの定義されるビュー方向の範囲内で最適な平面を選択するステップを随意に含む。
一実施形態では、コンピュータで実施される方法は、生成される2D画像スライス内で見える関心解剖学的特徴に生体測定を実行するステップと、表示装置を制御して、実行される生体測定の結果を表示するステップとをさらに含み、オプションとして、表示装置を制御して、実行される生体測定の結果を表示するステップは、表示装置を制御して、生成される2D画像スライスを前記結果とともに表示するステップを含み、それにより、レンダリングされるボリュメトリック超音波画像から正確な生体測定値を取得する完全に自動化方される方法を提供する。
生成される2次元画像スライス内に表示される関心解剖学的特徴に生体測定を実行するステップは、定義される3次元経路に関連する関心ボリュームを定義するステップと、上記のように関心解剖学的特徴を確実に識別するために、関心ボリューム内の関心解剖学的特徴を識別するステップとを含むことができる。
関心ボリューム内の関心解剖学的特徴を識別するステップは、関心ボリュームに複数の画像フィルタを適用するステップと、上記で説明したように未知の関心解剖学的特徴を認識するために、適用するステップにより得られたフィルタ結果に基づいて関心解剖学的特徴を識別するステップとを含んでもよい。
さらに別の態様によれば、本明細書に記載の実施形態のいずれかの超音波画像処理装置のプロセッサ装置上で実行されるとき、本明細書に記載の実施形態のいずれかの方法を実施させる、それとともに実施されるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を有するコンピュータプログラムが提供される。
本発明の実施形態は、添付の図面を参照して、非限定的な例としてより詳細に説明される。
動作中の例示的な実施形態による超音波撮像システムを概略的に示す。 図1の超音波撮像システムの一態様を概略的に示す。 本発明の超音波撮像システムの例示的な実施形態のブロック図を概略的に示す。 レンダリングされるボリュメトリック超音波画像の画像を示す。 本発明の例示的な実施形態に従ってユーザが関心点を特定したレンダリングされるボリュメトリック超音波画像の画像を概略的に示す。 本発明の例示的な実施形態に従ってユーザが特定した関心点に基づいてレンダリングされるボリュメトリック超音波画像の処理を概略的に示す。 本発明の例示的な実施形態に従ってユーザが特定した関心点に基づいてレンダリングされるボリュメトリック超音波画像から抽出される2-D画像スライスを概略的に示す。 本発明の例示的な実施形態による方法のフローチャートである。
図は単なる概略図であり、縮尺通りに描かれていないことを理解される。また、同じ又は類似の部品を示すために、図面全体を通して同じ参照番号が使用されることも理解される。
図1は、例示的な実施形態による超音波撮像システム100の概略図を示す。超音波撮像システム100は、解剖学的部位、特に胎児8を含む患者13の解剖学的部位のボリュメトリック領域を検査するために適用される。このようなボリュメトリック領域の3D画像は、撮像ボリュームとも呼ばれるが、そのような3D画像の2Dスライスはボリュームスライスとも呼ばれる。
超音波撮像システム100は、超音波を送信及び/又は受信するための多数のトランスデューサ素子を有する少なくとも1つのトランスデューサアレイを有する超音波プローブ10を備える。トランスデューサ素子は、好ましくは、前記領域の三次元超音波画像フレームが提供されるように、ボリュメトリック領域内で超音波ビームを電子的にステアリングするように構成される二次元(2D)アレイに配置される。代わりに、アレイは、三次元超音波画像フレームを提供するために、ボリュメトリック領域を通して機械的にステアリングされるように構成される一次元アレイ(1D)であってもよい。プローブ10は、特定の方向に超音波を送信し、超音波プローブ10の所定の3D画像フレームに対して視野6を形成する特定の方向から超音波を受信するように適合されている。3Dイメージングそれ自体はよく知られているため、これ以上詳細には説明されない。
図1に示す実施形態では、患者13は妊娠中の人であり、検査されるべき解剖学的実体は胎児8であり、その少なくとも一部は視野6に配置されている。
超音波撮像システム100は、制御ユニットなどの超音波画像処理装置200をさらに備え、これは通常、1つ以上の処理要素を含むプロセッサ装置210を備え、超音波システム100を介した超音波画像の提供を制御する。以下でさらに説明されるように、超音波画像処理装置200は、超音波プローブ10のトランスデューサアレイから超音波画像データを受信し、超音波システム100のボリュームレンダリングモードで胎児8の異なる超音波データセットから導出される合成三次元(3D)超音波画像、すなわちボリュームレンダリング画像を提供する。
超音波撮像システム100は、超音波画像処理装置200から受信される超音波画像を表示するための表示装置50をさらに含む。さらに、キー又はキーボードの任意の組み合わせ及び入力装置を含み、表示装置50及び/又は超音波画像処理装置200に直接接続されることができるユーザインターフェース120が提供される。そのような入力装置は、例えば、マウス、トラックボールなどを含むことができる。他の適切な入力装置は、当業者には直ちに明らかであろう。本出願の文脈において、ユーザは、トラックボール又はマウスなどの入力デバイスを動かすこと、キーをクリックすることなどにより、超音波画像処理装置200に翻訳命令を伝えることができる。いくつかの実施形態における翻訳命令は、ユーザによるトラックボール又はマウスなどの入力デバイスの動きに等しいことは理解される。三次元超音波システム100の特定の例は、出願人によって販売されているCX40コンパクトエクストリーム超音波システムであってもよい。一般に、フィリップスiE33システムに見られるようなマトリックストランスデューサーシステム、又は例えばフィリップスiU22及びHD15システムに見られる機械的3D / 4Dトランスデューサー技術は、本発明に関連して適用されることができる。
超音波画像処理装置200の例示的な実施形態は、図2により詳細に提供され、超音波画像処理装置200は、少なくともプロセッサ装置210及びデータ記憶装置220を含む。表示装置50は、超音波画像処理装置200とは別個であってもよく、超音波画像処理装置200の一部を形成してもよい。同様に、ユーザインターフェース120の少なくとも一部は、超音波画像処理装置200とは別個であってもよく、超音波画像処理装置200の一部を形成してもよい。
プロセッサ装置210は、図6に概略的に示される超音波撮像システムの例示的な実施形態における超音波画像プロセッサ30などの超音波画像プロセッサにおける空間合成によってデジタルエコー信号を処理する超音波画像プロセッサを含み、 以下でより詳細に説明される。データ記憶装置220は、1つ以上のメモリ装置を備えてもよく、それらは個別のメモリ装置であってもよく、プロセッサ装置210の一部を形成してもよい。例えば、データ記憶装置220は、合成画像メモリユニットを含んでもよく、超音波画像プロセッサの一部を形成するか、又は超音波画像プロセッサから分離されてもよい。合成画像メモリは、3Dフレームストレージバッファとして実装でき、同時に読み書きできるデュアルポートメモリとして実装できる。そのようなR / Wメモリの使用により、超音波プローブ10のトランスデューサアレイ及びビームフォーマ(以下により詳細に説明する)によって新たに取得される3D超音波画像フレームをR / Wメモリの1つの領域に書き込むことが可能になるが、以前にメモリに保存された他の3D画像フレームのデータは読み出され、分析される。メモリへの新しいスライス画像データの書き込みは書き込みアドレスコントローラによって制御されるが、メモリ内の他の場所からのスライス画像データの読み出しは読み出しアドレスコントローラの制御下にあり、それによってリアルタイムの画像解析と合成が容易になる。当然のことながら、そのような複合画像メモリユニットは、その取得の完了時、例えば患者の調査の後のイメージングボリュームの評価のために等しく使用されてもよい。
図3は、超音波撮像システム1の例示的な実施形態を概略的に示し、超音波画像処理装置200は、例えば適切なケーブルなどを使用して超音波トランスデューサアレイ11を含む超音波プローブ10が通信可能に結合されるユーザコンソールとして提供される。しかしながら、超音波イメージングシステム1の少なくとも一部は分散されてもよいことが理解されるべきであり、例えばリモートサービス、特に、これらの要素が超音波トランスデューサアレイ10でキャプチャされる超音波データの処理のために展開されることを当業者は理解する要素として提供されてもよい。
特に図3は、例えば超音波、例えば超音波パルスの生成及び例えば画像診断のための超音波エコー、例えばパルスエコーの受信のために超音波トランスデューサアレイ11とインターフェースし、それを制御するために展開され得る電子機器の例示的な実施形態のブロック図を概略的に示す。これらの電子機器の少なくとも一部は、プロセッサ装置210によって具現化され得る。したがって、これらの電子機器は異なる参照番号で識別されるが、これは必ずしもこれらの電子機器がプロセッサ装置210と異なることを意味するものではないことは理解される。
超音波トランスデューサアレイ11はマイクロビームフォーマ12に結合されてもよく、いくつかの実施形態では超音波プローブ10に配置され、超音波トランスデューサアレイ11の超音波トランスデューサセル111による信号の送信及び受信を制御する。マイクロビームフォーマは、例えば、米国特許US 5,997,479(Savordら)、US 6,013,032(Savord)、及びUS 6,623,432(Powersら)に記載されているように、トランスデューサ素子タイルのグループ又は「パッチ」によって受信される信号の少なくとも部分的なビーム形成をすることができる。マイクロビームフォーマ12は、プローブケーブル、例えば同軸ワイヤによって端末、例えばユーザコンソール装置などの超音波画像処理装置200に結合され、この装置は、送信モードと受信モードとを切り替え、マイクロビームフォーマが存在しないか、使用されておらず、トランスデューサアレイがメインシステムビームフォーマ20によって直接操作されているとき、メインビームフォーマ20を高エネルギー送信信号から保護する送信/受信(T / R)スイッチ16を備えてもよい。
マイクロビームフォーマ12の制御下での超音波トランスデューサアレイ11からの超音波ビームの送信は、T / Rスイッチ16及びメインシステムビームフォーマ20によってマイクロビームフォーマに結合されるトランスデューサコントローラ18によって方向付けられ、コントロールパネル38を介してユーザインタフェース120のユーザ操作から入力を受信する。トランスデューサコントローラ18によって制御される機能の1つは、ビームがステアリングされ、フォーカスされる方向である。ビームは、トランスデューサアレイからまっすぐ前方に(直交して)、又はより広い視野のための異なる角度でステアリングされる。トランスデューサコントローラ18は、超音波トランスデューサアレイ110の電圧源45を制御するように結合され得る。例えば、電圧源45は、CMUT(容量性マイクロマシン超音波トランスデューサ)要素を崩壊モードで動作させるように、CMUTアレイ11のCMUT要素111に印加されるDC及びACバイアス電圧を設定し得るが、周知のように、本発明の実施形態はCMUTベースの超音波プローブ10に限定されず、任意の適切な超音波プローブは本発明の超音波イメージングシステム1で使用されることができることを理解すべきである。トランスデューサ制御装置18は、例えば臨界温度に達する超音波トランスデューサセル130を示す温度センサ信号に応答して、超音波トランスデューサセル130を低電力モードにスイッチするために電圧源45を制御するようにさらに適合され得る。
マイクロビームフォーマ12によって生成される部分ビーム形成信号は、メインビームフォーマ20に転送され、トランスデューサ素子の個々のパッチからの部分ビーム形成信号は完全なビーム形成信号に結合される。例えば、メインビームフォーマ20は128チャネルを有し、その各々は、数十又は数百の超音波トランスデューサセル111のパッチから、及び/又はそのような超音波トランスデューサセル111の個々の超音波トランスデューサ素子から、部分的にビーム形成される信号を受信する。このようにして、超音波トランスデューサアレイ100の数千のトランスデューサ素子によって受信される信号は、単一のビーム形成信号に効率的に寄与することができる。
ビーム形成される信号は、前述のようにプロセッサ装置210の一部を形成する信号プロセッサ22に結合される。信号プロセッサ22は、バンドパスフィルタ処理、デシメーション、I及びQ成分分離、並びに組織及びマイクロバブルから返される非線形(基本周波数の高次高調波)エコー信号の識別を可能にするように線形信号と非線形信号とを分離する役割を果たす高調波信号分離のようなさまざまな方法で受信エコー信号を処理することができる。信号プロセッサ22は、オプションとして、スペックル低減、信号合成、及びノイズ除去などの追加の信号強調を実行してもよい。信号プロセッサ22のバンドパスフィルタはトラッキングフィルタとすることができ、エコー信号が、増加する深度から受信されるので、その通過帯域が高い周波数帯域から低い周波数帯域にスライドし、それにより、これらの周波数が解剖学的情報を持たないより大きな深度から高い周波数のノイズを除去する。
処理される信号は、Bモードプロセッサ26及びオプションでドップラープロセッサ28に転送されてもよく、それぞれはプロセッサ装置210の一部を形成してもよい。Bモードプロセッサ26は、体内の器官及び血管の組織など、体内の構造のイメージングのために、受信超音波信号の振幅の検出を使用する。体の構造のBモード画像は、例えば、米国特許第6,283,919号(ラウンドヒルら)及び米国特許第6,458,083号(ジャゴら)に記載されているように、高調波画像モード又は基本画像モード又は両方の組み合わせで形成され得る。
ドップラープロセッサ28は、存在する場合、画像フィールド内の血球の流れなどの物体の動きを検出するために、組織の動き及び血流から時間的に異なる信号を処理する。通常、ドップラープロセッサは、体内の選択した種類の物質から返されるエコーを通過及び/又は除去するように設定できるパラメーターを備える壁フィルタを有する。たとえば、壁フィルタは、低速又はゼロの速度の物質からの相対的に強い信号を除去する一方、高速の物質からの相対的に低い振幅の信号を通過させる通過帯域特性を持つように設定できる。
この通過帯域特性は、血液からの信号を通過させるが、心臓の壁などの動きの遅い物体又は近くの静止している物体からの信号を除去する。逆特性は、心臓の移動組織からの信号を通過させるが、組織のドップラーイメージングと呼ばれる血流信号を除去し、組織の動きを検出し、描写する。ドップラープロセッサは、画像フィールド内の異なる点からの時間的に不連続なエコー信号のシーケンスを受け取り、処理することができ、特定の点からのエコーのシーケンスはアンサンブルと呼ばれる。相対的に短い間隔で迅速に連続して受信されるエコーのアンサンブルは、流れる血液のドップラーシフト周波数を推定するために使用されることができ、ドップラー周波数は血流速度を示す速度に対応する。長時間にわたって受信したエコーのアンサンブルは、低速の血流又は低速で移動する組織の速度を推定するために使用される。Bモード(及びドップラー)プロセッサによって生成される構造及び動き信号は、スキャンコンバータ32及び多平面リフォーマッタ44に結合される。スキャンコンバータ32は、エコー信号を、それらが所望の画像形式で受信される空間関係において配置する。たとえば、スキャンコンバータは、エコー信号を2次元(2D)のセクタ形フォーマット、又はピラミッド形の3次元(3D)画像に構成することができる。
スキャンコンバータは、画像フィールド内の点の動きに対応する色でBモード構造画像をドップラー推定速度でオーバーレイして、画像フィールド内の組織と血流の動きとを表すカラードップラー画像を生成できる。多平面リフォーマッタ44は、例えば米国特許第6,443,896号(Detmer)に記載されているように、体のボリュメトリック領域の共通平面の点から受信されるエコーをその平面の超音波画像に変換する。米国特許第6,530,885号(Entrekinら)に記載されているように、ボリュームレンダラ42は、3Dデータセットのエコー信号を、所与の基準点から見た投影3D画像に変換する。
2D又は3D画像は、スキャンコンバータ32、多平面リフォーマッタ44、及びボリュームレンダラ42から、画像ディスプレイ50での表示のためのさらなる強調、バッファリング及び一時記憶のための画像プロセッサ30に結合される。画像プロセッサ30は、プロセッサ装置210の一部を形成してもよく、さらに、上記で説明したようにボリュームスライスの視覚化を制御するように適合されてもよい。イメージングに使用されることに加えて、ドップラープロセッサ28によって生成される血流値及びBモードプロセッサ26によって生成される組織構造情報は、定量化プロセッサ34に結合される。定量化プロセッサは、器官の大きさ及び在胎齢などの構造的測定とともに、血流の体積率のような異なる流量条件の測定値を生成する。定量化プロセッサは、測定が行われる画像の解剖学的構造の点など、ユーザコントロールパネル38からの入力を受信することができる。
定量化プロセッサからの出力データは、ディスプレイ50上の画像とともに測定グラフィックス及び値を再現するためのグラフィックスプロセッサ36に結合される。グラフィックスプロセッサ36は、超音波画像で表示するためのグラフィックオーバーレイも生成できる。これらのグラフィックオーバーレイには、患者名、画像の日付と時刻、イメージングパラメータなどの標準的な識別情報を含めることができる。これらの目的のために、グラフィックスプロセッサは、患者名など、コントロールパネル38からの入力を受け取る。
ユーザインターフェース120は、トランスデューサアレイ11からの超音波信号の生成、したがって、トランスデューサアレイ11及び超音波システム1によって生成される画像の生成を制御するために送信コントローラ18に結合されてもよい。ユーザインターフェース120は、 MPR画像の画像フィールドにおいて定量化される測定を実行するために使用され得る複数の多平面再フォーマット(MPR)画像の平面の選択及び制御のための多平面リフォーマッタ44にも結合される。当業者には直ちに明らかであるように、超音波撮像システム100の上述の機能の少なくとも一部にプロセッサ装置210を埋め込むことができる。
本発明の実施形態によれば、超音波画像処理装置200のプロセッサ装置210は、方法500を実施するように適合されており、そのフローチャートが図5に示されている。言い換えれば、方法500は、超音波画像処理装置200などの計算能力を備える装置上で実施されるという意味で、コンピュータで実施される方法である。
本発明の実施形態によれば、超音波画像処理装置200のオペレータは、いわゆるボリュームレンダリングモードで装置を操作することができ、この装置は、超音波システム100の超音波プローブ10でキャプチャされる2D画像スライス又は3D超音波画像から、表示装置50に表示するためのボリュメトリック画像をレンダリングし、これらの画像スライスは、前述の機械的又は電子的ステアリングを展開する超音波プローブ10を使用してキャプチャされる。レンダリングされるボリュメトリック画像は通常、胎児8などの関心解剖学的物体を含むが、本発明の教示は胎児超音波に限定されず、臨床医が、例えば、患者の心臓、脳のような検査中の患者13の関心器官のような解剖学的物体の関心特徴の生体測定のような診断評価を実行することを望む、任意の関心解剖学的物体の超音波イメージングに適用できることを理解すべきである。
一実施形態では、プロセッサ装置210は、方法500の操作501で3次元超音波画像又は2次元超音波画像のシーケンスを受信し、例えば患者13の検査の完了時などに、超音波プローブ10でキャプチャされる超音波画像データのオフライン評価の場合、そのデータは超音波プローブ10からリアルタイムに受信され、又は代わりにデータ記憶装置220から検索されることができる。プロセッサ装置210は次に、ボリュメトリック超音波画像をレンダリングするために、方法500の操作503でこの画像データを処理する。これは、プローブ10で生成される2D超音波画像フレームのシーケンスの場合、受信されるシーケンスから3D超音波画像を生成することによって先行され得る。直接ボリュームレンダリング、表面レンダリング、最大又は最小強度投影レンダリングなどの任意の適切なタイプのボリュームレンダリングを展開できる。そのようなレンダリング技術はそれ自体よく知られているので、簡潔さだけのためにそれらをさらに詳細には説明しない。プロセッサ装置210は、表示装置50を制御して、レンダリングされるボリュメトリック超音波画像300を表示する。ここでも、そのような制御は、当業者にとって完全に日常的なものであり、それ故に簡潔にするためにさらに詳細には説明しない。
図4は、そのようなボリュームレンダリング画像300の画像を示しており、関心解剖学的物体、ここでは胎児8がキャプチャされている。たとえば、最適なビューで関心解剖学的特徴を評価するため、及び/又は関心解剖学的特徴の生体測定を実行するため、ユーザは、関心解剖学的オブジェクトの特定の特徴、例えば2-Dモードでのこのオブジェクトの解剖学的構造の一部のビューを取得することに興味がある。この目的のために、ユーザは、関心解剖学的特徴又は少なくともその実質的な部分、例えばその断面がこの生成される2Dスライスの平面内にある、ボリュメトリック超音波画像300の2Dスライスを生成することを望む。しかしながら、ユーザがそのようなレンダリングされるボリュメトリック超音波画像300からそのような2Dスライスを取得することは簡単ではない。
本発明の実施形態では、図3に概略的に示すように、関心解剖学的特徴、又はこの特徴とアラインされると予想される少なくとも一つのビューを強調するために、ユーザは、ボリュメトリック超音波画像300内にいくつかの点303を特定することができる。破線は、この解剖学的特徴又はビューを示すユーザ特定点303を接続する。ユーザは、任意の適切な方法で2つ以上の点303を特定してもよい。使用の容易さ及び表示装置50との直感的な相互作用のために特に好ましいのは、表示装置50が、ボリュメトリック超音波画像300が表示されるタッチスクリーンを備え、それにより、例えば、タッチスクリーン上の所望の軌跡を指で動かすことにより、又はタッチスクリーン上の離散点をタップすることにより、ユーザが2つ以上の点303を特定するために単にタッチスクリーンに触れることができることである。しかしながら、点303を等しく特定する代替方法が考えられ得る。例えば、ユーザは、マウス、トラックボールなどのコントローラを使用して、表示装置50の画面上でカーソル、十字線又は他の適切な位置識別子を移動させることができ、その場合、ユーザは、選択されるべき点の位置における位置識別子を点選択コマンドに提供することにより、2つ以上の点303を特定することができ、この点選択コマンドは、例えばコントローラ又はキーボードなどの別のユーザインターフェイス上のボタンなどを介して、任意の適切な方法で提供される。ユーザが点303を選択できる任意の適切な態様を展開できることは理解される。
方法500の操作505において、例えば、表示装置50及び/又は点303を選択するためにユーザによって使用されるユーザインターフェース120などのユーザインターフェースとの通信を介して、プロセッサ装置210は、ユーザが選択した点303を受信し、プロセッサ装置210がユーザ選択点303を処理してこれらの各点をボリュームレンダリングされる超音波画像300内の特定の位置にリンクする。ボリュームレンダリングされる超音波画像300では、表示装置50に表示されるレンダリング結果の画像の各ピクセルは通常、ボリュームレンダリング画像300に関する深度情報、例えば深度マップに関連する。例えば、ボリュームレンダリング画像300は、ボリュームレンダリング画像300を生成するために処理される2-D画像スライス内のピクセル強度情報から導出されるアイソ表面301を示すので、ボリュームレンダリング画像300内のどの深度でユーザの視野角又は画像のビュー線がアイソ表面301と一致するかは知られている。代わりに、転送テーブルが使用されるシナリオでは、このようなビュー経路に沿った画像情報の統合は、そのビュー経路と一致するピクセルに主に寄与する深度値を推定するために使用されることができる。
方法500の操作507において、図6に概略的に示されるように、プロセッサ装置210は、この深度情報を使用して、ボリュメトリック超音波画像300内の3D経路307を定義し、非限定的な例では、3D経路307は胎児8の脚の一部の外側輪郭に後続し、上述のように、それは超音波画像処理装置200のユーザによって定義される多数の点303から導出され、この装置のプロセッサ装置210は、ユーザ特定点303のそれぞれを、ボリュメトリック超音波画像300内の決定される深度の位置にマッピングする。プロセッサ装置210は、3D経路307を識別するために任意の適切なアルゴリズム、例えば、ノイズのあるボリュメトリック画像又はアーチファクトを含むボリュメトリック画像において意味のある3D曲線を得るために回帰又は外れ値抑制アルゴリズムを展開するように適合される。
一実施形態では、プロセッサ装置200は、表示装置50を制御するように適合されるので、3D経路307がボリュームレンダリングされる超音波画像300内に表示され、それにより、ユーザビジュアルフィードバックがもたらされ、それに基づいて、ユーザは、3D経路307がプロセッサ装置210によって適切に定義されているかを決定し、この場合、方法は操作509に進むことができ、又はそれに基づいて、ユーザは、3D経路307の改良が必要であることを決定することができ、その時点でユーザは表示装置50と相互作用して、例えば以前に定義された点303の1つ以上を変更することにより、又は他の適切な方法で3D経路307の位置決めを調整する。
ここで、本発明の2つの主要な実施形態をより詳細に説明する。これは、操作509によって図8に示され、2つの主要な実施形態のうちの1つが選択される。しかしながら、操作509は明確にするためだけに含まれており、操作507の後に続く主な実施形態を決定することは決して必要ではないことは理解される。方法500を呼び出す前、又は方法500の実行中の任意の適切な時点でどの主な実施形態に従うかを決定することも同様に可能である。
第1の主要な実施形態では、ユーザは、プロセッサ装置210に依存して、3D経路307に関連する関心解剖学的特徴の自動生体測定を実行することを望む。これは操作509でチェックされ、ユーザがそのような自動生体測定に依存することを望む場合、方法500は操作511に進み、プロセッサ装置210は3D経路307に関連する関心ボリューム309を定義する。そのような関心ボリューム309は3D経路307のまわりに規定される。いくつかの実施形態では、関心ボリューム309は、3D経路307の中心に置かれなくてもよいが、3D経路307から定義されてもよく、この経路からのボリュメトリック超音波画像300の部分に延在することができ、例えば3次元経路307が関心解剖学的対象の(体)表面を区切る場合、関心ボリューム309内の関心解剖学的特徴311を検出する可能性が高まる。関心ボリューム309は、例えば、円形断面を有する管状形状などの任意の適切な形状を有することができ、この管状形状は、前述のように3D経路307に従う。当業者には明らかであるように、関心ボリューム309の他の形状も同様に考えられ得る。
関心ボリューム309が定義されると、操作513においてこのボリューム内の関心解剖学的特徴311を識別するために、プロセッサ装置210によって関心ボリューム309を調査することができる。これは、例えば、適切な画像フィルタ又はそのような関心解剖学的特徴311を識別するように適合されるセグメンテーションアルゴリズムを使用して達成することができる。そのような画像フィルタ及びセグメンテーションアルゴリズムは、当業者には周知であり、したがって、簡潔さのためだけにさらに詳細には説明されない。残りの部分では、画像フィルタが参照されるが、これはセグメンテーションアルゴリズムもカバーすることを意図することは理解されるべきである。
ユーザがどの解剖学的特徴311に関心があるかが明らかな場合、関心ボリューム309内のこの解剖学的特徴311を検出するための適切な画像フィルタが展開され得る。例えば、ユーザが胎児の大腿骨の長さなどの関心解剖学的特徴311を特定した場合、胎児の大腿骨検出のための画像フィルタはプロセッサ装置210によって展開されてもよい。代わりに、ユーザがどの解剖学的特徴311に興味があるかが一見不明である場合、プロセッサ配置210は、異なる解剖学的特徴311を検出するために複数の画像フィルタを展開し、解剖学的特徴311が最高の信頼度で識別されたフィルタリング結果を選択することができ、これは、適用された画像フィルタと解剖学的特徴311との間のベストマッチを示している。
関心ボリューム309内で解剖学的特徴311を識別できない場合、関心ボリューム309を再スケーリングすることができ、その断面サイズが増加し、その後操作513が繰り返される。そのような反復の定義される回数の後、解剖学的特徴311がまだ識別できない場合、ユーザに警告信号又はメッセージが提示されてもよく、例えばメッセージが表示装置50に表示される。関心解剖学的特徴311が特定されると、プロセッサ装置210は、任意の適切な方法で、操作515で特定される関心解剖学的特徴311の生体測定を実行することができる。そのような自動化される生体測定はそれ自体よく知られており、したがって簡潔さのためだけにさらに詳細には説明されない。これは、関心解剖学的特徴311の長さ、厚さ、又は断面測定値などの任意の適切な生体測定値であり得る。
生体測定の完了後、又は代わりに前述の操作511、513、515が省略されるように関心解剖学的特徴の手動生体測定が実行されるべきであることをユーザが示した第2の主な実施形態に後続して、方法500は、図7に概略的に示されるように、構成される3D経路307に基づいてプロセッサ装置210が2D画像スライス400を生成する操作517に進み、プロセッサ装置210は、表示装置50を制御して、生成される2D画像スライス400を操作519で表示するように適合されている。2D画像スライス400は、好ましくは、関心解剖学的特徴311(存在する場合)が2-D画像スライス400の平面内にあるように、3D経路307に対して接線方向に配置される。言い換えると、プロセッサ装置210は、そのような解剖学的特徴311の最適なビューイング平面を生成し、それに基づいて、ユーザは、図7の二重矢印によって示されるように、関心解剖学的特徴311の手動生体測定を行うことができ、例えば上記の詳細で説明したように、特徴がより短く見える、最適でない角度でこの特徴を表示することによって関心解剖学的特徴311を短縮するために、このような測定の最小限のリスクは不正確になる。
そのような生体測定が本発明の第1の主要な実施形態に従って実行される場合、プロセッサ装置210は、操作519で表示装置50に生体測定結果を表示するようにさらに適合され得る。プロセッサ装置210は、好ましくは、例えばこの画像スライスに隣接して、この画像スライスのオーバーレイとして、生成される2次元画像スライス400とともに生体測定結果を表示するが、本発明の第1の主要な実施形態の代替実施形態では、プロセッサ装置210は、生体測定結果をそれ自体で、すなわち2-D画像スライス400を表示することなく、単に表示することができ、この場合、操作517はスキップされ得る。
2D画像スライス400は、任意の適切な方法でプロセッサ装置210によって生成され得る。特に有利な実施形態では、例えば、複数の接平面を3D経路307に適合させ、この経路に最適な平面を選択することにより、3D経路307に最適な接平面が推定される。ビューのジオメトリは、ビューの方向がこの場合、この平面の法線と平行になるように、選択された接平面に従って変更されることができる。そのような表示方向における大きな変化は、ユーザによって混乱される可能性があるので、これは、レンダリングされるボリューム画像の現在のビュー方向の周りのビュー方向の範囲内でこの経路に最適な平面を選択して、レンダリングされるボリュームイメージに対するビューの方向の変化を制限することによって改善される。
この点で、ユーザ特定点303に対応するボリュメトリック画像のピクセルに関連する深度情報から導出される3-D経路307は、2-D画像スライス400を生成するために必ずしも活用されないことは留意される。方法300の代替実施形態(明示的には示されていない)では、プロセッサ装置210は、さらなる処理操作において3D経路を使用してもよい。
第1の例示的な処理操作は、3D経路307の長さの決定であり、自動化される方法で関心解剖学的特徴の正確な生体測定を提供し、たとえば、ユーザがそのような自動化された生体測定に十分な自信を持っている場合に有用になる。そのようなシナリオでは、所望の生体測定値を取得するために、2D画像スライス400の生成は必要とされない。
第2の例示的な処理操作は、3D経路307に基づくレンダリングされるボリュメトリック画像の再配向(2D画像スライス400の生成ではなく)であり、経路の主方向(すなわち、経路に関連する関心解剖学的特徴)は、関心解剖学的特徴が表示装置50の画面にわたって広がるように、レンダリングされるボリュメトリック画像の視野角に対して垂直に方向付けられ、装置のユーザによる関心解剖学的特徴の評価を容易にする。他の再配向、例えば、経路307の主方向がレンダリングされるボリュメトリック画像の視野角に平行に向けられる再配向も当然考えられ得る。
方法300の上述の実施形態は、プロセッサ装置200上で実行されると、プロセッサ装置に方法300を実施させるコンピュータ可読記憶媒体上に具現化されるコンピュータ可読プログラム命令によって実現することができる。たとえば、CD、DVD、Blu-Rayディスクなどの光学的に読み取り可能な媒体、ハードディスクなどの磁気的に読み取り可能な媒体、メモリスティックなどの電子データストレージデバイスのような何れかの適切なコンピュータ可読記憶媒体がこのために使用され得る。コンピュータ可読記憶媒体は、コンピュータ可読プログラム命令がネットワークを介してアクセスされ得るように、インターネットなどのネットワークを介してアクセス可能な媒体であり得る。例えば、コンピュータ可読記憶媒体は、ネットワーク接続ストレージデバイス、ストレージエリアネットワーク、クラウドストレージなどであり得る。コンピュータ可読記憶媒体は、コンピュータ可読プログラム命令が取得され得るインターネットアクセス可能なサービスであり得る。一実施形態では、超音波画像処理装置200は、そのようなコンピュータ可読記憶媒体からコンピュータ可読プログラム命令を検索し、検索されるコンピュータ可読プログラム命令をデータ記憶装置220、例えばデータ記憶装置220の一部を形成するメモリデバイスに記憶することにより新しいコンピュータ可読記憶媒体を作成するように構成される。
上記の実施形態は本発明を限定するのではなく例示するものであり、当業者は添付の特許請求の範囲から逸脱することなく多くの代替実施形態を設計できることに留意される。 請求項では、括弧の間に置かれた参照符号は、請求項を制限するものとして解釈されないものとする。 「含む」という言葉は、クレームにリストされているもの以外の要素又はステップの存在を排除するものではない。 要素に先行する単語「a」又は「an」は、複数のそのような要素の存在を排除しない。 本発明は、いくつかの別個の要素を含むハードウェアによって実施することができる。 いくつかの手段を列挙するデバイスクレームでは、これらの手段のいくつかは、ハードウェアの同一のアイテムによって具体化することができる。 特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。

Claims (15)

  1. 3次元超音波画像から関心解剖学的特徴の生体測定値を取得するための超音波画像処理装置であって、プロセッサ装置に通信可能に結合される表示装置を有し、前記プロセッサ装置は、
    前記3次元超音波画像からボリュメトリック超音波画像をレンダリングし、前記レンダリング画像を表示するように前記表示装置を制御し、前記ボリュメトリック超音波画像は強度等値面を描写し、
    前記関心解剖学的特徴を強調する複数のユーザ入力を受信し、各入力は前記表示装置上の、ユーザによって特定される点に対応し、前記表示装置のピクセルに対応し、
    前記ユーザによって特定される点の各々を、前記ボリュメトリック超音波画像内の決定される深度の位置にマッピングし、前記各々の点に対する深度は、前記ボリュメトリック超音波画像における深度を推定することに基づいて決定され前記ユーザによって特定される点に対応する前記ピクセルから前記ボリュメトリック超音波画像を通るビュー線が前記強度等値面に一致し、
    前記ユーザによって特定される点の各々に対応する前記ボリュメトリック超音波画像内の前記推定される深度に沿って前記ボリュメトリック超音波画像内の3次元経路を定義し、
    前記定義される3次元経路に基づいて処理操作を実行し、前記処理操作の結果を表示するように前記表示装置を制御し、前記定義される3次元経路に基づく前記処理操作は、
    前記3次元経路の長さの測定、及び
    前記定義される3次元経路に基づく前記3次元超音波画像の2次元画像スライスの生成
    のうちの少なくとも1つ
    を有する、
    超音波画像処理装置。
  2. 前記プロセッサ装置は、2次元超音波画像のシーケンスから前記3次元超音波画像を生成する、請求項1に記載の超音波画像処理装置。
  3. 前記プロセッサ装置は、
    複数の接平面を、前記定義される3次元経路の異なる領域に適合させ、
    前記定義される3次元経路に最適な前記接平面を選択し、
    前記選択される接平面に従って前記2次元画像スライスを生成し、随意的に前記選択される接平面はさらに現在のビュー方向に基づく
    ことによって、前記定義される3次元経路に基づいて2次元画像スライスを生成する、請求項2に記載の超音波画像処理装置。
  4. 前記プロセッサ装置は、
    前記生成される2次元画像スライス内に見える関心解剖学的特徴の前記生体測定を実行し、
    前記実行される生体測定の結果を表示するように前記表示装置を制御する、
    請求項1乃至3の何れか一項に記載の超音波画像処理装置。
  5. 前記プロセッサ装置は、前記生成される2次元画像スライスを前記結果とともに表示するように前記表示装置を制御することによって、前記実行される生体測定の結果を表示するように前記表示装置を制御する、請求項4に記載の超音波画像処理装置。
  6. 前記プロセッサ装置は、
    前記定義される3次元経路に関連する関心ボリュームを定義し、
    前記関心ボリューム内の前記関心解剖学的特徴を識別する
    ことによって、前記生成される2次元画像スライス内に見える解剖学的特徴に前記生体測定を実行する、請求項4又は5に記載の超音波画像処理装置。
  7. 前記プロセッサ装置は、
    複数の画像フィルタを前記関心ボリュームに適用し、
    前記適用によって得られる前記フィルタの結果に基づいて前記関心解剖学的特徴を識別する
    ことによって、前記関心ボリューム内の前記関心解剖学的特徴を識別する、請求項6に記載の超音波画像処理装置。
  8. 請求項1乃至7の何れか一項に記載の超音波画像処理装置と、前記超音波画像処理装置に前記3次元超音波画像を形成するための超音波画像データを提供する超音波プローブとを有する、超音波撮像システム。
  9. 3次元超音波画像から関心解剖学的特徴の生体測定値を取得するためのコンピュータ実装方法であって、前記方法は、
    前記3次元超音波画像を受信するステップと、
    前記3次元超音波画像からボリュメトリック超音波画像をレンダリングし、前記レンダリング画像を表示するように表示装置を制御するステップであって、前記ボリュメトリック超音波画像は強度等値面を描写する、ステップと、
    前記関心解剖学的特徴を強調する複数のユーザ入力を受信するステップであって、各入力は前記表示装置上の、ユーザによって特定される点に対応し、前記表示装置のピクセルに対応する、ステップと、
    前記ユーザによって特定される点の各々を、前記ボリュメトリック超音波画像内の決定される深度の位置にマッピングするステップであって、前記各々の点に対する深度は、前記ボリュメトリック超音波画像における深度を推定することに基づいて決定され、前記ユーザによって特定される点に対応する前記ピクセルから前記ボリュメトリック超音波画像を通るビュー線が前記強度等値面に一致する、ステップと、
    前記ユーザによって特定される点の各々に対応する前記ボリュメトリック超音波画像内の前記推定される深度に沿って前記ボリュメトリック超音波画像における3次元経路を定義するステップと、
    前記定義される3次元経路に基づいて処理操作を実行するステップと、
    前記処理操作の結果を表示するように前記表示装置を制御するステップであって、前記定義される3次元経路に基づく前記処理操作は、
    前記3次元経路の長さの測定、及び
    前記定義される3次元経路に基づく前記3次元超音波画像の2次元画像スライスの生成
    のうちの少なくとも1つ
    を有する、方法。
  10. 2次元超音波画像のシーケンスを受信するステップと、前記2次元超音波画像のシーケンスから前記3次元超音波画像を生成するステップとをさらに有する、請求項9に記載のコンピュータ実装方法。
  11. 前記定義される3次元経路に基づいて2次元画像スライスを生成するステップは、
    前記定義される3次元経路の異なる領域に複数の接平面を適合させるステップと、
    前記定義される3次元経路に最適な前記接平面を選択するステップと、
    前記選択される接平面に従って前記2次元画像スライスを生成するステップであって、随意的に前記選択される接平面はさらに現在のビュー方向に基づく、ステップと
    を有する、請求項9又は10に記載のコンピュータ実装方法。
  12. 前記生成される2次元画像スライス内で見える関心解剖学的特徴に前記生体測定を実行するステップと、
    前記実行される生体測定の結果を表示するように前記表示装置を制御するステップと
    を有し、
    随意的に前記実行される生体測定の結果を表示するように前記表示装置を制御するステップは、前記生成される2次元画像スライスを前記結果とともに表示するように前記表示装置を制御するステップを有する、請求項9乃至11の何れか一項に記載のコンピュータ実装方法。
  13. 前記生成される2次元画像スライス内に見える関心解剖学的特徴に前記生体測定を実行するステップは、
    前記定義される3次元経路に関連する関心ボリュームを定義するステップと、
    前記関心ボリューム内の前記関心解剖学的特徴を識別するステップと
    を有する、請求項12に記載のコンピュータ実装方法。
  14. 前記関心ボリューム内の前記関心解剖学的特徴を識別するステップは、
    前記関心ボリュームに複数の画像フィルタを適用するステップと、
    前記適用するステップにより得られる前記フィルタ結果に基づいて前記関心解剖学的特徴を識別するステップと
    を有する、請求項13に記載のコンピュータ実装方法。
  15. 請求項1乃至7の何れか一項に記載の超音波画像処理装置のプロセッサ装置上で実行されるとき、前記プロセッサ装置に、請求項9乃至14の何れか一項に記載の方法を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を有するコンピュータプログラム。
JP2019551562A 2017-03-20 2018-03-19 ボリュームレンダリングされる超音波画像 Active JP7267928B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17305300.0 2017-03-20
EP17305300.0A EP3378405A1 (en) 2017-03-20 2017-03-20 Volume rendered ultrasound imaging
PCT/EP2018/056792 WO2018172236A1 (en) 2017-03-20 2018-03-19 Volume rendered ultrasound imaging

Publications (2)

Publication Number Publication Date
JP2020511250A JP2020511250A (ja) 2020-04-16
JP7267928B2 true JP7267928B2 (ja) 2023-05-02

Family

ID=58488931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551562A Active JP7267928B2 (ja) 2017-03-20 2018-03-19 ボリュームレンダリングされる超音波画像

Country Status (5)

Country Link
US (1) US11337677B2 (ja)
EP (2) EP3378405A1 (ja)
JP (1) JP7267928B2 (ja)
CN (1) CN110446466B (ja)
WO (1) WO2018172236A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10964093B2 (en) * 2018-06-07 2021-03-30 Canon Medical Systems Corporation Shading method for volumetric imaging
FR3092240A1 (fr) * 2019-01-31 2020-08-07 Bay Labs, Inc. Sauvegarde rétrospective d'images pour diagnostics par ultrasons
EP4033983A4 (en) * 2019-09-27 2023-10-11 BFLY Operations, Inc. METHOD AND DEVICE FOR CONFIGURING AN ULTRASONIC SYSTEM WITH IMAGING PARAMETER VALUES
KR20210099676A (ko) * 2020-02-04 2021-08-13 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
US11615657B2 (en) 2020-03-17 2023-03-28 Pratt & Whitney Canada Corp. Aircraft engine graphical diagnostic tool

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010528750A (ja) 2007-06-07 2010-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 管状構造の検査
JP2012081257A (ja) 2010-09-13 2012-04-26 Toshiba Corp 超音波診断装置及び超音波画像処理装置
JP2016083192A (ja) 2014-10-27 2016-05-19 日立アロカメディカル株式会社 超音波診断装置
JP2016097080A (ja) 2014-11-21 2016-05-30 日立アロカメディカル株式会社 超音波ボリュームデータ処理装置及びプログラム
US20160361043A1 (en) 2015-06-12 2016-12-15 Samsung Medison Co., Ltd. Method and apparatus for displaying ultrasound images

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6283919B1 (en) 1996-11-26 2001-09-04 Atl Ultrasound Ultrasonic diagnostic imaging with blended tissue harmonic signals
US6458083B1 (en) 1996-11-26 2002-10-01 Koninklijke Philips Electronics N.V. Ultrasonic harmonic imaging with adaptive image formation
US6334847B1 (en) * 1996-11-29 2002-01-01 Life Imaging Systems Inc. Enhanced image processing for a three-dimensional imaging system
US6013032A (en) 1998-03-13 2000-01-11 Hewlett-Packard Company Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array
US6280387B1 (en) * 1998-05-06 2001-08-28 Siemens Medical Systems, Inc. Three-dimensional tissue/flow ultrasound imaging system
US5997479A (en) 1998-05-28 1999-12-07 Hewlett-Packard Company Phased array acoustic systems with intra-group processors
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US6468216B1 (en) 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
DE10210466A1 (de) 2002-03-11 2003-10-09 Siemens Ag Darstellungsverfahren für Volumenelemente eines Volumendatensatzes
US7423640B2 (en) * 2004-04-23 2008-09-09 Siemens Medical Solutions Usa, Inc. Method and system for panoramic display of medical images
CN101849813A (zh) * 2009-03-31 2010-10-06 上海交通大学医学院附属新华医院 三维心脏超声虚拟内窥镜系统
KR101121301B1 (ko) 2009-09-16 2012-03-22 삼성메디슨 주식회사 3차원 측정을 수행하는 초음파 시스템 및 방법
US9298260B2 (en) * 2010-03-12 2016-03-29 Broadcom Corporation Tactile communication system with communications based on capabilities of a remote system
US20110304619A1 (en) * 2010-06-10 2011-12-15 Autodesk, Inc. Primitive quadric surface extraction from unorganized point cloud data
US10019440B2 (en) * 2011-05-27 2018-07-10 Adobe Systems Incorporated Methods and apparatus for three-dimensional (3D) sketching
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8891881B2 (en) 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
JP6114822B2 (ja) * 2012-06-25 2017-04-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 3d超音波ボリューム測定のためのシステム及び方法
JP6425438B2 (ja) * 2014-07-09 2018-11-21 キヤノン株式会社 被検体情報取得装置および画像処理方法
JP6403057B2 (ja) 2014-10-21 2018-10-10 国立大学法人信州大学 β−Ga2O3結晶の製造方法および製造装置
KR102449838B1 (ko) * 2015-09-01 2022-09-30 삼성전자주식회사 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010528750A (ja) 2007-06-07 2010-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 管状構造の検査
JP2012081257A (ja) 2010-09-13 2012-04-26 Toshiba Corp 超音波診断装置及び超音波画像処理装置
JP2016083192A (ja) 2014-10-27 2016-05-19 日立アロカメディカル株式会社 超音波診断装置
JP2016097080A (ja) 2014-11-21 2016-05-30 日立アロカメディカル株式会社 超音波ボリュームデータ処理装置及びプログラム
US20160361043A1 (en) 2015-06-12 2016-12-15 Samsung Medison Co., Ltd. Method and apparatus for displaying ultrasound images

Also Published As

Publication number Publication date
US11337677B2 (en) 2022-05-24
EP3378405A1 (en) 2018-09-26
CN110446466B (zh) 2023-03-28
EP3600063A1 (en) 2020-02-05
CN110446466A (zh) 2019-11-12
JP2020511250A (ja) 2020-04-16
US20200015785A1 (en) 2020-01-16
WO2018172236A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
JP7267928B2 (ja) ボリュームレンダリングされる超音波画像
US11100665B2 (en) Anatomical measurements from ultrasound data
EP3621524B1 (en) Fetal development monitoring
US11069059B2 (en) Prenatal ultrasound imaging
JP7010948B2 (ja) 胎児超音波撮像
JP7150800B2 (ja) 医用4dイメージングにおける動き適応型可視化
JP7177870B2 (ja) 簡素化された3dイメージング制御を有する超音波イメージングシステム
US20220160333A1 (en) Optimal ultrasound-based organ segmentation
JP7099901B2 (ja) 超音波画像処理装置およびプログラム
EP3456265A1 (en) Fetal development monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R150 Certificate of patent or registration of utility model

Ref document number: 7267928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150