JP6874021B2 - 簡素化された3dイメージング制御を有する超音波イメージングシステム - Google Patents

簡素化された3dイメージング制御を有する超音波イメージングシステム Download PDF

Info

Publication number
JP6874021B2
JP6874021B2 JP2018557847A JP2018557847A JP6874021B2 JP 6874021 B2 JP6874021 B2 JP 6874021B2 JP 2018557847 A JP2018557847 A JP 2018557847A JP 2018557847 A JP2018557847 A JP 2018557847A JP 6874021 B2 JP6874021 B2 JP 6874021B2
Authority
JP
Japan
Prior art keywords
image
ultrasound
ultrasonic
user
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018557847A
Other languages
English (en)
Other versions
JP2019514582A5 (ja
JP2019514582A (ja
Inventor
アナップ アガーワル
アナップ アガーワル
ヤメス ロベルトソン ヤホ
ヤメス ロベルトソン ヤホ
ロベルト ランダル エントレキン
ロベルト ランダル エントレキン
ジミー レイ ブラウン
ジミー レイ ブラウン
バルバラ バニスター
バルバラ バニスター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019514582A publication Critical patent/JP2019514582A/ja
Publication of JP2019514582A5 publication Critical patent/JP2019514582A5/ja
Application granted granted Critical
Publication of JP6874021B2 publication Critical patent/JP6874021B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本願は、2016年5月6日出願の米国仮出願第62/332687号の優先権を主張し、その内容は、参照によって本願明細書に盛り込まれるものとする。
本発明は、医用超音波システムに関し、特に、2次元(2D)イメージング及び3次元(3D)イメージングを実施する超音波システムに関する。
超音波プローブは、身体に超音波を送信し、反射波を受信するために使用される。反射されたエコーは、付加の信号処理及びスクリーンに表示される画像の最終生成のために、超音波システムに伝送される。技術の最近の進歩により、コンパクトで高密度の電子装置が今日のトランスデューサプローブに嵌め込まれることができ、それにより、送信/受信器信号処理の多くがプローブ自体の内部で実施されることを可能にする。これは、超音波アレイの何千ものトランスデューサ素子を作動させることができるマトリクスプローブの発展につながり、それにより、新しいプローブジオメトリ及びイメージングモードの可能性を広げている。関心のある新しいモードの1つは、Bモードの3D/4D(ライブ3D)イメージング及びカラーフローイメージングである。
この30年間、2次元プラナーイメージングは、病理をビューし診断するための従来の方法であり、ライブ超音波イメージングの標準であった。3次元イメージングは、3次元の解剖学的構造を視覚化する能力を提供し、これは、臨床医が、超音波では以前に可能でなかったパースペクティブ像から病理の詳細を理解することを可能にする。しかしながら、3Dイメージングは画像取得における新たな課題も示す。3Dイメージングは、胎児検査において胎児の顔を描画することのように、特定の状況において急速に普及しているが、一般の腹部の及び血管のイメージングにおいては広く受け入れられてない。課題の一部は、所望の3D/4Dスライス及び平面のビューを取得するためにシステムを作動させることに超音波検査技師は相対的に不慣れであることである。3D超音波イメージングは、非常に強力なツールであるが、それは主として2つの理由のために活用されないままとなっている。第1に、臨床医は、3Dでの解剖学的構造の外観及び超音波診断における使用の外観に不慣れであることが多い。第2に、3Dイメージング及びそれらの相互作用のシステム制御の多くは、使用するのが複雑で困難である。従って、診断のために必要とされる画像が、3D超音波の使用に不慣れである人々によって容易に取得されることができるように、3D超音波イメージングの制御を簡略化することが望ましい。
本発明の目的は、好適にはシステムセットアップ及び制御の自動化により、作動させ制御することが容易な3D超音波システムを提供することである。
本発明の他の目的は、3Dモードで診断上有用な画像を取得するために必要とされる制御の操作を簡素化することである。
1つの見地において、本発明は、3Dイメージングを使用する検査のための超音波システムを含む。超音波システムは、ターゲット解剖学的構造に超音波を送信し、それに応じて超音波エコーを受信するように構成されるトランスデューサアレイを有することができる。システムは、受信される超音波エコーに基づいて、ターゲットの解剖学的構造を有する2D超音波画像を生成し、システム入力に基づいて、システム上のメモリに記憶された複数のグラフィックアイコンを選択するように構成されるプロセッサを更に有することができ、各グラフィックアイコンは、ターゲット解剖学的構造の異なる個々の3Dサムネイルビューを含む。システムは、グラフィックアイコン及び他のユーザインタフェースフィーチャを表示することができるディスプレイを更に有することができる。
ある見地において、超音波システムは、システム入力に基づいて、特定の関心のある解剖学的構造の3Dサムネイルビューを表示するグラフィカルアイコンをユーザに提供することができる。1つの例において、2D超音波画像においてビューされている特定の解剖学的構造を識別し、それによって、解剖学的構造の異なる個々の3Dビューを表現するグラフィックアイコンをシステムに生成させるために、ユーザ入力が使用されることができる。別の例において、基準の2D画像が、システムによって取得され、システムによって直接使用されることができ、又はモデルが、イメージングされている解剖学的構造を識別するために基準2D画像に適用されることができる。ターゲット解剖学的構造に対するプローブの向きを識別する基準2D画像又はモデルデータを用いる場合、自動化されたプロセスは、意図される検査に適当なビューを表示する3Dグラフィックアイコンを起動する。以下に記述される本発明の超音波システムの実現において、自動化されたプロセスは、適当な3Dシステムイメージングを起動し及び3Dビューを表示する特定の3Dアイコンに関連するセットアップを制御するマクロ命令の選択及び実行を含む。
本発明の原理による、超音波システムの3D制御をセットアップするために基準画像として使用されるターゲット解剖学的構造の2次元画像を示す図。 3Dイメージングモードに切り替えるためのクイック起動キーを有する超音波システム2Dイメージング制御パネルを示す図。 本発明によりセットアップされる簡素化された3Dイメージング制御パネルを示す図。 本発明により頸動脈検査のために部分的にセットアップされる場合の図3の制御パネルを示す図。 本発明によりBモードの頸動脈検査のために完全にセットアップされる場合の図3の制御パネルを示す図。 所与の基準画像に基づく頸動脈の複数の3Dビュー選択肢を示す図。 本発明により頸動脈の3D検査のためにカラーフローモードに切り替えられる場合の図5の制御パネルを示す図。 本発明により頸動脈の3D検査のために血管投影(パワードップラー)モードに切り替えられる場合の図5の制御パネルを示す図。 本発明の原理により構成される2D/3D超音波システムを示すブロック図。
最初に図1を参照して、頸動脈の2D超音波画像110が示されている。この画像は、プラークの兆候について頸動脈の検査中に取得されることができるような、長軸ビューの頚動脈洞の典型的なBモード画像である。画像110において、血管の管腔70は、画像において黒色に見えており、これは、血流がBモード画像に現れている様子である。更に、動脈内のプラーク沈着72が、この画像に示されている。この2D画像を見る臨床医は、プラーク沈着72に関してより多くを知ることができ、例えば、その形状、表面テクスチャ、血管に沿った範囲、長軸2Dビューによって表されない情報を知ることができる。この情報は、頸動脈3D画像から収集されることができ、かかる収集は、本発明の超音波システムにおいて、3D/4Dモードに切り替えるためにクイック起動キーを作動させることによって容易にされる。図2は、臨床医が図1の2D画像を取得するために使用した2Dモード用のタッチスクリーンユーザインタフェース112を示す。この2Dユーザインタフェースの右側に、いくつかの3Dクイック起動キーが、卵形の印によって示されている。この例において、臨床医は、4Dクイック起動キー116を作動させ、かかる作動は、ユーザインタフェースを図3に示される3Dユーザインタフェースに切り替える。それにより、臨床医は、制御キーの単一クリックにより、超音波システムを3Dモードに切り替える。
ここに記述されるように、本発明は、例えばターゲット解剖学的構造の異なる個々の3Dビューに対応するグラフィックアイコンを提供することによって、超音波ユーザの3Dワークフローを改善する。グラフィックアイコンは、例えば、イメージングされている特定のターゲット解剖学的構造に依存して、及び/又はターゲット解剖学的構造に関するトランスデューサアレイの位置及び向きに依存して、生成される。解剖学的構造の異なる個々の領域は、臨床医が診断を行うときに依存する複数の異なる標準ビューを有する。例えば、頚動脈が、2Dでイメージングされる場合、3Dイメージングの活性化に応じて、ターゲット解剖学的構造の或る3D超音波画像を一層容易に生成するために、ターゲット解剖学的構造の3Dサムネイルを表示するグラフィックアイコンの選択された組が、ユーザによる選択のために表示される。ユーザが頚動脈の向きを示す場合、又は、システムが、(例えばセグメント化モデリングを通じて)頚動脈の向きを識別する場合、3Dイメージングの活性化に応じて、より容易に3D超音波画像を生成するために、ターゲット解剖学的構造の3Dサムネイルを表示するグラフィックアイコンの選択された組が、ユーザによる選択のために表示される。
特定の見地において、グラフィックアイコンは、どのターゲット解剖学的構造がイメージングされているかを示すシステム入力及び/又はターゲット解剖学的構造に対するトランスデューサアレイに関する位置及び向き情報に基づいて、生成される。ある例において、システム入力は、トランスデューサアレイに対するターゲット解剖学的構造の向き情報を示すユーザ入力を含むことができる。例えば、特定のターゲット解剖学的構造(例えば頚動脈(carotid))及び/又は向き(例えば長軸(long axis))を示すボタンが、ユーザによって選択されることができる。代替として、システム入力は、ターゲット解剖学的構造のビューイング向きを識別するように構成されるテキストベースの又はタッチベースの入力、又はターゲット解剖学的構造をビューするように構成されるプロトコルを有することができる。
ある見地において、システム入力は、システムが基準画像として2D超音波を使用する2D超音波画像によって生成されることができる。基準画像は、例えば、超音波システムによって2D超音波画像において取得されるような頚動脈の長軸ビュー又は頚動脈の短軸ビューでありうる。システムは、例えば、超音波画像内のターゲット解剖学的構造の向きを自動的に識別することができ、又はシステムは、ユーザ選択のために複数の異なる基準画像を表示するように構成されることができる。ユーザ入力は、ディスプレイに表示される基準画像(例えば、長軸超音波画像又は短軸超音波画像)の選択を含むことができ、基準画像は、トランスデューサアレイに対するターゲット解剖学的構造の向き情報を示す。
図3は、本発明の超音波システムのための3Dユーザインタフェース100の1つのレイアウトを示す。このパネルは、3D/4Dイメージングのための4つの領域を有する。第1の領域102は、ユーザが、Bモード、カラーフロー、カラーフロードップラーモードのような特定の表示モードを起動することを可能にする「クイック起動(Quick Launch)」領域102である。第2の領域104である「基準画像(Reference Image)」領域は、ユーザが、関心のある解剖学的構造に対するプローブ向きを指定することを可能にする領域である。超音波システムにおいてプローブ向きを規定することによって、システムは、イメージングされている解剖学的構造を知ることが可能であり、解剖学的構造を診断しているユーザにとって最も有益な3D画像ビューをセットアップすることが可能である。例えば、2つの典型的なトランスデューサ向きは、長軸ビュー及び短軸ビューである。第3の領域106は、「表示(Display)」領域である。各々のクイック起動キー及びトランスデューサ向きについて、多くの異なる表示オプションが利用可できる。各々の表示オプションは、1又は複数の特定の表示パラメータによって特徴付けられる。このようなパラメータは、MPR(マルチプラナリフォーマットスライス画像)及び関連するボリューム表示の数、各MPR画像のROI(関心領域)ボックスサイズ及びロケーション、ボリューム画像ルック方向、及び基準軸又は平面に対するA、B及びC平面の回転値を含むことができる。これらの表示オプションは、領域106にテキストで表示されることができるが、好適には、それらは、以下に示すように、利用可能な画像のサムネイルとして表示される。第4の領域108は、「表示(Display)」オプションごとのユーザに利用可能な3D制御のリストを提示する「制御(Controls)」領域である。
図4は、図1の頚動脈洞画像が、3Dセットアップのための基準画像としてシステムに対し指定される場合の図3の3Dタッチスクリーンユーザインタフェースを示す。基準画像を指定することは、この例では頸動脈であるターゲット解剖学的構造に対する超音波プローブの向きについて、システムに知らせる。ユーザが、図1の頚動脈洞画像110の2D画像をクリックし、「基準画像(Reference Image)」領域114においてクリックすると、当該画像が、超音波システムに識別され、基準画像及び画像のサムネイルがユーザインタフェースの領域114に現れる。この例において、ユーザは、規定された基準画像114の下にポップアップするエントリボックスにおいて「頚動脈(Carotid)」及び「長軸(long axis)」を入力することによって、システムに、頚動脈洞に対するプローブの向きを更に指定する。所与の超音波システムにおいて、これらの手動ユーザ選択及びエントリステップは、自動的に実施されることができる。例えば、3Dユーザインタフェース100が起動されると、この例では頚動脈洞画像110を表示するスクリーンであるアクティブな画像表示領域内の超音波画像のサムネイルが、領域114内の基準画像のサムネイルとして自動的に生成されることができる。ユーザが、例えばシステム上で頚動脈検査プロトコルを起動することによって、特定の検査タイプの実施のための基準画像を取得するために超音波システムをすでにセットアップしていた場合、システムは、頚動脈検査のための3Dイメージングセットアップを起動することを知っている。プローブ向き又は画像の解剖学的ビューを自動的に認識するフィーチャが、基準画像(Reference Image)領域104の向き情報を自動的に入力するために使用されることができる。例えば、フィリップスヘルスケア超音波システムで利用可能なPercuNavオプションのようなEM(電磁)追跡フィーチャは、被検体に対するプローブの向きを自動的にたどるものであり、プローブ向き情報を自動的に入力するためにアクセスされることができる。フィリップスヘルスケア超音波システムに関して利用可能な「Heart Model」フィーチャのような画像認識プロセッサは更に、画像認識処理からの向き情報を提供することができる。例えば、米国特許出願公開第2013/0231564号公報(Zagorchev他)及び米国特許出願公開第2015/0011886号公報(Radulescu他)に記述される画像認識プロセッサ及び機能を参照されたい。
プローブが長軸ビューの頚動脈洞を視覚化していることを超音波システムが知っている場合、1又は複数の表示オプションが、「表示(Display)」領域に提示される。この例において、表示(Display)領域は、左側に、プローブによって取得される3Dボリューム画像のサムネイルを表示し、右側に、プローブによって取得される3Dデータセットから再構成されたプラーク沈着を表示する頸動脈のMPRスライス画像のサムネイルを表示する。
図5は、頸動脈基準画像のためのクイック起動の3Dユーザインタフェース100の別の例を示す。この例において、2つの基準画像が、システムに対して指定され、上部サムネイルは、頚動脈の長軸ビューであり、下部サムネイルは、長軸ビューの画像平面に垂直な画像平面における頚動脈の短軸ビューである。表示(Display)領域は、この例において5つの表示オプションを示す。上部サムネイルは、3Dボリューム画像及び長軸ビューのMPRスライスであり、中央左サムネイルは、短軸ボリューム及び長軸MPR画像であり、中央右サムネイルは、回転された長軸ボリュームビュー及び短軸MPR画像である。左下サムネイルは、長軸3Dボリューム画像及び3つの直交するMPRスライスビューであり、右下サムネイルは、回転された3Dボリューム画像、並びに長軸及び短軸MPRスライスである。「制御(Controls)」領域108は、表示オプションの任意の1つに関して作動するとき、ボリューム及びMPR制御、ルック方向選択、色調節及びボリューム回転制御を含む、ユーザに利用可能な多くの画像生成及び操作制御によって占められる。ユーザが、サムネイル表示(Display)オプションの1つをクリックすると、超音波システムのアクティブな画像表示スクリーンが、選択された表示オプションに従ってライブ画像を表示し始め、制御(Controls)領域の必要なイメージング制御が活性化される。図6に示すように、識別された2D基準画像110は、結果として利用可能な3Dイメージングオプション111−119のいずれかについてライブ3Dイメージングを与える。
図5のユーザインタフェース100が示すように、「クイック起動(Quick Launch)」領域102は更に、特定のイメージングモードでの3Dイメージングのクイック起動を可能にすることができる。図5の例示のユーザインタフェースは、ベースBモードに加えて、カラーフロー及び血管のケース(カラーパワードップラー)のモード選択をユーザに提供する。ユーザが、図5のユーザインタフェース100において「カラーフロー(Color Flow)」キーをクリックすると、超音波システムは、図7に示される基準画像及び表示オプションのイメージングを、カラーフローモードに切り替える。この例が示すように、画像内の頸動脈の管腔は、動脈の血流の存在及び方向を表すカラーで充填される。再び、ユーザは、カラーフローモードにおいて、タッチスクリーンユーザインタフェース100の中央パネルに示される表示(Display)オプションのいずれかにより、詳細な3Dイメージングを実施することができる。図5の例において利用可能である他のモードオプションは、「血管投影(Vessel Cast)」(カラーパワードップラー)イメージングモードである。ユーザがこのキーをクリックすると、画像は、図8のユーザインタフェース100のサムネイル画像によって示されるようにパワードップラーモードの表示に切り替わる。他のモード選択オプションは、本発明の特定の実現例においてユーザに利用可能にされることができる。
図9を参照して、3Dイメージングの容易さのために本発明の原理により構成される超音波システムが、ブロック図の形で示される。2次元トランスデューサアレイ10は、イメージング用の超音波を送信し、画像形成のためにエコー信号を受信するように提供される。アレイは、超音波プローブに位置し、一般に、一体的なマイクロビームフォーマを有するプローブに取り付けられ、マイクロビームフォーマは、2次元又は3次元のビームの送信及び受信エコー信号の部分的なビームフォーミングを制御する。アレイ及びそのマイクロビームフォーマは、送信/受信(T/R)スイッチ16によって、メインフレーム超音波システムに結合され、送信/受信(T/R)スイッチ16は、送信と受信の間の切り替えを行い、システムビームフォーマ20の受信チャネルを、高エネルギーの送信信号から保護する。トランスデューサアレイ10からの超音波エネルギーの送信、及びマイクロビームフォーマ及びシステムビームフォーマ20によるコヒーレントなエコー信号の形成は、ビームフォーマ20に結合される送信コントローラ18によって制御され、送信コントローラ18は、システムコントローラ12から、ユーザインタフェース又は制御パネル38のユーザ操作からの特定のイメージングモードの選択のような入力を受け取る。アレイ10の素子によって受信されるエコー信号は、プローブマイクロビームフォーマによって部分的にビームフォーミングされ、結果として得られる部分和信号は、システムビームフォーマ20に結合され、システムビームフォーマ20において、コヒーレントなビームフォーミングされた信号を形成するためにビームフォーミングプロセスが完了される。
ビームフォーミングされた受信信号は、基本/高調波信号分離器22に結合される。分離器22は、マイクロバブル又は組織から戻ってくる強い非線形エコー信号及び基本周波数信号の識別(共に画像形成のため)を可能にするために、線形信号及び非線形信号を分離するように動作する。分離器22は、さまざまな方法で、例えば基本周波数及び高調波周波数帯域(高次、副次及び/又は超高次調波信号帯域を含む)の受信信号をバンドパスフィルタリングによって、又は例えばパルス反転又は振幅変調高調波分離のような基本周波数打ち消しのためのプロセスによって、動作することができる。さまざまな振幅及びパルス幅による他のパルスシーケンスが更に、線形信号分離及び非線形信号強調の両方のために使用されることができる。適切な基本/調和信号分離器は、国際公開第2005/074805号公報(Bruce他)に示され記述されている。
分離された基本及び/又は非線形(高調波)信号は、信号プロセッサ24に結合され、それらは、信号プロセッサ24において、例えばスペックル除去、信号合成及びノイズ除去のような付加の拡張を受けることができる。
処理された信号は、Bモードプロセッサ26及びドップラープロセッサ28に結合される。Bモードプロセッサ26は、例えば血管の筋肉、組織及び壁のような身体内の構造のイメージングのための振幅検出を用いる。身体構造のBモード画像は、高調波モード又は基本モードのいずれについても形成されることができる。身体の組織及びマイクロバブルは共に、両方のタイプの信号を返し、マイクロバブルのより強い高調波の戻りは、多くのアプリケーションにおいて、画像内でマイクロバブルが明確にセグメント化されることを可能にする。ドップラープロセッサ28は、血液細胞及びマイクロバブルを含む画像フィールド内の物質の動きの検出のために、高速フーリエ変換(FFT)又は他のドップラー検出技術によって、組織及び血流からの個別の信号を経時的に処理する。ドップラープロセッサは更に、フローの近くの組織(例えば血管壁)からの不所望の強い信号リターンを除去するために、壁フィルタを含むことができる。これらのプロセッサによって生成される解剖学的な信号及びドップラーフロー信号は、スキャンコンバータ32及びボリュームレンダリング器34に結合され、ボリュームレンダリング器34は、組織構造、フローの画像データを生成し、又は、これらの両方の特性をもつ合成画像(例えばカラーフロー又はパワードップラー画像)を生成する。スキャンコンバータは、極座標を有するエコー信号を、デカルト座標のセクタ画像のような所望の画像フォーマットの画像信号に変換する。ボリュームレンダリング器34は、米国特許第6,530,885号公報(Entrekin他)に記述されるように、所与の基準ポイント(ルック方向)から見た投影3D画像に、3Dデータセットを変換する。
上述したように、レンダリングの基準ポイントが変更されると、3D画像は、力学的視差として知られるものにおいて回転するように表示される。Entrekin他の特許公報には更に、3D画像データセットから再構成される異なる個々の画像平面のプラナー画像による3Dボリュームの表現(マルチプラナリフォーマット化として知られる技法)が記述されている。ボリュームレンダリング器34は、米国特許第6,723,050号公報(Dow他)に記述されるように、直線座標又は極座標の画像データに関して動作することができる。
2D又は3D画像は、画像ディスプレイ40における表示のための他の拡張、バッファリング及び一時記憶のために、スキャンコンバータ及びボリュームレンダリング器から画像プロセッサ30に結合される。
本発明の原理により、ユーザインタフェース38は、例えば、ハードキー及びタッチパネルの両方の形式で具体化されることが可能であり、タッチパネルは、例えば図示され及び上述されたユーザ制御を有するタッチパネルユーザインタフェース100及び112でありえ、ユーザ制御によって、システムユーザは、プローブ向きのような基準画像の1又は複数の特性を、超音波システムに対して識別することができる。この例は、図3及び図4を参照して説明された。代替として、上述したように、ターゲット解剖学的構造及び/又は位置及び向き情報が、ユーザによって提供されることができる。
システム入力(例えばユーザが、基準画像のボタン又は識別に触れること)に依存して、システム入力に基づいて超音波システムを制御するように構成されるシステムコントローラが、マクロ記憶/プロセッサ42に結合されることができる。マクロ記憶/プロセッサは、画像取得、形成及び操作のための複数のマクロ命令を記憶し、それらマクロ命令は、マクロ命令の所与の数及びシーケンスにおいてプロセッサによって選択され配置される。マクロの作成されたシーケンスは、システムコントローラに送られ、システムコントローラは、マクロによって命令されるように3Dイメージングのための超音波システムをセットアップする。マクロという語は、本願明細書において使用されるとき、特定のタスクを実施する命令セットに自動的に展開する単一の命令を含む。例えば、特定のマクロセットは、特定のユーザ入力又は特定の基準画像向きが与えられると、基準画像に関連して3D画像データセットを取得することができ、基準画像の向きに直交する3D画像データから、1又は複数のMPR画像を形成する。マクロは更に、3D画像を操作するために必要なユーザ制御をオンにすることができる。マクロ記憶/プロセッサ42によって生成されるマクロのシーケンスは、システムコントローラ12に結合され、システムコントローラ12は、基準画像に関連して所望の画像データを取得するために、ビームフォーマコントローラ18によって画像取得マクロの命令が実行されるようにする。システムコントローラは、所望のボリューム及びプラナー画像の形成のために、ボリュームレンダリング器及びスキャンコンバータによって画像形成マクロが実行されるようにする。マクロは、ボリュームレンダリング器34からの3Dデータセットを処理して所望の3D画像(例えばMPR画像)を生成するよう3Dディスプレイプロセッサ36に指示するために、3Dディスプレイプロセッサ36にも適用される。例えば、特定のマクロセットは、ビームフォーマコントローラ18に、基準画像平面に関連する3Dデータセットの取得を命じさせ、ボリュームレンダリング装置34に、特定のルック方向から見たボリューム画像をレンダリングさせ、3Dディスプレイプロセッサに、ボリューム画像の中心に関連して3つの直交するMPR画像を形成させる。このようなマクロ命令セットは、超音波システムに、例えば図5のユーザインタフェース100の表示(Display)領域の左下に表示される4つの画像を生成させる。3Dディスプレイプロセッサ36は更に、2D基準画像に関する情報に応答して、タッチスクリーンユーザインタフェース100の表示(Display))領域106及び制御(Controls)領域108に表示される画像及びグラフィクスを生成し、画像及びグラフィクスは、表示オプション画像及び初期制御設定のサムネイルを有する。
頸動脈の長軸ビューである基準画像についてマクロ記憶/プロセッサ42によってアセンブルされる典型的なマクロ命令セットは以下である:
[表1]
1. Select Display format as "2-up"
2. Select the images to be Displayed as "Volume and A-plane"
3. Make "volume" image the active image
4. Set "Vol" as the active control
5. Set trackball arbitration to "rotate volume"
6. Set all 3 rotate cursors as active
7. Detect circle in B-plane in MPRs and record diameter of detected circle
8. Place ROI box along center line of detected circle in B-plane
9. Select ROI box size as 1.2 (diameter of detected circle in step 7)
10. Select look direction as "top"
11. Set A-, B-, and C-plane rotate values to 0.
このマクロのシーケンスは、以下の処理を実行する。データフォーマット(Display format)が、2つの画像(「2-up」)の表示のためにセットされる。画像は、「A」向きの3D(ボリューム)及び2Dプラナー画像(A平面)である。ボリューム画像は、ライブの画像であり、制御は、ボリューム画像を操作するように動作する。ボリューム制御は、ユーザインタフェースタッチパネル表示の制御(Controls)領域に列挙される。ユーザがトラックボールを操作すると、トラックボールの動きの方向にボリュームが回転される。特定の軸を中心にボリュームを回転させるように操作されることができる画像内のカーソルが、すべて動作可能であり、ユーザインタフェースの制御(Controls)領域に列挙される。円が、各々のMPRスライス画像において検出され、その直径が記録される。ROIボックスが、各々の円の中心線上に表示され、そのサイズが、1.2cmにセットされる。ボリューム画像は、まず最上部からビューされ、ボリュームを横切る3つの直交平面の回転はゼロにセットされる。上述した説明から分かるように、このマクロセットは、特定の画像の取得及び形成を命こるだけでなく、それらを操作し測定するために必要なユーザ制御をも列挙し、アクティブにする。
マクロ記憶/プロセッサ42によってアセンブルされることができるマクロセットの別の例は以下である:
[表2]
1. Use the 2D reference plane as the start acquisition plane
2. Use Display type as 1-up and acquisition plane as the ROI cut-plane
3. Set look direction to Top view
4. Set rotate values to (0,90,0) for A, B, and C planes
5. Set trackball arbitration to "volume slice"
このマクロシーケンスは、2D基準平面が、3Dデータ取得のための開始平面として使用されるようにする。1つの画像が表示され、画像データが取得される平面が、関心領域を通る切断平面としてセットされ、3D画像は、最初に、上からビューされる。3D画像を通る3つの直交平面のうち、Bプレーンのみが回転され、その回転は90°である。トラックボールが操作されると、3D画像を通る切断平面の位置が変更される。
上記の記述から、3Dモードの超音波システムの操作が、3D超音波に不慣れな人にとって一層簡単にされることが理解される。ユーザは、基準画像を取得するために標準2Dイメージングの自己の専門知識を適用することができ、それは3D動作のためにシステムを自動的にセットアップするための開始点としてシステムによって使用される。ユーザは、システムに、基準画像の特性を知らせ、システムは、所望の検査タイプのために3D動作をセットアップする。システムは、検査のための適当な3D画像の取得及び形成を命じることができるだけでなく、3D画像の操作及び評価のために必要とされる制御及び測定ツールを更に初期化することもできる。
本発明の実現における使用に適している超音波システム、及び、特に図1に示される超音波システムのコンポーネント構造は、ハードウェア、ソフトウェア又はその組み合わせにおいて実現されることができることに留意すべきである。モジュール又はコンポーネント及びそれに関するコントローラのような超音波システムのさまざまな実施形態及び/又はコンポーネントは、更に、1又は複数のコンピュータ又はプロセッサの一部として実現されることができる。コンピュータ又はプロセッサは、マイクロプロセッサを有することができる。マイクロプロセッサは、例えばPACSシステム又はデータネットワークにアクセスするために、通信バスに接続されることができる。コンピュータ又はプロセッサは更に、メモリを有することができる。メモリ装置は、ランダムアクセスメモリ(RAM)及びリードオンリメモリ(ROM)、又は他のデジタル又はアナログ信号記憶コンポーネントを含みうる。コンピュータ又はプロセッサは更に、記憶装置を有することができ、記憶装置は、ハードディスクドライブ、又は例えばフロッピーディスクドライブ、光学ディスクドライブ、固体サムドライブ、その他の取り外し可能な記憶ドライブ、でありうる。記憶装置は更に、コンピュータプログラム又は他の命令をコンピュータ又はプロセッサへロードするための他の同様の手段でありうる。
「コンピュータ」又は「モジュール」又は「プロセッサ」又は「ワークステーション」の語は、ここで使用されるとき、マイクロコントローラ、縮小命令セットコンピュータ(RISC)、ASIC、論理回路、又はここに記述される機能を実行することができる任意の他の回路又はプロセッサを使用する、任意のプロセッサベースの又はマイクロプロセッサベースのシステムを含むことができる。上述した例は、例示的であり、いかなる形であれこれらの語の定義及び/又は意味を制限することを意図しない。
コンピュータ又はプロセッサは、入力データを処理するために、1又は複数の記憶素子に記憶されている命令の組を実行する。記憶素子は更に、望ましい場合又は必要に応じて、データ又は他の情報を記憶することができる。記憶素子は、処理マシン内における情報源又は物理メモリ素子の形でありうる。例えば、上述のマクロ記憶/プロセッサは、デジタルマクロ命令を記憶するデジタルメモリ装置、及び実行時に2D基準画像の特性に従って3Dイメージングのために超音波システムをセットアップする適当なマクロを選択する命令を実行するプロセッサを有する。
上述のような超音波画像の取得、処理及び送信を制御する命令を有する超音波システムの命令の組は、処理マシンのようなコンピュータ又はプロセッサに、本発明のさまざまな実施形態の方法及びプロセスのような特定の動作を実施するよう指示するさまざまなコマンドを有することができる。命令の組は、ソフトウェアプログラムの形でありうる。例えば、図9の超音波システムは、3Dイメージングによる所望の検査タイプのためにシステムをセットアップするように実行されるマクロ命令を記憶装置から選択するアルゴリズムを実行する命令によってプログラムされることができる。ソフトウェアは、システムソフトウェア又はアプリケーションソフトウェアのようなさまざまな形態でありえ、有形の、非一時的なコンピュータ可読媒体として具体化されることができる。更に、ソフトウェアは、別個のプログラム又はモジュールの集まり、より大きいプログラムの中のプログラムモジュール、又はプログラムモジュールの一部の形でありうる。ソフトウェアは更に、オブジェクト指向プログラミングの形のモジュラプログラミングを含むことができる。処理マシンによる入力データの処理は、オペレータコマンドに応答し、又は、以前の処理の結果に応答し、又は、別の処理マシンによって行われるリクエストに応答する。
更に、以下の請求項の制限は、ミーンズプラスファンクションの形で書かれておらず、他の構造を欠いた機能の記述があとに続く「means for」の語句を明示的に使用しない限り、35 U.S.C. 112の第6段に基づいて解釈されることを意図しない。

Claims (8)

  1. 3Dイメージングを使用する検査のための超音波システムであって、
    ターゲット解剖学的構造に超音波を送信し、それに応じて超音波エコーを受信するように構成されるトランスデューサアレイと、
    前記受信した超音波エコーに基づいて、前記ターゲット解剖学的構造を含む2D超音波画像を生成し、
    システム入力に基づいて、前記超音波システムのメモリに記憶された複数のグラフィックアイコンを選択するように構成されるプロセッサであって、各グラフィックアイコンが、前記ターゲット解剖学的構造の異なる3Dサムネイルビューを有し、前記複数のグラフィックアイコンからのグラフィックアイコンのユーザ選択に基づいて、前記超音波システムに、前記選択されるグラフィックアイコンの前記3Dサムネイルビューに対応する前記ターゲット解剖学的構造の3D超音波画像を生成させるように構成される、プロセッサと、
    前記複数のグラフィックアイコンを表示するように適応されたディスプレイと、
    を有し、
    前記システム入力は、前記トランスデューサアレイに対する前記ターゲット解剖学的構造の向きの情報を示すユーザ入力を含み、
    前記グラフィックアイコンは、前記トランスデューサアレイに対する前記ターゲット解剖学的構造の向きの情報に基づいて生成される、
    超音波システム。
  2. 前記ユーザ入力は、前記ターゲット解剖学的構造のビューイング向き又は前記ターゲット解剖学的構造をビューするように構成されるプロトコルを識別するように構成されるテキストベースの又はタッチベースの入力を含む、請求項1に記載の超音波システム。
  3. 前記2D超音波画像は基準画像であり、前記ユーザ入力は、前記ディスプレイに表示される前記基準画像の選択を含み、前記基準画像は、前記トランスデューサアレイに対する前記ターゲット解剖学的構造の向き情報を示す、請求項1に記載の超音波システム。
  4. 前記グラフィックアイコンの複数の異なる3Dサムネイルビューのうち少なくとも1つに対応する前記ターゲット解剖学的構造の少なくとも1つの3D画像を生成するよう適応されるボリュームレンダリング器を更に有する、請求項1に記載の超音波システム。
  5. 少なくとも1つの3D画像を生成するために使用される3D画像データから前記ターゲットのマルチプラナビューを生成するように構成される、請求項1の超音波システム。
  6. 前記プロセッサは、Bモードプロセッサ及びドップラープロセッサを更に有する、請求項1に記載の超音波システム。
  7. ユーザ制御の駆動に応じて、3Dイメージングモードを起動するように適応されるユーザインタフェースを更に有する、請求項1に記載の超音波システム。
  8. 前記基準画像の特性を含むように適応される領域を有するユーザインタフェースを更に有する、請求項3に記載の超音波システム。
JP2018557847A 2016-05-06 2017-05-03 簡素化された3dイメージング制御を有する超音波イメージングシステム Active JP6874021B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662332687P 2016-05-06 2016-05-06
US62/332,687 2016-05-06
PCT/IB2017/052559 WO2017191568A1 (en) 2016-05-06 2017-05-03 Ultrasonic imaging system with simplified 3d imaging controls

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021017216A Division JP7177870B2 (ja) 2016-05-06 2021-02-05 簡素化された3dイメージング制御を有する超音波イメージングシステム

Publications (3)

Publication Number Publication Date
JP2019514582A JP2019514582A (ja) 2019-06-06
JP2019514582A5 JP2019514582A5 (ja) 2020-06-18
JP6874021B2 true JP6874021B2 (ja) 2021-05-19

Family

ID=58794123

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018557847A Active JP6874021B2 (ja) 2016-05-06 2017-05-03 簡素化された3dイメージング制御を有する超音波イメージングシステム
JP2021017216A Active JP7177870B2 (ja) 2016-05-06 2021-02-05 簡素化された3dイメージング制御を有する超音波イメージングシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021017216A Active JP7177870B2 (ja) 2016-05-06 2021-02-05 簡素化された3dイメージング制御を有する超音波イメージングシステム

Country Status (5)

Country Link
US (1) US20190142383A1 (ja)
EP (1) EP3451932B1 (ja)
JP (2) JP6874021B2 (ja)
CN (1) CN109069110B (ja)
WO (1) WO2017191568A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9739875B2 (en) * 2013-02-12 2017-08-22 Urs-Us Medical Technology Inc. Analog store digital read ultrasound beamforming system and method
US11744557B2 (en) * 2018-01-03 2023-09-05 Koninkliike Philips N.V. Ultrasound imaging system with tissue specific presets for diagnostic exams
CN114052777A (zh) * 2020-08-03 2022-02-18 通用电气精准医疗有限责任公司 图像显示方法以及超声成像系统
US20230057317A1 (en) * 2021-08-23 2023-02-23 GE Precision Healthcare LLC Method and system for automatically recommending ultrasound examination workflow modifications based on detected activity patterns

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1171033A4 (en) * 1999-04-21 2005-09-21 Auckland Uniservices Ltd METHOD AND SYSTEM FOR MEASURING ORGANIC CHARACTERISTICS
US6464642B1 (en) * 1999-08-20 2002-10-15 Kabushiki Kaisha Toshiba Ultrasonic diagnosis apparatus
JP2001161693A (ja) * 1999-12-06 2001-06-19 Olympus Optical Co Ltd 超音波画像診断装置
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6675038B2 (en) * 2001-05-14 2004-01-06 U-Systems, Inc. Method and system for recording probe position during breast ultrasound scan
US6723050B2 (en) 2001-12-19 2004-04-20 Koninklijke Philips Electronics N.V. Volume rendered three dimensional ultrasonic images with polar coordinates
JP2004105638A (ja) 2002-09-20 2004-04-08 Shimadzu Corp 超音波診断装置
WO2005074805A1 (en) 2004-02-05 2005-08-18 Koninklijke Philips Electronics N.V. Ultrasonic imaging of perfusion and blood flow with harmonic contrast agents
JP2006218210A (ja) 2005-02-14 2006-08-24 Toshiba Corp 超音波診断装置、超音波画像生成プログラム及び超音波画像生成方法
US8480583B2 (en) * 2007-10-16 2013-07-09 General Electric Company Methods and apparatus for 4D data acquisition and analysis in an ultrasound protocol examination
US8494250B2 (en) * 2008-06-06 2013-07-23 Siemens Medical Solutions Usa, Inc. Animation for conveying spatial relationships in three-dimensional medical imaging
US20100121189A1 (en) * 2008-11-12 2010-05-13 Sonosite, Inc. Systems and methods for image presentation for medical examination and interventional procedures
US20110255762A1 (en) * 2010-04-15 2011-10-20 Harald Deischinger Method and system for determining a region of interest in ultrasound data
WO2012025889A1 (en) 2010-08-26 2012-03-01 Koninklijke Philips Electronics N.V. Automated three dimensional aortic root measurement and modeling
JP2012213558A (ja) 2011-04-01 2012-11-08 Canon Inc 画像処理装置、画像処理方法およびプログラム
US20130072795A1 (en) * 2011-06-10 2013-03-21 Ruoli Mo Apparatuses and methods for user interactions during ultrasound imaging
JP5306422B2 (ja) * 2011-07-19 2013-10-02 株式会社東芝 画像表示システム、装置、方法及び医用画像診断装置
IN2014CN04761A (ja) 2011-12-12 2015-09-18 Koninkl Philips Nv
US20160270757A1 (en) 2012-11-15 2016-09-22 Konica Minolta, Inc. Image-processing apparatus, image-processing method, and program
KR20140063993A (ko) * 2012-11-19 2014-05-28 삼성메디슨 주식회사 의료 영상 생성 장치 및 방법
US20140153358A1 (en) * 2012-11-30 2014-06-05 General Electric Company Medical imaging system and method for providing imaging assitance
BR112015025074B1 (pt) 2013-04-03 2022-03-22 Koninklijke Philips N.V. Sistema de imageamento por ultrassom e método para gerar e avaliar vistas bidimensionais padrão a partir de dados de volume ultrassônico tridimensional
US20140303499A1 (en) * 2013-04-09 2014-10-09 Konica Minolta, Inc. Ultrasound diagnostic apparatus and method for controlling the same
US9468420B2 (en) * 2013-05-02 2016-10-18 Toshiba Medical Systems Corporation Medical imaging data processing apparatus and method
JP5841107B2 (ja) 2013-09-10 2016-01-13 日立アロカメディカル株式会社 超音波診断装置
WO2016001784A1 (en) 2014-06-30 2016-01-07 Koninklijke Philips N.V. Translation of ultrasound array responsive to anatomical orientation

Also Published As

Publication number Publication date
CN109069110B (zh) 2022-08-09
JP7177870B2 (ja) 2022-11-24
CN109069110A (zh) 2018-12-21
EP3451932B1 (en) 2020-10-28
WO2017191568A1 (en) 2017-11-09
JP2019514582A (ja) 2019-06-06
EP3451932A1 (en) 2019-03-13
US20190142383A1 (en) 2019-05-16
JP2021079124A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
JP7177870B2 (ja) 簡素化された3dイメージング制御を有する超音波イメージングシステム
JP7203823B2 (ja) 画像とのタッチインタラクションを使用してボリュームデータから画像平面を抽出する超音波システム
JP5253893B2 (ja) 医用画像処理装置、超音波診断装置、及び超音波画像取得プログラム
US20100286526A1 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
EP3621524B1 (en) Fetal development monitoring
EP2919033A1 (en) Method and apparatus for displaying plurality of different images of object
JP7010948B2 (ja) 胎児超音波撮像
JP2006218210A (ja) 超音波診断装置、超音波画像生成プログラム及び超音波画像生成方法
JP7267928B2 (ja) ボリュームレンダリングされる超音波画像
WO2017211774A1 (en) Medical ultrasound image processing device
JP5390149B2 (ja) 超音波診断装置、超音波診断支援プログラム及び画像処理装置
JP7008713B2 (ja) 解剖学的特徴の超音波評価
EP3547923B1 (en) Ultrasound imaging system and method
CN111601553B (zh) 具有诊断检查的组织特定预设的超声成像系统
CN112568927A (zh) 用于为三维的和四维的超声图像提供旋转预览的方法和系统
JP7313392B2 (ja) 最適な超音波式臓器セグメンテーション
JP2022543540A (ja) 画像データを使用する超音波システム音響出力制御
CN112690825A (zh) 用于提供手绘渲染起始线绘制工具和自动渲染预设选择的方法和系统
RU2778840C2 (ru) Ультразвуковая диагностика анатомических особенностей

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200501

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200501

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210205

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210205

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210216

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210421

R150 Certificate of patent or registration of utility model

Ref document number: 6874021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250