JP7022217B2 - 超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ - Google Patents

超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ Download PDF

Info

Publication number
JP7022217B2
JP7022217B2 JP2020534285A JP2020534285A JP7022217B2 JP 7022217 B2 JP7022217 B2 JP 7022217B2 JP 2020534285 A JP2020534285 A JP 2020534285A JP 2020534285 A JP2020534285 A JP 2020534285A JP 7022217 B2 JP7022217 B2 JP 7022217B2
Authority
JP
Japan
Prior art keywords
artifact
artifacts
image
area containing
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020534285A
Other languages
English (en)
Other versions
JP2021506470A (ja
Inventor
ヤン、フーシン
ファン チョイ、ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verathon Inc
Original Assignee
Verathon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verathon Inc filed Critical Verathon Inc
Publication of JP2021506470A publication Critical patent/JP2021506470A/ja
Application granted granted Critical
Publication of JP7022217B2 publication Critical patent/JP7022217B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • A61B8/145Echo-tomography characterised by scanning multiple planes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318Evaluation of the lower reproductive system
    • A61B5/4325Evaluation of the lower reproductive system of the uterine cavities, e.g. uterus, fallopian tubes, ovaries
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4375Detecting, measuring or recording for evaluating the reproductive systems for evaluating the male reproductive system
    • A61B5/4381Prostate evaluation or disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Description

本発明は、超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータに関する。
超音波スキャナは、通常、標的臓器又は体内の別の構造体を識別し、且つ/又は構造体のサイズ又は臓器内の流体の容積など、標的臓器/構造体に関連する特徴を判断するために使用される。経験豊富な操作者でさえも、適切な品質の超音波画像を取得することは困難な場合がある。
人間の対象者に対して超音波画像技術を使用すると、操作者はしばしば、恥骨、不十分なゲル、腸内ガスなど、様々な発生源からの好ましからざる画像アーチファクトを見つける。こうしたアーチファクトは、正確な臓器測定及び対応する臨床的判断を行うために必要な重要な情報を隠す可能性がある。経験豊富な操作者は、遮断している骨を回避するために探触子を動かす又はより多くのゲルを塗布するなど、好ましからざるアーチファクトを回避するための調整を行うことができる場合がある。しかし、ほとんどの操作者にとって、エラーの種類の自動表示は、操作者が、より迅速且つ効果的に正しい調整を行い、標的臓器のより良い画像を得るのに役立ち得る。
本明細書で説明するシステム及び方法が実施され得る、走査システムの概略図である。 例示的な実施態様による、図1のシステムに実装された機能論理構成要素の構成図である。 図1の超音波探触子の例示的なBモード走査面を示す、概略図である。 図1の超音波探触子の例示的なBモード走査面を示す、概略図である。 図1の超音波探触子の例示的なCモード走査面を示す、概略図である。 図2のデータ取得ユニットで生成され得る、サンプルのBモード画像の図である。 図2のデータ取得ユニットで生成され得る、サンプルのBモード画像の図である。 図2のデータ取得ユニットで生成され得る、サンプルのCモード画像の図である。 図2のデータ取得ユニットで生成され得る、サンプルのCモード画像の図である。 図4AのBモード画像に加えられた、サンプルの可視化物(visualizations)の図である。 図4BのBモード画像に加えられた、サンプルの可視化物の図である。 図5AのCモード画像に加えられたサンプルの可視化物の図である。 図5BのCモード画像に加えられたサンプルの可視化物の図である。 図1の走査システム内での、機能論理構成要素間の通信を示す構成図である。 図1及び図2の走査システム内で、エコー窓のアーチファクトを分類し、視覚的インジケータを生成するための、例示的な通信の構成図である。 図1及び図2の走査システム内で、エコー窓のアーチファクトを分類し、視覚的インジケータを生成するための、別の実施例による例示的な通信の構成図である。 超音波画像を収集する間に、アーチファクトの検出及び可視化を可能にするプロセスの流れ図である。 図1のシステムの基本ユニットの例示的な構成要素を示す概略図である。
添付図面を参照して、以下に詳細に説明する。相異なる図面での同じ参照番号により、同じ又は類似の要素を特定することができる。
本明細書で説明する実施態様は、機械学習を利用して、Bモード超音波エコーからのアーチファクト情報を超音波撮像システム内で単純な視覚的指標に分類し、より適切に狙いをつけ、より正確な定量分析を可能にすることを支援する。一実例によれば、畳み込みニューラル・ネットワークを使用して、Bモード画像内の相異なる発生源からの影に対応する確率マップを生成できる。次いで、マップから単純な視覚的指標を作成でき、より優れた画質及びより高い測定精度を実現するために、操作者が調整を行う。
一実施態様では、超音波画像を収集する際にアーチファクトの検出及び可視化を可能にする方法が、超音波システム内のプロセッサによって実行され得る。該方法は、超音波探触子から超音波画像データを受信するステップと、超音波画像データ内のアーチファクトを含むエリアを検出するステップと、アーチファクトを含むエリアを利用可能なアーチファクトのクラスのグループから選択されたクラスに分類するステップと、超音波ベースの画像のアーチファクトを含むエリアの指標を生成するステップであって、指標には選択したクラスの名称が含まれる、ステップと、超音波ベースの画像及びアーチファクトを含むエリアの指標を操作者に提示するステップとを含み得る。本明細書でさらに説明するように、超音波ベースの画像には、一般に、Bモード画像、Cモード画像、又は超音波データから導出された別の種類の画像が含まれ得る。
図1は、本明細書で説明するシステム及び方法が実施され得る、走査システム100の概略図である。図1を参照すると、走査システム100は、探触子110、基本ユニット120、及びケーブル130を備える。
探触子110は、ハンドル部分、トリガ、及びノーズ(又はドーム)部分を備える。医療従事者は、ハンドルを使って探触子110を保持し、トリガ112を押して、ノーズ部分に位置する1つ又は複数の超音波トランシーバをアクティブ化し、臓器(たとえば膀胱、大動脈、腎臓など)又は非臓器構造体(たとえばカテーテル、針、又は別の医用デバイス)が含まれ得る、関心のある標的対象物に向けて超音波信号を送信することができる。たとえば、図1に示すように、探触子110は、患者150の骨盤エリア、及びこの実例では患者の膀胱である、関心のある標的対象物152の上に位置している。
探触子110のドームは、通常、解剖学的部分に適切な音響インピーダンス整合をもたらし、且つ/又は超音波エネルギーが解剖学的部分に投射されるときに正確に集束することを可能にする材料で形成される。たとえば、図1のエリア154に示している音響ジェル又はジェル・パッドを患者の皮膚の関心領域(ROI:region of interest)上に塗布し、ドームを皮膚に当てたときに音響インピーダンスを整合させることができる。
探触子110は、ドームから外向きに超音波エネルギーを送信し、解剖学的部分内の内部構造体/組織で生成された音響反射、すなわちエコーを受信する、ドーム内の1つ又は複数の超音波トランシーバ要素及び1つ又は複数のトランスデューサ要素を備える。たとえば、1つ又は複数の超音波トランスデューサ要素は、トランシーバ要素による超音波信号の送信に対して相異なるスキャン方向を可能にするために、モータによってドーム内を動くことができる、圧電素子の1次元又は2次元アレイを備えることができる。別法として、トランスデューサ要素は、選択された解剖学的領域が、アレイ内の素子に選択的にエネルギーを与えることによって走査できるように、探触子110に対して固定であってもよい。
探触子110は、ケーブル130を介するなど、有線接続を介して、基本ユニット120と通信できる。他の実施態様では、探触子110は、無線接続(たとえば、Bluetooth、Wi-Fiなど)を介して、基本ユニット120と通信できる。いずれの場合も、基本ユニット120は、操作者が超音波スキャンからの処理結果を見ることを可能にし、且つ/又は探触子110を操作中の操作者に対して、操作上の対話を可能にするディスプレイ122を備える。たとえば、ディスプレイ122は、液晶ディスプレイ(LCD:liquid crystal display)、発光ダイオード(LED:light emitting diode)ベースのディスプレイ、又は操作者にテキスト及び/若しくは画像データを提示する他の種類のディスプレイなどの、出力ディスプレイ/画面を備えることができる。たとえば、ディスプレイ122は、超音波スキャンの品質/精度を判断する助けとなるように、Bモード画像上に重ね合わされる、アーチファクトの可視化物を提示できる。ディスプレイ122はまた、選択された解剖学的領域の2次元又は3次元画像を表示できる。
患者の選択された解剖学的部分を走査するために、探触子110のドームは、図1に示すように、走査されるべき解剖学的部分に最も近い患者150の表面部分に接して配置され得る。操作者は、トランシーバ要素及びトランスデューサ要素を作動させ、トランシーバに、超音波信号を体内に送信させ、選択された解剖学的部分の超音波画像を生成するために、トランシーバで少なくとも部分的に処理され得る、対応する戻りのエコー信号を受信させる。特定の実施例では、トランシーバは、約2メガヘルツ(MHz)から約10MHz以上に及ぶ範囲の中心周波数を有する超音波信号を送信する。
一実施例では、探触子110は、所定の周波数及び/又はパルス繰返し速度で超音波エネルギーを生成し、超音波エネルギーをトランシーバに移送するよう構成された基本ユニット120に結合され得る。基本ユニット120は、走査された解剖学的領域の画像を生成するために、トランシーバによって受信された、反射された超音波エネルギーを処理するよう構成された、1つ又は複数のプロセッサ又は処理ロジックも備える。
さらに別の特定の実施例では、探触子110は、探触子110内に構成された1つ又は複数のマイクロプロセッサ又は処理ロジックと、トランシーバ要素及びトランスデューサ要素を動作可能に制御し、超音波画像を生成するために反射された超音波エネルギーを処理する、マイクロプロセッサに関連するソフトウェアとを有する、自己完結型デバイスであり得る。したがって、探触子110のディスプレイを使用して、生成された画像を表示し、且つ/又はアーチファクトの可視化物及びトランシーバの動作に関連する他の情報を見ることができる。他の実施態様では、トランシーバは、トランシーバ要素及びトランスデューサ要素の動作を少なくとも部分的に制御するソフトウェアを有し、また、走査された解剖学的領域の画像が生成され得るように、トランシーバから転送された情報を処理するソフトウェアを有する、ラップトップ又はデスクトップ・コンピュータなどの汎用コンピュータに結合され得る。
図2は、例示的な実施態様によるシステム100に実装された機能論理構成要素の構成図である。図2を参照すると、システム100は、データ取得ユニット210と、アーチファクト識別ユニット220と、視覚的指標生成器230と、主処理ロジック240とを備える。例示的な実施態様では、データ取得ユニット210は、探触子110の一部であってもよく、他の機能ユニット(たとえば、アーチファクト識別ユニット220、視覚的指標生成器230、及び主処理ロジック240)は、基本ユニット120に実装されてもよい。別法として、データ取得ユニット210、アーチファクト識別ユニット220、視覚的指標生成器230、及び主処理ロジック240は、探触子110に実装されてもよい。他の実施態様では、特定のユニット及び/又はロジックは、探触子110及び基本ユニット120の両方に対して外部に位置するコンピューティング・デバイス又はサーバ(たとえば、インターネットへの無線接続又は病院内の構内ネットワークなどを介してアクセス可能な)によるなど、他のデバイスによって実装されてもよい。たとえば、探触子110は、たとえば無線接続(たとえば、Wi-Fi又は他の何らかの無線プロトコル/技術)を介して、エコー・データ及び/又は画像データを、探触子110及び基本ユニット120から遠隔に位置する処理システムに送信できる。
上記のように、探触子110は、超音波信号を生成し、送信された信号からのエコーを受信し、受信されたエコーに基づいて画像データを生成するトランシーバを備えることができる。データ取得ユニット210は、たとえば、復調、間引き、ログ圧縮、及びフィルタ処理サブモジュールを備え、人間が見えるように提示され得る画像を生成することができる。回転トランスデューサ又はトランスデューサ・アレイは、探触子110と共に、複数のスキャン面に沿って走査できる。
図3A及び図3Bは、超音波画像を取り込むために探触子110が使用できる、スキャン面310(たとえば、面310-1、310-2、及び310-3)及び315(たとえば、面315-1、315-2、315-3など)の簡略図を提示する。データ取得ユニット210は、1つ又は複数のスキャン面310又は315からの画像データを使用して、図4A及び図4Bにそれぞれ示すBモード画像410及び420などの、2次元Bモード画像を生成できる。図3A及び図3Bにはそれぞれ、3つのスキャン面310及び10のスキャン面315を示しているが、実際には、より多くのスキャン面を使用して、標的対象物の包括的な画像を編集する。たとえば、数十のスキャン面が数個の探触子110で使用され得る。例示的な実施態様では、データ取得ユニット210は、患者150の関心領域に対応する複数のスキャン面に関連するデータを取得する。
図3Cは、Cモード画像面320の簡略図を提示する。Cモード画像には、一般に、たとえば、一般的なBモードスキャン面310に垂直に向けられた画像が含まれ得る。一実施態様では、Cモード画像には、平面320-1で示すように、特定の深さでのスキャン面310又は315の超音波データから生成される断面画像が含まれ得る。したがって、データ取得ユニット210は、スキャン面310又は315のそれぞれにおける特定の深度からの画像データを使用して、Cモード画像を生成できる。別の実施態様では、Cモード画像には、面320-2で示すように、Z軸が深度を表す「XY」平面上への3D超音波データの「陰影像」又は「投影図」が含まれ得る。Cモード画像は、超音波画像又は漫画的なグラフィックとして表示され得る。Cモード画像510及び520の簡略図を、それぞれ図5A及び図5Bに示す。
再び図2を参照すると、アーチファクト識別ユニット220は、Bモード画像、Cモード画像、又は別の種類の超音波画像であり得る、画像の前処理を実行し、超音波アーチファクト(たとえば、影、空気/不十分な結合、腸内ガス、及び他の種類の妨害による、偽陽性エコー又は偽陰性エコー)がエコー窓内に存在するかどうかをリアルタイムで検出できる。たとえば、アーチファクト識別ユニット220は、データ取得ユニット210から入力画像(たとえば、画像410、420、510、520などのいずれでも)を受信し、超音波アーチファクトを示すエコー窓内の特徴を検出できる。本明細書でさらに説明するように、アーチファクト識別ユニット220は、複数クラスへのアーチファクト分類化アルゴリズムを使用して、Bモード画像データ、Cモード画像データ、又は他の種類の画像データを分析し、影、ガス、空気境界面など、1種又は複数種類のアーチファクトを認識できる。
たとえば、図4Aを参照すると、アーチファクト識別ユニット220は、膀胱416を標的とするBモード画像410内の空気スキャン(air scan)・エリア412及び恥骨の影414を検出できる。別の実例として、図4Bを参照すると、アーチファクト識別ユニット220は、大動脈424を標的とするBモード画像420内の腸内ガスのエリア422を検出できる。図5Aを参照すると、Cモード画像は、Bモード画像を編集することによって生成される。アーチファクト識別ユニット220は、膀胱516を標的とするCモード画像510内で、空気スキャン・エリア512及び恥骨の影514を同様に検出できる(通常、空気スキャン・エリア512及び恥骨の影514は、従来のCモード画像内で示すことはできないが)。図5Bを参照すると、アーチファクト識別ユニット220は、大動脈526を標的とするCモード画像520内の腸内ガスのエリア522及び空気スキャン・エリア524を検出できる。経験豊富な操作者は、空気スキャン・エリア412、恥骨の影414、腸内ガス422などのアーチファクトを識別できるが、アーチファクトを自動的にリアルタイムで検出及び可視化すること(又は視覚的に強化すること)により、探触子110の狙いづけが簡素化され、経験豊富な操作者と経験のない操作者との両方にとって確実に、精度がより向上し得る。Bモード画像でのこうしたアーチファクトの検出及び除去により、より正確なCモード画像も提供され得る。アーチファクト識別ユニット220については、たとえば、図9と共にさらに説明する。
図2に戻ると、視覚的指標生成器230は、アーチファクト識別ユニット220によって検出されたアーチファクトに対して、画像上のオーバレイなどの視覚的指標を与えることができる。たとえば、アーチファクト識別ユニット220によって検出されたアーチファクトの種類に基づいて、視覚的指標生成器230は、アーチファクト・エリアの強調表示又は輪郭線を提供できる。図6A~図7Bは、視覚的指標生成器230によって生成され得るサンプル出力の実例を提示する。図6A及び図6Bはそれぞれ、Bモード画像410及び420に加えられた可視化物を示す。図7A及び図7Bはそれぞれ、Cモード画像510及び520に加えられた可視化物を示す。
図6Aを参照すると、視覚的指標生成器230は、膀胱のスキャン出力610を提供できる。出力610には、Bモード画像410、空気アーチファクト識別子612、影アーチファクト識別子614、及び臓器の輪郭線616が含まれ得る。Bモード画像410は、図3A又は図3Bのスキャン面310又は315のうちの一方からのエコー・データに対応し得る。空気アーチファクト識別子612は、(たとえば、アーチファクト識別ユニット220で検出される)空気スキャン・エリア412を強調表示する輪郭線、対照的なエリア、又は別の可視インジケータであり得る。影アーチファクト識別子614は、恥骨の影414を強調表示する別の輪郭線、対照的なエリア、又は異なる可視インジケータであり得る。臓器の輪郭線616は、膀胱416の推定される形状と一致することができ、別の輪郭線又は可視インジケータが含まれ得る。一実施態様では、空気アーチファクト識別子612及び影アーチファクト識別子614は、アーチファクトのそれぞれの種類(たとえば、空気及び影)を示すように色分けされ得る。別の実施態様では、アーチファクト識別子(空気アーチファクト識別子612、影アーチファクト識別子614、及び本明細書で説明する他のアーチファクト識別子を含む)は、操作者への可視又は可聴テキストでの教示によって補足されてもよい。たとえば、出力610に、色又はアーチファクトのマークづけを説明する別個の凡例が加わってもよい。
図6Aに示すように、Bモード画像410のエコー窓は、恥骨(たとえば、不適切な狙いによる)及び空気(たとえば、不十分な結合による)によって部分的に遮断される。具体的には、膀胱416は、恥骨の影414によって部分的に閉塞されており、これは、臓器の輪郭線616によって示すように、膀胱416の推定される形状が不正確な場合があることを意味する。出力610のインジケータ612、614、及び616は、複雑な処理での発見的手法又は遅延なしに、アーチファクト(たとえば、空気スキャン・エリア412及び恥骨の影414)がどのように所望の標的(たとえば、膀胱416)測定に影響を与える可能性があるかの、明確な視覚的指標を提供する。したがって、インジケータ612、614、及び616は、正確な膀胱のスキャンを得るために探触子110の調整が必要であるという、リアルタイムでの情報を操作者に提供できる。
図6Bを参照すると、視覚的指標生成器230は、大動脈のスキャンの出力620を提供できる。出力620には、Bモード画像420、ガス・アーチファクト識別子622、及び臓器の輪郭線624が含まれ得る。Bモード画像420は、図3Aのスキャン面310又は図3Bのスキャン面315のうちの一方からのエコー・データに対応し得る。ガス・アーチファクト識別子622は、(たとえば、アーチファクト識別ユニット220で検出される)腸内ガスのエリア422を強調表示する輪郭線、対照的なエリア、又は別の可視インジケータであり得る。臓器の輪郭線624は、大動脈424の推定される形状と一致することができ、別の輪郭線又はインジケータが含まれ得る。上記のアーチファクト識別子612及び614と同様に、ガス・アーチファクト識別子622は、色分けされ、且つ/又は説明的なテキストで補足されてもよい。
図6Bに示すように、Bモード画像420のエコー窓は、腸内ガスにより部分的に遮断されている。しかし、大動脈424は、障害物がなく完全に可視である。出力620のインジケータ622及び624は、複雑な処理での発見的手法又は遅延を必要とせずに、アーチファクト(たとえば、腸内ガスのエリア422)が所望の標的(たとえば、大動脈424)測定に影響を与えていないという明確な視覚的指標を提供する。したがって、インジケータ622及び624は、正確なスキャンを得るための探触子110の調整は不要であるという、リアルタイムでの情報を操作者に提供できる。
図7Aを参照すると、視覚的指標生成器230は、膀胱のスキャンの出力710を提供できる。出力710には、Cモード画像510、空気アーチファクト識別子712、影アーチファクト識別子714、及び臓器の輪郭線716が含まれ得る。Cモード画像510は、図3CのCモード画像面320からのエコー・データに対応し得る。空気アーチファクト識別子712は、(たとえば、アーチファクト識別ユニット220で検出される)空気スキャン・エリア512を強調表示する輪郭線、対照的な色、又は別の可視インジケータであり得る。影アーチファクト識別子714は、恥骨の影514を強調表示する別の輪郭線、対照的な色、又は異なる可視インジケータであり得る。臓器の輪郭線716は、膀胱516の推定される形状と一致することができ、別の輪郭線、色、又はインジケータが含まれ得る。一実施態様では、空気アーチファクト識別子712及び影アーチファクト識別子714は、アーチファクトのそれぞれの種類(たとえば、空気、影など)を示すように色分けされ得る。別の実施態様では、アーチファクト識別子(空気アーチファクト識別子712、影アーチファクト識別子714、及び本明細書で説明する他のアーチファクト識別子を含む)は、操作者への可視又は可聴テキストでの教示によって補足されてもよい。
図7Aに示すように、一般にCモード画像510のエコー窓、及び具体的には標的の膀胱516は、恥骨の影(たとえば、不適切な狙いによる)及び空気(たとえば、不十分な探触子と皮膚との結合による)によって部分的に遮断される。出力710のインジケータ712、714、及び716は、アーチファクトがどのように所望の標的測定(たとえば、膀胱の体積又はサイズ測定)を妨げるかの、明確な視覚的指標を提供する。したがって、インジケータ712、714、及び716は、正確な膀胱のスキャンを得るために探触子110の調整が必要であるという、リアルタイムでの情報を操作者に提供できる。
図7Bを参照すると、視覚的指標生成器230は、大動脈のスキャンの出力720を提供できる。出力720には、Cモード画像520、ガス・アーチファクト識別子722、空気アーチファクト識別子724、及び臓器の輪郭線726が含まれ得る。Cモード画像510は、図3CのCモード画像面320からのエコー・データに対応し得る。ガス・アーチファクト識別子722は、(たとえば、アーチファクト識別ユニット220で検出される)腸内ガスのエリア522を強調表示する輪郭線、対照的なエリア、又は別の可視インジケータであり得る。空気アーチファクト識別子724は、(たとえば、アーチファクト識別ユニット220で検出される)空気スキャン・エリア524を強調表示する輪郭線、対照的な色、又は別の可視インジケータであり得る。臓器の輪郭線726は、大動脈526の推定される形状と一致することができ、別の輪郭線又はインジケータが含まれ得る。上記の他のアーチファクト識別子と同様に、ガス・アーチファクト識別子722は、色分けされ、且つ/又は説明的なテキスト(たとえば、空気に対して「A」、ガスに対して「G」、影に対して「S」、単語「空気」、「ガス」、「影」など)で補足されてもよい。
図7Bに示すように、Cモード画像520のエコー窓の一部分は、空気スキャン及び腸内ガスにより遮断されている。しかし、大動脈526は、障害物がなく可視である。出力720のインジケータ722、724及び726は、複雑な処理での発見的手法又は関連する遅延を必要とせずに、アーチファクト(たとえば、腸内ガスのエリア522及び空気スキャン・エリア524)が所望の標的(たとえば、大動脈526)測定に影響を与えていないという明確な視覚的指標を提供する。したがって、インジケータ722、724及び726は、正確なスキャンを得るための探触子110の調整は不要であるという、リアルタイムでの情報を操作者に提供できる。
一方、図6A~図7Bは、膀胱及び大動脈のBモードのスキャン及びCモードのスキャンの視覚的アーチファクト・インジケータの実例を提示する。他の実施態様では、視覚的指標生成器230は、他のスキャン・モードでのアーチファクト及び/又は他の標的対象物の視覚的インジケータを、出力に提供できる。
再び図2を参照すると、主処理ロジック240は、データ取得ユニット210で取得されたBモード、Cモード、又は他の種類の画像を使って、腔の種類認識、体積推定、直径若しくはサイズ推定、又は他の臨床的に有用な情報など、標的対象物(たとえば、膀胱416、大動脈424など)の付加的な分析を提供できる。たとえば、主処理ロジック240は、腔を膀胱として識別し、膀胱の体積を推定するか、又は大動脈の直径を確認できる。
図1及び図2に示す例示的な構成は、話を簡単にするために提供している。システム100は、図1及び図2に示すより多い又は少ない論理ユニット/デバイスを備えてもよい。たとえば、システム100は、複数のデータ取得ユニット210、及び受信したデータを処理する複数の処理ユニットを備えてもよい。加えて、システム100は、外部ネットワークを介して情報を送受信し、超音波信号を分析して関心のある標的対象物を識別するのを補助する通信インタフェース(たとえば、無線周波数トランシーバ)などの、追加の要素を備えてもよい。さらに、本明細書の説明図及び記述は、主に膀胱及び大動脈への適用に言及しているが、他の実施例は、前立腺/腎臓の境界、他の血管、甲状腺などの他の臓器の壁境界検出に適用できる。
図8は、走査システム100内の機能論理構成要素間の通信を示す構成図である。図8に示すように、Bモード画像810(たとえば、データ取得ユニット210から)は、アーチファクト識別ユニット220で受信され得る。アーチファクト識別ユニット220は、各Bモード画像810内の画素及び/又は画素グループの特徴を検出して、アーチファクトの分類を可能にすることができる。
アーチファクト識別ユニット220は、Bモード画像810のアーチファクト部分(たとえば、画素)を、訓練データからの基準に基づいて1つ又は複数のクラスに関連づけることができる。一実施態様では、アーチファクト識別ユニット220は、予め訓練された深層畳み込みニューラル・ネットワーク(DCNN:deep convolutional neural network)を適用することができる。DCNN又は他の画像分類アルゴリズムは、迅速な画像分類を提供するために、フィールドプログラマブル・ゲート・アレイ(FPGA:field-programmable gate array)、特定用途向け集積回路(ASIC:application specific integrated circuit)などのハードウェアで実現される回路の使用に最適であり得る。各種アーチファクトは、検出され得る超音波画像内で、確率マッチングを使用して、結果として相異なる種類の画素グループになることがある。一実例によれば、アーチファクト識別ユニット220は、Bモード画像内の相異なる種類の影(たとえば、恥骨による暗い影対腸内ガスによるより明るい影)及び他のアーチファクト(不十分な探触子と皮膚との結合による残響)に対応する確率マップを有することができる。一実施態様では、アーチファクトの輪郭(definition)は、機械学習システムによってオフラインで生成され、アーチファクト識別ユニット220に記憶できる。別の実施態様では、アーチファクト識別ユニット220は、動的学習機能を有することができ、ここで実際に処理された画像及び可視化物(たとえば、可視化物612、712など)に対するユーザの反応を使用して、アーチファクト識別ユニット220を改善できる。
図8の実例では、アーチファクト識別ユニット220は、恥骨による影820、腸内ガスによる影822、不適切な結合によるアーチファクト824、及び他の発生源からのアーチファクト826の、4つの相異なるクラスを使用できる。恥骨による影820、腸内ガスによる影822、不適切な結合によるアーチファクト824は、Bモード画像の画素グループから検出可能な、主要な既知のアーチファクトのクラスを示すことができる。他の発生源によるアーチファクト826には、任意の未確認のアーチファクト、或いはカテーテル若しくは針の影のクラス、肋骨の影のクラス、又は走査画像の品質及び関連する定量分析の精度に影響を与える他のクラスなどの、主要な既知のアーチファクトのクラスにない他の種類の既知のアーチファクトが含まれ得る。一実施態様では、他の発生源によるアーチファクト826は、カテーテル又は針の影のクラス、肋骨の影のクラス、及び未知のクラスに対する別個のグループなど、複数のクラス又はサブクラスに分離することができる。場合によっては、画素は、複数のクラスの下に分類されることがある。アーチファクト識別ユニット220は、訓練データセット内の超音波画像の量が各カテゴリに対応する限り、出力する任意の数のカテゴリに対応できる。ただし、カテゴリの総数が増えると、2つのカテゴリ間の分類距離(たとえば画像の特徴空間に関して)が減少する可能性があり、正しい分類が困難になり、人間の操作者に混乱が生じる可能性がある。一実施態様では、アーチファクト識別ユニット220は、6つ以下のカテゴリを使用できる。
図8に示す特定のアーチファクトのクラス820、822、824、及び826は、膀胱のスキャンの実施など、特定の超音波用途に適し得る。他の実施態様では、アーチファクト識別ユニット220において、相異なる種類又は数のアーチファクトのクラスを使用できる。たとえば、腹部大動脈瘤(AAA:abdominal aortic aneurysm)のスキャンでは、不適切な結合によるアーチファクト及び腸内ガスの影が、他のアーチファクトについての未定義(又は「他の発生源」)クラスと共に主要なクラスになり得る。逆に、新しい種類の人間の心臓のスキャンでは、肋骨による影及び医用デバイスによる影が、2つの主要なアーチファクト分類になり得る(たとえば「他の発生源」クラス内に一緒にグループ化されるのではなく)。
アーチファクト識別ユニット220は、分類された画素の場所及びクラスを視覚的指標生成器230に転送できる。視覚的指標生成器230は、アーチファクト画素の場所及びクラスに対応するオーバレイを生成できる。Bモード可視化物ユニット830は、直接Bモード画像に可視化物(たとえば、空気アーチファクト識別子612、ガス・アーチファクト識別子622など)を加えることができる。Cモード画像の場合、Cモード可視化物ユニット840が、他のBモード・データと共にBモード可視化物の場所を受信して編集し、Cモード可視化物(たとえば、空気アーチファクト識別子712、ガス・アーチファクト識別子722など)を生成できる。3次元レンダリングなどの他の種類の画像の場合、他の可視化物ユニット850は、他の画像データと共にBモード可視化物の場所を受信して編集し、他の種類の超音波画像を生成できる。
図9は、走査システム100内の、リアルタイムでアーチファクト可視化物を生成する、例示的な通信の構成図である。操作者900は、超音波探触子110を使用して、リアルタイムで標的とする解剖学的領域からデータを取得できる。たとえば、操作者900は、探触子110を制御して、関心のある臓器(たとえば、図1の臓器152)に向けて探触子110のノーズを配置し905、超音波信号を放射できる。
データ取得ユニット210は、エコー・データを受信し、エコー・データを処理して、たとえば、2次元Bモード画像910を生成できる。データ取得ユニット210は、Bモード画像910をアーチファクト識別ユニット220に転送できる。
アーチファクト識別ユニット220は、たとえば、画像910の相異なるエリア(たとえば画素)を、空気スキャン・エリア412、恥骨の影414などの、複数の相異なるアーチファクトのカテゴリのうちの1つ又は複数に分類する、複数クラスへのアーチファクト分類化アルゴリズムを使用して、画像910を分析できる。一実施態様によれば、画像910の画素は、2つの別個のカテゴリに同時に含まれ得る。たとえば、アーチファクト識別ユニット220は、画像910内のいくつかの画素を、暗い影と残響との両方を有するものとして識別できる。アーチファクト識別ユニット220は、画像910の画素のカテゴリ関連づけ915を視覚的指標生成器230に転送できる。
視覚的指標生成器230は、カテゴリ関連づけ915を受信し、カテゴリ関連づけ915に基づいてアーチファクト可視化物を生成できる。一実施態様によれば、視覚的指標生成器230は、カテゴリ関連づけ915を、表を使用して、特定の色、指標、及び/又はテキストの参考文と照合できる。
視覚的指標生成器230は、画像910内の画素のカテゴリに対応する適切な可視化物/テキストを選択し、操作者900に対して表示するために、拡張された画像920(たとえば、出力610、620など)をディスプレイ122に提出できる。アーチファクト可視化物(たとえば、ガス・アーチファクト識別子622など)は、画面(たとえば、ディスプレイ122)上に表示され、且つ任意選択でスピーカを使って音声で出力され、操作者にリアルタイムでのフィードバックと、最高品質のデータ及び体積又はサイズの測定値など、その後の正確な計算結果を操作者が取得するのを支援する教示とを提供できる。
アーチファクト識別ユニット220は、個々のBモード画像(たとえば、2次元画像)を分析するので、視覚的指標生成器230からの拡張された画像920は、リアルタイム(たとえば、0.5秒未満の遅延)で提示され得る(ディスプレイ122を介して)。Bモードの可視化物から生成されるCモード画像のアーチファクト可視化物も同様に、大幅な遅延なしに提示できる。
操作者900は、ディスプレイ122から、拡張された画像920を見つける925ことができる。拡張された画像920が、ユーザに探触子110を調整することを要求するアーチファクト可視化物を含む場合、操作者900は、探触子110を再配置する905(又はアーチファクトを補正するための他の措置をとる)ことができる。データ取得ユニット210は、新しいエコー・データを受信し、新しいエコー・データを処理して、別のBモード画像910、Cモード画像などを生成できる。アーチファクト識別ユニット220は、アーチファクトの画素に関して画像910を分析し、カテゴリ関連づけ915を視覚的指標生成器230に再び供給できる。
拡張された画像920が標的対象物を遮らないアーチファクト可視化物を含む場合、操作者900は、探触子110を調整しないことを選択できる。視覚的指標生成器230は、遮られていない/受容された画像930を主処理ロジック240に転送できる。
主処理ロジック240は、必要に応じて、画像930及びその後に続く画像930を受信して、画像930に基づいて、臓器の境界、膀胱の体積の推定、腔の認識、大動脈のサイズなど、所望の測定値又は計算値を提供できる。主処理ロジック240は、計算結果935をディスプレイ122に供給して、操作者900に対して表示できる。
図10は、別の実施態様による、走査システム100内の、リアルタイムでアーチファクト可視化物を生成する、例示的な通信の構成図である。図10の通信は、操作者に提供される、要求された出力を含むフィードバックを示す。
図9に関連して説明した通信と同様に、図10では、操作者900は探触子110を制御して、探触子110のノーズを関心のある臓器に向けて配置し905、超音波信号を放射できる。データ取得ユニット210は、エコー・データを受信し、エコー・データを処理して画像910を生成できる。データ取得ユニット210は、画像910をアーチファクト識別ユニット220に送信できる。アーチファクト識別ユニット220は、画像910を分析し、画像910内の画素グループ又は画素エリアを、1つ又は複数のアーチファクトのカテゴリに分類できる。アーチファクト識別ユニット220は、画像910のカテゴリ関連づけ915を視覚的指標生成器230に供給できる。
データ取得ユニット210は、画像910をアーチファクト識別ユニット220に送信することに加えて(且つ同時に)、画像910を主処理ロジック240に送信できる。主処理ロジック240は、必要に応じて、画像910及びその後に続く画像910を受信し、画像910に基づいて、標的対象物(たとえば、膀胱、腎臓、大動脈、医用デバイスなど)を検出し、臓器の境界/形状又は膀胱の体積の推定など、所望の測定値又は計算値を提供できる。したがって、(アーチファクト識別ユニット220からの)アーチファクトの評価、及び(主処理ロジック240からの)計算された測定値を同時に得ることができる。主処理ロジック240は、計算結果1010を視覚的指標生成器230に供給できる。
視覚的指標生成器230は、カテゴリ関連づけ915及び計算結果1010を受信できる。視覚的指標生成器230は、カテゴリ関連づけ915及び計算結果1010を使用して、操作者900向けにアーチファクト・エリアの可視化物を生成できる。一実施態様では、視覚的指標生成器230は、アーチファクトの存在に起因する計算結果の潜在的エラーを示す、付加的なガイダンスを伴う計算結果1010を提供できる。
視覚的指標生成器230は、画像910内で検出されたアーチファクトのクラスに対応する適切な可視化物を選択し、操作者900に対して表示するための出力1020として、アーチファクト可視化物と共に画像をディスプレイ122に提出できる。たとえば、出力1020は、上記の出力610、620、710、又は720に対応することができ、ディスプレイ122を介して提示され得る。操作者900は、ディスプレイ122上で、出力1020を見つける1025ことができる。操作者900は、探触子110を調整して再走査するか、又は単に可視化されたアーチファクト(存在する場合)に対する標的対象物の場所に基づいて結果を受容するかを選択できる。
図11は、リアルタイムで超音波スキャンのアーチファクト可視化物を生成する、例示的なプロセス1100を示す流れ図である。プロセス1100は、たとえば、システム100の基本ユニット120で実行され得る。別の実施態様では、プロセス1100は、探触子110と連動して基本ユニット120で実行され得る。一実施態様では、プロセス1100は、探触子110が上記のように超音波画像を取得した後に開始できる。
プロセス1100は、スキャン画像を受信するステップ及び処理するステップを含み得る(ブロック1110)。たとえば、データ取得ユニット210は、探触子110から1つ又は複数のBモード超音波画像を受信し、ノイズ低減及び/又は他の前処理技法を施して、画像からスペックル及び背景ノイズを除去できる。いくつかの実施例では、軸方向解像度と横方向解像度との間の差異を補正するために、生のBモード画像の縦横比を、サイズ変更プロセスによって調整できる。膀胱走査用途などの他の実施態様では、膀胱の形状に、典型的な膀胱の実際の形状をより正確に反映させるために、スキャン変換を施すこともできる。
プロセス1100はまた、スキャン画像内の超音波アーチファクトを検出するステップ(ブロック1120)と、検出されたアーチファクト・エリアを可視化するステップ(ブロック1130)とを含み得る。たとえば、アーチファクト識別ユニット220は、データ取得ユニット210から、画像910などの前処理された画像を受信できる。アーチファクト識別ユニット220は、たとえば、画像910のエリアを複数の相異なるアーチファクトのカテゴリ(たとえば、恥骨の影、腸内ガスの影、残響など)のうちの1つ又は複数に分類する、複数クラスへの画像分類化アルゴリズムを使用して、画像910の画素グループを分析できる。視覚的指標生成器230は、相異なる種類のアーチファクトの可視インジケータをリアルタイムで生成し、操作者900に対して表示するために、スキャン画像上にアーチファクト可視化物を重ね合わせることができる。
操作者は、スキャンを受容することについて判断できる(ブロック1140)。たとえば、標的対象物に対する可視化されたアーチファクトの場所に基づいて、操作者900は、付随的なアーチファクトの存在にかかわらずスキャンが許容可能であると判断できる。或いは、操作者900は、(たとえば、可視化物612、712などによって示すような)アーチファクトでは探触子の調整及び再走査が必要であると判断できる。
操作者がスキャンを受容しない場合(ブロック1140のいいえ)、プロセス1100は、操作者が探触子を調整するステップ(ブロック1150)、及びブロック1110に戻ってスキャン画像を受信して処理するステップを含み得る。たとえば、操作者900は、標的対象物を閉塞するアーチファクトを示す出力(たとえば、出力610、710)を伴うスキャンを拒否できる。操作者900は、スキャン結果を改善するために、探触子110の位置を調整するか、より多くのゲルを皮膚に塗布するか、又は他の補正措置を講じ、もう一度スキャンを開始できる。
操作者がスキャンを受容する場合(ブロック1140のはい)、プロセス1100は、主な処理を実行するステップ(ブロック1160)及び結果を提示するステップ(ブロック1170)を含み得る。たとえば、操作者900は、アーチファクトがない、又は出力が、エコー窓内のアーチファクトが標的対象物を見るのに影響を与えないことを示す(たとえば、出力620、720)スキャンを受容できる。主処理ロジック240は、標的対象物についての計算/測定要求を実行し、結果(たとえば、膀胱の体積、大動脈の直径など)を操作者900に返すことができる。
図11は、プロセス1110のブロックの特定の順序を示しているが、他の実施態様では、プロセス1100は、異なる順序で実行され得る。たとえば、一実施態様では、ブロック1160の主なデータ処理は、ブロック1120及び/又は1130と同時に実行できる。
図12は、基本ユニット120の例示的な物理的構成要素を示す概略図である。基本ユニット120は、バス1210、プロセッサ1220、メモリ1230、入力構成要素1240、出力構成要素1250、及び通信インタフェース1260を備えることができる。他の実施態様では、探触子110は、同様の構成要素を備えることができる。
バス1210は、基本ユニット120の構成要素間の通信を可能にする経路を備えることができる。プロセッサ1220には、プロセッサ、マイクロプロセッサ、ASIC、コントローラ、プログラム可能な論理デバイス、チップセット、FPGA、グラフィック処理ユニット(GPU:graphics processing unit)、特定用途向け命令セット・プロセッサ(ASIP:application specific instruction-set processor)、システムオンチップ(SoC:system-on-chip)、中央処理ユニット(CPU:central processing unit)(たとえば、1つ又は複数のコア)、マイクロコントローラ、並びに/又は命令及び/若しくはデータを解釈及び/若しくは実行する他のいくつかの種類の構成要素が含まれ得る。プロセッサ1220は、ハードウェア(たとえば、FPGAなど)、ハードウェアとソフトウェアとの組合せ(たとえば、SoC、ASICなど)として実装されてもよく、1つ又は複数のメモリ(たとえば、キャッシュなど)などを備えてもよい。
メモリ1230には、プロセッサ1220が実行するための情報及び命令(たとえば、ソフトウェア1235)を記憶できる任意の種類の動的記憶デバイス、及び/又はプロセッサ1220が使用するための情報を記憶できる任意の種類の不揮発性記憶デバイスが含まれ得る。
ソフトウェア1235には、機能及び/又はプロセスを提供するアプリケーション又はプログラムが含まれる。ソフトウェア1235は、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語(HDL:hardware description language)、及び/又は他の形式の命令を含むことも意図している。
入力構成要素1240には、キーボード、キーパッド、釦、スイッチ、タッチ画面など、操作者が基本ユニット120に情報を入力することを可能にする仕組みが含まれ得る。出力構成要素1250には、ディスプレイ(たとえば、ディスプレイ122)、スピーカ、1つ又は複数の発光ダイオード(LED)など、操作者に情報を出力する仕組みが含まれ得る。
通信インタフェース1260には、基本ユニット120が無線通信、有線通信、又は無線及び有線通信の組合せを介して他のデバイス及び/又はシステムと通信することを可能にするトランシーバが含まれ得る。たとえば、通信インタフェース1260には、ネットワークを介して、探触子110などの別のデバイス若しくはシステムと、又は複数の基本ユニットの動作を監視するシステム制御コンピュータ(たとえば、病院又は別の種類の医用監視施設内の)などの他のデバイス/システムと通信する仕組みが含まれ得る。一実施態様では、通信インタフェース1260は、入力及び出力ポート、入力及び出力システム、並びに/又は他のデバイスへの/からのデータ伝送を容易にする他の入力及び出力構成要素を備える論理構成要素であり得る。
基本ユニット120は、プロセッサ1220が、メモリ1230などのコンピュータ可読媒体に格納されるソフトウェア命令(たとえば、ソフトウェア1235)を実行することに応答して、特定の動作を実行できる。コンピュータ可読媒体は、非一時的なメモリ・デバイスと規定され得る。非一時的メモリ・デバイスは、単一の物理メモリ・デバイス内のメモリ空間を有するか、又は複数の物理メモリ・デバイスにわたって分散してもよい。ソフトウェア命令は、別のコンピュータ可読媒体から、又は別のデバイスからメモリ1230に読み込まれ得る。メモリ1230に格納されたソフトウェア命令は、プロセッサ1220に、本明細書で説明するプロセスを実行させることができる。或いは、ASIC、FPGAなどのハードウェアで実行される回路を、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて使用し、本明細書で説明するプロセスを実施できる。したがって、本明細書で説明する実施態様は、ハードウェア回路及びソフトウェアのどんな特定の組合せにも限定されない。
基本ユニット120は、図12に示すものよりも少ない構成要素、追加の構成要素、相異なる構成要素、及び/又は異なって配置構成された構成要素を備えてもよい。一実例として、基本ユニット120は、バス1210の代わりに、又はバス1210に加えて、1つ又は複数のスイッチ・ファブリックを備えることができる。追加的に又は代替として、基本ユニット120の1つ又は複数の構成要素は、基本ユニット120の1つ又は複数の他の構成要素によって実行されるものとして説明した、1つ又は複数のタスクを実行できる。
本明細書で説明するシステム及び方法は、超音波走査中に操作者に、リアルタイムでアーチファクトの可視化物を提供する。リアルタイムでのアーチファクトの可視化は、経験の浅い操作者ばかりでなく経験豊富な操作者にとっても、高品質の超音波データを取得し、膀胱の体積の測定値、大動脈の直径などの正確に計算された臓器の寸法を得るのに役立つ。深層畳み込みニューラル・ネットワークなどの機械学習により、リアルタイムでのフィードバックを提供するために使用され得るスキャン画像内の、アーチファクト・エリアを迅速に分類できる。
本明細書で説明するシステム及び方法は、操作者が超音波画像内のアーチファクトを解釈し、そのタスクをシステム100内のロジックに転送する必要性を最小限に抑える。従来の超音波システムでは、アーチファクトがスキャン結果に影響を与えているかどうかを判断するために、操作者が画像の内容を解釈するか、完全なスキャン結果を待つ必要がある。経験の浅いユーザにとって、超音波画像で何が起こるかを正しく理解することは、簡単なタスクではない。本明細書で説明するシステム及び方法は、操作者にとって初期レベルのアーチファクト検出を実行して、画像解釈の負担、及び探触子操作者がエラーを見つける前の完全なスキャン計算による遅延を最小限に抑える。
例示的な実施態様の前述の説明は、例示及び説明を提供するが、網羅的であること、又は本明細書で説明する実施例を開示された正確な形態に限定することは意図していない。修正及び変更が、上記の教示に照らして可能であるか、又は実施例の実行により得ることができる。
上記で本発明を詳細に説明してきたが、本発明の精神から逸脱することなく本発明を修正できることが当業者には明らかであろうことは、明確に理解されたい。本発明の精神及び範囲から逸脱することなく、本発明に、形態、設計、又は配置構成についての様々な変更を加えることができる。
本出願の説明で使用する要素、動作、又は命令は、明示的に説明していない限り、本発明にとって重要又は必須であると解釈されるべきではない。また、本明細書で使用する場合、冠詞「a」は、1つ又は複数のものを含むことを意図している。さらに、「に基づいて」という語句は、特に明記しない限り、「少なくとも部分的に基づいて」を意味することを意図する。
特許請求の範囲での、クレーム要素を修飾する「第1」、「第2」、「第3」などの序数用語の使用は、それ自体で、あるクレーム要素が別のクレーム要素を越えるどんなプライオリティ、優先順位、又は順序、方法の動作が実行される時間的順序、デバイスが実行する命令が行われる時間的順序なども含意するものではなく、クレーム要素を区別するため、単に、ある名前を持つ1つのクレーム要素を、同じ名前を持つ(しかし、序数用語を使用するようになされた)別の要素から区別するためのラベルとして使用される。

Claims (14)

  1. 超音波探触子と結合されたプロセッサによって、超音波画像データを受信するステップと、
    前記プロセッサによって、前記超音波画像データ内でアーチファクトを含むエリアを検出するステップと、
    前記プロセッサによって、アーチファクトを含む前記エリアを、複数の既知のアーチファクトのクラスのうちの1つに分類するステップと、
    前記プロセッサによって、超音波ベースの画像のアーチファクトを含む前記エリアの指標を生成するステップであって、前記指標のそれぞれには、前記アーチファクトのクラスの名称が含まれる、ステップと、
    操作者に、リアルタイムで、前記超音波ベースの画像アーチファクトを含む前記エリアの前記指標、及び前記アーチファクトのそれぞれに関連付けられた前記アーチファクトの前記クラスの前記名称を提示するステップと
    を含む、方法。
  2. 前記超音波画像データには、2次元Bモード画像が含まれる、請求項1に記載の方法。
  3. 前記超音波画像データには、Cモード画像として編集するための複数のBモード画像が含まれる、請求項1に記載の方法。
  4. 前記分類するステップは、アーチファクトの分類を実行するために、畳み込みニューラル・ネットワークを使用するステップを含む、請求項1に記載の方法。
  5. 前記複数のアーチファクトのクラスには、恥骨の影クラス、腸内ガスの影クラス、及び不適切な結合クラスが含まれる、請求項1に記載の方法。
  6. 記超音波画像内で標的対象物を検出するステップと、
    的対象物に基づいて、結果を、前記分類するステップと同時に計算するステップと
    をさらに含む、請求項1に記載の方法。
  7. 前記分類するステップは、
    以前に認識されたアーチファクトの種類を使った訓練画像の画素グループに基づいて、前記アーチファクトのクラスの予め訓練されたモデルを開発するステップ
    を含む、請求項1に記載の方法。
  8. ローカル・メモリ内に、前記予め訓練されたモデルを記憶するステップと、
    前記予め訓練されたモデルに基づいて、前記超音波画像データからの画素グループ、及び前記訓練画像からの画素グループのマッチングを行うステップと
    をさらに含む、請求項7に記載の方法。
  9. 前記提示するステップは、標的対象物に関する前記超音波画像内の、アーチファクトを含む前記エリアの場所を示す、請求項1に記載の方法。
  10. 前記標的対象物は、膀胱、大動脈、前立腺、腎臓、血管、又は甲状腺のうちの1つを含む臓器である、請求項9に記載の方法。
  11. 命令を記憶するメモリ・デバイスと、
    プロセッサと
    を備えるデバイスであって、前記プロセッサは、
    超音波探触子から超音波画像データを受信することと、
    前記超音波画像データ内でアーチファクトを含むエリアを検出することと、
    アーチファクトを含む前記エリアを、複数の既知のアーチファクトのクラスのうちの1つに分類することと、
    超音波画像の少なくとも1つのアーチファクトを含む前記エリアの指標を生成することであって、前記指標のそれぞれには、前記アーチファクトのクラスの名称が含まれる、生成することと、
    操作者に、リアルタイムで、前記超音波画像、前記少なくとも1つのアーチファクトを含む前記エリアの前記指標、及び前記アーチファクトのそれぞれに関連付けられた前記アーチファクトの前記クラスの前記名称を提示することと
    を行うよう構成される、デバイス。
  12. アーチファクトを含む前記エリアを分類するときに、前記プロセッサは、機械学習を適用するようさらに構成される、請求項11に記載のデバイス。
  13. 前記プロセッサは、
    前記超音波画像内で標的対象物の指標を生成し、
    前記標的対象物の前記指標に基づく結果を、前記提示することの後に計算する
    ようさらに構成される、請求項11に記載のデバイス。
  14. アーチファクトを含む前記エリアを分類するときに、前記プロセッサは、
    前記メモリ・デバイスに、以前に認識されたアーチファクトの種類を使った訓練画像の画素グループに基づく、前記既知のアーチファクトのクラスの予め訓練されたモデルを記憶し、
    前記予め訓練されたモデルに基づいて、前記超音波画像データからの画素グループと、前記訓練画像からの画素グループとのマッチングを行う
    ようさらに構成される、請求項11に記載のデバイス。
JP2020534285A 2017-12-20 2018-12-07 超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ Active JP7022217B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762608134P 2017-12-20 2017-12-20
US62/608,134 2017-12-20
PCT/US2018/064483 WO2019125790A1 (en) 2017-12-20 2018-12-07 Echo window artifact classification and visual indicators for an ultrasound system

Publications (2)

Publication Number Publication Date
JP2021506470A JP2021506470A (ja) 2021-02-22
JP7022217B2 true JP7022217B2 (ja) 2022-02-17

Family

ID=64744992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020534285A Active JP7022217B2 (ja) 2017-12-20 2018-12-07 超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ

Country Status (7)

Country Link
US (1) US11389139B2 (ja)
EP (1) EP3727159B1 (ja)
JP (1) JP7022217B2 (ja)
KR (1) KR102491757B1 (ja)
CN (1) CN111629670B (ja)
CA (1) CA3085619C (ja)
WO (1) WO2019125790A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102106694B1 (ko) * 2018-05-17 2020-05-04 한국과학기술원 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법
CN110313939B (zh) * 2019-08-01 2020-12-11 无锡海斯凯尔医学技术有限公司 组织感兴趣区域定位方法、装置、设备及存储介质
US12016729B2 (en) * 2020-01-24 2024-06-25 Canon Kabushiki Kaisha Ultrasonic diagnostic apparatus, learning apparatus, and image processing method
JP7288550B2 (ja) * 2020-03-24 2023-06-07 富士フイルム株式会社 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ
US11457896B2 (en) * 2020-09-23 2022-10-04 GE Precision Healthcare LLC Ultrasound imaging system and method for generating an enhanced image to enhance a shadow region
CN113689939B (zh) * 2021-10-26 2022-04-08 萱闱(北京)生物科技有限公司 用于图像特征匹配的图像存储方法、系统和计算设备
JP2023084862A (ja) * 2021-12-08 2023-06-20 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP2023141907A (ja) 2022-03-24 2023-10-05 富士フイルム株式会社 超音波診断システムおよび超音波診断システムの制御方法
JP2023143418A (ja) * 2022-03-25 2023-10-06 富士フイルム株式会社 超音波診断装置とその作動方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007216007A (ja) 2006-01-25 2007-08-30 Siemens Medical Solutions Usa Inc 医療用画像においてリンパ節をラベリングおよび識別するためのシステムおよび方法
JP2010527277A (ja) 2007-05-16 2010-08-12 ベラソン インコーポレイテッド 高調波撮像を使用する膀胱検出システム及び方法
US20160048972A1 (en) 2014-08-14 2016-02-18 Samsung Electronics Co., Ltd. Computer-aided diagnosis apparatus and method
US20160350620A1 (en) 2015-05-27 2016-12-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
WO2016194161A1 (ja) 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4835712A (en) * 1986-04-14 1989-05-30 Pixar Methods and apparatus for imaging volume data with shading
US6398733B1 (en) 2000-04-24 2002-06-04 Acuson Corporation Medical ultrasonic imaging system with adaptive multi-dimensional back-end mapping
GB2391625A (en) * 2002-08-09 2004-02-11 Diagnostic Ultrasound Europ B Instantaneous ultrasonic echo measurement of bladder urine volume with a limited number of ultrasound beams
US7536044B2 (en) 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
US7876934B2 (en) 2004-11-08 2011-01-25 Siemens Medical Solutions Usa, Inc. Method of database-guided segmentation of anatomical structures having complex appearances
US7648460B2 (en) 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
US7822252B2 (en) 2006-11-28 2010-10-26 Siemens Medical Solutions Usa, Inc. Method of multiple instance learning and classification with correlations in object detection
US9672471B2 (en) 2007-12-18 2017-06-06 Gearbox Llc Systems, devices, and methods for detecting occlusions in a biological subject including spectral learning
US8885926B2 (en) 2009-04-15 2014-11-11 Massachusetts Institute Of Technology Image and data segmentation
KR101221288B1 (ko) * 2010-04-26 2013-01-10 삼성메디슨 주식회사 적응적 클러터 필터링을 수행하는 초음파 시스템 및 방법
JP6219835B2 (ja) * 2011-10-28 2017-10-25 ディスィジョン サイエンシズ インターナショナル コーポレーション 超音波イメージングにおけるスペクトル拡散符号化波形
US9033887B2 (en) 2012-05-31 2015-05-19 Siemens Corporation Mitral valve detection for transthoracic echocardiography
JP6033701B2 (ja) * 2013-02-13 2016-11-30 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
WO2014155272A1 (en) * 2013-03-28 2014-10-02 Koninklijke Philips N.V. Real-time quality control for acquisition of 3d ultrasound images
US9700219B2 (en) 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
RU2640007C2 (ru) 2014-01-30 2017-12-25 Конинклейке Филипс Н.В. Способ и устройство обнаружения газового кармана, используя ультразвук
US11096671B2 (en) * 2015-09-10 2021-08-24 Siemens Medical Solutions Usa, Inc. Sparkle artifact detection in ultrasound color flow
US11832969B2 (en) 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
JP7005191B2 (ja) * 2017-06-30 2022-01-21 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007216007A (ja) 2006-01-25 2007-08-30 Siemens Medical Solutions Usa Inc 医療用画像においてリンパ節をラベリングおよび識別するためのシステムおよび方法
US20070237373A1 (en) 2006-01-25 2007-10-11 Siemens Corporate Research, Inc. System and Method For Labeling and Identifying Lymph Nodes In Medical Images
JP2010527277A (ja) 2007-05-16 2010-08-12 ベラソン インコーポレイテッド 高調波撮像を使用する膀胱検出システム及び方法
US20160048972A1 (en) 2014-08-14 2016-02-18 Samsung Electronics Co., Ltd. Computer-aided diagnosis apparatus and method
US20160350620A1 (en) 2015-05-27 2016-12-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
JP2016221264A (ja) 2015-05-27 2016-12-28 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドSiemens Medical Solutions USA,Inc. 知識ベース超音波画像強調
WO2016194161A1 (ja) 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法

Also Published As

Publication number Publication date
EP3727159A1 (en) 2020-10-28
CA3085619A1 (en) 2019-07-27
KR20200101418A (ko) 2020-08-27
KR102491757B1 (ko) 2023-01-27
JP2021506470A (ja) 2021-02-22
CN111629670B (zh) 2024-04-05
EP3727159C0 (en) 2024-02-28
US20190183462A1 (en) 2019-06-20
US11389139B2 (en) 2022-07-19
WO2019125790A1 (en) 2019-06-27
CN111629670A (zh) 2020-09-04
CA3085619C (en) 2023-07-04
EP3727159B1 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
JP7022217B2 (ja) 超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ
US11464490B2 (en) Real-time feedback and semantic-rich guidance on quality ultrasound image acquisition
RU2667617C2 (ru) Система и способ эластографических измерений
JP5702922B2 (ja) 対象物に対して超音波プローブを可視化する超音波システム
US20190239851A1 (en) Position correlated ultrasonic imaging
JP2012506283A (ja) 3次元超音波画像化
US11432803B2 (en) Method and system for generating a visualization plane from 3D ultrasound data
US11931201B2 (en) Device and method for obtaining anatomical measurements from an ultrasound image
CN109475343A (zh) 超声弹性测量显示方法及系统
US20210312652A1 (en) Automated prostate analysis system
US11278259B2 (en) Thrombus detection during scanning
US20180042578A1 (en) Automated ultrasound image measurement system and method
US11532084B2 (en) Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification
US8636662B2 (en) Method and system for displaying system parameter information
KR20150000261A (ko) 초음파 영상에 대응하는 참조 영상을 제공하는 초음파 시스템 및 방법
JP2020103883A (ja) 超音波撮像システムおよび対象物体品質レベルを表示するための方法
US20190271771A1 (en) Segmented common anatomical structure based navigation in ultrasound imaging
CN117547307A (zh) 蠕动波检测方法和超声成像装置
CN118056535A (zh) 超声图像的采集方法、装置、超声设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220204

R150 Certificate of patent or registration of utility model

Ref document number: 7022217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150