JP7123984B2 - 化合物超音波画像生成の方法及びシステム - Google Patents

化合物超音波画像生成の方法及びシステム Download PDF

Info

Publication number
JP7123984B2
JP7123984B2 JP2019570135A JP2019570135A JP7123984B2 JP 7123984 B2 JP7123984 B2 JP 7123984B2 JP 2019570135 A JP2019570135 A JP 2019570135A JP 2019570135 A JP2019570135 A JP 2019570135A JP 7123984 B2 JP7123984 B2 JP 7123984B2
Authority
JP
Japan
Prior art keywords
image
pixel
pixels
images
channel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019570135A
Other languages
English (en)
Other versions
JP2020524552A (ja
Inventor
フランソワ ギィ ジェラール マリー ヴィニョン
ウィリアム ホウ
ジャン リュック フランソワ マリー ロベルト
エミル ヘオルヘ ラドゥレスク
ジー カオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020524552A publication Critical patent/JP2020524552A/ja
Application granted granted Critical
Publication of JP7123984B2 publication Critical patent/JP7123984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本出願は、2017年6月22日に出願された米国仮出願第62 / 523,318号の利益及び優先権を主張し、その全体が参照により組み込まれる。
本発明は、超音波撮像に関し、より詳細には、複合超音波画像の生成に関する。
一般に、超音波システムで複合画像を生成するには、同じ媒体を異なる超音波照射パラメーターで画像化し、結果のビューを平均化する。
たとえば、空間複合の場合、媒体はさまざまな視野角で撮像され、それぞれが異なるビューを生成する。次に、ビューを平均して複合超音波画像を生成する。これにより、スペックルの分散が減少し、プレート状の散乱体(境界)の可視性が向上するとともに、他の画像品質が向上する。異なるノイズパターンを持つビューにも関わらず、類似した解剖学的特徴を示すため、平均化によりスペックルノイズが低減され、画質が向上する。さらに、特定のイメージング角度でのみ見える、又はより見える特定の構造は、空間合成によって強調される場合がある。
音の速度は、軟部組織では最大14%変動する。これは、異なるビューで構造のわずかな位置決めの不一致が存在する可能性があることを意味する。この場合、複合によってぼやけが生じる場合がある。さらに、複合化は以下のことをもたらす。すなわち、異なる視野角での点広がり関数のサイドローブが平均化され、嚢胞内の組織のスミアリングが増加し、さまざまな角度のビューからのグレーティングローブが複合超音波画像が破損し、最適なビューは他の最適ではないビューで平均化されるため、所与の角度でのみ見える構造は十分に強調されない。これらの複合効果により、シングルビュー画像と比較して、合成された超音波画像のコントラストが低下する。
本発明は、著しい追加のハードウェアを必要とせずに画像コントラストを維持しながら、複合超音波画像を生成するためのシステム及び方法を提供する。
本発明の一態様による例によれば、複合超音波画像を生成する方法であって、前記方法は、
チャネルデータを取得するステップと、
チャネルデータをビーム形成するステップと、
並行して、
各画像が複数の画素を有する、関心領域の複数の画像を取得し、
複数の画像の各画素に対して画像情報メトリックを評価する
ようにビーム形成されたチャネルデータを使用するステップと、
複数の画像の各画像に対して、
画像情報メトリックの評価に基づいて、複数の画素の各画素の画素ごとの重み付けを決定するステップと、
複数の画素の各画素に画素ごとの重み付けを適用するステップと、
複数の画像の複数の重み付けされた画素に基づいて複合超音波画像を生成するステップと
を有する、方法が提供される。
この方法は、複数の加重超音波画像から複合超音波画像を生成する。このようにして、所定の画像メトリックに基づいて主要な特徴が優先的に重み付けされる複合超音波画像を生成することが可能である。画像取得と画像メトリック評価を並行して実行することにより、方法の効率を大幅に向上させ、複合超音波画像の生成に必要な時間を短縮することができる。さらに、ビーム形成されたチャネルデータは通常、従来のBモード超音波画像よりも詳細を含むので、ビーム形成されたチャネルデータに基づく画像メトリック評価は、画像自体に基づく評価よりも正確になる可能性があり、それにより、重み付け、すなわち複合超音波画像の正確さが増加される。
複合超音波画像の画素は、ビーム形成されたチャネルデータから取得された複数の画像の画素の加重平均と考えることができる。
一実施形態では、複数の画素は体積画素である。
このようにして、3次元の複合超音波画像を生成することができる。
ある構成では、複数の画像の各画像は関心領域の視野角を含み、各画像の視野角は異なる。
このように、画像は各ビューから無相関のコンテンツを提供することができる。これは、わずかな視野角でしか見られない異方性の特徴が複数の画像の1つでキャプチャされる可能性が高いことを意味する。複数の画像の少なくとも1つでこれらの特徴をキャプチャすることにより、複合超音波画像でより明確に現れるように特徴に重み付けられることができ、それにより最終画像の精度が向上する。
いくつかの構成では、画像メトリックは、特徴及び向きの少なくとも一方を含む。
このようにして、共通の特徴を特定するか、又は各画像間の向きの変化を特定することが可能であり、複合超音波画像の生成に使用できる。
いくつかの実施形態では、画像メトリックの評価は、ビーム形成されたチャネルデータのコヒーレンスメトリックを評価することを含む。
このようにして、システムノイズなどの低コヒーレンス信号、点散乱体からの信号などの高コヒーレンス信号、及びスペックルなどの中間コヒーレンス信号を識別することができる。このようにして、コヒーレンスメトリックを使用して適切な重み付けを適用し、ノイズを最小化し、関心領域の重要な特徴を強調することができる。
一実施形態では、コヒーレンスメトリックは、コヒーレンスファクタ、共分散マトリックスの固有値の優位度、ウィナーファクタのうちの少なくとも1つを含む。
いくつかの実施形態では、複合超音波画像の生成は、重み付き画素の空間的、時間的、又は周波数合成のうちの少なくとも一つを実行することを有する。
このようにして、異なる視野角、独立した音響窓、及び異なるイメージング周波数からそれぞれ得られる画像を合成することが可能である。
一構成では、複合超音波画像の生成は、レトロスペクティブダイナミック送信(RDT)フォーカシング及びインコヒーレントRDTフォーカシングのうちの少なくとも1つを含む。
いくつかの構成では、複合超音波画像の生成はマルチスケール方式で実行される。
このようにして、画像の空間周波数に基づいて画像データを分離することができる。画像データを空間周波数で分離することにより、嚢胞などの構造を含む可能性のある低空間周波数信号を画像メトリック評価で使用できるが、スペックルを含む可能性のある高空間周波数信号は破棄できる。
一実施形態では、この方法は、画像メトリックの評価に基づいて各画像の複数の画素に輝度値を割り当てるステップをさらに含む。
このようにして、ビーム形成されたチャネルデータ評価の視覚的表現を生成することができる。さらに、複数の画像メトリックが使用される場合、輝度値は複数の複雑なパラメーターの単純な表現を提供する場合がある。
さらなる実施形態では、各画素の重み付けの決定は、複数の画像にわたる複数の画素の最大輝度値、平均輝度値、最小輝度値の少なくとも1つに基づいている。
このようにして、関心領域の重要な特徴に対して最大輝度値画素に高く重み付けし、高いシステムノイズの領域で最小輝度値画素に高く重み付けることにより、複合超音波画像からクラッターを除去し、平均輝度値スペックル信号の領域では画素に高く重み付けられる場合がある。
さらに別の実施形態では、この方法は、
複数の画像にわたる複数の画素の平均輝度値に基づいて平均輝度値画像を生成するステップと、
複合超音波画像から平均輝度値画像を減算し、それにより差画像を生成するステップと、
差画像にローパスフィルタを適用するステップと、
平均輝度値画像と差画像を合計し、それによりスペックルフィルタリングされた複合超音波画像を生成するステップと
を更に有する。
このようにして、複合超音波画像からスペックルアーチファクトを除去することが可能である。
本発明の一態様による例によれば、コンピュータプログラムがコンピュータ上で実行されるとき、上記の方法を実施するように適合されるコンピュータプログラムコード手段を有するコンピュータプログラムが提供される。
本発明の一態様による例によれば、複合超音波画像を生成するシステムであって、前記システムは、
チャネルデータを取得するように構成される超音波プローブと、
チャネルデータにビーム形成を適用するように構成されるビーム形成モジュールと、
並行して、
各画像が複数の画素を有する、関心領域の複数の画像を取得し、
複数の画像の各画素に対して画像情報メトリックを評価し、
複数の画像の各画像に対して、
画像情報メトリックの評価に基づいて、複数の画素の各画素の画素ごとの重み付けを決定し、
複数の画素の各画素に画素ごとの重み付けを適用する
ようにビーム形成されたチャネルデータを使用する
ように構成されるコントローラと、
複数の画像の複数の重み付けされる画素に基づいて複合超音波画像を生成するように構成される画素合成器と
を有する、システムが提供される。
一実施形態では、超音波プローブは、超音波プローブの視野角を変更するように構成される電子ステアリングユニットを有する。
本発明の例は、添付図面を参照して詳細に説明される。
複合超音波画像システムの概略図を示している。 図2は、数学的な定義と関係のセットを示す。 本発明の方法を示す。 図4は、画素輝度マップと超音波画像のコヒーレンスファクタマップの比較を示す。 図5は、スペックル低減方法を適用した後の図4の適応輝度マップを示す。
本発明は、複合超音波画像を生成する方法を提供する。この方法には、チャネルデータの取得とビーム形成が含まれる。ビーム形成されるチャネルデータを使用して、関心領域の複数の画素を有する各画像が得られ、画像情報メトリックが評価され、画像メトリックが複数の画素のうちの一つの画素に関連付けられる。複数の画像の取得と画像メトリックの評価は並行して実行される。複数の画像の各画像に対して、画像情報メトリックの評価に基づく複数の画素の各画素の画素ごとの重み付けが決定され、複数の画素の各画素に適用される。最後に、複数の画像の複数の重み付き画素に基づいて複合超音波画像が生成される。
図1は、複合超音波画像を生成するように構成される超音波システム100の概略図である。システムは、ケーブル116によって画像形成モジュール102に接続される超音波プローブ114を含む。画像形成モジュールは、チャネルビーム形成器166及びビームスペースビーム形成器Xを含む。装置は、画像コンテンツ評価モジュール154、重量決定モジュール156、画像プロセッサ110、及びイメージングディスプレイ112をさらに有する。
イメージングプローブ114は、送信/受信角度又は送信/受信周波数の変化などの異なる条件下で、関心媒体138のいくつかの観察を実行するために使用される。例えば、3つの送信角度を使用して、3つのそれぞれの画像126、128、130を生成することができる。画像は、空間合成の場合、送信又は受信角度、又はその両方、又は周波数の複合、送信又は受信周波数、又はその両方で異なり得る。
スキャン変換及び空間レジストレーションモジュールXXは、すべての画像が空間的にレジストレーションされるようにする。つまり、画像の各画素137は残りの各画像の画素に空間的に対応し、形成されるべき最終的な複合超音波画像190の画素に空間的に対応する。画像は二次元でも三次元でもよい。
この場合、関心領域138の異なる画像126、128、130は、ヒト患者又は動物などの撮像対象144の外面142又は皮膚上の単一の音響窓140から取得される。代替的に、又は追加的に、異なる角度を有するビューを取得するために、外面142上の複数の音響窓が利用されてもよい。プローブ114は、窓から窓へ移動されてもよく、又は追加のプローブが各音響窓に配置されてもよい。複数の音響窓の場合、複数の画像に対して時間合成を実行できる。
画像形成モジュール102は、ビーム形成モジュール152を有する。ビーム形成モジュール152は、チャネルビーム形成器166とも呼ばれる電子ステアリングモジュールと、ビーム形成加算モジュール168とを有する。電子ステアリングモジュール166は、さまざまなチャネルデータ信号に遅延を導入するように導入されるビーム形成遅延モジュール170を有する。ビーム形成モジュール152はまた、ビームスペースビーム形成モジュールXを備えてもよい。画像形成モジュール102は、包絡線検出モジュールXXX及び対数圧縮モジュール162をさらに備える。
画像コンテンツ評価モジュール154は、分類モジュール172、コヒーレンスファクタモジュール174、共分散マトリックス分析モジュール176、及びウィーナーファクタモジュール178を有することができる。場合によっては、画像コンテンツ評価モジュールは、代替コヒーレンスメトリックによる信号の局所コヒーレンスを測定するように他のモジュールをさらに有することができる。
画像プロセッサ110は、画素合成器160を有する。画素合成器160は、空間合成器180、時間合成器181、及び周波数合成器182を有する。画素合成器160への入力は、形成されるべき複合画像191の現在の画素、すなわち現在の複合画像画素に空間的に対応する3つの画像126、128、130の画素137a、137b、137cを含む。これらの入力には、重み付け決定モジュール156によって決定されるそれぞれの重み付け画像184、186、188からの重み付け入力180a、180b、及び180cが付随する。画素合成器160の出力は、形成される複合超音波画像190の合成画素191である。
コヒーレンスファクタモジュール174及び共分散マトリックス分析モジュール176の動作原理は以下に説明される。
コヒーレンス推定に関して、コヒーレンスファクタモジュール174によって実行されるとき、S(m、n、tx、rx)は、チャネルビーム形成器166によるビーム形成遅延の適用後だが、ビーム形成加算モジュール168によるビーム加算前に形成されるチャネル複素RFビーム形成遅延チャネルデータ192、すなわちビーム形成チャネルデータを示す。ここで、mはイメージング深度/時間カウンタ又はインデックス、nはチャネルインデックス、txは送信ビームインデックス、rxは受信ビームインデックスである。画素(m、rx)でのコヒーレンスファクタ(CF)又は「集束基準」、又は単一の受信ビームrxを持つフィールドポイント137は、次のように計算される。
Figure 0007123984000001
ここで、Nはチャネルの数である。
複数の送信ビームがCF推定に組み込まれている場合、 CF式は次のように再定義できる。
Figure 0007123984000002
ここで、Δは、ビーム形成器で使用されるコヒーレント送信合成の場合に、複数の送信イベントにわたって平均化を実行するために使用される調整可能なパラメーターである。
この定義は、以下の定義と同様に、図2で繰り返される。CF(m、rx)の計算による画素(m、rx)に関する画像メトリックの評価は、画像126,128,130の取得と並行して実行される。加えて、遅延チャネルデータ192の評価は、ビーム形成の合計、すなわち
Figure 0007123984000003
より遅くは開始しない。
上述のように、画素(m、rx)137は位置の関数である。コヒーレンス推定は、遅延チャネルデータ192で動作する。CF(m、rx)推定、又は推定の結果204は、複数の送信ビームにわたる二乗関数206及び二乗ビーム和208の合計を有することができ、ビーム形成の合計結果になる。関数206とビーム和208は両方とも、チャネルデータのチャネルを合計することにより形成される。
ここで、共分散マトリックス分析モジュールによって実行される共分散マトリックス分析を参照すると、R(m、rx)は、画素(m、rx)における共分散マトリックス又は相関マトリックス210を示し、画素(m、rx)は、時間又は空間深度の範囲214にわたる時間平均によって得られる。すなわち、
Figure 0007123984000004
であり、ここで、
Figure 0007123984000005
であり、sHはsのエルミート転置である。 pは深度サンプルインデックスを示し、dは共分散が推定される深度窓を定義するために使用される調整可能なパラメーターである。これは送信パルス長のオーダーであり、通常はいくつかの波長である。
R(m、rx)は正の半正定マトリックスであるため、その固有値212はすべて実数で正である。固有値を
Figure 0007123984000006
での
Figure 0007123984000007
として示す場合、R(m、rx)のトレースは、
Figure 0007123984000008
と記述できる。
第1の固有値218の優位度216は、
Figure 0007123984000009
のように表される。
Figure 0007123984000010

Figure 0007123984000011
の場合、つまり、R(m、rx)のランクが1の場合、
Figure 0007123984000012
のように表され、優位度は無限であり、そうでなければ有限である。ビーム平均化とも呼ばれる複数の送信の合計は、
Figure 0007123984000013
ように共分散マトリックス分析に適用することもできる。ここで、
Figure 0007123984000014
である。
送信を組み合わせる別の方法は、フォーカシング送信ビームを遡及的に再作成するアルゴリズムによって生成されるデータから共分散マトリックスを形成することにある。 RDTフォーカシングを使用する例は次のとおりである。インコヒーレントRDT、平面波イメージング、合成開口ビーム形成などの他のアルゴリズムには、
Figure 0007123984000015
のような類似の固有値優位計算が適用される。ここで、
Figure 0007123984000016
である。
ここで、SRDT(p、n、rx)は、元のチャネルデータS(m、n、tx、rx)にフォーカスするレトロスペクティブダイナミック送信(RDT)を実行することにより得られる、ダイナミック送信ビーム形成複素RFチャネルデータである。コヒーレンスファクタの評価と同様に、R(m、rx)の計算による(m、rx)に関する画像メトリックの評価は、画像126、128、及び130の取得と並行して実行される。さらに、評価遅延チャネルデータ192の開始は、ビーム形成の合計より遅くならない。
上記のアプローチでは、CF0(m、rx)又はCF(m、rx)は、固有値の優位度と同様に、時間範囲214又は空間深度140にわたる時間平均によっても取得できる。
J.R.ロバートとM.フィンクの「時間反転演算子の分解を使用したスペックルでのグリーン関数推定:医療撮像の収差補正への応用」(J.Acoust. Soc.Am、第123巻、No.2、pp.866乃至877、2008年)によれば、最初の固有値evd(m、rx)の優位度は1/((1-CF1(m、rx)))で近似できる。ここで、CF1(m、rx)は、チャネルデータS(m、n、tx、rx)から取得したコヒーレンスファクタである。CF1(m、rx)の計算には、時間平均、複数の送信ビーム及び/又はRDTの平均を適用できる。逆に、コヒーレンスファクタは、適切な平均化で導出される固有値の優位度に基づいて近似できる。
CFメトリック及び固有値優位度メトリックに加えて、使用できる画像メトリックの別の例は、RDT及びIRDTの場合に適用可能なウィーナーファクタである。ウィーナーファクタを導出するためのウィーナーファクタモジュール178は、次の原理で動作する。
K個の超音波波面(送信)は、媒体138を連続的に超音波処理する。媒体によって後方散乱される波は、超音波プローブのトランスデューサアレイによって記録され、同じ画素137に焦点を合わせるために受信でビーム形成される。ここで、画素はRDT、又はIRDT、フォーカシングによって形成される。
結果は、画素P137に寄与する信号に対応するサイズNサンプル(アレイ要素ごとに1サンプル)のri(P)(ここで、i = 1、…、K)で表されるK個の受信ベクトルのセットである。ベクトルの各々は、画素137の異なる観測として見ることができる。ri(P)のエントリは、非ゼロの実数成分と虚数成分の両方を持つ複素数である。
各受信ベクトルは、アポダイゼーションベクトルaによって重み付けされる。アポダイゼーションベクトルは、たとえば、ボックス、ハニング、又はリース窓であり、受信要素にわたって合計される。これにより、K個の異なる超音波照射で得られたサンプル値(SV)に対応するK個のビーム合計値
Figure 0007123984000017
が得られる。
これらのKサンプル値のコレクションは、「RDTベクトル」と呼ばれる。RDTサンプル値は、RDTベクトルの値を
Figure 0007123984000018
のように合計することによって取得されることが注意される。
ウィーナーファクタは、
Figure 0007123984000019
のように与えられる。
式3の分子は、RDTベクトルの要素のコヒーレント合計の2乗、つまり2乗されたRDTサンプル値である。分母は、RDTベクトルの2乗要素のインコヒーレント合計である。つまり、インコヒーレントRDTサンプル値(SVIRDT)が分子の平方根として定義されている場合、
Figure 0007123984000020
のようになりうる。
ウィーナーファクタは、コヒーレントRDTエネルギーとインコヒーレントRDTエネルギーの比率である。したがって、ビーム空間のコヒーレンスファクタと見なすことができる。 RDT及びIRDTフォーカシングの画像メトリックとして使用できる。ここでも、wウィーナー(P)の計算による画素137に関するローカル画像コンテンツの評価は、画像126、128、及び130の取得と並行して実行される。さらに、遅延チャネルデータ192の評価は、ビーム形成の合計、つまり合計
Figure 0007123984000021
より遅くならないように開始される。
コヒーレンスファクタなどの信号ベースの画像メトリックの代わりに、直接画像メトリックを使用することもできる。たとえば、文献で知られている信頼度の測定基準は通常、画像の局所勾配とラプラシアンに基づいている。たとえば、Frangiらの "マルチスケール血管強調フィルタリング"(MICCAI 1998)を参照されたい。「信頼ファクタ」は、事前に圧縮されるデータから次のように計算できる。すなわち、各画素で、約20×1画素の長方形のボックスはボックスの中央において空間的に対応する画素180a乃至180cで回転する。ボックスは、10度単位で0から170度まで回転する。ボックスの各方向に対して、ボックス内の平均画素値が記録される。最終的なメトリックは、すべての角度でこのメトリックの最大値に等しくなる。
図3は、本発明の方法300を示している。
ステップ302では、超音波プローブによってチャネルデータが取得される。チャネルデータは、関心領域のいくつかの観察に関連するデータを含み得る。
ステップ304では、チャネルデータがビーム形成される。ビーム形成は、画像取得モジュール102、より具体的にはビーム形成遅延モジュール170によって実行されてもよい。ビーム形成遅延モジュールは、チャネル特有の遅延をチャネルデータに適用し、それによってビーム形成されるチャネルデータ192を生成してもよい。
ステップ306では、ビーム形成されるチャネルデータが画像取得モジュール102によって使用されて、複数の画像126乃至130が取得される。複数の画像はそれぞれ、関心領域の異なる視野角を有することができる。
ステップ306と並行して、ステップ308では、ビーム形成されるチャネルデータが、画像コンテンツ評価モジュール154によって使用され、画像情報メトリックが評価される。画像情報メトリックは、コヒーレンスファクタのようなコヒーレンスメトリック、共分散マトリックス、特にRDT / IRDTフォーカシングの場合、ウィーナーファクタ(RDT / IRDTフォーカシングなしでウィーナーファクタを使用できる)とすることができる。これらのファクタは上記のように評価される。さらに、コヒーレンスファクタとウィーナーファクタ又はコヒーレンスファクタと共分散マトリックス固有値優位度など、画像メトリックの任意の組み合わせを使用して、ビーム形成されるチャネルデータを評価できる。コヒーレンスファクタと共分散マトリックス画像メトリックは、RDT又はIRDTフォーカシングのどちらが採用されているかにかかわらず、何れのシナリオでも使用できることが注意されたい。代わりに、チャネルの信号のコヒーレンスに関連する何れの他の測定値も、画像情報メトリックとして評価されてもよい。画像情報メトリックは、ステップ306で取得される画像に空間的に対応する画像位置について決定される。
ステップ310において、評価される画像情報メトリックは、画像の各空間的に対応する画素の画素ごとの重み付けを決定するために使用される。
ステップ312では、画素ごとの重み付けが画像の各画素に適用される。ステップ310及び312は、複数の画像のそれぞれについて繰り返される。
ステップ314において、画像の複数の重み付けされる画素に基づいて複合超音波画像190が生成される。最終的な複合超音波画像のモーションアーティファクトを低減するために、画像から画像への動き補償、又は平面合成を適用できる。
最終的な複合超音波画像Icompoundは、
Figure 0007123984000022
のように表される。
ここで、wiは画像Iiにローカルに適用されるべき重み付けである。画像は画素ごとに合成される。つまり、画像の画素と重み付けマップにxとyのインデックスが付けられている場合、方程式は
Figure 0007123984000023
のようになる。
上記のように、wix、yは、チャネルデータのコヒーレンスの測定値から導出されるが、画像ベースの場合もある。
場合によっては、画像情報メトリックに分類を実行して、画像情報メトリックが関心領域の特徴又は向きを有するかを判断してもよい。この分類は、画像の任意の空間範囲、たとえば評価される現在の画素を中心とする124画素キューブにわたって実行できる。血管などの特徴、又は向きのいずれかが画像情報メトリックに存在すると判断される場合、評価される画素は重要と分類される。この分類は、画素ごとの重み付けの決定の間に考慮される場合がある。
例えば、重要とマークされる、複数の画像のうちの1つの画素に1の重み付けを割り当て、残りの画像の残りの画素にゼロの重み付けを割り当てることができる。代わりに、重み付け決定は、見つけられる特徴と見つけられる向きを区別し、例えば特徴に優先度を与えてもよい。別の方法は、両方とも重要とマークされる2つの画素間で加重平均を分割することである。また、重要度の分類は、画像情報メトリック分析に基づいて、1の完全な重み付けを獲得する代わりに、0.75などの高い重み付けを与えられ、他の空間的に対応する画素の重み付けに影響を与える。
輝度マップは、複数の画像から生成されてもよい。例えば、最大輝度値マップは、最大輝度値マップの各画素について、取得される複数の画像にわたって最高輝度値を有する空間的に対応する画素を選択することにより構築され得る。同様に、平均及び最小輝度マップも生成できる。
最大輝度値マップは、異方性構造の視認性を強調する画像を構成する。ただし、この輝度マップでは組織の汚れが最大化され、コントラストが低下する。平均輝度値マップでは、スペックル領域を平滑化する利点が実現されている。最小輝度値マップは、異方性構造の描写が不十分であるが、嚢胞内の輝度値が低いことが有利である。嚢胞領域を増強しないこと、及び嚢胞にサイドローブが乱雑にならないことが有益である。さらに、正規化される画像情報メトリックマップも生成される。
重み付けは、輝度マップの関数として決定でき、
Figure 0007123984000024
の式が得られる。
ここで、Imin、Imean、及びImaxはそれぞれ、画像上の最小、平均、及び最大輝度値マップである。前と同様に、これも画素単位の形式で表現できる。
コヒーレンスファクタ(CF)に基づく例示的な実装については、以下で説明される。より一般的には、画像情報メトリックマップに基づいて、最小、平均、最大の空間的に対応する画素に割り当てるように重み付けを決定して、最大の可視性を持つすべての構造と最大のコントラストを備えるすべての嚢胞を含む、最終的な複合超音波画像を形成することができる。
2つの可能な実装を以下に説明する。1つ目は最小輝度画像を使用せず、2つ目は最小輝度画像を使用する。最小画像を使用すると、嚢胞の乱れを減らすことによって画像のコントラストが上がるが、実際の構造物からの不要な信号をもたらすこともある。
第一の実装では、画素の加重平均が平均画像と最大画像から取得される。この実装の3つのルールは、1)CFが所与のしきい値tmaxを超えている場合、最大画像から画素を選択すること、 2)CFが所与のしきい値tminを下回る場合、平均画像から画素を選択すること、 3)CFが2つのしきい値の間にある場合、2つの画素を結合することである。これは、tminとtmaxの間でCFを正規化する
Figure 0007123984000025
正規化されるCFに基づいて重み付けを決定する
Figure 0007123984000026
のように数式化することができる。
したがって、得られる画像126乃至130を直接複合する代わりに、各複合画素191は、平均輝度マップのその対応物と最大輝度マップのその対応物の加重平均であり、これら二つの対応画素はwmeanとwmaxによってそれぞれ重み付けされる。重み付けには、2次式、多項式式、又は指数式もある。
第二の実装では、最小、平均、及び最大画像の加重平均を見つける。この場合、3つのルールは、1)CFが所与のしきい値tmaxを超えている場合、最大画像から画素を選択すること、 2)CFが所与のしきい値tminを下回っている場合、最小画像から画素を選択すること、 3)その間で、最小、平均、最大画像の画素を結合することである。ただし、CFの潜在的な値の中には、平均画像からのみ画素を選択するものがある。
これは、
tminとtmaxの間でCFを正規化する
Figure 0007123984000027
正規化されるCFに基づいて重み付けを決定する
Figure 0007123984000028
のように数式化することができる。
重み付けには、線形式、多項式、又は指数式を含めることもできる。
次のように、コントラストゲインを保持しながら、適応方法によって導入されるスペックルアーティファクトを排除できる。ステップS314で作成される複合超音波画像から平均輝度値画像が差し引かれる。結果の差画像はローパスフィルタ処理され、ローパスフィルタ処理される画像は平均画像に追加され、スペックル除去画像が生成される。より大きな構造及び嚢胞などの低周波画像の変化は保持されるが、スペックルの増加などのより高い周波数の変化は除去される。ローパスフィルタは、たとえばガウスカーネル又はボックスカーネルを使用した畳み込みによって実現できる。この場合、複合超音波画像をユーザーに表示する準備が整う。
代わりに、スペックル低減に関して、ビーム形成されるデータを受信し、スペックル信号を有するより高い空間周波数のデータをより低い空間周波数のデータから分離するために、プログラム可能なデジタルフィルタを導入してもよい。このマルチスケールアプローチでは、マルチスケールモジュールは、適応合成のために、より低い周波数のデータのみを画像コンテンツ評価モジュール154に渡す。より高い周波数のデータは、重み付け決定モジュール156で等しい複合重み付けに割り当てられる。さらに、異なるサブメトリックと、メトリックに基づいて複合サブビューを複合画像に結合するための異なる式が、各サブスケールで有利に適用され得る。たとえば、低い空間周波数は、高い空間周波数よりも積極的に強調される場合がある。
任意選択で、空間的に対応する画素180a乃至180cの近傍で決定される重み付けは、平均化などによって組み合わされてもよい。近傍は、現在の画素を中心とした画素のクラスターである可能性がある。その場合、画素単位ではなく、粒度が低く、つまり近隣ごとに複合化が実行される。これは、処理能力が制限ファクタとなるシステムで使用できる。これには、重み付けされるサブ画像のスペックル分散を減らすという利点もある。
図4は、平均及び最大輝度マップ、コヒーレンスファクタマップ、及び上記の第1及び第2の重み付け方法の比較を示す。
図4を参照すると、第1の画像400は平均輝度マップを示し、第2の画像410は最大輝度マップを示し、第3の画像420はCFマップを示し、第4の画像430は第1の実装で説明した平均-最大適応画像を示し、第5の画像440は、上記の第2の実装で説明される最小平均最大適応画像を示す。
適応画像は、平均及び最大輝度画像と比較した場合、よりコントラストが高く、構造の態様を鮮明にする。さらに、第5の画像440に示されているように、特に最小輝度画像が使用される場合も、筋膜組織の周囲の筋肉実質へのスミアリングが大幅に減少する。最大輝度画像では見えるが平均輝度では見えない構造画像は適応画像でも表示されるが、最大画像よりもコントラストが大きくなる。適応画像は、平均画像よりもスペックルが多い傾向がある。ただし、この影響は、図5に示すように、コヒーレンスファクタマップの空間平均化/適応フィルタリングによって大幅に減少する可能性がある。
図5を参照すると、第1の画像は、画像450及び460としてそれぞれ上述したスペックル低減方法を適用した後の平均最大適応画像及び最小平均最大適応画像を示す。図4の第4の画像430と第5の画像440を比較すると、特に暗い領域のスペックルが大幅に減少し、それによって画像全体のコントラストが改善されていることが明らかである。
本発明は、図面及び前述の説明において詳細に図示及び説明されるが、そのような図示及び説明は、限定的ではなく例示的又は例証的であると見なされるべきである。本発明は開示される実施形態に限定されない。
例えば、本明細書で提案されるものの意図される範囲内には、図3に示されるプロセスを実行するために実行可能な命令を有するコンピュータプログラムを具現化する集積回路などの、以下で説明するコンピュータ可読媒体がある。処理はソフトウェア、ハードウェア、ファームウェアの組み合わせによって実装される。
コンピュータプログラムは、光学的記憶媒体又は固体媒体などの適切なコンピュータ可読媒体上に、一瞬的、一時的、又は長期間保存することができる。そのような媒体は、一時的な伝播信号ではないという意味でのみ一時的ではないが、レジスタメモリ、プロセッサキャッシュ、RAM、その他の揮発性メモリなど、他の形式のコンピュータ可読媒体を有する。
開示される実施形態に対する他の変形は、図面、開示、及び添付の特許請求の範囲の検討から、請求される発明を実施する際に当業者によって理解及び達成され得る。 請求項において、「有する」という語は他の要素又はステップを除外せず、不定冠詞「a」又は「an」は複数を除外しない。 特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。 請求項中の参照符号は、範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. 複合超音波画像を生成する方法であって、前記方法は、
    チャネルデータを取得するステップと、
    前記チャネルデータをビーム形成するステップと、
    並行して、
    各画像が複数の画素を有する、関心領域の複数の画像を取得し、
    複数の画像の各画素に対して画像情報メトリックを評価する
    ように、前記ビーム形成されたチャネルデータを使用するステップと、
    前記複数の画像の各画像に対して、
    前記画像情報メトリックの前記評価に基づいて、前記複数の画素の各画素の画素ごとの重み付けを決定するステップと、
    前記複数の画素の各画素に前記画素ごとの重み付けを適用するステップと、
    前記複数の画像の前記複数の重み付けされた画素に基づいて複合超音波画像を生成するステップと
    を有する、方法。
  2. 前記複数の画素は体積画素である、請求項1に記載の方法。
  3. 前記複数の画像の各画像は、前記関心領域の視野角を有し、各画像の前記視野角は異なる、請求項1乃至2の何れか一項に記載の方法。
  4. 前記画像情報メトリックは、特徴及び向きのうちの少なくとも1つを有する、請求項1乃至3の何れか一項に記載の方法。
  5. 前記画像情報メトリックの前記評価は、前記ビーム形成されるチャネルデータのコヒーレンスメトリックを評価するステップを有する、請求項1乃至4の何れか一項に記載の方法。
  6. 前記コヒーレンスメトリックは、コヒーレンスファクタ、及び共分散マトリックスの固有値の優位度、及びウィナーファクタのうちの少なくとも1つを有する、請求項に記載の方法。
  7. 前記複合超音波画像の前記生成は、重み付き画素の空間的、及び空間的、又は周波数合成のうちの少なくとも1つを実行するステップを有する、請求項1乃至6の何れか一項に記載の方法。
  8. 前記複合超音波画像の前記生成は、レトロスペクティブ動的送信(RDT)フォーカシング及びインコヒーレントRDTフォーカシングのうちの少なくとも1つを有する、請求項1乃至7の何れか一項に記載の方法。
  9. 前記複合超音波画像の前記生成は、マルチスケール方式で実行される、請求項1乃至8の何れか一項に記載の方法。
  10. 前記画像情報メトリックの前記評価に基づいて、各画像の前記複数の画素に輝度値を割り当てるステップをさらに有する、請求項1乃至9の何れか一項に記載の方法。
  11. 各画素の前記重み付けの前記決定は、前記複数の画像の間の前記複数の画素の最大輝度値、平均輝度値、最小輝度値の少なくとも1つに基づく、請求項10に記載の方法。
  12. 前記方法は、
    前記複数の画像にわたる前記複数の画素の前記平均輝度値に基づいて平均輝度値画像を生成するステップと、
    前記複合超音波画像から前記平均輝度値画像を減算し、それにより差画像を生成するステップと、
    前記差画像にローパスフィルタを適用するステップと、
    前記平均輝度値画像と前記差画像とを合計し、それによりスペックルフィルタリングされた複合超音波画像を生成するステップと
    を更に有する、請求項11に記載の方法。
  13. コンピュータプログラムがコンピュータ上で実行されるとき、請求項1乃至12の何れか一項に記載の方法を実施するように適合されるコンピュータプログラムコード手段を有するコンピュータプログラム。
  14. 複合超音波画像を生成するシステムであって、前記システムは、
    チャネルデータを取得するように構成される超音波プローブと、
    前記チャネルデータにビーム形成を適用するように構成されるビーム形成モジュールと、
    並行して、
    各画像が複数の画素を有する、関心領域の複数の画像を取得し、
    複数の画像の各画素に対して画像情報メトリックを評価し、
    前記複数の画像の各画像に対して、
    前記画像情報メトリックの前記評価に基づいて、前記複数の画素の各画素の画素ごとの重み付けを決定し、
    前記複数の画素の各画素に前記画素ごとの重み付けを適用する
    ように前記ビーム形成されたチャネルデータを使用する
    ように構成されるコントローラと、
    前記複数の画像の前記複数の重み付けされる画素に基づいて複合超音波画像を生成するように構成される画素合成器と
    を有する、システム。
  15. 前記超音波プローブは、前記超音波プローブの視野角を変更するように構成される電子ステアリングユニットを有する、請求項14に記載のシステム。
JP2019570135A 2017-06-22 2018-06-18 化合物超音波画像生成の方法及びシステム Active JP7123984B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762523318P 2017-06-22 2017-06-22
US62/523,318 2017-06-22
PCT/EP2018/066053 WO2018234209A1 (en) 2017-06-22 2018-06-18 METHODS AND SYSTEM FOR GENERATING COMPOSITE ULTRASONIC IMAGE

Publications (2)

Publication Number Publication Date
JP2020524552A JP2020524552A (ja) 2020-08-20
JP7123984B2 true JP7123984B2 (ja) 2022-08-23

Family

ID=62748946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570135A Active JP7123984B2 (ja) 2017-06-22 2018-06-18 化合物超音波画像生成の方法及びシステム

Country Status (5)

Country Link
US (1) US11087466B2 (ja)
EP (1) EP3642791A1 (ja)
JP (1) JP7123984B2 (ja)
CN (1) CN110800019B (ja)
WO (1) WO2018234209A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
WO2020169384A1 (en) * 2019-02-22 2020-08-27 Koninklijke Philips N.V. Ultrasound imaging with deep learning-based beamforming and associated devices, systems, and methods
CN112263274B (zh) * 2020-11-18 2023-01-31 飞依诺科技股份有限公司 基于多角度超声发射自适应成像方法、设备及存储介质
KR20220135801A (ko) * 2021-03-31 2022-10-07 에스케이하이닉스 주식회사 컬러 보정 회로, 이미징 센싱 장치 및 그 동작방법
CN113345041B (zh) * 2021-05-20 2024-03-15 河南工业大学 超声相干因子确定方法、超声图像重建方法及电子设备
JP2022179966A (ja) * 2021-05-24 2022-12-06 コニカミノルタ株式会社 画像生成装置、画像生成方法、およびプログラム
CN115616014B (zh) * 2022-02-14 2024-06-11 国科大杭州高等研究院 一种动量编码x射线衍射图样匹配校正方法及其应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080306382A1 (en) 2007-06-05 2008-12-11 Siemens Medical Solutions Usa, Inc. Adaptive clinical marker preservation in spatial compound ultrasound imaging
JP2011125690A (ja) 2009-11-18 2011-06-30 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US20140046187A1 (en) 2012-08-10 2014-02-13 Konica Minolta, Inc. Ultrasound diagnostic imaging apparatus and ultrasound diagnostic imaging method
JP2016539707A (ja) 2013-12-09 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像情報に基づく画像合成

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6511426B1 (en) * 1998-06-02 2003-01-28 Acuson Corporation Medical diagnostic ultrasound system and method for versatile processing
US6126598A (en) 1998-10-01 2000-10-03 Atl Ultrasound, Inc. Ultrasonic diagnostic imaging system with adaptive spatial compounding
US6547732B2 (en) 1998-10-01 2003-04-15 Koninklijke Philips Electronics N.V. Adaptive image processing for spatial compounding
EP1782094A2 (en) * 2004-07-23 2007-05-09 ANGELSEN, Bjorn A. J. Ultrasound imaging using non-linear manipulation of forward propagation properties of a pulse
US9117439B2 (en) * 2008-03-13 2015-08-25 Supersonic Imagine Method and apparatus for ultrasound synthetic imagining
US8831936B2 (en) * 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement
CN102727255B (zh) * 2012-07-13 2014-04-30 深圳市理邦精密仪器股份有限公司 一种超声图像空间复合成像的方法及装置
US11953593B2 (en) * 2017-02-10 2024-04-09 Covidien Lp Systems, methods, and computer readable media for processing and compounding ultrasound images in the presence of motion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080306382A1 (en) 2007-06-05 2008-12-11 Siemens Medical Solutions Usa, Inc. Adaptive clinical marker preservation in spatial compound ultrasound imaging
JP2011125690A (ja) 2009-11-18 2011-06-30 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US20140046187A1 (en) 2012-08-10 2014-02-13 Konica Minolta, Inc. Ultrasound diagnostic imaging apparatus and ultrasound diagnostic imaging method
JP2014033914A (ja) 2012-08-10 2014-02-24 Konica Minolta Inc 超音波画像診断装置及び超音波画像診断方法
JP2016539707A (ja) 2013-12-09 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像情報に基づく画像合成

Also Published As

Publication number Publication date
EP3642791A1 (en) 2020-04-29
JP2020524552A (ja) 2020-08-20
US11087466B2 (en) 2021-08-10
US20200202518A1 (en) 2020-06-25
WO2018234209A1 (en) 2018-12-27
CN110800019A (zh) 2020-02-14
CN110800019B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
JP7123984B2 (ja) 化合物超音波画像生成の方法及びシステム
US20170301094A1 (en) Image compounding based on image information
EP3419516B1 (en) Ultrasound blood flow imaging
JP4757307B2 (ja) 超音波画像処理装置
Rindal et al. The dark region artifact in adaptive ultrasound beamforming
US20130343627A1 (en) Suppression of reverberations and/or clutter in ultrasonic imaging systems
JP7405950B2 (ja) 微小脈管の高時空分解能超音波イメージングを行うための方法
WO2013128301A2 (en) Clutter suppression in ultrasonic imaging systems
WO2009095296A1 (en) Constrained iterative blind deconvolution
KR20160046669A (ko) 빔포밍 장치, 초음파 이미징 장치 및 빔포밍 방법
JP2020517363A (ja) 改善されたクラッタ抑制を含むパワードップラー・イメージング・システム及び方法
Jirik et al. High-resolution ultrasonic imaging using two-dimensional homomorphic filtering
JP2020523143A (ja) 超音波画像を処理するための方法及びシステム
KR100778823B1 (ko) 초음파 영상 처리 시스템 및 방법
JP6483659B2 (ja) 超音波による微小石灰化の検出のためのビームフォーミング技術
CN115245350A (zh) 超声波摄像装置、信号处理装置以及信号处理方法
EP3905962A1 (en) Systems and methods for ultrasound attenuation coefficient estimation
CN112184576B (zh) 一种光谱域光学相干层析成像中的高反射亮斑增强方法
KR101610877B1 (ko) 공간 일관성 기초 초음파 신호 처리 모듈 및 그에 의한 초음파 신호 처리 방법
JP2024084515A (ja) 超音波診断装置
JP2024004713A (ja) 血流抽出画像形成装置、血流抽出画像形成方法、及び、血流抽出画像形成プログラム
WO2024170358A1 (en) Adaptively weighted spatial compounding for ultrasound image contrast enhancement
Ploquin et al. Quantitative resolution of ultrasound images
Zhang Speckle removal in medical ultrasound images by compounding and filtering

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R150 Certificate of patent or registration of utility model

Ref document number: 7123984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150