JP7473501B2 - 超音波診断装置及び画像処理方法 - Google Patents

超音波診断装置及び画像処理方法 Download PDF

Info

Publication number
JP7473501B2
JP7473501B2 JP2021087802A JP2021087802A JP7473501B2 JP 7473501 B2 JP7473501 B2 JP 7473501B2 JP 2021087802 A JP2021087802 A JP 2021087802A JP 2021087802 A JP2021087802 A JP 2021087802A JP 7473501 B2 JP7473501 B2 JP 7473501B2
Authority
JP
Japan
Prior art keywords
representative point
array
vector
smoothed
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021087802A
Other languages
English (en)
Other versions
JP2022180992A (ja
Inventor
智章 長野
Original Assignee
富士フイルムヘルスケア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルムヘルスケア株式会社 filed Critical 富士フイルムヘルスケア株式会社
Priority to JP2021087802A priority Critical patent/JP7473501B2/ja
Priority to US17/744,801 priority patent/US20220384015A1/en
Priority to CN202210572946.XA priority patent/CN115381483A/zh
Publication of JP2022180992A publication Critical patent/JP2022180992A/ja
Application granted granted Critical
Publication of JP7473501B2 publication Critical patent/JP7473501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本開示は、超音波診断装置及び画像処理方法に関し、特に、心筋トラッキング技術に関する。
被検者における心臓の状態又は機能を評価するために、超音波診断装置を用いた超音波検査が実施される。例えば、心臓における所定の断面からフレームデータ列が取得され、それに基づいて断層画像列が動画像として生成及び表示される。その断層画像列に対して心筋(心壁)トラッキング技術が適用され、これにより断層画像ごとにトラッキング像列が生成される。断層画像上にトラッキング像が重畳表示される(例えば特許文献1及び特許文献2を参照)。
トラッキング像は、例えば、心筋領域それ全体にわたって設定された複数のトラッキング点を表すマーカーアレイにより構成される。マーカーアレイの動的変化に基づいて、個々のトラッキング点の動きつまり個々の心筋部位の動きを認識、評価及び計測し得る。
特開2003-150804号公報 特開2011- 470号公報
超音波画像にはアーチファクト等のノイズが含まれる。ノイズによってトラッキングエラーが生じ得る。具体的には、時間の経過に伴って、表示されているマーカーアレイ中の一部において整列状態が崩れたり、マーカーアレイ中の一部が心筋領域から逸脱して不自然な運動を行ったりする現象が生じる。そのような現象は超音波検査の妨げとなる。
本開示の目的は、トラッキング像の品質を高めることにある。あるいは、本開示の目的は、トラッキング像における崩れや逸脱を抑制することにある。
本開示に係る超音波診断装置は、n-1番目(但しn=1,2,3,・・・)のフレームとn番目のフレームの間において、心筋領域に対して設定されたn-1番目の代表点アレイの移動先を表すn-1番目のベクトルアレイを演算するトラッキング部と、前記n-1番目のベクトルアレイを平滑化し、これによりn-1番目の平滑化ベクトルアレイを生成する平滑化部と、前記n-1番目の平滑化ベクトルアレイに基づいて心筋輪郭方向に並ぶ複数の代表点列からなるn番目の代表点アレイを生成する際に、前記n番目の代表点アレイを構成する各代表点列を前記心筋輪郭方向に交差する方向に沿って整列させる整列化部と、前記n番目の代表点アレイに基づいてトラッキング像を作成する作成部と、を含むことを特徴とする。
本開示に係る画像処理方法は、超音波の送受波により得られたn-1番目(但しn=1,2,3,・・・)のフレームデータ及びn番目のフレームデータに基づいて、心筋領域に対して設定されたn-1番目の代表点アレイの移動先を表すn-1番目のベクトルアレイを演算する工程と、前記n-1番目のベクトルアレイを平滑化し、これによりn-1番目の平滑化ベクトルアレイを生成する工程と、前記n-1番目の平滑化ベクトルアレイに基づいて心筋輪郭方向に並ぶ複数の代表点列からなるn番目の代表点アレイを生成する際に、前記n番目の代表点アレイを構成する各代表点列を前記心筋輪郭方向に交差する方向に沿って整列させる工程と、前記n番目の代表点アレイに基づいてトラッキング像を作成する工程と、を含むことを特徴とする。
本開示によれば、トラッキング像の品質を高められる。あるいは、本開示によれば、トラッキング像における崩れや逸脱を抑制できる。
実施形態に係る超音波診断装置の構成を示すブロック図である。 表示フレームデータ列の処理を示す図である。 トラッキング像を示す図である。 代表点ごとのベクトル演算方法を示す図である。 代表点アレイにおける崩れ及び逸脱を示す図である。 フレーム間で演算されるベクトルアレイを示す図である。 ベクトルごとに演算される接線成分及び法線成分を示す図である。 接線方向及び法線方向の第1の演算例を示す図である。 接線方向及び法線方向の第2の演算例を示す図である。 成分分離後のベクトル列を示す図である。 第1の整列方法に係る目標線を示す図である。 第1の整列方法に係る整列後の代表点列を示す図である。 第1の整列方法に係る移動先決定の詳細を示す図である。 第2の整列方法に係る目標線を示す図である。 第2の整列方法に係る整列後の代表点列を示す図である。 第3の整列方法に係る目標線を示す図である。 第3の整列方法に係る整列後の代表点列を示す図である。 実施形態に係る画像処理方法を示すフローチャートである。
以下、実施形態を図面に基づいて説明する。
(1)実施形態の概要
実施形態に係る超音波診断装置は、トラッキング部、平滑化部、及び、整列化部を有する。トラッキング部は、n-1番目(但しn=1,2,3,・・・)のフレームとn番目のフレームの間において、心筋領域に対して設定されたn-1番目の代表点アレイの移動先を表すn-1番目のベクトルアレイを演算する。平滑化部は、n-1番目のベクトルアレイを平滑化し、これによりn-1番目の平滑化ベクトルアレイを生成する。整列化部は、n-1番目の平滑化ベクトルアレイに基づいて心筋輪郭方向に並ぶ複数の代表点列からなるn番目の代表点アレイを生成する際に、n番目の代表点アレイを構成する各代表点列を心筋輪郭方向に交差する方向に沿って整列させる。作成部は、n番目の代表点アレイに基づいてトラッキング像を作成する。
上記構成によれば、ベクトルアレイが平滑化された上で、平滑化ベクトルアレイに基づいて新たな代表点アレイが生成される。その際、各代表点列が整列化される。平滑化及び整列化の組み合わせにより、ノイズの影響を受け難くなる。特に、トラッキング像における不自然な崩れや逸脱を効果的に抑制することが可能となる。
n-1番目のフレームは前フレームであり、n番目のフレームは後フレームである。平滑化は空間的な平滑化であるが、時間的な平滑化を併用してもよい。整列化後において、各代表点列を構成する複数の代表点の並びが完全に揃ってもよいが、それらが概ね揃っていてもよい。各代表点が直接的にトラッキングされてもよいし、各代表点が間接的にトラッキングされてもよい。
実施形態において、平滑化部は、n-1番目のベクトルアレイに基づいて、n-1番目の代表点アレイ中の注目代表点ごとに、平滑化ベクトルを構成する平滑化接線成分及び平滑化法線成分を演算し、これによりn-1番目の平滑化ベクトルアレイを生成する。
成分分離を行った上で、成分ごとに平滑化を行えば、平滑化のための演算が簡易になる。接線方向の平滑化を行うことにより、代表点アレイにおける心筋輪郭方向の局所的な乱れを抑制できる。法線方向の平滑化を行うことにより、代表点アレイにおける心筋横断方向の局所的な乱れを抑制できる。
実施形態において、平滑化部は、注目代表点を含む代表点群として心筋輪郭方向に沿って並ぶ複数の代表点からなる代表点群を設定する。平滑化部は、代表点群に帰属するベクトル群の複数の接線成分を平滑化することにより、注目代表点について平滑化接線成分を演算し、代表点群に帰属するベクトル群の複数の法線成分を平滑化することにより、注目代表点について平滑化法線成分を演算する。代表点列ごとに心筋横断方向に並ぶ複数の代表点群が設定される。
一般に、心筋においては心筋横断方向における複数の位置(又は複数の層)の運動は一様ではなく、それらの運動は位置(又は層)ごとに異なっている。このことを考慮し、上記構成は、心筋横断方向における位置ごとに心筋輪郭方向に沿って伸長した参照範囲(代表点群)を定めるものである。代表点群が有する複数の接線成分及び複数の法線成分に基づいて、注目代表点についての接線成分及び法線成分がそれぞれ個別的に平滑化される。これにより、各代表点の運動を滑らかにでき、代表点アレイ全体として、局所的な乱れを抑制できる。実施形態において、代表点群は一次元の代表点並びである。
実施形態において、整列化部は、n-1番目の代表点アレイを構成する代表点列ごとに、当該代表点列に帰属する平滑化ベクトル列又はその平滑化接線成分列に基づいて、当該代表点列を構成する複数の代表点の移動先を整列させ、これによりn番目の代表点アレイを生成する。この構成によれば、代表点列ごとにその移動先が揃えられる。代表点列がその整列状態を維持しながら、まとまって運動することになる。
実施形態において、整列化部は、n-1番目の代表点アレイを構成する代表点列ごとに、当該代表点列に帰属する平滑化ベクトル列又はその平滑化接線成分列に基づいて目標線を演算する。整列化部は、n-1番目の代表点アレイを構成する代表点列ごとに、当該代表点列を構成する複数の代表点の移動先を目標線の上に又はその近傍に定め、これによりn番目の代表点アレイを生成する。
上記構成によれば、各代表点列の移動先が目標線に従って定められる。よって、移動後において各代表点列の整列状態が維持される。平滑化ベクトル列に基づいて目標線が定められてもよいし、平滑化ベクトル列が有する接線成分列に基づいて目標線が定められてもよい。目標線に従って各接線成分が補正された上で、補正後の複数のベクトルが示す複数の位置に新たな複数の代表点を設定してもよい。目標線は直線又は曲線である。最小二乗法に基づく直線回帰により目標線が求められてもよい。
実施形態に係る画像処理方法は、トラッキング工程、平滑化工程、整列化工程、及び、作成工程を有する。トラッキング工程では、超音波の送受波により得られたn-1番目(但しn=1,2,3,・・・)のフレームデータ及びn番目のフレームデータに基づいて、心筋領域に対して設定されたn-1番目の代表点アレイの移動先を表すn-1番目のベクトルアレイが演算される。平滑化工程では、n-1番目のベクトルアレイが平滑化され、これによりn-1番目の平滑化ベクトルアレイが生成される。整列化工程では、n-1番目の平滑化ベクトルアレイに基づいて心筋輪郭方向に並ぶ複数の代表点列からなるn番目の代表点アレイを生成する際に、n番目の代表点アレイを構成する各代表点列が心筋輪郭方向に交差する方向に沿って整列する。作成工程では、n番目の代表点アレイに基づいてトラッキング像が作成される。
上記の画像処理方法は、プログラムを実行するプロセッサを備える情報処理装置において実行される。情報処理装置は、超音波診断装置、画像処理装置、コンピュータ等を含む概念である。情報処理装置に対して、上記プログラムが可搬型記憶媒体を介して又はネットワークを介してインストールされる。情報処理装置内において上記プログラムは非一時的な記憶媒体に記憶される。
(2)実施形態の詳細
図1には、実施形態に係る超音波診断装置の構成が示されている。超音波診断装置は、医療機関内に設置され、被検者への超音波の送受波により得られたデータに基づいて超音波画像を形成する医用装置である。超音波診断装置において、後述する表示フレームデータ列を処理する部分が情報処理装置及び画像処理装置に相当する。
プローブ10は、可搬型の送受波器である。プローブ10は、被検体12の表面に当接される。プローブ10は複数の振動素子からなる振動素子アレイを含む。振動素子アレイにより超音波ビーム14が形成される。超音波ビーム14が電子的に繰り返し走査され、これによりビーム走査面16が繰り返し形成される。電子走査方式として、電子セクタ走査方式、電子リニア走査方式等が知られている。プローブ10内に二次元配列された複数の振動素子からなる2D振動素子アレイが設けられてもよい。
送信回路18は、送信時において、振動素子アレイに対して複数の送信信号を並列的に供給する。これにより送信ビームが形成される。受信時において、生体内からの反射波が振動素子アレイにより受信され、これにより振動素子アレイから受信回路20へ複数の受信信号が並列的に出力される。受信回路20において、複数の受信信号が整相加算(遅延加算)される。これにより受信ビームデータが生成される。
受信回路20から受信フレームデータ列が出力される。受信フレームデータ列は、時間軸上に並ぶ複数の受信フレームデータにより構成される。各受信フレームデータは、電子走査方向に並ぶ複数の受信ビームデータにより構成される。各受信ビームデータは、深さ方向に並ぶ複数のエコーデータにより構成される。
受信回路20の後段にはビームデータ処理回路が設けられているが、その図示が省略されている。受信フレームデータ列は、組織画像形成部22に送られている。受信フレームデータ列は、必要に応じて、血流画像形成部24にも送られる。
組織画像形成部22は、受信フレームデータ列から表示フレームデータ列を生成するモジュールである。表示フレームデータ列は、動画像としての断層画像列を構成する。詳しくは、組織画像形成部22は、座標変換機能、画素補間機能、フレームレート変換機能、等を有するプロセッサとしてのデジタルスキャンコンバータ(DSC)を有する。表示フレームデータ列は、表示処理部26に送られ、また、トラッキング部28に送られている。
血流画像形成部24は、受信フレームデータ列に含まれるドプラ情報に基づいて、表示フレームデータ列として血流画像列を形成するモジュールである。血流画像形成部24もDSCを備えている。カラーフローマッピング(CFM)モードにおいて、後述する表示器38に、白黒断層画像及びカラー血流画像からなる合成画像が表示される。
トラッキングモード(トラッキング像表示モード)において、トラッキング部28及びトラッキング像作成部30が動作する。トラッキング部28は、時間的に隣接するフレームデータ間(単にフレーム間といってもよい)において、トラッキング点ごとにトラッキングを実行し、トラッキング点ごとに二次元移動ベクトルを演算する。以下においては、二次元移動ベクトルを単にベクトルと表現する。
より詳しくは、トラッキング部28は、個々の表示フレームデータに対してグリッド又はメッシュとしての交点アレイを設定する。その上で、トラッキング部28は、個々の交点ごとにフレーム間トラッキングを実行し、個々の交点ごとにベクトルを演算する。これにより、表示フレームデータごとに、複数の交点の運動を表すベクトルアレイが生成される。
トラッキング像作成部30は、図示の構成例において、補間部32、平滑化部34、及び、整列化部36を含む。実施形態においては、初期フレーム上において、そこに含まれる心筋領域に対して初期代表点アレイが設定される。代表点アレイは、心筋輪郭方向に沿って並ぶ複数の代表点列により構成される。個々代表点列は、心筋輪郭方向に交差する方向(典型的には心筋横断方向)に沿って並ぶ複数の代表点(実施形態において5つの代表点)により構成される。
補間部32は、時間的に隣接するフレームペア(フレーム間)ごとに、交点アレイの移動先を示すベクトルアレイに基づいて、代表点アレイの移動先を示すベクトルアレイを生成する。その際には、代表点ごとに、代表点近傍の複数のベクトルに基づく重み付け補間によりベクトルが間接的に演算される。但し、各代表点それ自体をトラッキング点としてもよい。
平滑化部34は、補間部32が生成したベクトルアレイを平滑化し、平滑化ベクトルアレイを生成する。平滑化に際しては、最初に個々のベクトルごとに成分分離が実施され、つまり、個々のベクトルごとに接線成分及び法線成分が演算される。その上で、所定の参照範囲内において、成分ごとに平滑化が実施される。これについては後に詳述する。
整列化部36は、平滑化ベクトルアレイ、つまり平滑化後の接線成分アレイ及び平滑化後の法線成分アレイに基づいて、整列化後の新たな代表点アレイを生成する。平滑化及び整列化を組み合わせることにより、心筋領域からの代表点アレイの局所的な逸脱や乱れ等を抑制することが可能である。整列化については後に詳述する。
トラッキング像作成部30は、整列後の新たな代表点アレイに基づいて、トラッキング像を生成する。トラッキング像は、複数の代表点を表す複数のマーカーにより構成される。より詳しくは、トラッキング像は、心筋輪郭方向に沿って並ぶ複数のマーカー列により構成される。各マーカー列は、心筋輪郭方向に交差する方向に沿って並ぶ複数のマーカーにより構成される。各マーカーは表示要素である。トラッキング像作成部30から表示処理部26へトラッキング像を示すデータが出力される。
時間的に隣接する表示フレームデータペアは、n-1番目の表示フレームデータ(前フレームデータ)とn番目の表示フレームデータ(後フレームデータ)により構成される。ここで、nは1以上の整数である。それらの間において、n-1番目のベクトルアレイが生成され、それからn-1番目の平滑化ベクトルアレイが生成される。n-1番目の平滑化ベクトルアレイに基づいて、n番目の代表点アレイが生成され、それに基づいてn番目のトラッキング像が生成される。表示フレームデータ列に代えて受信フレームデータ列に対してトラッキング等の処理が適用されてもよい。
トラッキング部28、トラッキング像作成部30及び表示処理部26は、それぞれプロセッサにより構成される。トラッキング部28、トラッキング像作成部30及び表示処理部26が単一のプロセッサにより構成されてもよく、あるいは、それらが制御部40の機能として実現されてもよい。
表示処理部26は、画像合成機能、カラー処理機能等を有する。動画像を構成する断層画像列に対して、動画像を構成するトラッキング像列が合成される。これにより生成された合成画像列が表示器38に動画像として表示される。表示器38は、LCD、有機EL表示デバイス等により構成される。
制御部40は、図1に示されている各要素の動作を制御する。制御部40は、具体的には、プログラムを実行するプロセッサ(CPU)により構成される。制御部40には、入力デバイスとしての操作パネル42が接続されている。この他、心電計46からの出力信号が制御部40に送られている。
実施形態においては、受信回路20と組織画像形成部22との間にシネメモリ44が設けられている。シネメモリ44はリングバッファ構造を有し、そこには現時点から過去一定時間にわたる受信フレームデータ列が格納される。フリーズ状態(送受信停止状態)において、シネメモリ44から読み出された受信フレームデータ列が組織画像形成部22へ送られ、受信フレームデータ列から表示フレームデータ列が生成される。また、表示フレームデータ列からトラッキング像列が生成される。リアルタイム動作状態において、トラッキング像列が生成されてもよい。
図2には、画像処理例が示されている。横軸は時間軸である。表示フレームデータ列50は、時間軸方向に並ぶ複数の表示フレームデータA0,A1,A2,A3,・・・により構成される。その中で、表示フレームデータA0は初期表示フレームデータ(初期フレーム)である。心電信号に基づいて初期表示フレームデータが選択されてもよい。
ベクトルアレイ列52は、複数の表示フレームデータA0,A1,A2,A3,・・・に基づいて生成された複数のベクトルアレイB0,B1,B2,・・・により構成される。既に説明したように、時間的に隣接する表示フレームデータペアごとに1つのベクトルアレイB0,B1,B2,・・・が生成される。
ベクトルアレイ列52を構成する各ベクトルアレイB0,B1,B2,・・・が平滑化され、これにより平滑化ベクトルアレイ列54が生成される。平滑化ベクトルアレイ列54は、複数の平滑化ベクトルアレイC0,C1,C2,・・・により構成される。
代表点アレイ列56は、時間軸に沿って並ぶ代表点アレイD1,D1,D2,D3,・・・により構成される。その内で、代表点アレイD0は初期フレーム上に設定される初期代表点アレイである。それ以外の代表点アレイD1,D2,D3,・・・は、複数の平滑化ベクトルアレイC0,C1,C2,・・・に基づいて生成される。具体的には、代表点アレイD1,D2,D3,・・・は、それぞれ整列化を経ているものである。
初期代表点アレイD0は、ユーザーにより又は自動的に設定される。符号57で示すように、初期代表点アレイD0により、トラッキング対象が特定される。同様に、代表点アレイD1,D2,D3,・・・により、トラッキング対象が特定される。代表点アレイ列56に基づいて、複数のマーカーアレイ(複数のトラッキング像)E0,E1,E2,E3,・・・からなるマーカーアレイ列58が生成される。
以下、実施形態に係る画像処理についてより詳しく説明する。図3には、フリーズ状態においてユーザーにより選択された初期フレームが示されている。具体的には、表示器の画面内には断層画像62が表示され、その下側に心電波形67が表示されている。図示の例において、断層画像62は、左室の断面を示す画像である。符号68は心筋の内膜を示しており、符号70は心筋の外膜を示している。内膜68と外膜70の間が心筋領域である。
心筋領域それ全体にわたって代表点アレイ66が設定されており、それを示すマーカーアレイ64が表示されている。代表点アレイ66は、心筋輪郭方向に沿って並んだ複数の代表点列により構成される。これに対応して、マーカーアレイ64は、複数の代表点列を表す複数のマーカー列74により構成される。各代表点列は、心筋輪郭方向に交差する方向(初期フレームにおいては通常、心筋横断方向)に沿って並んだ複数の代表点により構成される。各マーカー列74は、複数の代表点を示す複数のマーカーにより構成される。
代表点アレイの設定に際しては、最初に内膜68上に複数の指定点をユーザーが指定し、複数の指定点に基づいて、内膜上に多数の内膜点からなる内膜点列を自動的に生成し、各内膜点を基点として各代表点列を自動的に定めてもよい。外膜70の抽出又は特定が困難である場合、内膜68を基準としてその外側に一定距離だけ離れたラインとして外膜70を推定してもよい。内膜点ごとに内膜に直交する方向を特定し、その方向において均等に複数の代表点を設定してもよい。心筋領域が複数のサブ領域に区分される場合、個々のサブ領域の境界が明確になるように、一部のマーカー列を強調表示してもよい。
実施形態においては、図4に示されるように、個々の表示フレームデータに対してグリッド76が設定され、それにより定義される個々の交点76aごとにフレーム間トラッキングが実行される。これにより、交点76aごとにベクトル(移動ベクトル)78が演算される。フレーム間トラッキングに際しては、パターンマッチング技術等の既存技術を利用することが可能である。個々の表示フレームデータごとに、交点アレイに対応するベクトルアレイが演算される。
代表点80の移動先を示すベクトルを演算する場合、代表点80を中心とする参照範囲82が定められ、その参照範囲82内に属する交点群に対応するベクトル群が参照される。そのベクトル群に基づく重み付け補間により、代表点80のベクトル84が求められる。図4を用いて説明した一連の処理が代表点ごとに実施される。これにより代表点アレイに対応するベクトルアレイが生成される。
図5中の左側には内膜68と外膜70との間に設定された代表点アレイ66が示されている。具体的には、3つの代表点列86A,88A,90Cが示されている。何らの拘束条件を適用することなく、フレーム間トラッキングを進行させていくと、図5中の右側に示すように、3つの代表点列86B,88B,90Bの形態が崩れ易く、また、心筋領域からのはみ出しが生じ易くなる。断層画像には、少なからずのノイズ成分(アーチファクト)が含まれており、どうしてもトラッキングエラーが生じ易い。トラッキングエラーに起因して上記問題が生じる。そこで、本実施形態においては、以下に詳しく説明するように、フレーム間トラッキングで生成されたべクトルアレイに対して平滑化及び整列化を適用している。
図6には、前フレーム上に設定された代表点アレイ92が示されている。代表点アレイ92は複数の代表点96により構成される。前フレームと後フレームとの間でのトラッキングにより、ベクトルアレイ100が生成される。ベクトルアレイ100は、複数の代表点96から出る複数のベクトル102により構成される。図6においては、後フレーム上の仮の代表点アレイ94が破線で示されている。ベクトルアレイ100の中には、トラッキングエラーに起因する1又は複数のベクトルが含まれ得る。
平滑化に際しては、まず、図7に示すように、ベクトルアレイ100を構成する各ベクトル102に対して成分分離が適用され、各ベクトル102が2つの成分に分離される。具体的には、各ベクトル102が接線成分104及び法線成分106に分離される。接線成分104は、接線方向の成分であり、法線成分106は、接線方向に直交する方向の成分である。
例えば、図8に示すように、注目代表点108を基準として、心筋輪郭方向に隣接する2つの代表点110,112を特定し、それらを通過する直線114の方向を接線方向としてもよい。直線114に直交する直線116の方向を法線方向としてもよい。
あるいは、図9に示すように、心筋輪郭方向に並ぶ複数の代表点に基づいて曲線122を特定し、注目代表点118において曲線122に接する接線124を特定し、その方向を接線方向としてもよい。その場合、注目代表点118において接線124に直交する直線126の方向を法線方向としてもよい。
続いて、図10に示すように、各代表点を注目代表点として、注目代表点ごとに心筋輪郭方向に沿って並ぶ複数の代表点からなる代表点群が設定され、代表点群に帰属するベクトル群が有する複数の接線成分及び複数の法線成分がそれぞれ平滑化される。例えば、注目代表点140に対しては、代表点140A、代表点140B、注目代表点140、代表点140C、代表点140Dからなる代表点群138が設定される。その上で、代表点群138における複数の接線成分144A,144B,144,144C,144Dの平均化により、注目代表点140の平滑化接線成分が演算される。同様に、代表点群138における複数の法線成分146A,146B,146,146C,146Dの平均化により、注目代表点140の平滑化法線成分が演算される。
内膜から外膜にかけて5つの層を観念でき、層ごとに代表点群130,132,134,136,138が設定され、つまり、層ごとに2つの成分の個別的平滑化が実行される。例えば、注目代表点140において、平滑化後の接線成分及び平滑化後の法線成分により平滑化ベクトル150が定義される。なお、符号148は、平滑化前のベクトルを示している。
心筋領域において心筋横断方向に並ぶ複数の層はそれぞれ異なる運動を呈する。上記処理によれば、複数の層の運動を前提として、自然な平滑化を行える。換言すれば、過剰な平滑化を回避できる。
図11~図17を用いて、各代表点列に適用される幾つかの整列化方法について説明する。図11~図13には、第1の整列化方向が示されている。図11においては、前フレーム上の1つの代表点列152が示されている。代表点列152は、心筋領域を横断するように並ぶ5つの代表点からなる。代表点列152については、上記の平滑化により、平滑化ベクトル列154が求められる。平滑化ベクトル列154は、5つの代表点から出る5つの平滑化ベクトルからなる。
第1の整列化方向では、平滑化ベクトル列154により特定される座標列154Aに対して最小二乗法を適用し、回帰直線としての目標線158が演算される。目標線158は、複数の仮座標に基づいて算出される近似直線とも言える。最小二乗法では、複数の座標から目標線までの複数の距離の二乗の総和が最小になるように、1次関数が演算される。ちなみに、符号156は、平滑化前のベクトル列で特定される代表点列を示している。
図12に示すように、複数の平滑化ベクトルに基づいて、目標線158上に移動後の複数の代表点が定められる。それらにより、新たな代表点列160が生成される。その場合には、例えば、図13に示すように、平滑化ベクトル162が目標線158と交わっている場合には交点164に対して代表点166を定めてもよい。一方、平滑化ベクトル168が目標線158と交わっていない場合には平滑化ベクトル168を外挿して外挿線170を求め、外挿線170と目標線158との交点174を特定し、その交点174に対して代表点176を定めてもよい。
図14及び図15には、第2の整列化方法が示されている。平滑化後のベクトル列178により特定される複数の座標に基づいて目標線180が定められる。その場合、スプライン関数によるフィッティングを行ってもよいし、最小二乗法によって曲線関数が定義されてもよい。図15に示すように、平滑化後の複数のベクトルに基づいて、目標線180上に複数の代表点が定められる。その場合には、図13に示した方法により各交点が特定されてもよい。
図16及び図17には、第3の整列化方法が示されている。図16には、代表点列184に対応する平滑化接線成分列186及び平滑化法線成分列188が示されている。それらの内で平滑化接線成分列186に対して最小二乗法が適用され、回帰直線としての目標線190が特定される。図17に示すように、平滑化接線成分列を構成する各平滑化接線成分の大きさが目標線に従って補正され、これにより補正後の平滑化接線成分列186Aが求められる。補正後の平滑化接線成分列186Aと平滑化法線成分列188により、補正後の平滑化ベクトル列192が求められる。補正後の平滑化ベクトル列192が示す複数の座標に複数の代表点が設定される。それらが新たな代表点列194を構成する。
第3の整列化方法を採用した場合、新たな代表点列194を構成する複数の代表点は、厳密には、目標線190上に位置せず、直線状に並ばないが、それらの並びは凡そ直線状であり、それらはいずれも目標線190の近傍に位置している。第3の整列化方法を採用した場合、演算量を削減できる。
図18には、実施形態に係る画像処理方法が示されている。典型的には、フリーズ状態において、図18に示されるフローが実行される。S10では、検査者(ユーザー)により初期フレーム(開始フレーム)が選択される。S12においては、初期フレーム上に初期代表点アレイが設定される。S14では、本処理を終了させるか否かが判断される。例えば、最終フレームの処理が完了した時点で、本処理が終了する。時系列順で、フレーム間ごとに、S16以降の一連の工程が繰り返し実行される。
S16では、指定されたフレーム間において各代表点がトラッキングされる。これにより、ベクトルアレイが生成される。S18では、ベクトルアレイを構成する個々のベクトルが2つの成分(接線成分及び法線成分)に分解される。S20では、個々の成分が平滑化される。これにより平滑化ベクトルアレイが生成される。
S22では、平滑化ベクトルアレイに基づいて、新たな代表点アレイが生成される。その際においては、新たな代表点アレイを構成する代表点列ごとに整列化が実施される。S24では、整列化を経た新たな代表点アレイに基づいてトラッキング像が生成される。
上記実施形態によれば、ベクトルアレイが平滑化された上で、平滑化ベクトルアレイに基づいて新たな代表点アレイを生成する際に、各代表点列が整列化されるので、ノイズの影響を受け難くなる。詳しくは、トラッキング像における不自然な崩れや逸脱を効果的に抑制できる。
22 組織画像形成部、28 トラッキング部、30 トラッキング像作成部、32 補間部、34 平滑化部、36 整列化部。

Claims (8)

  1. n-1番目(但しn=1,2,3,・・・)のフレームとn番目のフレームの間において、心筋領域に対して設定されたn-1番目の代表点アレイの移動先を表すn-1番目のベクトルアレイを演算するトラッキング部と、
    前記n-1番目のベクトルアレイを平滑化し、これによりn-1番目の平滑化ベクトルアレイを生成する平滑化部と、
    前記n-1番目の平滑化ベクトルアレイに基づいて心筋輪郭方向に並ぶ複数の代表点列からなるn番目の代表点アレイを生成する際に、前記n番目の代表点アレイを構成する各代表点列を前記心筋輪郭方向に交差する方向に沿って整列させる整列化部と、
    前記n番目の代表点アレイに基づいてトラッキング像を作成する作成部と、
    を含むことを特徴とする超音波診断装置。
  2. 請求項1記載の超音波診断装置において、
    前記平滑化部は、前記n-1番目のベクトルアレイに基づいて、前記n-1番目の代表点アレイ中の注目代表点ごとに、平滑化ベクトルを構成する平滑化接線成分及び平滑化法線成分を演算し、これにより前記n-1番目の平滑化ベクトルアレイを生成する、
    ことを特徴とする超音波診断装置。
  3. 請求項2記載の超音波診断装置において、
    前記平滑化部は、
    前記注目代表点を含む代表点群として前記心筋輪郭方向に沿って並ぶ複数の代表点からなる代表点群を設定し、
    前記代表点群に帰属するベクトル群の複数の接線成分を平滑化することにより、前記注目代表点について前記平滑化接線成分を演算し、
    前記代表点群に帰属するベクトル群の複数の法線成分を平滑化することにより、前記注目代表点について前記平滑化法線成分を演算し、
    前記代表点列ごとに心筋横断方向に並ぶ複数の代表点群が設定される、
    ことを特徴とする超音波診断装置。
  4. 請求項1記載の超音波診断装置において、
    前記整列化部は、前記n-1番目の代表点アレイを構成する代表点列ごとに、当該代表点列に帰属する平滑化ベクトル列又は当該平滑化ベクトル列の平滑化接線成分列に基づいて、当該代表点列を構成する複数の代表点の移動先を整列させ、これにより前記n番目の代表点アレイを生成する、
    ことを特徴とする超音波診断装置。
  5. 請求項1記載の超音波診断装置において、
    前記整列化部は、
    前記n-1番目の代表点アレイを構成する代表点列ごとに、当該代表点列に帰属する平滑化ベクトル列又は当該平滑化ベクトル列の平滑化接線成分列に基づいて目標線を演算し、
    前記n-1番目の代表点アレイを構成する代表点列ごとに、当該代表点列を構成する複数の代表点の移動先を前記目標線の上に又は前記目標線の近傍に定め、これにより前記n番目の代表点アレイを生成する、
    ことを特徴とする超音波診断装置。
  6. 請求項5記載の超音波診断装置において、
    前記目標線は直線又は曲線である、
    ことを特徴とする超音波診断装置。
  7. 超音波の送受波により得られたn-1番目(但しn=1,2,3,・・・)のフレームデータ及びn番目のフレームデータに基づいて、心筋領域に対して設定されたn-1番目の代表点アレイの移動先を表すn-1番目のベクトルアレイを演算する工程と、
    前記n-1番目のベクトルアレイを平滑化し、これによりn-1番目の平滑化ベクトルアレイを生成する工程、
    前記n-1番目の平滑化ベクトルアレイに基づいて心筋輪郭方向に並ぶ複数の代表点列からなるn番目の代表点アレイを生成する際に、前記n番目の代表点アレイを構成する各代表点列を前記心筋輪郭方向に交差する方向に沿って整列させる工程と、
    前記n番目の代表点アレイに基づいてトラッキング像を作成する工程と、
    を含むことを特徴とする画像処理方法。
  8. 情報処理装置に画像処理方法を実行させるためのプログラムであって、
    超音波の送受波により得られたn-1番目(但しn=1,2,3,・・・)のフレームデータ及びn番目のフレームデータに基づいて、心筋領域に対して設定されたn-1番目の代表点アレイの移動先を表すn-1番目のベクトルアレイを演算する機能と、
    前記n-1番目のベクトルアレイを平滑化し、これによりn-1番目の平滑化ベクトルアレイを生成する機能と、
    前記n-1番目の平滑化ベクトルアレイに基づいて心筋輪郭方向に並ぶ複数の代表点列からなるn番目の代表点アレイを生成する際に、前記n番目の代表点アレイを構成する各代表点列を前記心筋輪郭方向に交差する方向に沿って整列させる機能と、
    前記n番目の代表点アレイに基づいてトラッキング像を作成する機能と、
    を含むことを特徴とするプログラム。
JP2021087802A 2021-05-25 2021-05-25 超音波診断装置及び画像処理方法 Active JP7473501B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021087802A JP7473501B2 (ja) 2021-05-25 2021-05-25 超音波診断装置及び画像処理方法
US17/744,801 US20220384015A1 (en) 2021-05-25 2022-05-16 Ultrasound diagnostic apparatus and image processing method
CN202210572946.XA CN115381483A (zh) 2021-05-25 2022-05-24 超声波诊断装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021087802A JP7473501B2 (ja) 2021-05-25 2021-05-25 超音波診断装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2022180992A JP2022180992A (ja) 2022-12-07
JP7473501B2 true JP7473501B2 (ja) 2024-04-23

Family

ID=84115641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021087802A Active JP7473501B2 (ja) 2021-05-25 2021-05-25 超音波診断装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20220384015A1 (ja)
JP (1) JP7473501B2 (ja)
CN (1) CN115381483A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050228276A1 (en) 2004-04-02 2005-10-13 Teratech Corporation Wall motion analyzer
US20120078097A1 (en) 2010-09-27 2012-03-29 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
JP2013022462A (ja) 2011-07-19 2013-02-04 Toshiba Corp 運動対象輪郭トラッキング装置、心筋運動解析装置、運動対象輪郭トラッキング方法および心筋運動解析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050228276A1 (en) 2004-04-02 2005-10-13 Teratech Corporation Wall motion analyzer
US20120078097A1 (en) 2010-09-27 2012-03-29 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
JP2013022462A (ja) 2011-07-19 2013-02-04 Toshiba Corp 運動対象輪郭トラッキング装置、心筋運動解析装置、運動対象輪郭トラッキング方法および心筋運動解析方法

Also Published As

Publication number Publication date
CN115381483A (zh) 2022-11-25
US20220384015A1 (en) 2022-12-01
JP2022180992A (ja) 2022-12-07

Similar Documents

Publication Publication Date Title
US6508768B1 (en) Ultrasonic elasticity imaging
JP5587743B2 (ja) 超音波画像処理装置
JP5271262B2 (ja) 三次元超音波イメージングのための方法、装置及びコンピュータプログラム
US6544175B1 (en) Ultrasound apparatus and methods for display of a volume using interlaced data
JP4060615B2 (ja) 画像処理装置及び超音波診断装置
JP5484444B2 (ja) 医用画像診断装置、容積計算方法
RU2654611C2 (ru) Автоматическое позиционирование стандартных плоскостей для оценки сердца плода в режиме реального времени
JP5624258B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5108905B2 (ja) 3dデータセット中の画像ビューを自動的に特定する方法および装置
JP3645727B2 (ja) 超音波診断装置およびパノラマ画像を合成するプログラムおよびその記録媒体
RU2653274C2 (ru) Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях
US9913625B2 (en) Medical diagnosis device and measurement method thereof
JP5600285B2 (ja) 超音波画像処理装置
US20110190633A1 (en) Image processing apparatus, ultrasonic diagnostic apparatus, and image processing method
WO2014080833A1 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP2010194299A (ja) 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置
CN107481259B (zh) 尤其是在超声波空间复合中用于估计图像间运动的方法和系统
US9877698B2 (en) Ultrasonic diagnosis apparatus and ultrasonic image processing apparatus
US10922861B2 (en) Method and apparatus for correcting dynamic models obtained by tracking methods
CN112773393A (zh) 用于通过基于超声图像分析自动调整波束形成器参数来提供超声图像增强的方法和系统
US20110046487A1 (en) Ultrasound system and method for providing information indicative of a change of elasticity information
CN114845642A (zh) 用于超声成像的智能测量辅助以及相关联的设备、系统和方法
JP7473501B2 (ja) 超音波診断装置及び画像処理方法
JP4188921B2 (ja) 超音波像診断装置及びそれに使用するプログラム
van Stralen et al. Left Ventricular Volume Estimation in Cardiac Three-dimensional Ultrasound: A Semiautomatic Border Detection Approach1

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231102

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240411

R150 Certificate of patent or registration of utility model

Ref document number: 7473501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150