JP7032533B2 - 超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラム - Google Patents

超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラム Download PDF

Info

Publication number
JP7032533B2
JP7032533B2 JP2020530060A JP2020530060A JP7032533B2 JP 7032533 B2 JP7032533 B2 JP 7032533B2 JP 2020530060 A JP2020530060 A JP 2020530060A JP 2020530060 A JP2020530060 A JP 2020530060A JP 7032533 B2 JP7032533 B2 JP 7032533B2
Authority
JP
Japan
Prior art keywords
ultrasonic
image
subject
reference point
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020530060A
Other languages
English (en)
Other versions
JPWO2020012884A1 (ja
Inventor
健介 井芹
拓生 嶋田
竜雄 新井
悟史 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of JPWO2020012884A1 publication Critical patent/JPWO2020012884A1/ja
Application granted granted Critical
Publication of JP7032533B2 publication Critical patent/JP7032533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472Wireless probes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/462Displaying means of special interest characterised by constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/5206Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065Compound scan display, e.g. panoramic imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52073Production of cursor lines, markers or indicia by electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20156Automatic seed setting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、超音波によって被検体の内部を撮像する超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラムに関する。
従来より、生体の断層画像を取得するために、CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置が用いられている。これらの装置は、大がかりで高額であり、被爆の問題もあるため、近年では、超音波を用いて断層画像を取得する技術が開発されている。例えば、非特許文献1には、超音波断層画像において、筋肉と皮下脂肪等の他の組織との境界や、筋肉同士の境界に基づき、筋量や筋質を評価する技術が開示されている。
福元喜啓、外3名、「超音波画像診断装置を用いた骨格筋の量的・質的評価」、理学療法学、日本理学療法士学会、2015年、第42巻、第1号、p.65-71
現状では、超音波断層画像において生体組織の境界を検出するために、組織の種類に応じて、異なる属性(色など)を持つシード(Seed)点を手動で付与し、組織の種類に応じた領域を抽出している。しかしこの手法では、シード点を付与する作業が煩雑であり、ユーザの負担が大きいという問題がある。また、ユーザが生体組織の構造に詳しくない非医療従事者などである場合は、シード点を正確に付与すること自体、困難である。
本発明は、上記問題を解決するためになされたものであって、超音波画像において生体組織の境界を自動的に検出できる超音波撮像装置を提供することを課題とする。
本発明に係る超音波撮像装置は、被検体の表面から該被検体の内部に向けて送信されて内部で反射された超音波を受信して、該被検体の内部の超音波画像を生成する画像生成部と、前記超音波画像の着目組織の基準点を設定する基準点設定部と、前記基準点を基準として前記超音波画像中に1以上のシード点を付与する第1のシード点付与部と、前記シード点が属する領域を画定し、前記超音波画像に含まれる前記被検体の画像領域を組織の種類に応じて複数の領域に区分する領域画定部とを備えたことを特徴とする。
本発明に係る超音波撮像システムは、超音波を前記被検体の表面上の互いに異なる複数の位置から該被検体の内部に向けて送信し、前記被検体の内部で反射された超音波を受信するプローブと、本発明に係る超音波画像装置とを備えることを特徴とする。
本発明に係る超音波撮像方法は、被検体の表面から該被検体の内部に向けて送信されて内部で反射された超音波を受信して、該被検体の内部の超音波画像を生成する画像生成ステップと、前記超音波画像の着目組織の基準点を設定する基準点設定ステップと、前記基準点を基準として前記超音波画像中に1以上のシード点を付与するシード点付与ステップと、前記シード点が属する領域を画定し、前記超音波画像に含まれる前記被検体の画像領域を組織の種類に応じて複数の領域に区分する領域画定ステップとを備えたことを特徴とする。
本発明に係る超音波撮像プログラムは、被検体の表面から該被検体の内部に向けて送信されて内部で反射された超音波を受信して、該被検体の内部の超音波画像を生成する画像生成部、前記超音波画像の着目組織の基準点を設定する基準点設定部、前記基準点を基準として前記超音波画像中に1以上のシード点を付与する第1のシード点付与部、および前記シード点が属する領域を画定し、前記超音波画像に含まれる前記被検体の画像領域を組織の種類に応じて複数の領域に区分する領域画定部としてコンピュータを動作させる。
本発明によれば、超音波画像において生体組織の境界を自動的に検出することができる。
第1の実施形態に係る超音波撮像システムの構成を示す模式図である。 第1の実施形態に係る超音波撮像装置の構成を示すブロック図である。 腹部断面の超音波合成画像の一例である。 向きが調整された超音波合成画像の一例である。 テンプレート画像の一例である。 基準点が設定された超音波合成画像の一例である。 シード点が付与された超音波合成画像の一例である。 異なる領域に区分された超音波合成画像の一例である。 腹部断面の超音波合成画像の一例である。 方向調整部の機能ブロック図である。 関心領域が設定された超音波合成画像の一例である。 プローブの軌跡、および、超音波の送信方向の説明図である。 関心領域に対応する超音波画像の番号と、相関値との関係の一例を示すグラフである。 腹直筋のほぼ真中に関心領域が設定された超音波合成画像の一例である。 第1の実施形態に係る超音波撮像方法の処理手順を示すフローチャートである。 第2の実施形態に係る超音波撮像装置の構成を示すブロック図である。 基準点およびラインが設定された超音波合成画像の一例である。 ダイクストラ法による探索を説明するための図である。 ダイクストラ法による探索を説明するための図である。 ダイクストラ法による探索を説明するための図である。 超音波画像の範囲が示された超音波合成画像の一例である。 シード点が付与された超音波合成画像の一例である。
以下、本発明の実施形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する重複した説明を省略する。
〔第1の実施形態〕
(全体構成)
図1は、第1の実施形態に係る超音波撮像システム1の構成を示す模式図である。超音波撮像システム1は、プローブ2と、超音波撮像装置3とを含んでいる。
プローブ2は、超音波を被検体9の表面上の互いに異なる複数の位置から被検体9の内部に向けて送信し、被検体9の内部で反射された超音波を受信する装置であり、本実施形態では、被検者が把持して動かすことができるように構成されている。プローブ2の下端には、複数の超音波振動子が一列に配列された超音波送受面が設けられている。被検体9の断層画像(あるいは断面画像)を取得する場合、被検者は、被検体9にプローブ2の超音波送受面を当接させて、プローブ2を被検体9の表面に沿って移動させる(プローブ2によりスキャンする)。その間に、プローブ2は、超音波送受面から被検体9の内部に向けて超音波を断続的に送信し、被検体9の内部で反射された超音波を超音波送受面において受信する。これにより、プローブ2は、受信した超音波を示す電気信号(エコー信号)を出力する。
なお、プローブ2は、リニアスキャン画像を取得するリニアスキャンモードで動作するが、セクタスキャン画像を取得するセクタスキャンモードで動作可能であってもよいし、リニアスキャンモードとセクタスキャンモードの両方で動作可能であってもよいし、他のモードあるいは他のモードとの組み合わせで動作可能であってもよい。また本実施形態では、被検体9は主に腹部であるが、被検体9に含まれる生体部位は特に限定されない。
超音波撮像装置3は、WiFi(登録商標)などの無線によってプローブ2に接続されている。本実施形態では、超音波撮像装置3は例えばタブレット端末で構成されており、プローブ2から受信したエコー信号に基づき、複数の超音波画像を生成し、さらに、それらの超音波画像を合成した超音波合成画像を表示する機能を有している。
なお、超音波撮像装置3は画像を表示可能な装置であれば特に限定されず、汎用のパーソナルコンピュータや、スマートフォン等で構成することができる。また、プローブ2と超音波撮像装置3との接続方法は特に限定されず、有線接続であってもよい。
(超音波撮像装置の機能)
図2は、超音波撮像装置3の構成を示すブロック図である。超音波撮像装置3は、ハードウェアの構成として、ディスプレイ31と、入力装置32と、補助記憶装置33と、通信インタフェース部(I/F部)34と、表示インタフェース部(I/F部)36とを備えている。
ディスプレイ31は、例えば液晶ディスプレイ、プラズマディスプレイおよび有機ELディスプレイ等で構成することができる。なお、ディスプレイ31を超音波撮像装置3とは別個の装置として構成してもよい。
入力装置32は、例えばディスプレイ31の表面に設けられたタッチパネルである。被検者は、入力装置32を介してディスプレイ31に表示された画像に対する入力操作を行うことができる。
補助記憶装置33は、オペレーティングシステム(OS)、各種制御プログラム、および、プログラムによって生成されたデータなどを記憶する不揮発性の記憶装置であり、例えば、eMMC(embedded Multi Media Card)やSSD(Solid State Drive)等によって構成される。補助記憶装置33には、超音波撮像プログラムP、テンプレート画像Tおよび領域画定情報Vが記憶されている。超音波撮像プログラムPは、インターネットなどのネットワークを介して超音波撮像装置3にインストールしてもよい。あるいは、超音波撮像プログラムPを記録したSDカード等のコンピュータ読み取り可能な非一時的な有体の記録媒体を超音波撮像装置3に読み取らせることにより、超音波撮像プログラムPを超音波撮像装置3にインストールしてもよい。テンプレート画像Tおよび領域画定情報Vについては、後述する。
通信インタフェース部34は、外部機器とのデータの送受信を行うものであり、本実施形態では、プローブ2から受信した信号の復調や、プローブ2に送信するための制御信号の変調などを行う。
表示インタフェース部36は、超音波撮像装置3の演算処理によって生成された各種画像データをVRAMに展開することにより、当該画像をディスプレイ31に表示するものであり、例えば後述する信号処理部35によって生成された超音波合成画像等をディスプレイ31に表示する。
図示していないが、超音波撮像装置3は、他のハードウェアの構成として、データ処理を行うCPU等のプロセッサ、および、プロセッサがデータ処理の作業領域に使用するメモリ(主記憶装置)などをさらに備えている。
また、超音波撮像装置3は、ソフトウェアの構成として、信号処理部35を備えている。信号処理部35は、プロセッサが超音波撮像プログラムPを実行することにより実現される機能ブロックであり、プローブ2から受信されたエコー信号を処理して、被検体9の超音波合成画像を生成し、被検体9の画像領域を組織の種類に応じて複数の領域に区分して、各領域を識別可能な態様でディスプレイ31に表示する機能を有している。この機能を実現するために信号処理部35は、画像生成部351と、方向調整部352と、基準点設定部353と、第1のシード点付与部354と、領域画定部355とを備えている。なお、信号処理部35を、集積回路上に形成された論理回路によってハードウェア的に実現してもよい。
画像生成部351は、プローブ2から受信されたエコー信号から、被検体9の内部の超音波画像を生成する機能ブロックであり、超音波画像生成部3511と、画像合成部3512とを備えている。
超音波画像生成部3511は、被検体9の表面上の互いに異なる複数の位置から被検体9の内部に向けて送信されて内部で反射された超音波を受信して、前記各位置に対応した超音波画像をそれぞれ生成する。プローブ2は、被検体9の表面を移動しながら、超音波撮像装置3から送信される制御信号にしたがって、被検体9の表面上の互いに異なる複数の位置から被検体9の内部に向けて超音波を送信し、被検体9の内部で反射された超音波を受信して、超音波撮像装置3にエコー信号を出力する。これにより、プローブ2が超音波を受信するたびに、超音波画像生成部3511にエコー信号が入力され、超音波画像生成部3511は、エコー信号から、被検体9の表面上の互いに異なる複数の位置に対応した超音波画像を生成する。超音波画像の生成数は、プローブ2による超音波の送受信時間、および、送受信の周期によって変動するが、本実施形態では、n枚(nは正の整数)の超音波画像が生成されるとする。
なお、超音波画像生成部3511の機能を、プローブ2を制御する制御装置に設けてもよい。その場合、制御装置を超音波撮像装置3に接続してもよいし、制御装置に超音波画像を記憶させておき、記録媒体を介して超音波画像を超音波撮像装置3に送信してもよい。
画像合成部3512は、超音波画像生成部3511によって生成された、被検体9の表面上の前記各位置における超音波画像を合成して被検体9の断面の超音波合成画像を生成する機能ブロックである。超音波画像の合成は、周知の技術を適用することができ、本実施形態では、例えば各超音波画像間の特徴点マッチングを用いて超音波画像を合成する。なお、本実施形態において、「断面」とは、輪切りの断面だけでなく、部分的な断面も含む概念である。
この方法では、1番目の超音波画像および2番目の超音波画像から特徴点を検出する。そして、1番目の超音波画像と2番目の超音波画像の特徴点をマッチングして、1番目の超音波画像と2番目の超音波画像の同次変換行列を計算する。具体的には、2番目の超音波画像が1番目の超音波画像に対して、時計周りにθだけ回転し、x軸方向にt、y軸方向にtだけ平行移動させると1番目の超音波画像と2番目の超音波画像の特徴点が一致する場合、2番目の超音波画像の座標系を動かして1番目の超音波画像に合わせる同次変換行列Rは、
Figure 0007032533000001
となる。すなわち、1番目の超音波画像上の特徴点(x、y)が、2番目の超音波画像上の特徴点(x'、y')に移動するとき、
Figure 0007032533000002
の関係が成り立つ。なお、特徴点の座標には誤差が含まれており、また、ノイズの影響により決定された対応関係自体に誤りが含まれているため、計算に悪影響を及ぼす外れ値をRANSACアルゴリズムにより除外する。また、位置関係の計算には、ガウス・ニュートン法、レーベンバーグ・マーカート法等の非線形最小二乗法を利用できる。
同次変換行列Rの計算を、生成順が隣り合う2枚の超音波画像について順次行い、n-1番目の超音波画像およびn番目の超音波画像まで行う。k+1(1≦k≦n-1)番目の超音波画像からk番目の超音波画像への同次変換行列をRとすると、k+1番目の超音波画像から1番目の超音波画像への同次変換行列は、R…Rとなる。1番目の超音波画像の座標系はワールド座標系と呼ばれ、全ての超音波画像について、ワールド座標系への同次変換行列を計算することで、全ての超音波画像の座標が計算できる。その後、全ての超音波画像の画素をブレンドすることにより、1枚の超音波合成画像が生成される。
本実施形態においては、図3に示す腹部断面を含む超音波合成画像が生成されたとする。
方向調整部352、基準点設定部353、第1のシード点付与部354および領域画定部355は、超音波合成画像に含まれる被検体の画像領域を組織の種類に応じて複数の領域に区分する機能ブロックである。組織の種類は特に限定されないが、被検体が腹部の場合、組織の種類が筋肉、皮膚、および、その他の組織(脂肪等)の3種類であり、超音波合成画像に含まれる被検体の画像領域が、皮膚、筋肉、その他の組織に応じて複数の領域に区分され、各領域に識別可能な態様で(例えば異なる色で)表示される。領域区分の具体的な方法については、後述する。
領域区分された超音波合成画像は、表示インタフェース部36に入力される。表示インタフェース部36は、超音波合成画像のデータをVRAMに展開することにより、超音波合成画像をディスプレイ31に表示する。なお、表示インタフェース部36は、下記の領域区分をする前の超音波合成画像をいったんディスプレイ31に表示してもよいし、領域区分を行った後に、超音波合成画像をディスプレイ31に表示してもよい。
(領域区分)
以下、超音波合成画像に含まれる被検体の画像領域を組織の種類に応じて複数の領域に区分する一形態について、具体的に説明する。
方向調整部352は、超音波合成画像を角度調整し、前記超音波合成画像に含まれる前記被検体の特定部位を所定の方向に指向させる機能を有している。本実施形態では、方向調整部352は、図3に示す超音波合成画像の向きを、図4に示す超音波合成画像のように、臍部が上方向になるように調整する。調整の具体的な方法については、後述する。
基準点設定部353は、超音波画像の着目組織の基準点を設定する機能ブロックである。基準点とは、シード点を付与するための基準となる点であり、標準的な生体において特徴的な形状を有する部位に含まれ、かつ、標準的な生体において、当該点に対する所定の相対位置における組織の種類が特定可能な点が好ましい。着目組織とは、超音波合成画像に含まれる被検体の1か所のみに現れる特徴的な(ユニークな)形状を有する部位を意味する。本実施形態では、図4の破線枠に示すように、左右一対の腹直筋の一部と、腹直筋間に存在する「白線」とを含む部位を、着目組織としている。
「白線」とは、腹直筋鞘の前・後葉をつくる両側の側腹筋腱膜の線維が前腹壁の正中線で左右交じり合って作る強い紐状の結合組織である。図4に示すような、臍部が上方向になるように調整された腹部断面の超音波合成画像では、「白線」は、水平に伸びる高輝度の線分で示され、さらに線分の両端が2方向に分岐している。本実施形態では、「白線」の中点を基準点としている。臍部が上方向に指向した標準的な腹部では、「白線」の中点から左右方向に所定距離だけ離れた位置は腹直筋に含まれ、上方向の所定距離だけ離れた位置は皮膚に含まれ、下方向の所定距離だけ離れた位置は脂肪などのその他の組織に含まれる。
基準点設定部353は、図4に示す超音波合成画像において基準点を設定するために、テンプレート画像Tを超音波合成画像に重ね合わせながらマッチングする。図5にテンプレート画像Tの一例を示す。テンプレート画像Tは、左右一対の腹直筋の一部と、腹直筋間に存在する「白線」とを含む超音波合成画像であるが、標準的な生体において特徴的な形状を有する部位を含む超音波合成画像であれば特に限定されない。テンプレート画像Tは、複数の個人の上述の部位を平均化することによって作成することができる。あるいは、過去に同じ被検者の超音波合成画像が生成されていた場合は、過去の被検者の超音波合成画像における上述の部位をテンプレート画像Tとしてもよい。
基準点設定部353は、テンプレート画像Tを図4に示す超音波合成画像上で仮想的に移動させながら、テンプレート画像Tと最も相関度の高い超音波合成画像上の位置を特定する。テンプレート画像Tは、標準的な生体において着目組織を含むため、必然的に、図4の破線枠に示す領域のみが特定される。さらに、基準点設定部353は、図6に示すように、「白線」の中点を基準点Prとして設定する。なお、基準点は仮想的なものであり、図6のように点として表示する必要はない。
図3に示す第1のシード点付与部354は、基準点設定部353が設定した基準点を基準として超音波合成画像中に1以上のシード点を付与する機能ブロックであり、前記基準点に対して所定の相対位置にシード点を付与する。所定の相対位置とは、超音波合成画像において、基準点から所定距離および所定方向離れた位置のことをいう。本実施形態では、第1のシード点付与部354は、図7に示すように、基準点Prに対して左右方向(所定の方向と垂直な2方向)の指定距離(例えば4cm)の2箇所に、シード点S1を筋肉と対応づけて付与し、基準点Prに対して上方向の指定距離(例えば1cm)の箇所に、シード点S2を皮膚と対応づけて付与し、基準点Prに対して下方向の指定距離(例えば3cm)の箇所に、シード点S3をその他の組織と対応づけて付与する。シード点の位置と組織との対応付けは、標準的な生体において、基準点である「白線」の中点に対して、左右方向には腹直筋が存在しており、上方向には皮膚が存在しており、下方向には脂肪等の他の組織が存在していることに基づいている。そのため、被検体9の構造が標準的な生体の構造から大きくかけ離れていない限り、シード点と組織の種類とを正確に対応付けることができる。
図3に示す領域画定部355は、前記シード点が属する領域を画定し、超音波合成画像に含まれる被検体9の画像領域を組織の種類に応じて複数の領域に区分する機能ブロックである。本実施形態では、領域画定部355は、図2に示す補助記憶装置33に記憶された領域画定情報Vを参照する。領域画定情報Vは、着目組織の特定位置と、着目組織からの所定の相対位置における組織の種類との対応関係を示す情報である。領域画定情報Vでは、例えば、着目組織が「白線」であり超音波合成画像における臍部が上方向の場合、「白線」の中点に対して、左右方向に指定距離(例えば4cm)離れた位置が筋肉に対応付けられ、上方向に指定距離(例えば1cm)離れた位置が皮膚に対応付けられ、下方向に指定距離(例えば3cm)離れた位置がその他の組織に対応付けられている。これにより、領域画定部355は、領域画定情報Vに基づいて、各シード点S1、S2、S3に対応する組織がそれぞれ筋肉、皮膚、その他の組織であると判別することができる。
さらに、領域画定部355は、例えば、グローカット(GrowCut)の技術を用いて、図8に示すように、シード点S1に基づいて筋肉の領域r1を画定し、シード点S2に基づいて皮膚の領域r2を画定し、シード点S3に基づいてその他の組織の領域r3を画定する。図8では、領域r1,r2,r3を異なる濃淡で示しているが、領域の表示態様は特に限定されず、異なる色(例えば、領域r1=赤、領域r2=青、領域r3=緑)で示してもよい。このようにして、画像合成部3512が生成した超音波合成画像に含まれる被検体を、組織の種類に応じて複数の領域r1~r3に区分することができる。
その後、領域画定部355は、超音波合成画像のデータを表示インタフェース部36に出力する。これに応じて、表示インタフェース部36は、区分された領域r1~r3を識別可能な態様で(例えば異なる色で)、超音波合成画像をディスプレイ31に表示する。これにより、被検者は、自らシード点を超音波合成画像に付与することなく、被検体の画像領域が組織の種類に応じて複数の領域に区分された超音波合成画像を得ることができ、腹部の状態を直感的に把握することができる。
なお、領域r1~r3ごとに断面積を自動的に計算し、筋量や脂肪率などをディスプレイ31に表示してもよい。
また、本実施形態では、被検体の画像領域を筋肉、皮膚、および、その他の組織の3つの領域に区分したが、組織の種類および領域の数は特に限定されない。例えば筋量のみを把握したい場合は、被検体の画像領域を筋肉、および、その他の組織の2つの領域に区分してもよい。その場合、第1のシード点付与部354は、図7に示す超音波合成画像において、シード点S1のみを付与し、領域画定部355は、シード点S1が付与された領域のみを、他の領域と識別可能な態様で画定すればよい。
(方向調整)
以下、図3に示す方向調整部352が超音波合成画像の向きを調整する一形態について、具体的に説明する。本実施形態では、図9において破線で示すように、腹直筋の断面形状が概ね左右対称であることを利用して、臍部が所定の方向(例えば上方向)になるように超音波合成画像の向きを調整する。
図10に示すように、方向調整部352は、領域設定部3521と、対称度評価部3522と、領域選択部3523と、角度算出部3524と、を備えている。
領域設定部3521は、中心軸に対して線対称の形状の関心領域rを任意の位置と任意の角度で1または複数設定する機能ブロックである。本実施形態において、関心領域rの形状は、図11の白線枠に示すように中心軸Axに対して線対称な長方形である。関心領域rが左右の腹直筋を均等に含む場合、関心領域rの中心軸Axが腹部の臍部を通る中心軸とみなせる。領域設定部3521は、左右対称性の高い関心領域rを探索するため、関心領域rを移動可能に設定する。
より具体的には、領域設定部3521は、超音波合成画像の生成に用いられた複数の超音波画像から一つの超音波画像を選択し、被検体9の表面上の位置の超音波の送信方向を示す軸に関心領域rの中心軸Axを合わせて関心領域rの設定をする。なわち、領域設定部3521は、被検体9の表面上の互いに異なる複数の位置における超音波の送信方向を示す各軸にそれぞれ各関心領域rの中心軸Axを合わせて当該各関心領域rの設定をする。各超音波画像における超音波の送信方向は、1番目の超音波画像の座標系(ワールド座標系)への同次変換行列に基づいて特定できる。また、超音波画像取得時におけるプローブ2の軌跡は、各超音波画像の上辺に対応する。そのため、図12に示すように、プローブ2の軌跡、および、超音波の送信方向の情報は、超音波合成画像に含まれている。
領域設定部3521は、1番目の超音波画像からn番目の超音波画像までを順に選択してもよいが、本実施形態では、超音波画像の生成された順の略中央に対応する略中央超音波画像の中心軸、および、前記略中央超音波画像の前後の所定数の生成順の超音波画像の前記中心軸を、それぞれ順次選択する。nが偶数の場合、略中央超音波画像は、n/2番の超音波画像に対応する。nが奇数の場合、略中央超音波画像は、(n-1)/2番あるいは(n+1)/2番のいずれかの超音波画像に対応する。また、略中央超音波画像における超音波の送信方向を示す軸をDcとする。領域設定部3521は、n枚の超音波画像から略中央超音波画像を最初に選択し、略中央超音波画像における軸Dcと、図11において一点鎖線で示す関心領域rの中心軸Axとを合わせて、関心領域rを設定する。すなわち、略中央超音波画像における超音波の送信方向と中心軸が一致する関心領域rを探索開始領域とする。なお、以下の説明では、超音波画像における超音波の送信方向と、関心領域の中心軸とが一致する場合、当該超音波画像と当該関心領域とが対応しているものとする。
その後、関心領域rを移動させる場合、領域設定部3521は、他の超音波画像を選択し、選択した超音波画像における超音波の送信方向と、関心領域rの中心軸Axが一致するように、再度、関心領域rを設定する。本実施形態では、領域設定部3521は、略中央超音波画像Tcを選択した後、略中央超音波画像Tcの生成順における前後の所定数mの超音波画像(mが偶数の場合、(n/2)-(m/2)番から(n/2)+(m/2)-1番までの超音波画像)を順次選択することにより、関心領域rを移動させる。
ここで、被検者が腹部の超音波画像を取得する場合、通常は、一方の脇腹付近から臍部を経て他方の脇腹付近へプローブ2を移動させる。そのため、略中央超音波画像Tcの取得時におけるプローブ2の位置は、臍部付近である可能性が高い。そのため、左右対称性の高い関心領域rの探索は、全ての超音波画像に対応する関心領域について行う必要は無く、m<nとすることができる。これにより、関心領域rの移動回数を抑えて、演算量を減らすことができる。
図10に示す対称度評価部3522は、関心領域rの中心軸Axに対して関心領域r内の左右にそれぞれある画像の対称度を評価する機能ブロックである。例えば図11に示す関心領域rが設定された場合、対称度評価部3522は、中心軸Axに対して左側の領域と右側の領域との相関値を計算することにより、関心領域rの対称度を評価する。相関値の計算手法としては、例えばSum of Abusolute Difference(SAD)、Sum of Squared Difference(SSD)、Normalized Cross-Correlation(NCC)、およびZero-means Normalized Cross-Correlation(ZNCC)等を用いることができるが、明るさの変化に対して頑健なZNCCが特に好ましい。なお、相関値については、例えばhttp://isl.sist.chukyo-u.ac.jp/Archives/tm.html を参照されたい。
また、超音波合成画像では、腹直筋などの筋肉とその他の組織との境界が高輝度になるため、線状の模様が形成されている。対称度評価部3522は、特に、関心領域r中の模様について、相関値を計算することが好ましい。
なお、相関値の代わりに、相互情報量を用いて左右対称度を評価してもよい。相互情報量については、例えばhttps://lp-tech.net/articles/9pF3Zを参照されたい。
対称度評価部3522は、領域設定部3521が設定した全ての関心領域rについて、左右対称度を評価し、関心領域rが移動するたびに左右対称度をメモリに記録しておく。図13は、関心領域に対応する超音波画像の番号(画像No.)と、相関値との関係の一例を示すグラフである。
領域選択部3523は、左右対称度に基づいて関心領域rを選択する機能ブロックである。本実施形態では、領域選択部3523は、左右対称度が評価された関心領域rの中から、左右対称度の最も高い関心領域r(図13に示す例では、p番目の超音波画像に対応する関心領域)を選択する。これにより、図14に示すように、中心軸Axが左右の腹直筋のほぼ真中に位置する関心領域rが選択される。
なお、領域選択部3523によって選択される関心領域は、必ずしも最大の対称度を有する関心領域である必要はなく、所定閾値以上の対称度を有する関心領域のいずれかであってもよい。例えば左右対称度の2番目に高い関心領域等、左右対称度の比較的高い関心領域が選択されてもよい。
角度算出部3524は、超音波合成画像を通る所定の軸と選択された関心領域rの中心軸Axとの角度差を算出する機能ブロックであり、方向調整部352は、角度算出部3524が算出した角度差に基づいて、超音波合成画像の角度調整をする。本実施形態では、超音波合成画像を通る所定の軸は、超音波合成画像の左右対称軸である。これにより、図14に示す中心軸Axが上方向に指向するように超音波合成画像が回転し、図4に示すような、臍部が上方向になった超音波合成画像が生成される。
(処理手順)
図15は、本実施形態に係る超音波撮像方法の処理手順を示すフローチャートである。
ステップS1において、プローブ2が超音波を被検体9の表面上の互いに異なる複数の位置から被検体9の内部に向けて送信する。これにより、プローブ2は、被検体9の内部で反射された超音波を受信し、プローブ2からエコー信号が出力される。
ステップS2において、超音波画像生成部3511が被検体9の表面上の互いに異なる複数の位置に対応した超音波画像をそれぞれ生成する。本実施形態では、プローブ2からエコー信号が出力されるたびに、超音波画像生成部3511が超音波画像を生成する。ステップS1およびS2は、プローブ2のスキャンが終了するまで(ステップS3においてYes)、繰り返される。
プローブ2のスキャンが終了すると、ステップS4(画像生成ステップ)において、画像合成部3512が、前記各位置における超音波画像を合成して被検体9の断面の超音波合成画像を生成する。
続いて、ステップS5(基準点設定ステップ)において、基準点設定部353が超音波合成画像の着目組織の基準点を設定する。
その後、ステップS6(シード点付与ステップ)において、第1のシード点付与部354が、前記基準点を基準として超音波合成画像中に1以上のシード点を付与する。
その後、ステップS7(領域画定ステップ)において、領域画定部355が、前記シード点が属する領域を画定し、前記超音波画像に含まれる前記被検体の画像領域を組織の種類に応じて複数の領域に区分する。
(総括)
以上のように、本実施形態では、左右一対の腹直筋の一部と、腹直筋間に存在する「白線」とを含む部位のテンプレート画像Tを超音波合成画像にマッチングさせることにより、「白線」の中点を基準点Prとして設定し、基準点Prに基づいてシード点を組織の種類と対応づけて付与し、各シード点が属する領域を画定している。このように、超音波合成画像において生体組織の境界を自動的に検出できるため、被検者(ユーザ)が手動でシード点を付与する手間を省いて、ユーザの負担を減らすことができる。
〔実施形態2〕
第2の実施形態では、第1の実施形態とは異なる態様で、基準点の設定およびシード点の付与を行う方法について、網羅的に説明する。図16は、第2の実施形態に係る超音波撮像装置3'の構成を示すブロック図である。超音波撮像装置3'は、図2に示す超音波撮像装置3において、基準点設定部353および第1のシード点付与部354を基準点設定部353'および第1のシード点付与部354'にそれぞれ置き換え、第2のシード点付与部356をさらに設けた構成である。また、補助記憶装置33には、テンプレート画像Tは記憶されていない。
方向調整部352は、第1の実施形態と同様に、図3に示す超音波合成画像の向きを、図4に示す超音波合成画像のように、臍部が上方向になるように調整する。
基準点設定部353'は、第1の実施形態における基準点設定部353と同様、超音波合成画像において基準点を設定する機能ブロックであるが、テンプレート画像を用いない点で、基準点設定部353と異なる。本実施形態において、基準点設定部353'は、臍部を通り超音波の送信方向に伸びるライン上で最も輝度値が大きい位置を、基準点Prとして設定する。なお、輝度値とは、ディスプレイ等に表示される超音波画像における輝度に相当する画素値(元データ)の値も含む概念である。
第1の実施形態において説明したように、方向調整部352は、図14に示すように、超音波合成画像における左右対称度の最も高い関心領域rを探索し、関心領域rの中心軸Axが上向きになるように超音波合成画像を調整する。すなわち、図14に示す中心軸Axが、臍部を通って超音波の送信方向に伸びるラインとなる。このライン上では、「白線」と交わる位置が最も輝度が高くなるため、基準点設定部353'は、ライン上で最も輝度値が大きい位置(凸型フィルタとのフィルタ値が最も高い箇所)を、基準点Prとして設定する。これにより、第1の実施形態と同様に、「白線」の中点を基準点Prとすることができる。
なお、基準点設定部353'は、必ずしも前記ライン上で最も輝度値が大きい位置を基準点Prとして設定する必要はなく、前記ライン上で所定閾値以上の輝度値の位置のいずれかを基準点Prとして設定してもよい。例えば、前記ライン上で2番目に輝度値が大きい位置を基準点Prとして設定してもよい。
第1のシード点付与部354'は、第1の実施形態における第1のシード点付与部354と同様、基準点に基づいて、超音波合成画像中にシード点を前記組織の種類と対応づけて付与する機能ブロックであるが、ダイクストラ法を用いる点で第1のシード点付与部354と異なっている。本実施形態において、第1のシード点付与部354'は、基準点Prを探索開始点とし、腹直筋の表側から裏側へ横切るライン上を探索終端とする2つの経路を、ダイクストラ法によって探索し、探索した2つの経路に挟まれた領域にシード点を付与する。
具体的には、第1のシード点付与部354'は、図17に示すように、腹直筋の表側から裏側へ横切るラインL1,L2を設定する。本実施形態では、ラインL1,L2は、基準点Prの左右に所定距離だけ離間した概ね上下方向に伸びる直線である。より具体的には、超音波の送信方向が図14に示す中心軸Axと一致する超音波画像(中心超音波画像とする)から所定フレーム後(スキャン方向が左上から右下であるとする)の超音波画像における超音波の送信方向にラインL1を一致させ、中心超音波画像から所定フレーム前の超音波画像における超音波の送信方向にラインL2を一致させる。ラインL1,L2の位置は、腹直筋の最も厚みが大きい中央部分を横切るように設定されることが望ましいが、腹直筋の表側から裏側へ横切る位置であれば、特に限定されない。
なお、超音波合成画像の表皮付近は輝度が高いため、ラインL1,L2は、表皮付近には達していないことが望ましい。また、ラインL1,L2は上下方向に伸びる平行な直線であってもよい。
続いて、第1のシード点付与部354'は、図18に示すように、基準点Prを探索開始点とし、ラインL1上を探索終端とする1つの経路K1を、ダイクストラ法によって探索する。探索の条件は、例えば、
・経路における合計輝度値が高いこと(静的条件)
・緩やかに弧を描くこと(動的条件)
が挙げられる。腹直筋の筋膜は輝度値が大きいため、経路K1は、「白線」から腹直筋の表裏いずれかの筋膜(図18では表側の筋膜)を辿る曲線となる。さらに、第1のシード点付与部354'は、上記と同じ条件でダイクストラ法による探索を行い、図19に示すように、基準点Prを探索開始点とし、ラインL1上を探索終端とするもう1つの経路K2を探索する。経路K2は、「白線」から腹直筋の裏側の筋膜を辿る曲線となる。
その後、第1のシード点付与部354'は、図20に示すように、基準点Prを探索開始点とし、ラインL2上を探索終端とする2つの経路K3,K4を、同様の方法で探索する。
さらに、第1のシード点付与部354'は、2つの経路K1,K2に挟まれた領域(経路K1,K2およびラインL1に囲まれた領域)に筋肉と対応づけてシード点を付与する。シード点の付与点数は特に限定されないが、できる限り多数付与することが好ましい。同様に、第1のシード点付与部354'は、2つの経路K3,K4に挟まれた領域(経路K3,K4およびラインL2に囲まれた領域)においても、筋肉と対応づけてシード点を付与する。
図7に示すように、第1の実施形態における第1のシード点付与部354は、筋肉に対応するシード点S1を基準点Prの左右2か所のみに付与している。これに対し、本実施形態における第1のシード点付与部354'は、筋肉に対応するシード点を広範囲に多数付与することができる。よって、後述する領域画定部355による領域画定処理の精度を向上させ、処理時間を短縮することができる。
図19に示す第2のシード点付与部356は、超音波合成画像を生成するための複数の超音波画像から少なくとも一つの超音波画像を選択し、前記選択した超音波画像の上端のいずれかの位置に対応する超音波合成画像上の位置に、皮膚と対応づけてシード点を付与し、前記選択した超音波画像の下端のいずれかの位置に対応する前記超音波合成画像上の位置に、皮膚および筋肉以外の組織と対応づけてシード点を付与する機能ブロックである。第2のシード点付与部356は、基準点Prを用いることなくシード点を付与することができる点で、前述の第1のシード点付与部354および第1のシード点付与部354'と異なる。
超音波合成画像は複数の超音波画像を合成したものであり、図21の複数の矩形枠に示すように、各超音波画像の範囲の情報は、超音波合成画像に含まれている。なお、図21では、5つの矩形枠が示されているが、これらは、超音波合成画像の生成に用いられている超音波画像から抜粋したものである。各超音波画像の上端は、スキャン時にプローブと接する腹部表皮に対応し、各超音波画像の下端は、腹部深部の組織(皮膚および筋肉以外の脂肪等)に対応する。
そこで、本実施形態における第2のシード点付与部356は、例えば図22に示すように、3つの超音波画像を選択し、それらの超音波画像の上端の中点の位置に、皮膚と対応づけてシード点S4を付与する。同様に、第2のシード点付与部356は、選択した3つの超音波画像の下端の中点の位置に、皮膚および筋肉以外の組織と対応づけてシード点S5を付与する。なお、選択される超音波画像の数は特に限定されないが、より多くのシード点を付与する観点では、全ての超音波画像を選択することが好ましい。
以上のように、第2のシード点付与部356は、基準点Prを用いることなく、皮膚、ならびに、皮膚および筋肉以外の組織に対応するシード点を、自動的に付与することができる。また、第1のシード点付与部354'は、上述のように、超音波合成画像上に筋肉に対応するシード点を付与することができる。すなわち、第1のシード点付与部354'および第2のシード点付与部356によって、超音波合成画像上に、筋肉、皮膚、および、その他の組織にそれぞれ対応づけてシード点を付与することができる。なお、第1のシード点付与部354'は、基準点Prに対して上方向および下方向の所定位置に、それぞれ皮膚、および、その他の組織に対応するシード点をさらに付与してもよい。
図19に示す領域画定部355は、第1のシード点付与部354'および第2のシード点付与部356によって付与された各シード点が属する領域を画定する機能ブロックである。領域を画定する態様は、第1の実施形態におけるものと同様であるため、説明を省略する。
領域画定部355によって複数の領域に区分された超音波合成画像は、表示インタフェース部36に出力され、これに応じて、表示インタフェース部36は、区分された領域を識別可能な態様で、超音波合成画像をディスプレイ31に表示する。
(総括)
以上のように本実施形態では、第1の実施形態とは異なる態様で、基準点の設定、および、シード点の付与を行っている。具体的には、基準点設定部353'は、テンプレート画像を用いる代わりに、臍部を通り超音波の送信方向に伸びるライン上で最も輝度値が大きい位置を、基準点Prとして設定する。また、第1のシード点付与部354'は、基準点Prを探索開始点とし、腹直筋の表側から裏側へ横切るライン上を探索終端とする2つの経路を、ダイクストラ法によって探索し、探索した2つの経路に挟まれた領域にシード点を付与する。また、第2のシード点付与部356は、超音波合成画像を生成するための複数の超音波画像から少なくとも一つの超音波画像を選択し、前記選択した超音波画像の上端のいずれかの位置に対応する超音波合成画像上の位置に、皮膚と対応づけてシード点を付与し、前記選択した超音波画像の下端のいずれかの位置に対応する前記超音波合成画像上の位置に、皮膚および筋肉以外の組織と対応づけてシード点を付与する。
〔付記事項〕
本発明は上記実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、各実施形態に開示された技術的手段を適宜組み合わせて得られる形態も本発明の技術的範囲に含まれる。
例えば、基準点の設定に関しては、第1の実施形態に記載の態様を採用し、シード点の付与に関しては、第2の実施形態に記載の態様を採用してもよい。また、シード点の付与に関して、一部の組織(例えば筋肉)については、自動でシード点を付与し、他の組織については、手動でシード点を付与してもよい。
また、上記実施形態では、被検体が腹部である場合について説明したが、本発明では腹部に限定されない。また上記実施形態では、超音波合成画像を、筋肉、皮膚、および、その他の組織の3種類に区分していたが、超音波合成画像を区分するための生体組織の種類は、これらに限定されない。例えば、生体組織の種類に、骨や血腫などを含めてもよい。
また、上記実施形態では、画像生成部351が生成する超音波画像は、複数の超音波画像を合成した超音波合成画像であったが、1つの超音波画像であってもよい。すなわち、画像生成部351は、超音波画像生成部3511のみを備えた構成であってもよい。
本発明は、医療用途および非医療用途のいずれにも適用可能であるが、特に、医療従事者ではない被検者が自身の健康状態を日常的に確認する用途に好適である。
1 超音波撮像システム
2 プローブ
3 超音波撮像装置
3' 超音波撮像装置
9 被検体
31 ディスプレイ
32 入力装置
33 補助記憶装置
34 通信インタフェース部
35 信号処理部
351 画像生成部
3511 超音波画像生成部
3512 画像合成部
352 方向調整部
3521 領域設定部
3522 対称度評価部
3523 領域選択部
3524 角度算出部
353 基準点設定部
353' 基準点設定部
354 第1のシード点付与部
354' 第1のシード点付与部
355 領域画定部
356 第2のシード点付与部
36 表示インタフェース部
Ax 中心軸
Dc 送信方向
K1~K4 経路
L1,L2 ライン
P 超音波撮像プログラム
Pr 基準点
r 関心領域
r1~r3 領域
R 同次変換行列
S1~S5 シード点
T テンプレート画像
Tc 略中央超音波画像
V 領域画定情報
用語
必ずしも全ての目的または効果・利点が、本明細書中に記載される任意の特定の実施形態に則って達成され得るわけではない。従って、例えば当業者であれば、特定の実施形態は、本明細書中で教示または示唆されるような他の目的または効果・利点を必ずしも達成することなく、本明細書中で教示されるような1つまたは複数の効果・利点を達成または最適化するように動作するように構成され得ることを想到するであろう。
本明細書中に記載される全ての処理は、1つまたは複数のコンピュータまたはプロセッサを含むコンピューティングシステムによって実行されるソフトウェアコードモジュールにより具現化され、完全に自動化され得る。コードモジュールは、任意のタイプの非一時的なコンピュータ可読媒体または他のコンピュータ記憶装置に記憶することができる。一部または全ての方法は、専用のコンピュータハードウェアで具現化され得る。
本明細書中に記載されるもの以外でも、多くの他の変形例があることは、本開示から明らかである。例えば、実施形態に応じて、本明細書中に記載されるアルゴリズムのいずれかの特定の動作、イベント、または機能は、異なるシーケンスで実行することができ、追加、併合、または完全に除外することができる (例えば、記述された全ての行為または事象がアルゴリズムの実行に必要というわけではない)。さらに、特定の実施形態では、動作またはイベントは、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して、または他の並列アーキテクチャ上で、逐次ではなく、並列に実行することができる。さらに、異なるタスクまたはプロセスは、一緒に機能し得る異なるマシンおよび/またはコンピューティングシステムによっても実行され得る。
本明細書中に開示された実施形態に関連して説明された様々な例示的論理ブロックおよびモジュールは、プロセッサなどのマシンによって実施または実行することができる。プロセッサは、マイクロプロセッサであってもよいが、代替的に、プロセッサは、コントローラ、マイクロコントローラ、またはステートマシン、またはそれらの組み合わせなどであってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはコンピュータ実行可能命令を処理することなく論理演算を実行する他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、デジタル信号プロセッサ(デジタル信号処理装置)とマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。本明細書中では、主にデジタル技術に関して説明するが、プロセッサは、主にアナログ素子を含むこともできる。例えば、本明細書中に記載される信号処理アルゴリズムの一部または全部は、アナログ回路またはアナログとデジタルの混合回路により実装することができる。コンピューティング環境は、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または装置内の計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない任意のタイプのコンピュータシステムを含むことができる。
特に明記しない限り、「できる」「できた」「だろう」または「可能性がある」などの条件付き言語は、特定の実施形態が特定の特徴、要素および/またはステップを含むが、他の実施形態は含まないことを伝達するために一般に使用される文脈内での意味で理解される。従って、このような条件付き言語は、一般に、特徴、要素および/またはステップが1つ以上の実施形態に必要とされる任意の方法であること、または1つ以上の実施形態が、これらの特徴、要素および/またはステップが任意の特定の実施形態に含まれるか、または実行されるかどうかを決定するための論理を必然的に含むことを意味するという訳ではない。
語句「X、Y、Zの少なくとも1つ」のような選言的言語は、特に別段の記載がない限り、項目、用語等が X, Y, Z、のいずれか、又はそれらの任意の組み合わせであり得ることを示すために一般的に使用されている文脈で理解される(例: X、Y、Z)。従って、このような選言的言語は、一般的には、特定の実施形態がそれぞれ存在するXの少なくとも1つ、Yの少なくとも1つ、またはZの少なくとも1つ、の各々を必要とすることを意味するものではない。
本明細書中に記載されかつ/または添付の図面に示されたフロー図における任意のプロセス記述、要素またはブロックは、プロセスにおける特定の論理機能または要素を実装するための1つ以上の実行可能命令を含む、潜在的にモジュール、セグメント、またはコードの一部を表すものとして理解されるべきである。代替の実施形態は、本明細書中に記載された実施形態の範囲内に含まれ、ここでは、要素または機能は、当業者に理解されるように、関連する機能性に応じて、実質的に同時にまたは逆の順序で、図示または説明されたものから削除、順不同で実行され得る。
特に明示されていない限り、「一つ」のような数詞は、一般的に、1つ以上の記述された項目を含むと解釈されるべきである。従って、「~するように設定された一つのデバイス」などの語句は、1つ以上の列挙されたデバイスを含むことを意図している。このような1つまたは複数の列挙されたデバイスは、記載された引用を実行するように集合的に構成することもできる。例えば、「以下のA、BおよびCを実行するように構成されたプロセッサ」は、Aを実行するように構成された第1のプロセッサと、BおよびCを実行するように構成された第2のプロセッサとを含むことができる。加えて、導入された実施例の具体的な数の列挙が明示的に列挙されたとしても、当業者は、このような列挙が典型的には少なくとも列挙された数(例えば、他の修飾語を用いない「2つの列挙と」の単なる列挙は、通常、少なくとも2つの列挙、または2つ以上の列挙を意味する)を意味すると解釈されるべきである。
一般に、本明細書中で使用される用語は、一般に、「非限定」用語(例えば、「~を含む」という用語は「それだけでなく、少なくとも~を含む」と解釈すべきであり、「~を持つ」という用語は「少なくとも~を持っている」と解釈すべきであり、「含む」という用語は「以下を含むが、これらに限定されない。」などと解釈すべきである。) を意図していると、当業者には判断される。
説明の目的のために、本明細書中で使用される「水平」という用語は、その方向に関係なく、説明されるシステムが使用される領域の床の平面または表面に平行な平面、または説明される方法が実施される平面として定義される。「床」という用語は、「地面」または「水面」という用語と置き換えることができる。「垂直/鉛直」という用語は、定義された水平線に垂直/鉛直な方向を指します。「上側」「下側」「下」「上」「側面」「より高く」「より低く」「上の方に」「~を越えて」「下の」などの用語は水平面に対して定義されている。
本明細書中で使用される用語の「付着する」、「接続する」、「対になる」及び他の関連用語は、別段の注記がない限り、取り外し可能、移動可能、固定、調節可能、及び/または、取り外し可能な接続または連結を含むと解釈されるべきである。接続/連結は、直接接続及び/または説明した2つの構成要素間の中間構造を有する接続を含む。
特に明示されていない限り、本明細書中で使用される、「およそ」、「約」、および「実質的に」のような用語が先行する数は、列挙された数を含み、また、さらに所望の機能を実行するか、または所望の結果を達成する、記載された量に近い量を表す。例えば、「およそ」、「約」及び「実質的に」とは、特に明示されていない限り、記載された数値の10%未満の値をいう。本明細書中で使用されているように、「およそ」、「約」、および「実質的に」などの用語が先行して開示されている実施形態の特徴は、さらに所望の機能を実行するか、またはその特徴について所望の結果を達成するいくつかの可変性を有する特徴を表す。
上述した実施形態には、多くの変形例および修正例を加えることができ、それらの要素は、他の許容可能な例の中にあるものとして理解されるべきである。そのような全ての修正および変形は、本開示の範囲内に含まれることを意図し、以下の特許請求の範囲によって保護される。

Claims (15)

  1. 被検体の表面から該被検体の内部に向けて送信されて内部で反射された超音波を受信して、該被検体の内部の超音波画像を生成する画像生成部と、
    前記超音波画像の着目組織の基準点を設定する基準点設定部と、
    前記基準点を基準として前記超音波画像中に1以上のシード点を付与する第1のシード点付与部と、
    前記シード点が属する領域を画定し、前記超音波画像に含まれる前記被検体の画像領域を組織の種類に応じて複数の領域に区分する領域画定部と
    を備えた、超音波撮像装置。
  2. 前記第1のシード点付与部は、
    前記基準点に対して所定の相対位置に前記シード点を付与する、請求項1に記載の超音波撮像装置。
  3. 前記基準点設定部は、
    前記基準点を含む超音波画像のテンプレート画像を、前記超音波画像に重ね合わせながらマッチングすることにより、前記基準点を設定する、請求項1または2に記載の超音波撮像装置。
  4. 前記超音波画像を角度調整し、前記超音波画像に含まれる前記被検体の特定部位を所定の方向に指向させる方向調整部をさらに備え、
    前記基準点設定部は、前記角度調整された超音波画像において前記基準点を設定する、請求項1乃至3のいずれかに記載の超音波撮像装置。
  5. 前記超音波画像は、前記被検体の表面上の互いに異なる複数の位置から該被検体の内部に向けて送信されて内部で反射された超音波に基づいて前記各位置に対応して生成された超音波画像を各位置において合成した前記被検体の断面の超音波合成画像である、請求項1乃至4のいずれかに記載の超音波撮像装置。
  6. 前記方向調整部は、
    前記超音波画像の向きを調整することにより、前記超音波画像に含まれる前記被検体の臍部を前記所定の方向に指向させ、
    前記基準点は、腹部の左右一対の腹直筋間に存在する白線に含まれる、請求項4または5に記載の超音波撮像装置。
  7. 前記第1のシード点付与部は、
    前記基準点に対して、前記所定の方向に垂直な左右2方向に所定の距離だけ離れた位置に、筋肉と対応づけて前記シード点を付与する、請求項6に記載の超音波撮像装置。
  8. 前記第1のシード点付与部は、
    前記基準点を探索開始点とし、腹直筋の表側から裏側へ横切るライン上を探索終端とする2つの経路を、ダイクストラ法によって探索し、探索した2つの経路に挟まれた領域に筋肉と対応づけて前記シード点を付与する、請求項6に記載の超音波撮像装置。
  9. 前記基準点設定部は、前記臍部を通り前記超音波の送信方向に伸びるライン上で、所定閾値以上の輝度値の位置のいずれかを、前記基準点として設定する、請求項6から8のいずれかに記載の超音波撮像装置。
  10. 前記基準点設定部は、前記臍部を通り前記超音波の送信方向に伸びるライン上で、最も輝度値が大きい位置を、前記基準点として設定する、請求項9に記載の超音波撮像装置。
  11. 前記複数の超音波画像から少なくとも一つの超音波画像を選択し、前記選択した超音波画像の上端のいずれかの位置に対応する前記超音波画像上の位置に、皮膚と対応づけてシード点を付与する第2のシード点付与部をさらに備える、請求項5から10のいずれかに記載の超音波撮像装置。
  12. 前記第2のシード点付与部は、前記選択した超音波画像の下端のいずれかの位置に対応する前記超音波画像上の位置に、皮膚および筋肉以外の組織と対応づけてシード点を付与する、請求項11に記載の超音波撮像装置。
  13. 超音波を前記被検体の表面上の互いに異なる複数の位置から該被検体の内部に向けて送信し、前記被検体の内部で反射された超音波を受信するプローブと、
    請求項1乃至12のいずれかに記載の超音波画像装置とを備える、超音波撮像システム。
  14. 被検体の表面から該被検体の内部に向けて送信されて内部で反射された超音波を受信して、該被検体の内部の超音波画像を生成する画像生成ステップと、
    前記超音波画像の着目組織の基準点を設定する基準点設定ステップと、
    前記基準点を基準として前記超音波画像中に1以上のシード点を付与するシード点付与ステップと、
    前記シード点が属する領域を画定し、前記超音波画像に含まれる前記被検体の画像領域を組織の種類に応じて複数の領域に区分する領域画定ステップと
    を備えた、超音波撮像方法。
  15. 被検体の表面から該被検体の内部に向けて送信されて内部で反射された超音波を受信して、該被検体の内部の超音波画像を生成する画像生成部、
    前記超音波画像の着目組織の基準点を設定する基準点設定部、
    前記基準点を基準として前記超音波画像中に1以上のシード点を付与する第1のシード点付与部、および
    前記シード点が属する領域を画定し、前記超音波画像に含まれる前記被検体の画像領域を組織の種類に応じて複数の領域に区分する領域画定部
    としてコンピュータを動作させる超音波撮像プログラム。
JP2020530060A 2018-07-13 2019-06-18 超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラム Active JP7032533B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018133151 2018-07-13
JP2018133151 2018-07-13
PCT/JP2019/024013 WO2020012884A1 (ja) 2018-07-13 2019-06-18 超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラム

Publications (2)

Publication Number Publication Date
JPWO2020012884A1 JPWO2020012884A1 (ja) 2021-08-02
JP7032533B2 true JP7032533B2 (ja) 2022-03-08

Family

ID=69142660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530060A Active JP7032533B2 (ja) 2018-07-13 2019-06-18 超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラム

Country Status (4)

Country Link
US (1) US11589841B2 (ja)
EP (1) EP3821813B1 (ja)
JP (1) JP7032533B2 (ja)
WO (1) WO2020012884A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117321629A (zh) * 2021-06-03 2023-12-29 古野电气株式会社 计算机程序、学习模型生成方法、图像处理方法及图像处理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6530886B1 (en) * 1999-10-08 2003-03-11 Tanita Corporation Method and apparatus for measuring subcutaneous fat using ultrasonic wave
WO2008054192A1 (en) * 2006-11-02 2008-05-08 N.V. Nutricia Use of nutritional compositions for preventing disorders
US8542900B2 (en) * 2007-03-08 2013-09-24 Sync-Rx Ltd. Automatic reduction of interfering elements from an image stream of a moving organ
JP5280020B2 (ja) * 2007-06-26 2013-09-04 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波撮像装置
JP4963278B2 (ja) * 2007-07-24 2012-06-27 国立大学法人山口大学 分離測度を用いた重み付け最小二乗法による境界抽出
US8539838B2 (en) * 2008-06-05 2013-09-24 Koninklijke Philips N.V. Extended field of view ultrasonic imaging with a two dimensional array probe
US20100249589A1 (en) * 2009-03-25 2010-09-30 Peter Lysyansky System and method for functional ultrasound imaging
WO2012106580A2 (en) * 2011-02-04 2012-08-09 The Regents Of The University Of California Methods and apparatus for computer-aided radiological detection and imaging
JP5347003B2 (ja) * 2011-09-30 2013-11-20 富士フイルム株式会社 医用画像処理装置および方法ならびにプログラム
US20150359520A1 (en) * 2013-01-22 2015-12-17 Koninklijke Philips N.V. Ultrasound probe and ultrasound imaging system
US20150005637A1 (en) * 2013-06-28 2015-01-01 Uvic Industry Partnerships Inc. Tissue displacement estimation by ultrasound speckle tracking
JP2015039521A (ja) * 2013-08-22 2015-03-02 セイコーエプソン株式会社 画像処理システム、超音波測定システム及び画像処理方法
US9230331B2 (en) * 2013-10-21 2016-01-05 Samsung Electronics Co., Ltd. Systems and methods for registration of ultrasound and CT images
KR102244069B1 (ko) * 2014-02-26 2021-04-23 삼성메디슨 주식회사 점액낭의 위치 정보를 표시하는 방법 및 이를 위한 초음파 장치
CN108765438B (zh) * 2014-10-21 2020-10-30 无锡海斯凯尔医学技术有限公司 一种肝脏边界的识别方法及系统
US10157462B2 (en) 2016-06-27 2018-12-18 University Of Central Florida Research Foundation, Inc. System and method for image-based quantification of white and brown adipose tissue at the whole-body, organ and body-region levels
US10869644B2 (en) * 2016-07-30 2020-12-22 Shanghai United Imaging Healthcare Co., Ltd. Method and system for extracting lower limb vasculature
JP2018068495A (ja) * 2016-10-26 2018-05-10 株式会社日立製作所 超音波画像処理装置及びプログラム
ES2757629T3 (es) * 2017-01-19 2020-04-29 Inesc Tec Instituto De Engenharia De Sist E Computadores Tecnologia E Ciencia Método y aparato para la segmentación de vasos sanguíneos

Also Published As

Publication number Publication date
EP3821813B1 (en) 2024-07-31
US20210128117A1 (en) 2021-05-06
WO2020012884A1 (ja) 2020-01-16
EP3821813A4 (en) 2022-04-20
EP3821813A1 (en) 2021-05-19
US11589841B2 (en) 2023-02-28
JPWO2020012884A1 (ja) 2021-08-02
CN112384149A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
EP2347716B1 (en) Ultrasonic image processing method and device, and ultrasonic image processing program
US20120065499A1 (en) Medical image diagnosis device and region-of-interest setting method therefore
US10905400B2 (en) Apparatus and method for optimization of ultrasound images
US20190183461A1 (en) Ultrasonic diagnostic device
US20160206291A1 (en) Live ultrasound image and historical ultrasound image frame overlapping
JP2017525445A (ja) 超音波撮像装置
US11076832B2 (en) Method and system for medical imaging and information display
JP7032533B2 (ja) 超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラム
CN101961252B (zh) 超声诊断设备及其方法
JP6358192B2 (ja) 超音波診断装置、及び超音波診断装置の制御方法
US9147250B2 (en) System and method for automatic magnetic resonance volume composition and normalization
CN114375179A (zh) 超声图像分析方法、超声成像系统和计算机存储介质
WO2022209298A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112384149B (zh) 超声波拍摄装置、超声波拍摄系统、超声波拍摄方法、以及超声波拍摄程序
CN115444452A (zh) 三维剪切波弹性成像方法和超声成像系统
JP2018153561A (ja) 超音波画像処理装置
US11948324B2 (en) Ultrasound imaging device, ultrasound imaging system, ultrasound imaging method, and ultrasound imaging program
CN114098687B (zh) 用于超声运动模式的自动心率测量的方法和系统
US20220240898A1 (en) Ultrasound diagnostic apparatus, medical image processing apparatus, and medical image processing method
US20210145407A1 (en) Medical image display apparatus, region display method, and region display program
JP6931888B2 (ja) 解析装置及び解析プログラム
CN116830159A (zh) 利用柱状图视图来改进三维(3d)医学图像的可视化的方法和系统
JP2017042179A (ja) 超音波診断装置
CN116761546A (zh) 用于监测肝纤维化的磁共振和超声剪切波弹性成像的增强解读的装置和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220224

R150 Certificate of patent or registration of utility model

Ref document number: 7032533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150