JP7539248B2 - 装置及びプログラム - Google Patents

装置及びプログラム Download PDF

Info

Publication number
JP7539248B2
JP7539248B2 JP2020068541A JP2020068541A JP7539248B2 JP 7539248 B2 JP7539248 B2 JP 7539248B2 JP 2020068541 A JP2020068541 A JP 2020068541A JP 2020068541 A JP2020068541 A JP 2020068541A JP 7539248 B2 JP7539248 B2 JP 7539248B2
Authority
JP
Japan
Prior art keywords
doppler waveform
waves
waveform data
doppler
wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020068541A
Other languages
English (en)
Other versions
JP2021164533A (ja
Inventor
弘介 並木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2020068541A priority Critical patent/JP7539248B2/ja
Priority to US17/219,944 priority patent/US11963825B2/en
Publication of JP2021164533A publication Critical patent/JP2021164533A/ja
Priority to US18/609,670 priority patent/US20240215957A1/en
Application granted granted Critical
Publication of JP7539248B2 publication Critical patent/JP7539248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A61B8/065—Measuring blood flow to determine blood output from the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5284—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving retrospective matching to a physiological signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本明細書及び図面に開示の実施形態は、装置及びプログラムに関する。
例えば、僧帽弁逆流を診断する場合、左室流入血流をパルスドプラで撮像し、得られたドプラ波形の画像（ドプラ波形画像）からＥ波（Ｅａｒｌｙ Ｗａｖｅ：拡張早期波）、Ａ波（Ａｔｒｉｕｍ Ｗａｖｅ：心房収縮波）、Ｅ波の減衰時間（Ｄｅｃｅｌａｒａｔｉｏｎ Ｔｉｍｅ：ＤｃＴ）を特定する。このドプラ波形画像上のＥ波等の特定は、アルゴリズム演算、又は人為的に実行される。
しかしながら、ドプラ波形画像にノイズが多い場合、折り返しがある場合等においては、従来の手法ではＥ波、Ａ波の位置を正確に特定できないおそれがある。
特開２０１０－２００８４４号公報
クリストファー Ｍ． ビショップ（Ｃｈｒｉｓｔｏｐｈｅｒ Ｍ． Ｂｉｓｈｏｐ）著、「パターン認識と機械学習（Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）」、（米国）、第１版、スプリンガー（Ｓｐｒｉｎｇｅｒ）、２００６年、Ｐ．２２５－２９０
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、ドプラ波形画像がノイズを多く含む場合、折り返しを含む場合等であっても、Ｅ波、Ａ波の位置を正確に特定することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係る装置は、取得部と、検出部と、表示制御部とを備える。前記取得部は、左室流入血流に関する複数の心拍を含む第１ドプラ波形データを取得する。前記検出部は、左室流入血流に関する複数の第２ドプラ波形データのそれぞれにおけるＥ波、Ａ波の位置と、前記複数の第２ドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、前記第１ドプラ波形データとを用いて、前記第１ドプラ波形データに含まれる複数の心拍のそれぞれのＥ波、Ａ波の位置を検出する。前記表示制御部は、前記検出部により検出された前記複数の心拍のそれぞれのＥ波及びＡ波の位置と、前記第１ドプラ波形データとを用いて、前記第１ドプラ波形データに含まれるドプラ波形上におけるＥ波及びＡ波の位置に対応する位置に、当該Ｅ波の位置を示す画像と、Ａ波の位置を示す画像とをそれぞれ重畳した画像を表示部に表示させる。そして、前記学習済みモデルは、基準以上のノイズ、基準以上のエイリアシング、基準以下の輝度の何れかが含まれるドプラ波形データの入力によって、当該ドプラ波形データに含まれるＥ波及びＡ波の位置を出力するように機能付けられる。また、前記検出部は、前記第１ドプラ波形データを前記学習済みモデルに入力し、前記学習済みモデルの出力結果に基づいて、前記第１ドプラ波形データに含まれる前記Ｅ波及びＡ波の位置を検出する。
図１は、実施形態に係る超音波診断装置の構成例を示す図である。 図２は、Ｅ波、Ａ波の検出の運用時における学習済みモデルの入出力の関係の一例を示す図である。 図３は、Ｅ波・Ａ波検出処理の流れの一例を示すフローチャートである。 図４は、実施形態に係るＥ波・Ａ波検出処理の結果、表示装置に表示されたドプラ波形画像の一例を示す図である。 図５は、実施形態に係るモデル生成処理において、多層化のネットワークを学習させるデータの入出力の一例を示す図である。 図６は、学習済みモデルの生成において用いられる多ノイズ波形データを含むドプラモード表示画面の一例を示す図である。 図７は、学習済みモデルの生成において用いられる折り返し波形データを含むドプラモード表示画面の一例を示す図である。 図８は、学習済みモデルの生成において用いられる正常波形データを含むドプラモード表示画面の一例を示す図である。
以下、図面を参照しながら、本実施形態に関する装置及びプログラムについて説明する。説明を具体的にするために、本実施形態に係る装置として、超音波診断装置を例にとり説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
（実施形態）
図１は、本実施形態に係る超音波診断装置１００の構成例を示す図である。図１に示すように、超音波診断装置１００は、超音波プローブ１と、入力装置３と、表示装置（表示部）５と、装置本体７とを有する。
超音波プローブ１は、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。超音波プローブ１は、装置本体７と着脱自在に接続される。複数の圧電振動子は、装置本体７における超音波送信回路７１から供給された駆動信号に基づいて、超音波を発生する。なお、超音波プローブ１には、フリーズ操作などの各種操作の際に押下されるボタンが配置されてもよい。
超音波プローブ１から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射される。反射された超音波は、反射波信号（以下、エコー信号と呼ぶ）として超音波プローブ１が有する複数の圧電振動子にて受信される。受信されたエコー信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが移動している血流や心臓壁などの表面で反射された場合のエコー信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して周波数偏移を受ける。超音波プローブ１は、被検体Ｐからのエコー信号を受信して電気信号に変換する。本実施形態においては、超音波プローブ１は、例えば、複数の圧電振動子が所定の方向に沿って配列された１Ｄアレイプローブ、複数の圧電振動子が二次元マトリックス状に配列された２Ｄアレイプローブ、または圧電振動子列をその配列方向と直交する方向に機械的に煽りながら超音波走査を実行可能なメカニカル４Ｄプローブ等である。
入力装置３は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路８７に出力する。入力装置３は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等を有する。なお、本実施形態において、入力装置３は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、入力装置３とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路８７へ出力する電気信号の処理回路も入力装置３の例に含まれる。また、入力装置３は、装置本体７に設けられてもよい。また、入力装置３は、装置本体７と無線通信可能なタブレット端末等で構成されることにしても構わない。
例えば、入力装置３における終了ボタンの押下やフリーズボタンの押下（以下、フリーズ操作と呼ぶ）に応答して、超音波診断装置１００は、超音波の送受信を中断し一時停止状態となる。
また、超音波診断装置１００は、Ｂモードでのスキャン中における入力装置３からのフリーズ操作に応答して、超音波の送受信に伴って生成された超音波画像がリアルタイムに表示されるリアルタイム表示モードから、画像メモリ８３に記憶された複数の超音波画像を時系列的に表示（以下、シネ表示と呼ぶ）可能なシネ表示モードに移行する。
また、超音波診断装置１００は、ドプラモードでのスキャン中における入力装置３からのフリーズ操作に応答して、超音波の送受信に伴って生成されたドプラ波形がリアルタイムに表示されるリアルタイム表示モードから、スクロール表示モードに移行する。ここで、スクロール表示モードとは、画像メモリ８３に記憶された複数のドプラ波形画像を、時系列的に順方向又は逆方向にスクロールして表示可能なモードである。例えば、スクロール表示モードにおいて、操作者がトラックボール等を回転させると、超音波診断装置１００は、画像メモリ８３に格納された複数のドプラ波形画像のうち、トラックボールの回転方向と回転量とに対応するドプラ波形画像を読み出して表示する。当該トラックボールの回転は、フリーズ操作の入力後において時系列のドプラ波形画像を、時系列的に順方向又は逆方向にスクロールさせるスクロール操作に相当する。
表示装置５は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、プラズマディスプレイ等の任意のディスプレイである。なお、表示装置５は、装置本体７に組み込まれてもよい。また、表示装置５、デスクトップ型でもよいし、装置本体７と無線通信可能なタブレット端末等で構成されることにしても構わない。なお、表示装置５は表示部の一例である。
表示装置５は、各種の情報を表示する。例えば、表示装置５は、処理回路８７や画像生成回路７９によって生成された超音波画像や、操作者からの各種操作を受け付けるためのユーザインタフェース（以下、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）と呼ぶ）等を表示する。表示装置５は、シネ表示モードにおいて、入力装置３を介した操作者の指示により、時系列に沿って超音波画像を表示する。表示装置５は、スクロール表示モードにおいて、入力装置３を介した操作者の指示により、時系列のドプラ波形画像を表示する。また、例えば表示装置５は、ドプラモードにおいて、フリーズ操作の入力後（スクロール表示）においてスクロール操作が入力されると、スクロール操作の方向及び量に応じて、対応する少なくとも一心拍に対応するドプラ波形を表示する。
装置本体７は、超音波プローブ１が受信したエコー信号に基づいて超音波画像を生成する装置である。装置本体７は、図１に示すように、超音波送信回路７１、超音波受信回路７３、Ｂモード処理回路７５、ドプラ処理回路７７、画像生成回路７９、内部記憶回路（記憶部）８１、画像メモリ８３（シネメモリまたはキャッシュとも称される）、通信インタフェース８５、及び処理回路８７を有する。
超音波送信回路７１は、超音波プローブ１に駆動信号を供給するプロセッサである。超音波送信回路７１は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等を有する。トリガ発生回路は、処理回路８７におけるシステム制御機能８７１により、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ１から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、各レートパルスに対して与える。パルサ回路は、システム制御機能８７１により、レートパルスに基づくタイミングで、超音波プローブ１に駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。
超音波受信回路７３は、超音波プローブ１が受信したエコー信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路７３は、例えば、アンプ回路、Ａ／Ｄ変換器、受信遅延回路、及び加算器等を有する。アンプ回路は、超音波プローブ１が受信したエコー信号をチャンネルごとに増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正されたエコー信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な遅延時間を与える。加算器は、遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が生成される。
Ｂモード処理回路７５は、超音波受信回路７３から受け取った受信信号に基づき、Ｂモードデータを生成するプロセッサである。Ｂモード処理回路７５は、超音波受信回路７３から受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度を輝度の明るさで表現したデータ（すなわち、Ｂモードによって取得されたデータ。以下、Ｂモードデータと呼ぶ）を生成する。生成されたＢモードデータは、２次元的な超音波走査線上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。
ドプラ処理回路７７は、超音波受信回路７３から受け取った受信信号に基づき、ドプラ波形データ、及びドプラデータを生成するプロセッサである。ドプラ処理回路７７は、受信信号から血流信号を抽出し、抽出された血流信号からドプラ波形データを生成すると共に、血流信号から平均速度、分散、及びパワー等の情報を多点について抽出したデータ（すなわち、ドプラモードによって取得されたデータ。以下、ドプラデータと呼ぶ）を生成する。生成されたドプラデータは、２次元的な超音波走査線上のドプラＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。
画像生成回路７９は、操作者が入力装置３を介して各種指示を入力するためのＧＵＩを生成する。画像生成回路７９は、Ｂモード処理回路７５及びドプラ処理回路７７により生成されたデータに基づき、各種超音波画像のデータを生成する機能（スキャンコンバータ）を有するプロセッサである。画像生成回路７９は、不図示の内部メモリを備える。画像生成回路７９は、ＲＡＷ－ピクセル変換を実行することで、ピクセルから構成される２次元の超音波画像データ（Ｂモード画像データ、カラードプラ画像データ、ドプラ波形画像データ等）を生成する。画像生成回路７９は、生成された超音波画像データを、内部記憶回路８１に記憶させる。画像生成回路７９は、生成された超音波画像データに対し、ダイナミックレンジ、輝度（ブライトネス）、コントラスト、γカーブ補正及びＲＧＢ変換等の各種画像処理を実行する。
なお、画像生成回路７９は、Ｂモード画像データ等に対し、空間的な位置情報を加味した補間処理等を実行することで、所望の範囲のボクセルから構成されるボリュームデータを生成することもできる。なお、画像生成回路７９は、ＲＡＷデータメモリに記憶されているＢモードＲＡＷデータに対し、空間的な位置情報を加味した補間処理を含むＲＡＷ－ボクセル変換を実行することで、ボリュームデータを生成してもよい。また、画像生成回路７９は、例えば各種ボリュームデータに対してレンダリング処理や多断面変換再構成（以下、ＭＰＲ（Ｍｕｌｔｉ Ｐｌａｎａｒ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）と呼ぶ）処理等を施し、レンダリング画像やＭＰＲ画像を生成してもよい。
内部記憶回路８１は、例えば、磁気的若しくは光学的記憶媒体、又は集積回路記憶装置等のプロセッサにより読み取り可能な記憶媒体等で実現される。例えば、内部記憶回路８１は、種々の情報を記憶するＨＤＤ（Ｈａｒｄ ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、半導体メモリ等に相当する。内部記憶回路１７は、ＨＤＤやＳＳＤ等以外にも、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、フラッシュメモリ等の可搬性記憶媒体や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。
内部記憶回路８１は、本実施形態に係る各種機能を実現するためのプログラム等を記憶する。内部記憶回路８１は、診断情報（例えば、患者ＩＤ、医師の所見等）、診断プロトコル、ボディマーク生成プログラム、及び映像化に用いるカラーデータの範囲を診断部位ごとに予め設定する変換テーブルなどのデータ群を記憶する。内部記憶回路８１に記憶された各種データは、システム制御機能８７１により、通信インタフェース２１を介して外部装置へ転送することもできる。内部記憶回路８１は、学習済みモデルを記憶する。なお、学習済みモデルは、処理回路８７自身のメモリに記憶されてもよい。学習済みモデルは、処理回路８７における検出機能８７５により、僧房弁付近の左室流入血流に関する流速のＥ波、Ａ波の検出（以下、Ｅ波・Ａ波検出処理と言う。）において運用される。
図２は、Ｅ波・Ａ波検出処理の運用時における学習済みモデルの入出力の関係の一例を示す図である。図２に示すように、学習済みモデルは、ドプラ波形画像データの入力により、当該ドプラ波形画像データにおけるドプラ波形上のＥ波、Ａ波を、Ｅ波・Ａ波検出処理の結果として出力する。すなわち、学習済みモデルは、左室流入血流に関する複数のドプラ波形画像データ（複数の第２ドプラ波形データ）のそれぞれにおけるＥ波、Ａ波の位置と、複数のドプラ波形画像データとを少なくとも含むトレーニングデータにより学習されたモデルである。具体的には、学習済みモデルは、Ｅ波・Ａ波検出処理として、ドプラ波形画像データを入力し、当該ドプラ波形画像データにおけるドプラ波形上のＥ波、Ａ波の座標を出力する。
なお、学習済みモデルに入力されるドプラ波形画像データは、少なくとも一心拍以上のドプラ波形を含むものであればよい。学習済みモデルに入力されるドプラ波形画像データが複数心拍のドプラ波形を含む場合、学習済みモデルは、例えば、各ドプラ波形上のＥ波、Ａ波の座標を、Ｅ波・Ａ波の検出結果として出力する。しかしながら、当該例に限らず、複数心拍のドプラ波形のうち、少なくとも一心拍に対応するドプラ波形上のＥ波、Ａ波の座標を、Ｅ波・Ａ波検出処理の結果として出力するようにしてもよい。
また、学習済みモデルは、入力されるドプラ波形画像データの画質にはとらわれない。例えば、学習済みモデルは、入力されるドプラ波形画像データは、ノイズを多く含む画像データ、ドプラ波形の折り返し（エイリアシング）を含む画像データ、輝度が薄い画像データのいずれであってもよい。
学習済みモデルは、それぞれが少なくとも一心拍に対応するドプラ波形を含む複数のドプラ波形画像データと、当該複数のドプラ波形画像データ各々についてのドプラ波形上のＥ波、Ａ波の座標である教師データ（正解データ）との組み合わせからなるトレーニングデータ（学習データ）を用いて、例えば多層化のネットワークに対して機械学習を実行することにより生成される。多層化のネットワークとは、例えば、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：以下、ＤＮＮと呼ぶ）、や畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：以下、ＣＮＮと呼ぶ）などの機械学習モデルである。多層化のネットワークに対する学習は、多層化のネットワークにおける複数のパラメータを調整することに相当する。なお、機械学習の対象となるモデルは、多層化のネットワークに限定されず、学習済みモデルに対する入出力の関係を維持できれば、任意のモデルが使用可能である。
トレーニングデータに含まれる教師データ、すなわち各ドプラ波形画像データに含まれるドプラ波形上のＥ波、Ａ波の座標は、例えば既存のアルゴリズムを用いて、又は医師や技師による人為的な処理に基づいて生成することができる。学習済みモデルの生成に関する処理（以下、モデル生成処理と呼ぶ）については、後程説明する。
画像メモリ８３は、例えば、プロセッサにより読み取り可能な半導体メモリ等の記録媒体等を有する。画像メモリ８３は、例えば、キャッシュメモリにより実現される。画像メモリ８３は、入力装置３を介して入力されるフリーズ操作から遡った一定期間に取得された各種画像のデータを保存する。具体的には、画像メモリ８３は、スクロール表示を行なうために、フリーズボタンが押下された瞬間から所定の過去の一定期間に亘るドプラ波形画像データを、他のデータで上書きされないように記憶する。なお、内部記憶回路８１と画像メモリ８３とは、一つの記憶装置として統合されてもよい。
通信インタフェース８５は、ネットワークを介して外部装置と接続される。通信インタフェース８５は、ネットワークを介して、外部装置との間でデータ通信を行う。外部装置は、例えば、各種の医用画像のデータを管理するシステムである医用画像管理システム（ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、医用画像が添付された電子カルテを管理する電子カルテシステム等である。なお、外部装置との通信の規格は、如何なる規格であっても良いが、例えば、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ ＣＯｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）が挙げられる。
処理回路８７は、例えば、超音波診断装置１００の中枢として機能するプロセッサである。処理回路８７は、ハードウェア資源として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサとＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリとを有する。また、処理回路８７は、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、や単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）により実現されてもよい。
処理回路８７は、例えば、システム制御機能８７１、取得機能８７３、検出機能８７５、および表示制御機能８７７などの各種機能を有する。処理回路８７は、内部記憶回路８１に記憶されている各種プログラムを自身のメモリに展開して実行することで、当該プログラムに対応するシステム制御機能８７１、取得機能８７３、検出機能８７５、および表示制御機能８７７を実行する。なお、プログラムは、内部記憶回路８１に保存される代わりに、当該プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、当該プロセッサは、当該回路内に組み込まれたプログラムを読み出して実行することで上記機能を実現する。
システム制御機能８７１、取得機能８７３、検出機能８７５、および表示制御機能８７７をそれぞれ実行する処理回路８７は、システム制御部、取得部、検出部、表示制御部に相当する。なお、システム制御機能８７１、取得機能８７３、検出機能８７５、および表示制御機能８７７各々は、単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより、システム制御機能８７１、取得機能８７３、検出機能８７５、および表示制御機能８７７を実現するものとしても構わない。
処理回路８７は、システム制御機能８７１により、超音波診断装置１００の入出力等の基本動作を制御する。システム制御機能８７１が実行されると、処理回路８７は、例えば入力装置３を介して、各種スキャンモードの入力を受け付ける。処理回路８７は、受け付けたスキャンモードに応じ、各種超音波スキャンを実行し、各種超音波画像を生成する。例えば、スキャンモードがパルスドプラモードである場合、処理回路８７は、超音波送信回路７１、超音波受信回路７３、ドプラ処理回路７７、及び画像生成回路７９を制御し、時系列のドプラ波形画像データを生成する。
処理回路８７は、取得機能８７３により、被検体Ｐの僧房弁付近の左室流入血流をパルスドプラモードによりスキャンして収集されたドプラ波形画像データを取得する。具体的には、処理回路８７は、リアルタイム表示モードにおいて入力装置３を介してフリーズ操作が入力されると、表示装置５に表示されたドプラ波形画像データを取得する。処理回路８７は、フリーズ操作の入力を契機として、内部記憶回路８１から学習済みモデルを取得する。なお、処理回路８７は、フリーズ操作の入力の代わりに、Ｅ波・Ａ波検出処理の実行指示（以下、Ｅ波・Ａ波検出指示と呼ぶ）の入力を契機として、表示装置５に表示されたドプラ波形画像データを取得してもよい。また、学習済みモデルが処理回路８７自身のメモリに記憶されている場合、処理回路８７は、フリーズ操作の入力等を契機として、自身のメモリから学習済みモデルを取得する。
処理回路８７は、検出機能８７５により、学習済みモデルにドプラ波形画像データを入力することで、当該学習済みモデルにより、ドプラ波形画像データに含まれるドプラ波形上のＥ波、Ａ波の座標を検出する。具体的には、処理回路８７は、被検体Ｐのドプラ波形画像データを第１ドプラ波形データとして学習済みモデルに入力することで、当該ドプラ波形画像データに含まれるドプラ波形上のＥ波、Ａ波の座標を検出する。処理回路８７は、検出されたＥ波、Ａ波の座標に基づいて、心拍毎のＥ波に対応する流速値ＭＶＥ、Ａ波に対応する流速値ＭＶＡ、Ｅ波の減衰時間ＤｃＴ、Ｅ波の流速値ＭＶＥとＡ波の流速値ＭＶＡの比ＭＶＥ／ＭＶＡ（Ｅ／Ａ）等を計算する。なお、検出されたＥ波、Ａ波の座標に基づく流速値ＭＶＥ、流速値ＭＶＡ等は、学習済みモデルに入力したドプラ波形画像データ上のグラフから計算してもよいし、ドプラ処理回路７７によって生成されたドプラデータから計算することもできる。
また、学習済みモデルは、心拍毎のＥ波、Ａ波の座標と併せて、心拍毎のＥ波に対応する流速値ＭＶＥ、Ａ波に対応する流速値ＭＶＡ、Ｅ波の減衰時間ＤｃＴ、流速比ＭＶＥ／ＭＶＡ（Ｅ／Ａ）を出力してもよい。また、処理回路８７は、学習済みモデルから出力された心拍毎のＥ波、Ａ波の座標と、学習済みモデルに入力されたドプラ画像データに含まれた対応するドプラ波形とを、関連づけて内部記憶回路８１に記憶させてもよい。
処理回路８７は、表示制御機能８７７により、検出された心拍毎のＥ波、Ａ波の座標に基づいて、心拍毎のＥ波、Ａ波の位置を対応するドプラ波形上にマッピングする。処理回路８７は、心拍毎のＥ波、Ａ波の位置（座標）が対応するドプラ波形に重畳されたドプラ波形画像データを、表示装置５に表示させる。具体的には、処理回路８７は、検出された心拍毎のＥ波、Ａ波の座標に基づいて、各ドプラ波形上に対応するＥ波、Ａ波の位置がガイドによって示されたドプラ波形画像データを、表示装置５に表示させる。
（Ｅ波・Ａ波検出処理）
次に、超音波診断装置１００によって実行されるＥ波・Ａ波検出処理について説明する。図３は、Ｅ波・Ａ波検出処理の流れの一例を示すフローチャートである。説明を具体的にするために、学習済みモデルは、被検体Ｐの僧房弁付近の左室流入血流をパルスドプラモードによりスキャンして得られたドプラ波形画像データとして入力し、当該ドプラ波形画像データに含まれる心拍毎のドプラ波形上のＥ波、Ａ波の座標を出力するものとする。加えて、学習済みモデルへのドプラ波形画像データの入力は、リアルタイム表示モードにおけるフリーズ操作を契機として実行されるものとする。
（ステップＳ３０１）
被検体Ｐに対する超音波の送受信により、ドプラ処理回路７７は、ドプラモードＲＡＷデータを生成し、生成されたドプラモードＲＡＷデータをＲＡＷデータメモリに記憶する。画像生成回路７９は、ＲＡＷデータメモリから読み出されたドプラモードＲＡＷデータに基づいて、ドプラ波形画像データを生成する。表示装置５は、ドプラ波形画像を表示する。なお、スクロール表示モードが実行されている場合、本ステップにおいて、表示装置５は、スクロール操作に応じて、対応する少なくとも一心拍に対応するドプラ波形を表示する。
（ステップＳ３０２）
入力装置３を介してフリーズ操作が実行される（ステップＳ３０２のＹｅｓ）と、ステップＳ３０３の処理が実行される。入力装置３を介してフリーズ操作が実行されなければ、（ステップＳ３０２のＮｏ）と、ステップＳ３０１の処理が実行される。なお、スクロール表示モードが実行されている場合、入力装置３を介してＥ波・Ａ波検出処理の実行指示（例えば、Ｅ波・Ａ波検出処理用のボタンの押下）が入力されると、ステップＳ３０３に処理が実行される。また、スクロール表示モードが実行されている場合、本ステップにおいて入力装置３を介してＥ波・Ａ波検出処理の実行指示が入力されなければ、ステップＳ３０１において上述したスクロール表示が実行される。
（ステップＳ３０３）
処理回路８７は、取得機能８７３により、表示装置５に表示されているドプラ波形画像に対応するデータを、内部記憶回路８１または画像メモリ８３から取得する。処理回路８７は、内部記憶回路８１から学習済みモデルを読み出す。このとき、表示装置５に表示されているドプラ波形画像は、多くのノイズを含むもの、ドプラ波形の折り返しが発生しているもの、輝度が低いもの等であってもよい。また、表示装置５に表示されているドプラ波形画像は、少なくとも一心拍に対応するドプラ波形を含むものであればよい。
（ステップＳ３０４）
処理回路８７は、検出機能８７５により、取得されたドプラ波形画像データを学習済みモデルに入力する。これにより、処理回路８７は、学習済みモデルにより、入力したドプラ波形画像データに含まれる各心拍のドプラ波形についてのＥ波、Ａ波の座標を出力する。
（ステップＳ３０５）
処理回路８７は、表示制御機能８７７により、各心拍のドプラ波形についてのＥ波、Ａ波の座標に基づいて、心拍毎のＥ波、Ａ波の位置を対応するドプラ波形上にマッピングする。これにより、心拍毎のＥ波、Ａ波の位置（座標）が対応するドプラ波形に重畳されたドプラ波形画像データが生成される。
（ステップＳ３０６）
処理回路８７は、検出された心拍毎のＥ波、Ａ波の座標に基づいて、各ドプラ波形上に対応するＥ波、Ａ波の位置がガイドによって示されたドプラ波形画像データを、表示装置５に表示させる。表示装置５は、Ｅ波、Ａ波の位置がガイドによって示されたドプラ波形画像を表示する。
図４は、実施形態に係るＥ波・Ａ波検出処理の結果、表示装置５に表示されたドプラ波形画像の一例を示す図である。図４に示す様に、表示装置５には、三心拍のドプラ波形画像４０、カラードプラ画像４１、Ｅ波用ガイド４２ａ、４２ｂ、４２ｃ、Ａ波用ガイド４３ａ、４３ｂ、４３ｃ、ＥＣＧ（Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ：心電）波形４４、指標４５が表示されている。すなわち、図４の例では、ドプラ波形画像４０の各心拍のドプラ波形におけるＥ波、Ａ波それぞれの位置が、ドプラ波形画像４０に重畳表示されたＥ波用ガイド４２ａ、４２ｂ、４２ｃ、Ａ波用ガイド４３ａ、４３ｂ、４３ｃによって示されている。なお、Ｅ波用ガイド、Ａ波用ガイドの破線は時間軸上の位置を、＋印はドプラ波形上の位置をそれぞれ示している。また、指標４５において、選択された心拍のドプラ波形に関するＥ波の流速値ＭＶＥ、Ａ波の流速値ＭＶＡ、Ｅ波の流速値ＭＶＥとＡ波の流速値ＭＶＡの比ＭＶＥ／ＭＶＡ（Ｅ／Ａ）、Ｅ波の減衰時間ＤｃＴ等が表示される。
（ステップＳ３０７）
入力装置３を介してＥ波・Ａ波検出処理の終了指示が入力される（ステップＳ３０７のＹｅｓ）と、Ｅ波・Ａ波検出処理は終了する。入力装置３を介してＥ波・Ａ波検出処理の終了指示が入力されない場合（ステップＳ３０７のＮｏ）と、ステップＳ３０１以降の処理が繰り返される。
（モデル生成処理）
次に、学習済みモデルの生成に関するモデル生成処理について説明する。図５を用いて説明する。図５は、モデル生成処理において、多層化のネットワークＭＬＮを学習させるデータの入出力の一例を示す図である。学習済みモデルの生成は、例えば、超音波診断装置１００とは異なる学習装置により実行される。学習装置は、スタンドアローン（独立）型のコンピュータや、ネットワーク上に設けられたサーバ等により実現される。また、学習装置に搭載されたメモリや記憶装置、またはトレーニングデータ保管装置には、上記学習用データが記憶されているものとする。
以下、説明を具体的にするために、トレーニングデータとして多層化のネットワークＭＬＮに入力される複数の第２ドプラ波形データは、例えば、多ノイズ波形データ及び折り返し波形データを少なくとも一方を含む。ここで、多ノイズ波形データとは、少なくとも一心拍に対応するドプラ波形に加えて、一定基準以上のノイズを含むドプラ波形データを意味する。折り返し波形データとは、折り返しが発生した少なくとも一心拍に対応するドプラ波形を含むドプラ波形データを意味する。本実施形態では、説明を具体的にするため、トレーニングデータとして多層化のネットワークＭＬＮに入力される複数の第２ドプラ波形データは、多ノイズ波形データ、折り返し波形データ、正常波形データ（ノイズが基準値以下であり、折り返しも発生していない少なくとも一心拍に対応するドプラ波形を含むドプラ波形データ）を含むものとする。
また、トレーニングデータに用いる第２ドプラ波形データは、複数種類の心拍数に対応するドプラ波形を含む。すなわち、トレーニングデータに用いる第２ドプラ波形データが含むドブラ波形は、任意の心拍数分であってもよい。典型的には、３心拍から５心拍分のドブラ波形を含む第２ドプラ波形データを用いることができる。
図６は、学習済みモデルの生成において用いられる多ノイズ波形データを含むドプラモード表示画面の一例を示す図である。図６に示したドプラモード表示画面は、２心拍分のドプラ波形画像５６、カラードプラ画像４７、Ｅ波用ガイド４８ａ、４９ａ、Ａ波用ガイド４８ｂ、４９ｂ、ＥＣＧ波形４９を表示している。また、図６に示した多ノイズ波形データとしての２心拍分のドプラ波形画像５６は、例えば靄のような多ノイズ（図６においては、網掛け領域５０として例示）を含む。図６に示す多ノイズ波形データに対応する正解データは、図６に示すＥ波用ガイド４８ａ、４９ａ、Ａ波用ガイド４８ｂ、４９ｂの＋印の座標である。
図７は、学習済みモデルの生成において用いられる折り返し波形データを含むドプラモード表示画面の一例を示す図である。図７に示したドプラモード表示画面は、３心拍分のドプラ波形画像５１、カラードプラ画像５３、Ｅ波用ガイド５６ａ、５７ａ、５８ａ、Ａ波用ガイド５６ｂ、５７ｂ、５８ｂ、ＥＣＧ波形５５を表示している。また、図７に示した折り返し波形データとしての３心拍分のドプラ波形画像５１は、各心拍において折り返し波形５２を含む。図７に示す折り返し波形データに対応する正解データは、図７に示すＥ波用ガイド５６ａ、５７ａ、５８ａ、Ａ波用ガイド５６ｂ、５７ｂ、５８ｂの＋印の座標である。
図８は、学習済みモデルの生成において用いられる正常波形データを含むドプラモード表示画面の一例を示す図である。図８に示したドプラモード表示画面は、正常波形データとしての４心拍分のドプラ波形画像６１、カラードプラ画像６２、Ｅ波用ガイド６６ａ、６７ａ、６８ａ、６９ａ、Ａ波用ガイド６６ｂ、６７ｂ、６８ｂ、６９ｂ、ＥＣＧ波形６３を表示している。なお、図８のドプラモード表示画面例では、各心拍についてのＥ波の流速値ＭＶＥ等を示す指標６４をさらに表示している。図８に示す正常波形データに対応する正解データは、図８に示すＥ波用ガイド６６ａ、６７ａ、６８ａ、６９ａ、Ａ波用ガイド６６ｂ、６７ｂ、６８ｂ、６９ｂの＋印の座標である。
図５に示すように、図６乃至図８に示すような第２ドプラ波形データが、多層化のネットワークＭＬＮに入力される。学習装置は、多層化のネットワークＭＬＮからの出力データと、多層化のネットワークＭＬＮに入力された第２ドプラ波形データに対応する正解データとを差分する。学習装置は、当該差分（誤差）が一定値以下になるように、多層化のネットワークＭＬＮにおける複数のパラメータを、例えば、誤差逆伝搬法により調整する。学習装置は、複数のパラメータが調整された多層化のネットワークＭＬＮに対して、当該調整に用いられた第２ドプラ波形データと異なる第２ドプラ波形データを入力する。以下同様にして、学習装置は、多層化のネットワークＭＬＮにおける複数のパラメータをさらに調整する。多層化のネットワークＭＬＮに対する学習処理は、例えば非特許文献１等に記載されている既存の方法を適宜利用することができるため、説明は省略する。
以上述べた様に、実施形態に係る超音波診断装置１００は、取得部としての取得機能８７３と、検出部としての検出機能８７５とを備える。取得機能８７３は、左室流入血流に関する第１ドプラ波形データを取得する。検出機能８７５は、左室流入血流に関する複数の第２ドプラ波形データのそれぞれにおけるＥ波、Ａ波の位置と、複数の第２ドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、第１ドプラ波形データとを用いて、第１ドプラ波形データにおけるＥ波、Ａ波の位置を検出する。
具体的には、第１超音波画像データおよび第２超音波画像データは、ドプラ波形画像データに対応する。実施形態に係る超音波診断装置１００によれば、学習済みモデルにより、第１超音波画像データに含まれる心拍毎のドプラ波形につき、Ｅ波、Ａ波の位置を検出し、検出されたＥ波、Ａ波の位置を、第１超音波画像データに対応するドプラ波形画像タに重畳表示することができる。
また、学習済みモデルは、多ノイズ波形データ、折り返し波形データ、輝度の低いドプラ波形データ等を用いてトレーニングされた、例えば多層化のネットワークＭＬＮである。従って、学習済みモデルに入力される第１超音波画像データがノイズ及び折り返しを含む場合、ドプラ波形が薄い画像データである場合であっても、Ｅ波、Ａ波の位置を正確に特定することができる。
また、学習済みモデルは、種々の心拍数に対応するドプラ波形を含むデータ等を用いてトレーニングされた、例えば多層化のネットワークＭＬＮである。従って、学習済みモデルに入力される第１超音波画像データに含まれるドプラ波形の数に関わらず、Ｅ波、Ａ波の位置を正確に特定することができる。
以上のことから、実施形態に係る超音波診断装置１００によれば、Ｅ波・Ａ波検出処理において、ドプラ波形画像がノイズや折り返し等を含む場合など、既存のアルゴリズムや人為的処理では困難な場合であっても、心拍毎のドプラ波形について、正確なＥ波、Ａ波を自動的に検出し、ドプラ波形画像上に重畳表示することができる。これにより、本装置によれば、心不全の超音波画像診断におけるスループットを向上させることができる。
（変形例１）
上記実施形態においては、ドプラ波形画像データを入力し、当該ドプラ波形画像データにおけるドプラ波形上のＥ波、Ａ波の座標を出力する学習済みモデルを例として説明した。これに対し、少なくとも一心拍に対応するドプラ波形に加えて、当該少なくとも一心拍に対応するドプラ波形と同期して取得されたＥＣＧ波形をさらに含むドプラ波形画像データを入力し、当該ドプラ波形画像データにおける各ドプラ波形上のＥ波、Ａ波の座標を出力する学習済みモデルを用いるようにしてもよい。
なお、この様な学習済みモデルの生成は、次のようなトレーニングデータが用いられる。すなわち、少なくとも一心拍に対応するドプラ波形に加えて、当該少なくとも一心拍に対応するドプラ波形と同期して取得されたＥＣＧ波形をさらに含むドプラ波形画像データを入力データとする。また、各入力データについて、ドプラ波形上のＥ波、Ａ波の座標が教師データとされる。この入力データと教師データの複数の組合せからなるトレーニングデータを用いて、例えば多層化のネットワークに対して機械学習を実行することにより生成される。
さらに、必要に応じて、ＥＣＧ波形の画像データと共に、又はＥＣＧ波形の画像データに替えて、ドプラ波形画像データに含まれるドプラ波形と同期して取得された呼気波形の画像データを入力し、当該ドプラ波形画像データにおけるドプラ波形上のＥ波、Ａ波の座標を出力する学習済みモデルを用いるようにしてもよい。この場合においても、呼気波形の画像データは、ドプラ波形画像データに含まれていてもよいし、ドプラ波形画像データとは別体のデータであってもよい。
例えば、ドプラ波形画像データに含まれるドプラ波形と同期して取得された呼気波形及びＥＣＧ波形の画像データを入力する学習モデルの生成には、次のようなトレーニングデータが用いられる。すなわち、少なくとも一心拍に対応するドプラ波形に加えて、当該少なくとも一心拍に対応するドプラ波形と同期して取得されたＥＣＧ波形及び呼気波形をさらに含むドプラ波形画像データを入力データとする。また、各入力データについて、ドプラ波形上のＥ波、Ａ波の座標が教師データとされる。この入力データと教師データの複数の組合せからなるトレーニングデータを用いて、例えば多層化のネットワークに対して機械学習を実行することにより生成される。
（変形例２）
上記実施形態においては、学習済みモデルによって検出された心拍毎のＥ波、Ａ波の位置（座標）が対応するドプラ波形に重畳されたドプラ波形画像データを、表示装置５に表示させる場合を例示した。これに対し、学習済みモデルが、検出された心拍毎のＥ波、Ａ波の位置が対応するドプラ波形に重畳されたドプラ波形画像データ出力する構成としてもよい。このとき、学習済みモデルは、検出機能８７５において、少なくとも一心拍に対応するドプラ波形を含むドプラ波形画像データを入力し、心拍毎のＥ波、Ａ波の位置が対応するドプラ波形に重畳されたドプラ波形画像データを出力する。
（変形例３）
上記実施形態においては、画像生成回路７９によって生成されたドプラ波形画像データを学習済みモデルに入力し、Ｅ波・Ａ波検出処理を実行する場合を例示した。これに対し、ドプラ処理回路７７によって生成されたドプラ波形データ（すなわち、ＲＡＷデータメモリに格納されたドプラＲＡＷデータ）を第１ドプラ波形データとして学習済みモデルに入力し、Ｅ波・Ａ波検出処理を実行するようにしてもよい。係る場合、Ｅ波・Ａ波検出処理を実行するモデルは、ドプラＲＡＷデータを第２ドプラ波形データとし、当該第２ドプラ波形データ上のＥ波、Ａ波の座標を教師データとするトレーニングデータを用いて生成される。
（変形例４）
上記実施形態においては、装置が超音波診断装置１００である場合を例示した。これに対し、本実施形態に係る装置は、例えば、医用画像処理装置、医用画像処理サーバ装置、ワークステーションまたはクラウドコンピューティングにより実現されてもよい。医用画像装置、医用画像処理サーバ装置、ワークステーションまたはクラウドコンピューティングは、例えば、図１に記載の点線の枠９内の構成を有する。なお、装置が医用画像処理サーバ装置、ワークステーションまたはクラウドコンピューティングとして実現される場合、入力装置３と表示装置５とは、例えば、クライアント装置として、ネットワークに接続されてもよい。このとき、例えば、内部記憶回路８１と、画像メモリ８３と、通信インタフェース８５と、処理回路８７とは、ネットワーク上のサーバに搭載されてもよい。
本実施形態および本応用例における技術的思想を医用画像処理プログラムなどのプログラムで実現する場合、プログラムは、コンピュータに、左室流入血流に関する第１ドプラ波形データを取得し、左室流入血流に関する複数の第２ドプラ波形データのそれぞれにおけるＥ波、Ａ波の位置と、複数の第２ドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、第１ドプラ波形データとを用いて、第１ドプラ波形データにおけるＥ波、Ａ波の位置を検出すること、を実現させる。例えば、病院情報システムにおけるＰＡＣＳサーバや統合サーバ、超音波診断装置１００などにおけるコンピュータに当該プログラムをインストールし、これらをメモリ上で展開することによっても、Ｅ波・Ａ波検出処理を実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク（ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記憶媒体に格納して頒布することも可能である。プログラムにおける処理手順および効果は、実施形態と同様なため、説明は省略する。
以上説明した少なくとも実施形態および変形例等によれば、ドプラ波形画像にノイズが多い場合、折り返しがある場合等であっても、Ｅ波、Ａ波の位置を正確に特定することができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１ 超音波プローブ
３ 入力装置
５ 表示装置
７ 装置本体
９ 医用画像処理装置、医用画像処理サーバ装置、またはクラウドコンピューティング
４０、５１、５６、６１ ドプラ波形画像
４１、４７、５３、６２ カラードプラ画像
４２ａ、４２ｂ、４２ｃ、４８ａ、４９ａ Ｅ波用ガイド
５６ａ、５７ａ、５８ａ、６６ａ、６７ａ、６８ａ、６９ａ Ｅ波用ガイド
４３ａ、４３ｂ、４３ｃ、４８ｂ Ａ波用ガイド
４９ｂ、５６ｂ、５７ｂ、５８ｂ、６６ｂ、６７ｂ、６８ｂ、６９ｂ Ａ波用ガイド
４４、４９，５５、６３ ＥＣＧ波形
４５、６４ 指標
５２ 折り返し波形
７１ 超音波送信回路
７３ 超音波受信回路
７５ Ｂモード処理回路
７７ ドプラ処理回路
７９ 画像生成回路
８１ 内部記憶回路
８３ 画像メモリ
８５ 通信インタフェース
８７ 処理回路
１００ 超音波診断装置
８７１ システム制御機能
８７３ 取得機能
８７５ 検出機能
８７７ 表示制御機能

Claims (11)

  1. 左室流入血流に関する複数の心拍を含む第１ドプラ波形データを取得する取得部と、
    左室流入血流に関する複数の第２ドプラ波形データのそれぞれにおけるＥ波、Ａ波の位置と、前記複数の第２ドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、前記第１ドプラ波形データとを用いて、前記第１ドプラ波形データに含まれる複数の心拍のそれぞれのＥ波及びＡ波の位置を検出する検出部と、
    前記検出部により検出された前記複数の心拍のそれぞれのＥ波及びＡ波の位置と、前記第１ドプラ波形データとを用いて、前記第１ドプラ波形データに含まれるドプラ波形上におけるＥ波及びＡ波の位置に対応する位置に、当該Ｅ波の位置を示す画像と、Ａ波の位置を示す画像とをそれぞれ重畳した画像を表示部に表示させる表示制御部と、
    を備え、
    前記学習済みモデルは、基準以上のノイズ、基準以上のエイリアシング、基準以下の輝度の何れかが含まれるドプラ波形データの入力によって、当該ドプラ波形データに含まれるＥ波及びＡ波の位置を出力するように機能付けられ、
    前記検出部は、前記第１ドプラ波形データを前記学習済みモデルに入力し、前記学習済みモデルの出力結果に基づいて、前記第１ドプラ波形データに含まれる前記Ｅ波及びＡ波の位置を検出する、
    装置。
  2. フリーズ操作を受け付ける操作部を更に備え、
    前記取得部は、前記操作部によりフリーズ操作が受け付けられた時から遡った一定期間に取得された前記第１ドプラ波形データを取得する、
    請求項１に記載の装置。
  3. 前記取得部は、前記第１ドプラ波形データに含まれるドプラ波形と同期したＥＣＧ波形を取得し、
    前記検出部は、前記ＥＣＧ波形をさらに含む前記トレーニングデータにより、学習された前記学習済みモデルと、前記第１ドプラ波形データとを用いて、前記第１ドプラ波形データにおけるＥ波、Ａ波の位置を検出する、
    請求項１又は２に記載の装置。
  4. 前記取得部は、前記第１ドプラ波形データに含まれるドプラ波形と同期した呼気波形を取得し、
    前記検出部は、前記呼気波形をさらに含む前記トレーニングデータにより、学習された前記学習済みモデルと、前記第１ドプラ波形データとを用いて、前記第１ドプラ波形データにおけるＥ波、Ａ波の位置を検出する、
    請求項１乃至３のうちいずれか一項に記載の装置。
  5. 前記複数の第２ドプラ波形データは、ノイズが基準値以上のドプラ波形データを少なくとも含む、
    請求項１乃至４のうちいずれか一項に記載の装置。
  6. 前記複数の第２ドプラ波形データは、ドプラ波形の折り返しを含むドプラ波形データを少なくとも含む、
    請求項１乃至５のうちいずれか一項に記載の装置。
  7. 前記複数の第２ドプラ波形データは、複数種類の心拍数に対応するドプラ波形を含む、
    請求項１乃至６のうちいずれか一項に記載の装置。
  8. 前記複数の第２ドプラ波形データは、複数心拍数に対応するドプラ波形を含む、
    請求項１乃至６のうちいずれか一項に記載の装置。
  9. 前記検出部は、前記第１ドプラ波形データが複数心拍のドプラ波形を含む場合には、心拍毎のドプラ波形についてＥ波、Ａ波の位置を検出する、
    請求項１乃至８のうちいずれか一項に記載の装置。
  10. 検出された前記Ｅ波、Ａ波の位置と前記第１ドプラ波形データとを用いて、前記Ｅ波及びＡ波の位置が前記第１ドプラ波形データ上に重畳された画像を表示部に表示させる表示制御部をさらに有する、
    請求項１乃至９のうちいずれか一項に記載の装置。
  11. コンピュータに、
    左室流入血流に関する複数の心拍を含む第１ドプラ波形データを取得し、
    左室流入血流に関する複数の第２ドプラ波形データのそれぞれにおけるＥ波、Ａ波の位置と、前記複数の第２ドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、前記第１ドプラ波形データとを用いて、前記第１ドプラ波形データに含まれる複数の心拍のそれぞれのＥ波及びＡ波の位置を検出し、
    検出した前記複数の心拍のそれぞれのＥ波及びＡ波の位置と、前記第１ドプラ波形データとを用いて、前記第１ドプラ波形データに含まれるドプラ波形上におけるＥ波及びＡ波の位置に対応する位置に、当該Ｅ波の位置を示す画像と、Ａ波の位置を示す画像とをそれぞれ重畳した画像を表示部に表示させること、
    を実現させ、
    前記学習済みモデルは、基準以上のノイズ、基準以上のエイリアシング、基準以下の輝度の何れかが含まれるドプラ波形データの入力によって、当該ドプラ波形データに含まれるＥ波及びＡ波の位置を出力するように機能付けられ、
    前記第１ドプラ波形データを前記学習済みモデルに入力し、前記学習済みモデルの出力結果に基づいて、前記第１ドプラ波形データに含まれる前記Ｅ波及びＡ波の位置を検出する、
    プログラム。
JP2020068541A 2020-04-06 2020-04-06 装置及びプログラム Active JP7539248B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020068541A JP7539248B2 (ja) 2020-04-06 2020-04-06 装置及びプログラム
US17/219,944 US11963825B2 (en) 2020-04-06 2021-04-01 Apparatus and data processing method
US18/609,670 US20240215957A1 (en) 2020-04-06 2024-03-19 Apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020068541A JP7539248B2 (ja) 2020-04-06 2020-04-06 装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021164533A JP2021164533A (ja) 2021-10-14
JP7539248B2 true JP7539248B2 (ja) 2024-08-23

Family

ID=77920911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020068541A Active JP7539248B2 (ja) 2020-04-06 2020-04-06 装置及びプログラム

Country Status (2)

Country Link
US (2) US11963825B2 (ja)
JP (1) JP7539248B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291749A (ja) 2001-03-29 2002-10-08 Toshiba Medical System Co Ltd 超音波診断装置及びｘ線ｃｔ装置
JP2006102489A (ja) 2004-09-07 2006-04-20 Toshiba Corp 超音波ドプラ診断装置及び診断パラメータ計測方法
JP2006141997A (ja) 2004-10-19 2006-06-08 Toshiba Corp 超音波診断装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7547283B2 (en) * 2000-11-28 2009-06-16 Physiosonics, Inc. Methods for determining intracranial pressure non-invasively
US8303507B2 (en) * 2004-09-07 2012-11-06 Kabushiki Kaisha Toshiba Ultrasonic doppler diagnostic apparatus and measuring method of diagnostic parameter
US8295569B2 (en) * 2008-06-12 2012-10-23 Siemens Medical Solutions Usa, Inc. Method and system for automatic detection and measurement of mitral valve inflow patterns in doppler echocardiography
JP5558727B2 (ja) 2009-02-27 2014-07-23 株式会社東芝 超音波診断装置および超音波診断装置のデータ処理プログラム
JP6181542B2 (ja) 2013-12-18 2017-08-16 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像診断装置および検査手順発生プログラム
JP6832226B2 (ja) 2017-05-08 2021-02-24 株式会社日立製作所 超音波診断装置
US11779311B2 (en) * 2018-09-14 2023-10-10 Fujifilm Sonosite, Inc. Method and apparatus for performing spectral doppler imaging
JP7242409B2 (ja) * 2019-04-26 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法
JP2024129281A (ja) * 2023-03-13 2024-09-27 コニカミノルタ株式会社 機械学習モデル、プログラム、超音波診断装置、超音波診断システム、画像処理装置及び訓練装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291749A (ja) 2001-03-29 2002-10-08 Toshiba Medical System Co Ltd 超音波診断装置及びｘ線ｃｔ装置
JP2006102489A (ja) 2004-09-07 2006-04-20 Toshiba Corp 超音波ドプラ診断装置及び診断パラメータ計測方法
JP2006141997A (ja) 2004-10-19 2006-06-08 Toshiba Corp 超音波診断装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Eleonora Sulas, et al.，Automatic Recognition of Complete Atrioventricular Activity in Fetal Pulsed-Wave Doppler Signals，Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)，2018年，917-920
冨田紀子、他，心エコー法による左心室拡張能の評価，心臓，2013年，Vol.45 No.7，753-760

Also Published As

Publication number Publication date
US20240215957A1 (en) 2024-07-04
JP2021164533A (ja) 2021-10-14
US20210307725A1 (en) 2021-10-07
US11963825B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
JP4473543B2 (ja) 超音波診断装置
JP5530592B2 (ja) イメージング・パラメータの記憶法
US20140108053A1 (en) Medical image processing apparatus, a medical image processing method, and ultrasonic diagnosis apparatus
US9888905B2 (en) Medical diagnosis apparatus, image processing apparatus, and method for image processing
JPWO2007097108A1 (ja) 超音波診断装置
US11701091B2 (en) Ultrasound analysis apparatus and method for tissue elasticity and viscosity based on the hormonic signals
JP5259175B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2020092739A (ja) 医用画像生成装置、及び医用画像生成プログラム
JP2007007200A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
CN111317508B (zh) 超声波诊断装置、医用信息处理装置、计算机程序产品
JP2010068956A (ja) 超音波診断装置及び超音波診断支援プログラム
JP5468759B2 (ja) 位置情報に基づいて関心対象ボリュームを収集するための方法及びシステム
JP5196994B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US11850101B2 (en) Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP5299961B2 (ja) 超音波診断装置、画像処理装置及び超音波診断装置の制御プログラム
JP7539248B2 (ja) 装置及びプログラム
JP5242092B2 (ja) 超音波診断装置
JP2005000390A (ja) 超音波診断装置
JP7560273B2 (ja) 医用画像診断装置及び医用画像処理装置
JP2016093302A (ja) 医用画像診断装置、画像処理装置及び画像処理プログラム
JP2009106494A (ja) 超音波診断装置、及びアノテーション表示装置
JP7366829B2 (ja) 装置及びプログラム
JPH10328179A (ja) 超音波診断装置
US20200093370A1 (en) Apparatus, medical information processing apparatus, and computer program product
US20240050074A1 (en) Medical information processing apparatus, a non-transitory computer readable medium, and ultrasonic diagnostic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240813

R150 Certificate of patent or registration of utility model

Ref document number: 7539248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150