JP7346918B2 - データ生成プログラム、データ生成方法、及び情報処理装置 - Google Patents

データ生成プログラム、データ生成方法、及び情報処理装置 Download PDF

Info

Publication number
JP7346918B2
JP7346918B2 JP2019104696A JP2019104696A JP7346918B2 JP 7346918 B2 JP7346918 B2 JP 7346918B2 JP 2019104696 A JP2019104696 A JP 2019104696A JP 2019104696 A JP2019104696 A JP 2019104696A JP 7346918 B2 JP7346918 B2 JP 7346918B2
Authority
JP
Japan
Prior art keywords
data
waveform data
waveform
electrocardiogram
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019104696A
Other languages
English (en)
Other versions
JP2020195687A (ja
Inventor
弘伸 北島
美穂 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019104696A priority Critical patent/JP7346918B2/ja
Priority to US16/890,421 priority patent/US11507127B2/en
Publication of JP2020195687A publication Critical patent/JP2020195687A/ja
Application granted granted Critical
Publication of JP7346918B2 publication Critical patent/JP7346918B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/02Digital function generators
    • G06F1/022Waveform generators, i.e. devices for generating periodical functions of time, e.g. direct digital synthesizers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/327Generation of artificial ECG signals based on measured signals, e.g. to compensate for missing leads
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、データ生成プログラム、データ生成方法、及び情報処理装置に関する。
近年、AI(Artificial Intelligence)を用いた心電図解析の技術開発が行われている。心電図は、心臓の状態を診るために重要な情報である。心電図から不整脈や興奮伝導の異常が分かる。右脚や左脚に伝導の遅れや途絶えがある場合には独特の心電波形を示す。また、狭心症や心筋梗塞を発症している場合には、心電波形のST部分やT波が正常波形から変化することが知られている。
AIによる心電図解析では、アノテーションが付与されたデータを活用し、ディープラーニングにより不整脈を精度良く分類する技術等が知られている。
Rajpurkar P,Hannun AY,Haghpanahi M,Bourn C,Ng,AY."Cardiologist-level arrhythmia detection with convolutional neural networks.",[Online]Available:arxiv.org/pdf/1707.01836.pdf
AIによる心電図解析の精度を上げるためには、不整脈等の正常でない心電図の数を十分に得ることが必要であるが、解析するうえで主要な要素となるアノテーションが付与されていない、又はアノテーションが十分でない心電図は、学習データとして利用し難いといった問題がある。
精度よく分類したいタイプの疾患について利用可能な学習データを十分に得られないため、心電図を用いた学習を精度良く行うことができないといった問題がある。
したがって、1つの側面では、マーキング情報が付与された波形データの適正化を図ることを目的とする。
一態様によれば、コンピュータに、波形中の所定の位置に対するマーキング情報を含む第1の波形データと、第2の波形データとを取得し、前記第1の波形データの特徴点の時間軸の値と前記第2の波形データの前記特徴点の時間軸の値との差が小さくなるように、位相方向の比例配分及び振幅方向の比例配分をパラメータとして前記第1の波形データを変換する変換関数を特定し、前記パラメータが異なる複数の前記変換関数に基づいて位相方向と振幅方向の一方又は両方を変化させて、前記第1の波形データを前記第2の波形データへと近付けることで、該第1の波形データと該第2の波形データとの間を補間する複数の第3の波形データを生成し、前記第1の波形データ及び前記複数の第3の波形データを含む教師データを用いた学習を行う、処理を実行させることを特徴とするデータ生成プログラムが提供される。
マーキング情報が付与された波形データの適正化を図ることができる。
心電図波形を説明するための図である。 本実施例におけるデータ生成装置のハードウェア構成例を示す図である。 データ生成装置の機能構成例を示す図である。 本実施例による心電図生成処理の概要を説明するための図である。 本実施例によるアノテーション推定処理の概要を説明するための図である。 本実施例で考慮される関数空間の例を説明するための図である。 アライメントの一例を示す図である。 アライメントの他例を示す図である。 図7及び図8におけるワーピング関数の例を示す図である。 位相方向のアライメントと補間の例を示す図である。 アノテーション推定処理の結果例を示す図である。 アノテーションが付与された心電図データ例を示す図である。 波形補間処理を説明するためのフローチャート図である。 図13のステップS218におけるアノテーション付与処理を説明するためのフローチャート図である。 アノテーション付与処理の他の例を説明するためのフローチャート図である。 アノテーション推定処理を説明するためのフローチャート図である。 心電図データ内でアノテーションを付与する例を説明するための図である。
以下、本発明の実施の形態を図面に基づいて説明する。AIによる心電図解析に十分なデータを得るために、機械学習のための教師データを疑似的に増やすための手段としてデータ拡張の技術がしばしば用いられている。データ拡張は、具体的には、少数の教師データに平行移動、回転、スケール変換、鏡映などの変換を適用することによって、擬似的に増加させる技術である。
心電図のデータ拡張においても、従来型の変換によるデータ拡張はある程度有効であるが、限界がある。例えば、
・同質の変換で大量に増やした教師データで学習させても,推論時の精度は一定以上あがらない。
・単純な幾何学的変換では、実際にはありえないような心電図を作ってしまう可能性がある。
本実施例では、ヒトの心電図として自然な波形データを生成し教師データを拡張すると共に、専門知識を有する者によって付与されたマーキングを、生成した波形データにも付与することで学習効率を向上させる技術を提供する。マーキングとは、実在する心電図に対して専門知識を有する医師などが心電図波形に対して施した、要素波形の区間、頂点のマーク等である。
図1は、心電図波形を説明するための図である。図1より、心電図波形は、洞結節から始まった興奮は心臓全体にひろがり、洞収縮一拍ごとに心電図上に基線1aからの変動を示すP波、QRS波、T波、U波と呼ばれる一連の波形を示す。これらの波形は、心電図の主要な要素波形である。
心電図が持つ性質から、作成した心電図においてこれら主要な要素波形を保つ必要がある。また、心電図におけるPQ間隔、QT間隔等の変化から、細胞の活動電位が集合的に伝播する現象を観ることができる。各要素波形の時間幅は、心臓疾患の一部で現れる伝播時間の異常を表している場合がある。言い換えると、実際の心電図波形における要素波形の出現開始時刻と終了時刻を、ある程度柔軟に変更してもよく、時間軸の伸び又は縮みを許容することになる。
一方、例えば、P波、QRS波、T波等の要素波形が同じでPQ間隔又はQT間隔が異なる波形を単純な幾何学的変換で生成することができない。
上述したような問題に対し、発明者等は、心電図の主要な要素波形を保ち、かつ、ヒトの心電図として自然な心電図波形を、実際の心電図波形から変換する手法を見出した。
先ず、発明者等は、Elastic Shape Analysis(ESA)技術を用いた。ESA技術を用いることで、
・二つの波形の時間軸を変更して、それらの形状をできるだけ滑らかに近づけるように変換できる(連続関数を得られる)。
・求めた変換を使用すれば、実在する二つの心電図波形との間を補間するように波形をいくらでも発生することが可能となる。
・教師データのアノテーションは波形上の点であるため、同じ変換を使って位置を移動させれば、作成した波形上にも同一のアノテーションを付与することができる。ここで、アノテーションとは、波形データの特定の点に対して目印を付与(マーキング)した情報ともいえる。
更に、本実施例では、ヒトの心電図として自然な実在し得る波形データを作成する。その目的を達成するために、
(a) 2つのタイプの心電図データを選択する(前処理)。
選択するタイプは、一例として、心臓の正常な状態を表す心電図と、心臓の異常な状態を表す心電図とを選択する。少なくとも1つの心電図を異常な状態の心電図とすることで、異常な状態の心電図の教師データを増やすことができると共に、正常な状態と異常な状態の境界付近の心電図データを生成することができる。この選択例に限らず、ランダムな選択でも良いし、増やしたいタイプに応じて、2つとも正常な状態の心電図としても良いし、2つとも異常な状態の心電図としてもよい。
先ず、
(a-1) 選択した各心電図から切り出す範囲を決める。一例として、1拍分、2拍分等の一拍の整数倍が好ましい。1拍は、R波のピークを検出し、R-R間隔もしくはその間隔をR-R間隔の半分ずらした範囲で定めればよい。R波の特定には、マーキングを参照するか、或いは、R波を自動検出する既存のオープンツールを用いてR波を検出すればよい。また、切り出す範囲は、P-P間隔を用いてもよい。
(a-2) 選択した各心電図から切り出した部分波形の横幅が心拍数として一致するように規格化し、それぞれの心電図の部分波形を心電図f1(t)及び心電図f2(t)、又は、単に、f1(t)及びf2(t)という。
そして、選択した2つの心電図波形との間、つまりf1(t)及びf2(t)との間を補間する波形(即ち、心電図データ)を生成する。
(b) f1(t)とf2(t)とに対して、時間軸の伸び縮み(位相方向の変化)を施して部分波形の山や谷の位置を合致させる、又は、時間軸の値との差を小さくするアライメント処理を行って、
(c) f1(t)とf2(t)との間を、位相方向と振幅方向とを変化させて生成した波形で補間する。
本実施例では、更に、波形が生成されるごとにアノテーションを付与する。
(d) 位相方向と振幅方向との変化ごとの変換を用いて、生成した波形上にアノテーションを付与する。
上述した処理(a)~(d)は、以下に説明するようなハードウェア構成を有するデータ生成装置によって実現される。
図2は、本実施例におけるデータ生成装置のハードウェア構成例を示す図である。図2より、データ生成装置100は、情報処理装置であって、CPU11と、主記憶装置12と、補助記憶装置13と、入力装置14と、表示装置15と、通信I/F17と、ドライブ装置18とを有し、バスBに接続される。主記憶装置12と、補助記憶装置13、及びデータ生成装置100がアクセス可能な外部記憶装置を含めて、記憶部130という。
CPU11は、データ生成装置100を制御するプロセッサに相当し、記憶部130に格納されたプログラムを実行することで、以下に説明する本実施例に係る様々な処理を実現する。入力装置14は、ユーザによって操作され、操作に応じてデータを入力し、表示装置15は、ユーザーインタフェースとして様々な画面を表示する。通信I/F17は、外部装置との通信を制御する。
記憶媒体19(例えば、CD-ROM(Compact Disc Read-Only Memory)等)に記憶された本実施例に係る処理を実現するプログラムは、ドライブ装置18を介して記憶部130にインストールされ、CPU11によって実行可能となる。
尚、本実施例に係るプログラムを格納する記憶媒体19はCD-ROMに限定されず、コンピュータが読み取り可能な、構造(structure)を有する1つ以上の非一時的(non-transitory)な、有形(tangible)な媒体であればよい。コンピュータ読取可能な記憶媒体として、CD-ROMの他に、DVD(Digital Versatile Disk)ディスク、USBメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
図3は、データ生成装置の機能構成例を示す図である。図3において、データ生成装置100は、主に、心電図生成部40と、アノテーション推定部44と、学習部47とを有する。心電図生成部40と、アノテーション推定部44と、学習部47とは、データ生成装置100にインストールされたプログラムが、データ生成装置100のCPU11に実行させる処理により実現される。記憶部130は、パラメータリスト53、教師データ57、学習結果データ58等を記憶する。
心電図生成部40は、実際の心電図データ51を用いて、ヒトの心電図として自然な波形を生成し、教師データ57を補間する心電図生成処理を行い、選択部41と、波形補間部42と、アノテーション付与部43とを更に有する。
選択部41は、教師データ57内の複数の心電図データ51から2つを選択し、選択した2つの心電図データ51のそれぞれから、予め定めた間隔と拍数とで決まる範囲の波形を切り出して、波形補間部42に通知する選択処理を行う。切り出された心電図の部分波形は、心電図f1(t)及び心電図f2(t)、又は、単に、f1(t)とf2(t)という。
波形補間部42は、パラメータリスト53に基づいて、f1(t)とf2(t)の一方の波形の位相又は振幅の1つ以上を他方の波形へと近づくように変化させた波形へと変換して補間的な心電図(補間データ52)を生成する波形補間処理を行う。波形補間部42は、また、補間データ52が作成されるごとに、アノテーション付与部43にアノテーションを付与させる。アノテーションが関連付けられた補間データ52が教師データ57に追加される。
アノテーション付与部43は、波形補間部42が補間データ52を生成するごとに、波形補間部42が用いた同様の変換により、変換元の波形に付与されていたアノテーションを、補間データ52の波形上の対応する位置に付与するアノテーション付与処理を行う。アノテーション付与処理は、指定された補間データ52に対してのみ行われてもよい。
アノテーション推定部44は、実際の心電図データ51のうち、アノテーションが不足している心電図データ51に対して、アノテーションが付与されるであろう位置(波形上の座標)を推定し、アノテーションのデータを補足する。
学習部47は、本実施例により得られた補間データ52によりデータ量を増やした教師データ57を用いて心電図から心臓の正常な状態と異常な状態とを学習する。補間データ52が教師データ57に加えられたことで、学習部47は、心臓疾患の判定精度を向上させ、更には、心臓疾患の詳細な分類を可能とする。
教師データ57は、ヒトから実際に心電計により得た心電図データ51に加え、本実施例により加えられた補間データ52を含む。複数の心電図データ51は、アノテーションが付与されているデータと、アノテーションが付与されていないデータとを含んでもよい。また、アノテーションが付与された心電図データ51において、データによりアノテーションが付与された要素波形はさまざまであってよい。
パラメータリスト53は、2つの心電図データ51の位相間で波形を変換させるパラメータkの値と、振幅間で波形を変化させるパラメータlの値の組を示す。パラメータk及びlは、0以上かつ1以下の値を示す。
学習結果データ58は、学習部47が教師データ57を利用して得られた重み情報等のデータを含む。
図4は、本実施例による心電図生成処理の概要を説明するための図である。図4より、心電図生成部40によって、心電図データ51から選択された2つの心電図データecg10及びecg20が選択される。一例として、心臓が正常な状態と異常な状態とをそれぞれ選択する。
図4では、心電図データecg10では、3カ所にアノテーション3aが付与されており、心電図データecg20では、1カ所にのみアノテーション3aが付与されている場合を例示している。心電図データecg10では、アノテーション3aを“・”で示し、心電図データecg20では、アノテーション3aを“×”で示している。
心電図生成部40により、心電図データecg10から位相方向及び振幅方向のパラメータの組み合わせ(k,l)ごとに、心電図データecg20へと近づくように複数の波形データが生成され、補間データecg102、ecg104、ecg106等として出力されて教師データ57に追加される。
本実施例では、心電図生成部40から出力された補間データ52にも、アノテーション3aが付与される。この例では、心電図生成部40によって付与されたアノテーションであることが識別し易いように、“▼”で示している。補間データ52に対するアノテーションの付与では、アノテーション3aの数が多い心電図データecg10に基づくようにすればよい。
図5は、本実施例によるアノテーション推定処理の概要を説明するための図である。図5では、心電図データ51から選択された2つの心電図データecg10及びecg20のうち、アノテーション3aの数が多い心電図データecg10に基づいて、心電図データecg20に対して2つのアノテーション3aが追加された例を示している。追加されたアノテーション3aは“▼”で示している。
アノテーション推定部44は、位相方向のパラメータkを1.0とし、心電図データecg10のアノテーション3aの位置を、心電図データecg20の位相に対応するようにアライメントして、心電図データecg10wを得る。アノテーション推定部44は、アライメントと同様の変換により、心電図データecg10のアノテーション3aの位置に相当する心電図データecg10w上の位置を求めて、求めた位置にアノテーション3aを付与する。
3つのアノテーション3aの位置は、時間と振幅で特定される。アノテーション推定部44は、心電図データecg10wの3つのアノテーション3aの位置の時間を用いて、心電図データecg10wに対して3つのアノテーション3aを付与する。ここで、アノテーション推定部44は、心電図データecg10wの3つのアノテーション3aのうち、心電図データecg20に既に存在するアノテーション3aの位置への付与は抑止してもよい。
本実施例では、2つの心電図波形に対して、位相方向と振幅方向の一方又は両方を変化させる変換を行って、要素波形の時間幅の差と振幅の差の範囲で、複数の波形を生成して補間する。そのような変換を実現する関数空間について説明する。
図6は、本実施例で考慮される関数空間の例を説明するための図である。図6を参照しつつ、波形補間部42、アノテーション付与部43、アノテーション推定部44で行われる内容について説明する。
<波形補間方法>
ESA (Elastic Shape Analysis)の枠組にもとづく補間的な心電図データ(補間データ52)の生成方法について以下に述べる。ESAではデータを表現する曲線の関数空間Fと、それを写像したSRSF (Square-Root Slope Function)と呼ばれる関数の空間Qを考える。心電図の時系列データの関数を
Figure 0007346918000001
これをSRSFに写像した関数を
Figure 0007346918000002
とすると、これらは以下の(式1)のような関係にあり、相互に変換することが可能である。
Figure 0007346918000003
ここで二つの心電図f1(t)及びf2(t)と、これをSRSFへ上式で写像したq1(t)及びq2(t)を考える(図6)。
また、ESAの枠組の下で、f1(t)を基準にf2(t)を起点とし、波形の山や谷の位置をできるだけ合致させるようなアライメント処理を実行して、その際に求められるワーピング関数をγ*(t)、逆関数をγ*-1(t)とする(図9)。ワーピング関数γ(t)とは、時間軸の伸び縮み(位相方向の変化)を表す連続関数であるが、これを上のアライメントにおいて最適化したものがγ*(t)であり、Qにおける以下の最適化問題の解として得られる。
Figure 0007346918000004
このとき、f1(t)とf2(γ*(t))は曲線の形状がアライメントされた関係を持ち、これらに対応するQ上の点(関数)q’1及びq’2は、それぞれq1及びq2のワーピング関数γ(t)による軌道を示す二本の平行な直線[q1]及び[q2]上にあって、対向した位置を占める。
逆に,f2(t)を基準にf1(t)を起点とするアライメント処理も可能であり、この場合はf1*-1(t))とf2(t)がアライメントされ,対応するQ上の点q’1及びq2は、やはり対向する位置を占めることになる。図7にf1(t)を基準にf2(γ*(t))を求めた例を示す。また、図8にf2(t)を基準にf1*-1(t))を求めた例を示す。更に、図9にワーピング関数γ*(t)及びγ*-1(t)の例を示す。
関数f(t)の時間軸をワーピング関数γ(t)で伸縮させたf(γ(t))を、Qに写像した関数(q,γ)は次式のようになるが、
Figure 0007346918000005
これを用いれば、図6上の点(関数)q’1及びq’2は次のように表される。
Figure 0007346918000006
ここで、二つの実在する心電図の間で滑らかに変化するように補間的な心電図を生成することを考え、以下のような関数φ2 kを定義する。
Figure 0007346918000007
上で、φ2 kは恒等関数γidと、q2をq’2に移す関数γ*をパラメータkで比例配分した関数であり、φ2 0はγidに一致し(φ2 0id)、φ2 1はγ*に一致する(φ2 1=γ*)。このφ2 kはESAで言うワーピング関数の要件をみたしている。また、q2をφkで写した点(関数)であるq2 kは,q2とq’2を両端に持つ線分上にあって、補間的な心電図f22 k(t))に対応するものである。
次に、q1の方を動かしてq2 kにアライメントさせた点をq1 kとすると、q2 kと対向する関係にあるq1 kは,Q上の位置関係から次式のように求めることができる。
Figure 0007346918000008
ここで、
Figure 0007346918000009
であることから、q1 kは次式のように表すことが可能である。
Figure 0007346918000010
(式3)と(式4)を比較するとq1 kはq2 kの表式から,ちょうどγ*をγ*-1に入れ換えて比例配分を逆比にした関係にあることがわかる。従って、q1の側から生成される補間的な心電図は、f11 k(t))で表現することができる。
前項ではφ1 k及びφ2 kのようなワーピング関数を用い、心電図波形の位相方向の補間について説明した。図10に、位相方向のアライメントと補間を実施した様子を、kを0.0、0.25、0.50、そして1.0と変化させたときのf11 k(t))及びf22 k(t))のふるまいによって示す。
以下では波形の振幅方向の補間について述べる.既に位相方向でアライメントされたf11 k(t))及びf22 k(t))を凸結合させた関数を次のように定義すれば、
Figure 0007346918000011
振幅方向の補間が実現される。f11 k(t))とf22 k(t))とはすでに位置合わせ済みであり、P波、QRS波、及びT波等の特徴的な要素波形が横軸上のほぼ同じ領域に発生しているため、fk.l(t)のような単純な凸結合によっても、自然な心電図を生成することができる。
ここまで述べたように、適切な実在する心電図f1(t)及びf2(t)とパラメータk及びlを選択(複数可)し、位相方向と振幅方向の双方で補間することによって、自然な心電図fk.l(t)を自動的かつ大量に生成することが可能になる。
本実施例では、波形の補間は、図6に示すq1、q2、q’1、及びq’2を頂点とする領域に制限されることで、ヒトの心臓の状態として存在しない不自然な状態を排除することができる。不自然な状態とは、異常に大きい振幅又は異常に大きな時間幅等を示す要素波形が相当する。このような要素波形を含むデータで教師データ57を補間してしまうと、適切な学習が行われないからである。
<アノテーション付与方法>
心電図上にヒトが付加するアノテーションは、波形としての特徴点やそれを結合した区間として与えられる。従って、アノテーションは波形上の点で構成されており、波形を変換する関数が分かっていれば、同時にアノテーションの付与位置も定めることが可能である。
例えば、心電図f2(t)上の時刻tにアノテーションとしての点があった場合、補間的な心電図fk.l(t)上では時刻φ2 k(-1)(ta)に相当するため、(式5)から以下の座標点にアノテーションの位置が移動することになる。
Figure 0007346918000012
ここで、φ2 k(-1)は、φ2 kの逆関数である。また、縦軸方向の値は次式のように算出することができる。
Figure 0007346918000013
尚、ヒトが付加するアノテーションには最低限、時刻の情報が存在していれば問題なく、心電図上の点が欲しい時にその点を算出することは可能である。
<アノテーション推定方法>
上述した心電図上のアノテーション付与方法を応用すると、アノテーションの付与位置を推定できる。図7の例で説明する。心電図f2(t)上にアノテーションの点A(ta,f2(ta))があるとする。f2(t)にf1(t)を基準にしたアライメント処理を施してf’2(t)へ変形させたとすると、点AはA’(t’a,f’2(t’a))に移るが,アノテーションの移動の項で述べたようにt’aは次式
Figure 0007346918000014
で算出することができる。
f1(t)とf’2(t)は既に位置合わせされているので、f1(t)上でAに相当する点はA’と同じ時刻にあるf1(t)上の点B(φ2 1.0(-1)(ta),f12 1.0(-1)(ta)))となる。ESAのアライメント処理は,データ曲線間で形状的に見て対応する点同士を推定する処理であるため、点Bがf1(t)上に推定されたアノテーションの点であると考えることができる。図11に、この手法によってアノテーションを推定した例を示す。
図11は、アノテーション推定処理の結果例を示す図である。図11の例では、QRS波付近を拡大したものを示している。
f’2(t)は、f2(t)にf1(t)を基準にしたアライメント処理を施すことで得られ、f1(t)に対して位置合わせされている。f2(t)に付与されていたアノテーションの位置A1、A2、及びA3は、それぞれ、f’2(t)上で振幅値が同一の位置A’1、A’2、及びA’3に付与される。そして、f1(t)において、f’2(t)上の位置A’1、A’2、及びA’3と時刻が同一の位置B1、B2、及びB3にアノテーションが付与される。f1(t)の位置B1、B2、及びB3のうち、既にアノテーションが存在する位置に対しては、アノテーションの付与を抑止してもよい。
図12は、アノテーションが付与された心電図データ例を示す図である。図12では、心電図f1(t)及び心電図f2(t)は、心電図データ51から選択された2つのデータに相当し、心電図f2(t)wは、補間データ52の1つに相当し、特に、心電図f2(t)を心電図f1(t)へとアライメントしたときのデータに相当する。
心電図f2(t)には、時刻taの波形にアノテーションA3、時刻tbの波形にアノテーションA2、そして時刻tcの波形にアノテーションA1が付与されている。これらアノテーションA1~A3を心電図f1(t)に付与する。
心電図f2(t)wは、位相を心電図f1(t)に一致させるようにパラメータk=1として、心電図f2(t)を変換して得られたデータである。心電図f2(t)のアノテーションA1~A3のそれぞれの位置も、位相の移動にともなって移動する。具体的には、心電図f2(t)のアノテーションA1、A2、及びA3の時刻ta、tb、及びtcは、それぞれ心電図f2(t)wの時刻td、te、及びtfに変化し、付与されたアノテーションはA’1、A’2、及びA’3で示される。
心電図f1(t)に対して、心電図f2(t)wに付与したアノテーションA’1、A’2、及びA’3と同じ時刻td、te、及びtfの位置に、アノテーションが付与され、B1、B2、及びB3で示される。アノテーション付与の際、心電図f1(t)に既にアノテーションが存在する時刻に対しては、アノテーションの付与を行わないようにしてもよい。
上述したアノテーションを付与する手順は一例に過ぎない。例えば、補間された心電図f2(t)wを介して、心電図f1(t)と心電図f2(t)とで相互に不足しているアノテーションを補うようにしてもよい。
図13は、波形補間処理を説明するためのフローチャート図である。図13より、波形補間部42は、選択部41からの通知に応じて、心電図f1(t)とf2(t)とを読み込み(ステップS211)、パラメータリスト53を読み込む(ステップS212)。
パラメータリスト53はパラメータkとlとの全ての組み合せを一覧にしたデータであり、パラメータkは位相方向の比例配分の大きさを示し、パラメータlは振幅方向の比例配分の大きさを示す。k及びlは、0以上かつ1以下の値であり、それぞれに対して複数の異なる値が設定される。又は、それぞれに対して繰り返し処理における増分等が、ユーザにより与えられてもよい。以下、パラメータkとlとの組み合せをパラメータ(k,l)という。
波形補間部42は、心電図f1(t)とf2(t)とにアライメント処理を実行し、アライメントを最適化するワーピング関数γ*(t)を決定する(ステップS213)。上述した(式1.1)の最適化問題を解くことに相当する。
波形補間部42は、パラメータリスト53に未処理のパラメータ(k,l)が残っているか否かを判断する(ステップS214)。未処理のパラメータ(k,l)が残っている場合(ステップS214のYES)、波形補間部42は、パラメータリスト53からパラメータ(k,l)の組を1つ取り出して、二つのワーピング関数φ2 k及びφ1 kを計算する(ステップS216)。即ち、上述した(式3)及び(式4)の、
Figure 0007346918000015
により求める。
次に、波形補間部42は、得られた二つのワーピング関数φ2 k及びφ1 kを用いて、上述した(式5)の補間的な心電図の関数fk,l(t)を計算し、
Figure 0007346918000016
得られた値を記憶部130に保存する(ステップS217)。そして、波形補間部42は、アノテーション付加部43にアノテーション付与の要求を行い、アノテーション付与処理を実行する(ステップS218)。その後、波形補間部42は、ステップS214へと戻り、上記同様の処理を繰り返す。
未処理のパラメータ(k,l)がない場合(ステップS214のNO)、即ち、全ての組み合せを処理した場合、波形補間部42は、すべての補間的な心電図の関数fk,l(t)の計算結果を出力する(ステップS219)。各関数fk,l(t)の計算結果は、補間データ52として教師データ57に追加される。
上述したフローチャートでは、関数計算として説明しているが、コンピュータとしてのデータ生成装置100では、離散の関数値列をスプライン補間などで連続化して計算される。また、必要があれば結果の離散化も適宜行われる。
図14は、図13のステップS218におけるアノテーション付与処理を説明するためのフローチャート図である。図14において、アノテーション付与部43は、f2(t)のアノテーション時刻(ta)を取得する(ステップS224)。アノテーション時刻は、アノテーションが付与されているf2(t)の時刻を示し、複数であってもよい。複数の場合は、取得した時刻の数だけ、ステップS225及びS226を繰り返し行う。
アノテーション付与部43は、アノテーション時刻taの移動先と、その時の補間的な心電図の値とを計算する(ステップS225)。移動先は、上記(式3)のφ2 k(-1)(ta)により求める。また、補間的な心電図の値は、上記(式7)のfk,l2 k(-1)(ta))により求める。
アノテーション付与部43は、座標値に対応付けてアノテーションを付与する(ステップS226)。座標値は、(φ2 k(-1)(ta),fk,l2 k(-1)(ta))で特定される。アノテーション付与部43は、すべてのアノテーション時刻を終了した場合、このアノテーション付与処理を終了する。
必ずしもすべての補間データ52にアノテーションは付与されていなくてもよい場合がある。その場合には、図13のステップS218は省略し、波形補間処理の終了後に、選択した補間データ52にアノテーションを付与してもよい。
図15は、アノテーション付与処理の他の例を説明するためのフローチャート図である。図15において、アノテーション付与部43は、波形補間部42による波形補間処理の終了に応じて、心電図f1(t)とf2(t)とを読み込み(ステップS221)、パラメータリスト53からパラメータ(k,l)の組を一つ選択する(ステップS222)。選択方法はランダムでも良いし、位相方向及び振幅方向の中間点などの予め定めた方法で選択すればよい。
アノテーション付与部43は、心電図f1(t)とf2(t)とにアライメント処理を実行し、アライメントを最適化するワーピング関数γ*(t)を決定する(ステップS223)。ステップS224~S226は、図14の説明と同様であるため、ここでは省略する。
図16は、アノテーション推定処理を説明するためのフローチャート図である。図16において、アノテーション推定部44は、選択部41に上述した前処理(a)を行わせた結果として心電図f1(t)とf2(t)とを読み込み(ステップS231)、パラメータkを1.0に設定する(ステップS232)。
アノテーション推定部44は、心電図f1(t)とf2(t)とにアライメント処理を実行し、アライメントを最適化するワーピング関数γ*(t)を決定する(ステップS233)。
アノテーション推定部44は、f2(t)のアノテーション時刻(ta)を取得する(ステップS234)。アノテーション時刻は、アノテーションが付与されているf2(t)の時刻を示し、複数であってもよい。複数の場合は、取得した時刻の数だけ、ステップS235及びS236を繰り返し行う。
アノテーション推定部44は、アノテーション時刻taの移動先と、その時の推定対象の心電図f1(t)の値とを計算する(ステップS235)。移動先は、上記(式3)のφ2 k(-1)(ta)により求める。また、補間的な心電図の値は、上記(式7)のfk,l2 k(-1)(ta))により求める。
アノテーション推定部44は、座標値に対応付けてアノテーションを付与する(ステップS236)。座標値は、(φ2 k(-1)(ta),fk,l2 k(-1)(ta))で特定される。アノテーション推定部44は、すべてのアノテーション時刻を終了した場合、このアノテーション推定処理を終了する。
更に、本実施例におけるアノテーション付与処理は、一つの心電図データ51の一部にアノテーション3aが存在する場合に、切り出す範囲を1周期として、各周期の同様の位置にアノテーション3aを付与することも可能である。
図17は、心電図データ内でアノテーションを付与する例を説明するための図である。図17(a)は、心電図データ51を切り出す範囲ごとに部分波形を重ね合せた状態を示している。複数の部分波形に対してアライメント処理を行った状態が図17(b)に示されている。アノテーション3aが付与されている時刻を特定し、各部分波形上で時刻が一致する位置にアノテーション3aを付与する。
図16で説明したアノテーション推定処理に対して、アノテーション3aが付与されている部分波形を心電図f2(t)とし、それ以外の部分波形を心電図f1(t)として与えれば、同様の処理で実現できる。この場合、医師等の専門知識を有する者によるアノテーション3aの付与の手間を削減することができる。
上述したように、本実施例では、ヒトの心電図として自然な波形データを生成し教師データを拡張すると共に、専門知識を有する者によって付与されたマーキングを、生成した波形データにも付与することで学習効率を向上させる。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
本実施例における、アノテーション3aは、マーキング情報の一例であり、心電図の要素波形の山や谷は、波形データの特徴点の一例である。ステップS231及び選択部41は、取得部の一例である。アノテーション推定部44が行うステップS233は、特定部の一部である。また、アノテーション推定部44が行うステップS234~S236は、生成部の一部である。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
コンピュータに、
波形中の所定の位置に対するマーキング情報を含む第1の波形データと、第2の波形データとを取得し、
前記第1の波形データの特徴点の時間軸の値と前記第2の波形データの前記特徴点の時間軸の値との差が小さくなるように、前記第1の波形データを変換する変換関数を特定し、
前記変換関数に基づいて特定される位置であって前記第2の波形データにおける前記所定の位置に対応する位置に前記マーキング情報が付与された第3の波形データを生成する、
処理を実行させることを特徴とするデータ生成プログラム。
(付記2)
前記コンピュータに、
前記変換関数に基づいて位相方向と振幅方向の一方又は両方を変化させて、前記第1の波形データを前記第2の波形データへと近付けることで、該第1の波形データと該第2の波形データとの間に1以上の第4の波形データを生成する
処理を実行させることを特徴とする付記1記載のデータ生成プログラム。
(付記3)
前記コンピュータに、
生成した1以上の前記第4の波形データにおける前記所定の位置に対応する位置に前記マーキング情報を付与する
処理を実行させることを特徴とする付記2記載のデータ生成プログラム。
(付記4)
前記コンピュータに、
生成した1以上の前記第4の波形データから選択された波形データに対して、前記所定の位置に対応する位置に前記マーキング情報を付与する
処理を実行させることを特徴とする付記2記載のデータ生成プログラム。
(付記5)
前記コンピュータに、
特徴点の出現パターンが繰り返される連続した波形データの異なる部分から、該出現パターンに基づいて切り出すことで、前記第1の波形データと前記第2の波形データとを取得させる
ことを特徴とする付記1記載のデータ生成プログラム。
(付記6)
前記第1の波形データと前記第2の波形データとは、生体の状態を表すデータであり、
前記コンピュータに、
前記第1の波形データと前記第2の波形データの一方に対して、前記生体の正常な状態のデータを選択し、他方に対して前記生体の異常な状態のデータを選択させる
ことを特徴とする付記1記載のデータ生成プログラム。
(付記7)
コンピュータが、
波形中の所定の位置に対するマーキング情報を含む第1の波形データと、第2の波形データとを取得し、
前記第1の波形データの特徴点の時間軸の値と前記第2の波形データの前記特徴点の時間軸の値との差が小さくなるように、前記第1の波形データを変換する変換関数を特定し、
前記変換関数に基づいて特定される位置であって前記第2の波形データにおける前記所定の位置に対応する位置に前記マーキング情報が付与された第3の波形データを生成する、
処理を実行することを特徴とするデータ生成方法。
(付記8)
波形中の所定の位置に対するマーキング情報を含む第1の波形データと、第2の波形データとを取得する取得部と、
前記第1の波形データの特徴点の時間軸の値と前記第2の波形データの前記特徴点の時間軸の値との差が小さくなるように、前記第1の波形データを変換する変換関数を特定する特定部と、
前記変換関数に基づいて特定される位置であって前記第2の波形データにおける前記所定の位置に対応する位置に前記マーキング情報が付与された第3の波形データを生成する生成部と、
を有することを特徴とする情報処理装置。
40 心電図生成部
41 選択部
42 波形補間部
43 アノテーション付加部
44 アノテーション推定部
47 学習部
51 心電図データ
52 補間データ
53 パラメータリスト
57 教師データ
58 学習結果データ

Claims (6)

  1. コンピュータに、
    波形中の所定の位置に対するマーキング情報を含む第1の波形データと、第2の波形データとを取得し、
    前記第1の波形データの特徴点の時間軸の値と前記第2の波形データの前記特徴点の時間軸の値との差が小さくなるように、位相方向の比例配分及び振幅方向の比例配分をパラメータとして前記第1の波形データを変換する変換関数を特定し、
    前記パラメータが異なる複数の前記変換関数に基づいて位相方向と振幅方向の一方又は両方を変化させて、前記第1の波形データを前記第2の波形データへと近付けることで、該第1の波形データと該第2の波形データとの間を補間する複数の第3の波形データを生成し、
    前記第1の波形データ及び前記複数の第3の波形データを含む教師データを用いた学習を行う、
    処理を実行させることを特徴とするデータ生成プログラム。
  2. 前記コンピュータに、
    生成した前記複数の第3の波形データにおける前記所定の位置に対応する位置に前記マーキング情報を付与する
    処理を実行させることを特徴とする請求項1記載のデータ生成プログラム。
  3. 前記コンピュータに、
    生成した前記複数の第3の波形データから選択された波形データに対して、前記所定の位置に対応する位置に前記マーキング情報を付与する
    処理を実行させることを特徴とする請求項1記載のデータ生成プログラム。
  4. 前記コンピュータに、
    特徴点の出現パターンが繰り返される連続した波形データの異なる部分から、該出現パターンに基づいて切り出すことで、前記第1の波形データと前記第2の波形データとを取得させる
    ことを特徴とする請求項1記載のデータ生成プログラム。
  5. コンピュータが、
    波形中の所定の位置に対するマーキング情報を含む第1の波形データと、第2の波形データとを取得し、
    前記第1の波形データの特徴点の時間軸の値と前記第2の波形データの前記特徴点の時間軸の値との差が小さくなるように、位相方向の比例配分及び振幅方向の比例配分をパラメータとして前記第1の波形データを変換する変換関数を特定し、
    前記パラメータが異なる複数の前記変換関数に基づいて位相方向と振幅方向の一方又は両方を変化させて、前記第1の波形データを前記第2の波形データへと近付けることで、該第1の波形データと該第2の波形データとの間を補間する複数の第3の波形データを生成し、
    前記第1の波形データ及び前記複数の第3の波形データを含む教師データを用いた学習を行う、
    処理を実行することを特徴とするデータ生成方法。
  6. 波形中の所定の位置に対するマーキング情報を含む第1の波形データと、第2の波形データとを取得する取得部と、
    前記第1の波形データの特徴点の時間軸の値と前記第2の波形データの前記特徴点の時間軸の値との差が小さくなるように、位相方向の比例配分及び振幅方向の比例配分をパラメータとして前記第1の波形データを変換する変換関数を特定する特定部と、
    前記パラメータが異なる複数の前記変換関数に基づいて位相方向と振幅方向の一方又は両方を変化させて、前記第1の波形データを前記第2の波形データへと近付けることで、該第1の波形データと該第2の波形データとの間を補間する複数の第3の波形データを生成する生成部と、
    を有することを特徴とする情報処理装置。
JP2019104696A 2019-06-04 2019-06-04 データ生成プログラム、データ生成方法、及び情報処理装置 Active JP7346918B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019104696A JP7346918B2 (ja) 2019-06-04 2019-06-04 データ生成プログラム、データ生成方法、及び情報処理装置
US16/890,421 US11507127B2 (en) 2019-06-04 2020-06-02 Data generation method, computer-readable recording medium, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019104696A JP7346918B2 (ja) 2019-06-04 2019-06-04 データ生成プログラム、データ生成方法、及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2020195687A JP2020195687A (ja) 2020-12-10
JP7346918B2 true JP7346918B2 (ja) 2023-09-20

Family

ID=73647858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019104696A Active JP7346918B2 (ja) 2019-06-04 2019-06-04 データ生成プログラム、データ生成方法、及び情報処理装置

Country Status (2)

Country Link
US (1) US11507127B2 (ja)
JP (1) JP7346918B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2606700A (en) * 2021-04-21 2022-11-23 Prevayl Innovations Ltd Method of preparing training data for use in training a health event identification machine-learning model

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002306438A (ja) 2001-04-10 2002-10-22 Fukuda Denshi Co Ltd 心電図情報処理装置及び心電図情報処理方法
JP2010510851A (ja) 2006-12-01 2010-04-08 オックスフォード バイオシグナルズ リミテッド 生物医学的信号形態分析手法
US20170055863A1 (en) 2015-08-31 2017-03-02 Eric Baumann Electrocardiogram Device and Methods
JP2017192607A (ja) 2016-04-22 2017-10-26 ユニオンツール株式会社 心電図自動解析装置
JP2019025311A (ja) 2017-07-28 2019-02-21 パナソニックIpマネジメント株式会社 データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596132B (zh) * 2018-04-28 2022-07-29 上海微创电生理医疗科技股份有限公司 消融灶评价方法及系统
US10869610B2 (en) * 2018-12-05 2020-12-22 General Electric Company System and method for identifying cardiac arrhythmias with deep neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002306438A (ja) 2001-04-10 2002-10-22 Fukuda Denshi Co Ltd 心電図情報処理装置及び心電図情報処理方法
JP2010510851A (ja) 2006-12-01 2010-04-08 オックスフォード バイオシグナルズ リミテッド 生物医学的信号形態分析手法
US20170055863A1 (en) 2015-08-31 2017-03-02 Eric Baumann Electrocardiogram Device and Methods
JP2017192607A (ja) 2016-04-22 2017-10-26 ユニオンツール株式会社 心電図自動解析装置
JP2019025311A (ja) 2017-07-28 2019-02-21 パナソニックIpマネジメント株式会社 データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム

Also Published As

Publication number Publication date
JP2020195687A (ja) 2020-12-10
US20200387188A1 (en) 2020-12-10
US11507127B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
US9289150B1 (en) Non-invasive method and system for characterizing cardiovascular systems
Bayer et al. Universal ventricular coordinates: A generic framework for describing position within the heart and transferring data
JP4714000B2 (ja) 心機能解析装置及びその方法
CN104282036B (zh) 由稀疏样本对心脏进行的基于模型的重构
EP3723038A1 (en) Fast calculation method and system employing plaque stability index of medical image sequence
JP4521271B2 (ja) 変形可能な3次元対象の頭頂の動きに関する情報を表示する画像処理システム
EP3420483B1 (en) Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models
US9659152B2 (en) Computer-implemented technique for defining a bone cut
US20170068796A1 (en) System and method for real-time simulation of patient-specific cardiac electrophysiology including the effect of the electrical conduction system of the heart
Elshrif et al. A quantitative comparison of the behavior of human ventricular cardiac electrophysiology models in tissue
AU2016277628A1 (en) High definition coloring of heart chambers
RU2016112494A (ru) Устройство обработки для обработки данных сердечной деятельности
JP6243535B2 (ja) 解剖学的構造のモデルベースのセグメンテーション
JP6831944B1 (ja) 心電図データの拡張方法並びにその装置、電子機器及び媒体
US11612323B2 (en) Detection of rotational activity in cardiac electrophysiology
JP7346918B2 (ja) データ生成プログラム、データ生成方法、及び情報処理装置
Ling et al. Extraction of volumetric indices from echocardiography: which deep learning solution for clinical use?
Ayari et al. Analysis of regional deformation of the heart left ventricle
WO2013083201A1 (en) Method for determining contact position parameters of a joint connecting two bones
Genua et al. Centreline-based shape descriptors of the left atrial appendage in relation with thrombus formation
KR20210073282A (ko) 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템
JP6857885B2 (ja) 指定装置、指定装置の制御プログラムおよび制御方法
Takayama et al. A sketch-based interface for modeling myocardial fiber orientation
JP7283985B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
Sadhukhan et al. Automated identification of Myocardial Infarction using a single Vectorcardiographic feature

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7346918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150