JP7441436B2 - アラーム音検出装置およびアラーム音検出プログラム - Google Patents

アラーム音検出装置およびアラーム音検出プログラム Download PDF

Info

Publication number
JP7441436B2
JP7441436B2 JP2019138634A JP2019138634A JP7441436B2 JP 7441436 B2 JP7441436 B2 JP 7441436B2 JP 2019138634 A JP2019138634 A JP 2019138634A JP 2019138634 A JP2019138634 A JP 2019138634A JP 7441436 B2 JP7441436 B2 JP 7441436B2
Authority
JP
Japan
Prior art keywords
analysis data
frequency
alarm
time
rhythm pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019138634A
Other languages
English (en)
Other versions
JP2020024694A5 (ja
JP2020024694A (ja
Inventor
洋二 西脇
Original Assignee
株式会社リッジワークス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リッジワークス filed Critical 株式会社リッジワークス
Publication of JP2020024694A publication Critical patent/JP2020024694A/ja
Publication of JP2020024694A5 publication Critical patent/JP2020024694A5/ja
Application granted granted Critical
Publication of JP7441436B2 publication Critical patent/JP7441436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Description

本発明は、人工呼吸器や人工透析装置等のアラーム機能付き医療機器のアラーム音を検出するためのアラーム音検出装置に関するものである。
従来、人工呼吸器や人工透析装置等のアラーム機能付き医療機器は、患者の状態または医療機器の状態に異常が発生した場合、アラーム音を発することでメディカルスタッフ等に警報するようになっている。このため、病院内でアラーム機能付き医療機器を利用する患者には、メディカルスタッフがアラーム音を聞き逃すことのないように、ナースステーションから近い病室にしか入ることができない等の制約がある。
このような問題を解決するものとして、例えば、特開2002-177225号公報には、既存のナースコール回線を用いて複数の医療機器のアラーム信号がナースステーションに送信され、モニタすることができる集中モニタシステムが提案されている(特許文献1)。
特開2002-177225号公報
しかしながら、特許文献1に記載された発明においても、夜間などはナースステーションに在室しているメディカルスタッフの数が少ないため留守にしている場合や、他の業務や緊急事態に対応している場合等には、アラーム音を聞き逃してしまうおそれがある。また、入院患者が多い場合には必ずしもナースステーションに近い病室に空きがあるとは限らない。さらに、メディカルスタッフにとっては、他の業務を行いつつ、アラーム音を聞き逃さないように神経を研ぎ澄ませておく必要があり、精神的な疲労も大きい。
また、自宅でアラーム機能付き医療機器を利用する場合には、特許文献1に記載の集中モニタシステムを導入することもできない。このため、アラーム機能付き医療機器を利用している間は常時、誰かが近くで付き添っていなければならず、付添人は外出や就寝等が大きく制限されてしまうという問題がある。
さらに、アラーム機能付き医療機器が使用される病院や家屋内では、テレビやラジオの音、スマートフォンや携帯電話の着信音、患者や見舞客の会話やその他、食事の配膳作業音など、様々な音で溢れている。このため、人間の耳では近くでアラーム音が鳴っていても聞き分け難い場合もある。
本発明は、このような問題点を解決するためになされたものであって、アラーム機能付き医療機器のアラーム音を自動的かつ高精度に検出し、遠隔のユーザ端末にアラートを通知することにより、アラーム音の聞き逃しを防止するとともに、メディカルスタッフおよび付添人の精神的および肉体的な負担を軽減することができるアラーム音検出装置を提供することを目的としている。
本発明に係るアラーム音検出装置は、アラーム機能付き医療機器のアラーム音を自動的かつ高精度に検出し、遠隔のユーザ端末にアラートを通知することにより、アラーム音の聞き逃しを防止するとともに、メディカルスタッフおよび付添人の精神的および肉体的な負担を軽減するという課題を解決するために、アラーム機能付き医療機器のアラーム音を検出するアラーム音検出装置であって、音声入力手段を介して入力された音声信号の音量が、前記アラーム音の音量か否かを判別するために設定されている音量閾値以上であるか否かを判定する音量判定部と、前記音量が前記音量閾値以上となったときから所定の解析時間分の音声信号を解析対象となる音声解析データとして取得する音声解析データ取得部と、前記音声解析データの周波数が、前記アラーム音の周波数に相当するアラーム検出範囲内であるか否かを判定する周波数判定部と、前記音声解析データの周波数が前記アラーム検出範囲内のままで継続する継続時間が、所定のアラーム検出時間以上であるか否かを判定する継続時間判定部と、前記継続時間が前記アラーム検出時間以上となったとき、予め登録したユーザ端末にアラートを通知することを命令するアラート信号をサーバに送信するアラート信号送信部と、を有する。
また、本発明の一態様として、アラーム機能付き医療機器の異常音を自動的かつ高精度に検出し、遠隔のユーザ端末にアラートを通知することにより、アラーム機能付き医療機器の異常を速やかに発見・認識し、医療事故を未然に防止するという課題を解決するために、前記音声解析データの周波数が前記アラーム検出範囲外の場合、または前記継続時間が前記アラーム検出時間未満の場合、前記周波数判定部は、前記音声解析データの周波数が、異常音の周波数に相当する異常音検出範囲内であるか否かを判定し、前記音声解析データの周波数が前記異常音検出範囲内の場合、前記継続時間判定部は、前記音声解析データの周波数が前記異常音検出範囲内のままで継続する継続時間が、所定の異常音検出時間以上であるか否かを判定し、前記継続時間が前記異常音検出時間以上となったとき、前記アラート信号送信部は、前記アラート信号を前記サーバに送信してもよい。
さらに、本発明の一態様として、アラーム機能付き医療機器の周辺で発生するノイズをアラーム音や異常音として誤検出するのを防止するという課題を解決するために、前記音量閾値として前記音声信号の振幅における上限閾値と下限閾値とを設定しているとともに、前記周波数判定部は、前記音声解析データの周波数を特定する場合、前記音声解析データの波形のうち、前記上限閾値および前記下限閾値の双方を超える振幅を有する波形のみをカウントし、そのカウント数に基づいて前記周波数を特定してもよい。
また、本発明の一態様として、ユーザにアラーム音や異常音の発生を確実に認識させるという課題を解決するために、前記アラート信号が送信された後、所定の再送信設定時間が経過したか否かを判定する再送信判定部を有しており、前記再送信設定時間が経過したとき、前記アラート信号送信部は前記アラート信号を前記サーバに再送信してもよい。
さらに、本発明の一態様として、低音量または低周波数のアラーム音であっても自動的かつ高精度に検出するという課題を解決するために、前記音声解析データの周波数の時間的変化であるリズムパターンを検出するリズムパターン検出部と、前記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致するか否かを判定するリズムパターン判定部と、を有し、前記アラート信号送信部は、前記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致するとき、予め登録したユーザ端末にアラートを通知することを命令するアラート信号をサーバに送信してもよい。
また、本発明に係るアラーム音検出装置は、低音量または低周波数のアラーム音であっても自動的かつ高精度に検出し、遠隔のユーザ端末にアラートを通知することにより、アラーム音の聞き逃しを防止するとともに、メディカルスタッフおよび付添人の精神的および肉体的な負担を軽減するという課題を解決するために、アラーム機能付き医療機器のアラーム音を検出するアラーム音検出装置であって、音声入力手段を介して入力された音声信号の音量が、前記アラーム音の音量か否かを判別するために設定されている音量閾値以上であるか否かを判定する音量判定部と、前記音量が前記音量閾値以上となったときから所定の解析時間分の音声信号を解析対象となる音声解析データとして取得する音声解析データ取得部と、前記音声解析データの周波数の時間的変化であるリズムパターンを検出するリズムパターン検出部と、前記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致するか否かを判定するリズムパターン判定部と、前記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致するとき、予め登録したユーザ端末にアラートを通知することを命令するアラート信号をサーバに送信するアラート信号送信部と、を有する。
また、本発明の一態様として、ノイズを含む音響解析データからアラーム音のリズムパターンを高精度に検出するという課題を解決するために、前記リズムパターン検出部は、以下の工程(a)~(g)を実行することにより、前記音声解析データのリズムパターンを検出してもよい。
(a)前記音声解析データの計測ノイズを除去する。
(b)前記音声解析データにおいて相対的に大きな周波数変化を強調する。
(c)前記音声解析データにおいて相対的に小さな周波数変化を除外する。
(d)前記音声解析データにおける周波数変化の立ち上がりと立ち下がりを検出する。
(e)前記立ち上がりが最初に検出された立ち上がり時刻と、前記立ち下がりが最初に検出された立ち下がり時刻とを検出する。
(f)前記立ち上がり時刻と前記立ち下がり時刻とに基づいて、前記音声解析データの周波数がピークとなるピーク時刻を推定する。
(g)前記ピーク時刻が示す時系列のパターンを前記音声解析データのリズムパターンとして検出する。
さらに、本発明の一態様として、ピーク時刻を高精度に推定するという課題を解決するために、前記リズムパターン検出部は、前記立ち上がり時刻と前記立ち下がり時刻との中間を前記ピーク時刻として算出してもよい。
本発明によれば、アラーム機能付き医療機器のアラーム音を自動的かつ高精度に検出し、遠隔のユーザ端末にアラートを通知することにより、アラーム音の聞き逃しを防止するとともに、メディカルスタッフおよび付添人の精神的および肉体的な負担を軽減することができる。
本発明に係るアラーム音検出装置の第1実施形態を示すブロック図である。 第1実施形態において、音声入力手段から入力される音声信号の一例を示す波形である。 第1実施形態において、音声解析データの一例を示す波形である。 第1実施形態のアラーム音検出装置によって実行される処理を示すフローチャートである。 本発明に係るアラーム音検出装置の第2実施形態を示すブロック図である。 第2実施形態のアラーム音検出装置によって実行される処理を示すフローチャートである。 第2実施形態におけるリズムパターン検出処理の詳細を示すフローチャートである。 第2実施形態における音声解析データの周波数(カウント値)を示すグラフである。 第2実施形態において、ローパスフィルタ処理後の周波数を示すグラフである。 第2実施形態において、有限インパルス応答フィルタ処理後の周波数を示すグラフである。 第2実施形態において、足切り処理後の周波数を示すグラフである。 第2実施形態において、図9における周波数変化の状態を示すグラフである。 第2実施形態において、周波数のピーク時刻を示すグラフである。
以下、本発明に係るアラーム音検出装置の第1実施形態について図面を用いて説明する。
本第1実施形態のアラーム音検出装置1Aは、図1に示すように、アラーム機能付き医療機器10が発したアラーム音を検出し、アラート信号をサーバ11に送信することにより、予め登録したユーザ端末12にアラートを通知するためのものである。
具体的には、アラーム音検出装置1Aは、小型の筐体に内蔵されたマイクロコンピュータ等のコンピュータによって構成されており、主として、音声を入力する音声入力手段2と、サーバ11との間でデータ通信を行う通信手段3と、本第1実施形態のアラーム音検出プログラム1aや各種データを記憶する記憶手段4と、各種の演算処理を実行し後述する各構成部として機能する演算処理手段5とを有している。以下、各構成手段について詳細に説明する。
音声入力手段2は、音声を音声信号として入力するものである。本第1実施形態において、音声入力手段2は、マイクモジュールによって構成されており、アラーム機能付き医療機器10が発するアラーム音や異常音を始め、アラーム音検出装置1Aの周囲に発生する全ての音声を音声信号に変換して入力するようになっている。具体的には、音声信号は、図2に示すように、音量に応じた振幅を有する波形として入力される。
なお、本発明において、アラーム音とは、患者の状態または医療機器の状態に異常が発生した際に、メディカルスタッフや付添人に警告するための全てのアラーム音を含む概念である。また、異常音とは、人工呼吸器において吸入ホースが外れた際に生じるエアブロー音等のように、アラーム機能付き医療機器10に何らかの機械的な異常が発生した際に生じる全ての異常音を含む概念である。
通信手段3は、アラーム音検出装置1Aに通信機能を実装するものである。本第1実施形態において、通信手段3は、Wi-Fi(登録商標)等の無線LAN規格に対応した無線モジュールによって構成されている。そして、図示しないWi-Fiアクセスポイント等を介してサーバ11と無線通信するようになっている。なお、通信手段3の規格は、無線通信に限定されるものではなく、有線通信であってもよい。
なお、本発明において、アラーム機能付き医療機器10とは、人工呼吸器や人工透析装置等のように、患者の状態または医療機器の状態等に異常が発生した場合に、アラーム音を発する全ての医療機器を含む概念である。また、本発明において、サーバ11とは、クラウド環境に設けられたクラウドサーバ等のように、アラーム音検出装置1Aからのアラート信号を受信し、予め登録したユーザ端末12にアラートを通知することが可能な全てのサーバ11を含む概念である。さらに、本発明において、ユーザ端末12とは、スマートフォンやタブレット等のように、サーバ11からのアラートを受信して、その旨を音声、表示、バイブレーション等によってユーザに報知しうる全ての端末を含む概念である。
記憶手段4は、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等で構成されており、各種データを記憶するとともに、演算処理手段5が各種の演算処理を実行する際のワーキングエリアとして機能するものである。本第1実施形態において、記憶手段4は、図1に示すように、プログラム記憶部41と、パラメータ記憶部42とを有している。
プログラム記憶部41には、本第1実施形態のアラーム音検出プログラム1aがインストールされている。そして、演算処理手段5が、アラーム音検出プログラム1aを実行することにより、アラーム音検出装置1Aとしてのコンピュータを後述する各構成部として機能させるようになっている。
パラメータ記憶部42は、アラーム音検出装置1Aによって用いられる各種のパラメータを記憶するものである。本第1実施形態において、パラメータ記憶部42は、図1に示すように、音量閾値と、アラーム検出範囲と、アラーム検出時間と、異常音検出範囲と、異常音検出時間と、再送信設定時間とを記憶するようになっている。以下、各パラメータについて説明する。
音量閾値は、音声信号の音量が、アラーム音の音量に相当するか否かを判別するために設定されるパラメータである。アラーム検出範囲は、後述する音声解析データの周波数が、アラーム音の周波数に相当するか否かを判定するためのパラメータである。周波数は、単位時間あたりの波の数であるため、本第1実施形態では、アラーム検出範囲として、波の数が設定されている。具体的には、後述する解析時間(20ミリ秒)内における波の数の下限値として、40回が音量閾値として設定されている。これにより、2000Hz(=2000回/秒=40回/20ミリ秒)以上の周波数がアラーム検出範囲として設定される。
なお、本第1実施形態では、様々なアラーム音を漏れなく検出しうるように、アラーム検出範囲として、下限値のみを設定している。しかしながら、この構成に限定されるものではなく、上限値(例えば、4000Hz)も合わせて設定してもよい。これにより、特定のアラーム機能付き医療機器10のアラーム音のみが高精度に検出されるとともに、ノイズの誤検出が低減される。
アラーム検出時間は、後述する音声解析データの周波数がアラーム検出範囲内のままで継続する継続時間が、アラーム音に相当するか否かを判定するためのパラメータである。異常音検出範囲は、後述する音声解析データの周波数が、異常音の周波数に相当するか否かを判定するためのパラメータである。異常音検出時間は、後述する音声解析データの周波数が異常音検出範囲内のままで継続する継続時間が、異常音に相当するか否かを判定するためのパラメータである。再送信設定時間は、アラート信号をサーバ11に再送信するか否かを判定するためのパラメータである。
演算処理手段5は、CPU(Central Processing Unit)等によって構成されており、プログラム記憶部41にインストールされたアラーム音検出プログラム1aを実行することにより、図1に示すように、音声信号取得部51と、音量判定部52と、音声解析データ取得部53と、周波数判定部54と、継続時間判定部55と、アラート信号送信部56と、アラート再送信判定部57として機能するようになっている。以下、各構成部についてより詳細に説明する。
音声信号取得部51は、アラーム音検出装置1Aの周囲に発生する音声の音声信号を取得するものである。本第1実施形態において、音声信号取得部51は、音声入力手段2を介して入力された音声信号を常時、取得するようになっている。
音量判定部52は、音声信号の音量を判定するものである。本第1実施形態において、音量判定部52は、音声信号取得部51によって取得された音声信号の音量が、パラメータ記憶部42に設定されている音量閾値以上であるか否かを判定する。これにより、所定の音量閾値以上の音量を有する音声信号のみが、アラーム音の候補として抽出される。
音声解析データ取得部53は、解析対象となる音声解析データを取得するものである。本第1実施形態において、音声解析データ取得部53は、音量判定部52によって音量が音量閾値以上であると判定されたときから、すなわち、音量閾値以上の音量を検出したときから所定の解析時間分の音声信号を音声解析データとして取得する。なお、本第1実施形態では、上述したとおり、解析時間として20ミリ秒が設定されている。
周波数判定部54は、音声解析データの周波数を判定するものである。本第1実施形態において、周波数判定部54は、音声解析データ取得部53によって取得された音声解析データの周波数が、パラメータ記憶部42に設定されているアラーム検出範囲内であるか否かを判定する。これにより、アラーム検出範囲内の周波数を有する音声解析データのみが、アラーム音の候補として抽出される。
なお、本第1実施形態では、音量閾値として音声信号の振幅における上限閾値と下限閾値とが設定されている。そして、周波数判定部54は、音声解析データの周波数を特定する場合、図3に示すように、音声解析データの波形のうち、上限閾値および下限閾値の双方を超える振幅を有する波形のみをカウントし、そのカウント数に基づいて周波数を特定するようになっている。
例えば、図3に示す例では、解析時間(20ミリ秒)内において、上限閾値および下限閾値の双方を超える振幅を有する波形が9つ存在する。このため、9回/20ミリ秒を単位時間あたりの回数に換算すると、450回/秒であるため、周波数は450Hzであると特定される。これにより、上限閾値または下限閾値の一方しか超えない不規則な音声についてはカウントせず、正確な周波数が特定されるため、ノイズの誤検出が防止される。
継続時間判定部55は、音声解析データの周波数が所定の範囲内のままで継続する継続時間を判定するものである。本第1実施形態において、継続時間判定部55は、周波数判定部54によって音声解析データの周波数がアラーム検出範囲内のままで継続していると判定された場合、当該継続時間が、アラーム検出時間以上であるか否かを判定する。これにより、単発的な摩擦音や破裂音等のノイズについては、アラーム検出時間未満の音声解析データと判定されるため、誤検出が防止される。
また、本第1実施形態において、周波数判定部54および継続時間判定部55は、音声解析データの周波数や継続時間が、アラーム音の周波数や継続時間に相当しない場合でも、別途、異常音の周波数や継続時間に相当するかを判定する機能を有している。具体的には、周波数判定部54は、音声解析データの周波数がアラーム検出範囲外の場合、または音声解析データの周波数がアラーム検出範囲内のままで継続する継続時間がアラーム検出時間未満の場合、音声解析データの周波数が、パラメータ記憶部42に設定されている異常音検出範囲内であるか否かを判定する。そして、音声解析データの周波数が異常音検出範囲内の場合、継続時間判定部55は、音声解析データの周波数が異常音検出範囲内のままで継続する継続時間が、異常音検出時間以上であるか否かを判定するようになっている。
アラート信号送信部56は、アラート信号をサーバ11に送信するものである。本第1実施形態では、サーバ11側に、アラートを通知したい全てのユーザ端末12に関する情報(メールアドレス等)が予め登録されている。また、アラート信号は、予め登録したユーザ端末12にアラートを通知することをサーバ11に命令する信号である。そして、アラート信号送信部56は、継続時間判定部55によって、音声解析データの周波数がアラーム検出範囲内のままで継続する継続時間がアラーム検出時間以上と判定されたとき、通信手段3を介してアラート信号をサーバ11に送信する。
また、本第1実施形態において、アラート信号送信部56は、継続時間判定部55によって、音声解析データの周波数が異常音検出範囲内のままで継続する継続時間が異常音検出時間以上と判定されたとき、通信手段3を介してアラート信号をサーバ11に送信するようになっている。
アラート再送信判定部57は、アラート信号を再送信するか否かを判定するものである。本第1実施形態において、アラート再送信判定部57は、アラート信号送信部56によってアラート信号が送信された後、パラメータ記憶部42に設定された再送信設定時間が経過したか否かを判定する。そして、再送信設定時間が経過した場合、メディカルスタッフ等にアラートが伝わっていない可能性があるため、アラート再送信判定部57は、アラート信号をサーバ11に再送信するようアラート信号送信部56に指示する。
一方、再送信設定時間が経過する前に、アラート信号を解除する操作が行われた場合には、ユーザがアラートに気付いたものとして、アラート再送信判定部57による判定処理を終了する。なお、アラート信号を解除する操作としては、アラーム機能付き医療機器10に設けられているボタンの押下等が挙げられる。
つぎに、本第1実施形態のアラーム音検出装置1Aの作用について、図4のフローチャートを参照しつつ説明する。
本第1実施形態のアラーム音検出装置1Aを用いて、アラーム機能付き医療機器10のアラーム音や異常音を検出する場合、事前に、パラメータ記憶部42に、音量閾値と、アラーム検出範囲と、アラーム検出時間と、異常音検出範囲と、異常音検出時間と、再送信設定時間とを予め設定しておく。また、サーバ11には、アラートを通知したい全てのユーザ端末12に関する情報を予め登録しておく。
つぎに、アラーム機能付き医療機器10の周辺にアラーム音検出装置1Aを設置すると、音声信号取得部51が、周囲音の音声信号を取得する(ステップS1)。そして、当該音声信号の音量が音量閾値以上であるか否かが、音量判定部52によって判定される(ステップS2)。
ステップS2における判定の結果、音声信号の音量が音量閾値未満であれば(ステップS2:NO)、ステップS1からの処理を繰り返す。これにより、アラーム音や異常音に相当する音量を有しない音声信号については、アラーム音や異常音ではないノイズとして放置される。
一方、音声信号の音量が音量閾値以上の場合(ステップS2:YES)、アラーム音または異常音の可能性があるとして、音声解析データ取得部53が、所定の解析時間分の音声信号を音声解析データとして取得する(ステップS3)。そして、周波数判定部54が、当該音声解析データの周波数がアラーム検出範囲内であるか否かを判定する(ステップS4)。
ステップS4における判定の結果、音声解析データの周波数がアラーム検出範囲内でなければ(ステップS4:NO)、アラーム音ではないノイズとして、後述するステップS6の処理へと進む。一方、音声解析データの周波数がアラーム検出範囲内であれば(ステップS4:YES)、継続時間判定部55が、アラーム検出範囲内のままで継続する継続時間がアラーム検出時間以上であるか否かを判定する(ステップS5)。
ステップS5における判定の結果、継続時間がアラーム検出時間以上の場合(ステップS5:YES)、アラート信号送信部56が、通信手段3を介してアラート信号をサーバ11に送信する(ステップS8)。これにより、アラーム機能付き医療機器10のアラーム音に相当する音量、周波数および継続時間を有する音声信号のみが、アラーム音であるとして自動的かつ高精度に検出される。
そして、アラーム音の検出に応じて、サーバ11からユーザ端末12にアラートが通知されるため、仮に、ユーザがアラーム機能付き医療機器10から遠く離れた場所にいて直接アラーム音が聞こえない場合でも、アラーム音が発生している状況を知らせることができる。また、自宅でアラーム機能付き医療機器10を利用する場合においては、近くで付き添っていなくても、アラーム音が鳴ったことがユーザ端末12にリアルタイムで報知されるため、付添人の肉体的かつ精神的な負担が軽減される。
一方、音声解析データの周波数がアラーム検出範囲外の場合(ステップS4:NO)、または音声解析データの周波数がアラーム検出範囲内のままで継続する継続時間がアラーム検出時間未満の場合(ステップS5:NO)、周波数判定部54は、音声解析データの周波数が異常音検出範囲内であるか否かを判定する(ステップS6)。
ステップS6における判定の結果、音声解析データの周波数が異常音検出範囲内でなければ(ステップS6:NO)、ステップS1へ戻り、上述した処理を繰り返す。これにより、アラーム音や異常音に相当する周波数を有しない音声信号については、アラーム音や異常音ではないものとして放置される。
一方、音声解析データの周波数が異常音検出範囲内であれば(ステップS6:YES)、継続時間判定部55が、異常音検出範囲内のままで継続する継続時間が異常音検出時間以上であるか否かを判定する(ステップS7)。当該判定の結果、継続時間が異常音検出時間以上の場合(ステップS7:YES)、アラート信号送信部56が、通信手段3を介してアラート信号をサーバ11に送信する(ステップS8)。これにより、異常音に相当する音量、周波数および継続時間を有する音声信号については、異常音であるとして自動的かつ高精度に検出される。
そして、異常音の検出に応じて、サーバ11からユーザ端末12にアラートが通知されるため、仮に、アラーム機能付き医療機器10に何らかの異常が発生した場合でも、当該異常が速やかに発見・認識され、医療事故が未然に防止される。一方、継続時間が異常音検出時間以上継続していなければ(ステップS7:NO)、ステップS1へと戻り、上述した処理を繰り返す。これにより、異常音に相当する周波数を有する音声信号であっても、継続時間が短いものについては、異常音ではないものとして放置される。
アラート信号がサーバ11に送信された後(ステップS8)、アラート再送信判定部57が、再送信設定時間が経過したか否かを判定する(ステップS9)。当該判定の結果、再送信設定時間が経過する前に(ステップS9:NO)、アラート信号を解除する操作が行われた場合(ステップS10:YES)、ステップS1へ戻り、上述した処理を繰り返す。
一方、アラート信号の解除操作が行われることなく(ステップS10:NO)、再送信設定時間が経過した場合(ステップS9:YES)、ステップS8へ戻り、アラート再送信判定部57は、アラート信号をサーバ11に再送信するようアラート信号送信部56に指示することにより、アラート信号をサーバ11へ送信させる。これにより、最初のアラートに気付かないユーザがいたとしても、アラート信号が解除されるまでは、アラートが繰り返し通知されるため、アラーム音の発生を確実に認識させることが可能となる。
以上のような本第1実施形態のアラーム音検出装置1Aによれば、以下のような効果を奏する。
1.アラーム機能付き医療機器10のアラーム音を自動的かつ高精度に検出し、遠隔のユーザ端末12にアラートを通知することにより、アラーム音の発生を確実に伝えることができ、メディカルスタッフおよび付添人の肉体的かつ精神的な負担を軽減することができる。
2.アラーム機能付き医療機器10の異常音を自動的かつ高精度に検出し、遠隔のユーザ端末12にアラートを通知することにより、アラーム機能付き医療機器10の異常を速やかに発見・認識し、医療事故を未然に防止することができる。
3.アラーム機能付き医療機器の周辺で発生するノイズをアラーム音や異常音として誤検出するのを防止することができる。
4.サーバ11を介してアラートを通知するため、ユーザ端末12が同一ネットワーク上に存在していなくても、アラーム機能付き医療機器10を監視し、アラートを通知することができる。
5.サーバ11を介してアラートを通知するため、アラートを通知すべきユーザ端末12が増減した場合でも、アラーム音検出装置1A側の設定を変更する必要がない。
6.アラーム音検出装置1Aは、サーバ11にだけアラート信号を送信するだけでよいため、高いセキュリティ性を担保することができる。
つぎに、本発明に係るアラーム音検出装置の第2実施形態について説明する。なお、本第2実施形態の構成のうち、上述した第1実施形態と同一もしくは相当する構成については同一の符号を付し、再度の説明を省略する。
本第2実施形態の特徴は、第1実施形態で上述した周波数による検出機能に加えて、周波数の時間的変化であるリズムパターンを用いてアラーム音を検出する機能を有する点にある。
具体的には、本第2実施形態のアラーム音検出装置1Bは、図5に示すように、第1実施形態の構成に加えて、記憶手段4のパラメータ記憶部42には、様々なアラーム機能付き医療機器10ごとに固有のアラーム音のリズムパターン(周波数の時間的変化)が予め記憶されている。また、演算処理手段5は、別途、リズムパターン検出部58と、リズムパターン判定部59としても機能するようになっている。
リズムパターン検出部58は、音声解析データの周波数の時間的変化であるリズムパターンを検出するものである。本第2実施形態において、リズムパターン検出部58は、音声解析データ取得部53が音声解析データを取得するたびに、それまでに取得した所定時間分の音声解析データと合わせて、以下の工程(a)~(g)を実行することにより、音声解析データのリズムパターンを検出するようになっている。
(a)音声解析データの計測ノイズを除去する。
(b)音声解析データにおいて相対的に大きな周波数変化を強調する。
(c)音声解析データにおいて相対的に小さな周波数変化を除外する。
(d)音声解析データにおける周波数変化の立ち上がりと立ち下がりを検出する。
(e)立ち上がりが最初に検出された立ち上がり時刻と、立ち下がりが最初に検出された立ち下がり時刻とを検出する。
(f)立ち上がり時刻と立ち下がり時刻とに基づいて、音声解析データの周波数がピークとなるピーク時刻を推定する。
(g)ピーク時刻が示す時系列のパターンを音声解析データのリズムパターンとして検出する。
各工程の詳細については後述する。なお、本第2実施形態において、周波数変化の立ち上がりとは、音の鳴り始めに相当するものであり、周波数が増加している状態にあることを意味する。また、周波数変化の立ち下がりとは、音の鳴り終わりに相当するものであり、周波数が減少している状態にあることを意味する。
リズムパターン判定部59は、音声解析データのリズムパターンが、アラーム音のリズムパターンと一致するか否かを判定するものである。本第2実施形態において、リズムパターン判定部59は、リズムパターン検出部58によって検出されたリズムパターンと、パラメータ記憶部42に記憶されているリズムパターンとを比較する。そして、所定の許容範囲内において、両者が一致するか否かを判定するようになっている。
つぎに、本第2実施形態のアラーム音検出装置1Bの作用について、図6および図7のフローチャートを参照しつつ説明する。
本第2実施形態では、まず、図6に示すように、第1実施形態と同様、音声信号取得部51によって周囲音の音声信号が取得されると(ステップS1)、当該音声信号の音量が音量閾値以上であるか否かが音量判定部52によって判定される(ステップS2)。このとき、本第2実施形態では、リズムパターンによる照合によってノイズの誤検知が低減されるため、音量閾値を小さく(狭く)設定することが可能となる。これにより、音量が小さい(振幅が小さい)アラーム音についても検知率が向上する。
つぎに、音声解析データ取得部53が、所定の解析時間(20ms)分の音声信号を音声解析データとして取得し(ステップS3)、その周波数(カウント値)を特定する。なお、音声解析データの周波数は、上述したとおり、音声解析データの波形のうち、上限閾値および下限閾値の双方を超える振幅を有する波形のみをカウントし、そのカウント数に基づいて周波数を特定する。
つづいて、音声解析データの周波数(カウント値)が入力されたリズムパターン検出部58は、当該音声解析データの周波数の時間的変化であるリズムパターンを検出する(ステップS11)。以下、リズムパターン検出ステップにおける具体的な処理内容について、図7を参照しつつ説明する。
まず、リズムパターン検出部58は、図8に示すような音声解析データの周波数(カウント値)に、ローパスフィルタ(LPF:Low-Pass Filter)を用いることにより、計測ノイズを除去する(ステップS111:上記工程(a))。これにより、図9に示すように、周波数変化が細かい部分が除去され、周波数変化の少ない部分のみが残される。なお、図9では、ローパスフィルタによる量子化誤差(丸め誤差)を低減するため、カウント値を100倍している。
つぎに、リズムパターン検出部58は、ローパスフィルタ処理後の周波数(カウント値)に、有限インパルス応答(FIR:Finite Impulse Response)フィルタを用いることにより、図10に示すように、相対的に大きな周波数変化を強調する(ステップS112:上記工程(b))。
つづいて、リズムパターン検出部58は、所定の閾値(カウント値)で音声解析データの周波数(カウント値)を足切りすることにより、図11に示すように、相対的に小さな周波数変化を除外する(ステップS113:上記工程(c))。これにより、次のステップS114において、ノイズのような細かい周波数変化の立ち上がりや立ち下がりを判定してしまうことが防止されるため、本来の抽出したいアラーム音の立ち上がりや立ち下がりが正確に検知される。
なお、本第2実施形態では、図10に示すように、足切りする際の周波数(カウント値)の閾値を1000に設定しているが、この値に限定されるものではなく、適宜増減させてもよい。
つぎに、リズムパターン検出部58は、音声解析データにおける周波数変化の立ち上がりと立ち下がりを検出する(ステップS114:上記工程(d))。具体的には、リズムパターン検出部58は、足切り処理後のカウント値(図11)において、前回取得した音声解析データの周波数(カウント値)と、今回取得した音声解析データの周波数(カウント値)とを比較する。そして、図12に示すように、カウント値が増加していれば立ち上がりと判定し、カウント値が減少していれば立ち下がりと判定する。
つづいて、リズムパターン検出部58は、ステップS114で検出された立ち上がりと立ち下がりに基づき、立ち上がりが最初に検出された立ち上がり時刻と、立ち下がりが最初に検出された立ち下がり時刻とを検出する(ステップS115:上記工程(e))。そして、当該立ち上がり時刻と当該立ち下がり時刻とに基づいて、音声解析データの周波数(カウント値)がピークとなるピーク時刻を推定する(ステップS116:上記工程(f))。具体的には、図13に示すように、リズムパターン検出部58は、立ち上がり時刻と立ち下がり時刻との中間をピーク時刻として算出する。これにより、一音の時間が長く、周波数のピークがなだらかで判別しにくいアラーム音であっても、誤差の少ない検出が可能となる。
そして、リズムパターン検出部58は、図13に示すように、ステップS116で算出されたピーク時刻が示す時系列のパターンを音声解析データのリズムパターンとして検出する(ステップS117:上記工程(g))。
以上の処理により、生活雑音等のノイズを含む音響解析データからでも、アラーム機能付き医療機器のアラーム音のリズムパターンが高精度に検出される。
図6に戻り、リズムパターン判定部59は、ステップS11で検出された音声解析データのリズムパターンが、アラーム音のリズムパターンと一致するか否かを判定する(ステップS12)。当該判定の結果、一致するリズムパターンがあれば(ステップS12:YES)、アラート信号送信部56が、通信手段3を介してアラート信号をサーバ11に送信する(ステップS8)。これにより、アラーム機能付き医療機器10のアラーム音のリズムパターンと同等のリズムパターンを有する音声信号が、アラーム音であるとして自動的かつ高精度に検出される。
一方、一致するリズムパターンがなければ(ステップS12:NO)、第1実施形態で説明したステップS4以降の処理へと進み、アラーム機能付き医療機器10のアラーム音に相当する音量、周波数および継続時間を有する音声信号がアラーム音であるとして自動的かつ高精度に検出される。
以上のような本第2実施形態によれば、上述した第1実施形態の作用効果に加えて、以下のような効果を奏する。
1.音量が小さくて正しい周波数を計測できないアラーム音であっても、リズムパターンに基づいて検出することができる。
2.生活雑音等をアラーム音として誤検出することなく、生活雑音程度に周波数が低いアラーム音を検出することができる。
なお、本発明に係るアラーム音検出装置1A,1Bは、前述した各実施形態に限定されるものではなく、適宜変更することができる。
例えば、上述した各実施形態では、アラーム音検出装置1A,1Bが、アラーム音の検出機能に加えて、異常音の検出機能や、アラートの再送信機能を兼ね備えているが、これらのオプション的機能は必ずしも備えていなくてもよい。すなわち、本発明に係るアラーム音検出装置1A,1Bは、少なくともアラーム音の検出機能のみを有していればよい。
また、上述した第1実施形態では、アラーム音や異常音を検出する際に、音量、周波数および継続時間という3つのパラメータを用いて判定している。しかしながら、各パラメータの値を調整することにより、いずれか1つまたは2つのパラメータによって検出するようにしてもよい。例えば、音量閾値をゼロに設定することにより、実質的には、周波数および継続時間のみによって判定がなされることとなる。
さらに、上述した第1実施形態では、周波数による検出機能のみを備えたアラーム音検出装置1Aについて説明し、上述した第2実施形態では、周波数による検出機能とリズムパターンによる検出機能とを兼ね備えたアラーム音検出装置1Bについて説明したが、リズムパターンによる検出機能のみを備えたアラーム音検出装置としてもよい。
また、上述した第2実施形態では、様々なアラーム機能付き医療機器10のアラーム音を検出しうるように、パラメータ記憶部42には、複数のリズムパターンを記憶させているが、この構成に限定されるものではない。例えば、アラーム音検出装置1Bを自宅で使用する場合には、その家で使用されるアラーム機能付き医療機器10が発するアラーム音のリズムパターンのみを記憶させてもよい。
1A アラーム音検出装置(第1実施形態)
1B アラーム音検出装置(第2実施形態)
1a アラーム音検出プログラム
2 音声入力手段
3 通信手段
4 記憶手段
5 演算処理手段
10 アラーム機能付き医療機器
11 サーバ
12 ユーザ端末
41 プログラム記憶部
42 パラメータ記憶部
51 音声信号取得部
52 音量判定部
53 音声解析データ取得部
54 周波数判定部
55 継続時間判定部
56 アラート信号送信部
57 アラート再送信判定部
58 リズムパターン検出部
59 リズムパターン判定部

Claims (6)

  1. アラーム機能付き医療機器のアラーム音を検出するアラーム音検出装置であって、
    音声入力手段を介して入力された音声信号の音量が、前記アラーム音の音量か否かを判別するために設定されている音量閾値以上であるか否かを判定する音量判定部と、
    前記音量が前記音量閾値以上となったときから所定の解析時間分の音声信号を解析対象となる音声解析データとして取得する音声解析データ取得部と、
    前記音声解析データの周波数が、前記アラーム音の周波数に相当するアラーム検出範囲内であるか否かを判定する周波数判定部と、
    前記音声解析データの周波数が前記アラーム検出範囲内のままで継続する継続時間が、所定のアラーム検出時間以上であるか否かを判定する継続時間判定部と、
    前記音声解析データの周波数の時間的変化であるリズムパターンを検出するリズムパターン検出部と、
    前記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致するか否かを判定するリズムパターン判定部と、
    記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致するとき、または、前記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致せず、かつ、前記音声解析データの周波数が前記アラーム検出範囲内のままで継続する継続時間が、前記アラーム検出時間以上となったとき、予め登録したユーザ端末にアラートを通知することを命令するアラート信号をサーバに送信するアラート信号送信部と、を有し、
    前記リズムパターン検出部は、以下の工程(a)~(g)を実行することにより、前記音声解析データのリズムパターンを検出する、アラーム音検出装置;
    (a)前記音声解析データの計測ノイズを除去する;
    (b)前記音声解析データにおいて相対的に大きな周波数変化を強調する;
    (c)前記音声解析データにおいて相対的に小さな周波数変化を除外する;
    (d)前記音声解析データにおける周波数変化の立ち上がりと立ち下がりを検出する;
    (e)前記立ち上がりが最初に検出された立ち上がり時刻と、前記立ち下がりが最初に検出された立ち下がり時刻とを検出する;
    (f)前記立ち上がり時刻と前記立ち下がり時刻とに基づいて、前記音声解析データの周波数がピークとなるピーク時刻を推定する;
    (g)前記ピーク時刻が示す時系列のパターンを前記音声解析データのリズムパターンとして検出する。
  2. 前記音声解析データの周波数が前記アラーム検出範囲外の場合、または前記継続時間が前記アラーム検出時間未満の場合、前記周波数判定部は、前記音声解析データの周波数が、異常音の周波数に相当する異常音検出範囲内であるか否かを判定し、
    前記音声解析データの周波数が前記異常音検出範囲内の場合、前記継続時間判定部は、前記音声解析データの周波数が前記異常音検出範囲内のままで継続する継続時間が、所定の異常音検出時間以上であるか否かを判定し、
    前記継続時間が前記異常音検出時間以上となったとき、前記アラート信号送信部は、前記アラート信号を前記サーバに送信する、請求項1に記載のアラーム音検出装置。
  3. 前記音量閾値として前記音声信号の振幅における上限閾値と下限閾値とを設定しているとともに、前記周波数判定部は、前記音声解析データの周波数を特定する場合、前記音声解析データの波形のうち、前記上限閾値および前記下限閾値の双方を超える振幅を有する波形のみをカウントし、そのカウント数に基づいて前記周波数を特定する、請求項1または請求項2に記載のアラーム音検出装置。
  4. 前記アラート信号が送信された後、所定の再送信設定時間が経過したか否かを判定する再送信判定部を有しており、
    前記再送信設定時間が経過したとき、前記アラート信号送信部は前記アラート信号を前記サーバに再送信する、請求項1から請求項3のいずれかに記載のアラーム音検出装置。
  5. 前記リズムパターン検出部は、前記立ち上がり時刻と前記立ち下がり時刻との中間を前記ピーク時刻として算出する、請求項1から請求項4のいずれかに記載のアラーム音検出装置。
  6. アラーム機能付き医療機器のアラーム音を検出するアラーム音検出プログラムであって、
    音声入力手段を介して入力された音声信号の音量が、前記アラーム音の音量か否かを判別するために設定されている音量閾値以上であるか否かを判定する音量判定部と、
    前記音量が前記音量閾値以上となったときから所定の解析時間分の音声信号を解析対象となる音声解析データとして取得する音声解析データ取得部と、
    前記音声解析データの周波数が、前記アラーム音の周波数に相当するアラーム検出範囲内であるか否かを判定する周波数判定部と、
    前記音声解析データの周波数が前記アラーム検出範囲内のままで継続する継続時間が、所定のアラーム検出時間以上であるか否かを判定する継続時間判定部と、
    前記音声解析データの周波数の時間的変化であるリズムパターンを検出するリズムパターン検出部と、
    前記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致するか否かを判定するリズムパターン判定部と、
    記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致するとき、または、前記音声解析データのリズムパターンが前記アラーム音のリズムパターンと一致せず、かつ、前記音声解析データの周波数が前記アラーム検出範囲内のままで継続する継続時間が、前記アラーム検出時間以上となったとき、予め登録したユーザ端末にアラートを通知することを命令するアラート信号をサーバに送信するアラート信号送信部としてコンピュータを機能させ、
    前記リズムパターン検出部は、以下の工程(a)~(g)を実行することにより、前記音声解析データのリズムパターンを検出する、アラーム音検出プログラム;
    (a)前記音声解析データの計測ノイズを除去する;
    (b)前記音声解析データにおいて相対的に大きな周波数変化を強調する;
    (c)前記音声解析データにおいて相対的に小さな周波数変化を除外する;
    (d)前記音声解析データにおける周波数変化の立ち上がりと立ち下がりを検出する;
    (e)前記立ち上がりが最初に検出された立ち上がり時刻と、前記立ち下がりが最初に検出された立ち下がり時刻とを検出する;
    (f)前記立ち上がり時刻と前記立ち下がり時刻とに基づいて、前記音声解析データの周波数がピークとなるピーク時刻を推定する;
    (g)前記ピーク時刻が示す時系列のパターンを前記音声解析データのリズムパターンとして検出する。
JP2019138634A 2018-08-03 2019-07-29 アラーム音検出装置およびアラーム音検出プログラム Active JP7441436B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018146380 2018-08-03
JP2018146380 2018-08-03

Publications (3)

Publication Number Publication Date
JP2020024694A JP2020024694A (ja) 2020-02-13
JP2020024694A5 JP2020024694A5 (ja) 2020-08-06
JP7441436B2 true JP7441436B2 (ja) 2024-03-01

Family

ID=69618784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019138634A Active JP7441436B2 (ja) 2018-08-03 2019-07-29 アラーム音検出装置およびアラーム音検出プログラム

Country Status (1)

Country Link
JP (1) JP7441436B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112735110B (zh) * 2020-12-29 2022-06-07 深圳市安室智能有限公司 智能报警器测试系统、方法及装置
CN113938754B (zh) * 2021-10-11 2024-01-19 深圳创维-Rgb电子有限公司 自动报警方法、装置、设备及存储介质
CN115240343A (zh) * 2022-07-20 2022-10-25 中国人民解放军联勤保障部队第九〇四医院 一种病房医疗仪器报警附属装置及其使用方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077875A (ja) 2003-09-02 2005-03-24 Tama Tlo Kk 警報音源認識装置及び警報音源認識方法
JP2006095263A (ja) 2004-08-31 2006-04-13 Katsuhiko Shirakawa 医療機器監視装置
JP2007172536A (ja) 2005-12-26 2007-07-05 Nec Soft Ltd 医療機器監視システム
JP2007319287A (ja) 2006-05-31 2007-12-13 Keakomu:Kk アラーム認識装置
JP2012053596A (ja) 2010-08-31 2012-03-15 Katsuhiko Asada 異常検知装置およびセキュリティシステム
JP2012198618A (ja) 2011-03-18 2012-10-18 Chugoku Electric Power Co Inc:The 放流警報中継システム
JP2014021636A (ja) 2012-07-17 2014-02-03 Hochiki Corp 警報連携システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077875A (ja) 2003-09-02 2005-03-24 Tama Tlo Kk 警報音源認識装置及び警報音源認識方法
JP2006095263A (ja) 2004-08-31 2006-04-13 Katsuhiko Shirakawa 医療機器監視装置
JP2007172536A (ja) 2005-12-26 2007-07-05 Nec Soft Ltd 医療機器監視システム
JP2007319287A (ja) 2006-05-31 2007-12-13 Keakomu:Kk アラーム認識装置
JP2012053596A (ja) 2010-08-31 2012-03-15 Katsuhiko Asada 異常検知装置およびセキュリティシステム
JP2012198618A (ja) 2011-03-18 2012-10-18 Chugoku Electric Power Co Inc:The 放流警報中継システム
JP2014021636A (ja) 2012-07-17 2014-02-03 Hochiki Corp 警報連携システム

Also Published As

Publication number Publication date
JP2020024694A (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
JP7441436B2 (ja) アラーム音検出装置およびアラーム音検出プログラム
CA2657149C (en) Medical notification apparatus and method
CN103842942B (zh) 传送患者监测系统上的初级报警通知的系统和方法
JP6367937B2 (ja) 音響アラーム検出及び妥当性検証のための装置及び方法
KR102179043B1 (ko) 보청기의 특성 변화를 검출하기 위한 장치 및 방법
JP2020074110A (ja) 見守り監視システム
JP2005521453A (ja) 検出及び警報システム
JP2013511304A (ja) Eegアセンブリを持ち運ぶ人物を警告する方法および装置
KR102008293B1 (ko) 노약자 관리 디바이스 및 노약자 관리 시스템
US11176798B2 (en) Anomaly notification system and anomaly notification method
JP2020166873A (ja) システム、システムの制御方法、制御プログラム、制御プログラムを記録したコンピューター読み取り可能な記録媒体、および情報管理者端末
US20180184945A1 (en) Method and device for detecting a worsening of the cardio- respiratory condition of a patient within a respiratory assistance device
WO2017010956A1 (en) A monitoring system
KR20170082951A (ko) 환자 객담을 확인할 수 있는 환자 감시 장치
JP2011156099A (ja) ナースコールシステム
KR102268456B1 (ko) 실시간 모니터링 및 돌봄 시스템
WO2019063882A1 (en) SYSTEM FOR DETERMINING SOUND SOURCE
JP6539799B1 (ja) 安否確認システム
JP2017194971A (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
JP2015160131A (ja) 監視装置及び監視システム
CN204965687U (zh) 医用远程监控报警器
JP7112830B2 (ja) アラームシステム
US20210280036A1 (en) Emergency appliance termination switch
JP7338268B2 (ja) 見守りシステムおよび見守り方法
EP4123613B1 (en) Telehealth care system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240206

R150 Certificate of patent or registration of utility model

Ref document number: 7441436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150