JP6828813B2 - 情報処理装置、及び検出装置 - Google Patents

情報処理装置、及び検出装置 Download PDF

Info

Publication number
JP6828813B2
JP6828813B2 JP2019521563A JP2019521563A JP6828813B2 JP 6828813 B2 JP6828813 B2 JP 6828813B2 JP 2019521563 A JP2019521563 A JP 2019521563A JP 2019521563 A JP2019521563 A JP 2019521563A JP 6828813 B2 JP6828813 B2 JP 6828813B2
Authority
JP
Japan
Prior art keywords
time
living body
distance
respiration
waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019521563A
Other languages
English (en)
Other versions
JPWO2018220701A1 (ja
Inventor
祐治 桑原
祐治 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of JPWO2018220701A1 publication Critical patent/JPWO2018220701A1/ja
Application granted granted Critical
Publication of JP6828813B2 publication Critical patent/JP6828813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/536Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/356Receivers involving particularities of FFT processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414Discriminating targets with respect to background clutter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Electromagnetism (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、情報処理装置、及び検出装置に関する。
従来、FM−CW(Frequency Modulated Continuous Wave)レーダセンサを用いて、人や物との距離を測定する技術が知られている。FM−CWレーダセンサは、周波数掃引された電波を送信波とし、送信波と反射波の周波数の差分であるビート周波数を算出し、算出したビート周波数に基づいて、センサから測定対象までの距離を算出する。
また、このFM−CWレーダセンサを用いて、生体の呼吸を検出する技術も知られている(例えば、特許文献1、2を参照)。
特開2016−135194号公報 特開2016−156751号公報
しかしながら、従来技術では、家具、雑貨、壁、床、天井等の生体以外の物を、生体として検出してしまう場合があるという問題がある。
また、例えば、測定対象の生体の近くに水槽や飲料容器等がある場合、送信波の周波数によっては、水による反射波が比較的強くなるため、呼吸の有無を誤判定してしまう場合があるという問題がある。
そこで、一側面では、生体の検出精度を向上させることができる技術を提供することを目的とする。
一つの案では、センサにより送信された周波数掃引された電波である送信波と、前記センサにより受信された前記送信波の反射波との差分であるビート信号に基づき距離スペクトルを算出し、前記センサからの各距離について前記距離スペクトルの強度の時間変化を示す時系列波形を算出する算出部と、前記時系列波形における、第1の時刻での前記距離スペクトルの強度と、前記第1の時刻よりも後の第2の時刻における前記距離スペクトルの強度との差分の絶対値である第1の値、及び第3の時刻での前記距離スペクトルの強度と、前記第3の時刻よりも後の第4の時刻における前記距離スペクトルの強度との差分の絶対値である第2の値を算出し、前記第1の値と前記第2の値との合計値に基づいて、生体の呼吸を検出する検出部と、を有する情報処理装置が提供される。

一側面によれば、生体の検出精度を向上させることができる。
実施形態に係る検出装置の構成例を示す図である。 実施形態に係る情報処理装置のハードウェア構成例を示す図である。 実施形態に係るセンサのハードウェア構成例を示す図である。 情報処理装置の機能構成について説明する。 センサが送受信する送信波、及び受信波について説明する図である。 検出装置の処理の一例を示すフローチャートである。 各距離に対する時系列波形について説明する図である。 各距離に対する時系列波形について説明する図である。 各距離に対する時系列波形について説明する図である。 生体の呼吸による時系列波形の抽出する処理の一例を示すフローチャートである。 生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。 生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。 生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。 生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。 生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。 生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。 生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。 検出装置の処理の一例を示すフローチャートである。 立ち上がり等の動作による時系列波形について説明する図である。 センサを車両等の移動体に設置する例を説明する図である。 センサを浴室に設置する例を説明する図である。 検出装置を有する情報処理システムの一例を示す図である。
[第1の実施形態]
以下、図面に基づいて本発明の実施形態を説明する。
<全体構成>
図1は、実施形態に係る検出装置1の構成例を示す図である。図1において、検出装置1は、情報処理装置10、及びセンサ20を有する。
情報処理装置10は、例えば、PC(Personal Computer)、組み込みシステム等である。
センサ20は、例えば、FM−CWレーダセンサである。センサ20は、例えば、半導体基板上に形成した集積回路により実現されてもよい。
情報処理装置10とセンサ20とは、例えば、バス等を介して接続される。
情報処理装置10は、センサ20から取得した信号に基づき、生体の有無、生体との距離、及び生体の呼吸の状態等を検出する。
<ハードウェア構成>
≪情報処理装置≫
図2は、実施形態に係る情報処理装置10のハードウェア構成例を示す図である。図2の情報処理装置10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、インタフェース装置105、表示装置106、及び入力装置107等を有する。
情報処理装置10での処理を実現する情報処理プログラムは、記録媒体101によって提供される。情報処理プログラムを記録した記録媒体101がドライブ装置100にセットされると、情報処理プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、情報処理プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされた情報処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って情報処理装置10に係る機能を実現する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。表示装置106はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置107はタッチパネル及びボタン等で構成され、様々な操作指示を入力させるために用いられる。
なお、記録媒体101の一例としては、CD−ROM、DVDディスク、又はUSBメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置102の一例としては、HDD(Hard Disk Drive)又はフラッシュメモリ等が挙げられる。記録媒体101及び補助記憶装置102のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。
≪センサ≫
図3は、実施形態に係るセンサ20のハードウェア構成例を示す図である。図3のセンサ20は、送信部21、受信部22、生成部23、制御部24、及び通信部25等を有する。
送信部21は、周波数掃引された電波である送信波を送信する。
受信部22は、送信部21により送信された送信波が、生体により反射された反射波(受信波)を受信する。
生成部23は、送信部21により送信された送信波の周波数と、受信部22により受信された受信波の周波数との差分であるビート周波数を示すビート信号を生成する。
制御部24は、送信部21、受信部22、生成部23、及び通信部25等の、センサ20の全体の制御を行う。
通信部25は、情報処理装置10との通信を行う。通信部25は、例えば、生成部23により生成された各時刻におけるビート周波数を示すビート信号を、リアルタイムで情報処理装置10に通知する。
<機能構成>
次に、図4を参照し、情報処理装置10の機能構成について説明する。図4は、実施形態に係る情報処理装置10の機能ブロック図の一例を示す図である。
情報処理装置10は、記憶部11を有する。記憶部11は、例えば、補助記憶装置102等を用いて実現される。
記憶部11は、例えば、算出部12により算出されるデータ等を記憶する。
また、情報処理装置10は、算出部12、検出部13、及び通信部14を有する。これら各部は、情報処理装置10にインストールされた1以上のプログラムが、情報処理装置10のCPU104に実行させる処理により実現される。
算出部12は、センサ20から取得したビート信号をフーリエ変換し、センサ20からの各距離でのスペクトル強度(距離スペクトル)を算出する。また、算出部12は、各距離について、距離スペクトルの強度の時間変化を示す波形(以下で「時系列波形」と称する。)のデータを算出する。
検出部13は、算出部12により算出された時系列波形に基づき、生体の呼吸を検出する。また、検出部13は、生体の呼吸を検出した距離に対する時系列波形に基づき、当該生体の移動、または当該生体の呼吸停止の状態を検出する。
通信部14は、検出部13により検出された情報に基づいて、外部装置等に所定の通知を送信する。
<FM−CWレーダの原理>
次に、図5を参照して、FM−CWレーダ用のセンサ20の原理の処理について説明する。図5は、センサ20が送受信する送信波、及び受信波について説明する図である。
センサ20は、いわゆるFM−CWレーダ用のセンサであり、周波数掃引された電波を送信波501として送信する。そして、センサ20は、送信波501と受信波502の周波数の差分であるビート周波数fを示すビート信号を情報処理装置10に出力する。
ここで、ビート周波数f、送信波501の周波数の変移幅ΔF、変調周期T、送信波501が受信波502として受信されるまでの往復伝搬遅延時間tには、以下の式(1)の関係が成り立つ。
/t = ΔF/T ・・・(1)
往復伝搬遅延時間t、光速c、送信波501を反射した生体等の物体とセンサ20との距離Rには、以下の式(2)の関係が成り立つ。
= 2R/c ・・・(2)
したがって、式(1)、(2)より、以下の式(3)が導かれる。
= ΔF2R/Tc ・・・(3)
よって、センサ20からの距離Rが比較的近い物体によるビート周波数fは比較的低く、距離Rが比較的遠い物体によるビート周波数fは比較的高くなる。そのため、情報処理装置10は、センサ20から取得した各物体によるビート周波数fを示す波形に基づき、各物体までの距離を算出できる。なお、ドップラー効果により、センサ20から遠ざかる物体によるビート周波数fは低く変化し、センサ20に近づく物体によるビート周波数fは高く変化するため、ビート周波数fの変化に基づいて、物体の移動速度も算出できる。
<処理>
次に、図6を参照し、検出装置1の処理について説明する。図6は、検出装置1の処理の一例を示すフローチャートである。
まず、ステップS1において、センサ20の生成部23は、送信部21により送信された送信波と、受信部22により受信された受信波とに基づき、送信波の周波数と受信波の周波数の差であるビート周波数を示すビート信号を生成する。
続いて、情報処理装置10の算出部12は、生成されたビート信号に対して高速フーリエ変換(Fast Fourier Transform、FFT)を実行し、各周波数に応じたセンサ20からの各距離でのスペクトル強度(距離スペクトル)を算出する(ステップS2)。
続いて、情報処理装置10の算出部12は、算出した距離スペクトルを、所定期間、記憶部11に記憶させる(ステップS3)。
続いて、情報処理装置10の算出部12は、所定期間の距離スペクトルに基づいて、各距離(距離方向の各標本点、Index)に対する時系列波形を算出し、算出した各時系列波形に対してフィルタ処理を行い、ノイズの除去等を行う(ステップS4)。ここで、例えば、DC(Direct Current)カット、ローパスフィルタ(Low-pass filter、LPF)、線形DCカット等のフィルタ処理を行ってもよい。なお、このフィルタ処理は行わなくともよい。
続いて、情報処理装置10の算出部12は、フィルタ処理後の、各距離に対する時系列波形を算出して、記憶部11に記憶させる(ステップS5)。
続いて、情報処理装置10の検出部13は、各距離に対する時系列波形に基づいて、生体の呼吸による時系列波形を抽出する(ステップS6)。
続いて、情報処理装置10の検出部13は、抽出した時系列波形に対応する距離、及び抽出した時系列波形を、生体との距離、及び当該生体の呼吸による時系列波形として出力する(ステップS7)。ここで、検出部13は、距離や時系列波形を画面等に表示させてもよい。
図7は、各距離に対する時系列波形について説明する図である。図7Aでは、ステップS3の、所定期間の各計測時における距離スペクトルの例が示されている。図7Aの例では、横軸はセンサ20からの距離(ビート周波数の周波数に応じた距離)であり、縦軸はビート周波数の強度である。
図7B、図7Cでは、それぞれ、ステップS5の、図7Aの距離スペクトルにおける距離511、距離512に対する時系列波形の例が示されている。図7Bは、生体の呼吸による時系列波形の例であり、ステップS7の処理において、距離511と、図7Bに示す波形のデータが出力される。距離スペクトルにおいて、生体が存在する距離では、例えば、生体の胸部が膨張、及び収縮を繰り返すことにより、センサ20と生体との距離が変動するため、図7Bに示すように、ビート周波数の強度が所定の時間変化を生ずる。
一方、図7Cは、ノイズによる時系列波形の例である。例えば、水槽、壁、家具等は、センサ20との距離が周期的に変動することはないため、生体と比べてビート周波数の強度の変動は小さい。また、変動の周期等も、生体の呼吸による周期等とは異なっている。そこで、実施形態では、各距離に対するビート周波数の強度の時間変化を示す波形を取得、蓄積し、所定の基準を満たす波形を、生体の呼吸によるものとして検出する。
≪生体の呼吸による時系列波形の抽出処理の例1≫
次に、図8、図9を参照し、検出部13によるステップS6の生体の呼吸による時系列波形の抽出する処理の一例について説明する。図8は、生体の呼吸による時系列波形の抽出する処理の一例を示すフローチャートである。図9は、生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。以下では、距離スペクトルにおける各距離のうちの一の距離を、処理対象とする距離と称する。以下の処理は、距離スペクトルにおける各距離に対するビート周波数の強度の時間変化を示す波形である時系列波形に対して実行される。
ステップS101において、検出部13は、処理対象とする距離に対する時系列波形において、所定の時刻における強度と、当該所定の時刻からΔt秒後の時刻における強度との差分を算出する。
続いて、検出部13は、算出した差分の絶対値が、所定の閾値以上であるか否かを判定する(ステップS102)。
算出した差分の絶対値が、所定の閾値以上でない場合(ステップS102でNO)、処理を終了する。
算出した差分の絶対値が、所定の閾値以上である場合(ステップS102でYES)、検出部13は、当該時系列波形を、生体の呼吸による時系列波形であると判定して抽出し(ステップS103)、処理を終了する。ステップS103において、検出部13は、図9の所定の時刻701(「第1の時刻」の一例)における強度と、当該所定の時刻からΔt秒後の時刻702(「第2の時刻」の一例)における強度との差分703のみで判断してもよい。または、検出部13は、所定の周期でステップS103の処理を繰り返して実行し、各周期における差分がそれぞれ閾値以上である場合に、生体の呼吸による時系列波形であると判定して抽出してもよい。
あるいは、差分の絶対値を所定期間において累積した値が所定の閾値以上である場合に、生体の呼吸による時系列波形であると判定して抽出してもよい。この場合、所定期間における各時刻における強度と、当該各時刻からΔt秒後の時刻における強度との各差分703(「第1の値」の一例)、704(「第2の値」の一例)、・・・を算出し、各差分703、704、・・・を累積した値が閾値以上である場合に、生体の呼吸による時系列波形であると判定して抽出してもよい。
なお、複数の距離に対する時系列波形について、生体の呼吸による時系列波形であると判定した場合、センサ20から最も近い距離に対する時系列波形のみを、生体の呼吸による時系列波形として抽出してもよい。これにより、例えば、複数の人が並んでいる場合に、センサ20から最も近い人の呼吸を抽出できる。なお、従来技術では、複数人が並んでいる場合、それぞれの呼吸波形が混ざって検出されてしまうため、センサ20から最も近い距離に対する時系列波形を抽出することは困難である。
≪生体の呼吸による時系列波形の抽出処理の例2≫
次に、図10を参照し、検出部13によるステップS6の生体の呼吸による時系列波形の抽出する処理の一例について説明する。図10は、生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。
検出部13は、時系列波形における強度の最大値と最小値とに基づいて、当該時系列波形が生体の呼吸による時系列波形であるか否かを判定して抽出してもよい。この場合、検出部13は、例えば、各距離に対する時系列波形の各々について、所定の周期における強度の最大値と最小値との差分を算出し、当該差分が所定の閾値以上である時系列波形を、生体の呼吸による時系列波形であると判定して抽出してもよい。図10では、所定の距離に対する時系列波形における所定の周期における最大値711と最小値712との差分713の例が示されている。
≪生体の呼吸による時系列波形の抽出処理の例3≫
次に、図11を参照し、検出部13によるステップS6の生体の呼吸による時系列波形の抽出する処理の一例について説明する。図11は、生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。
検出部13は、各距離に対する時系列波形の各々について、例えば、所定期間における時系列波形の強度の平均値が0となる等のように0点補正し、所定期間における強度の値が0以外に変化した(クロスした)回数をもとに呼吸か否か判断してもよい。この場合、検出部13は、例えば、所定期間においてクロスした回数を周波数または周期に換算し、生体の呼吸の周波数(例えば、0.15Hz乃至0.5Hz)または周期の範囲内である時系列波形を、生体の呼吸による時系列波形であると判定して抽出してもよい。図11Aでは、生体の呼吸による時系列波形の例における、0点補正後の0をクロスした各時点721乃至727が示されている。各時点721乃至727の周波数が、生体の呼吸の周波数の範囲内であれば、生体の呼吸による時系列波形であると判定される。図11Bでは、ノイズ等による波形の例が示されている。このような波形において、0点補正後の0をクロスした各時点の周波数は、生体の呼吸の周波数の範囲内ではないため、生体の呼吸による時系列波形でないと判定される。
なお、上述した、生体の呼吸による時系列波形の抽出する各処理を組み合わせて用いることも可能である。例えば、検出部13は、図10に示す強度の最大値と最小値との差分が所定の閾値以上であり、かつ図11Aに示す0点補正後の0をクロスする周波数または周期が、生体の呼吸の周波数または周期の範囲内である時系列波形を、生体の呼吸による時系列波形であると判定して抽出してもよい。または、検出部13は、図10に示す強度の最大値と最小値との差分の値を評価値とし、図11Aに示す0点補正後の0をクロスする周波数または周期と、生体の呼吸の周波数または周期との一致度に応じた重み係数を当該評価値に乗算した値が所定の閾値以上である場合に、生体の呼吸による時系列波形であると判定して抽出してもよい。
≪生体の呼吸による時系列波形の抽出処理の例4≫
次に、図12を参照し、検出部13によるステップS6の生体の呼吸による時系列波形の抽出する処理の一例について説明する。図12は、生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。
検出部13は、各距離に対する時系列波形の各々について、予め記憶されている1以上の理想的な呼吸波形や特定周期のsin波(正弦波)とのマッチングを行い、生体の呼吸による時系列波形か否かを判断してもよい。この場合、検出部13は、例えば、時系列波形と、予め記憶されている各波形との相関係数を算出し、算出した相関係数の値が所定の閾値以上の場合に、生体の呼吸による時系列波形であると判定して抽出してもよい。
なお、上述した、生体の呼吸による時系列波形の抽出する各処理を組み合わせて用いることも可能である。例えば、検出部13は、図10に示す強度の最大値と最小値との差分が所定の閾値以上であり、かつ図12に示す予め記憶されている各波形と相関係数の値が所定の閾値以上の場合に、生体の呼吸による時系列波形であると判定して抽出してもよい。これにより、マッチングの対象とする時系列波形を、最大値と最小値との差分等の条件を満たすものに限定できるため、処理時間を短縮することができる。
≪生体の呼吸による時系列波形の抽出処理の例5≫
次に、図13を参照し、検出部13によるステップS6の生体の呼吸による時系列波形の抽出する処理の一例について説明する。図13は、生体の呼吸による時系列波形の抽出する処理の一例について説明する図である。
検出部13は、各距離に対する時系列波形に対して高速フーリエ変換を行い、生体の呼吸の周波数(例えば、0.15Hz乃至0.5Hz)の範囲内に強度のピークを有する時系列波形を、生体の呼吸による時系列波形であると判定して抽出してもよい。
図13Aでは、生体の呼吸による時系列波形の例について高速フーリエ変換を行った場合の強度のピークが示されている。図13Aでは、ピーク731が生体の呼吸の周波数の範囲内であるため、生体の呼吸による時系列波形であると判定される。
図13Bでは、ノイズ等による時系列波形の例について高速フーリエ変換を行った場合の強度のピークが示されている。図13Bでは、ピーク732が生体の呼吸の周波数の範囲内でないため、生体の呼吸による時系列波形でないと判定される。
なお、上述した、生体の呼吸による時系列波形の抽出する各処理を組み合わせて用いることも可能である。
本実施形態によれば、センサ20からの距離毎に、時系列波形が生体の呼吸によるものか否かを判断できる。このため、一の生体と、当該一の生体よりもセンサ20から離れた位置の他の生体(例えば、家族、犬や猫等)とが並んで寝ていた場合でも、当該他の生体の呼吸を当該一の生体の呼吸と誤検出することを抑制しつつ、当該一の生体による呼吸を検出できる。
[第2の実施形態]
次に、第2の実施形態について説明する。第2の実施形態では、第1の実施形態に係る検出装置1を用いて、徘徊等を検出する例について説明する。
なお、第2の実施形態は一部を除いて第1の実施形態と同様であるため、適宜説明を省略する。以下では、第1の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。なお、第2の実施形態に記載の内容は、第1の実施形態にも適用可能である。
<処理>
次に、図14、図15を参照し、検出装置1の処理について説明する。図14は、検出装置1の処理の一例を示すフローチャートである。図15は、立ち上がり等の動作による時系列波形について説明する図である。
ステップS201において、検出部13は、各距離に対する時系列波形に基づいて、所定の距離における生体の呼吸を検出する。
続いて、検出部13は、当該所定の距離に対する時系列波形に基づいて、当該所定の距離において立ち上がり等の動作による時系列波形を検出したか否かを判定する(ステップS202)。
当該所定の距離において立ち上がり等の動作を検出した場合(ステップS202でYES)、検出部13は、その後の当該所定の距離に対する時系列波形に基づいて、当該所定の距離において生体の呼吸を検出したか否かを判定する(ステップS203)。
生体の呼吸を検出した場合(ステップS203でYES)、検出部13は、一定時間待機した後、ステップS202の処理に進む。
生体の呼吸を検出しない場合(ステップS203でNO)、検出部13は、徘徊と判定し(ステップS204)、処理を終了する。なお、徘徊と判定した場合は、例えば、所定の装置に通報等を行うようにしてもよい。ここで、図15に示す所定の距離に対する時系列波形において、生体の呼吸による波形801の後、呼吸の波形とは異なる波形、例えば、呼吸の波形と振幅が同様で、呼吸の波形と周期が異なる波形802を検出した後、振幅が所定の閾値以下の波形803が検出された場合、徘徊と判定される。これにより、例えば、介護施設において、被介護者がベッドから起きて徘徊を開始したことを、介護者に通知することができる。
また、検出部13は、生体の呼吸による時系列波形に対する距離が時間経過に応じて変動した場合、生体が移動したと判定できるため、徘徊と判定してもよい。
立ち上がり等の動作を検出していない場合(ステップS202でNO)、検出部13は、その後の当該所定の距離に対する時系列波形に基づいて、当該所定の距離において生体の呼吸を検出したか否かを判定する(ステップS205)。
生体の呼吸を検出した場合(ステップS205でYES)、検出部13は、一定時間待機した後、ステップS202の処理に進む。
生体の呼吸を検出しない場合(ステップS205でNO)、検出部13は、その後の当該所定の距離に対する時系列波形、及び当該所定の距離から所定範囲内(例えば、60cm以内)の距離に対する時系列波形に基づいて、当該所定の距離付近において所定期間内に生体の呼吸を検出したか否かを判定する(ステップS206)。
当該所定の距離付近において所定期間内に生体の呼吸を検出した場合(ステップS206でYES)、検出部13は、無呼吸状態と判定し(ステップS207)、ステップS202の処理に進む。
当該所定の距離付近において所定期間内に生体の呼吸を検出しない場合(ステップS206でNO)、検出部13は、当該生体が心拍停止等の危険な状態と判定し(ステップS208)、処理を終了する。なお、当該生体が危険な状態と判定した場合は、例えば、所定の装置に通報等を行うようにしてもよい。
[第3の実施形態]
次に、第3の実施形態について説明する。第3の実施形態では、第1の実施形態に係る検出装置1を用いて、車両等の運転手の状態を検出する例について説明する。
なお、第3の実施形態は一部を除いて第1の実施形態と同様であるため、適宜説明を省略する。以下では、第1の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。なお、第3の実施形態に記載の内容は、第1の実施形態、及び第2の実施形態にも適用可能である。
図16は、センサ20を車両等の移動体に設置する例を説明する図である。図16に示すように、移動体811において、運転席812の近傍、例えば、ハンドル、速度メータ、ドライバー用のサンバイザ等の位置に、センサ20を設置する。
ここで、検出部13は、複数の距離に対する時系列波形について、生体の呼吸による時系列波形であると判定した場合、センサ20から最も近い距離に対する時系列波形のみを、生体の呼吸による時系列波形として抽出する。
従来の電波センサでは、運転手以外の他の乗組員がいると、当該他の乗組員による反射波の影響により、運転手の呼吸を観察することが困難な場合があった。一方、本実施形態によれば、呼吸による時系列波形と判定された時系列波形のうち、センサ20からの距離が最も近い(小さい)距離に対する時系列波形を抽出することにより、他の乗組員の反射波の影響を抑制し、運転手の呼吸による時系列波形を観察することができる。これにより、運転手の呼吸による時系列波形に基づいて、運転手の眠気や疲労の有無、及び運転手が心拍停止等の危険な状態になっているか否か等を判定できる。この場合、例えば、検出された呼吸による時系列波形と、予め記憶されている眠気や疲労がある場合の呼吸による時系列波形との相関係数を算出し、算出した相関係数の値が所定の閾値以上の場合に、運転手に眠気や疲労あると判定してもよい。運転手が危険な状態になっていることは、例えば、上述した第2の実施形態と同様の処理により判定してもよい。
[第4の実施形態]
次に、第4の実施形態について説明する。第4の実施形態では、第1の実施形態に係る検出装置1を用いて、入浴中の人体の呼吸を検出する例について説明する。
なお、第4の実施形態は一部を除いて第1の実施形態と同様であるため、適宜説明を省略する。以下では、第1の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。なお、第4の実施形態に記載の内容は、第1の実施形態、乃至第3の実施形態にも適用可能である。
図17は、センサ20を浴室に設置する例を説明する図である。図17に示すように、浴室821において、入浴者822の近傍の位置に、センサ20を設置する。なお、図17に示すように、浴槽823の周辺、例えば、浴槽の縁等にセンサ20を設置し、センサ20からの電波の照射方向の中心824を、浴槽823の上側、すなわち水平方向よりも上向きの方向に向けてもよい。これにより、水面による反射波の影響を抑制できる。
従来の電波センサでは、浴槽内の水による反射波の強度が比較的強くなるため、人体の呼吸の有無や状態を観察することが困難な場合があった。一方、本実施形態によれば、浴槽内の水面よりも上に位置する頭部が呼吸に応じて動くことを利用し、当該頭部の動きによる時系列波形から、入浴中の人体の呼吸の有無を検出することができる。これにより、入浴者の呼吸による時系列波形に基づいて、おぼれているか否か、及びヒートショック等による心拍停止等の危険な状態になっているか否か等を判定できる。
[第5の実施形態]
次に、第5の実施形態について説明する。第5の実施形態では、第1の実施形態に係る検出装置1を用いて検出したデータを、サーバに蓄積し、端末にて表示可能とする例について説明する。
なお、第5の実施形態は一部を除いて第1の実施形態と同様であるため、適宜説明を省略する。以下では、第1の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。なお、第5の実施形態に記載の内容は、第1の実施形態、乃至第4の実施形態にも適用可能である。
図18は、検出装置1を有する情報処理システム50の一例を示す図である。情報処理システム50は、検出装置1、サーバ装置30、端末40−1、40−2、・・・(以下で、それぞれを区別する必要がない場合は、単に「端末40」と称する。)を有する。
検出装置1、サーバ装置30、及び端末40は、LAN(Local Area Network)、無線LAN、Bluetooth(登録商標)、携帯電話網、インターネット等のネットワーク60を介して通信できるように接続される。
サーバ装置30は、サーバ用の情報処理装置(コンピュータ)であり、検出装置1から通知されたデータを、例えば、検出装置1の識別情報に対応付けて記憶する。
端末40は、例えば、デスクトップPC(Personal Computer)、ノートPC、タブレットPC、スマートフォン等の情報処理装置である。端末40は、サーバ装置30にログインし、検出装置1に検出された呼吸や状態に関するデータ等を表示する。
これにより、生体の呼吸の有無、徘徊、心肺停止等のデータを、例えば、クラウド上のサーバ装置30を介して、端末40を用いて確認できる。なお、サーバ装置30を介さずに、端末40が検出装置1から直接データを取得して表示できるようにしてもよい。また、検出装置1から、徘徊、心肺停止等の通知を、端末40に送信してもよい。
<その他>
上述した各実施形態では、生体として人体を対象とする例について説明したが、例えば、犬やネコ等の人間以外の動物の生体を対象としてもよい。例えば、センサ20を田畑や山林等に設置し、現れた野生動物の呼吸を認識することにより、野生動物の検出することができる。この場合、実施形態に係る検出装置1によれば、風による植物の動きや雨水等の影響を抑制しつつ、野生動物の在否を確認することができる。
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
情報処理装置10の各機能部は、例えば1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置10、及びセンサ20を一体の装置として構成してもよい。情報処理装置10の各機能部のうち少なくとも一部を、センサ20が有するようにしてもよい。センサ20の各機能部のうち少なくとも一部を、情報処理装置10が有するようにしてもよい。
1 検出装置
10 情報処理装置
11 記憶部
12 算出部
13 検出部
14 通信部
20 センサ
21 送信部
22 受信部
23 生成部
24 制御部
25 通信部
30 サーバ装置
40 端末

Claims (10)

  1. センサにより送信された周波数掃引された電波である送信波と、前記センサにより受信された前記送信波の反射波との差分であるビート信号に基づき距離スペクトルを算出し、前記センサからの各距離について前記距離スペクトルの強度の時間変化を示す時系列波形を算出する算出部と、
    前記時系列波形における、第1の時刻での前記距離スペクトルの強度と、前記第1の時刻よりも後の第2の時刻における前記距離スペクトルの強度との差分の絶対値である第1の値、及び第3の時刻での前記距離スペクトルの強度と、前記第3の時刻よりも後の第4の時刻における前記距離スペクトルの強度との差分の絶対値である第2の値を算出し、前記第1の値と前記第2の値との合計値に基づいて、生体の呼吸を検出する検出部と、
    を有することを特徴とする情報処理装置。
  2. 前記検出部は、前記センサからの各距離に対する前記時系列波形のうち、所定の条件を満たす1以上の前記時系列波形を、生体に呼吸による波形として出力する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記検出部は、前記センサからの各距離に対する前記時系列波形のうち、所定の条件を満たす1以上の前記時系列波形に対する距離を、生体までの距離として出力する
    ことを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記検出部は、前記センサからの各距離に対する前記時系列波形に含まれる、所定の条件を満たす複数の前記時系列波形のうち、前記センサからの距離が最も近い前記時系列波形を、生体に呼吸による波形として検出する
    ことを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。
  5. 前記検出部は、前記時系列波形の所定の周期における前記距離スペクトルの強度の最大値と最小値との差分に基づいて、生体の呼吸を検出する
    ことを特徴とする請求項1乃至のいずれか一項に記載の情報処理装置。
  6. 前記検出部は、前記時系列波形に含まれる波形の周波数または周期に基づいて、生体の呼吸を検出する
    ことを特徴とする請求項1乃至のいずれか一項に記載の情報処理装置。
  7. 前記検出部は、前記時系列波形に含まれる波形と、所定の波形との相関係数に基づいて、生体の呼吸を検出する
    ことを特徴とする請求項1乃至のいずれか一項に記載の情報処理装置。
  8. 前記検出部は、前記時系列波形に対してフーリエ変換を行い、前記時系列波形の各周波数に対する前記距離スペクトルの強度に基づいて、生体の呼吸を検出する
    ことを特徴とする請求項1乃至のいずれか一項に記載の情報処理装置。
  9. 前記検出部は、生体の呼吸を検出した前記時系列波形に基づき、当該生体の移動、または当該生体の呼吸停止の状態を検出する
    ことを特徴とする請求項1乃至のいずれか一項に記載の情報処理装置。
  10. 周波数掃引された電波である送信波を送信し、前記送信波の反射波を受信するセンサと、
    前記送信波と前記反射波との差分であるビート信号に基づき距離スペクトルを算出し、前記センサからの各距離について前記距離スペクトルの強度の時間変化を示す時系列波形を算出する算出部と、
    前記時系列波形における、第1の時刻での前記距離スペクトルの強度と、前記第1の時刻よりも後の第2の時刻における前記距離スペクトルの強度との差分の絶対値である第1の値、及び第3の時刻での前記距離スペクトルの強度と、前記第3の時刻よりも後の第4の時刻における前記距離スペクトルの強度との差分の絶対値である第2の値を算出し、前記第1の値と前記第2の値との合計値に基づいて、生体の呼吸を検出する検出部と、
    を有することを特徴とする検出装置。
JP2019521563A 2017-05-30 2017-05-30 情報処理装置、及び検出装置 Active JP6828813B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020042 WO2018220701A1 (ja) 2017-05-30 2017-05-30 情報処理装置、及び検出装置

Publications (2)

Publication Number Publication Date
JPWO2018220701A1 JPWO2018220701A1 (ja) 2020-04-02
JP6828813B2 true JP6828813B2 (ja) 2021-02-10

Family

ID=64456406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019521563A Active JP6828813B2 (ja) 2017-05-30 2017-05-30 情報処理装置、及び検出装置

Country Status (4)

Country Link
US (1) US11262443B2 (ja)
JP (1) JP6828813B2 (ja)
CN (1) CN110461230B (ja)
WO (1) WO2018220701A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11709245B2 (en) * 2019-04-29 2023-07-25 Adnoviv Inc. System and methods for radar-based detection of people in a room
CN112285688A (zh) * 2019-07-22 2021-01-29 财团法人工业技术研究院 讯号感测系统与方法
JP7399706B2 (ja) 2019-12-20 2023-12-18 株式会社東芝 レーダ装置及びそのレーダ信号処理方法
US20230108039A1 (en) * 2020-01-31 2023-04-06 Panasonic Intellectual Property Management Co., Ltd. Signal processing system, sensor system, signal processing method, and program
CN111766442B (zh) * 2020-07-21 2023-07-18 成都阶跃时进科技有限公司 一种人体呼吸波形确定方法、装置、设备及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3395606B2 (ja) 1997-10-21 2003-04-14 三菱電機株式会社 位相補償回路、位相補償方法およびレーダ装置
US8047999B2 (en) * 2008-09-19 2011-11-01 Medtronic, Inc. Filtering of a physiologic signal in a medical device
US9693709B2 (en) * 2011-09-23 2017-07-04 Nellcot Puritan Bennett Ireland Systems and methods for determining respiration information from a photoplethysmograph
JP2013072865A (ja) * 2011-09-29 2013-04-22 Oki Electric Ind Co Ltd 検出装置、検出方法、およびプログラム
US9831552B2 (en) 2011-11-30 2017-11-28 Digi International Inc. Multiband loop antenna
WO2014159773A1 (en) * 2013-03-13 2014-10-02 Kirill Mostov An apparatus for remote contactless monitoring of sleep apnea
JP5848469B1 (ja) * 2015-01-23 2016-01-27 株式会社光波 生体状態検出装置
JP5861178B1 (ja) 2015-02-25 2016-02-16 株式会社Cq−Sネット 生体情報の検知装置及びその利用方法
JP5861179B1 (ja) 2015-06-04 2016-02-16 株式会社Cq−Sネット 定在波レーダーによる状態検知装置
US10898141B2 (en) * 2016-09-16 2021-01-26 Intelomed, Inc. System and method for characterizing respiratory stress

Also Published As

Publication number Publication date
CN110461230B (zh) 2022-04-29
US11262443B2 (en) 2022-03-01
JPWO2018220701A1 (ja) 2020-04-02
US20190383928A1 (en) 2019-12-19
CN110461230A (zh) 2019-11-15
WO2018220701A1 (ja) 2018-12-06

Similar Documents

Publication Publication Date Title
JP6828813B2 (ja) 情報処理装置、及び検出装置
CA2891839C (en) Remote sensing of human breathing at a distance
JP5848469B1 (ja) 生体状態検出装置
US20120274498A1 (en) Personal electronic device providing enhanced user environmental awareness
JP6127602B2 (ja) 状態認識装置、状態認識方法及びコンピュータプログラム
JP6135280B2 (ja) 特徴量算出装置、特徴量算出方法およびプログラム
CN106821347A (zh) 一种fmcw宽带生命探测雷达呼吸和心跳信号提取算法
JP2013072865A (ja) 検出装置、検出方法、およびプログラム
US8603002B2 (en) Apparatus and method for calculating microvibration feature quantity
US20160310044A1 (en) Estimation device, vibration state estimation method, and recording medium
Weishaupt et al. Vital sign localization and measurement using an LFMCW MIMO radar
Nejadgholi et al. Time-frequency based contactless estimation of vital signs of human while walking using PMCW radar
JP5974512B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114442079A (zh) 目标对象的跌倒检测方法及装置
US11426120B2 (en) Method and device for measuring sleep efficiency by using radar
JP2019152441A (ja) バイタルセンサ
JP6369787B2 (ja) 信号処理装置、検出装置、およびプログラム
JP6536038B2 (ja) 周期推定装置、周期推定方法及びプログラム。
Diraco et al. A fall detector based on ultra-wideband radar sensing
WO2016063888A1 (ja) 電子機器及び制御方法
JP6143879B2 (ja) コンピュータシステムのセンサデバイス、センサデバイスを有するコンピュータシステム及びセンサデバイスの作動方法
JP6932090B2 (ja) 監視装置
JP7294845B2 (ja) 生体情報検出装置
US20230108039A1 (en) Signal processing system, sensor system, signal processing method, and program
JP2018138138A (ja) 心拍数推定方法および心拍数推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R150 Certificate of patent or registration of utility model

Ref document number: 6828813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150