JP6920982B2 - Signal processor and program - Google Patents
Signal processor and program Download PDFInfo
- Publication number
- JP6920982B2 JP6920982B2 JP2017248763A JP2017248763A JP6920982B2 JP 6920982 B2 JP6920982 B2 JP 6920982B2 JP 2017248763 A JP2017248763 A JP 2017248763A JP 2017248763 A JP2017248763 A JP 2017248763A JP 6920982 B2 JP6920982 B2 JP 6920982B2
- Authority
- JP
- Japan
- Prior art keywords
- determination
- pulsation
- sensors
- beats
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、信号処理装置、およびプログラムに関する。 The present invention relates to a signal processing device and a program.
複数の生体センサにより車両の乗員の状態を取得する装置に係る技術が、開発されている。照射方向が異なる複数のドップラーセンサを生体センサとして用いる上記技術としては、例えば特許文献1に記載の技術が挙げられる。 Technology related to a device for acquiring the state of a vehicle occupant by a plurality of biosensors has been developed. Examples of the above-mentioned technique of using a plurality of Doppler sensors having different irradiation directions as a biological sensor include the technique described in Patent Document 1.
検出対象の生体の心拍または脈拍を検出するセンサ(以下、単に「センサ」と示す。)の方式としては、例えば、電波式、光電容量脈波式、心電式、撮像式など、様々な方式が挙げられる。心拍とは心臓の拍動であり、脈拍とは、心臓の拍動によって動脈に伝わる拍動である。以下では、心拍と脈拍とを総称して「拍動」と示す。また、脈波とは、生体の心臓が拍動することに伴い発生する血管の容積変化である。 Various methods such as a radio wave type, a photoelectric capacitance pulse wave type, an electrocardiographic type, and an imaging type are used as a method of a sensor (hereinafter, simply referred to as a “sensor”) for detecting the heartbeat or pulse of the living body to be detected. Can be mentioned. The heartbeat is the beat of the heart, and the pulse is the beat transmitted to the arteries by the beat of the heart. In the following, heartbeat and pulse are collectively referred to as “beat”. The pulse wave is a change in the volume of blood vessels that occurs when the heart of a living body beats.
上記のようなセンサでは、心電図波形(「ECG(Electrocardiogram)」と呼ばれる場合がある。)や脈波波形などの、センサが対応する拍動の波形が、検出される。また、拍動の波形からは、例えば、拍動間隔(以下、「RRI(R R Interval)」と示す。)と拍動数とを得ることができる。RRIは、拍動の波形からピーク位置の間隔を検出することにより得られる。また、拍動数は、RRIから算出することにより得られる。以下では、拍動の波形から得られるRRIや拍動数などを、総称して「拍動に関する指標」と示す。 In a sensor as described above, a pulsating waveform corresponding to the sensor, such as an electrocardiogram waveform (sometimes called "ECG (Electrocardiogram)") or a pulse wave waveform, is detected. Further, from the pulsation waveform, for example, the pulsation interval (hereinafter referred to as "RRI (R R Interval)") and the number of pulsations can be obtained. RRI is obtained by detecting the interval between peak positions from the beat waveform. The number of beats is obtained by calculating from RRI. In the following, the RRI and the number of beats obtained from the beat waveform are collectively referred to as "index related to beat".
拍動の波形から得られる拍動に関する指標は、例えば、疲労状態の推定や、ストレスレベルの推定、睡眠状態の推定など、ヘルスケアに関する様々な用途で用いることが可能である。しかしながら、上記のようなセンサを用いる場合、様々な外因により拍動の波形にノイズが重畳することが想定される。そして、拍動の波形にノイズが重畳した場合、拍動の波形から正確な拍動に関する指標を得ることができない可能性がある。ここで、例えば特許文献1に記載の技術のような既存の技術では、上記のような拍動の波形にノイズが重畳する可能性があることについて、考慮がされていない。 The pulsation index obtained from the pulsation waveform can be used in various health care applications such as estimation of fatigue state, estimation of stress level, and estimation of sleep state. However, when the above-mentioned sensor is used, it is assumed that noise is superimposed on the pulsation waveform due to various external factors. Then, when noise is superimposed on the pulsation waveform, it may not be possible to obtain an accurate pulsation index from the pulsation waveform. Here, in the existing technology such as the technology described in Patent Document 1, the possibility that noise is superimposed on the pulsation waveform as described above is not taken into consideration.
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、センサにおいて正常に拍動が検出されているかをより正確に判定することが可能な、新規かつ改良された信号処理装置、およびプログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is a novel and improved method capable of more accurately determining whether or not a pulsation is normally detected by a sensor. The purpose is to provide a signal processing device and a program.
上記目的を達成するために、本発明の第1の観点によれば、検出対象における異なる位置の拍動をそれぞれ検出する複数のセンサの検出結果に基づいて、上記センサにおいて正常に拍動が検出されているかを判定する判定部を備え、上記判定部は、複数の上記センサそれぞれの検出結果に対応する複数の拍動数を比較することにより正常に拍動が検出されているかを判定する第1の判定と、複数の上記センサそれぞれの検出結果に対応する拍動のずれ量に基づいて正常に拍動が検出されているかを判定する第2の判定とを行い、上記第1の判定の判定結果と上記第2の判定の判定結果との組み合わせに基づいて、上記センサにおいて正常に拍動が検出されているかを判定する、信号処理装置が、提供される。 In order to achieve the above object, according to the first aspect of the present invention, the pulsation is normally detected by the above sensors based on the detection results of a plurality of sensors that detect the pulsations at different positions in the detection target. A determination unit for determining whether or not the pulsation is performed is provided, and the determination unit determines whether or not the pulsation is normally detected by comparing a plurality of pulsation numbers corresponding to the detection results of each of the plurality of sensors. The determination of 1 and the second determination of determining whether or not the pulsation is normally detected based on the amount of pulsation deviation corresponding to the detection results of each of the plurality of sensors are performed, and the determination of the first determination is performed. A signal processing device for determining whether or not a pulsation is normally detected by the sensor is provided based on a combination of the determination result and the determination result of the second determination.
かかる構成では、第1の判定および第2の判定という異なる観点による判定の結果の組み合わせに基づいて、センサにおいて正常に拍動が検出されているかが判定される。よって、かかる構成により、1つの観点で正常に拍動が検出されているかを判定するよりも、センサにおいて正常に拍動が検出されているかをより確実に判定することが可能である。したがって、かかる構成によって、センサにおいて正常に拍動が検出されているかをより正確に判定することができる。 In such a configuration, it is determined whether or not the pulsation is normally detected by the sensor based on the combination of the results of the determinations from different viewpoints of the first determination and the second determination. Therefore, with such a configuration, it is possible to more reliably determine whether or not the pulsation is normally detected by the sensor than to determine whether or not the pulsation is normally detected from one viewpoint. Therefore, with such a configuration, it is possible to more accurately determine whether or not the pulsation is normally detected by the sensor.
また、上記判定部は、上記第1の判定の判定結果と上記第2の判定の判定結果との双方が正常に拍動が検出されていることを示す場合に、複数の上記センサにおいて正常に拍動が検出されていると判定してもよい。 Further, when the determination unit indicates that both the determination result of the first determination and the determination result of the second determination indicate that the pulsation is normally detected, the plurality of sensors are normally used. It may be determined that the pulsation has been detected.
また、上記判定部は、上記第1の判定の判定結果と上記第2の判定の判定結果との一方が正常に拍動が検出されていることを示さない場合には、複数の上記センサにおいて正常に拍動が検出されていると判定しなくてもよい。 Further, when one of the determination result of the first determination and the determination result of the second determination does not indicate that the pulsation is normally detected, the determination unit may use the plurality of sensors. It is not necessary to determine that the pulsation is normally detected.
また、上記第1の判定を行う場合、上記判定部は、複数の上記拍動数を比較して複数の上記拍動数が一致しているかを判定し、複数の上記拍動数が一致していると判定された場合に正常に拍動が検出されていると判定してもよい。 Further, when performing the first determination, the determination unit compares a plurality of the above-mentioned beat numbers and determines whether or not the plurality of the above-mentioned beat numbers match, and the plurality of the above-mentioned beat numbers match. If it is determined that the pulsation is normally performed, it may be determined that the pulsation is normally detected.
また、上記第2の判定を行う場合、上記判定部は、上記拍動のずれ量が所定の範囲内であるかを判定し、上記拍動のずれ量が所定の範囲内であると判定された場合に正常に拍動が検出されていると判定してもよい。 Further, when performing the second determination, the determination unit determines whether the pulsation deviation amount is within a predetermined range, and determines that the pulsation deviation amount is within a predetermined range. If this is the case, it may be determined that the pulsation is normally detected.
また、上記判定部は、複数の上記拍動数が所定の範囲内であるかを判定する第3の判定を、さらに行ってもよい。 In addition, the determination unit may further perform a third determination for determining whether or not the plurality of beats are within a predetermined range.
また、上記判定部は、上記第3の判定を行った結果、複数の上記拍動数が所定の範囲内であると判定されない場合、上記第1の判定および上記第2の判定を行わず、上記第3の判定を行った結果、複数の上記拍動数が所定の範囲内であると判定された場合に、上記第1の判定および上記第2の判定を行ってもよい。 Further, when the determination unit does not determine that the plurality of beats are within a predetermined range as a result of performing the third determination, the determination unit does not perform the first determination and the second determination. When it is determined that the plurality of beats are within a predetermined range as a result of performing the third determination, the first determination and the second determination may be performed.
また、上記判定部は、上記第3の判定を行った結果、複数の上記拍動数が所定の範囲内であると判定されない場合、複数の上記センサの検出結果に基づく処理を、行わせなくてもよい。 Further, when the determination unit does not determine that the plurality of beats are within a predetermined range as a result of performing the third determination, the determination unit does not perform processing based on the detection results of the plurality of sensors. You may.
また、上記目的を達成するために、本発明の第2の観点によれば、検出対象における異なる位置の拍動をそれぞれ検出する複数のセンサの検出結果に基づいて、上記センサにおいて正常に拍動が検出されているかを判定するステップを、コンピュータに実行させ、上記判定するステップでは、複数の上記センサそれぞれの検出結果に対応する複数の拍動数を比較することにより正常に拍動が検出されているかを判定する第1の判定と、複数の上記センサそれぞれの検出結果に対応する拍動のずれ量に基づいて正常に拍動が検出されているかを判定する第2の判定とが行われ、上記第1の判定の判定結果と上記第2の判定の判定結果との組み合わせに基づいて、上記センサにおいて正常に拍動が検出されているかが判定される、プログラムが、提供される。 Further, in order to achieve the above object, according to the second aspect of the present invention, the pulsation is normally performed in the sensor based on the detection results of a plurality of sensors that detect the pulsation at different positions in the detection target. The step of determining whether or not is detected is executed by a computer, and in the above-mentioned determination step, the pulsation is normally detected by comparing a plurality of pulsation numbers corresponding to the detection results of each of the plurality of sensors. A first determination for determining whether or not the pulsation is performed and a second determination for determining whether or not the pulsation is normally detected based on the amount of pulsation deviation corresponding to the detection results of each of the plurality of sensors are performed. , A program is provided in which it is determined whether or not the pulsation is normally detected by the sensor based on the combination of the determination result of the first determination and the determination result of the second determination.
かかるプログラムでは、第1の判定および第2の判定という異なる観点による判定の結果の組み合わせに基づいて、センサにおいて正常に拍動が検出されているかが判定される。したがって、かかるプログラムによって、センサにおいて正常に拍動が検出されているかをより正確に判定することができる。 In such a program, it is determined whether or not the pulsation is normally detected by the sensor based on the combination of the results of the determinations from different viewpoints of the first determination and the second determination. Therefore, such a program can more accurately determine whether or not the sensor normally detects the pulsation.
本発明によれば、センサにおいて正常に拍動が検出されているかをより正確に判定することができる。 According to the present invention, it is possible to more accurately determine whether or not the pulsation is normally detected by the sensor.
以下、添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.
[1]本発明の実施形態に係る信号処理システム
[1−1]本発明の実施形態に係る信号処理システムの概要
上述したように、検出対象の拍動を検出するセンサが用いられる場合、様々な外因により拍動の波形にノイズが重畳することが想定される。センサが自動車に搭載される場合を例に挙げると、外因としては、例えば、検出対象であるドライバの運転行動や道路環境などが挙げられる。具体例を挙げると、センサが搭載されている自動車が高速道路を走行する場合に、高速道路の高架連結部によって生じうる周期的な振動(例えば約1[s]周期の振動)は、拍動の波形に影響を与えるノイズとなる。
[1] Signal processing system according to the embodiment of the present invention [1-1] Outline of the signal processing system according to the embodiment of the present invention As described above, there are various cases where a sensor for detecting the beat of the detection target is used. It is assumed that noise is superimposed on the beat waveform due to various external factors. Taking the case where the sensor is mounted on an automobile as an example, examples of external factors include the driving behavior of the driver to be detected and the road environment. To give a specific example, when a vehicle equipped with a sensor travels on a highway, the periodic vibration (for example, vibration having a period of about 1 [s]) that can be generated by the elevated connection portion of the highway is beaten. It becomes noise that affects the waveform of.
また、上述したように、拍動の波形にノイズが重畳した場合、拍動の波形から正確な拍動に関する指標を得ることができない可能性がある。 Further, as described above, when noise is superimposed on the pulsation waveform, it may not be possible to obtain an accurate pulsation index from the pulsation waveform.
図1は、拍動の波形から正確な拍動に関する指標を得ることができない場合の一例を説明するための説明図であり、電波を利用して拍動を検出するドップラーセンサにより検出された拍動の波形の例を示している。図1のAは、外因によるノイズが重畳していない拍動の波形の一例を示している。図1のBは、図1のAに示す拍動の波形に対して外因によるノイズが重畳された場合における、拍動の波形の一例を示している。図1のAに示すP1、P2は、図1のAに示す拍動の波形におけるピーク位置を示しており、図1のBに示すP1’、P2’、P3’は、図1のBに示す拍動の波形におけるピーク位置を示している。 FIG. 1 is an explanatory diagram for explaining an example in which an accurate index related to the pulsation cannot be obtained from the pulsation waveform, and is a beat detected by a Doppler sensor that detects the pulsation using radio waves. An example of a dynamic waveform is shown. FIG. 1A shows an example of a pulsating waveform in which noise due to an extrinsic factor is not superimposed. B in FIG. 1 shows an example of the pulsation waveform when noise due to an extrinsic factor is superimposed on the pulsation waveform shown in A in FIG. P1 and P2 shown in A of FIG. 1 indicate peak positions in the pulsation waveform shown in A of FIG. 1, and P1', P2'and P3'shown in B of FIG. 1 are shown in B of FIG. The peak position in the pulsation waveform shown is shown.
上述したように、RRIは、拍動の波形からピーク位置の間隔を検出することにより得られる。拍動の波形のピーク位置は、例えば、“設定されている閾値を波形を示す信号が上回ってから、当該閾値を波形を示す信号が下回るまでの区間”を、波形を示す信号から検出し、当該区間における最大値を検出することによって、特定される。なお、拍動の波形のピーク位置の特定方法が、上記に示す例に限られないことは、言うまでもない。 As described above, RRI is obtained by detecting the interval between peak positions from the beat waveform. For the peak position of the pulsation waveform, for example, "the section from when the signal indicating the waveform exceeds the set threshold value to when the signal indicating the waveform falls below the threshold value" is detected from the signal indicating the waveform. It is identified by detecting the maximum value in the section. Needless to say, the method of specifying the peak position of the pulsation waveform is not limited to the example shown above.
また、所定の期間における拍動数は、例えばRRIを用いる下記の数式1によって算出することができる。ここで、下記の数式1は、1分間(所定の期間の一例)における拍動数を算出する演算の一例を示している。つまり、下記の数式1により算出される拍動数の単位は“[Beats per Minute]”である。また、下記の数式1においてRRIは“[sec]”で表される。なお、本発明の実施形態に係る所定の期間は、1分間に限られず、任意の期間であってもよい。 Further, the number of beats in a predetermined period can be calculated by the following mathematical formula 1 using, for example, RRI. Here, the following formula 1 shows an example of a calculation for calculating the number of beats in one minute (an example of a predetermined period). That is, the unit of the number of beats calculated by the following mathematical formula 1 is "[Beats per Minute]". Further, in the following mathematical formula 1, RRI is represented by "[sec]". The predetermined period according to the embodiment of the present invention is not limited to one minute, and may be any period.
拍動数=1/RRI×60
・・・(数式1)
Number of beats = 1 / RRI x 60
... (Formula 1)
図1に示すように、拍動の波形にノイズが重畳した場合には、拍動の波形から検出されるピーク位置が変わる。つまり、図1のAに示す拍動の波形から得られる拍動に関する指標と、図1のBに示す拍動の波形から得られる拍動に関する指標とは、異なる可能性がある。よって、拍動の波形にノイズが重畳した場合には、拍動の波形から正確な拍動に関する指標を得ることができるとは限られない。 As shown in FIG. 1, when noise is superimposed on the pulsation waveform, the peak position detected from the pulsation waveform changes. That is, the index related to the beat obtained from the waveform of the beat shown in FIG. 1A and the index related to the beat obtained from the waveform of the beat shown in FIG. 1B may be different from each other. Therefore, when noise is superimposed on the pulsation waveform, it is not always possible to obtain an accurate pulsation index from the pulsation waveform.
そこで、本発明の実施形態に係る信号処理システムは、複数のセンサと、信号処理装置とを有し、信号処理装置が、複数のセンサの検出結果に基づいてセンサにおいて正常に拍動が検出されているかを判定する。 Therefore, the signal processing system according to the embodiment of the present invention has a plurality of sensors and a signal processing device, and the signal processing device normally detects the beat in the sensor based on the detection results of the plurality of sensors. Determine if it is.
複数のセンサそれぞれは、検出対象における異なる位置の拍動をそれぞれ検出するセンサである。複数のセンサとしては、例えば、複数の電極の電位差を利用して心拍を示す信号を検出する心拍センサや、ドップラーセンサ、光電容量脈波という方式を用いて光学的に脈波を検出する脈波センサ、撮像された画像を利用して拍動を検出する画像センサ、赤外光などの光を利用して拍動を検出するTOF(Time Of Flight)センサなど、拍動を検出することが可能な任意の方式のセンサが、挙げられる。 Each of the plurality of sensors is a sensor that detects the pulsation of different positions in the detection target. Examples of the plurality of sensors include a heartbeat sensor that detects a signal indicating a heartbeat using the potential differences of a plurality of electrodes, a Doppler sensor, and a pulse wave that optically detects a pulse wave using a method called photoelectric capacitance pulse wave. It is possible to detect pulsations, such as sensors, image sensors that detect pulsations using captured images, and TOF (Time Of Flight) sensors that detect pulsations using light such as infrared light. Any type of sensor can be mentioned.
また、複数のセンサは、検出対象の拍動を検出する同種のセンサであってもよいし、複数のセンサには、異なる種類のセンサが含まれていてもよい。複数のセンサとして同種のセンサが用いられる場合、各センサの特性は、個々のセンサのばらつきを除くと同一であるので、複数のセンサの検出結果を利用した判定精度の向上がみこまれる。また、複数のセンサに異なる種類のセンサが含まれる場合、異なる観点で検出対象の拍動が検出されるので、この場合においても複数のセンサの検出結果を利用した判定精度の向上がみこまれる。 Further, the plurality of sensors may be the same type of sensor that detects the pulsation of the detection target, or the plurality of sensors may include different types of sensors. When the same type of sensor is used as a plurality of sensors, the characteristics of each sensor are the same except for the variation of each sensor, so that the determination accuracy can be improved by using the detection results of the plurality of sensors. Further, when a plurality of sensors include different types of sensors, the pulsation of the detection target is detected from different viewpoints. Therefore, even in this case, the determination accuracy can be improved by using the detection results of the plurality of sensors. ..
より具体的には、本発明の実施形態に係る信号処理装置は、後述する第1の判定および第2の判定に示すように、複数の異なる観点それぞれにおいて正常に拍動が検出されているかをそれぞれ判定する。そして、本発明の実施形態に係る信号処理装置は、異なる観点による判定の結果の組み合わせに基づいて、センサにおいて正常に拍動が検出されているかを判定する。本発明の実施形態に係る信号処理装置は、異なる観点による判定の結果の全てが正常に拍動が検出されていることを示す場合に、センサにおいて正常に拍動が検出されていると判定する。また、本発明の実施形態に係る信号処理装置は、異なる観点による判定の結果のうち、少なくとも1つの判定の結果が、正常に拍動が検出されていることを示さない場合には、センサにおいて正常に拍動が検出されていると判定しない。 More specifically, in the signal processing device according to the embodiment of the present invention, as shown in the first determination and the second determination described later, whether or not the pulsation is normally detected in each of a plurality of different viewpoints. Judge each. Then, the signal processing device according to the embodiment of the present invention determines whether or not the pulsation is normally detected by the sensor based on the combination of the determination results from different viewpoints. The signal processing device according to the embodiment of the present invention determines that the pulsation is normally detected by the sensor when all the results of the determinations from different viewpoints indicate that the pulsation is normally detected. .. Further, in the signal processing device according to the embodiment of the present invention, when the result of at least one of the determination results from different viewpoints does not indicate that the pulsation is normally detected, the sensor is used. It is not determined that the beat is detected normally.
上記のように、異なる観点による判定の結果の組み合わせに基づいて、センサにおいて正常に拍動が検出されているかが判定されることによって、1つの観点で正常に拍動が検出されているかを判定するよりも、センサにおいて正常に拍動が検出されているかをより確実に判定することができる。 As described above, it is determined whether the pulsation is normally detected from one viewpoint by determining whether the sensor normally detects the pulsation based on the combination of the judgment results from different viewpoints. It is possible to more reliably determine whether or not the pulsation is normally detected by the sensor.
したがって、本発明の実施形態に係る信号処理装置を有する本発明の実施形態に係る信号処理システムは、センサにおいて正常に拍動が検出されているかをより正確に判定することができる。 Therefore, the signal processing system according to the embodiment of the present invention having the signal processing device according to the embodiment of the present invention can more accurately determine whether or not the pulsation is normally detected by the sensor.
また、本発明の実施形態に係る信号処理装置において、センサにおいて正常に拍動が検出されているかが判定されることによって、例えば、“図1のBに示すような正常に拍動が検出されていない状態における拍動の波形から得られる拍動に関する指標が、ヘルスケアに関する様々な用途で用いられること”を、防止することが可能となる。 Further, in the signal processing device according to the embodiment of the present invention, by determining whether or not the pulsation is normally detected by the sensor, for example, "the pulsation is normally detected as shown in B of FIG. It is possible to prevent the pulsation index obtained from the pulsation waveform in the non-existing state from being used in various applications related to healthcare.
[1−2]本発明の実施形態に係る信号処理システムの構成
次に、本発明の実施形態に係る信号処理システムの構成を説明しつつ、本発明の実施形態に係る信号処理装置における処理について、より具体的に説明する。
[1-2] Configuration of Signal Processing System According to Embodiment of the Present Invention Next, while explaining the configuration of the signal processing system according to the embodiment of the present invention, the processing in the signal processing apparatus according to the embodiment of the present invention will be described. , Will be described more specifically.
以下では、本発明の実施形態に係る信号処理システムが2つのセンサを有する場合を、例に挙げる。なお、本発明の実施形態に係る信号処理システムが有するセンサの数は、2つに限られない。本発明の実施形態に係る信号処理システムは、3つ以上のセンサを有していてもよい。本発明の実施形態に係る信号処理システムが3つ以上のセンサを有する場合であっても、本発明の実施形態に係る信号処理装置は、後述する信号処理システムが2つのセンサを有する場合と同様に、センサにおいて正常に拍動が検出されているかを判定することが可能である。 In the following, a case where the signal processing system according to the embodiment of the present invention has two sensors will be given as an example. The number of sensors included in the signal processing system according to the embodiment of the present invention is not limited to two. The signal processing system according to the embodiment of the present invention may have three or more sensors. Even when the signal processing system according to the embodiment of the present invention has three or more sensors, the signal processing device according to the embodiment of the present invention is the same as when the signal processing system described later has two sensors. In addition, it is possible to determine whether or not the beat is normally detected by the sensor.
図2は、本発明の実施形態に係る信号処理システム1000の構成の一例を示す説明図である。信号処理システム1000は、センサ100A、100Bと、信号処理装置200とを有する。
FIG. 2 is an explanatory diagram showing an example of the configuration of the
[1−2−1]センサ100A、100B
センサ100A、100Bそれぞれは、検出対象における異なる位置の拍動をそれぞれ検出するセンサである。センサ100A、100Bとしては、例えば上述したように、心拍センサや、ドップラーセンサ、脈波センサ、画像センサ、TOFセンサなど、拍動を検出することが可能な任意の方式のセンサが、挙げられる。
[1-2-1]
本発明の実施形態に係る検出対象における異なる位置としては、例えば、“心臓と他の部位や、腕と太腿などの、検出対象における異なる任意の部位”、“腕や太腿における異なる位置などの、同一の部位における異なる位置”が、挙げられる。なお、検出対象における異なる位置の例が、上記に示す例に限られないことは、言うまでもない。 Different positions in the detection target according to the embodiment of the present invention include, for example, "different arbitrary parts in the detection target such as the heart and other parts, arms and thighs", and "different positions in the arms and thighs". , Different positions in the same site. Needless to say, the examples of different positions in the detection target are not limited to the examples shown above.
また、センサ100A、100Bは、同種のセンサであってもよいし、異なる種類のセンサであってもよい。以下では、センサ100A、100Bのうちの一方のセンサが心拍センサであり、他方のセンサがドップラーセンサである場合(センサ100A、100Bが異なる種類のセンサである場合の一例)を、例に挙げる。
Further, the
センサ100A、100Bそれぞれは、例えば図1に示すような、センサが対応する拍動の波形を示す信号を、拍動の検出結果として出力する。センサ100A、100Bそれぞれから出力される拍動の波形を示す信号の一例については、後述する。
Each of the
センサ100A、100Bそれぞれは、例えば、センサ100A、100Bそれぞれが備えているバッテリなどの内部電源から供給される電力、または、信号処理システム1000が有する電源などの外部電源から供給される電力などによって、駆動する。
Each of the
[1−2−2]信号処理装置200
信号処理装置200は、センサ100A、100B(複数のセンサの一例。以下、同様である。)の検出結果を利用して、センサ100A、100Bにおいて正常に拍動が検出されているかを判定する装置である。
[1-2-2]
The
上述したように、信号処理装置200は、複数の異なる観点で正常に拍動が検出されているかをそれぞれ判定し、異なる観点による判定の結果の組み合わせに基づいて、センサにおいて正常に拍動が検出されているかを判定する。信号処理装置200における判定に係る処理の一例については、後述する。
As described above, the
信号処理装置200は、例えば、生成部202と、判定部204と、処理部206とを備える。
The
生成部202、判定部204、および処理部206は、例えば、CPU(Central Processing Unit)やMCU(Micro Controller Unit)などのプロセッサ(図示せず)で構成される。なお、生成部202、判定部204、および処理部206は、複数の処理回路で構成されていてもよい。また、上記プロセッサ(図示せず)は、信号処理装置200全体を制御する役目を果たしうる。
The
また、信号処理装置200は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、信号処理装置200の使用者が操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)、外部の装置と無線通信または有線通信を行うための通信部(図示せず)などを備えていてもよい。信号処理装置200は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
Further, the
ROM(図示せず)は、例えばプロセッサ(図示せず)が使用するプログラムや演算パラメータなどのデータを記憶する。RAM(図示せず)は、例えば、プロセッサ(図示せず)により実行されるプログラムや、処理データなどを一時的に記憶する。 The ROM (not shown) stores data such as programs and arithmetic parameters used by a processor (not shown), for example. The RAM (not shown) temporarily stores, for example, a program executed by a processor (not shown), processing data, and the like.
操作部(図示せず)としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどの任意の操作デバイスが、挙げられる。 Examples of the operation unit (not shown) include any operation device such as a button, a direction key, or a combination thereof.
表示部(図示せず)としては、例えば、液晶ディスプレイや有機ELディスプレイなどの任意の表示デバイスが、挙げられる。表示部(図示せず)における表示は、例えばプロセッサ(図示せず)により制御される。 Examples of the display unit (not shown) include any display device such as a liquid crystal display or an organic EL display. The display on the display unit (not shown) is controlled by, for example, a processor (not shown).
通信部(図示せず)としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)など、任意の通信方式に対応する通信デバイスが、挙げられる。また、通信部(図示せず)を構成する通信デバイスは、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、FlexRay、MOST(Media Oriented System Transport)などの車載ネットワークに対応する通信デバイスであってもよい。通信部(図示せず)における通信は、例えばプロセッサ(図示せず)により制御される。 The communication unit (not shown) includes, for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE802.5.1 port and a transmission / reception circuit (wireless communication), an IEEE802.11 port and a transmission / reception circuit (wireless). (Communication), or a communication device that supports any communication method such as a LAN terminal and a transmission / reception circuit (wired communication). The communication device constituting the communication unit (not shown) is, for example, a communication device compatible with an in-vehicle network such as CAN (Controller Area Network), LIN (Local Interconnect Network), FlexRay, and MOST (Media Oriented System Transport). It may be. Communication in the communication unit (not shown) is controlled by, for example, a processor (not shown).
信号処理装置200は、例えば、信号処理装置200が備えているバッテリなどの内部電源から供給される電力、または、信号処理システム1000が有する電源などの外部電源から供給される電力などによって、駆動する。
The
[1−2−2−1]生成部202
生成部202は、センサ100A、100Bそれぞれから伝達される拍動の波形を示す信号(センサ100A、100Bの検出結果を示す信号の一例)に基づいて、拍動情報を、センサ100A、100Bごとに生成する。
[1-2-2-1]
The
本発明の実施形態に係る拍動情報とは、拍動の波形を示す信号から検出される拍動に関するデータである。拍動情報には、例えば、拍動数と拍動の検出時間とが含まれる。 The pulsation information according to the embodiment of the present invention is data related to pulsation detected from a signal indicating a pulsation waveform. The pulsation information includes, for example, the number of pulsations and the detection time of pulsations.
なお、拍動情報に含まれるデータは、上記に示す例に限られない。例えば、拍動情報には、RRIなどの、拍動の波形を示す信号から検出することが可能な任意の指標に対応するデータが、含まれていてもよい。また、拍動情報には、センサ100A、100Bを示すデータ(例えば、センサ100A、100BのIDや、センサの種類を示すデータなど)などが、含まれていてもよい。
The data included in the pulsation information is not limited to the example shown above. For example, the pulsation information may include data corresponding to any index that can be detected from a signal indicating the pulsation waveform, such as RRI. Further, the pulsation information may include data indicating the
生成部202は、例えば、センサ100Aから伝達される拍動の波形を示す信号に基づき拍動情報を生成する第1生成部208Aと、センサ100Bから伝達される拍動の波形を示す信号に基づき拍動情報を生成する第2生成部208Bとを有する。第1生成部208Aと第2生成部208Bとは、拍動情報の生成を同期して開始する。
The
第1生成部208Aは、例えば、フィルタ部210Aと、生成処理部212Aとを有する。
The
フィルタ部210Aは、センサ100Aから伝達される拍動の波形を示す信号をフィルタリングし、拍動の波形を示す信号から、拍動に対応する周波数成分以外の周波数成分を取り除く。フィルタ部210Aとしては、例えば“0.8[Hz]〜1.2[Hz]などの拍動に対応する周波数成分のみを通過させ、他の周波数成分を通過させない、バンドパスフィルタ”が、挙げられる。なお、フィルタ部210Aを構成するフィルタは、バンドパスフィルタに限られず、拍動に対応する周波数成分以外の周波数成分を減衰させることが可能な、任意のフィルタであってもよい。
The
生成処理部212Aは、フィルタ部210Aにおいてフィルタリングされた拍動の波形を示す信号に基づいて、拍動情報を生成し、生成した拍動情報を出力する。
The
生成処理部212Aは、例えば、フィルタリングされた拍動の波形を示す信号からピーク位置を検出して、フィルタリングされた拍動の波形を示す信号からRRIを取得する。そして、生成処理部212Aは、上記数式1により拍動数を算出する。
For example, the
また、生成処理部212Aは、例えば、フィルタリングされた拍動の波形を示す信号から拍動の検出時間を特定する。生成処理部212Aは、例えば、拍動情報の生成を開始した時点を基準時間として、ピーク位置が検出された時点を、拍動の検出時間として特定する。上述したように、第1生成部208Aと第2生成部208Bとは、拍動情報の生成を同期して開始するので、生成処理部212Aと第2生成部208Bとにおける基準時間は、一致することとなる。
Further, the
そして、生成処理部212Aは、拍動数と拍動の検出時間とを含む拍動情報を出力する。なお、上述したように、生成処理部212Aが出力する拍動情報には、RRIや、センサ100Aを示すIDなどが含まれていてもよい。
Then, the
第2生成部208Bは、例えば、フィルタ部210Bと、生成処理部212Bとを有する。
The
フィルタ部210Bは、センサ100Bから伝達される拍動の波形を示す信号をフィルタリングし、拍動の波形を示す信号から、拍動に対応する周波数成分以外の周波数成分を取り除く。フィルタ部210Bとしては、例えばフィルタ部210Aと同様に、バンドパスフィルタなどが挙げられる。なお、フィルタ部210Bを構成するフィルタは、フィルタ部210Aと同種のフィルタであってもよいし、異なる種類のフィルタであってもよい。
The
生成処理部212Bは、生成処理部212Aと同様に、フィルタ部210Bにおいてフィルタリングされた拍動の波形を示す信号に基づいて拍動情報を生成し、生成した拍動情報を出力する。
Similar to the
生成部202は、例えば第1生成部208Aと第2生成部208Bとを有することによって、拍動情報を、センサ100A、100Bごとに生成する。
The
[1−2−2−2]判定部204
判定部204は、判定に係る処理を行う役目を果たす。判定部204は、複数の異なる観点で正常に拍動が検出されているかをそれぞれ判定し、異なる観点による判定の結果の組み合わせに基づいて、センサにおいて正常に拍動が検出されているかを判定する。
[1-2-2-2]
The
図3は、本発明の実施形態に係る信号処理装置200が備える判定部204における判定に係る処理の一例を説明するための説明図である。図3のAは、センサ100A、100Bの検出対象の一例であるドライバを示している。図3のBは、心拍センサ(センサ100A、100Bのうちの一方)により検出された、ドライバの心臓の拍動の波形の一例を示している。図3のCは、ドップラーセンサ(センサ100A、100Bのうちの他方)により検出された、ドライバの太腿の拍動の波形の一例を示している。以下、図3を適宜参照して、判定部204における判定に係る処理の一例を説明する
FIG. 3 is an explanatory diagram for explaining an example of processing related to determination in the
より具体的には、判定部204は、下記の(A)に示す第1の判定と、下記の(B)に示す第2の判定とをそれぞれ行う。
More specifically, the
(A)第1の判定
判定部204は、センサ100A、100Bそれぞれの検出結果に対応する複数の拍動数を比較することにより正常に拍動が検出されているかを判定する。
(A) First determination The
上述したように、センサ100A、100Bにおいて検出される拍動には、心拍と脈拍とが含まれうる。ここで、心拍は心臓の拍動である。また、脈拍は、心臓の拍動によって血液が心臓から送り出されることにより生じる血管の拍動である。そのため、センサ100A、100Bが検出対象における異なる位置の拍動を検出するとしても、センサ100A、100Bにおいて正常に拍動が検出されている場合には、拍動数は、(個々のセンサのばらつきなどにより生じうる誤差を除いて)基本的に一致するはずである。
As described above, the beats detected by the
つまり、第1の判定は、検出対象における異なる位置の拍動数が一致することを利用して、正常に拍動が検出されているかを判定する判定である。 That is, the first determination is a determination for determining whether or not the pulsation is normally detected by utilizing the fact that the pulsations at different positions in the detection target match.
判定部204は、複数の拍動数を比較して複数の拍動数が一致しているかを判定する。判定部204は、例えば、センサ100Aに対応する拍動情報が示す拍動数と、センサ100Bに対応する拍動情報が示す拍動数とが同一である場合に、複数の拍動数が一致していると判定する。また、判定部204は、例えば、“センサ100Aに対応する拍動情報が示す拍動数と、センサ100Bに対応する拍動情報が示す拍動数との差の絶対値”が、設定されている第1の判定に係る閾値以下の場合、または、当該絶対値が当該第1の判定に係る閾値よりも小さい場合に、複数の拍動数が一致していると判定してもよい。
The
第1の判定を行う場合、判定部204は、複数の拍動数が一致していると判定された場合に、正常に拍動が検出されていると判定する。また、判定部204は、複数の拍動数が一致していると判定されない場合には、正常に拍動が検出されていると判定しない。
When making the first determination, the
(B)第2の判定
判定部204は、センサ100A、100Bそれぞれの検出結果に対応する拍動のずれ量に基づいて正常に拍動が検出されているかを判定する。
(B) The second
上述したように、センサ100A、100Bにおいて検出される拍動には、心拍と脈拍とが含まれうる。また、上述したように、心拍は心臓の拍動であり、脈拍は、心臓の拍動によって血液が心臓から送り出されることにより生じる血管の拍動である。そのため、例えば、心拍と脈拍、および、検出対象の異なる位置における脈拍間では、拍動が検出されるタイミングにずれが生じる。
As described above, the beats detected by the
つまり、第2の判定は、検出対象における異なる位置の拍動が検出されるタイミングにずれが生じることを利用して、正常に拍動が検出されているかを判定する判定である。 That is, the second determination is a determination for determining whether or not the pulsation is normally detected by utilizing the fact that the timing at which the pulsation at different positions in the detection target is detected is deviated.
判定部204は、拍動情報が示す拍動の検出時間に基づいて、拍動のずれ量を特定する。判定部204は、例えば“センサ100Aおよびセンサ100Bにおける、対応する拍動の検出時間の差”を求めることによって、拍動のずれ量を特定する。対応する拍動の検出時間の例としては、例えば、“図3に示すピーク位置P1が検出された時点、および図3に示すピーク位置P1’が検出された時点”、“図3に示すピーク位置P2が検出された時点、および図3に示すピーク位置P1’が検出された時点”、…が、挙げられる。つまり、図3に示す“ずれ量”それぞれが、拍動のずれ量の一例に該当する。対応する拍動の検出時間は、例えば、拍動情報に記録されている拍動の検出時間を、基準時間に近い順に並べることにより特定することが可能である。
The
判定部204は、拍動のずれ量が所定の範囲内であるかを判定する。第2の判定に係る所定の範囲を示すデータは、例えば、ROM(図示せず)などの記録媒体に記憶される。第2の判定に係る所定の範囲を示すデータとしては、例えば、“複数のセンサのIDと、第2の判定に係る所定の範囲とが対応付けられているテーブル(またはデータベース。以下、同様とする。)”や、“複数のセンサの検出対象となる部位と、第2の判定に係る所定の範囲とが対応付けられているテーブル(またはデータベース。以下、同様とする。)”などが、挙げられる。複数のセンサの検出対象となる部位には、異なる部位と、同一の部位との一方または双方が挙げられる。所定の範囲を示すデータに記録される所定の範囲は、例えば、被験者の拍動のずれを測定することなどにより、実験的に定められる。
The
第2の判定に係る所定の範囲を示すデータが“複数のセンサのIDと、第2の判定に係る所定の範囲とが対応付けられているテーブル”である場合、判定部204は、例えば、拍動情報に含まれるセンサを示すIDに基づいて、第2の判定に係る所定の範囲を特定する。また、第2の判定に係る所定の範囲を示すデータが“複数のセンサの検出対象となる部位と、第2の判定に係る所定の範囲とが対応付けられているテーブル”である場合、判定部204は、例えば、操作部(図示せず)の操作により指定される部位に基づいて、第2の判定に係る所定の範囲を特定する。なお、判定部204における第2の判定に係る所定の範囲の特定方法が、上記に示す例に限られないことは、言うまでもない。
When the data indicating the predetermined range related to the second determination is "a table in which the IDs of a plurality of sensors and the predetermined range related to the second determination are associated", the
判定部204は、拍動のずれ量が所定の範囲内であると判定された場合に正常に拍動が検出されていると判定する。また、判定部204は、拍動のずれ量が所定の範囲内であると判定されない場合には、正常に拍動が検出されていると判定しない。拍動のずれ量が所定の範囲内であることには、例えば、拍動のずれ量が下限値にある場合と、拍動のずれ量が上限値にある場合との一方または双方が含まれていてもよいし、これらの場合が含まれていなくてもよい。
The
上記(A)に示す第1の判定および上記(B)に示す第2の判定がそれぞれ行われると、判定部204は、第1の判定および第2の判定という複数の異なる観点で、正常に拍動が検出されているかをそれぞれ判定する。そして、判定部204は、第1の判定の結果および第2の判定の結果の組み合わせに基づいて、センサ100A,100Bにおいて正常に拍動が検出されているかを判定する。
When the first determination shown in the above (A) and the second determination shown in the above (B) are performed, the
判定部204は、第1の判定の判定結果と第2の判定の判定結果との双方が正常に拍動が検出されていることを示す場合に、センサ100A、100Bにおいて正常に拍動が検出されていると判定する。また、判定部204は、第1の判定の判定結果と第2の判定の判定結果との一方が正常に拍動が検出されていることを示さない場合には、センサ100A、100Bにおいて正常に拍動が検出されていると判定しない。
The
そして、判定部204は、判定結果を示す判定情報を、処理部206へ出力する。なお、判定部204は、通信部(図示せず)を構成する通信デバイス、または、信号処理装置200の外部の通信デバイスを介して、判定情報を送信することも、可能である。
Then, the
本発明の実施形態に係る判定情報としては、例えば、センサ100A、100Bにおいて正常に拍動が検出されているか否かを示すフラグが、挙げられる。なお、判定情報は、上記フラグに限られず、センサ100A、100Bにおいて正常に拍動が検出されているかの判定結果を示すことが可能な、任意の形式のデータであってもよい。
Examples of the determination information according to the embodiment of the present invention include a flag indicating whether or not the pulsation is normally detected in the
判定部204から出力される判定情報は、“上記(A)に示す第1の判定および上記(B)に示す第2の判定という複数の異なる観点によって、センサ100A、100Bにおいて正常に拍動が検出されているかが判定された結果”である。よって、判定部204は、1つの1つの観点で正常に拍動が検出されているかを判定するよりも、センサにおいて正常に拍動が検出されているかをより確実に判定することができる。
The determination information output from the
より確実に判定することができる具体例を挙げると、上述した高速道路の高架連結部によって周期的な振動が生じた場合、当該振動は、センサ100A、100Bの双方で同時に検出される。そのため、周期的な振動により拍動の波形に生じたピーク位置のずれ量は、0(ゼロ)または非常に小さくなり、判定部204は、上記(B)に示す第2の判定において、正常に拍動が検出されていると判定しない。その結果、判定部204は、センサ100A、100Bにおいて正常に拍動が検出されていると判定しない。
To give a specific example that can be determined more reliably, when periodic vibration is generated by the above-mentioned elevated connection portion of the expressway, the vibration is detected by both the
したがって、判定部204は、センサ100A、100Bにおいて正常に拍動が検出されているかをより正確に判定することができる。
Therefore, the
なお、判定部204における処理は、上記に示す例に限られない。
The processing in the
例えば、判定部204は、下記の(C)に示す第3の判定をさらに行ってもよい。
For example, the
(C)第3の判定
判定部204は、センサ100A、100Bそれぞれの検出結果に対応する複数の拍動数が所定の範囲内であるかを判定する。
(C) Third determination The
判定部204は、例えば、複数の拍動数それぞれと所定の範囲とを比較し、複数の拍動数の全てが所定の範囲内にある場合に、複数の拍動数が所定の範囲内であると判定する。拍動数が所定の範囲内であることには、例えば、拍動数が下限値にある場合と、拍動数が上限値にある場合との一方または双方が含まれていてもよいし、これらの場合が含まれていなくてもよい。
For example, the
センサ100A、100Bそれぞれの検出対象は、ドライバなどの生体であるので、検出対象の体調や精神状態などの検出対象の状態に応じて、拍動数は変わりうる。また、検出対象の状態が正常な状態である場合、拍動数は一定の範囲内となることが想定される。
Since the detection target of each of the
つまり、第3の判定は、センサ100A、100Bそれぞれの検出結果に対応する拍動数を利用して、検出対象の状態が正常な状態であるかを判定する判定である。
That is, the third determination is a determination to determine whether the state of the detection target is a normal state by using the number of beats corresponding to the detection results of the
第3の判定に係る所定の範囲は、例えば、正常な状態であると自己申告している被験者の拍動数、または、医師等の診断により正常な状態であると推定される被験者の拍動数を測定することなどにより、実験的に定められる。第3の判定に係る所定の範囲の一例を挙げると、第3の判定に係る所定の範囲としては、60[Beats per Minute]〜100[Beats per Minute]が挙げられる。なお、第3の判定に係る所定の範囲の例が、上記に示す例に限られないことは、言うまでもない。 The predetermined range according to the third determination is, for example, the number of beats of a subject who self-reports that the condition is normal, or the beat of a subject estimated to be in a normal state by a diagnosis by a doctor or the like. It is determined experimentally by measuring the number. To give an example of a predetermined range according to the third determination, examples of the predetermined range according to the third determination include 60 [Beats per Minute] to 100 [Beats per Minute]. Needless to say, the example of the predetermined range according to the third determination is not limited to the example shown above.
第3の判定に係る所定の範囲を示すデータは、例えば、ROM(図示せず)などの記録媒体に記憶され、判定部204は、当該第3の判定に係る所定の範囲を示すデータを用いて、センサ100A、100Bそれぞれの検出結果に対応する拍動数が所定の範囲内であるかを判定する。第3の判定に係る所定の範囲を示すデータとしては、例えば、“複数のセンサのIDと、第3の判定に係る所定の範囲とが対応付けられているテーブル(またはデータベース。以下、同様とする。)”や、“複数のセンサの検出対象となる部位と、第3の判定に係る所定の範囲とが対応付けられているテーブル(またはデータベース。以下、同様とする。)”などが、挙げられる。
The data indicating the predetermined range according to the third determination is stored in a recording medium such as a ROM (not shown), and the
第3の判定に係る所定の範囲を示すデータが“複数のセンサのIDと、第3の判定に係る所定の範囲とが対応付けられているテーブル”である場合、判定部204は、例えば、拍動情報に含まれるセンサを示すIDに基づいて、第3の判定に係る所定の範囲を特定する。また、第3の判定に係る所定の範囲を示すデータが“複数のセンサの検出対象となる部位と、第3の判定に係る所定の範囲とが対応付けられているテーブル”である場合、判定部204は、例えば、操作部(図示せず)の操作により指定される部位に基づいて、第3の判定に係る所定の範囲を特定する。なお、判定部204における第3の判定に係る所定の範囲の特定方法が、上記に示す例に限られないことは、言うまでもない。
When the data indicating the predetermined range related to the third determination is "a table in which the IDs of a plurality of sensors and the predetermined range related to the third determination are associated", the
上述したように、第3の判定は、検出対象の状態が正常な状態であるかを判定する判定に該当する。第3の判定を行う場合、判定部204は、例えば、第3の判定の結果を利用して下記の(C−1)に示す処理と下記の(C−2)に示す処理との一方または双方を行う。
As described above, the third determination corresponds to the determination of determining whether the state of the detection target is a normal state. When making a third determination, the
(C−1)第3の判定の結果を利用する処理の第1の例:第1の判定および第2の判定の実行制御に係る処理
判定部204は、第3の判定の結果に基づいて、上記(A)に示す第1の判定および上記(B)に示す第2の判定の実行を制御する。
(C-1) First example of processing using the result of the third determination: Processing related to execution control of the first determination and the second determination The
判定部204は、複数の拍動数が所定の範囲内であると判定されない場合、第1の判定および第2の判定を行わない。また、判定部204は、複数の拍動数が所定の範囲内であると判定された場合に、第1の判定および第2の判定を行う。つまり、判定部204は、検出対象の状態が正常な状態であると判定された場合に、第1の判定および第2の判定を行う。
If it is not determined that the plurality of beats are within a predetermined range, the
上記のように、第3の判定の結果に基づいて第1の判定および第2の判定の実行が選択的に行われることによって、例えば、信号処理装置200における処理負荷の低減、信号処理装置200における消費電力の低減などの効果が奏される。
As described above, by selectively executing the first determination and the second determination based on the result of the third determination, for example, the processing load in the
第1の判定および第2の判定を行わない場合、判定部204は、判定情報を処理部206へ出力しなくてもよいし、センサ100A、100Bにおいて正常に拍動が検出されていないことを示す判定情報を、処理部206へ出力してもよい。
When the first determination and the second determination are not performed, the
(C−2)第3の判定の結果を利用する処理の第2の例:複数のセンサの検出結果に基づく処理の実行制御に係る処理
判定部204は、第3の判定の結果に基づいて、センサ100A、100Bの検出結果に基づく処理の実行を制御する。センサ100A、100Bの検出結果に基づく処理は、拍動に関する指標を用いるヘルスケアに関する用途に応じた処理に、該当する。
(C-2) Second example of processing using the result of the third determination: Processing related to execution control of processing based on the detection results of a plurality of sensors The
判定部204は、複数の拍動数が所定の範囲内であると判定されない場合、センサ100A、100Bの検出結果に基づく処理を、処理部206に行わせない。複数の拍動数が所定の範囲内であると判定されない場合、判定部204は、例えば、センサ100A、100Bの検出結果に基づく処理の実行を制限する制御命令を含む制御情報(データ)を、処理部206に伝達することによって、処理部206におけるセンサ100A、100Bの検出結果に基づく処理の実行を、制限する。
If it is not determined that the plurality of beats are within a predetermined range, the
なお、判定部204は、通信部(図示せず)を構成する通信デバイス、または、信号処理装置200の外部の通信デバイスを介して、上記制御情報を送信することによって、外部の処理装置におけるセンサ100A、100Bの検出結果に基づく処理の実行を、制限することも、可能である。
The
ここで、第2の例に係る第3の判定の結果を利用する処理は、処理部206や外部の処理装置において行うことが可能である。上記のように、第3の判定の結果に基づいてセンサ100A、100Bの検出結果に基づく処理の実行が制御される場合には、処理部206における処理負荷の低減や、外部の処理装置における処理負荷の低減などの効果が奏される。
Here, the process using the result of the third determination according to the second example can be performed by the
図4は、本発明の実施形態に係る信号処理装置200が備える判定部204における処理の一例を示す流れ図である。図4に示すステップS100の処理は、上記(C)に示す第3の判定に係る処理に該当し、図4は、判定部204が、上記(C−1)に示す第1の例に係る第3の判定の結果を利用する処理を行う例を示している。また、図4に示すステップS102の処理は、上記(A)に示す第1の判定に係る処理に該当し、図4に示すステップS106の処理は、上記(B)に示す第2の判定に係る処理に該当する。
FIG. 4 is a flow chart showing an example of processing in the
判定部204は、センサ100A、100Bの検出結果に基づく拍動数が正常範囲であるか否かを判定する(S100)。判定部204は、例えば、第3の判定に係る所定の範囲を示すデータを参照し、第3の判定に係る所定の範囲と、センサ100A、100Bそれぞれに対応する拍動数とを比較することによって、ステップS100の判定を行う。
The
ステップS100において拍動数が正常範囲であると判定されない場合、判定部204は、図4に示す処理を終了する。
If it is not determined in step S100 that the number of beats is within the normal range, the
また、ステップS100において拍動数が正常範囲であると判定された場合、判定部204は、センサ100A、100B間で拍動数が一致しているか否かを判定する(S102)。上述したように、判定部204は、例えば、センサ100Aに対応する拍動数とセンサ100Bに対応する拍動数とが同一である場合に、複数の拍動数が一致していると判定する。また、判定部204は、例えば“センサ100Aに対応する拍動数と、センサ100Bに対応する拍動数との差の絶対値”が、設定されている第1の判定に係る閾値以下の場合(または、当該絶対値が当該第1の判定に係る閾値よりも小さい場合)に、複数の拍動数が一致していると判定してもよい。
Further, when it is determined in step S100 that the number of beats is within the normal range, the
ステップS102においてセンサ100A、100B間で拍動数が一致していると判定されない場合、判定部204は、センサ100A、100Bにおいて正常に拍動が検出されていると判定しない(S104)。そして、判定部204は、図4に示す処理を終了する。
If it is not determined in step S102 that the pulsations match between the
また、ステップS102においてセンサ100A、100B間で拍動数が一致していると判定された場合、判定部204は、センサ100A、100Bそれぞれの検出結果に対応する拍動のずれ量が正常範囲であるか否かを判定する(S106)。判定部204は、例えば、第2の判定に係る所定の範囲を示すデータを参照し、第2の判定に係る所定の範囲と、センサ100A、100Bに対応する拍動のずれ量とを比較することによって、ステップS106の判定を行う。
Further, when it is determined in step S102 that the pulsation numbers match between the
ステップS106において拍動のずれ量が正常範囲であると判定されない場合、判定部204は、センサ100A、100Bにおいて正常に拍動が検出されていると判定しない(S104)。そして、判定部204は、図4に示す処理を終了する。
If it is not determined in step S106 that the amount of pulsation deviation is within the normal range, the
また、ステップS106において拍動のずれ量が正常範囲であると判定された場合、判定部204は、センサ100A、100Bにおいて正常に拍動が検出されていると判定する(S108)。そして、判定部204は、図4に示す処理を終了する。
Further, when it is determined in step S106 that the amount of pulsation deviation is within the normal range, the
判定部204は、例えば図4に示す処理を行う。なお、判定部204における処理の例が、図4に示す例に限られないことは、言うまでもない。
The
[1−2−2−3]処理部206
処理部206は、センサ100A、100Bの検出結果に基づく処理を行う役目を果たす。処理部206は、拍動情報に基づいて、センサ100A、100Bの検出結果に基づく処理を行う。
[1-2-2-3]
The
上述したように、センサ100A、100Bの検出結果に基づく処理は、拍動に関する指標を用いるヘルスケアに関する用途に応じた処理に、該当する。一例を挙げると、センサ100A、100Bの検出結果に基づく処理としては、検出対象の疲労状態の推定する処理、ストレスレベルを推定する処理、睡眠状態を推定する処理、拍動情報が示す拍動数やRRIなどを記録媒体に記録する処理などが、挙げられる。なお、センサ100A、100Bの検出結果に基づく処理は、上記に示す例に限られない。処理部206は、拍動情報が示す拍動数やRRIなどを用いる任意の処理を、行ってもよい。
As described above, the processing based on the detection results of the
処理部206は、例えば、判定部204の判定結果に基づいて、センサ100A、100Bのうちの少なくとも1つのセンサの検出結果に基づく処理を行う。
The
例えば、判定部204から伝達される判定情報が正常に拍動が検出されていることを示す場合、処理部206は、センサ100Aに対応する拍動情報に基づく処理、または、センサ100Bに対応する拍動情報に基づく処理を行う。ここで、判定情報が正常に拍動が検出されていることを示す場合とは、“センサ100Aに対応する拍動情報が示す内容と、センサ100Bに対応する拍動情報が示す内容とは、一致しているとみなすことが可能な場合”である。
For example, when the determination information transmitted from the
よって、処理部206は、判定情報が正常に拍動が検出されていることを示す場合、センサ100Aに対応する拍動情報に基づく処理、または、センサ100Bに対応する拍動情報に基づく処理を行う。なお、処理部206が、センサ100Aに対応する拍動情報およびセンサ100Bに対応する拍動情報を用いて、センサの検出結果に基づく処理を行うことができることは、言うまでもない。
Therefore, when the determination information indicates that the pulsation is normally detected, the
また、例えば、判定部204から伝達される判定情報が正常に拍動が検出されていることを示さない場合、処理部206は、センサ100A、100Bの検出結果に基づく処理を行わない。
Further, for example, when the determination information transmitted from the
つまり、処理部206は、判定部204の判定結果に基づいて、センサ100A、100Bのうちの少なくとも1つのセンサの検出結果に基づく処理を、選択的に行う。
That is, the
なお、処理部206における処理は、上記に示す例に限られない。
The processing in the
例えば、判定部204において上記(C−2)に示す処理(第2の例に係る第3の判定の結果を利用する処理)が行われる場合、処理部206は、判定部204から伝達される制御情報に基づいて、センサ100A、100Bの検出結果に基づく処理を行わなくてもよい。
For example, when the process shown in (C-2) above (process using the result of the third determination according to the second example) is performed in the
信号処理装置200は、例えば図2に示す構成を有することによって、センサ100A、100Bにおいて正常に拍動が検出されているかを判定する。
The
なお、信号処理装置200の構成は、図2に示す例に限られない。
The configuration of the
例えば、図2に示す機能ブロックは、信号処理装置200が有する機能を便宜上切り分けたものであり、信号処理装置200は、機能の切り分け方に応じた任意の構成をとることが可能である。一例を挙げると、信号処理装置200では、判定部204が生成部202の機能を有していてもよい。
For example, the functional block shown in FIG. 2 is obtained by dividing the functions of the
また、信号処理装置200は、例えば、図2に示す処理部206を備えない構成であってもよい。処理部206を備えない場合であっても、信号処理装置200は、センサ100A、100Bにおいて正常に拍動が検出されているかを判定することができる。
Further, the
また、信号処理装置200は、センサ100A、センサ100Bの一方または双方を備える構成であってもよい。信号処理装置200が、センサ100A、センサ100Bの双方を備える構成である場合、信号処理装置200は、信号処理システム1000として機能することとなる。
Further, the
[2]本発明の実施形態に係る信号処理システムにより奏される効果の一例
本発明の実施形態に係る信号処理システムが用いられることによって、例えば下記に示す効果が奏される。なお、本発明の実施形態に係る信号処理システムにより奏される効果が、下記に示す効果に限られないことは、言うまでもない。
・本発明の実施形態に係る信号処理システムでは、本発明の実施形態に係る信号処理装置が、複数のセンサに対応する拍動数の一致度合いに加えて、複数のセンサ間における拍動のタイミングのずれ量(すれ時間)によって、センサにおいて正常に拍動が検出されているかを判定する。よって、本発明の実施形態に係る信号処理システムでは、高速道路の高架連結部によって周期的な振動が生じている場合のようなノイズ条件下においても、センサにおいて正常に拍動が検出されているかをより正確に判定することができる。
[2] An example of the effect produced by the signal processing system according to the embodiment of the present invention By using the signal processing system according to the embodiment of the present invention, for example, the following effects are exhibited. Needless to say, the effects produced by the signal processing system according to the embodiment of the present invention are not limited to the effects shown below.
-In the signal processing system according to the embodiment of the present invention, the signal processing device according to the embodiment of the present invention has a degree of coincidence of the number of beats corresponding to a plurality of sensors and a timing of beats among the plurality of sensors. It is determined whether or not the beating is normally detected by the sensor based on the amount of deviation (sliding time). Therefore, in the signal processing system according to the embodiment of the present invention, is the pulsation normally detected by the sensor even under noise conditions such as when periodic vibration is generated by the elevated connecting portion of the highway? Can be determined more accurately.
[3]本発明の実施形態に係る信号処理システムの適用例
以上、本発明の実施形態に係る信号処理システムについて説明したが、本発明の実施形態に係る信号処理システムは、例えば、“自動車、飛行機、船、電車などの任意の乗り物に設けられるシステム”、“交通システムなどの管制を行う管制室に設けられるシステム”、“電力システムなどの制御を行う制御室に設けられるシステム”、“ホームネットワークシステム”など、検出対象となる生体が存在しうる様々なシステムに適用することが可能である。
[3] Application Example of Signal Processing System According to Embodiment of the Present Invention The signal processing system according to the embodiment of the present invention has been described above. "Systems installed in arbitrary vehicles such as airplanes, ships, trains", "Systems installed in control rooms that control traffic systems", "Systems installed in control rooms that control power systems", "Homes" It can be applied to various systems such as "network system" in which a living body to be detected may exist.
また、本発明の実施形態に係る信号処理システムの構成要素として、本発明の実施形態に係る信号処理装置を挙げたが、本発明の実施形態に係る信号処理装置は、“上記本発明の実施形態に係る信号処理システムが適用されるシステムを構成する、任意の装置”に適用されうる。なお、上述したように、本発明の実施形態に係る信号処理装置は、複数のセンサを備え、本発明の実施形態に係る信号処理システムとして機能してもよい。 Further, as a component of the signal processing system according to the embodiment of the present invention, the signal processing device according to the embodiment of the present invention is mentioned, but the signal processing device according to the embodiment of the present invention is described as "the above-described embodiment of the present invention. It can be applied to any device that constitutes the system to which the signal processing system according to the embodiment is applied. As described above, the signal processing device according to the embodiment of the present invention may include a plurality of sensors and function as the signal processing system according to the embodiment of the present invention.
一例を挙げると、本発明の実施形態に係る信号処理システムが自動車に適用される場合、本発明の実施形態に係る信号処理装置としては、例えば統合ECU(Electronic Control Unit)やボディ系ECU、情報系ECUなどの、コンピュータが挙げられる。本発明の実施形態に係る信号処理システムが自動車に適用される場合、例えば自動車が備える複数のECUによって、本発明の実施形態に係る信号処理装置の機能が実現されていてもよい。 As an example, when the signal processing system according to the embodiment of the present invention is applied to an automobile, the signal processing device according to the embodiment of the present invention includes, for example, an integrated ECU (Electronic Control Unit), a body ECU, and information. Computers such as system ECUs can be mentioned. When the signal processing system according to the embodiment of the present invention is applied to an automobile, for example, a plurality of ECUs included in the automobile may realize the function of the signal processing device according to the embodiment of the present invention.
[4]本発明の実施形態に係るプログラム
コンピュータを、本発明の実施形態に係る信号処理装置として機能させるためのプログラム(例えば、図2に示す信号処理装置200の構成のうち、少なくとも図2に示す判定部204として機能させるためのプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、センサにおいて正常に拍動が検出されているかを判定することができる。
[4] A program according to an embodiment of the present invention A program for causing a computer to function as a signal processor according to an embodiment of the present invention (for example, among the configurations of the
また、コンピュータを、本発明の実施形態に係る信号処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサにより実行されることによって、上述した本発明の実施形態に係る信号処理システムにより奏される効果が、奏される。 Further, when a program for causing the computer to function as the signal processing device according to the embodiment of the present invention is executed by the processor in the computer, the effect exerted by the signal processing system according to the embodiment of the present invention described above. However, it is played.
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 Although preferred embodiments of the present invention have been described above with reference to the accompanying drawings, it goes without saying that the present invention is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the claims, which naturally belong to the technical scope of the present invention. Understood.
例えば、上記では、コンピュータを、本発明の実施形態に係る信号処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。 For example, in the above, it has been shown that a program (computer program) for causing a computer to function as a signal processing device according to an embodiment of the present invention is provided, but the embodiment of the present invention further provides the above program. A stored recording medium can also be provided.
100A、100B センサ
200 信号処理装置
202 生成部
204 判定部
206 処理部
208A 第1生成部
208B 第2生成部
210A、210B フィルタ部
212A、212B 生成処理部
1000 信号処理システム
100A,
Claims (9)
前記判定部は、
複数の前記センサそれぞれの検出結果に対応する複数の拍動数を比較することにより正常に拍動が検出されているかを判定する第1の判定と、複数の前記センサそれぞれの検出結果間で生じ得る拍動の検出タイミングに関するずれ量に基づいて正常に拍動が検出されているかを判定する第2の判定とを行い、
前記第1の判定の判定結果と前記第2の判定の判定結果との組み合わせに基づいて、前記センサにおいて正常に拍動が検出されているかを判定する、信号処理装置。 A determination unit for determining whether or not the pulsation is normally detected by the sensor based on the detection results of a plurality of sensors that detect the pulsation at different positions in the detection target is provided.
The determination unit
First and determining determines normal beats are detected by comparing the number of the plurality of beats corresponding to a plurality of said sensors of each detection result, it occurs between the plurality of sensors each detecting result A second determination is made to determine whether the pulsation is normally detected based on the amount of deviation related to the detection timing of the pulsation to be obtained.
A signal processing device that determines whether or not a pulsation is normally detected by the sensor based on a combination of the determination result of the first determination and the determination result of the second determination.
複数の前記拍動数を比較して複数の前記拍動数が一致しているかを判定し、
複数の前記拍動数が一致していると判定された場合に前記第1の判定に関して正常に拍動が検出されていると判定する、請求項1〜3のいずれか1項に記載の信号処理装置。 When making the first determination, the determination unit
A plurality of the beats are compared to determine whether the beats match.
The signal according to any one of claims 1 to 3, wherein when it is determined that a plurality of the beat numbers match, it is determined that the beat is normally detected with respect to the first determination. Processing equipment.
前記拍動の検出タイミングに関するずれ量が所定の範囲内であるかを判定し、
前記拍動の検出タイミングに関するずれ量が所定の範囲内であると判定された場合に前記第2の判定に関して正常に拍動が検出されていると判定する、請求項1〜4のいずれか1項に記載の信号処理装置。 When making the second determination, the determination unit
It is determined whether the amount of deviation related to the detection timing of the beat is within a predetermined range, and the result is determined.
Any one of claims 1 to 4, wherein when it is determined that the amount of deviation related to the detection timing of the beat is within a predetermined range, it is determined that the beat is normally detected with respect to the second determination. The signal processing device according to the section.
前記第3の判定を行った結果、複数の前記拍動数が所定の範囲内であると判定されない場合、前記第1の判定および前記第2の判定を行わず、
前記第3の判定を行った結果、複数の前記拍動数が所定の範囲内であると判定された場合に、前記第1の判定および前記第2の判定を行う、請求項6に記載の信号処理装置。 The determination unit
If, as a result of performing the third determination, it is not determined that the plurality of beats are within a predetermined range, the first determination and the second determination are not performed.
The sixth aspect of claim 6, wherein when it is determined that the plurality of beats are within a predetermined range as a result of performing the third determination, the first determination and the second determination are performed. Signal processing device.
前記判定するステップでは、
複数の前記センサそれぞれの検出結果に対応する複数の拍動数を比較することにより正常に拍動が検出されているかを判定する第1の判定と、複数の前記センサそれぞれの検出結果間で生じ得る拍動の検出タイミングに関するずれ量に基づいて正常に拍動が検出されているかを判定する第2の判定とが行われ、
前記第1の判定の判定結果と前記第2の判定の判定結果との組み合わせに基づいて、前記センサにおいて正常に拍動が検出されているかが判定される、プログラム。
Based on the detection results of a plurality of sensors that detect beats at different positions in the detection target, a computer is made to perform a step of determining whether the beats are normally detected by the sensors.
In the determination step,
First and determining determines normal beats are detected by comparing the number of the plurality of beats corresponding to a plurality of said sensors of each detection result, it occurs between the plurality of sensors each detecting result A second determination is made to determine whether the pulsation is normally detected based on the amount of deviation regarding the detection timing of the pulsation to be obtained.
A program for determining whether or not a pulsation is normally detected by the sensor based on a combination of the determination result of the first determination and the determination result of the second determination.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017248763A JP6920982B2 (en) | 2017-12-26 | 2017-12-26 | Signal processor and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017248763A JP6920982B2 (en) | 2017-12-26 | 2017-12-26 | Signal processor and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019111259A JP2019111259A (en) | 2019-07-11 |
JP6920982B2 true JP6920982B2 (en) | 2021-08-18 |
Family
ID=67223005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017248763A Active JP6920982B2 (en) | 2017-12-26 | 2017-12-26 | Signal processor and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6920982B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006212178A (en) * | 2005-02-03 | 2006-08-17 | Nippon Telegr & Teleph Corp <Ntt> | Blood pressure-measuring apparatus and blood pressure judgment method |
WO2014196119A1 (en) * | 2013-06-06 | 2014-12-11 | セイコーエプソン株式会社 | Device for processing biological information, and method for processing biological information |
JP6482903B2 (en) * | 2015-03-03 | 2019-03-13 | フクダ電子株式会社 | Pulse wave signal measuring apparatus and control method thereof |
US20160302736A1 (en) * | 2015-04-17 | 2016-10-20 | Seiko Epson Corporation | Biological information processing system, biological information processing device, and method for generating analysis result information |
JP6697985B2 (en) * | 2015-09-04 | 2020-05-27 | パラマウントベッド株式会社 | Biometric information output device |
-
2017
- 2017-12-26 JP JP2017248763A patent/JP6920982B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019111259A (en) | 2019-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2618733B1 (en) | Method and apparatus for monitoring the respiration activity of a subject | |
US11834052B2 (en) | Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program | |
US8508530B2 (en) | Electrocardiogram chart device and method thereof | |
CN102551699B (en) | The system that non-invasive cardiac output is determined | |
US11062804B2 (en) | Synthetic simulation system for testing of physiological monitoring devices | |
JP6408479B2 (en) | Patient monitoring system and patient monitoring method | |
WO2017033608A1 (en) | Diagnosis and treatment assistance device, diagnosis and treatment assistance method, diagnosis and treatment assistance program, and biological information measurement device | |
JP2007501028A5 (en) | ||
US20180192905A1 (en) | Wearable Biometric Measurement Device | |
CN114732384B (en) | Heart health data monitoring method and device based on microwave radar and storage medium | |
CN105682551A (en) | Device and method for monitoring bladder volume of a subject | |
US11311198B2 (en) | System and method for determining psychological stress of a person | |
JP6920982B2 (en) | Signal processor and program | |
KR20190071307A (en) | System and methodof monitoing sleep apnea using radar | |
KR101798521B1 (en) | Apparatus and method of trouble shooting for big-signal sensor in vehcile | |
JP7325576B2 (en) | Terminal device, output method and computer program | |
JP4649429B2 (en) | Heart rate measuring system and method | |
CN112740332A (en) | Evaluation support system and evaluation support method for supporting evaluation of state of circulation system | |
JP2005168908A (en) | Driver's health monitoring system using car | |
US10836256B2 (en) | Enhanced touchscreen operation | |
WO2020203020A1 (en) | Biological information measurer and biological information measurement method using same | |
JP2019126663A (en) | Signal processing device, program, and signal processing system | |
JP2019195417A (en) | Signal processor, program and signal processing system | |
CN112997136A (en) | Interface operation method applied to monitoring equipment and monitoring equipment | |
CN112911992A (en) | Monitoring method, monitor and computer storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190328 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190329 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200529 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6920982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |