JP7067703B2 - Indoor state estimation method and indoor state estimation system - Google Patents
Indoor state estimation method and indoor state estimation system Download PDFInfo
- Publication number
- JP7067703B2 JP7067703B2 JP2018218421A JP2018218421A JP7067703B2 JP 7067703 B2 JP7067703 B2 JP 7067703B2 JP 2018218421 A JP2018218421 A JP 2018218421A JP 2018218421 A JP2018218421 A JP 2018218421A JP 7067703 B2 JP7067703 B2 JP 7067703B2
- Authority
- JP
- Japan
- Prior art keywords
- motif
- wireless lan
- door
- csi
- doppler effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Selective Calling Equipment (AREA)
Description
本発明は、Wi-Fi 電波を検出および分析して屋内設備の操作状態を推定する屋内状態推定方法および屋内状態推定システムに関する。 The present invention relates to an indoor state estimation method and an indoor state estimation system that detect and analyze Wi-Fi radio waves to estimate the operating state of indoor equipment.
ドアの開閉など、屋内設備の状態を検知する手法の研究が進んでいる。ドアの開閉検知は、人の侵入を検知する防犯システム、空調・照明の制御のようなホームオートメーション、高齢者の見守り等の幅広い分野に応用できる。これまでの研究ではそれぞれの屋内設備に加速度センサやジャイロセンサ、振動センサ、スイッチセンサを設置し、無線通信によって開閉情報を集約することで実現されてきた(非特許文献1)。しかし、これらの手法は屋内設備それぞれにセンサを設置する必要があり、バッテリの交換やセンサ故障時の取り替え等の点で手間がかかるため、導入・管理コストが大きくなる。 Research is underway on methods for detecting the state of indoor equipment, such as opening and closing doors. Door open / close detection can be applied to a wide range of fields such as crime prevention systems that detect the intrusion of people, home automation such as air conditioning / lighting control, and watching over elderly people. Previous studies have been realized by installing acceleration sensors, gyro sensors, vibration sensors, and switch sensors in each indoor facility and collecting open / close information by wireless communication (Non-Patent Document 1). However, these methods require sensors to be installed in each of the indoor equipment, which requires time and effort in terms of battery replacement and replacement in the event of sensor failure, resulting in high installation and management costs.
また、近年の無線LANの普及により、無線LAN機器はオフィスや一般家庭等の様々な屋内環境に設置されているため、無線LAN電波は安価に利用できる。屋内設備の操作や人の動き等の環境の変化によって無線LAN電波の伝搬に変化が生じるため、無線LAN電波の伝搬情報から環境の変化を推定することができる。しかし、屋内環境において、無線LAN電波は家具や壁等の様々な障害物に反射・遮蔽されるため、無線LAN電波の伝搬は複雑である。これまでの多くの無線LAN電波を用いた人の屋内位置推定や行動認識等の研究分野では、環境変化と無線LAN電波の伝搬特徴の変化を対応付け、教師あり機械学習を用いて推定が行われてきた。しかし、これらの手法は事前に対象とする環境において多くのラベルが付与された学習データの収集を必要とするため、システム導入時のコストが大きい問題がある。 Further, with the spread of wireless LAN in recent years, wireless LAN devices are installed in various indoor environments such as offices and general households, so that wireless LAN radio waves can be used inexpensively. Since changes in the propagation of wireless LAN radio waves occur due to changes in the environment such as the operation of indoor equipment and the movement of people, changes in the environment can be estimated from the propagation information of the wireless LAN radio waves. However, in an indoor environment, the propagation of wireless LAN radio waves is complicated because the wireless LAN radio waves are reflected and shielded by various obstacles such as furniture and walls. In research fields such as indoor position estimation and behavior recognition of people using many wireless LAN radio waves so far, estimation is performed using supervised machine learning by associating environmental changes with changes in the propagation characteristics of wireless LAN radio waves. It has been broken. However, since these methods require the collection of learning data with many labels in the target environment in advance, there is a problem that the cost at the time of system introduction is large.
また、無線LAN電波の伝搬情報として、チャネル状態情報(CSI:Channel State Information)が屋内環境の状態推定に応用されている。CSIは、無線LAN電波の伝搬損失や反射・回折等のマルチパスの影響による振幅と位相の変化を複素数の絶対値と偏角で表す。このCSIを用いた人の位置推定の研究では、人の動きによるドップラー効果や人に反射した無線LAN電波の到来方向を推定することで、事前学習を必要としない位置推定を行っている(非特許文献2)。物体が動くことでその物体に反射した電波の経路長が変化し、受信機で観測されるCSIの位相成分に変化が生じるため、CSIの位相成分の時間変化から物体の動きによるドップラー効果を推定することができる。また、受信アンテナが直線状に並んでいるようなアンテナアレイを用いることで、電波の到来方向に応じて各受信アンテナで受信される電波の経路長に差が生じるため、各受信アンテナで観測されたCSIを用いてアンテナアレイに対する無線LAN電波の到来方向を推定することができる。 Further, as the propagation information of the wireless LAN radio wave, channel state information (CSI: Channel State Information) is applied to the state estimation of the indoor environment. CSI expresses the change in amplitude and phase due to the influence of multipath such as propagation loss of wireless LAN radio wave and reflection / diffraction by the absolute value and argument of a complex number. In the study of human position estimation using this CSI, the position estimation that does not require prior learning is performed by estimating the Doppler effect due to the movement of the person and the arrival direction of the wireless LAN radio wave reflected by the person (non-pre-learning). Patent Document 2). As the object moves, the path length of the radio waves reflected by the object changes, and the phase component of the CSI observed by the receiver changes. Therefore, the Doppler effect due to the movement of the object is estimated from the time change of the phase component of the CSI. can do. In addition, by using an antenna array in which the receiving antennas are lined up in a straight line, the path length of the radio waves received by each receiving antenna differs depending on the arrival direction of the radio waves, so that it is observed by each receiving antenna. It is possible to estimate the arrival direction of the wireless LAN radio wave to the antenna array by using the CSI.
しかしながら、CSIから得られるドップラー効果はドアに限らず様々な物体の動きによって生じるため、推定されたドップラー効果の時間変化から直接ドアの操作を推定することは難しい。しかし、人等の動きと比較し、ドアの開閉操作によるドップラー効果の時間変化は互いに類似していると考えられる。また、ドアの一端は固定されているため、ドアに反射した電波の到来方向も一定である。 However, since the Doppler effect obtained from CSI is caused by the movement of various objects, not limited to the door, it is difficult to directly estimate the operation of the door from the estimated time change of the Doppler effect. However, it is considered that the time change of the Doppler effect due to the opening and closing operation of the door is similar to each other as compared with the movement of people and the like. Moreover, since one end of the door is fixed, the direction of arrival of the radio wave reflected by the door is also constant.
本発明は、無線LAN電波のCSIを用いて屋内設備の操作状態を推定することができる屋内状態推定方法および屋内状態推定システムを提供することを目的とする。 An object of the present invention is to provide an indoor state estimation method and an indoor state estimation system capable of estimating the operating state of indoor equipment using the CSI of a wireless LAN radio wave.
第1の発明は、屋内に配置された無線LAN送信機と無線LAN受信機との間で送受信される無線LAN電波を分析し、屋内設備の操作によるmotif を推定する屋内状態推定方法において、無線LAN電波のチャネル状態情報(以下、CSIという)を事前に収集して屋内設備の操作によるmotif を発見する探索フェーズと、発見したmotif を用いて屋内設備の操作を検知する推定フェーズとを備え、探索フェーズは、CSIからドップラー効果を推定し、無線LAN受信機の複数の受信アンテナで観測されるCSIの位相差から電波の到来方向を推定するステップ1と、ドップラー効果の時系列データからMatrix profileを計算し、繰り返し生じる類似度が高いドップラー効果の時系列パターンをmotif 候補とするステップ2と、motif 候補と、電波の到来方向の情報とを組み合わせてクラスタリングするステップ3と、電波の一定の到来方向に対して繰り返し発生している類似したドップラー効果の時系列パターンを屋内設備の操作によるmotif として決定するステップ4とを有する。
The first invention is an indoor state estimation method in which a wireless LAN radio wave transmitted and received between a wireless LAN transmitter and a wireless LAN receiver arranged indoors is analyzed and a motif is estimated by operating an indoor facility. It has a search phase that collects LAN radio wave channel status information (hereinafter referred to as CSI) in advance to discover motifs by operating indoor equipment, and an estimation phase that detects operations of indoor equipment using the discovered motifs. In the search phase, the Doppler effect is estimated from the CSI, and the arrival direction of radio waves is estimated from the phase difference of the CSI observed by multiple receiving antennas of the wireless LAN receiver.
第1の発明の屋内状態推定方法において、屋内設備の操作によるmotif をドアの開閉としたときに、ステップ3は、異なるクラスタに属するmotif 候補が連続して観測されたときに、先に発生したmotif のクラスタをドアの開く操作に対応したクラスタとし、後に発生したmotif のクラスタをドアの閉める操作に対応したクラスタとする。
In the indoor state estimation method of the first invention, when the motif by operating the indoor equipment is used to open and close the door,
第2の発明は、屋内に配置された無線LAN送信機と無線LAN受信機との間で送受信される無線LAN電波を分析し、屋内設備の操作によるmotif を推定する屋内状態推定システムにおいて、無線LAN電波のチャネル状態情報(以下、CSIという)を事前に収集して屋内設備の操作によるmotif を発見する探索手段と、発見したmotif を用いて屋内設備の操作を検知する推定手段とを備え、探索手段は、CSIからドップラー効果を推定し、無線LAN受信機の複数の受信アンテナで観測されるCSIの位相差から電波の到来方向を推定するCSI処理手段と、ドップラー効果の時系列データからMatrix profileを計算し、繰り返し生じる類似度が高いドップラー効果の時系列パターンをmotif 候補とするmotif 候補発見手段と、motif 候補と、電波の到来方向の情報とを組み合わせてクラスタリングするmotif 候補クラスタリング手段と、電波の一定の到来方向に対して繰り返し発生している類似したドップラー効果の時系列パターンを屋内設備の操作によるmotif として決定するmotif 決定手段とを備える。 The second invention is in an indoor state estimation system that analyzes wireless LAN radio waves transmitted and received between a wireless LAN transmitter and a wireless LAN receiver arranged indoors and estimates a motif by operating indoor equipment. It is equipped with a search means for collecting LAN radio wave channel status information (hereinafter referred to as CSI) in advance to discover a motif by operating indoor equipment, and an estimation means for detecting operation of indoor equipment using the discovered motif. The search means are a CSI processing means that estimates the Doppler effect from the CSI and estimates the arrival direction of radio waves from the phase difference of the CSI observed by multiple receiving antennas of the wireless LAN receiver, and a Matrix from the time-series data of the Doppler effect. A motif candidate finding means that calculates a profile and uses a time-series pattern of the Doppler effect that occurs repeatedly and has a high degree of similarity as a motif candidate, and a motif candidate clustering means that clusters by combining the motif candidate and information on the arrival direction of radio waves. It is equipped with a motif determination means that determines the time-series pattern of similar Doppler effects that repeatedly occur in a certain direction of arrival of radio waves as a motif by operating indoor equipment.
第2の発明の屋内状態推定システムにおいて、屋内設備の操作によるmotif をドアの開閉としたときに、motif 候補クラスタリング手段は、異なるmotif 候補が連続して観測されたときに、先に発生したmotif のクラスタをドアの開く操作に対応したクラスタとし、後に発生したmotif のクラスタをドアの閉める操作に対応したクラスタとする構成である。 In the indoor state estimation system of the second invention, when the motif by operating the indoor equipment is to open and close the door, the motif candidate clustering means is the motif that occurred earlier when different motif candidates are continuously observed. The cluster is a cluster that corresponds to the operation of opening the door, and the cluster of motif that occurs later is the cluster that corresponds to the operation of closing the door.
本発明では、CSIから推定されたドップラー効果の時系列データからMatrix profileを計算することで、繰り返し生じる類似度が高いドップラー効果の時系列パターンをmotif 候補として発見する。そして、発見したmotif 候補を反射波の到来方向情報と組み合わせてクラスタリングし、一定の方向で繰り返し発生している類似したドップラー効果の時系列パターンを屋内設備の操作によるmotif として発見する。 In the present invention, by calculating the Matrix profile from the time-series data of the Doppler effect estimated from CSI, a time-series pattern of the Doppler effect with high recurring similarity is discovered as a motif candidate. Then, the found motif candidates are clustered by combining with the arrival direction information of the reflected wave, and the time-series pattern of the similar Doppler effect that repeatedly occurs in a certain direction is discovered as a motif by operating the indoor equipment.
ここで、屋内設備の一例として、内開きと外開きのドアが存在するとき、ドア板のどの方向への移動が開もしくは閉の操作に対応するのか分からない。そこで、一般的なドアにおいては、ドアの開操作が起こった直後に閉操作が起こることが多いことに注目し、異なるmotif が連続して観測された場合、先に発生したmotif のクラスタを「開く操作」に対応付け、後に発生したmotif のクラスタを「閉める操作」に対応付ける。そして、ドアが複数設置されている場合、事前に用意された部屋の間取り図を用いて受信機に対するドアの方向を計算することで、反射波の到来方向からどのドアが開閉されたのかを推定する。これにより、事前の学習データを取得するコストを削減することができる。 Here, as an example of indoor equipment, when there are doors that open inward and outward, it is unknown in which direction the movement of the door plate corresponds to the operation of opening or closing. Therefore, paying attention to the fact that in general doors, the closing operation often occurs immediately after the door opening operation occurs, and when different motifs are observed continuously, the cluster of motifs that occurred earlier is referred to as " Correspond to "Open operation" and correspond to "Close operation" to the cluster of motif that occurred later. Then, when multiple doors are installed, by calculating the direction of the door with respect to the receiver using the floor plan of the room prepared in advance, it is estimated which door was opened and closed from the direction of arrival of the reflected wave. do. As a result, it is possible to reduce the cost of acquiring the learning data in advance.
まず、提案手法の基本的な考え方について説明する。
図1は、ドアの開閉状態と無線LAN電波の伝搬の変化を示す。
図1において、対象とする屋内に、無線LANモジュールを搭載した無線LAN送信機11と無線LAN受信機12がそれぞれ1つ以上設置されていることを想定し、その屋内設備の状態を検知対象とする。以下、屋内設備としてドア13の開閉状態を検知対象として説明する。
First, the basic idea of the proposed method will be explained.
FIG. 1 shows the open / closed state of the door and the change in the propagation of the wireless LAN radio wave.
In FIG. 1, it is assumed that one or more wireless LAN transmitters 11 and wireless LAN receivers 12 equipped with wireless LAN modules are installed indoors, and the state of the indoor equipment is detected. do. Hereinafter, the open / closed state of the door 13 will be described as an indoor facility as a detection target.
無線LAN電波は障害物に当たって反射するため、検知対象となるドア13の開閉状態によって、検知対象の方向からの電波が変化する。例えば、内開きのドア13を開いたときには経路長が短くなるため負のドップラー効果が生じ、ドア13を閉めた時には経路長が長くなるため正のドップラー効果が生じる。 Since the wireless LAN radio wave hits an obstacle and is reflected, the radio wave from the direction of the detection target changes depending on the open / closed state of the door 13 to be detected. For example, when the door 13 that opens inward is opened, the path length is shortened, so that a negative Doppler effect is produced, and when the door 13 is closed, the path length is long, so that a positive Doppler effect is produced.
提案手法では、事前に収集したラベルが付与されていないデータからドアの操作状態を示すmotif を発見する探索フェーズと、発見したmotif を用いてドアの操作を検知する推定フェーズから構成される。 The proposed method consists of a search phase for discovering a motif indicating the operation status of the door from unlabeled data collected in advance, and an estimation phase for detecting the operation of the door using the discovered motif.
図2は、探索フェーズの構成例を示す。
図2において、探索フェーズでは、CSI処理手段であるドップラー効果推定部21と反射波到来方向推定部22に、無線LAN電波の反射波のCSIの時系列データを入力し、ドップラー効果および反射波到来方向を推定する。次に、motif 候補発見部23は、推定されたドップラー効果からMatrix profile(非特許文献3)または他の方法を用いて、繰り返し発生している類似度の高いパターンをmotif 候補として発見する。ドアは屋内に固定されているため、ドア操作によるドップラー効果は互いの類似度が高いと考えられる。ドアが複数設置されている場合やmotif 候補に人等の動きが含まれることがあるため、motif 候補のクラスタリング部24では、ドップラー効果の類似度や到来方向の情報を用いてmotif 候補のクラスタリングを行い、motif 決定部25でドア操作時のmotif を決定する。
FIG. 2 shows a configuration example of the search phase.
In FIG. 2, in the search phase, the CSI time-series data of the reflected wave of the wireless LAN radio wave is input to the Doppler
ここでは、MUSIC(MUltiple SIgnal Classification)アルゴリズムを用いてCSIの時系列データからドアの操作によるドップラー効果を推定する例を示すが、他の方法でも構わない。 Here, an example of estimating the Doppler effect by operating the door from the time series data of CSI using the MUSIC (MUltiple SIgnal Classification) algorithm is shown, but other methods may be used.
以下、ドップラー効果推定部21における(1)前処理および(2)経路長の変化速度推定、motif 候補発見部23における (3)motif 候補の発見、反射波到来方向推定部22における(4)反射波の到来方向推定、motif 候補のクラスタリング部24における(5)motif 候補のクラスタリングの順に説明する。
Hereinafter, (1) preprocessing and (2) path length change rate estimation in the Doppler
(1) 前処理
無線LAN受信機で観測されるCSIには、直接波等の静的成分と移動している物体に反射した電波による動的成分が存在する。ドップラー効果の推定には動的成分のみ必要であるため、前処理として観測されたCSIから静的成分を除去する。無線LAN電波が反射した物体が移動すると無線LAN電波の経路長が変化し、CSIの位相成分に変化が生じる。無線LAN電波は屋内の様々なものに反射するため、経路数をLとし、i番目の経路長の変化速度をvi とすると、ある時刻からΔt後の時刻におけるCSIの値h(Δt)は次式で表される。
(1) Preprocessing The CSI observed by the wireless LAN receiver has static components such as direct waves and dynamic components due to radio waves reflected by moving objects. Since only the dynamic component is required to estimate the Doppler effect, the static component is removed from the CSI observed as a pretreatment. When an object that reflects the wireless LAN radio wave moves, the path length of the wireless LAN radio wave changes, and the phase component of the CSI changes. Since wireless LAN radio waves are reflected by various things indoors, if the number of paths is L and the rate of change of the i-th path length is v i , the CSI value h (Δt) at the time after Δt from a certain time is It is expressed by the following equation.
ここで、Ai はi番目の経路の電波の振幅であり、τi はi番目の経路の電波の到達時間である。また、fは無線LAN電波の周波数であり、c は光速である。 Here, A i is the amplitude of the radio wave of the i-th path, and τ i is the arrival time of the radio wave of the i-th path. Further, f is the frequency of the wireless LAN radio wave, and c is the speed of light.
しかし、実際は無線LAN電波の送受信機が同期していないため、パケットごとにランダムな位相オフセットθ0 が存在する。そのため、CSIはh(Δt)exp(-jθ0)として得られる。そこで、2つのアンテナで観測されるCSI同士で複素共役乗算を行うことで位相オフセットを相殺する。h1 ,h2 をそれぞれ受信アンテナ1、受信アンテナ2で得られたCSIとすると、複素共役乗算を行ったCSIは
However, in reality, since the transmitter / receiver of the wireless LAN radio wave is not synchronized, there is a random phase offset θ 0 for each packet. Therefore, CSI is obtained as h (Δt) exp (−jθ 0 ). Therefore, the phase offset is canceled by performing complex conjugate multiplication between the CSIs observed by the two antennas. Assuming that h 1 and h 2 are the CSIs obtained by the receiving
式(2) の右辺第一項は静的成分同士の乗算である。ドア操作による動的成分と比べ、直接波等の静的成分の影響は大きいため、hc から静的成分(右辺第一項)を減算する必要がある。このとき静的成分として、複数のパケットにわたって観測したhc の平均値を用いる。式(2) の右辺第四項は動的成分同士の乗算であり、絶対値が小さいことからドップラー効果推定への影響は少ない。このことからhc から静的成分を減算したhcmは次式のように近似できる。 The first term on the right-hand side of Eq. (2) is the multiplication of static components. Since the influence of static components such as direct waves is larger than that of dynamic components due to door operation, it is necessary to subtract the static components (first term on the right side) from h c . At this time, the average value of h c observed over a plurality of packets is used as the static component. The fourth term on the right-hand side of Eq. (2) is the multiplication of dynamic components, and since the absolute value is small, it has little effect on the Doppler effect estimation. From this, h cm obtained by subtracting the static component from h c can be approximated by the following equation.
式(3) の右辺第一項、第二項において、hm1には求めたい経路長の変化速度vi が含まれ、hm2には求めたい経路長の変化速度と正負が逆である-vi が含まれる。そのため、hcmからドップラー効果を求めると、vi と-vi が得られるため、ドップラー効果の絶対値しか推定することができない。そこで、h1 から定数αを減算し、h2 に定数β2 を加算することで、第二項の影響を小さくし、vi を推定しやすくする。 Equation (3) In the first and second terms on the right side ofm1The rate of change of the path length you want to findiIs included, hm2The change speed of the path length you want to find is opposite to the positive and negative -v.iIs included. Therefore, hcmIf you ask for the Doppler effect from, viAnd -viTherefore, only the absolute value of the Doppler effect can be estimated. So h1Subtract the constant α from h2Constant β2By adding, the influence of the second term is reduced, and vi Make it easier to estimate.
(2) 経路長の変化速度推定
前処理を行ったCSIの値hcmに対してMUSICアルゴリズムを適用することで経路長の変化速度vi を求める。CSIはサブキャリアごとに得られるため、hcmは1パケットごとにNs 個得られる。ここで時刻Δt において得られた前処理済みのCSIをサブキャリアごと並べた
無線LAN電波の経路数をLとすると、固有値が大きいL個の固有ベクトルが信号部分空間であり、残りのM-L個の固有値に対応する固有ベクトルがノイズ部分空間EN である。続いて、ノイズ部分空間EN を用いて次式で表されるP(v) をvを変化させながら計算する。 Assuming that the number of paths of the wireless LAN radio wave is L, the L eigenvectors having a large eigenvalue are the signal subspace, and the eigenvectors corresponding to the remaining ML eigenvalues are the noise subspace E.NIs. Then, the noise subspace ENP (v) expressed by the following equation using Is calculated while changing v.
P(v) のピークに対応するvが推定された経路長の変化速度である。しかし、無線LAN電波のノイズは大きく、求めたい経路長の変化速度と正負が逆である-vi の影響も存在するため、P(v) のピークに対応するvの値ではなく、P(v) の値を用いる。 P (v) V corresponding to the peak of is the estimated change rate of the path length. However, the noise of the wireless LAN radio wave is large, and the change speed of the desired path length is opposite to the positive and negative -v.iBecause there is also the influence of P (v) Use the value of P (v) instead of the value of v corresponding to the peak of.
図3は、内開きのドアを開閉した時のP(v) の時間変化の一例を示す。
図3において、ドアを開いた時には経路長が短くなるため負のドップラー効果が生じ、ドアを閉めた時には経路長が長くなるため正のドップラー効果が生じていることがわかる。
FIG. 3 shows P (v) when the door that opens inward is opened and closed. An example of the time change of is shown.
In FIG. 3, it can be seen that when the door is opened, the path length is shortened, so that a negative Doppler effect is generated, and when the door is closed, the path length is long, so that a positive Doppler effect is generated.
(3) motif 候補の発見
本手順では、Matrix profileを用いて推定されたP(v) の時系列データから、繰り返し発生するmotif 候補を発見する。まず、P(v) の時系列データを窓幅Wの時間窓によって分割し、各時間窓同士のユークリッド距離の逆数を類似度として計算することで類似度行列を求める。類似度sは次式で表される。
(3) Discovery of motif candidates In this procedure, motif candidates that occur repeatedly are discovered from the time-series data of P (v) estimated using the Matrix profile. First, the time series data of P (v) is divided by the time window of the window width W, and the reciprocal of the Euclidean distance between each time window is calculated as the similarity to obtain the similarity matrix. The similarity s is expressed by the following equation.
ここで、P1(t,v),P2(t,v)は類似度計算を行うP(v) の時系列データの各時間窓において、時刻tにおける速度vについて計算したP(v) である。類似度行列の各行について対角成分以外の類似度の最大値がMatrix profileである。Matrix profileの値が大きい行(時間窓) はその時系列パターンが2回以上繰り返し発生していることを意味するため、Matrix profileの値が特定のしきい値より大きい時間窓がmotif 候補である。特にドアは反射波の経路長が大きく変化し、部屋内に固定されているため、窓等の他の日常物の操作や椅子等の家具の移動と比較し、ドア開閉時の類似度は大きくなる。 Here, P 1 (t, v) and P 2 (t, v) calculate the velocity v at time t in each time window of the time series data of P (v) for which the similarity is calculated. Is. The maximum value of similarity other than the diagonal component for each row of the similarity matrix is the Matrix profile. A row with a large Matrix profile value (time window) means that the time series pattern has occurred repeatedly more than once, so a time window with a Matrix profile value greater than a specific threshold is a candidate for motif. In particular, the path length of the reflected wave of the door changes greatly and is fixed in the room, so the degree of similarity when opening and closing the door is large compared to the operation of other everyday objects such as windows and the movement of furniture such as chairs. Become.
図4は、ドアの開閉操作を繰り返し行った際のMatrix profileを示す。
図4において、各ドア操作の間に、人が部屋内を自由に歩行しているので、人が歩行した時には類似度が小さく、開閉操作を行った時に類似度が大きくなっていることが分かる。
FIG. 4 shows a Matrix profile when the door opening / closing operation is repeatedly performed.
In FIG. 4, since a person walks freely in the room during each door operation, it can be seen that the similarity is low when the person walks and the similarity is high when the opening / closing operation is performed. ..
(4) 到来方向推定
まず、パケットごとにランダムな位相オフセットθ0 の除去や、静的成分を除去しドア操作による動的成分を抽出するために、振幅の絶対値が最も大きく、分散が小さい受信アンテナのCSIの複素共役を用いて (1)の前処理を行う。その後、前処理済みのCSIを用いて到来方向を推定する。
(4) Arrival direction estimation
First, a random phase offset θ for each packet0In order to remove the static component and extract the dynamic component by door operation, the preprocessing of (1) is performed using the complex conjugate of the CSI of the receiving antenna with the largest absolute value of amplitude and the smallest variance. conduct. After that, the arrival direction is estimated using the preprocessed CSI.
無線LAN電波の到来方向をθとすると、二つのアンテナ間の電波の位相差Δφは次式で表される。 Assuming that the arrival direction of the wireless LAN radio wave is θ, the phase difference Δφ of the radio wave between the two antennas is expressed by the following equation.
ここで、dはアンテナ間の距離であり、λは無線LAN電波の波長である。そのため複数の受信アンテナで観測されたCSIの位相差から電波の到来方向を推定することができる。しかし、CSIの位相成分には到来方向の情報だけでなく、上述したドップラー効果の影響や電波の到達時間の影響が存在する。そこで、この三つのパラメータを同時に推定することで、CSIから到来方向を推定する。i番目の伝搬経路の到来方向、到達時間、経路長の変化速度をそれぞれθi ,τi ,vi とする。1番目の受信アンテナ、1番目のサブキャリア、時刻0のCSIを基準として、r番目の受信アンテナ、s番目のサブキャリア、時刻tのCSIの値hr(r, s, t) は次式で近似される。
Here, d is the distance between the antennas, and λ is the wavelength of the wireless LAN radio wave. Therefore, the arrival direction of radio waves can be estimated from the phase difference of CSI observed by a plurality of receiving antennas. However, the phase component of CSI includes not only the information of the arrival direction but also the influence of the above-mentioned Doppler effect and the influence of the arrival time of the radio wave. Therefore, by estimating these three parameters at the same time, the direction of arrival is estimated from the CSI. Let θ i , τ i , and v i be the arrival direction, arrival time, and change speed of the path length of the i-th propagation path, respectively. With reference to the 1st receiving antenna, the 1st subcarrier, and the CSI at
また、fc は無線LAN電波の中心周波数であり、fδはサブキャリア間の周波数の差である。 Further, f c is the center frequency of the wireless LAN radio wave, and f δ is the difference in frequency between the subcarriers.
簡易化のために
SAGEアルゴリズムではEステップとMステップを各伝搬経路について順番に行い、これを収束するまで繰り返す。Eステップでは次式によって注目している伝搬経路のCSIの値を計算する。 In the SAGE algorithm, the E step and the M step are sequentially performed for each propagation path, and this is repeated until they converge. In the E step, the CSI value of the propagation path of interest is calculated by the following equation.
ここで、^Θは前のステップにおける推定値である。Mステップでは次式を用いて注目している伝搬経路のパラメータを最適化する。 Here, ^ Θ is the estimated value in the previous step. In the M step, the parameters of the propagation path of interest are optimized using the following equation.
(5) motif 候補のクラスタリング
環境内に複数のドアが存在する場合、(3) において発見したmotif ではどのドアが開閉されたかを見分けることができない。また、人などのドア以外のオブジェクトの動きがmotif として検出されてしまうこともある。一方、ドアは部屋内に固定されているため、ドップラー効果に加えてドア操作時の到来方向の類似度も大きい。そこで、まず類似度が最も大きなmotif と各時間窓の類似度を計算する。そして類似度がしきい値以上の時間窓の中で、到来方向の差がしきい値以下の時間窓の集合を、あるドア操作時の時間窓のクラスタとする。続いてクラスタに選ばれなかった時間窓の内、類似度が最も大きなmotif を用いて同様の処理を行い、新たなクラスタを形成する。上記処理を環境内のドアの数の2倍の回数だけ繰り返し行うことで環境内のドアの開および閉操作ごとにクラスタを作成する。
(5) Clustering of motif candidates
If there are multiple doors in the environment, the motif found in (3) cannot tell which door was opened or closed. Also, the movement of objects other than doors, such as people, may be detected as motifs. On the other hand, since the door is fixed in the room, in addition to the Doppler effect, the degree of similarity in the arrival direction when operating the door is also large. Therefore, first, the motif with the highest similarity and the similarity of each time window are calculated. Then, among the time windows whose similarity is equal to or higher than the threshold value, a set of time windows whose difference in the arrival direction is equal to or lower than the threshold value is defined as a cluster of time windows at the time of a certain door operation. Then, among the time windows that were not selected as clusters, the same process is performed using the motif with the highest similarity, and a new cluster is formed. By repeating the above process twice as many times as the number of doors in the environment, a cluster is created for each door opening / closing operation in the environment.
(4) で推定された到来方向が類似している二つのクラスタが各ドアの開閉に対応していると考えられる。また、ドアの開閉が続いて起こった場合、開いてから閉じるという順番で発生することが多い。そこで、あるドアの開閉が連続して起こったと検出された場合、先に発生したクラタを開く操作に対応したクラスタ、後に発生したクラスタを閉める操作に対応したクラスタとする。
以上が探索フェーズである。
It is considered that two clusters with similar arrival directions estimated in (4) correspond to the opening and closing of each door. In addition, when doors are opened and closed continuously, they often occur in the order of opening and then closing. Therefore, when it is detected that a certain door has been opened and closed continuously, the cluster corresponding to the operation of opening the clutter that occurred earlier and the cluster corresponding to the operation of closing the cluster that occurred later are used.
The above is the search phase.
次に、推定フェーズについて説明する。
推定フェーズでは、まず推定用データからドップラー効果と反射波の到来方向を推定する。そして、発見したmotif と推定用データとの間の類似度を計算することで、どのドアがいつ開閉されたのかを推定する。すなわち、推定用データの各時間窓が形成したどのクラスタに属するか、もしくはどのクラスタにも属さないかを求める。そのために、推定用データの時間窓と各クラスタ内の各motif (時間窓) との到来方向の差の平均値を計算し、到来方向の差がしきい値より小さい推定用データの時間窓とクラスタの組み合わせについて、ドップラー効果の距離の平均値を計算する。
Next, the estimation phase will be described.
In the estimation phase, the Doppler effect and the direction of arrival of the reflected wave are first estimated from the estimation data. Then, by calculating the similarity between the found motif and the estimation data, it is estimated which door was opened and closed and when. That is, it is determined which cluster formed by each time window of the estimation data belongs to, or does not belong to any cluster. For that purpose, the average value of the difference in the arrival direction between the time window of the estimation data and each motif (time window) in each cluster is calculated, and the time window of the estimation data in which the difference in the arrival direction is smaller than the threshold value is calculated. Calculate the mean distance of the Doppler effect for a combination of clusters.
ここでドアの開閉にかかる時間のゆらぎに対応するために、motif と推定用データとの間の類似度の距離計算にはDTW(Dynamic Time Warping)を用いる。そして、平均距離がしきい値より小さいクラスタがあれば、推定用データの時間窓は最も平均距離が近いクラスタに属するとする。また、到来方向の差やドップラー効果の平均距離がしきい値より小さいクラスタが存在しない時間窓はどのクラスタにも属さないとする。これにより、推定用データの時間窓があるクラスタに属すると推定された場合、そのクラスタが対応するドアの操作とドアの位置から、どのドアがいつ開けられたのか、もしくは閉められたのかを推定することができる。 Here, DTW (Dynamic Time Warping) is used to calculate the distance between the motif and the estimation data in order to deal with the fluctuation of the time required for opening and closing the door. Then, if there is a cluster whose average distance is smaller than the threshold value, it is assumed that the time window of the estimation data belongs to the cluster having the closest average distance. It is also assumed that the time window in which there is no cluster whose arrival direction difference or average distance of the Doppler effect is smaller than the threshold value does not belong to any cluster. As a result, if it is estimated that the time window of the estimation data belongs to a cluster, it is estimated from the operation of the corresponding door and the position of the door which door was opened or closed. can do.
11 無線LAN送信機
12 無線LAN受信機
13 ドア
21 ドップラー効果推定部
22 反射波到来方向推定部
23 motif 候補発見部
24 motif 候補のクラスタリング部
25 motif 決定部
11 Wireless LAN transmitter 12 Wireless LAN receiver 13
Claims (2)
前記無線LAN電波のチャネル状態情報(以下、CSIという)を事前に収集して前記屋内設備の操作によるmotif を発見する探索フェーズと、発見したmotif を用いて前記屋内設備の操作を検知する推定フェーズとを備え、
前記探索フェーズは、
前記CSIからドップラー効果を推定し、前記無線LAN受信機の複数の受信アンテナで観測される前記CSIの位相差から電波の到来方向を推定するステップ1と、
前記ドップラー効果の時系列データからMatrix profileを計算し、繰り返し生じる類似度が高いドップラー効果の時系列パターンをmotif 候補とするステップ2と、
前記motif 候補と、前記電波の到来方向の情報とを組み合わせてクラスタリングするステップ3と、
前記電波の一定の到来方向に対して繰り返し発生している類似したドップラー効果の時系列パターンを前記屋内設備の操作によるmotif として決定するステップ4と
を有し、
前記屋内設備の操作によるmotif をドアの開閉としたときに、
前記ステップ3では、異なるクラスタに属する前記motif 候補が連続して観測されたときに、先に発生したmotif のクラスタを前記ドアの開く操作に対応したクラスタとし、後に発生したmotif のクラスタを前記ドアの閉める操作に対応したクラスタとすることを特徴とする屋内状態推定方法。 In the indoor state estimation method that analyzes the wireless LAN radio waves transmitted and received between the wireless LAN transmitter and the wireless LAN receiver located indoors and estimates the motif by operating the indoor equipment.
A search phase in which channel state information (hereinafter referred to as CSI) of the wireless LAN radio wave is collected in advance to discover a motif by operating the indoor equipment, and an estimation phase in which the discovered motif is used to detect the operation of the indoor equipment. And with
The search phase is
Step 1 in which the Doppler effect is estimated from the CSI and the arrival direction of the radio wave is estimated from the phase difference of the CSI observed by the plurality of receiving antennas of the wireless LAN receiver.
Step 2 in which the Matrix profile is calculated from the time-series data of the Doppler effect and the time-series pattern of the Doppler effect that occurs repeatedly and has a high degree of similarity is used as a motif candidate.
Step 3 for clustering by combining the motif candidate and the information on the arrival direction of the radio wave, and
It has step 4 and step 4 in which a time-series pattern of a similar Doppler effect that repeatedly occurs in a certain direction of arrival of the radio wave is determined as a motif by operating the indoor equipment.
When the door is opened and closed by operating the indoor equipment,
In step 3, when the motif candidates belonging to different clusters are continuously observed, the motif cluster that occurs first is the cluster corresponding to the operation of opening the door, and the motif cluster that occurs later is the door. An indoor state estimation method characterized by forming a cluster corresponding to the closing operation of the door .
前記無線LAN電波のチャネル状態情報(以下、CSIという)を事前に収集して前記屋内設備の操作によるmotif を発見する探索手段と、発見したmotif を用いて前記屋内設備の操作を検知する推定手段とを備え、
前記探索手段は、
前記CSIからドップラー効果を推定し、前記無線LAN受信機の複数の受信アンテナで観測される前記CSIの位相差から電波の到来方向を推定するCSI処理手段と、
前記ドップラー効果の時系列データからMatrix profileを計算し、繰り返し生じる類似度が高いドップラー効果の時系列パターンをmotif 候補とするmotif 候補発見手段と、
前記motif 候補と、前記電波の到来方向の情報とを組み合わせてクラスタリングするmotif 候補クラスタリング手段と、
前記電波の一定の到来方向に対して繰り返し発生している類似したドップラー効果の時系列パターンを前記屋内設備の操作によるmotif として決定するmotif 決定手段と
を備え、
前記屋内設備の操作によるmotif をドアの開閉としたときに、
前記motif 候補クラスタリング手段は、異なるクラスタに属する前記motif 候補が連続して観測されたときに、先に発生したmotif のクラスタを前記ドアの開く操作に対応したクラスタとし、後に発生したmotif のクラスタを前記ドアの閉める操作に対応したクラスタとする構成である
ことを特徴とする屋内状態推定システム。 In an indoor state estimation system that analyzes wireless LAN radio waves transmitted and received between a wireless LAN transmitter and a wireless LAN receiver located indoors and estimates a motif by operating indoor equipment.
A search means for collecting channel state information (hereinafter referred to as CSI) of the wireless LAN radio wave in advance to discover a motif by operating the indoor equipment, and an estimation means for detecting the operation of the indoor equipment using the discovered motif. And with
The search means
A CSI processing means that estimates the Doppler effect from the CSI and estimates the arrival direction of radio waves from the phase difference of the CSI observed by a plurality of receiving antennas of the wireless LAN receiver.
A motif candidate finding means that calculates a Matrix profile from the time-series data of the Doppler effect and uses a time-series pattern of the Doppler effect that occurs repeatedly and has a high degree of similarity as a motif candidate.
A motif candidate clustering means for clustering by combining the motif candidate and information on the arrival direction of the radio wave, and
It is equipped with a motif determining means for determining a time-series pattern of a similar Doppler effect that repeatedly occurs in a certain direction of arrival of the radio wave as a motif by operating the indoor equipment .
When the door is opened and closed by operating the indoor equipment,
In the motif candidate clustering means, when the motif candidates belonging to different clusters are continuously observed, the previously generated motif cluster is set as the cluster corresponding to the operation of opening the door, and the later generated motif cluster is used. It is a configuration to make a cluster corresponding to the operation of closing the door.
An indoor state estimation system characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018218421A JP7067703B2 (en) | 2018-11-21 | 2018-11-21 | Indoor state estimation method and indoor state estimation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018218421A JP7067703B2 (en) | 2018-11-21 | 2018-11-21 | Indoor state estimation method and indoor state estimation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020085595A JP2020085595A (en) | 2020-06-04 |
JP7067703B2 true JP7067703B2 (en) | 2022-05-16 |
Family
ID=70907603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018218421A Active JP7067703B2 (en) | 2018-11-21 | 2018-11-21 | Indoor state estimation method and indoor state estimation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7067703B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005535950A (en) | 2002-06-26 | 2005-11-24 | アイティ・ユニバーシティ・オブ・コペンハーゲン | Monitoring system and monitoring method |
JP2013072270A (en) | 2011-09-29 | 2013-04-22 | Toto Ltd | Toilet device |
US20170086202A1 (en) | 2015-09-21 | 2017-03-23 | Qualcomm Incorporated | Wi-fi indoor radar |
JP2018173285A (en) | 2017-03-31 | 2018-11-08 | 学校法人慶應義塾 | Activity recognition system and activity recognition method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009080767A (en) * | 2007-09-27 | 2009-04-16 | Saxa Inc | Device for monitoring propagation space |
-
2018
- 2018-11-21 JP JP2018218421A patent/JP7067703B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005535950A (en) | 2002-06-26 | 2005-11-24 | アイティ・ユニバーシティ・オブ・コペンハーゲン | Monitoring system and monitoring method |
JP2013072270A (en) | 2011-09-29 | 2013-04-22 | Toto Ltd | Toilet device |
US20170086202A1 (en) | 2015-09-21 | 2017-03-23 | Qualcomm Incorporated | Wi-fi indoor radar |
JP2018173285A (en) | 2017-03-31 | 2018-11-08 | 学校法人慶應義塾 | Activity recognition system and activity recognition method |
Also Published As
Publication number | Publication date |
---|---|
JP2020085595A (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zou et al. | Freecount: Device-free crowd counting with commodity wifi | |
Zhou et al. | Device-free localization based on CSI fingerprints and deep neural networks | |
Karanam et al. | Tracking from one side: Multi-person passive tracking with WiFi magnitude measurements | |
Davey et al. | Using phase to improve track-before-detect | |
CN109672485B (en) | Indoor personnel real-time invasion and movement speed detection method based on channel state information | |
JP4576515B2 (en) | Event detection device | |
Zhuravchak et al. | Human activity recognition based on wi-fi csi data-a deep neural network approach | |
Rana et al. | UWB localization employing supervised learning method | |
CN110072186B (en) | Weighted naive Bayes indoor positioning method based on independent attributes | |
CN106411433B (en) | Fine-grained indoor passive intrusion detection method based on WLAN | |
US20220214421A1 (en) | Estimation device, estimation method, and recording medium | |
Bahadori et al. | ReWiS: Reliable Wi-Fi sensing through few-shot multi-antenna multi-receiver CSI learning | |
Zhu et al. | NotiFi: A ubiquitous WiFi-based abnormal activity detection system | |
Wu et al. | Multi-source direction-of-arrival estimation in a reverberant environment using single acoustic vector sensor | |
CN108882171B (en) | CSI-based personnel trajectory tracking method | |
JP6993648B2 (en) | Indoor state estimation method and indoor state estimation system | |
Liu et al. | BFP: Behavior-free passive motion detection using PHY information | |
Xu et al. | Statistical learning over time-reversal space for indoor monitoring system | |
He et al. | A robust CSI-based Wi-Fi passive sensing method using attention mechanism deep learning | |
Natarajan et al. | A machine learning approach to passive human motion detection using WiFi measurements from commodity IoT devices | |
CN112034433A (en) | Through-wall passive moving target detection method based on interference signal reconstruction | |
Yousefi et al. | A survey of human activity recognition using wifi CSI | |
Tan et al. | A CSI frequency domain fingerprint-based method for passive indoor human detection | |
Yen et al. | I/Q density-based angle of arrival estimation for Bluetooth indoor positioning systems | |
Tian et al. | Indoor device-free passive localization for intrusion detection using multi-feature PNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181126 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200522 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200701 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200819 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200820 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7067703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |