JP6952299B2 - Sleep depth judgment system, sleep depth judgment device and sleep depth judgment method - Google Patents
Sleep depth judgment system, sleep depth judgment device and sleep depth judgment method Download PDFInfo
- Publication number
- JP6952299B2 JP6952299B2 JP2017063257A JP2017063257A JP6952299B2 JP 6952299 B2 JP6952299 B2 JP 6952299B2 JP 2017063257 A JP2017063257 A JP 2017063257A JP 2017063257 A JP2017063257 A JP 2017063257A JP 6952299 B2 JP6952299 B2 JP 6952299B2
- Authority
- JP
- Japan
- Prior art keywords
- sleep
- body movement
- duration
- difference processing
- sleep depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007958 sleep Effects 0.000 title claims description 273
- 238000000034 method Methods 0.000 title claims description 88
- 230000033001 locomotion Effects 0.000 claims description 277
- 238000012545 processing Methods 0.000 claims description 197
- 206010062519 Poor quality sleep Diseases 0.000 claims description 116
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 claims description 103
- 230000037322 slow-wave sleep Effects 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000008602 contraction Effects 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 description 28
- 238000011282 treatment Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 230000000284 resting effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000008452 non REM sleep Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 206010041009 Sleep talking Diseases 0.000 description 1
- 208000022249 Sleep-Wake Transition disease Diseases 0.000 description 1
- 206010041235 Snoring Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、人の睡眠時の動画像に基づいて睡眠深度を判定する睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法に関する。 The present invention relates to a sleep depth determination system, a sleep depth determination device, and a sleep depth determination method for determining sleep depth based on a moving image of a person during sleep.
睡眠は人間にとって必要不可欠なものであり、脳と身体機能を維持するために重要である。近年、健康意識が高まる中、一般の家庭において自己の日常的な睡眠の状態を把握し、日々の睡眠を管理することにより、睡眠を改善して健康管理に努めたいというニーズがある。 Sleep is essential for humans and is important for maintaining brain and physical function. In recent years, as health consciousness has increased, there is a need to improve sleep and strive for health management by grasping one's daily sleep state and managing daily sleep in ordinary households.
人の睡眠の状態は、一晩を通じて一様ではなく、大きくは、レム睡眠とノンレム睡眠とに大別される。ノンレム睡眠は、ステージ1〜4の4つの段階があり、ノンレム睡眠の中でも、ステージ1〜2の眠りが浅い状態の浅睡眠(Shallow sleep)と、ステージ3〜4の眠りが深い状態の徐波睡眠(Slow wave sleep)とに分けられる。
A person's sleep state is not uniform throughout the night, and is broadly divided into REM sleep and non-REM sleep. Non-rem sleep has four stages of
人は、覚醒状態から眠りにつくと、一般的に、レム睡眠、浅睡眠、徐波睡眠と睡眠が深くなるように移行し、その後、浅睡眠、レム睡眠と睡眠が浅くなるように移行するというサイクルを通常約90分で繰り返す。ただし、覚醒状態から眠りについた入眠直後は、一般的にはレム睡眠の段階をスキップして浅睡眠へ移行し、徐波睡眠へと移行する。また、徐波睡眠は眠りはじめに多い一方、レム睡眠は朝の覚醒に近づくに連れて多くなる。この睡眠時の睡眠深度の変化を調べることにより、人の睡眠の状態を把握することが可能である。 When a person falls asleep from awake state, they generally transition to deeper REM sleep, light sleep, slow-wave sleep and sleep, and then to lighter sleep, REM sleep and lighter sleep. This cycle is usually repeated in about 90 minutes. However, immediately after falling asleep from the awake state, the REM sleep stage is generally skipped, and the sleep shifts to light sleep and then to slow-wave sleep. In addition, slow-wave sleep is more common at the beginning of sleep, while REM sleep is more frequent as the morning awakens. By examining the change in sleep depth during sleep, it is possible to grasp the sleep state of a person.
従来、睡眠深度を推定する方法として、睡眠ポリグラフ(PSG)法が知られている。睡眠ポリグラフ法は、例えば脳波、眼球運動、顎筋電、心電などを同時に測定し、これらの測定データを分析して睡眠深度を判定することで、睡眠の状態を評価する方法であり、測定データの種類が多く測定精度も高いので、評価の信頼性は高い。しかしながら、睡眠ポリグラフ法は、装置が大がかりであるうえ、病院などの計測設備を備えた場所でしか利用できないため、健康機器のように家庭で日常的に使用するには不向きである。また、睡眠ポリグラフ法では、複数の電極を人に装着しなければならないため、人にとっての負担やストレスが大きく、その拘束感や接触感から睡眠を妨げることが多いので、正確な睡眠深度を測定することは難しいという問題もある。さらに、睡眠ポリグラフ法は、医師などの専門家によらなければ、睡眠深度を正確に評価することができないため、装置さえあればよいと言う訳にもいかない。 Conventionally, a polysomnography (PSG) method is known as a method for estimating sleep depth. The sleep polygraph method is a method of evaluating the state of sleep by simultaneously measuring, for example, brain waves, eye movements, jaw myoelectricity, electrocardiography, etc., and analyzing these measurement data to determine the sleep depth. Since there are many types of data and the measurement accuracy is high, the reliability of the evaluation is high. However, the polysomnography method is not suitable for daily use at home like a health device because the device is large-scale and can be used only in a place equipped with measuring equipment such as a hospital. In addition, in the polysomnography method, since multiple electrodes must be attached to a person, the burden and stress on the person are large, and the feeling of restraint and contact often interferes with sleep, so accurate sleep depth is measured. There is also the problem that it is difficult to do. Furthermore, since the polysomnography method cannot accurately evaluate the sleep depth without the help of a specialist such as a doctor, it cannot be said that only a device is required.
そこで、睡眠深度を無拘束、非接触ながらも精度よく判定することができる技術が提案されている(例えば特許文献1を参照)。特許文献1には、ビデオカメラにより睡眠時の人の動画像を撮影し、撮影した動画像に基づき、人の睡眠時の体の動き(体動)に関するデータを解析して、睡眠深度を判定することが開示されている。特許文献1に記載の技術では、人をセンサ類で拘束せず、かつセンサ類が接触しないので、負担やストレスのない状態で睡眠深度を判定することができる。また、装置も大がかりでないため、一般の家庭においても使用することができる。
Therefore, a technique has been proposed that can accurately determine the sleep depth while being unrestrained and non-contact (see, for example, Patent Document 1). In
一方で、特許文献2には、ドップラレーダセンサーやカメラなどにより就寝者の体動を検知し、体動回数が規定の期間、所定値以下だった場合に入眠したと判断する、 あるいは体動回数が所定値以下のときを規定の回数カウントした場合に入眠したと判断することが開示されている。
On the other hand, in
また、特許文献3では、赤外線カメラにより利用者(就寝者)に対する赤外線の投射位置の深度情報を検知し、深度情報に基づいて利用者の睡眠中の寝相や位置などの体勢の情報(静的情報)、及び頭の動きや寝返りなどの活動量の情報(動的情報)を算出・判定する。活動量の情報(動的情報)を算出する場合は、過去の画像フレームにおいて算出した体勢の情報(静的情報)との比較により判定することが開示されている。
Further, in
さらに、特許文献4では、被験者の脈拍間隔を検出する脈拍間隔検出手段と、被験者の画像を撮像する撮像手段を備え前記撮像手段による撮像画像の時間変化に基づいて、前記脈波間隔を検出する。撮像手段としてはカメラが使用され、布団上の画像を撮影し、画像差分演算部は該画像の時間差分画像を得る。布団は、被験者の呼吸や心拍に同期して微妙に変位するので、時間方向でフレームごとの差分をとり、画素ごとの合計を計算すると、変位量に応じた値を得ることができる。また、同様に体動が起きればそれに対応した変化が得られる。なお、差分画像は、これら呼吸や体動などが重畳したものである。そこで、体動計測部により、体動計測に適した帯域のフィルタにより体動データを分離抽出することが開示されている。
Further, in
しかしながら、特許文献1に記載の技術は、睡眠深度を、覚醒状態、浅睡眠(レム睡眠を含む)及び徐波睡眠の3段階で判定可能であるが、レム睡眠を判別することができないという課題がある。
However, the technique described in
また、特許文献2に記載の技術では、睡眠状態を体動が多いときには覚醒に近く、体動が少ないときは深い睡眠である、と推定しているに過ぎず、レム睡眠やノンレム睡眠(浅睡眠及び徐波睡眠に分かれる)といった詳細に判定可能なものではない。
Further, in the technique described in
また、特許文献3に記載の技術では、頭の動きや、寝返りの有無、寝相・体勢や寝ている位置、いびき、寝言の有無などを監視するものであり、睡眠状態をレム睡眠やノンレム睡眠(浅睡眠及び徐波睡眠に分かれる)といった詳細に判定可能なものではない。
In addition, the technique described in
さらに、特許文献4に記載の技術では、睡眠状態を検出するのはあくまでも脈拍間隔検出手段によっており、人の睡眠時の動画像は利用していない。
Further, in the technique described in
本発明は、上記した問題に着目してなされたもので、無拘束、非接触で睡眠深度を判定することができ、かつ、睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判定することができる睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法を提供することを目的とする。 The present invention has been made by paying attention to the above-mentioned problems, and it is possible to determine the sleep depth without restraint and non-contact, and the sleep depth can be determined as wakefulness, REM sleep, light sleep and slow wave sleep. It is an object of the present invention to provide a sleep depth determination system, a sleep depth determination device, and a sleep depth determination method capable of determining in four stages.
本発明の前記目的は、睡眠時の人の動画像を撮影可能な撮影手段と、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置と、を備え、睡眠深度判定装置は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、前記コンピュータが、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換部と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定部と、して機能する、睡眠深度判定システムにより達成される。 The object of the present invention includes a photographing means capable of capturing a moving image of a person during sleep, and a sleep depth determination device for determining the sleep depth based on the moving image of the person during sleep. The device includes a processor and a computer including a memory under the control of the processor, and the computer converts the moving image into a plurality of frame intervals constituting the moving image, and the plurality of frames. A density value between a gray conversion unit that converts an image into a grayscale image when the image is not a grayscale image and a frame image that has undergone difference processing by performing difference processing on the plurality of grayscale frame images at predetermined frame intervals. The difference processing unit that detects the changed pixel and the number of pixels whose density value has changed detected by the difference processing are counted, and the amount of body movement, the duration of body movement, and the stillness are counted for each epoch consisting of a predetermined time from the counting result. It functions as a body movement data calculation unit that calculates the duration, and a determination unit that determines the sleep depth of a person for each epoch based on the calculated body movement amount, the body movement duration, and the rest duration. Achieved by the sleep depth determination system.
本発明の睡眠深度判定システムにおいては、前記体動データ算出部は、前記エポック毎に前記体動量、前記体動持続時間及び前記静止持続時間について移動平均処理を行い、前記判定部は、移動平均処理された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定することが好ましい。 In the sleep depth determination system of the present invention, the body movement data calculation unit performs moving averaging processing on the body movement amount, the body movement duration, and the resting duration for each epoch, and the determination unit performs the moving averaging. It is preferable to determine the sleep depth of a person for each epoch based on the processed amount of body movement, the duration of body movement, and the duration of rest.
また、本発明の睡眠深度判定システムにおいては、差分処理の前記フレーム間隔は、特に限定されるものではなく、動きの速い細体動を精度よく検出可能なフレーム間隔及び動きの遅い粗体動を精度よく検出可能なフレーム間隔のいずれかを任意に設定することができる。例えば、差分処理の前記フレーム間隔は、0.2秒以上4.0秒以下の範囲から設定され、動きの速い細体動を精度よく検出するにはフレーム間隔を0.2秒以上1.0秒以下の範囲から設定することが好ましく、動きの遅い粗体動を精度よく検出するには2.0秒以上4.0秒以下の範囲から設定されることが好ましい。 Further, in the sleep depth determination system of the present invention, the frame interval of the difference processing is not particularly limited, and a frame interval capable of accurately detecting a fast-moving thin body movement and a slow-moving coarse body movement can be obtained. Any of the frame intervals that can be detected with high accuracy can be set arbitrarily. For example, the frame interval of the difference processing is set from a range of 0.2 seconds or more and 4.0 seconds or less, and the frame interval is set to 0.2 seconds or more and 1.0 for accurately detecting a fast-moving thin body movement. It is preferable to set from a range of seconds or less, and it is preferable to set from a range of 2.0 seconds or more and 4.0 seconds or less in order to accurately detect slow-moving rough body movements.
また、本発明の睡眠深度判定システムにおいては、前記判定部は、機械学習によって前記エポック毎の人の睡眠深度を判定することが好ましい。 Further, in the sleep depth determination system of the present invention, it is preferable that the determination unit determines the sleep depth of a person for each epoch by machine learning.
また、本発明の睡眠深度判定システムにおいては、前記判定部は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類することが好ましい。 Further, in the sleep depth determination system of the present invention, the determination unit classifies the sleep depth of a person for each epoch into either a wakefulness state or a sleep state, and then classifies the state into a sleep state. It is preferable to classify it as either REM sleep, light sleep or slow wave sleep.
また、本発明の睡眠深度判定システムにおいては、前記判定部は、覚醒状態及び睡眠状態のいずれかの分類に線形判別分析を用いることが好ましい。また、前記判定部は、レム睡眠、浅睡眠及び徐波睡眠のいずれかの分類にサポートベクターマシンのような非線形の判別分析を用いることが好ましい。ただし、前記判定部は、レム睡眠、浅睡眠及び徐波睡眠のいずれかの分類に線形判別分析を用いることもできる。 Further, in the sleep depth determination system of the present invention, it is preferable that the determination unit uses linear discriminant analysis for classification of either the awake state or the sleep state. Further, it is preferable that the determination unit uses a non-linear discriminant analysis such as a support vector machine for classification of any of REM sleep, light sleep and slow wave sleep. However, the determination unit can also use linear discriminant analysis for any of the classifications of REM sleep, light sleep and slow wave sleep.
また、本発明の睡眠深度判定システムにおいては、前記コンピュータが、差分処理により検出された濃度値が変化したピクセルに対して少なくとも1回の膨張処理及び膨張処理回数より多い回数の収縮処理を行うノイズ処理部としてさらに機能することが好ましい。 Further, in the sleep depth determination system of the present invention, the noise that the computer performs at least one expansion process and a contraction process more than the number of expansion processes on the pixel whose density value is changed detected by the difference process. It is preferable that it further functions as a processing unit.
また、本発明の睡眠深度判定システムにおいては、前記差分処理部は、前記複数のフレーム画像を、所定の第1フレーム間隔で差分処理することにより、前記第1フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出するとともに、前記第1フレーム間隔よりも長い所定の第2フレーム間隔で差分処理することにより、前記第2フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出し、前記体動データ算出部は、前記第1フレーム間隔での差分処理及び前記第2フレーム間隔での差分処理により検出された濃度値が変化したピクセルの数をそれぞれ計数し、各計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間をそれぞれ算出し、前記判定部は、前記第1フレーム間隔での差分処理によるピクセルの計数結果及び前記第2フレーム間隔での差分処理によるピクセルの計数結果からそれぞれ算出された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定することが好ましい。 Further, in the sleep depth determination system of the present invention, the difference processing unit performs difference processing at predetermined first frame intervals by performing difference processing on the plurality of frame images at predetermined first frame intervals. By detecting pixels whose density values have changed between images and performing difference processing at a predetermined second frame interval longer than the first frame interval, the difference processing is performed between the frame images at the second frame interval. The pixel whose density value has changed is detected, and the body movement data calculation unit determines the number of pixels whose density value has changed, which is detected by the difference processing at the first frame interval and the difference processing at the second frame interval. Each count is performed, and the amount of body movement, the duration of body movement, and the duration of rest are calculated for each epoch consisting of a predetermined time from each counting result, and the determination unit counts the pixels by the difference processing at the first frame interval. The sleep depth of a person for each epoch is determined based on the result and the pixel count result obtained by the difference processing at the second frame interval, respectively, based on the amount of body movement, the duration of body movement, and the duration of rest. Is preferable.
本発明の前記目的は、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置であって、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、前記コンピュータが、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換部と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定部と、して機能する、睡眠深度判定装置によっても達成される。 The object of the present invention is a sleep depth determination device that determines the sleep depth based on a moving image of a person during sleep, the computer comprising a processor and a computer including a memory under the control of the processor. An image conversion unit that converts the moving image into a plurality of frame intervals constituting the moving image, a gray conversion unit that converts the moving image into a grayscale image when the plurality of frame images are not grayscale images, and a grayscale unit. By performing difference processing on the plurality of frame images at predetermined frame intervals, the difference processing unit that detects pixels whose density values have changed between the frame images that have undergone difference processing and the density values detected by the difference processing change. A body movement data calculation unit that counts the number of pixels and calculates the amount of body movement, the duration of body movement, and the duration of rest for each epoch consisting of a predetermined time from the counting result, and the calculated amount of body movement and the duration of body movement. It is also achieved by a sleep depth determination device that functions as a determination unit that determines a person's sleep depth for each epoch based on time and the rest duration.
本発明の前記目的は、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定方法であって、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換工程と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換工程と、グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理工程と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出工程と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定工程と、を実行する睡眠深度判定方法によっても達成される。 The object of the present invention is a sleep depth determination method for determining a sleep depth based on a moving image of a person during sleep, and an image for converting the moving image into a plurality of frame intervals constituting the moving image. A difference is obtained by performing a conversion step, a gray conversion step of converting the plurality of frame images into a grayscale image when the plurality of frame images are not grayscale images, and a difference processing of the plurality of grayscale frame images at predetermined frame intervals. The difference processing step of detecting the pixels whose density value has changed between the processed frame images and the number of pixels whose density value has changed detected by the difference processing are counted, and each epoch consisting of a predetermined time from the counting result is counted. , The sleep depth of the person for each epoch based on the body movement data calculation step for calculating the body movement amount, the body movement duration and the rest duration, and the calculated body movement amount, the body movement duration and the rest duration. It is also achieved by the determination step of determining and the sleep depth determination method of executing.
本発明の前記目的は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータに、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換処理と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換処理と、グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果からから所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出処理と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定処理と、を実行させるコンピュータプログラムによっても達成される。 An object of the present invention is an image conversion process for converting a moving image into a plurality of frame intervals constituting the moving image on a computer including a processor and a computer under the control of the processor, and the plurality of frame images. By performing a gray conversion process of converting to a grayscale image when is not a grayscale image and a difference process of the plurality of grayscale frame images at predetermined frame intervals, the density between the frame images subjected to the difference process is performed. The difference processing that detects the pixel whose value has changed and the number of pixels whose density value has changed detected by the difference processing are counted, and the amount of body movement, the duration of body movement, and the body movement duration are counted for each epoch consisting of a predetermined time from the counting result. A body movement data calculation process for calculating the rest duration and a determination process for determining a person's sleep depth for each epoch based on the calculated body movement amount, the body movement duration, and the rest duration are executed. It is also achieved by a computer program that lets you.
本発明によれば、人の睡眠深度を、無拘束、非接触で判定することができ、かつ、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判定することができる。 According to the present invention, the sleep depth of a person can be determined unrestrained and non-contact, and can be determined in four stages of wakefulness, REM sleep, light sleep, and slow wave sleep.
以下、本発明の実施の形態について添付図面を参照して説明する。本発明に係る睡眠深度判定システムは、暗い寝室でも撮影が可能な赤外線カメラなどの撮影手段により人の睡眠時の動画像を撮影し、この動画像を解析して、頭の動き、寝返り、四肢の動きなどの睡眠時の体動の時系列データを取得し、この体動の時系列データに基づき人の睡眠深度を判定するものである。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The sleep depth determination system according to the present invention captures a moving image of a person during sleep by a photographing means such as an infrared camera capable of photographing even in a dark bedroom, analyzes the moving image, and moves the head, turns over, and limbs. The time-series data of the body movement during sleep such as the movement of the body is acquired, and the sleep depth of the person is determined based on the time-series data of the body movement.
図1は、本発明の一実施形態に係る睡眠深度判定システム10の概略構成を示す。図1に示すように、睡眠深度判定システム10は、睡眠時の人の動画像を撮影可能な撮影手段1と、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置2と、を備える。
FIG. 1 shows a schematic configuration of a sleep
撮影手段1は、睡眠深度判定装置2(コンピュータ3)に通信インターフェイス(図示せず)を介して接続され、睡眠時の人の動画像を撮影し、撮影した動画像を睡眠深度判定装置2のコンピュータ3に出力する。出力された動画像は睡眠深度判定装置2のコンピュータ3に格納される。撮影手段1は、例えばビデオカメラ、ウェブカメラ、カメラ機能を有する携帯電話(例えばスマートフォン)など、睡眠時の人の動画像を撮影できるものであれば種々のものを用いることができる。なお、夜間や暗闇においても撮影することが可能な赤外線撮影機能を備えていることが好ましい。動画像のフレームレートは、少なくとも1fps以上、好ましくは2fps以上であることが好ましいが、睡眠時においては、人の体動による動きは少なく、人の体動を検出するためには、1fps以上3fps以下のフレームレートで十分であり、本実施形態では2fps(フレーム間隔で0.5秒)である。
The photographing means 1 is connected to the sleep depth determination device 2 (computer 3) via a communication interface (not shown), captures a moving image of a person during sleep, and captures the captured moving image of the sleep
睡眠深度判定装置2は、図2に示すように、各種演算処理を実行するコンピュータ3と、キーボード、マウス、タッチパネル装置などの入力手段4と、液晶ディスプレイなどの表示手段5と、を備える。入力手段4及び表示手段5は、コンピュータ3と別個の機器であってもよいが、一つのユニットであってもよい。睡眠深度判定装置2は、例えばパーソナルコンピュータ(デスクトップ、ノートブック、スマートフォン、携帯情報端末(例えばタブレットPC)など)で構成することができ、特に限定されるものではない。
As shown in FIG. 2, the sleep
コンピュータ3は、ハードウェア構成として、プロセッサ(CPU)、CPUの制御下にあるメモリ(ROM、RAM)、補助記憶装置(HDD)、他の装置(入力手段4、表示手段5、撮影手段1)との各インターフェイス(入出力インターフェイス、画像出力インターフェイス、通信インターフェイス)、インターネット接続のためのインターフェイスなどを有している。HDDは、コンピュータ3内に含まれていてもよいし、コンピュータ3の外部装置として置かれてもよい。CPUは、演算処理装置及び制御装置として機能し、ROMやHDDに記憶されている各種コンピュータプログラムをRAMに読み出して実行することにより、各種演算処理を実行する。なお、撮影手段1により撮影された動画像は、当該動画像を記録したコンピュータ読み取り可能な可搬型記録媒体(フラッシュメモリ、SDカード、CD−ROMなど)を介して睡眠深度判定装置2のコンピュータ3に供給してもよい。
The
コンピュータ3は、記憶部30の他、機能ブロックとして、動画像取得部31と、画像変換部32と、グレー変換部33と、差分処理部34と、ノイズ処理部35と、体動データ算出部36と、判定部37と、を備えている。各機能ブロックは、CPUがコンピュータプログラムを実行することによりソフトウェア的に実現される。
In addition to the
以下、睡眠深度判定に関するコンピュータプログラムに基づき、コンピュータ3の各機能ブロックにより実行される睡眠深度判定方法について、図2及び図3を参照して説明する。
Hereinafter, the sleep depth determination method executed by each functional block of the
動画像取得部31は、撮影手段1から出力される人の睡眠時の動画像を取得する(動画像取得工程ST1)。画像取得部31は、取得した動画像を時系列に記憶部30に記憶してもよい。
The moving
次に、画像変換部32は、取得した動画像を、動画像を構成する複数のフレーム画像(静止画像)に変換する処理を行う(画像変換工程ST2)。なお、撮影手段1で撮影された動画像のフレームレートが、3fpsよりも大きい場合は、1fps以上3fps以下、好ましくは2fps(フレーム間隔t1が0.5秒)にリサンプリングする。これにより、睡眠深度判定装置2のコンピュータ3に記憶される情報量を減らすことができる。
Next, the
グレー変換部33は、全てのフレーム画像をグレースケール化してグレースケール画像に変換する処理を行う(グレー変換工程ST3)。これにより、人の睡眠時の動画像から、ベッドなどの背景物の影響を受けることなく、人の睡眠時の体動を検出することができる。
The
具体的に、本発明では、詳細は後述するが、人の睡眠時の体動を、動画像を構成する複数のフレーム画像(静止画像)を差分処理することで検出している。つまり、フレーム画像の画像サイズは、x方向(横)n個、y方向(縦)m個の合計n×m個(例えば横640個×縦480個)のピクセルで構成されるが、睡眠時に体動が起こると、動く前のフレーム画像と動いた後のフレーム画像との間で、動く元の座標位置(x1,y1)のピクセルは濃度値(輝度)が減少し、動いた先の座標位置(x2,y2)のピクセルは濃度値(輝度)が増加する。よって、連続する複数のフレーム画像の差分を取り、濃度値(輝度)の変化したピクセルを検出することで、体動を検出できる。ここで、各フレーム画像において、人とベッドなどの背景物とが同色で現わされると、背景物と重なる部分では体動が生じてもピクセルの濃度変化が生じないため、体動を検出することができない。しかし、動画像をグレースケール画像に変換して、人と背景物とが異なる色(濃度)で現わされることで、背景物と重なる部分においても体動によるピクセルの濃度値変化を検出できるため、体動を検出することが可能である。 Specifically, in the present invention, which will be described in detail later, the body movement during sleep of a person is detected by differential processing of a plurality of frame images (still images) constituting the moving image. That is, the image size of the frame image is composed of n pixels in the x direction (horizontal) and m pixels in the y direction (vertical), for a total of n × m pixels (for example, 640 horizontal × 480 vertical). When a body movement occurs, the density value (brightness) of the pixel at the original coordinate position (x1, y1) of the movement decreases between the frame image before the movement and the frame image after the movement, and the coordinates of the destination of the movement. The density value (brightness) of the pixel at the position (x2, y2) increases. Therefore, the body movement can be detected by taking the difference between a plurality of consecutive frame images and detecting the pixels whose density value (luminance) has changed. Here, in each frame image, when a person and a background object such as a bed appear in the same color, the body movement is detected because the pixel density does not change even if the body movement occurs in the portion overlapping the background object. Can not do it. However, by converting the moving image into a grayscale image and making the person and the background object appear in different colors (density), it is possible to detect the change in the pixel density value due to body movement even in the part that overlaps the background object. Therefore, it is possible to detect body movement.
グレースケール画像への変換方法は、特に限定されず、既知の方法で行うことができる。グレースケール画像への変換では、256階調に設定するのが好ましい。グレー変換部33は、グレースケール化した動画像を時系列に記憶部30に記憶してもよい。
The method for converting to a grayscale image is not particularly limited, and a known method can be used. For conversion to a grayscale image, it is preferable to set 256 gradations. The
なお、撮影手段1として、グレースケールで動画を撮影できる機能を備えた機器を用いれば、グレー変換部33及びグレー変換工程ST3は省略することができる。
If a device having a function of shooting a moving image in gray scale is used as the shooting means 1, the
次に、差分処理部34は、全てのフレーム画像について差分処理を行い、差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行う(差分処理工程ST4)。ここで、差分をとる2枚のフレーム画像のフレーム間隔は、特に限定されるものではないが、本実施形態では、図4に示すように、連続する複数のフレーム画像の隣り合う2枚(フレーム間隔t1(本実施形態では0.5秒))のフレーム画像ではなく、フレーム間隔t1よりも長いフレーム間隔t2をあけた2枚のフレーム画像としている。つまり、例えば、N枚目のフレーム画像と差分を取るフレーム画像は、1枚前のN−1枚目のフレーム画像ではなく、a(=t2/t1)枚前のN−a枚目のフレーム画像となる。フレーム間隔t2としては、例えば2.0秒以上4.0秒以下の範囲から設定することができ、好ましくは2.5秒以上3.5秒以下の範囲から設定することができ、本実施形態では3.0秒である。よって、本実施形態では、N枚目のフレーム画像は、6枚前のN−6枚目のフレーム画像との間で差分を取り、N+1枚目のフレーム画像は、N−5枚目のフレーム画像との間で差分を取り、N+2枚目のフレーム画像は、N−4枚目のフレーム画像との間で差分を取る。
Next, the
このように、時間間隔の長いフレーム間隔t2でフレーム画像の差分処理を行う理由として、人の睡眠時の体動には、主に、寝返りなどの動きの遅い大きな粗体動と、四肢の動きなどの動きの速い小さな細体動とがある。ここで、動きの遅い粗体動は、フレーム間隔が短いと、差分処理する2枚(N枚目及びN−1枚目)のフレーム画像の比較で体動に伴う差が表れにくく、フレーム画像間で濃度値が変化するピクセルが少数であるため、これを出可能ではあるが、検出精度は良好でない。これに対して、フレーム間隔が長いと、差分処理する2枚(N枚目及びN−a枚目)のフレーム画像の比較で体動に伴う差が大きく表れ、フレーム画像間で濃度値が変化するピクセルが多数となるため、これを精度よく検出することが可能となる。なお、動きの速い細体動については、差分処理する2枚のフレーム画像のフレーム間隔が短い方がより精度よく検出することができるが、フレーム間隔t2が2.0秒以上4.0秒以下の範囲であれば、フレーム間隔t2でも細体動を検出することは可能である。 In this way, the reason why the difference processing of the frame image is performed at the frame interval t2 with a long time interval is that the body movement during sleep of a person is mainly a large rough body movement with slow movement such as turning over and a movement of the limbs. There are small body movements that move quickly. Here, for slow-moving coarse body movements, if the frame interval is short, the difference due to body movement is less likely to appear in the comparison of the two frame images (Nth and N-1th) to be subjected to difference processing, and the frame image. Since the number of pixels whose density value changes between them is small, this can be obtained, but the detection accuracy is not good. On the other hand, when the frame interval is long, a large difference due to body movement appears in the comparison of the two frame images (Nth and NA) to be subjected to the difference processing, and the density value changes between the frame images. Since the number of pixels to be processed is large, it is possible to detect this with high accuracy. It should be noted that, for fast-moving body movements, the shorter the frame interval between the two frame images to be subjected to the difference processing, the more accurately the detection can be performed, but the frame interval t2 is 2.0 seconds or more and 4.0 seconds or less. Within the range of, it is possible to detect the slender movement even at the frame interval t2.
次に、ノイズ処理部35は、差分処理により検出された濃度値が変化したピクセルに対して、膨張処理及び膨張処理後の収縮処理を行う(ノイズ処理工程ST5)。本実施形態では、膨張処理を少なくとも1回行った後、収縮処理を膨張処理回数よりも多い回数行う。例えば、膨張処理を1回、収縮処理を2回行う。収縮処理のみを例えば1回だけ行うと、差分処理により検出された細体動がノイズとともに除去されるおそれがある。しかし、膨張処理後、膨張処理より多い回数の収縮処理を行うことで、差分処理により体動として検出される、連続・結合した各ピクセルの濃度値変化はノイズ処理後もそのまま残り、差分処理によりノイズとして検出される、非連続・分散した各ピクセルの濃度値変化はノイズ処理後により除去することができる。よって、ノイズだけを効果的に除去することができる。膨張処理及び収縮処理は、既知の方法で行うことができる。ノイズ処理部35は、ノイズ処理した差分処理により検出された濃度値が変化したピクセルの画像を時系列に記憶部30に記憶してもよい。
Next, the
なお、撮影手段1に高性能のカメラを用いる場合など、撮影した動画像に発生するノイズが少ない場合には、このノイズ処理部35及びノイズ処理工程ST5は省略することができる。
When the noise generated in the captured moving image is small, such as when a high-performance camera is used as the photographing
次に、体動データ算出部36は、上記方法で差分処理を行った全てのフレーム画像について、差分をとったフレーム画像との間で濃度値が変化したピクセルの数を計数することで、人の睡眠時の体動の時系列データを計測する処理を行う。体動データ算出部36は、計測した体動の時系列データを記憶部30に記憶してもよい。
Next, the body movement
図5は、人の睡眠時のフレーム間隔t2における体動データ(下段)を示す。図5において、横軸が時間[sec]、縦軸が体動として計数されたピクセル数[pixel]であり、ピクセル数が大きいほど、大きな体動があることを意味する。なお、図5には、睡眠深度との比較のために、睡眠ポリグラフ法により判定した睡眠深度の実測データ(上段)も示している。 FIG. 5 shows body movement data (lower row) at a frame interval t2 during sleep of a person. In FIG. 5, the horizontal axis is the time [sec] and the vertical axis is the number of pixels [pixel] counted as the body movement. The larger the number of pixels, the larger the body movement. Note that FIG. 5 also shows actual measurement data (upper row) of the sleep depth determined by the polysomnography method for comparison with the sleep depth.
上記の通り、本発明では、睡眠時に現れる細体動に加え、粗体動を精度よく計測することにより、詳細は後述するが、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判別することが可能となる。 As described above, in the present invention, in addition to the slender movements that appear during sleep, the coarse body movements are accurately measured, and the details will be described later. It is possible to discriminate into four stages of slow-wave sleep.
そして、体動データ算出部36は、計測した前記体動の時系列データから、所定時間Tよりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する処理を行う(体動データ算出工程ST6)。
Then, the body movement
具体的には、体動量は、1エポックの間に算出された濃度値が変化したピクセルの数の総計である。例えば1エポックの所定時間Tを30秒とすると、撮影手段1によって得られた動画像が、例えば2fps(0.5秒/1フレーム)であれば、1エポックには60枚(T/t1)のフレーム画像が含まれ、各フレーム画像には、合計n×m個(例えば横640個×縦480個)のピクセルが存在する。その中で差分を取った2枚のフレーム画像間で濃度値が変化したピクセルが体動の大きさとしてカウントされるため、体動量は、1エポックに含まれる60枚(T/t1枚)のフレーム画像の差分処理でカウントされたピクセル数の合計値により表わされる。
Specifically, the amount of body movement is the total number of pixels whose density value has changed during one epoch. For example, assuming that the predetermined time T of one epoch is 30 seconds, if the moving image obtained by the photographing
また、体動持続時間は、1エポックの中で体動が検出されたフレーム画像の数の総計であり、これを時間に換算したものである。つまり、例えば1エポックの所定時間Tを30秒とすると、撮影手段1によって得られた動画像が、例えば2fps(0.5秒/1フレーム)であれば、1エポックには60枚(T/t1)のフレーム画像が含まれるため、体動持続時間は、1エポックに含まれる60枚(T/t1)のフレーム画像の差分処理の結果、1エポック(60枚のフレーム画像)の中で体動が検出された(濃度値が変化したピクセルの数が0でない)フレーム画像の数を算出し、算出されたフレーム画像の数にフレーム間隔t1(例えば0.5秒)を掛けた時間により表わされる。
The body movement duration is the total number of frame images in which body movement is detected in one epoch, and this is converted into time. That is, for example, assuming that the predetermined time T of one epoch is 30 seconds, if the moving image obtained by the photographing
また、静止持続時間は、任意のエポックにおいて、最後に体動を検出してからどれだけ静止が続いているかの持続時間である。あるエポックにおける静止持続時間を算出する場合、該エポックよりも前のエポックであって最後に体動が検出された(濃度値が変化したピクセルの数が0でない)エポックが該エポックの何個前のエポックであるかを検出する。例えばb個(例えば6個)前のエポックで体動が検出されたとすれば、間のb−1個(例えば5個)のエポックでは体動が発生していない。そのため、静止持続時間は、(b−1)×T(1エポックの所定時間)として表される。 The rest duration is the duration of how long the rest has continued since the last detection of body movement in any epoch. When calculating the duration of rest in an epoch, the number of epochs before the epoch and the last body movement detected (the number of pixels whose density value has changed is not 0) is before the epoch. Detects whether it is an epoch. For example, if body movement is detected in b (for example, 6) previous epochs, no body movement occurs in b-1 (for example, 5) epochs in between. Therefore, the stationary duration is expressed as (b-1) × T (predetermined time of one epoch).
上述した算出方法に基づき、全てのエポックについて、体動データから、体動量、体動持続時間及び静止持続時間が算出される。 Based on the above-mentioned calculation method, the amount of body movement, the duration of body movement, and the duration of rest are calculated from the body movement data for all epochs.
さらに、体動データ算出部36は、本実施形態では、全てのエポックの体動量、体動持続時間及び静止持続時間について、それぞれ、直近のc個のエポックの体動量、体動持続時間及び静止持続時間との単純平均値を算出する移動平均処理を行う(移動平均処理工程ST7)。例えば、M番目のエポックにおいては、M−c番目のエポック〜M番目のエポックの平均値となり、M+1番目のエポックにおいては、M+1−c番目のエポック〜M+1番目のエポックの平均値となる。本実施形態では、15分(30エポック)の移動平均処理を行っている。このように、各エポックの体動量、体動持続時間及び静止持続時間の移動平均値を算出したのは、各エポックにおける睡眠深度は、それ以前のエポックにおける体動情報に依存するという知見に基づくものであり、以前のエポックの体動情報を考慮することで、各エポックにおける睡眠深度の判定を精度よく行うことが可能になる。
Further, in the present embodiment, the body movement
例えば、体動量を例に説明すると、ケースAでは、あるエポックに3000の体動量が計測されたが,そのエポックから15分前までは一切体動がなかったのに対して、ケースBでは、あるエポックに同じく3000の体動量が計測され、そのエポックから15分前のエポックに27000の体動があった場合、体動量(移動平均処理なし)では、ケースAとBとであるエポックにおいて同じく3000となるので、睡眠深度は同じに見える。ただし、体動量(移動平均処理あり)では、ケースAにおいては3000/60エポック(15分)=50になるのに対して、ケースBにおいては(3000+27000)/60=500となる。そのため、ケースAとBとであるエポックを異なる睡眠深度と分類することができる。このように、以前のエポックで体動があったエポックでは移動平均処理なしの体動量でも睡眠深度の分類に用いることができる、以前のエポックで体動がないエポックでは移動平均処理ありの体動量を用いて、以前のエポックの体動情報を含めることで、睡眠深度の分類精度を向上させることができる。
For example, taking the amount of body movement as an example, in case A, the amount of body movement of 3000 was measured in a certain epoch, but there was no body movement until 15 minutes before the epoch, whereas in case B, there was no body movement. If 3000 body movements are measured in a certain epoch and 27,000 body movements are in the
なお、移動平均処理の対象範囲は、必ずしも15分に限られるものではなく、例えば、10分以上20分以下の間で好ましく設定することができる。 The target range of the moving average processing is not necessarily limited to 15 minutes, and can be preferably set, for example, between 10 minutes and 20 minutes.
次に、判定部37は、体動データから算出されたエポック毎の体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)及び静止持続時間(移動平均処理なし)、さらには、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の6つのパラメータに基づいて、人の睡眠時の睡眠深度が、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)のいずれかに分類されるのかを判定する処理を行う(判定工程ST8)。
Next, the
ここで、人の睡眠時においては、覚醒状態(WAKE)では、動きの大きな粗体動が頻発するのに対して、眠りが深くなるにつれて、すなわち、レム睡眠、浅睡眠、徐波睡眠と続くにつれて粗体動の出現頻度は低下する。そのため、覚醒状態(WAKE)と睡眠状態(SLEEP)とでは、体動量に顕著な差があり、覚醒状態(WAKE)では睡眠状態(SLEEP)よりも体動量が大きい。よって、上記で算出したパラメータのうち、体動量に着目することで、睡眠深度を、まず、覚醒状態(WAKE)と睡眠状態(SLEEP)とに分類することができる。 Here, in a person's sleep, in the wakefulness state (WAKE), large-movement rough body movements frequently occur, whereas as the sleep becomes deeper, that is, REM sleep, light sleep, and slow-wave sleep continue. As the body movements appear less frequently. Therefore, there is a remarkable difference in the amount of body movement between the awake state (WAKE) and the sleep state (SLEEP), and the amount of body movement in the awake state (WAKE) is larger than that in the sleep state (SLEEP). Therefore, among the parameters calculated above, by paying attention to the amount of body movement, the sleep depth can be first classified into a wakefulness state (WAKE) and a sleep state (SLEEP).
また、睡眠状態(SLEEP)の中でも、レム睡眠(REM)では、動きの小さな細体動が起こりやすい一方、粗体動はほとんど起こらない。また、レム睡眠(REM)自体が長時間継続しないために静止持続時間も長い値をとらない。浅睡眠(LIGHT)では、細体動及び粗体動のいずれも起こる。徐波睡眠(DEEP)では、細体動及び粗体動のいずれもほとんど起こらない。よって、まず、徐波睡眠(DEEP)は、レム睡眠(REM)及び浅睡眠(LIGHT)よりも体動持続時間が短く、体動量も小さいため、上記で算出したパラメータのうち、体動持続時間及び体動量に着目することで、レム睡眠(REM)及び浅睡眠(LIGHT)と分類することができる。また、浅睡眠(LIGHT)は、レム睡眠(REM)及び徐波睡眠(DEEP)よりも体動量が大きいため、体動量に着目することで、レム睡眠(REM)及び徐波睡眠(DEEP)と分類することができる。最後に、レム睡眠(REM)は、浅睡眠(LIGHT)及び徐波睡眠(DEEP)よりも静止持続時間が短く、かつ、体動持続時間が浅睡眠(LIGHT)よりも短いため、静止持続時間及び体動持続時間に着目することで、浅睡眠(LIGHT)及び徐波睡眠(DEEP)と分類することができる。 Further, among the sleep states (SLEEP), in REM sleep (REM), small body movements are likely to occur, while coarse body movements hardly occur. In addition, since REM sleep (REM) itself does not continue for a long time, the rest duration does not take a long value. In light sleep (LIGHT), both slender and coarse body movements occur. In slow-wave sleep (DEEP), neither thin body movement nor coarse body movement occurs. Therefore, first, slow wave sleep (DEEP) has a shorter body movement duration and a smaller body movement amount than REM sleep (REM) and light sleep (LIGHT). Therefore, among the parameters calculated above, the body movement duration By paying attention to the amount of body movement and the amount of body movement, it can be classified into REM sleep (REM) and light sleep (LIGHT). In addition, since light sleep (LIGHT) has a larger amount of body movement than REM sleep (REM) and slow wave sleep (DEEP), by focusing on the amount of body movement, REM sleep (REM) and slow wave sleep (DEEP) can be defined. Can be categorized. Finally, REM sleep (REM) has a shorter rest duration than light sleep (LIGHT) and slow wave sleep (DEEP), and has a shorter body movement duration than light sleep (LIGHT). By focusing on the duration of body movement and body movement, it can be classified into light sleep (LIGHT) and slow wave sleep (DEEP).
図6に、図5の体動データから算出された人の睡眠時の(a)体動量(移動平均処理なし)、(b)体動持続時間(移動平均処理なし)、(c)静止持続時間(移動平均処理なし)、(d)体動量(移動平均処理あり)、(e)体動持続時間(移動平均処理あり)及び(f)静止持続時間(移動平均処理あり)の各パラメータが、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)においてそれぞれどのように分布しているかを表すグラフである。 6 shows, (a) amount of body movement (without moving average processing), (b) duration of body movement (without moving average processing), and (c) duration of rest during sleep of a person calculated from the body movement data of FIG. Each parameter of time (without moving average processing), (d) body movement amount (with moving average processing), (e) body movement duration (with moving average processing) and (f) rest duration (with moving average processing) , WAKE, REM sleep (REM), light sleep (LIGHT) and slow wave sleep (DEEP), respectively.
図6において、体動量(移動平均処理あり)は、覚醒状態(WAKE)が他より大きく分布しており、覚醒状態(WAKE)と他との分類に寄与していることが読み取れる。体動量(移動平均処理なし)は、浅睡眠(LIGHT)がレム睡眠(REM)及び徐波睡眠(DEEP)より大きく分布しており、浅睡眠(LIGHT)とレム睡眠(REM)及び徐波睡眠(DEEP)との分類に寄与していることが読み取れる。体動持続時間(移動平均処理なし)及び体動持続時間(移動平均処理あり)は、徐波睡眠(DEEP)がレム睡眠(REM)及び浅睡眠(LIGHT)より小さく分布しており、徐波睡眠(DEEP)とレム睡眠(REM)及び浅睡眠(LIGHT)との分類に寄与していることが読み取れる。静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)は、REM睡眠(REM)が徐波睡眠(DEEP)及び浅睡眠(LIGHT)より小さく分布しており、REM睡眠(REM)と徐波睡眠(DEEP)及び浅睡眠(LIGHT)との分類に寄与していることが読み取れる。また、静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)については、覚醒状態(WAKE)が他より小さく分布しており、覚醒状態(WAKE)と他との分類に寄与していることも読み取れる。 In FIG. 6, it can be seen that the amount of body movement (with moving average processing) is distributed more in the awake state (WAKE) than in the others, and contributes to the classification of the awake state (WAKE) and the others. Light sleep (LIGHT) is more distributed than REM sleep (REM) and slow wave sleep (DEEP), and light sleep (LIGHT), REM sleep (REM), and slow wave sleep are distributed in the amount of body movement (without moving average treatment). It can be read that it contributes to the classification of (DEEP). The duration of body movement (without moving averaging treatment) and the duration of body movement (with moving averaging treatment) are distributed smaller in slow-wave sleep (DEEP) than in REM sleep (REM) and light sleep (LIGHT). It can be seen that it contributes to the classification of sleep (DEEP), REM sleep (REM) and light sleep (LIGHT). Rest duration (without moving average treatment) and rest duration (with moving average treatment) are distributed smaller in REM sleep (REM) than in slow wave sleep (DEEP) and light sleep (LIGHT), and REM sleep (REM). ) And slow wave sleep (DEEP) and light sleep (LIGHT). In addition, regarding the stationary duration (without moving average processing) and the stationary duration (with moving average processing), the awake state (WAKE) is distributed smaller than the others, which contributes to the classification of the awake state (WAKE) and others. You can also read what you are doing.
このように、本実施形態では、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)、静止持続時間(移動平均処理なし)、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)が睡眠深度に大きく関係があることに鑑みて、人の睡眠時の体動データから、各エポックそれぞれについて、睡眠深度と関係性の強い体動に関する上記パラメータを抽出することで、エポック毎に、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)の4段階の判別が可能となっている。以下、睡眠深度を判定する方法について具体的に説明する。 As described above, in the present embodiment, the amount of body movement (without moving averaging processing), the duration of body movement (without moving averaging processing), the duration of rest (without moving averaging processing), the amount of body movement (with moving averaging processing), and the body movement. Considering that the duration (with moving average processing) and the resting duration (with moving average processing) are greatly related to the sleep depth, from the body movement data during human sleep, each epoch is related to the sleep depth. By extracting the above parameters related to strong sexual movement, it is possible to discriminate between four stages of wakefulness (WAKE), REM sleep (REM), light sleep (LIGHT), and slow wave sleep (DEEP) for each epoch. It has become. Hereinafter, a method for determining the sleep depth will be specifically described.
本実施形態では、判定部37は、人の睡眠時の睡眠深度が、まず、覚醒状態(WAKE)及び睡眠状態(SLEEP)のいずれに分類されるかを判定し、睡眠状態(SLEEP)であればレム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)のいずれかに分類されるのかを判定する。
In the present embodiment, the
覚醒状態(WAKE)と睡眠状態(SLEEP)との判定には、体動量(移動平均処理あり)をパラメータとし用い、例えば体動量(移動平均処理あり)が所定の閾値を超えているかどうかで、各エポックを覚醒状態(WAKE)及び睡眠状態(SLEEP)のいずれかに分類する(ST80)。この閾値は、図6(d)に示すように、事前に確認された体動量(移動平均処理あり)のパラメータが、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)においてどのように分布しているかを表す教師データから設定することができる。体動量(移動平均処理あり)が閾値を超えていれば覚醒状態(WAKE)と判定し(ST81)、閾値以下であれば睡眠状態(SLEEP)と判定する(ST82)。本実施形態では、機械学習の一つである線形判別を用い、体動量(移動平均処理あり)をパラメータとして各エポックを覚醒状態(WAKE)及び睡眠状態(SLEEP)の2つの判別群に分類する閾値を算出して分類している。なお、覚醒状態(WAKE)及び睡眠状態(SLEEP)の分類については、体動量(移動平均処理あり)の他、静止持続時間(移動平均処理なし)又は静止持続時間(移動平均処理あり)をパラメータとしても所定の閾値を超えているかどうかで各エポックを分類することもできる。さらに、体動量(移動平均処理あり)、静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)の少なくとも2つのパラメータを用いた機械学習(線形判別など)によっても各エポックを覚醒状態(WAKE)及び睡眠状態(SLEEP)の2つの判別群に分類することができる。 To determine the wakefulness state (WAKE) and the sleep state (SLEEP), the amount of body movement (with moving average processing) is used as a parameter, and for example, whether or not the amount of body movement (with moving average processing) exceeds a predetermined threshold. Each epoch is classified into either a wakefulness state (WAKE) or a sleep state (SLEEP) (ST80). As shown in FIG. 6 (d), this threshold has the parameters of the amount of body movement (with moving average processing) confirmed in advance: wakefulness (WAKE), REM sleep (REM), light sleep (LIGHT), and gradual sleep (LIGHT). It can be set from teacher data showing how it is distributed in wave sleep (DEEP). If the amount of body movement (with moving average processing) exceeds the threshold value, it is determined to be in the awake state (WAKE) (ST81), and if it is below the threshold value, it is determined to be in the sleep state (SLEEP) (ST82). In this embodiment, linear discrimination, which is one of machine learning, is used, and each epoch is classified into two discrimination groups, awake state (WAKE) and a sleep state (SLEEP), with the amount of body movement (with moving average processing) as a parameter. The threshold is calculated and classified. Regarding the classification of awake state (WAKE) and sleep state (SLEEP), in addition to the amount of body movement (with moving average processing), the rest duration (without moving average processing) or rest duration (with moving average processing) is a parameter. Even so, each epoch can be classified according to whether or not it exceeds a predetermined threshold. Furthermore, each epoch is also performed by machine learning (linear discrimination, etc.) using at least two parameters of body movement amount (with moving average processing), rest duration (without moving average processing), and rest duration (with moving average processing). It can be classified into two discriminant groups, awake state (WAKE) and sleep state (SLEEP).
次に、判定部37は、睡眠状態(SLEEP)に分類された各エポックを、体動量、体動持続時間及び静止持続時間をパラメータとして用いて、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)のいずれかに分類する(ST83)。なお、パラメータとしては、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)、静止持続時間(移動平均処理なし)、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の6つ全てを用いることが精度良く分類することができるので好ましいが、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)及び静止持続時間(移動平均処理なし)の3つだけを用いてもよいし、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の3つだけを用いてもよい。
Next, the
本実施形態では、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)、静止持続時間(移動平均処理なし)、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の6つのパラメータを用いた機械学習によって各エポックを徐波睡眠(DEEP)、浅睡眠(LIGHT)及びレム睡眠(REM)の3つの判別群に分類している(ST84〜ST86)。機械学習には、SVM(サポートベクターマシン)を好適に用いることができるが、線形判別、マハラノビス距離、二次式判別など既存の分類手法を用いることもできる。 In this embodiment, the amount of body movement (without moving average processing), the duration of body movement (without moving average processing), the duration of rest (without moving average processing), the amount of body movement (with moving average processing), and the duration of body movement (movement). Three discriminant groups of slow-wave sleep (DEEP), light sleep (LIGHT), and REM sleep (REM) for each epoch by machine learning using 6 parameters of averaging (with averaging) and static duration (with moving average). It is classified into (ST84 to ST86). SVM (support vector machine) can be preferably used for machine learning, but existing classification methods such as linear discrimination, Mahalanobis distance, and quadratic discrimination can also be used.
なお、睡眠状態(SLEEP)に分類された各エポックを、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)、静止持続時間(移動平均処理なし)、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の6つのパラメータの全部または一部を用いて、まず、レム睡眠(REM)及び浅睡眠(LIGHT)と、徐波睡眠(DEEP)との2つの判別群に機械学習などで分類した後、レム睡眠(REM)及び浅睡眠(LIGHT)に分類された各エポックを、レム睡眠(REM)と浅睡眠(LIGHT)との2つの判別群に機械学習などで分類してもよい。 For each epoch classified into the sleep state (SLEEP), the amount of body movement (without moving average processing), the duration of body movement (without moving average processing), the duration of rest (without moving average processing), and the amount of body movement (moving average). Using all or part of the six parameters of body movement duration (moving average treatment) and resting duration (moving average treatment), first, REM sleep (REM) and light sleep (LIGHT). After classifying into two discriminant groups, slow wave sleep (DEEP) and slow wave sleep (DEEP) by machine learning etc., each epoch classified into REM sleep (REM) and light sleep (LIGHT) is classified into REM sleep (REM) and light sleep (REM) and light sleep. (LIGHT) may be classified into two discrimination groups by machine learning or the like.
こうして得られた睡眠深度の判定データは、例えば、睡眠深度の時間遷移の軌跡が生成されて、表示手段5に表示される。 The sleep depth determination data thus obtained is, for example, generated as a locus of the time transition of the sleep depth and displayed on the display means 5.
図7(a)(b)は、図5の体動データから判定された人の睡眠深度の判定結果と、睡眠ポリグラフ法により測定した睡眠深度の実測データとの一致表を表している。図7(a)を参照すると、睡眠ポリグラフ法により睡眠状態(SLEEP)と判定された877個のエポックのうち875個(99.8%)が本発明の睡眠深度判定装置2によって睡眠状態(SLEEP)と判定されており、また、睡眠ポリグラフ法により覚醒状態(WAKE)と判定された44個のエポックのうち29個(65.9%)が本発明の睡眠深度判定装置2によっても覚醒状態(WAKE)と判定されている。本実施形態では、本発明の睡眠深度判定装置2で睡眠状態(SLEEP)と判定された875個のエポックの半分である438個のエポックを機械学習の教師データとし、もう半分の437個のエポックを引判定データとした。図7(b)を参照すると、本発明の睡眠深度判定装置2により睡眠状態(SLEEP)と判定された437個のエポックについて、さらに、睡眠ポリグラフ法により徐波睡眠(DEEP)と判定された110個のエポックのうち73個(66.4%)が本発明の睡眠深度判定装置2によっても徐波睡眠(DEEP)と判定されており、また、睡眠ポリグラフ法により浅睡眠(LIGHT)と判定された262個のエポックのうち226個(86.3%)が本発明の睡眠深度判定装置2によっても浅睡眠(LIGHT)と判定されており、また、睡眠ポリグラフ法によりレム睡眠(REM)と判定された67個のエポックのうち53個(79.1%)が本発明の睡眠深度判定装置2によってもレム睡眠(REM)と判定されている。このように、本発明の睡眠深度判定装置2によると、概ね良好な精度で睡眠深度を覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)の4段階に分類することができているといえる。
7 (a) and 7 (b) show a concordance table between the determination result of the sleep depth of the person determined from the body movement data of FIG. 5 and the measured data of the sleep depth measured by the polysomnography method. Referring to FIG. 7 (a), 875 (99.8%) of the 877 epochs determined to be in sleep state (SLEEP) by the sleep polygraph method are in sleep state (SLEEP) by the sleep
このように、本発明の睡眠深度判定システム10、睡眠深度判定装置2及び睡眠深度判定方法によれば、撮影手段1により撮影した人の睡眠時の動画像から体動データを計測して、その睡眠深度を判定しているので、装置が大がかりとなることがなく、一般の家庭における睡眠深度判定装置として好適である。また、人をセンサ類で拘束することも接触させることもない完全な無拘束かつ非接触状態で睡眠深度の判定ができるので、人にとって何ら負担がなく睡眠深度を判定することができる。さらに、レム睡眠と浅睡眠とを分類して4段階の判定ができるので、精度よく睡眠深度を判定し、睡眠サイクルを導出することができる。これにより、睡眠サイクルに基づいた快眠のための環境制御(空調制御や照明制御、音響制御、温度制御など)が可能にできる。
As described above, according to the sleep
また、人の睡眠深度を覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に分類することが可能であることから、睡眠に関する各種情報、例えば、寝つきまでの時間、睡眠効率、レム睡眠の占有率、徐波睡眠の占有率などを表示手段5に表示したり、レポートをプリンタ(図示せず)などから出力することができる。 In addition, since it is possible to classify a person's sleep depth into four stages: wakefulness, REM sleep, light sleep, and slow-wave sleep, various information related to sleep, such as time to sleep, sleep efficiency, and REM sleep, can be classified. The occupancy rate, the occupancy rate of slow-wave sleep, etc. can be displayed on the display means 5, and the report can be output from a printer (not shown) or the like.
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the spirit of the present invention.
例えば、本実施形態では、差分処理部34が全てのフレーム画像を差分処理する際に、時間間隔の長いフレーム間隔t2(2.0秒以上4.0秒以下)で差分処理を行い、そして、フレーム間隔t2での差分処理結果に基づき、体動データ算出部36が体動(濃度値が変化したピクセルの数)を検出しているが、差分処理部34がフレーム間隔t2よりも短いフレーム間隔t3で全てのフレーム画像の差分処理を行い、ノイズ処理部34によるノイズ処理の後、体動データ算出部36がフレーム間隔t2での差分処理結果に基づいて体動(濃度値が変化したピクセルの数)を検出してもよい。フレーム間隔t3としては、撮影手段1によって得られる動画像のfpsにも依存するが、例えば0.2秒以上1.0秒以下の範囲から設定することができ、好ましくは0.5秒である。
For example, in the present embodiment, when the
フレーム間隔t3を0.5秒とすると、差分処理部34による全てのフレーム画像の差分処理は、撮影手段1によって得られる動画像が2fpsの場合、図4に示すように、隣り合う2枚のフレーム画像間で行われる。つまり、例えば、N枚目のフレーム画像と差分を取るフレーム画像は、1枚前のN−1枚目のフレーム画像となり、N+1枚目のフレーム画像は、N枚目のフレーム画像との間で差分を取り、N+2枚目のフレーム画像は、N+1枚目のフレーム画像との間で差分を取る。
Assuming that the frame interval t3 is 0.5 seconds, the difference processing of all the frame images by the
このように、フレーム間隔t2よりも短いフレーム間隔t3でフレーム画像の差分処理を行う場合には、フレーム間隔t2の際に検出できなかった動きの速い細体動を検出することができる。フレーム間隔が短いことで、差分処理する2枚(N枚目及びN−1枚目)のフレーム画像の比較で細体動に伴う差が大きく表れ、フレーム画像間で濃度値が変化するピクセルが多数となるため、これを精度よく検出することが可能となる。 As described above, when the frame image difference processing is performed at the frame interval t3 shorter than the frame interval t2, it is possible to detect the fast-moving thin body motion that could not be detected at the frame interval t2. Due to the short frame interval, when comparing the two frame images (Nth and N-1th) to be subjected to the difference processing, the difference due to the body movement appears large, and the pixel whose density value changes between the frame images appears. Since the number is large, it is possible to detect this with high accuracy.
図8は、同様の方法で、人の睡眠時のフレーム間隔t3における体動の時系列データを計測した結果(下段)を示す。図8において、横軸が時間[sec]、縦軸が体動として検出されたピクセル数[pixel]であり、ピクセル数が大きいほど、大きな体動があることを意味する。なお、図8には、睡眠深度との比較のために、睡眠ポリグラフ法により判定した睡眠深度の実測データ(上段)も示している。 FIG. 8 shows the result (lower row) of measuring the time series data of the body movement at the frame interval t3 during sleep of a person by the same method. In FIG. 8, the horizontal axis is time [sec] and the vertical axis is the number of pixels [pixel] detected as body movement. The larger the number of pixels, the larger the body movement. Note that FIG. 8 also shows actual measurement data (upper row) of the sleep depth determined by the polysomnography method for comparison with the sleep depth.
この実施形態では、睡眠時に現れる粗体動に加え、細体動を精度よく計測することにより、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判別することを可能としている。 In this embodiment, in addition to the coarse body movement that appears during sleep, the sleep depth during sleep is discriminated into four stages of wakefulness, REM sleep, light sleep, and slow wave sleep by accurately measuring fine body movement. It is possible.
図9は、同様の方法で、図8の体動データから算出された人の睡眠時の(a)体動量(移動平均処理なし)、(b)体動持続時間(移動平均処理なし)、(c)静止持続時間(移動平均処理なし)、(d)体動量(移動平均処理あり)、(e)体動持続時間(移動平均処理あり)及び(f)静止持続時間(移動平均処理あり)の各パラメータが、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)においてそれぞれどのように分布しているかを表すグラフである。 FIG. 9 shows (a) body movement amount (without moving average processing), (b) body movement duration (without moving average processing) during sleep of a person calculated from the body movement data of FIG. 8 by the same method. (C) Resting duration (without moving average processing), (d) Body movement amount (with moving average processing), (e) Body movement duration (with moving average processing) and (f) Resting duration (with moving average processing) ) Is a graph showing how each parameter of) is distributed in the wakefulness state (WAKE), the REM sleep (REM), the light sleep (LIGHT), and the slow wave sleep (DEEP).
図9においても、体動量(移動平均処理あり)は、覚醒状態(WAKE)が他より大きく分布しており、覚醒状態(WAKE)と他との分類に寄与していることが読み取れる。体動量(移動平均処理なし)は、浅睡眠(LIGHT)がレム睡眠(REM)及び徐波睡眠(DEEP)より大きく分布しており、浅睡眠(LIGHT)とレム睡眠(REM)及び徐波睡眠(DEEP)との分類に寄与していることが読み取れる。体動持続時間(移動平均処理なし)及び体動持続時間(移動平均処理あり)は、徐波睡眠(DEEP)がレム睡眠(REM)及び浅睡眠(LIGHT)より小さく分布しており、徐波睡眠(DEEP)とレム睡眠(REM)及び浅睡眠(LIGHT)との分類に寄与していることが読み取れる。静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)は、REM睡眠(REM)が徐波睡眠(DEEP)及び浅睡眠(LIGHT)より小さく分布しており、REM睡眠(REM)と徐波睡眠(DEEP)及び浅睡眠(LIGHT)との分類に寄与していることが読み取れる。また、静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)については、覚醒状態(WAKE)が他より小さく分布しており、覚醒状態(WAKE)と他との分類に寄与していることも読み取れる。 Also in FIG. 9, it can be seen that the amount of body movement (with moving average processing) is distributed more in the awake state (WAKE) than in the others, and contributes to the classification of the awake state (WAKE) and the others. Light sleep (LIGHT) is more distributed than REM sleep (REM) and slow wave sleep (DEEP), and light sleep (LIGHT), REM sleep (REM), and slow wave sleep are distributed in the amount of body movement (without moving average treatment). It can be read that it contributes to the classification of (DEEP). The duration of body movement (without moving averaging treatment) and the duration of body movement (with moving averaging treatment) are distributed smaller in slow-wave sleep (DEEP) than in REM sleep (REM) and light sleep (LIGHT). It can be seen that it contributes to the classification of sleep (DEEP), REM sleep (REM) and light sleep (LIGHT). Rest duration (without moving average treatment) and rest duration (with moving average treatment) are distributed smaller in REM sleep (REM) than in slow wave sleep (DEEP) and light sleep (LIGHT), and REM sleep (REM). ) And slow wave sleep (DEEP) and light sleep (LIGHT). In addition, regarding the stationary duration (without moving average processing) and the stationary duration (with moving average processing), the awake state (WAKE) is distributed smaller than the others, which contributes to the classification of the awake state (WAKE) and others. You can also read what you are doing.
図10(a)(b)は、同様の方法で、図8の体動データから判定された人の睡眠深度の判定結果を、睡眠ポリグラフ法により測定した睡眠深度の実測データとの比較を表している。図10(a)を参照すると、睡眠ポリグラフ法により睡眠状態(SLEEP)と判定された877個のエポックのうち875個(99.8%)が本発明の睡眠深度判定装置2によって睡眠状態(SLEEP)と判定されており、また、睡眠ポリグラフ法により覚醒状態(WAKE)と判定された44個のエポックのうち29個(65.9%)が本発明の睡眠深度判定装置2によっても覚醒状態(WAKE)と判定されている。本実施形態では、本発明の睡眠深度判定装置2で睡眠状態(SLEEP)と判定された875個のエポックの半分である438個のエポックを機械学習の教師データとし、もう半分の437個のエポックを引判定データとした。図10(b)を参照すると、本発明の睡眠深度判定装置2により睡眠状態(SLEEP)と判定された437個のエポックについて、さらに、睡眠ポリグラフ法により徐波睡眠(DEEP)と判定された110個のエポックのうち65個(59.1%)が本発明の睡眠深度判定装置2によっても徐波睡眠(DEEP)と判定されており、また、睡眠ポリグラフ法により浅睡眠(LIGHT)と判定された262個のエポックのうち243個(89.3%)が本発明の睡眠深度判定装置2によっても浅睡眠(LIGHT)と判定されており、また、睡眠ポリグラフ法によりレム睡眠(REM)と判定された67個のエポックのうち50個(74.6%)が本発明の睡眠深度判定装置2によってもレム睡眠(REM)と判定されている。このように、本発明の睡眠深度判定装置2によると、概ね良好な精度で睡眠深度を覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)の4段階に分類することができているといえる。
10 (a) and 10 (b) show comparison of the determination result of the sleep depth of the person determined from the body movement data of FIG. 8 with the measured data of the sleep depth measured by the polysomnography method in the same manner. ing. Referring to FIG. 10 (a), 875 (99.8%) of the 877 epochs determined to be in sleep state (SLEEP) by the sleep polygraph method are in sleep state (SLEEP) by the sleep
また、上記実施形態では、差分処理部34が全てのフレーム画像を差分処理する際に、フレーム間隔t2あるいはフレーム間隔t3で差分処理を行い、そして、フレーム間隔t2あるいはフレーム間隔t3での差分処理結果に基づき、体動データ算出部36が体動(濃度値が変化したピクセルの数)を検出しているが、差分処理部34が異なる2種類のフレーム間隔t2(第1フレーム間隔t2)及びフレーム間隔t3(第2フレーム間隔t3)で全てのフレーム画像の差分処理を行い、ノイズ処理部34によるノイズ処理の後、体動データ算出部36がそれぞれ第1フレーム間隔t2及び第2フレーム間隔t3での差分処理結果に基づいて、体動(濃度値が変化したピクセルの数)を検出してもよい。
Further, in the above embodiment, when the
具体的には、図11において、差分処理部34は、図3の動画像取得工程ST1〜グレー変換工程ST3と同様の方法により取得された全てのフレーム画像に対して、第1フレーム間隔t2で差分処理を行って差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行うとともに(画像処理工程ST4−1)、第2フレーム間隔t3で差分処理を行って差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行う(画像処理工程ST4−2)。これにより、第1フレーム間隔t2での体動の時系列データと、第2フレーム間隔t3での体動の時系列データとの2種類のデータが計測される。
Specifically, in FIG. 11, the
そして、フレーム間隔t2での差分処理及びフレーム間隔t3での差分処理のそれぞれから検出された濃度値が変化したピクセルについて、ノイズ処理部35がノイズ処理をそれぞれ行った後(ノイズ処理工程ST5−1,ST5−2)、体動データ算出部36が、該ピクセルの数を計数して、各計数結果から、所定時間Tよりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する処理を行う(体動データ算出工程ST6−1,ST6−2)。また、体動データ算出部36は、全てのエポックの体動量、体動持続時間及び静止持続時間について、それぞれ移動平均処理を行う(移動平均処理工程ST7−1,ST7−2)。なお、差分処理の方法、ノイズ処理の方法、体動量、体動持続時間及び静止持続時間の算出方法及び移動平均処理の方法は、図3の差分処理工程ST4〜移動平均処理工程ST7と同様の方法で行われる。
Then, after the
最後に、判定部37は、第1フレーム間隔t2での差分処理及び第2フレーム間隔t3での差分処理に基づく体動の時系列データのそれぞれから算出されたエポック毎の体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)及び静止持続時間(移動平均処理なし)、さらには、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の12つのパラメータに基づいて、人の睡眠時の睡眠深度が、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)のいずれかに分類されるのかを判定する(ST8)。なお、判定は、図3のST8と同様に、機械学習などを用いて行われる。
Finally, the
この実施形態では、睡眠時に現れる粗体動及び細体動を精度よく計測することにより、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判別することを可能としている。 In this embodiment, by accurately measuring the coarse and fine movements that appear during sleep, the sleep depth during sleep can be discriminated into four stages: wakefulness, REM sleep, light sleep, and slow wave sleep. It is possible.
また、睡眠深度判定装置2のコンピュータ3に内蔵されるCPU、ROM及びRAMなどのハードウェアを、上記の睡眠深度判定装置2の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
Further, it is possible to create a computer program for making the hardware such as the CPU, ROM, and RAM built in the
1 撮影手段
2 睡眠深度判定装置
3 コンピュータ
32 画像変換部
33 グレー変換部
34 差分処理部
35 ノイズ処理部
36 体動データ算出部
37 判定部
1 Shooting means 2 Sleep
Claims (8)
人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置と、を備え、
睡眠深度判定装置は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、
前記コンピュータが、
前記動画像を、前記動画像を構成する複数のフレーム画像に変換する画像変換部と、
前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、
グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、
差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、
算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を機械学習によって判定する判定部と、して機能し、
前記判定部は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類する、睡眠深度判定システム。 Shooting means that can take moving images of people during sleep,
It is equipped with a sleep depth determination device that determines the sleep depth based on a moving image of a person during sleep.
The sleep depth determination device includes a processor and a computer including a memory under the control of the processor.
The computer
An image conversion unit that converts the moving image into a plurality of frame images constituting the moving image, and
A gray conversion unit that converts the plurality of frame images into grayscale images when they are not grayscale images, and
A difference processing unit that detects pixels whose density values have changed between the frame images for which the difference processing has been performed by performing the difference processing on the plurality of grayscale frame images at predetermined frame intervals.
A body movement data calculation unit that counts the number of pixels whose density value has changed detected by the difference processing and calculates the amount of body movement, the duration of body movement, and the duration of rest for each epoch consisting of a predetermined time from the counting result.
It functions as a determination unit that determines the sleep depth of a person for each epoch by machine learning based on the calculated amount of body movement, the duration of body movement, and the duration of rest.
The determination unit classifies the sleep depth of a person for each epoch into either a wakefulness state or a sleep state, and then classifies the state classified into a sleep state into any one of REM sleep, light sleep, and slow wave sleep. A sleep depth judgment system that classifies into.
前記判定部は、移動平均処理された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する、請求項1に記載の睡眠深度判定システム。 The body movement data calculation unit performs moving average processing on the body movement amount, the body movement duration, and the rest duration for each epoch.
The sleep depth determination system according to claim 1, wherein the determination unit determines the sleep depth of a person for each epoch based on the moving average processed body movement amount, body movement duration, and rest duration. ..
前記体動データ算出部は、前記第1フレーム間隔での差分処理及び前記第2フレーム間隔での差分処理により検出された濃度値が変化したピクセルの数をそれぞれ計数し、各計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間をそれぞれ算出し、
前記判定部は、前記第1フレーム間隔での差分処理によるピクセルの計数結果及び前記第2フレーム間隔での差分処理によるピクセルの計数結果からそれぞれ算出された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する、請求項1に記載の睡眠深度判定システム。 The difference processing unit detects pixels whose density values have changed between the frame images for which the difference processing has been performed at the first frame interval by performing the difference processing on the plurality of frame images at a predetermined first frame interval. At the same time, by performing the difference processing at a predetermined second frame interval longer than the first frame interval, the pixels whose density values have changed between the frame images subjected to the difference processing at the second frame interval are detected.
The body movement data calculation unit counts the number of pixels whose density values have changed, which are detected by the difference processing at the first frame interval and the difference processing at the second frame interval, respectively, and a predetermined time is obtained from each counting result. For each epoch consisting of, the amount of body movement, the duration of body movement, and the duration of rest are calculated, respectively.
The determination unit includes the body movement amount, the body movement duration, and the body movement duration calculated from the pixel counting result by the difference processing at the first frame interval and the pixel counting result by the difference processing at the second frame interval, respectively. The sleep depth determination system according to claim 1, wherein the sleep depth of a person for each epoch is determined based on the duration of rest.
プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、
前記コンピュータが、
前記動画像を、前記動画像を構成する複数のフレーム画像に変換する画像変換部と、
前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、
グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、
差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、
算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を機械学習によって判定する判定部と、して機能し、
前記判定部は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類する、睡眠深度判定装置。 It is a sleep depth determination device that determines the sleep depth based on a moving image of a person during sleep.
A computer including a processor and a memory under the control of the processor.
The computer
An image conversion unit that converts the moving image into a plurality of frame images constituting the moving image, and
A gray conversion unit that converts the plurality of frame images into grayscale images when they are not grayscale images, and
A difference processing unit that detects pixels whose density values have changed between the frame images for which the difference processing has been performed by performing the difference processing on the plurality of grayscale frame images at predetermined frame intervals.
A body movement data calculation unit that counts the number of pixels whose density value has changed detected by the difference processing and calculates the amount of body movement, the duration of body movement, and the duration of rest for each epoch consisting of a predetermined time from the counting result.
It functions as a determination unit that determines the sleep depth of a person for each epoch by machine learning based on the calculated amount of body movement, the duration of body movement, and the duration of rest.
The determination unit classifies the sleep depth of a person for each epoch into either a wakefulness state or a sleep state, and then classifies the state classified into a sleep state into any one of REM sleep, light sleep, and slow wave sleep. A sleep depth determination device that classifies into.
前記動画像を、前記動画像を構成する複数のフレーム画像に変換する画像変換工程と、
前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換工程と、
グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理工程と、
差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出工程と、
算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を機械学習によって判定する判定工程と、を実行し、
前記判定工程は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類する、睡眠深度判定方法。 It is a sleep depth determination method that determines the sleep depth based on a moving image of a person during sleep.
An image conversion step of converting the moving image into a plurality of frame images constituting the moving image, and
A gray conversion step of converting a plurality of frame images into a grayscale image when the image is not a grayscale image, and
A difference processing step of detecting pixels whose density values have changed between the frame images subjected to the difference processing by performing the difference processing of the plurality of grayscale frame images at predetermined frame intervals, and a difference processing step.
A body movement data calculation process that counts the number of pixels whose density value has changed detected by the difference processing and calculates the amount of body movement, the duration of body movement, and the duration of rest for each epoch consisting of a predetermined time from the counting result.
Based on the calculated amount of body movement, the duration of body movement, and the duration of rest, a determination step of determining the sleep depth of a person for each epoch by machine learning is executed.
The determination step classifies the sleep depth of a person for each epoch into either a wakefulness state or a sleep state, and then classifies the state classified into a sleep state into any one of REM sleep, light sleep, and slow wave sleep. Sleep depth determination method to classify into.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063257A JP6952299B2 (en) | 2017-03-28 | 2017-03-28 | Sleep depth judgment system, sleep depth judgment device and sleep depth judgment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063257A JP6952299B2 (en) | 2017-03-28 | 2017-03-28 | Sleep depth judgment system, sleep depth judgment device and sleep depth judgment method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018164615A JP2018164615A (en) | 2018-10-25 |
JP6952299B2 true JP6952299B2 (en) | 2021-10-20 |
Family
ID=63921820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017063257A Active JP6952299B2 (en) | 2017-03-28 | 2017-03-28 | Sleep depth judgment system, sleep depth judgment device and sleep depth judgment method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6952299B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6879388B2 (en) * | 2018-01-29 | 2021-06-02 | 日本電気株式会社 | Alertness estimation device, alertness estimation method, and program |
JP7180318B2 (en) * | 2018-11-26 | 2022-11-30 | 株式会社アイシン | Opening/closing body control device |
CN109730490A (en) * | 2019-03-04 | 2019-05-10 | 上海海事大学 | A kind of safe and portable is intelligent baby bed |
CN112535459B (en) * | 2020-11-24 | 2023-08-18 | 创新奇智(北京)科技有限公司 | Sleep abnormality detection method, sleep abnormality detection device, electronic equipment and readable storage medium |
JP7480914B2 (en) | 2021-05-13 | 2024-05-10 | 株式会社島津製作所 | Sleep video analysis method and sleep video analysis device |
WO2023195473A1 (en) * | 2022-04-06 | 2023-10-12 | 株式会社島津製作所 | Sleep state measurement system, sleep state measurement method, and sleep state measurement program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005000388A (en) * | 2003-06-11 | 2005-01-06 | Sumitomo Osaka Cement Co Ltd | State transition displaying method and monitoring device |
US7868757B2 (en) * | 2006-12-29 | 2011-01-11 | Nokia Corporation | Method for the monitoring of sleep using an electronic device |
JP2012000375A (en) * | 2010-06-21 | 2012-01-05 | Ritsumeikan | Sleep state determining device |
JP5496137B2 (en) * | 2011-03-28 | 2014-05-21 | 三菱電機株式会社 | Sleep state detection device, air conditioner using the same, sleep state detection method, and air conditioner control method |
JP5991130B2 (en) * | 2012-10-04 | 2016-09-14 | トヨタ自動車株式会社 | Sleep monitoring system |
US9717417B2 (en) * | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
-
2017
- 2017-03-28 JP JP2017063257A patent/JP6952299B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018164615A (en) | 2018-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6952299B2 (en) | Sleep depth judgment system, sleep depth judgment device and sleep depth judgment method | |
US11948401B2 (en) | AI-based physical function assessment system | |
JP6588978B2 (en) | Apparatus, system and method for automatic detection of human orientation and / or position | |
Metsis et al. | Non-invasive analysis of sleep patterns via multimodal sensor input | |
JP6915421B2 (en) | Watching support system and its control method | |
JP5991130B2 (en) | Sleep monitoring system | |
JP4622702B2 (en) | Video surveillance device | |
Wang et al. | Unconstrained video monitoring of breathing behavior and application to diagnosis of sleep apnea | |
JP6053802B2 (en) | A monitoring system that monitors patients and detects patient delirium | |
US20170273634A1 (en) | Meal estimation method, meal estimation apparatus, and recording medium | |
JP6822328B2 (en) | Watching support system and its control method | |
JP2012000375A (en) | Sleep state determining device | |
WO2020145380A1 (en) | Care recording device, care recording system, care recording program, and care recording method | |
Heinrich et al. | Body movement analysis during sleep based on video motion estimation | |
Heinrich et al. | Video based actigraphy and breathing monitoring from the bedside table of shared beds | |
CN112752541A (en) | Deriving information about a person's sleep state and awake state from a sequence of video frames | |
WO2018235628A1 (en) | Monitoring assistance system, control method therefor, and program | |
JP7211441B2 (en) | Arousal level estimation device, arousal level estimation method, and program | |
CN118338853A (en) | Computer program, information processing method, and information processing apparatus | |
Martinez et al. | A vision-based system for breathing disorder identification: A deep learning perspective | |
JP7279812B2 (en) | STRESS ESTIMATION DEVICE, OPERATION METHOD OF STRESS ESTIMATION DEVICE, AND PROGRAM | |
JP2022031000A (en) | Biological information monitoring system, biological information monitoring method, and program | |
Liao et al. | iWakeUp: A video‐based alarm clock for smart bedrooms | |
Chen et al. | Vision-assisted human motion analysis for bed exit prediction model construction | |
TW202143908A (en) | Multi-parameter physiological signal measuring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200221 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6952299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |