WO2023195473A1 - 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム - Google Patents

睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム Download PDF

Info

Publication number
WO2023195473A1
WO2023195473A1 PCT/JP2023/013983 JP2023013983W WO2023195473A1 WO 2023195473 A1 WO2023195473 A1 WO 2023195473A1 JP 2023013983 W JP2023013983 W JP 2023013983W WO 2023195473 A1 WO2023195473 A1 WO 2023195473A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sleep state
subject
difference
related information
Prior art date
Application number
PCT/JP2023/013983
Other languages
English (en)
French (fr)
Inventor
康紀 吉田
雅史 古田
知貴 永島
秋絵 外口
礼子 赤澤
充輝 阪本
志麻 岡田
優光 家門
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Publication of WO2023195473A1 publication Critical patent/WO2023195473A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a sleep state measurement system that measures the sleep state of a subject in a non-contact manner.
  • Sleep has a deep relationship with the maintenance of brain and physical functions, as well as growth and development, and in recent years there has been an increasing need to understand the state of sleep on a daily basis.
  • sleep disorders such as sleep deprivation and insomnia are seen as a problem.
  • sleep during childhood is important because it is said to affect not only the growth of the subject but also their lifestyle habits after adulthood.
  • General screening/diagnosis of sleep disorders relies on measurement using a wearable device, which is a burden for the patient, and understanding sleep status through interviews at a sleep outpatient clinic.
  • Measurement using a wearable device places a high burden on the patient, and there is a risk that sleep data similar to normal sleep data cannot be obtained. In addition, during the interview, the patient cannot tell about his or her sleeping state, so information is obtained from caregivers, spouses, etc., but this makes it difficult to make accurate judgments.
  • Patent Document 1 discloses that parameters related to body movement (body movement amount, body movement duration, stillness duration, etc.) are calculated from the difference between image frames of a video of a sleeping subject taken with a camera, and these parameters are calculated. Sleep depth is estimated using machine learning based on
  • the present invention was made by focusing on this point for the first time, and is intended to provide a non-contact sleep state measurement system that can accurately measure the sleep state of the person being measured, regardless of the age, etc. It is.
  • This sleep state measurement system includes a frame image acquisition unit that acquires frame images including a sleeping subject in chronological order, and a frame image acquisition unit that calculates difference information that is information indicating the difference between two frame images at different times.
  • a difference information calculation unit that calculates the measured person attribute information, which is information indicating the attributes of the measured person, a measured person attribute information acquisition unit that acquires the measured person attribute information that is information indicating the measured person attributes;
  • the apparatus is characterized by comprising a sleep state related information calculation unit that calculates sleep state related information that is information related to the sleep state of the subject.
  • the sleep state in addition to not placing any burden on the person to be measured and making it possible to measure the person in a natural sleeping state, the sleep state can also be measured using the person's attribute information such as age as an explanatory variable. Therefore, measurement accuracy can be improved compared to the conventional method.
  • FIG. 1 is an overall schematic diagram of a sleep depth measurement system according to an embodiment of the present invention.
  • FIG. 2 is a functional block diagram of the information processing device of the same embodiment.
  • FIG. 7 is an explanatory diagram for explaining a difference information correction process according to the embodiment. It is a flowchart explaining the operation of the sleep depth measurement system of the same embodiment.
  • FIG. 7 is an explanatory diagram of the operation of a sleep depth measuring system according to another embodiment of the present invention. It is an explanatory diagram of the operation of the sleep depth measurement system of the same embodiment.
  • the sleep depth measurement system 100 receives a camera 1 installed in a room such as a bedroom, and receives image data captured by the camera 1.
  • the apparatus includes an information processing device 2 that analyzes and calculates the depth of sleep of the person P to be measured.
  • the camera 1 is equipped with a lens, a two-dimensional sensor such as a CCD, etc., and is configured to take an image of the sleeping subject P and output the image data (video data).
  • the camera 1 may be of a fixed type, may be one whose imaging angle and zoom can be adjusted remotely, or may be a depth camera capable of acquiring three-dimensional information.
  • the information processing device 2 includes a CPU, GPU, memory (including volatile memory such as DRAM, non-volatile memory such as HDD), input/output interface, communication interface, display, input means (touch panel, mouse, keyboard, etc.). etc.), and in this embodiment, as shown in the figure, a main unit 21 is connected to the camera 1 in a wired or wireless communication manner, and a main unit 21 is connected to the main unit 21 via the Internet or the like. It is composed of a (portable) terminal 22 that is connected to enable mutual communication.
  • this information processing device 2 may be physically integrated, such as a so-called personal computer, or may be a server system called a cloud interposed between the main device 21 and the mobile terminal 22. It does not matter if it is further equipped with the following. Further, the information processing device 2 may be integrated with the camera 1. In short, the camera 1 and the information processing device 2 are not limited to their physical forms as long as they can perform equivalent functions.
  • This information processing device 2 has a frame image acquisition unit, a target area identification unit, a size related It functions as an information acquisition unit, a subject attribute information acquisition unit, a difference information calculation unit, a sleep state related information calculation unit, etc. Each of these parts will be explained below.
  • Frame image acquisition unit This frame image acquisition unit receives video data from the camera 1, and from this video data, a series of data arranged in time series at regular intervals (for example, every 0.5 seconds) It extracts or generates a still image (frame image) and stores the data in a predetermined area of memory. Note that a frame image may be generated on the camera 1 side, and the frame image acquisition unit may receive and acquire the frame image.
  • Target region identification unit This target area identification unit identifies a region of interest (ROI), which is a certain image area including the entire or specific part of the person P, in the frame image acquired by the frame image acquisition unit. It is something that specifies. The position and range of this target area are common to each frame image.
  • ROI region of interest
  • the target area specifying unit here, in the captured image (initial frame image) displayed on the display, has a rectangular area set and inputted by the operator to include the entire subject P. It is specified as the target area.
  • the reflected area of the person P is identified by image recognition using machine learning such as semantic segmentation, and an appropriate fixed-shaped area such as a rectangle that includes this reflected area is determined.
  • the target area may be automatically set.
  • the size and position of the target area with respect to the entire frame image may vary from frame image to frame image depending on the movement of the subject.
  • the size of the target area has an equal ratio to the size of the person P in the image.
  • this target area is not limited to a rectangle or the like, but may be in the shape of a pixel unit.
  • Size-related information acquisition unit This size-related information acquisition unit acquires size-related information that is information regarding the relative size of the entire or specific part of the person P in the frame image. It is something.
  • the size-related information the area pixel number of the target area or the length pixel number of the target area along a predetermined direction is simply used.
  • the range is specified using an image recognition method using machine learning such as semantic segmentation, and from there, more accurate size-related information is calculated, such as calculating the number of pixels corresponding to the height of the person P. I don't mind.
  • Measured Person Attribute Information Acquisition Unit acquires measured person attribute information, which is information indicating the attributes of the measured person P, inputted by, for example, an operator.
  • the subject attribute information here includes age, gender, height, weight, presence or absence of disease, physical condition, etc.
  • this measured person attribute information for example, by linking with an existing PHR (Personal Health Record), without relying on operator input.
  • the acquisition timing may be at the time of measurement or at the time of analysis.
  • feature points regarding the body of the person P may be extracted using image recognition technology, and attribute information of the person such as age may be estimated from this.
  • the eyeball position of the person to be measured P is extracted by image recognition, and the interpupillary distance is determined. It has been found that the interpupillary distance is correlated with the child's height, physique, age, and level of development, and it is possible to estimate the attribute information of the person being measured.
  • Difference information acquisition unit acquires the difference between two frame images at different times, more specifically, the first frame image (hereinafter referred to as a reference frame image) of the two frame images.
  • Difference information which is information indicating the difference between frame images (hereinafter also referred to as comparison frame images) after a certain time interval has elapsed, is calculated for each frame image.
  • the meaning of the difference information here includes not only the difference information between the entire reference frame image and the entire comparison frame image, but also the difference information between some regions that are desired to be compared. In this embodiment, in order to reduce calculation load and noise, difference information is calculated only for the target area.
  • the difference information in this embodiment refers to the number of pixels whose pixel values differ by exceeding a predetermined threshold when corresponding pixels are compared, for example, in the target area of the reference frame image and the target area of the comparison frame image. It is. If the frame image is a grayscale image, the pixel value is expressed as a one-dimensional value of only brightness, and if it is a color image, it is expressed as a three-dimensional value such as RGB, CYK, etc. Note that the difference information may be not only the number of pixels but also the ratio of the number of different pixels to the total number of pixels of the frame image. Further, instead of a change in pixel value, the amount of movement of a feature point (for example, each part of the body or the pupil as described above) may be used as a reference.
  • a feature point for example, each part of the body or the pupil as described above
  • a plurality (two) of time intervals between frame images are set for obtaining difference information.
  • one of the first time intervals is, for example, 0.5 seconds, and the other, the second time interval, is 3 seconds.
  • difference information between frame images at a first time interval hereinafter also referred to as first difference information
  • difference information between frame images at a second time interval hereinafter also referred to as second difference information.
  • Sleep state related information calculation unit calculates sleep state related information, which is information regarding the sleep state of the person P, using the difference information and the subject attribute information as explanatory variables. It is something to do.
  • the sleep state-related information referred to here includes body movements, posture, pulse, breathing, facial expressions, sleep depth, sleep depth occupancy (ratio of time periods occupied by each sleep depth in one sleep), sleep cycle, etc. can be mentioned.
  • step S1 the operator specifies and inputs a rectangular target area on the screen of the terminal 22 so that the measured person P is included.
  • target area information indicating the position and range of this target area in the image is specified, and the target area information acquisition unit acquires this and stores it in a predetermined area of the memory (step S1).
  • the operator inputs the subject attribute information at the terminal 22.
  • the input subject attribute information is acquired by the subject attribute information acquisition unit and stored in a predetermined area of the memory (step S1). 3. Obtaining size-related information
  • the size-related information acquisition unit acquires size-related information that occupies the frame image of the person P (step S2).
  • the size-related information is the number of pixels in the area of the target area or the number of pixels in the length along the longitudinal direction of the target area.
  • the frame image acquisition unit When measurement is started by an operator's operation, the frame image acquisition unit first collects still images arranged in time series at regular intervals (for example, every 0.5 seconds) from the video data transmitted from the camera 1. Images, that is, frame image data are sequentially extracted or generated, and these frame image data are stored in a predetermined area of the memory (step S3).
  • the difference information calculation unit calculates difference information between each frame image and a frame image after a certain time interval, using each frame image as a reference (step S5).
  • two time intervals first time interval and second time interval
  • two types of difference information first difference information and second difference information
  • the difference information calculation unit deletes obvious noise and errors.
  • An example of this is a case where an impossible number of differential pixels (movement) is detected in the first time interval (0.5 seconds). In such a case, processing such as not counting the frame image as an error is performed.
  • the sleep state related information calculation unit normalizes the difference information using the size related information. In this embodiment, normalization of the difference information is performed prior to calculation of the difference information. (Step S4).
  • the difference information calculation unit calculates difference information for this target area.
  • the normalization method is not limited to the one described above, and any calculation process equivalent to this may be performed. For example, it may be performed after calculating the difference information.
  • a reference value of the size-related information is set in advance, and the difference information is corrected by multiplying the reciprocal of the ratio of the obtained value of the size-related information to this reference value by the value of the difference information. can be mentioned.
  • the entire series of difference information may be normalized to have an average of 0 and a variance of 1, and may be used as an input parameter (explanatory variable) of the learning device. .
  • an input parameter explanatory variable
  • the sleep state related information calculation unit calculates an intermediate parameter (obtained by processing the difference information in the claims) based on the two types of corrected (normalized) difference information.
  • An example of the information obtained.) is calculated (step S6).
  • the first difference information difference pixel number
  • the second difference information indicates a slow body movement.
  • the average value, variance value, and number of differential pixels of the values of the first difference information and the second difference information for a certain period (a period corresponding to the number of multiple epochs, for example, 30 seconds) continue to be below a predetermined threshold value. Calculate time etc. as an intermediate parameter. Note that this intermediate parameter is also included in the sleep state related information.
  • the sleep state related information calculation unit selects a learned model based on the subject attribute information (step S7).
  • the learned model is an algorithm generated in advance by machine learning that outputs sleep depth when the difference information and/or intermediate parameters are input.
  • the learning data (the difference information and/or intermediate parameters) is divided into multiple parts according to the value of the subject attribute information, and machine learning is performed on each of them, so that learning is performed for each value of the subject attribute information. generated model.
  • age is used as the subject attribute information, and trained models are generated in advance for each age group.
  • the age groups include 0 to 2 years old, 2 years to 8 years old, etc.
  • the sleep state related information calculation unit calculates sleep depth by inputting the intermediate parameters to this learned model (step S8).
  • body movement may be calculated using fluctuations in body key point coordinates estimated by skeletal estimation.
  • the sleep state related information may be measured not from the entire body of the person P, but only from specific parts such as the face, hands, and feet.
  • body movement information is calculated from difference information between camera video frames, it may also be calculated from fluctuations in output values of a contact sensor or the like at predetermined time intervals.
  • the size-related information is set as the number of pixels of the area reflected in the image of the person P, but this may be corrected using the distance to the person P as a parameter.
  • the distance from the camera 1 is short at the front side of the image, and the distance from the camera 1 becomes longer toward the back. Therefore, even if the same person P is in the foreground of the image, it will appear larger, and if it is in the back, it will appear smaller. Therefore, the value of the size-related information may be corrected depending on the position of the person P in the image. Specifically, when the person to be measured P is on the front side, the number of reflected pixels is corrected to be small, and when the person P is on the back side, the opposite is done.
  • the size-related information is calculated for each image frame.
  • the movement range depending on the sleeping position is large, and changes in the relative positional relationship (especially distance) with the camera 1 that occur while sleeping cannot be ignored.
  • a body part specifying section which is a program for specifying the body part of the person P may be provided. For example, when the operator specifies a face area by tapping or the like, the body part specifying unit can detect a face on the assumption that there is a face within the specified area.
  • Acquisition of attribute information may also be estimated from size-related information. For example, it is possible to estimate attribute information such as height and age from the pupillary distance (or interocular distance) and head size of the person P to be measured. Through this step, a trained model may be selected based on size-related information.
  • One trained model may be selected depending on age, etc., or multiple models may be selected for ensemble learning. For example, if the person to be measured P grows faster than average, it is conceivable to use both a trained model based on age and a trained model based on body shape (height, weight).
  • the user interface may include input items such as "The body type of person P is larger/smaller than average.” The determination may be made automatically by linking the body shape of the person P to the physical growth curve data.
  • the machine learning method that increases the accuracy of estimating sleep state-related information may differ. For example, after infancy when a sleep rhythm has been acquired, the characteristics of body movement expression depending on the sleep stage become clear. Since each sleep stage has clear characteristics, it is compatible with sleep depth judgment using ExtraTree (majority voting method). On the other hand, when estimating sleep depth in infants who have not yet acquired a sleep rhythm, using a learning model that uses a neural network to estimate sleep depth has a higher rate of correct answers.
  • a learned model learned in advance may be updated with information about the person P to be measured. For example, it is conceivable that the parent of the person to be measured P annotates information on sleep depth. All learning data may be prepared for the measurement target. In this case, it is preferable to increase the learning data by data augmentation.
  • sleep depth was measured by calculating the difference information after acquiring a series of frame images, but sleep depth can be calculated in parallel while capturing frame images, like streaming. It doesn't matter.
  • the sleep state related information is calculated based on the image data of the subject, but the information is not limited to the image data.
  • biological information is extracted from a person to be measured, time-varying information of the biological information is calculated, and this time-varying information or information obtained by processing the time-varying information is used as an explanatory variable to determine the attributes of the person being measured.
  • the sleep state related information may be calculated depending on the information.
  • the biological information referred to here is, for example, one or more of body movement, respiratory rate (or its dispersion), amplitude of a respiratory waveform, heart rate, pulse rate, pulse interval, and time fluctuation of pulse interval.
  • Biological information sensors for measuring this biological information include electromagnetic wave sensors that detect heartbeats and pulse waves based on the amount of transmission and reflection of electromagnetic waves such as infrared rays, and pressure sensors that detect load changes and load movements. be able to.
  • the form of this biological information sensor may be a sheet type, a wearable type, a microwave radar type, or the like.
  • the biological information may be extracted at the specific site by detecting a landmark in the frame image and determining a specific site based on the landmark. If the biological information is, for example, respiratory information (breathing rate or amplitude of a respiratory waveform), the landmark can be the face or neck.
  • the position of the landmark may be based on operator input, or may be determined by machine learning using a trained model that receives a frame image as input and outputs the position of the landmark.
  • FIGS. 5(a) to 5(d) Specific examples are shown in FIGS. 5(a) to 5(d).
  • the landmark is a face and the biometric information is respiratory information
  • Breathing information may be extracted as biological information from the estimated movement of the thoracoabdominal region.
  • the face is tilted with respect to the body axis, the actual position of the thoracoabdominal region may deviate from the determined position. Therefore, the area around the determined position of the thoracoabdominal area may be determined as a target area, and respiratory information as biological information may be extracted from this target area.
  • the shape of the target area may be set in a donut shape within a certain angular range with the position of the determined landmark as the center of rotation. A specific example thereof will be explained with reference to FIG.
  • the ROI (region of interest) of the face detection result in the angular image with high confidence is calculated (FIG. 6(a)), and its center point is calculated (FIG. 6(b)).
  • a double concentric circle is drawn from the center point, and a fan shape with a constant angle is set from the donut area surrounded by the double concentric circle (FIG. 6(c)).
  • This shape is applied to an angular image with a high degree of certainty, and the range of the fan shape is set to the range where the chest (abdomen) can exist (FIG. 6(d)). Limiting the target area in this way has the advantage of reducing the amount of calculation and eliminating movements of other parts that would cause noise.
  • the above-mentioned camera is considered in conjunction with an information processing device that processes the image data, it can also be said that it has a function as a biological information sensor that detects biological information.
  • time-varying information or the information obtained by processing the time-varying information refers to the temporal fluctuation of the biological information
  • the above-mentioned difference information or information obtained by processing the difference information may also be used. , can be said to be included in this time-varying information.
  • a frame image acquisition unit that acquires frame images including a sleeping subject in time series; a difference information calculation unit that calculates difference information that is information indicating a difference between two frame images at different times; a measured person attribute information acquisition unit that acquires measured person attribute information that is information indicating the measured person's attributes;
  • a sleep state measurement system comprising: a sleep state related information calculation unit that calculates sleep state related information.
  • the sleep state related information calculation unit selects one or more trained models according to the content of the subject attribute information from among the plurality of trained models, and provides the difference information to the trained models.
  • the present sleep state measurement system can be realized by generating multiple types of trained models using machine learning, so it is highly feasible and can ensure measurement accuracy.
  • increasing learning data through data augmentation can promote improvement in measurement accuracy.
  • the sleep state measurement system according to [1] or [2], characterized in that the age of the subject is used as the subject attribute information. If this is the case, the change pattern of sleep depth (sleep cycle, occupancy rate, etc.) may differ depending on children, infants, general adults, and the elderly, so age (or age group) can be used as the subject attribute information.
  • age or age group
  • the sleeping state-related information calculation unit further includes a size-related information acquisition unit that acquires size-related information that is information regarding the relative size of the entire or specific region of the subject in the frame image, and the sleep state-related information calculation unit includes: The sleep state measurement system according to any one of [1] to [3], characterized in that the sleep state related information is calculated using the size related information as an explanatory variable.
  • the sleep state related information calculation unit normalizes the difference information using the size related information, and calculates the sleep state related information based on the normalized difference information and the subject attribute information.
  • the frame image further includes a target area specifying unit that identifies a target area of a predetermined shape that includes the whole or a specific part of the subject, and the difference information calculating unit is configured to identify a target area between the target areas in two frame images.
  • the size-related information acquisition unit is configured to calculate difference information, and the size-related information acquisition unit calculates the length pixels along the area pixel count of the target area or the length pixel count in a predetermined direction of the target area.
  • the sleep state measuring system according to [4] or [5], wherein a number is acquired as the size-related information. With such a configuration, the configuration of [4] or [5] can be easily realized.
  • the sleep state related information includes sleep depth, sleep cycle, and occupancy rate. If this is the case, the effect of this configuration will be more significant.
  • an extraction unit that extracts biological information from the subject during sleep; a calculation unit that calculates time variation information of the biological information; a measured person attribute information acquisition unit that obtains measured person attribute information that is information indicating attributes of the measured person; According to the measurement subject attribute information, sleep state related information that is information regarding the sleep state of the measurement subject is calculated using the time variation information or information obtained by processing the time variation information as an explanatory variable.
  • the biological information includes one or more of body movement, respiration rate, dispersion of respiration rate, amplitude of respiration waveform, heart rate, pulse rate, pulse interval, and time fluctuation of pulse interval. Sleep state measurement system. By using such biological information, it is possible to improve the accuracy of measuring sleep state.
  • the extraction unit detects a landmark in the frame image, determines a specific region based on the landmark, determines a surrounding area of the specific region as a target region, and extracts the biological information in the target region.
  • the sleep state measurement system according to any one of [1] to [9]. In this way, the target region can be limited, and as described above, the amount of calculation can be reduced and movements of other parts that may cause noise can be excluded.
  • the landmark is the face of the subject,
  • the specific region is the chest and abdomen,
  • an extraction unit that extracts biological information from the subject during sleep; a calculation unit that calculates time variation information of the biological information; a measured person attribute information acquisition unit that obtains measured person attribute information that is information indicating attributes of the measured person; According to the measurement subject attribute information, sleep state related information that is information regarding the sleep state of the measurement subject is calculated using the time variation information or information obtained by processing the time variation information as an explanatory variable.
  • a sleep state measurement system comprising: a sleep state related information calculation section. If this is the case, the same effects as the configuration [1] described above can be achieved.
  • the sleep state is also measured using the person's attribute information such as age as an explanatory variable, making measurement easier than before. Accuracy can be improved.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

被測定者の年齢や疾患等によらず、睡眠状態を精度よく測定できる非接触型の睡眠状態計測システム１００を提供する。睡眠時の被測定者Ｐを含んだフレーム画像を時系列で取得するフレーム画像取得部と、異なる時刻での２つのフレーム画像間の差分を示す情報である差分情報を算出する差分情報算出部と、前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、前記被測定者属性情報に応じて、前記差分情報またはこれから得られた二次情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えるようにした。

Description

睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム
　本発明は、被測定者の睡眠状態を非接触で計測する睡眠状態計測システムに関するものである。
　睡眠は脳や身体機能の維持や成長・発達と深い関係があり、近年、日常的に睡眠の状態を把握するニーズが高まっている。一方で、睡眠不足や不眠などの睡眠障害が問題視されている。特に、小児期の睡眠は本被測定者の成長だけでなく、成人後の生活習慣にも影響すると言われており重要である。
　睡眠障害の一般的なスクリーニング/診断は、患者にとって負担の高い装着型装置での測定、及び睡眠外来での問診を通じた睡眠状況の把握による。
　装着型装置による計測は患者への負担が高く、通常時と同様の睡眠データが取れないリスクもある。また、問診では、患者自身が自己の睡眠中の状態を伝えることはできないので、養育者や配偶者などからの情報となるが、これでは正確な判断が難しい。
　そこで、近時、家庭等で容易に設置して計測できる非接触型の睡眠状態計測システムが求められている。特許文献１には、睡眠中の被測定者をカメラで撮影した動画の画像フレーム間の差分から、体動に関するパラメータ（体動量、体動持続時間、静止持続時間など）を算出し、これらパラメータに基づいて機械学習により睡眠深度を推定している。
特開２０１８－１６４６１５号公報
　しかしながら、従来の睡眠深度推定モデルでは、被験者の年齢等が考慮されておらず、精度において改善の余地がある。
　本発明は、この点に初めて着目してなされたものであって、被測定者の年齢等によらず、睡眠状態を精度よく測定できる非接触型の睡眠状態計測システムを提供すべく図ったものである。
　本睡眠状態計測システムは、睡眠時の被測定者を含んだフレーム画像を時系列で取得するフレーム画像取得部と、異なる時刻での２つのフレーム画像間の差分を示す情報である差分情報を算出する差分情報算出部と、前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、前記差分情報及び被測定者属性情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする。
　以上の構成によれば、被測定者に負担がかからず、自然な睡眠状態での計測が可能であることに加え、年齢等の被測定者属性情報をも説明変数として睡眠状態を計測するので、従来に比べ、計測精度を向上させることができるようになる。
本発明の一実施形態における睡眠深度計測システムの全体模式図である。 同実施形態の情報処理装置の機能ブロック図である。 同実施形態の差分情報の修正処理を説明するための説明図である。 同実施形態の睡眠深度計測システムの動作を説明するフローチャートである。 本発明の他の実施形態の睡眠深度計測システムの動作説明図である。 同実施形態の睡眠深度計測システムの動作説明図である。
　以下、本発明の一実施形態を、図面を参照して説明する。
第１　概要
　本実施形態に係る睡眠深度計測システム１００は、図１に示すように、例えば寝室等の部屋に設置されたカメラ１と、このカメラ１で撮像された画像データを受信し、これを解析して被測定者Ｐの睡眠深度を算出する情報処理装置２とを備えたものである。
第２　各部構成
１．カメラ
　カメラ１は、レンズや、ＣＣＤなどの二次元センサ等を備えたものであり、睡眠中の被測定者Ｐを撮像し、その画像データ（動画データ）を出力するように構成されている。なお、カメラ１は、固定設置式のものでもよいし、リモートで撮像角度やズームを調整可能なものでもかまわないし、三次元情報を取得可能なデプスカメラでもよい。
２．情報処理装置
　情報処理装置２は、ＣＰＵやＧＰＵ、メモリ（ＤＲＡＭ等の揮発性メモリ、ＨＤＤ等の不揮発性メモリを含む。）、入出力インタフェース、通信インタフェース、ディスプレイ、入力手段（タッチパネル、マウス、キーボード等）を備えたものであり、この実施形態では、同図に示すように、前記カメラ１と有線ないし無線で通信可能に接続された本体装置２１と、この本体装置２１にインターネット等を介して相互通信可能に接続された（携帯）端末２２とから構成されている。
　なお、この情報処理装置２は、たとえば、いわゆるパーソナルコンピュータのように、物理的に一体のものでもかまわないし、本体装置２１と携帯端末２２との間に介在させたクラウドなどと称されるサーバシステムをさらに備えたものなどでもかまわない。また、情報処理装置２は、カメラ１と一体となっていてもよい。要するに、カメラ１および情報処理装置２は、同等の機能が発揮されるものであれば、その物理的な態様に限定されるものではない。
３．プログラム構成
　この情報処理装置２は、前記メモリに格納されたプログラムに従って前記ＣＰＵやその周辺機器が協動することにより、図２に示すように、フレーム画像取得部、対象領域特定部、大きさ関連情報取得部、被測定者属性情報取得部、差分情報算出部、睡眠状態関連情報算出部等としての機能を発揮する。これら各部について、以下に説明する。
（１）フレーム画像取得部
　このフレーム画像取得部は、例えば、前記カメラ１から動画データを受信し、この動画データから一定間隔ごと（ここでは例えば０．５秒ごと）の時系列で並ぶ一連の静止画像（フレーム画像）を抽出または生成し、そのデータをメモリの所定領域に格納するものである。なお、カメラ１側でフレーム画像を生成し、これをフレーム画像取得部が受信し取得するようにしてもかまわない。
（２）対象領域特定部
　この対象領域特定部は、前記フレーム画像取得部が取得したフレーム画像において、被測定者Ｐの全部または特定部位を含んだ一定の画像領域である対象領域（ＲＯＩ）を特定するものである。この対象領域の位置および範囲は、各フレーム画像において共通である。
　ここでの対象領域特定部は、図３に示すように、ディスプレイに表示された撮影画像（初期のフレーム画像）において、オペレータが被測定者Ｐの全部を含むように設定入力した矩形領域をもって、前記対象領域として特定するようにしている。
　なお、オペレータによる設定入力によらず、例えば、セマンティックセグメンテーションなどの機械学習による画像認識によって被測定者Ｐの写り込み領域を特定し、この写り込み領域を含んだ矩形等の適宜の一定形状領域を対象領域として自動設定するようにしてもよい。フレーム画像全体に対する対象領域の大きさや位置は、被測定者の動きなどに応じてフレーム画像ごとに変動してもよい。もっとも、対象領域の大きさは写り込んでいる被測定者Ｐの大きさに対する比率が等しくなるようにすることが好ましい。また、この対象領域は矩形等に限られず、画素（ピクセル）単位の形状であってもよい。
（３）大きさ関連情報取得部
　この大きさ関連情報取得部は、被測定者Ｐの全部または特定部位の前記フレーム画像中に占める相対的な大きさに関する情報である大きさ関連情報を取得するものである。
　ここでは、大きさ関連情報として、前記対象領域の面積画素数または前記対象領域の所定方向に沿った長さ画素数を簡易的に用いているが、前述のように、被測定者Ｐの画像範囲を、セマンティックセグメンテーションなどの機械学習による画像認識手法等によって特定し、そこから、被測定者Ｐの身長に対応する画素数を算出するなど、より正確な大きさ関連情報を算出するようにしてもかまわない。
（４）被測定者属性情報取得部
　この被測定者属性情報取得部は、例えばオペレータによって入力された、被測定者Ｐの属性を示す情報である被測定者属性情報を取得するものである。ここでいう被測定者属性情報には、年齢、性別、身長、体重、疾患の有無、体調などが含まれる。
　なお、この被測定者属性情報を、オペレータの入力によらず、例えば既存のＰＨＲ（Personal Health Record）との連携によって取得することも可能である。計測データとセットで扱われていれば、取得タイミングは計測時でも解析時でもよい。
　また、画像認識技術により、被測定者Ｐの身体に関する特徴点を抽出し、これから年齢などの被測定者属性情報を推定してもよい。
　例えば、画像認識により被測定者Ｐの眼球位置を抽出し、瞳孔間距離を求める。瞳孔間距離は子供の身長体格・年齢や発達の程度と相関があることがわかってきており、被測定者属性情報を推定することができる。
（５）差分情報取得部
　前記差分情報取得部は、異なる時刻での２つのフレーム画像間の差分、より具体的には、前記２つのフレーム画像のうちの最初のフレーム画像（以下、基準フレーム画像ともいう。）に対して、一定の時間間隔経過後のフレーム画像（以下、比較フレーム画像ともいう。）の差分を示す情報である差分情報を、各フレーム画像について算出するものである。
　ここでいう差分情報の意味としては、基準フレーム画像の全体と比較フレーム画像の全体同士の差分情報のみならず、その一部の比較したい領域同士の差分情報も含まれる。この実施形態では、演算の負荷やノイズ低減等のため、前記対象領域のみについての差分情報を算出するようにしている。
　この実施形態での差分情報は、例えば基準フレーム画像の対象領域と比較フレーム画像の対象領域とにおいて、対応する画素同士を比較した場合に、画素値が所定の閾値を越えて異なる画素数のことである。画素値とは、フレーム画像がグレースケールであれば、明度のみの一次元値で表され、カラー画像であれば、ＲＧＢ、ＣＹＫなどの三次元値で表されるものである。なお差分情報は、画素数のみならず、フレーム画像の総画数に対する相違画素数の比率などでもかまわない。また、画素値の変化でなく、特徴点（例えば、身体の各部位や、上記のように瞳孔）の移動量を基準としてもよい。
　また、この実施形態では差分情報を得るためのフレーム画像間の時間間隔として、複数（２つ）が設定されている。ここでは、その一方である第１時間間隔が、例えば０．５秒、他方の第２時間間隔が３秒にしてある。そして、第１時間間隔でのフレーム画像間の差分情報（以下、第１差分情報ともいう。）と、第２時間間隔でのフレーム画像間の差分情報（以下、第２差分情報ともいう。）が、この差分情報算出部によって逐次算出されるように構成されている。なお、以下において、第１差分情報と第２差分情報とを区別する必要がないときには、単に差分情報という場合がある。
（６）睡眠状態関連情報算出部
　前記睡眠状態関連情報算出部は、前記差分情報及び被測定者属性情報を説明変数として、前記被測定者Ｐの睡眠状態に関する情報である睡眠状態関連情報を算出するものである。なお、ここでいう睡眠状態関連情報とは、体動、姿勢、脈拍、呼吸、表情、睡眠深度、睡眠深度の占有率(一回の睡眠における各睡眠深度の占める時間帯比率)、睡眠周期などを挙げることができる。
第３　動作
　次に、前記各部のさらに詳細な説明も兼ねて、本睡眠深度計測システム１００の動作について、図４のフローチャートを参照しながら詳述する。
１．初期設定
　最初に、オペレータが睡眠深度計測システム１００を起動すると、カメラ１の映像が端末２２のディスプレイに表示される。
　オペレータは、端末２２で映像を確認しながらカメラ１の視野や角度、位置を被測定者Ｐの全部が写るように調整する。この調整は、直接カメラ１を操作してもよいし、ＰＴＺカメラ１を利用して端末２２からリモートで調整してもよい。
２．対象領域と被測定者属性情報の取得
　次にオペレータは、端末２２の画面において、被測定者Ｐが含まれるように矩形状の対象領域を指定入力する。このことにより、この対象領域の画像中での位置および範囲を示す対象領域情報が特定され、これを対象領域情報取得部が取得してメモリの所定領域に格納する（ステップＳ１）。
　また、オペレータは、端末２２において前記被測定者属性情報を入力する。入力された被測定者属性情報は、被測定者属性情報取得部が取得しメモリの所定領域に格納する（同ステップＳ１）。
３．大きさ関連情報の取得
　次に、大きさ関連情報取得部が、被測定者Ｐのフレーム画像中に占める大きさ関連情報を取得する（ステップＳ２）。ここでは、前述したように、前記対象領域の面積画素数または前記対象領域の長手方向に沿った長さ画素数を大きさ関連情報としている。
　オペレータの操作により計測が開始されると、まず、前記フレーム画像取得部が、カメラ１から送信されてくる動画データから、一定間隔ごと（ここでは例えば０．５秒ごと）の時系列で並ぶ静止画像、すなわちフレーム画像のデータを逐次抽出または生成し、これらフレーム画像データをメモリの所定領域に格納する（ステップＳ３）。
４．差分情報の算出
　次に、差分情報算出部が、各フレーム画像を基準として、その一定時間間隔後のフレーム画像との差分情報をそれぞれ算出する（ステップＳ５）。ここでは、前述したように、２つの時間間隔（第１時間間隔および第２時間間隔）が設定されており、一連のフレーム画像の対象領域について、それぞれ２種類の差分情報（第１差分情報および第２差分情報）が算出される。
　このとき差分情報算出部は、明らかなノイズやエラーを削除する。その例としては、第１時間間隔（０．５秒）では、ありえない差分画素数（移動）が検出された場合である。このような場合、当該フレーム画像をエラーとしてカウントしないなどの処理を施す。
　他方、前記睡眠状態関連情報算出部が、前記大きさ関連情報によって前記差分情報を正規化する。この実施形態では、差分情報の正規化は、差分情報の算出に先立って行われる。（ステップＳ４）。
　ここでは大きさ関連情報として前記対象領域の面積画素数や縦横の長さ画素数を用いており、かつ、当該対象領域と被測定者Ｐの画像上での大きさ比率を可及的に等しくしているので、この対象領域を画像フレームの大きさにする。そして、この対象領域について、前記差分情報算出部が差分情報を算出する。
　ここで、差分情報の正規化の必要性について簡単に説明する。画像内で小さく写っている被測定者Ｐと大きく写っている被測定者Ｐを比べた場合、同じ体動があっても、小さく写っている被測定者Ｐの場合は、画素数で表される差分情報の値が小さくなる。その結果、ある条件での差分情報が１０画素が片腕の動きに相当したとしても、別の条件では体幹の動き(寝返り)に相当する場合や、体動ではなくノイズとみなされる場合があり、そしてこのような差分情報をそのまま用いて睡眠状態関連情報の算出を行うと、計測精度の低下につながるので、前記正規化によって差分情報を補正することにより、このような不具合を解決している。
　なお、正規化手法については、前述に限られず、これと均等な演算処理が施されればよい。例えば、差分情報を算出した後に行っても構わない。一例として、予め大きさ関連情報の基準値が設定しておき、この基準値に対する大きさ関連情報の取得値の比の逆数を前記差分情報の値にかけて差分情報を補正する、といった処理を施すことが挙げられる。
　また、解析対象とする差分情報(体動量の時系列推移)を算出した後に、一連の差分情報全体を平均0分散1にする正規化を行い、学習器の入力パラメータ（説明変数）としてもよい。解析対象データごとに正規化することで、差分情報の値がデータごとにばらつくことを抑制できる。
５．睡眠状態情報の算出
　次に、前記睡眠状態関連情報算出部は、補正された（正規化された）２種類の差分情報に基づいて、中間パラメータ（請求項でいう差分情報を処理して得られた情報の一例。）を算出する（ステップＳ６）。具体的には、前記第１差分情報（差分画素数）は、早い体動を示し、第２差分情報は遅い体動を示していると考えられる。そして、これら第１差分情報および第２差分情報の値の、一定期間（複数エポック数に相当する期間、例えば３０秒）での平均値、分散値、差分画素数が所定の閾値以下を継続した時間などを中間パラメータとして算出する。なお、この中間パラメータも睡眠状態関連情報に含まれる。
　一方で、前記睡眠状態関連情報算出部は、前記被測定者属性情報に基づいて学習済みモデルを選択する（ステップＳ７）。
　学習済みモデルとは、前記差分情報および／または中間パラメータを入力すると、睡眠深度を出力する、予め機械学習によって生成したアルゴリズムである。ここでは、前記被測定者属性情報の値によって学習用データ（前記差分情報および／または中間パラメータ）を複数に分け、それぞれで機械学習を実行することにより、被測定者属性情報の値ごとに学習済みモデルを生成している。
　より具体的には、この実施形態では、被測定者属性情報として年齢を用いており、年齢層ごとに学習済みモデルが予め生成されている。年齢層とは、０～２歳、２歳～８歳などである。
　次に、睡眠状態関連情報算出部は、この学習済みモデルに前記中間パラメータを入力することにより睡眠深度を算出する（ステップＳ８）。
第４　他の実施形態
　なお、本発明は前記実施形態に限られるものではない。
　例えば、体動を、骨格推定によって推定される身体のキーポイント座標の変動を利用して算出しても良い。
　被測定者Ｐの身体全部ではなく、顔、手、足などの特定部位のみによって睡眠状態関連情報を計測してもかまわない。
　体動情報をカメラ動画フレーム間の差分情報から算出しているが、接触型センサなどの所定時間毎の出力値の変動から算出してもよい。
　前記実施形態では、大きさ関連情報を、被測定者Ｐの画像に写り込んだ領域の画素数で設定していたが、これに被測定者Ｐまでの距離をパラメータとして補正してもかまわない。例えば、斜めから撮像している場合、画像手前側はカメラ１との距離が短く、奥に行くほどカメラ１からの距離が長くなる。そのため、同じ被測定者Ｐでも、画像の手前側に写っている場合は、大きく写り、奥側になれば小さく写る。そこで、被測定者Ｐの画像中における位置によって、大きさ関連情報の値を補正すればよい。具体的には、被測定者Ｐが手前側の場合は、写り込み画素数を小さくなるように補正し、奥側の場合はその逆を行う。
　この場合、大きさ関連情報を、画像フレームごとに算出するようにすればなおよい。例えば、被測定者Ｐが小児の場合、寝相による移動範囲が大きく、就寝中に生じるカメラ１との相対位置関係（特に距離）の変化を無視できないからである。
　また、被測定者Ｐの身体部位を特定するプログラムである身体部位特定部を設けるようにしてもよい。
　例えば、オペレータが、顔領域をタップ等で指定することで、前記身体部位特定部は、“指定領域内に顔がある前提”で顔検出できる。
　属性情報の取得についても、大きさ関連情報から推定してもよい。例えば、被測定者Ｐの瞳孔間距離（または眼球間距離）や頭部サイズから身長・年齢などの属性情報を推定することが可能である。このステップを介することで、大きさ関連情報によって学習済モデルを選択してもよい。
　学習済モデルは、年齢等に応じていずれか１つを選択してもよいし、複数を選択してアンサンブル学習を行ってもよい。例えば、被測定者Ｐの成長が平均より早い場合には、年齢に基づく学習済みモデルと体型（身長、体重）に基づく学習済みモデルの両方を用いることが考えられる。
　ユーザインタフェースとしては、年齢、体型の入力項目に加え、「被測定者Ｐの体型が平均に対して大きい／小さい」などの入力項目があってもよい。被測定者Ｐの体型を身体発育曲線のデータと紐づけるなどして、自動で判定してもよい。
　“複数の学習済モデルを選択する”ことについても、同じ機械学習手法で学習データが異なる学習器(モデル)を用意してもよいし、異なる機械学習手法で作成された学習器(モデル)を用いてもよい。
　年齢などの属性情報に応じて、睡眠状態関連情報の推定精度が高くなる機械学習手法が異なる場合がある。例えば、睡眠リズムを獲得した幼児期以降では、睡眠ステージに応じた体動表出の特徴がはっきりしてくる。睡眠ステージごとに明確な特徴があるので、ExtraTree (多数決法)での睡眠深度判定と相性がよい。一方で、睡眠リズムを獲得できていない乳児期の睡眠深度推定には、ニューラルネットワークを用いた学習モデルで睡眠深度を推定するほうが、正答率が高くなる。
　また、予め学習した学習済モデルを被測定者Ｐの情報で更新してもよい。例えば、被測定者Ｐの親が睡眠深度の情報をアノテーションすることが考えられる。学習データをすべて計測対象者について準備してもよい。この場合、データオーギュメンテーションにより学習データを増やすことが好ましい。
　前記実施形態では、一連のフレーム画像を取得した後、差分情報を算出し睡眠深度を計測していたが、ストリーミングのように、フレーム画像を取り込みながら、同時並行的に睡眠深度を算出するようにしてもかまわない。
　上記構成では、被測定者の画像データに基づいて、睡眠状態関連情報を算出していたが、画像データに限られるものではない。
　例えば、被測定者から生体情報を抽出し、前記生体情報の時間変動情報を算出し、この時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者属性情報に応じて、前記睡眠状態関連情報を算出するようにしてもよい。
　ここでいう生体情報とは、たとえば、体動、呼吸数（またはその分散）、呼吸波形の振幅、心拍数、脈脈拍数、脈拍間隔および脈拍間隔の時間変動のうちの１つ以上である。この生体情報を計測するための生体情報センサとしては、赤外線などの電磁波の透過量や反射量から心拍や脈波などを検出する電磁波センサや、荷重変化や荷重移動を検出する圧力センサなどを挙げることができる。この生体情報センサの形式としては、シート型、装着型、マイクロ波レーダ型などを用いてよい。
　生体情報は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位において抽出されてもよい。
　生体情報が例えば呼吸情報（呼吸数や呼吸波形の振幅）であれば、ランドマークを顔や首とすることができる。ランドマークの位置は、オペレータの入力に基づいてもよいし、フレーム画像を入力としてランドマークの位置を出力する学習済モデルを用いた機械学習により行ってもよい。
　図５（ａ）～（ｄ）にその具体例を示す。ここでは、フレーム画像（同図（ａ）に示す。）を、面内で一定角度で回転させながら（同図（ｂ）に示す。）、複数の角度でランドマークの推定を機械学習により行い（同図（ｃ）に示す。）、最も確信度が高い角度でのランドマークの検出結果を採用する（同図（ｄ）に示す。）。
　ランドマークが顔で生体情報が呼吸情報であれば、顔領域の位置から胸腹部領域を決定する。推定された胸腹部領域の動きから呼吸情報を生体情報として抽出してもよい。もっとも、顔が体の軸に対して傾いている場合には、実際の胸腹部領域の位置は決定位置からずれていることがある。そこで、胸腹部領域の決定位置の周囲を対象領域として決定し、この対象領域において生体情報としての呼吸情報を抽出してもよい。
　前記胸腹部領域や対象領域で生体情報を抽出することで、ノイズとなる他部位の動きを除外できる。
　対象領域の形状は、決定したランドマークの位置を回転中心として一定の角度範囲にドーナツ状に設定してもよい。その具体例を、図６を参照して説明する。確信度の高い角度画像での顔検出結果のＲＯＩ（関心領域）を算出し（図６（ａ））、その中心点を算出する（図６（ｂ））。そして、その中心点から二重の同心円を描き、二重同心円で囲まれたドーナツ領域から一定角度の扇形状を設定する（図６（ｃ））。この形状を、確信度の高い角度画像に当てはめ、扇形状の範囲を、胸部（腹部）が存在し得る範囲に設定する（図６（ｄ））。
　このように対象領域を限定することで、計算量を削減するとともに、ノイズとなる他部位の動きを除外できるという利点がある。
　なお、前述したカメラもその画像データを処理する情報処理装置と併せて考えれば、生体情報を検出する生体情報センサとしての機能を担っているということもできる。
　また、時間変動情報または前記時間変動情報を処理して得られた情報とは、前記生体情報の時間変動のことであるから、前述した差分情報またはこの差分情報を処理して得られた情報も、この時間変動情報等に含まれているということができる。
　その他、本発明は前記実施形態や図示例に限られることはないし、例えば実施形態や変形例の一部同士を組み合わせるなど、その趣旨を逸脱しない範囲で変形可能である。
第５　まとめ
　以上に述べた実施態様の特徴をまとめると以下のようになる。
［１］
　睡眠時の被測定者を含んだフレーム画像を時系列で取得するフレーム画像取得部と、異なる時刻での２つのフレーム画像間の差分を示す情報である差分情報を算出する差分情報算出部と、前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、前記差分情報及び被測定者属性情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする睡眠状態計測システム。
　このようなものであれば、被測定者に負担がかからず、自然な睡眠状態での計測が可能であることに加え、年齢等の被測定者属性情報をも説明変数として睡眠状態を計測するので、従来に比べ、計測精度を向上させることができるようになる。
［２］
　前記睡眠状態関連情報算出部は、複数の学習済モデルのうちから、前記被測定者属性情報の内容に応じた１または複数の学習済モデルを選定し、該学習済モデルに前記差分情報を与えて前記睡眠状態関連情報を算出することを特徴とする［１］に記載の睡眠状態計測システム。
　このようなものであれば、機械学習によって複数種類の学習済みモデルを生成すれば本睡眠状態計測システムを実現できるので、実現性に富み、かつ計測精度を担保できる。特に、データオーギュメンテーションにより学習データを増加させることで計測精度の向上を促進できる。
［３］
　前記被測定者属性情報として、被測定者の年齢を用いることを特徴とする［１］または［２］に記載の睡眠状態計測システム。
　このようなものであれば、睡眠深度の変化パターン(睡眠サイクル、占有率など)は、小児や幼児、一般成人、高齢者によって異なりうるので、被測定者属性情報として年齢（または年齢層）を用い、その値に応じて学習済みモデル生成するなど、睡眠状態算出のアルゴリズムを変えることにより、計測精度の顕著な向上を期待できる。
［４］
　被測定者の全部または特定部位の前記フレーム画像中に占める相対的な大きさに関する情報である大きさ関連情報を取得する大きさ関連情報取得部をさらに備え、前記睡眠状態関連情報算出部は、前記大きさ関連情報をも説明変数として、前記睡眠状態関連情報を算出することを特徴とする［１］～［３］いずれかに記載の睡眠状態計測システム。
［５］
　前記睡眠状態関連情報算出部は、前記大きさ関連情報によって前記差分情報を正規化し、この正規化された差分情報と前記被測定者属性情報とに基づいて、前記睡眠状態関連情報を算出することを特徴とする［４］に記載の睡眠状態計測システム。
　このようなものであれば、画像に写り込んだ被測定者の大きさにかかわらず、差分情報およびこれに基づき算出される体動量の基準を安定させることができるので、睡眠深度など睡眠状態関連情報の計測精度を向上させることができる。
［６］
　前記フレーム画像において被測定者の全部または特定部位が含まれる所定形状の対象領域を特定する対象領域特定部をさらに備えており、前記差分情報算出部が、２つのフレーム画像における前記対象領域間の差分情報を算出するように構成されているものであって、前記大きさ関連情報取得部が、前記対象領域の面積画素数または前記対象領域の所定方向の長さ画素数に沿った長さ画素数を前記大きさ関連情報として取得することを特徴とする［４］または［５］に記載の睡眠状態計測システム。
　このようなものであれば、前記［４］または［５］の構成を簡易に実現できる。
［７］
　前記睡眠状態関連情報には、睡眠深度や睡眠サイクル、占有率が含まれることを特徴とする。
　このようなものであれば、本構成の効果がより顕著となる。
［８］
　睡眠時の被測定者から生体情報を抽出する抽出部と、
　前記生体情報の時間変動情報を算出する算出部と、
　前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
　前記被測定者属性情報に応じて、前記時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする［１］に記載の睡眠状態計測システム。
　このようなものであれば、生体情報から睡眠状態関連情報を算出することができる。
［９］
　前記生体情報は、体動、呼吸数、呼吸数の分散、呼吸波形の振幅、心拍数、脈脈拍数、脈拍間隔および脈拍間隔の時間変動のうちの１つ以上を含む［８］に記載の睡眠状態計測システム。
　このような生体情報を用いれば、睡眠状態の計測精度を向上させることができる。
［１０］
　前記抽出部は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位において前記生体情報を抽出する［１］～［９］いずれかに記載の睡眠状態計測システム。
　このように対象領域を限定することで、計算量を削減するとともに、ノイズとなる他部位の動きを除外できる。
［１１］
　前記抽出部は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位の周囲を対象領域として決定し、前記対象領域において前記生体情報を抽出する［１］～［９］いずれかに記載の睡眠状態計測システム。
　このようにして対象領域を限定するもでき、前述同様、計算量を削減するとともに、ノイズとなる他部位の動きを除外できる。
［１２］
　前記ランドマークは被測定者の顔であり、
　前記特定部位は胸腹部であり、
　前記生体情報は呼吸情報である［１１］記載の睡眠状態計測システム。
　このようなものであれば、睡眠状態の計測精度を向上させることができる。
［１３］
　睡眠時の被測定者から生体情報を抽出する抽出部と、
　前記生体情報の時間変動情報を算出する算出部と、
　前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
　前記被測定者属性情報に応じて、前記時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする睡眠状態計測システム。
　このようなものであれば、前述した［１］の構成と同様の作用効果を奏し得る。
　被測定者に負担がかからず、自然な睡眠状態での計測が可能であることに加え、年齢等の被測定者属性情報をも説明変数として睡眠状態を計測するので、従来に比べ、計測精度を向上させることができるようになる。
１００・・・睡眠状態計測システム
１・・・カメラ
２・・・情報処理装置
Ｐ・・・被測定者

 

Claims (15)

  1. 　睡眠時の被測定者を含んだフレーム画像を時系列で取得するフレーム画像取得部と、
    　異なる時刻での２つのフレーム画像間の差分を示す情報である差分情報を算出する差分情報算出部と、
    　前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
    　前記被測定者属性情報に応じて、前記差分情報または前記差分情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする睡眠状態計測システム。
  2. 　前記睡眠状態関連情報算出部は、互いに同種であり、または互いに異種の複数の学習済モデルのうちから、前記被測定者属性情報の内容に応じた１または複数の学習済モデルを選定し、該学習済モデルに前記差分情報を与えて前記睡眠状態関連情報を算出する請求項１に記載の睡眠状態計測システム。
  3. 　前記被測定者属性情報として、被測定者の年齢を用いている請求項２に記載の睡眠状態計測システム。
  4. 　被測定者の全部または特定部位の前記フレーム画像中に占める相対的な大きさに関する情報である大きさ関連情報を取得する大きさ関連情報取得部をさらに備え、
    　前記睡眠状態関連情報算出部は、前記大きさ関連情報をも説明変数として、前記睡眠状態関連情報を算出する請求項１ないし３いずれかに記載の睡眠状態計測システム。
  5. 　前記睡眠状態関連情報算出部は、前記大きさ関連情報によって前記差分情報を正規化し、この正規化された差分情報と前記被測定者属性情報とに基づいて、前記睡眠状態関連情報を算出する請求項４に記載の睡眠状態計測システム。
  6. 　前記フレーム画像において被測定者の全部または特定部位が含まれる所定形状の対象領域を特定する対象領域特定部をさらに備えており、
    　前記差分情報算出部が、２つのフレーム画像における前記対象領域間の差分情報を算出するように構成されているものであって、
    　前記大きさ関連情報取得部が、前記対象領域の面積画素数または前記対象領域の所定方向の長さ画素数に沿った長さ画素数を前記大きさ関連情報として取得する請求項４に記載の睡眠状態計測システム。
  7. 　前記睡眠状態関連情報には、睡眠深度が含まれる請求項１に記載の睡眠状態計測システム。
  8. 　睡眠時の被測定者から生体情報を抽出する抽出部と、
    　前記生体情報の時間変動情報を算出する算出部とをさらに備えており、
    　前記睡眠状態関連情報算出部は、前記被測定者属性情報に応じて、前記差分情報または前記差分情報を処理して得られた情報と、前記時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する請求項１に記載の睡眠状態計測システム。
  9. 　前記生体情報は、体動、呼吸数、呼吸数の分散、呼吸波形の振幅、心拍数、脈脈拍数、脈拍間隔および脈拍間隔の時間変動のうちの１つ以上含む請求項８に記載の睡眠状態計測システム。
  10. 　前記抽出部は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位において前記生体情報を抽出する請求項８記載の睡眠状態計測システム。
  11. 　前記抽出部は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位の周囲を対象領域として決定し、前記対象領域において前記生体情報を抽出する請求項８記載の睡眠状態計測システム。
  12. 　前記ランドマークは被測定者の顔であり、
    　前記特定部位は胸腹部であり、
    　前記生体情報は呼吸情報である請求項１１記載の睡眠状態計測システム。
  13. 　睡眠時の被測定者を含んだフレーム画像を時系列で取得し、
    　異なる時刻でのフレーム画像同士の比較結果に基づいて、それらの差分を示す情報である差分情報を算出し、
    　前記被測定者の属性を示す情報である被測定者属性情報を取得し、
    　前記被測定者属性情報に応じて、前記差分情報または前記差分情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出することを特徴とする睡眠状態計測方法。
  14. 　睡眠時の被測定者を含んだフレーム画像を時系列で取得するフレーム画像取得部と、
    　異なる時刻でのフレーム画像同士の比較結果に基づいて、それらの差分を示す情報である差分情報を算出する差分情報算出部と、
    　前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
    　前記被測定者属性情報に応じて、前記差分情報または前記差分情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部と、としての機能をコンピュータに発揮させることを特徴とする睡眠状態計測プログラム。
  15. 　睡眠時の被測定者から生体情報を抽出する抽出部と、
    　前記生体情報の時間変動情報を算出する算出部と、
    　前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
    　前記被測定者属性情報に応じて、前記時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする睡眠状態計測システム。
PCT/JP2023/013983 2022-04-06 2023-04-04 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム WO2023195473A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022063542 2022-04-06
JP2022-063542 2022-04-06

Publications (1)

Publication Number Publication Date
WO2023195473A1 true WO2023195473A1 (ja) 2023-10-12

Family

ID=88243080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013983 WO2023195473A1 (ja) 2022-04-06 2023-04-04 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム

Country Status (1)

Country Link
WO (1) WO2023195473A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010207499A (ja) * 2009-03-12 2010-09-24 Toshiba Corp 撮像領域管理システム、撮像領域管理プログラム及び方法
JP2018164615A (ja) * 2017-03-28 2018-10-25 国立大学法人大阪大学 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法
WO2020064580A1 (en) * 2018-09-25 2020-04-02 Koninklijke Philips N.V. Deriving information about a person's sleep and wake states from a sequence of video frames
KR20210017004A (ko) * 2019-08-06 2021-02-17 아라정보(주) 레이더 센서를 이용한 비 접촉 수면 분석장치 및 그 수면 분석방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010207499A (ja) * 2009-03-12 2010-09-24 Toshiba Corp 撮像領域管理システム、撮像領域管理プログラム及び方法
JP2018164615A (ja) * 2017-03-28 2018-10-25 国立大学法人大阪大学 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法
WO2020064580A1 (en) * 2018-09-25 2020-04-02 Koninklijke Philips N.V. Deriving information about a person's sleep and wake states from a sequence of video frames
KR20210017004A (ko) * 2019-08-06 2021-02-17 아라정보(주) 레이더 센서를 이용한 비 접촉 수면 분석장치 및 그 수면 분석방법

Similar Documents

Publication Publication Date Title
US11712176B2 (en) Systems and methods for video-based non-contact tidal volume monitoring
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
JP2023171650A (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
RU2604701C2 (ru) Способ и устройство для мониторинга движений и дыхания множества субъектов в общей кровати
RU2637610C2 (ru) Устройство мониторинга для мониторинга физиологического сигнала
CN106413533B (zh) 用于检测对象的呼吸暂停的设备、系统和方法
CN106793976A (zh) 用于检测对象的生命体征信息的设备和方法
JP6692110B2 (ja) 味覚評価診断装置
US9245338B2 (en) Increasing accuracy of a physiological signal obtained from a video of a subject
KR101576526B1 (ko) 재활운동 지원 장치 및 방법
CN111933275A (zh) 一种基于眼动与面部表情的抑郁评估系统
KR20170004914A (ko) 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치
Rasouli D et al. A novel depth image analysis for sleep posture estimation
US9483837B2 (en) Compensating for motion during real-time batch processing of video for physiological function assessment
Heinrich et al. Video based actigraphy and breathing monitoring from the bedside table of shared beds
CN116848587A (zh) 用于基于身体图像确定睡眠分析的系统和方法
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
Zhang et al. A Footprint Extraction and Recognition Algorithm Based on Plantar Pressure.
KR20140057867A (ko) 열화상을 이용한 스트레스 지수 측정 시스템
Kau et al. Pressure-sensor-based sleep status and quality evaluation system
WO2023195473A1 (ja) 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム
WO2023189309A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
KR102539796B1 (ko) 수면다원검사 및 인공지능을 이용한 수면 분석 시스템 및 방법
TWI577338B (zh) 基於影像為基礎之即時呼吸率量測技術之方法
Brinkmann et al. Evaluation of a Depth Camera as e-Health Sensor for Contactless Respiration Monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23784759

Country of ref document: EP

Kind code of ref document: A1