WO2024105719A1 - 撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システム - Google Patents

撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システム Download PDF

Info

Publication number
WO2024105719A1
WO2024105719A1 PCT/JP2022/042177 JP2022042177W WO2024105719A1 WO 2024105719 A1 WO2024105719 A1 WO 2024105719A1 JP 2022042177 W JP2022042177 W JP 2022042177W WO 2024105719 A1 WO2024105719 A1 WO 2024105719A1
Authority
WO
WIPO (PCT)
Prior art keywords
breath
unit
person
sleep
imaging
Prior art date
Application number
PCT/JP2022/042177
Other languages
English (en)
French (fr)
Inventor
賢也 中井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/042177 priority Critical patent/WO2024105719A1/ja
Priority to JP2024525789A priority patent/JPWO2024105719A5/ja
Publication of WO2024105719A1 publication Critical patent/WO2024105719A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs

Definitions

  • This disclosure relates to an imaging system, a breath detection system, a body information monitoring system, and an air conditioning and ventilation system.
  • the objective of this disclosure is to provide a system for visualizing exhaled breath.
  • An imaging system includes: an imaging unit that outputs a captured image; a processing unit that acquires flow information of the detection object, a density gradient of the detection object, or a refractive index gradient of the detection object based on the captured image,
  • the detection target is a person's exhaled breath in the air.
  • a breath detection system includes: an exhaled breath estimation unit that estimates at least any one of the number of breaths per unit time, a breathing rhythm, a volume of the exhaled breath, a position where the exhaled breath is generated, and information on the flow of the exhaled breath based on information from a sensor;
  • the breath estimation unit is Distinguishing between mouth breathing and nose breathing from information from the sensor;
  • the exhalation information is estimated for each of the mouth breathing and the nose breathing.
  • An air conditioning and ventilation system includes: Indoor environmental equipment, An environmental control unit that controls the indoor environmental equipment; and the imaging system connected to the environmental control unit so as to be able to communicate with the imaging system.
  • a physical information monitoring system includes: an imaging unit that outputs a captured image; a processing unit that acquires flow information of the detection object, a density gradient of the detection object, or a refractive index gradient of the detection object based on the captured image, and outputs data or information estimated from the flow information, the density gradient, or the refractive index gradient to a display unit;
  • the detection target is a person's exhaled breath in the air.
  • a physical information monitoring system includes: a processing unit that acquires flow information of the detection target, a density gradient of the detection target, or a refractive index gradient of the detection target based on information from the sensor, and outputs data or information estimated from the flow information, the density gradient, or the refractive index gradient to a display unit;
  • the detection target is a person's exhaled breath in the air.
  • the present disclosure provides a system for visualizing exhaled breath.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging system (physical information monitoring system) and an air conditioning and ventilation system according to a first embodiment.
  • FIG. 2 is a diagram illustrating an example of an operation of the imaging system.
  • 1 is a diagram illustrating an outline of a person's breath state visualized by a breath estimation unit at a certain time.
  • FIG. 13A to 13D are diagrams showing schematic diagrams illustrating changes over time in the expiratory cross-sectional area and expiratory volume (exhaled air volume) of mouth breathing and nose breathing detected by the expiratory air estimation unit.
  • FIG. 13 is a diagram illustrating another example of an imaging system.
  • 1A to 1C are diagrams showing a person lying on a bed surface as viewed from above the person's head.
  • FIG. 13 is a diagram illustrating a schematic diagram of yet another example of an imaging system.
  • 11A to 11C are diagrams illustrating states in which a person's posture has changed.
  • FIG. 11 is a schematic diagram showing an imaging system according to a second embodiment.
  • 13A and 13B are diagrams showing a room in which an imaging system according to a second embodiment is installed, as viewed from directly above.
  • 13 is a diagram showing a room space in which an imaging system according to a second embodiment is provided, as viewed from the side.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging system 100 (physical information monitoring system) and an air-conditioning and ventilation system 200 according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the operation of the imaging system 100. As shown in FIG.
  • the air conditioning and ventilation system 200 includes the imaging system 100, an environmental control unit 33, and an indoor environmental device 34.
  • the air conditioning and ventilation system 200 is also referred to as the "indoor environmental system.”
  • Imaging System 100 Physical Information Monitoring System
  • the imaging system 100 will be described as being based on the background type Schlieren method, the imaging system 100 may be based on PIV (Particle Image Velocimetry) or a focusing Schlieren method using a cutoff filter.
  • the visualization target is a person 5 in a sleeping posture, or the exhalation of a person 5 (not limited to a sleeping posture).
  • a person who exhales is referred to as a "person 5.”
  • the person 5 is in a sleeping posture.
  • the imaging system 100 can also be used as a physical information monitoring system that monitors the physical information of the person 5. Therefore, the imaging system 100 may also be referred to as a physical information monitoring system.
  • the imaging system 100 has, for example, at least one imaging unit (in this embodiment, a first imaging unit 1), an illumination unit 4, a processing unit 11, a display unit 12, a recording unit 13, a heart rate monitor 14, a microphone 15, and a projection unit 18.
  • a first imaging unit 1 an imaging unit
  • an illumination unit 4 a processing unit 11
  • a display unit 12 a recording unit 13
  • a heart rate monitor 14 a microphone 15
  • a projection unit 18 for example, at least one imaging unit (in this embodiment, a first imaging unit 1), an illumination unit 4, a processing unit 11, a display unit 12, a recording unit 13, a heart rate monitor 14, a microphone 15, and a projection unit 18.
  • the first imaging unit 1 captures an image of the background 3.
  • the image captured by the first imaging unit 1 is also referred to as a "captured image.”
  • the first imaging unit 1 outputs the captured image to a processing unit 11.
  • the first imaging unit 1 is also simply referred to as an "imaging unit.”
  • the first imaging unit 1 is disposed in a position where it can capture an image of the breath 7 of the person 5.
  • the first imaging unit 1 is disposed in a position where it can capture an image of the breath 7 of the person 5 lying on the floor.
  • the first imaging unit 1 is, for example, a camera.
  • the imaging system 100 may further include a second imaging unit 2.
  • the second imaging unit 2 can capture an image of the person 5 and the area around the person 5.
  • the second imaging unit 2 is, for example, a camera.
  • the background portion 3 includes, for example, a floor pattern or a bedding pattern.
  • the pattern is a design or pattern suitable for visualizing the exhaled breath 7.
  • the pattern can be a geometric pattern such as stripes or a dot pattern.
  • the dot pattern also includes a random dot pattern.
  • the floor surface is the area surrounding the part where the person 5 is lying
  • the bedding is the area surrounding the part where the person 5 is lying.
  • the bedding pattern includes a pattern used by the person 5.
  • the floor surface may be a sleeping surface 6.
  • the first imaging unit 1 and background unit 3 are the basic components of the background-type Schlieren method.
  • the first imaging unit 1 acquires luminance information of the imaging area D1 (also called the first imaging area) of the background unit 3 as image data.
  • the first imaging unit 1 can have a lens optical system so that the luminance information is appropriately captured and acquired.
  • the illumination unit 4 irradiates illumination light onto the pattern included in the background unit 3.
  • the illumination light irradiated from the illumination unit 4 is, for example, invisible light.
  • the wavelength of the illumination light is within a wavelength band detectable by the first imaging unit 1 or the second imaging unit 2.
  • the processing unit 11 controls the operation and input/output of each unit of the imaging system 100. For example, the processing unit 11 performs processing to control the imaging position of the first imaging unit 1, various processing using the image captured by the first imaging unit 1, processing of imaging data acquired by the second imaging unit, and control of the operation of the illumination unit 4. Furthermore, the processing unit 11 outputs data or information on the detection target (in this embodiment, the breath 7) estimated based on the captured image to the display unit 12 and the recording unit 13. Thereby, data on the detection target (in this embodiment, the breath 7) or information on the detection target (in this embodiment, the breath 7) can be displayed on the display unit 12 and recorded in the recording unit 13.
  • the processing unit 11 estimates breath information of the person 5 in a sleeping position.
  • the breath information is, for example, at least one of the number of breaths per unit time, breathing rhythm, breath volume, breath origin, and breath flow information.
  • Breath flow information is information on the movement on the two-dimensional image of the area where the presence of breath is detected, and means information on the expansion of the boundary of the area, the speed and amount of movement of the expansion, and the direction, or the amount of movement of the center of gravity of the area and its direction.
  • the processing unit 11 acquires flow information of the detection target, density gradient of the detection target, or refractive index gradient of the detection target based on the captured image.
  • the detection target is, for example, the breath 7 in the space of the person 5.
  • the breath 7 in the space of the person 5 refers to the breath emitted from inside the body of the person 5 to the outside. In this case, the breath 7 exists, for example, between the floor surface and the first imaging unit 1 or between the bedding and the first imaging unit 1.
  • the processing unit 11 transmits pattern or background pattern data to the projection unit 18 and controls the projection unit 18.
  • the projection unit 18 projects a light pattern (also called a background pattern) onto the background unit 3.
  • the processing unit 11 has an exhaled breath estimation unit 30, a respiratory state estimation unit 31, and a sleep state estimation unit 32.
  • FIG. 1 illustrates the exhaled breath estimation unit 30, the respiratory state estimation unit 31, and the sleep state estimation unit 32 inside the processing unit 11, this is not necessarily limited to this configuration, and the exhaled breath estimation unit 30, the respiratory state estimation unit 31, and the sleep state estimation unit 32 may be provided outside the processing unit 11.
  • the breath estimation unit 30 uses the image captured by the first imaging unit 1 to acquire a density gradient in space (e.g., the density gradient of the breath 7) or a refractive index gradient (e.g., the refractive index gradient of the breath 7) based on changes in the captured image of the background area 3 acquired by the first imaging unit 1, and generates image data of a density gradient image in space (e.g., a density gradient image of the breath 7) or a refractive index gradient image in space (e.g., a refractive index gradient image of the breath 7).
  • a density gradient in space e.g., the density gradient of the breath 7
  • a refractive index gradient image of the breath 7 e.g., a refractive index gradient image of the breath 7
  • the breath estimation unit 30 can estimate breath information from the image captured by the first imaging unit 1 (specifically, image data of a density gradient image or a refractive index gradient image).
  • the breath estimation unit 30 calculates the length and width of the breath from the breath information and estimates the volume of the breath. For example, the breath estimation unit 30 calculates the length and width of the breath from the breath information, and estimates the volume of the breath by multiplying the length and width of the breath or multiplying the length and width by the square of the breath.
  • the breath estimation unit 30 distinguishes between mouth breathing and nasal breathing from the captured image, and estimates breath information for each of the mouth breathing and nasal breathing.
  • the respiratory condition estimation unit 31 can estimate and monitor respiratory disturbances based on at least one of the exhalation information and from differences in characteristics from a reference pattern of normal breathing or differences in characteristics from a reference pattern of time variation of exhalation volume. For example, the respiratory condition estimation unit 31 can estimate whether breathing is stable or not from disturbances or irregularities in the breathing pattern. Information indicating the respiratory condition estimated by the respiratory condition estimation unit 31 is referred to as respiratory condition information.
  • the respiratory condition estimation unit 31 can estimate the presence or absence of a specific disease from the estimation results.
  • the respiratory condition estimation unit 31 can estimate the type of sleep apnea syndrome.
  • the respiratory condition estimation unit 31 determines the type of sleep apnea syndrome based on the volume of exhaled air for each of mouth breathing and nasal breathing estimated by the exhaled air estimation unit 30.
  • the sleep state estimation unit 32 generates a sleep index value indicating the depth of sleep or the stability of sleep of the person 5 based on at least one of the breath information estimated by the breath estimation unit 30 or the respiratory state information estimated by the respiratory state estimation unit 31, and can estimate the quality of sleep of the person 5 based on the sleep index value.
  • the depth of sleep is indicated by the duration of the non-REM sleep state, in which both the body and the brain are thought to be in deep sleep.
  • Sleep stability is closely related to breathing depth (e.g., the amount of breath volume), breathing periodicity, or their time fluctuations, and is estimated from these. Sleep quality is improved by ensuring sleep depth and sleep stability. Thus, sleep quality is closely related to the respiratory state.
  • the processing unit 11 is, for example, a central processing unit (CPU).
  • the functions of the processing unit 11 are realized by software, firmware, or a combination of software and firmware.
  • the software and firmware can be stored in memory as programs. With this configuration, the programs for realizing the functions of the processing unit 11 are executed by the computer.
  • the processing unit 11 may have multiple processors and multiple memories. In this case, the functions of the processing unit 11 are realized by these multiple processors and multiple memories.
  • the processing unit 11 may be configured as a processing circuit as dedicated hardware, such as a single circuit or a composite circuit.
  • the processing circuit is, for example, a system LSI. In this case, the functions of the processing unit 11 are realized by the processing circuit.
  • the display unit 12 is, for example, a display or a speaker, or may be an actuator such as a motor that generates vibrations.
  • the recording unit 13 is, for example, a memory configured of a volatile memory, a non-volatile memory, or both.
  • the heart rate meter 14 measures the heart rate of the person 5 .
  • the microphone 15 picks up breathing sounds such as snoring of the person 5 .
  • the projection unit 18 can project various patterns onto the background unit 3. Therefore, the pattern of the background unit 3 (e.g., the floor surface) is projected onto the background unit 3 (e.g., the floor surface) by the projection unit 18.
  • the indoor environmental equipment 34 includes, for example, an air conditioning device 16, a ventilation device 17, and a lighting device 19.
  • the indoor environmental equipment 34 may include at least one of the air conditioning device 16, the ventilation device 17, and the lighting device 19.
  • the environmental control unit 33 controls the indoor environmental equipment 34.
  • the environmental control unit 33 controls the air conditioning equipment 16, the ventilation equipment 17, and the lighting equipment 19.
  • the environmental control unit 33 is connected to the imaging system 100 so as to be able to communicate with the imaging system 100.
  • the environmental control unit 33 controls the air conditioning device 16 to perform air conditioning control in the room in which the person 5 is present, for example.
  • the environmental control unit 33 can control the temperature around the person 5 so that a refractive index difference occurs due to the temperature difference between the temperature around the person 5 and the exhaled air 7.
  • the environmental control unit 33 can control the temperature around the person 5 so that it approaches a target temperature value obtained by subtracting a predetermined bias temperature from the temperature difference between the body temperature of the person 5 and the exhaled air 7.
  • the environmental control unit 33 obtains the density gradient or refractive index gradient from the processing unit 11, and can control at least one of the temperature around the person 5, the humidity around the person 5, or the ventilation based on the density gradient or the refractive index gradient.
  • the environmental control unit 33 can control at least one of the temperature around the person 5, the humidity around the person 5, or the ventilation so as to improve the quality of sleep of the person 5, based on a sleep index value that indicates the depth or stability of sleep of the person 5, which is generated by the processing unit (specifically, the sleep state estimation unit 32).
  • ⁇ Operation of Imaging System 100 As an example of the operation of the imaging system 100, a method for visualizing the breath of a person 5 who is sleeping or lying on bedding such as a bed (bed surface 6 in FIG. 2) will be described. However, the data processing and estimation by the processing unit 11 does not necessarily require the person 5 to be sleeping or lying, and the data processing and estimation by the processing unit 11 can be used in the same way when the person 5 is in a sitting or standing position.
  • the imaging system 100 can be used, for example, to monitor the breathing state of patients with sleep apnea syndrome (SAS) while they sleep. Therefore, one embodiment of the invention is to use the imaging system 100 in medical facilities such as hospitals, and in indoor environments such as at home.
  • SAS sleep apnea syndrome
  • the imaging system 100 that monitors the breathing state of patients with sleep apnea syndrome (SAS) while they are sleeping will be described.
  • the imaging system 100 according to the first embodiment is not limited to application to monitoring the breathing state of specific diseases such as sleep apnea syndrome (SAS).
  • the imaging system 100 may be used to estimate the comfort and quality of sleep by monitoring the state of exhaled breath 7, and to control the sleep environment based on the estimation, and further to manage health by recording data related to sleep index values such as an estimate of sleep depth.
  • SAS Sleep apnea syndrome
  • OSAS obstructive sleep apnea syndrome
  • CSAS central sleep apnea syndrome
  • MSAS mixed sleep apnea syndrome
  • Respiratory monitoring for sleep apnea syndrome generally requires the attachment of EGC (electrocardiogram) electrodes (electrodes for electrocardiograms) to the chest and abdomen to monitor breathing, the attachment of pulse oximeters to the fingers and toes to monitor blood oxygen levels, and in newborns, the attachment of a gas sensor to the chest to monitor oxygen or transcutaneous carbon dioxide, so as shown in Figure 2, a person 5 (e.g., a patient) often lies supine (i.e., with the face and chest facing upwards) on bed surface 6. Therefore, when in a supine position, exhaled air is expelled toward the ceiling.
  • EGC electrocardiogram
  • the background unit 3 is a panel with a flat pattern that functions as a background, and is integrated into the bedding.
  • the bed surface 6 is equipped with a mechanism for fixing the panel of the background unit 3. This has the advantage that, for example, in a medical facility, the background unit 3 can be placed in a fixed position each time the bed surface 6 (bed) is installed.
  • the irradiation area S is an area onto which illumination light is irradiated by the lighting unit 4.
  • the irradiation area S includes the background portion 3.
  • the imaging area D1 is an area imaged by the first imaging unit 1.
  • the irradiation area S is illustrated as being rectangular, but is not limited to this shape.
  • the irradiation area S may be at least a part of the imaging area D1, and the illumination light may extend to the imaging area D1, the person 5, and the bed surface 6.
  • the light reflected or scattered in the illumination area S is captured by the first imaging unit 1, and images are acquired continuously over time.
  • the breath estimation section 30 of the processing section 11 can generate a difference image obtained by subtracting the luminance value for each pixel of a reference image (e.g., one of the captured images, or an image obtained by averaging multiple captured images) from the captured image, or an output image obtained by quantifying the amount of movement for each partial area of the captured image and converting the quantified amount of movement into a luminance value and reconstructing the image.
  • This output image is the image data of the density gradient image or refractive index gradient image described above.
  • the captured image is an output image obtained by the imaging section of the pattern or luminance pattern of the background section 3, i.e., the luminance pattern caused by the color development and reflection/transmission/absorption/scattering of the background section 3.
  • machine learning inference techniques may also be used.
  • the image data of a density gradient image or a refractive index gradient image is two-dimensional numerical data that causes a density gradient or a refractive index gradient.
  • the image data of a density gradient image or a refractive index gradient image is two-dimensional numerical data that indicates the distribution of exhaled breath or airflow in a space, or the presence of airflow, and the image data of a density gradient image or a refractive index gradient image can also be treated as visualized image data of exhaled breath or airflow, etc.
  • the breath estimation unit 30 can estimate the fluid breath or airflow from the density gradient of the image data, the area where the refractive index gradient exists, the change in the contour over time, or the continuous movement over time.
  • FIG. 3A shows a state where no expired air is being discharged at time T1.
  • FIG. 3B shows the state where exhaled air begins to be discharged at time T2.
  • FIG. 3C shows a state in which the breath of person 5 is discharged at time T3 and reaches its widest point.
  • the spread of the exhaled air 7 changes in the order of FIG. 3(A), FIG. 3(B), FIG. 3(C), FIG. 3(A), . . . and is repeated.
  • the breath estimation unit 30 can estimate the spatial size of the breath 7 from the visualization range of the breath 7.
  • the breath estimation unit 30 can generate the breath cross-sectional area A and the breath volume V for each time from the visualization data of the breath 7.
  • the breath estimation unit 30 also stores the value of the breath cross-sectional area A or the value of the breath volume V together with time data, and can estimate the number of breaths of the person 5 based on the number of times the maximum and minimum peaks occur per unit time when the value of the breath cross-sectional area A or the value of the breath volume V increases or decreases.
  • the breath estimation unit 30 also stores the values of the breath cross-sectional area A or the breath volume V together with time data, and can estimate the breath 7 or breathing based on the number of maximum and minimum peaks per unit time when the values of the breath cross-sectional area A or the breath volume V increase or decrease.
  • the breath estimation unit 30 can also estimate the respiratory rhythm based on the periodicity of the times of maximum and minimum peaks when the value of the breath cross-sectional area A or the breath volume V increases or decreases, and the time variance thereof.
  • the breath estimation unit 30 can also estimate from which position on the face of the person 5 the breath 7 is coming by comparing the image captured by the imaging unit 1 with image data of the density gradient image or refractive index gradient image.
  • the image captured by the imaging unit 1 refers to an image captured before the image data of the density gradient image or refractive index gradient image is generated.
  • the face, mouth, nose, etc. on the captured image can be identified separately from the generation process of the image data of the density gradient image or refractive index gradient image, and used for the comparison. This makes it possible to estimate from which position on the face of the person 5 the breath 7 is coming without the need for a separate imaging unit for capturing an image of the face, mouth, or nose.
  • the breath estimation unit 30 can estimate the fluid breath 7 from the area where the density gradient or refractive index gradient exists in the image data of the density gradient image or refractive index gradient image, the change in its contour over time, or time-continuous movement. Furthermore, the flow direction of the breath 7 and the flow speed of the breath 7 can be estimated from the information on the time-continuous movement.
  • the breath estimation unit 30 can estimate the number of breaths per unit time, breathing rhythm, the volume of breath 7, the position at which breath 7 originates, and the flow information of breath 7.
  • the exhalation estimation unit 30 has the function of distinguishing between mouth breathing and nasal breathing in the breathing state. This function is explained below.
  • nose breathing is the preferred breathing method for a person, and frequent mouth breathing can lead to dry lips and dry mouth, increasing the risk of infection.
  • OSAS obstructive sleep apnea syndrome
  • upper airway disease i.e., a disease that narrows the passageway for breathing (i.e., the airway).
  • Symptoms of such diseases may be related to respiratory conditions, such as the timing or rate of mouth breathing and nasal breathing. Monitoring such respiratory conditions may help classify respiratory disorders, diagnose respiratory disorders, or provide effective treatment.
  • FIG. 4 is a diagram that shows a schematic diagram of the state of breath 7 of a person 5 visualized by the breath estimation unit 30 at a certain time.
  • the exhaled breath estimation unit 30 extracts the mouth exhaled breath MB exhaled from the mouth of the person 5 and the nasal exhaled breath NB exhaled from the nose from the visualization data of the exhaled breath 7. That is, the mouth exhaled breath MB is the exhaled breath produced by mouth breathing, and the nasal exhaled breath NB is the exhaled breath produced by nasal breathing.
  • the exhaled breath cross-sectional area A and the exhaled breath volume (exhaled breath volume) V can also be calculated separately for the mouth exhaled breath MB and the nasal exhaled breath NB.
  • FIG. 5 is a diagram showing a schematic diagram of changes over time in the cross-sectional area A and the volume (amount of exhaled air) V of the mouth exhaled air MB and the nasal exhaled air NB detected by the exhaled air estimation unit 30.
  • the exhaled breath estimation unit 30 extracts the period of the mouth exhaled breath MB and the period of the nasal exhaled breath NB based on the time changes of the exhaled breath cross-sectional area A and the exhaled breath volume (exhaled breath amount) V for each of the mouth exhaled breath MB and the nasal exhaled breath NB.
  • the breath estimation unit 30 can estimate breath information such as the number of breaths per unit time, breathing rhythm, or flow information of the breath 7 from the temporal changes shown in FIG. 5.
  • the respiratory condition estimation unit 31 can estimate or determine the presence or absence of an apnea state that can be used to diagnose sleep apnea syndrome (SAS). For example, the respiratory condition estimation unit 31 can estimate and monitor disturbances in the respiratory state based on at least one of the exhalation information and a difference in characteristics from a reference pattern of normal breathing or a difference in characteristics from a reference pattern of time variation of the exhalation volume V.
  • SAS sleep apnea syndrome
  • the respiratory condition estimation unit 31 is able to determine or diagnose the symptom level of sleep apnea syndrome (SAS) in association with the breath information.
  • SAS sleep apnea syndrome
  • the processing unit 11 can also use devices that measure physical information of the person 5, such as a heart rate monitor 14 or a microphone 15, as well as measurement information related to the environment surrounding the person 5, such as temperature or humidity, as input to perform operations, control, processing, or judgments in the imaging system 100 according to this embodiment.
  • FIG. 6 is a diagram illustrating another example of the imaging system 100.
  • the background unit 3 of the imaging system 100 shown in FIG. 2 is a panel with a flat pattern applied thereto, the imaging system 100 in the first modification projects a pattern with light onto the background unit 3 which is a flat panel.
  • the projection unit 18 projects a light pattern (also called a background pattern) onto the background unit 3.
  • the projection unit 18 can turn the projection light on and off or change the background pattern according to a control signal sent from the processing unit 11.
  • the first imaging unit like the first imaging unit 1 of the imaging system 100 shown in FIG. 2, extracts the distortion components of the background image in the first imaging unit 1 caused by the refraction of light resulting from the difference in refractive index between the breath 7 in space and the surrounding air, and visualizes the breath 7.
  • the first imaging unit 1 is positioned on the head side of the person 5, and the background unit 3 is positioned on the leg side of the person 5, but these arrangements for the person 5 described below may be applied to either the imaging system 100 shown in FIG. 2 or the imaging system 100 shown in FIG. 6.
  • the first imaging unit 1 is installed on or near the center line CL that runs from the head to the legs of the person 5.
  • Figure 7 shows a person 5 lying on a sleeping surface 6, viewed from above the person's head.
  • Figures 7(A) to 7(C) show schematic diagrams of changes in the posture (face direction) of person 5.
  • FIG. 7A shows a state in which the person 5 is facing directly upward.
  • FIG. 7B shows a state in which person 5 is facing to the right.
  • FIG. 7C shows a state in which the person 5 is facing to the left.
  • the first imaging unit 1 is disposed in a vertical plane including a center line CL that runs from the head to the legs of the person 5 when the person 5 is in a position with his/her face facing straight up.
  • a center line CL that runs from the head to the legs of the person 5 when the person 5 is in a position with his/her face facing straight up.
  • FIG. 8 is a diagram illustrating a schematic diagram of still another example of the imaging system 100.
  • the imaging system 100 enables detection of exhaled breath 7 when the person 5 changes their sleeping position, for example, by turning over in their sleep.
  • the first imaging unit 1 is disposed above the person 5 lying on the bed surface 6, and images the person 5 from above.
  • the procedure for visualizing the exhaled breath 7 is the same as that of the imaging system 100 according to the first embodiment.
  • the sleeping surface 6 or bedding is used as the background (corresponding to the background portion 3).
  • the sleeping surface 6 may be, for example, a flooring material or bedding such as a sheet. In this case, a general pattern or design on the flooring material or the bedding can be used as the background.
  • the sleeping surface 6 or bedding may have a pattern or design suitable for visualizing the exhaled breath 7.
  • the pattern or design may be a geometric pattern such as stripes or a dot pattern.
  • a dot pattern also includes a random dot pattern.
  • the pattern may be applied to the entire imaging area D1 of the first imaging unit 1, or at least to a necessary part of the imaging area D1.
  • the lighting unit 4 is installed above the person 5 and illuminates the person 5 or the sleeping surface 6 from above the person 5. This allows the illumination light from the lighting unit 4 to be appropriately emitted toward the imaging area D1 of the first imaging unit 1.
  • the first imaging unit 1 is installed above the person 5, but it is preferable that it be installed near the center line extending from the head to the legs of the person 5.
  • FIG. 9 shows a person 5 lying on a bed surface 6 as viewed from directly above.
  • 9A to 9C are diagrams that typically show states in which the posture of the person 5 has changed.
  • FIG. 9A shows a state in which a person 5 is lying on his/her back.
  • FIG. 9B is a diagram showing a state in which the person 5 is facing to the right.
  • FIG. 9C shows the state in which the person 5 is facing left.
  • first image capture unit 1 when person 5 is lying on his/her back, first image capture unit 1 is disposed in a vertical plane including a center line CL that runs from person 5's head to his/her legs. As a result, as shown in Figures 9(B) and 9(C), even if person 5's face moves to the left or right, or if person 5 rolls over to the left or right, first image capture unit 1 can capture the airflow without exhaled breath 7 being blocked by person 5's head or face.
  • a system for visualizing exhaled breath 7 can be provided.
  • the imaging system 100 may be configured to visualize airflow from multiple directions.
  • the processing unit 11, display unit 12, and recording unit 13 do not necessarily need to be multiple.
  • Feedback control function A feedback control function for stably visualizing the exhaled breath 7 regardless of the posture of the person 5 will be described below.
  • the second imaging unit 2 captures an image of the person 5 and the area around the person 5.
  • the body movement of the person 5 is estimated from the image captured by the second imaging unit 2, and feedback control is performed on the components in the imaging system 100 based on the estimated information.
  • This feedback control function is applicable to the first embodiment and each of the modified examples.
  • the processing unit 11 when capturing an image using the second imaging unit 2, it is possible to supplement the light by illuminating the person 5 and its surrounding environment with part of the illumination light from the illumination unit 4, and the information regarding the surrounding environment of the person 5 acquired by the second imaging unit 2 can be used by the processing unit 11.
  • the physical movements of person 5 are estimated by detecting a change in posture caused by person 5 turning over in bed, etc., using the second imaging unit 2.
  • the processing unit 11 estimates body posture information such as the person's posture and the direction of the face through facial recognition, using data processing that utilizes technologies such as artificial intelligence (AI) from the image data captured by the second imaging unit 2, and determines the posture state of person 5.
  • AI artificial intelligence
  • the imaging system 100 may have a mechanism for correcting the installation angle of the first imaging unit 1 and a mechanism for correcting the imaging surface of the first imaging unit 1 in an in-plane direction in order to move the first imaging area D1.
  • a mechanism for correcting the installation angle of the first imaging unit 1 and a mechanism for correcting the imaging surface of the first imaging unit 1 in an in-plane direction in order to move the first imaging area D1.
  • feedback is provided to and controlled by the mechanism for correcting the installation angle of the first imaging unit 1 and the mechanism for correcting the imaging surface of the first imaging unit 1 in an in-plane direction so that the mouth or nose re-enters the imaging area D1 of the first imaging unit 1. This allows the breath 7 to be stably visualized regardless of the posture of the person 5.
  • the second imaging unit 2 can also use the illumination light from the illumination unit 4, which extends to the area of the person 5 and the sleeping surface 6, for imaging.
  • the background image captured by the first imaging unit 1 is distorted by the refraction of light caused by the difference in refractive index between the breath 7 and the surrounding air.
  • the breath 7 is visualized by extracting the distortion component of this image.
  • One of the causes of the refractive index difference is the temperature difference between the breath 7 and the surrounding air. If this temperature difference is large, the refractive index difference will also be large, and the degree of distortion of the background image will also be large. As a result, it becomes easier to visualize the breath 7.
  • the temperature difference between the breath 7 and the surrounding air is small, the refractive index difference will be small and the degree of distortion of the background image will also be small. As a result, it will be difficult to visualize the breath 7.
  • the predetermined value ⁇ T0 it is desirable for the predetermined value ⁇ T0 to be 5 degrees or more.
  • the imaging system 100 can monitor the temperature of the surrounding air and perform air conditioning control using an air conditioner or other air conditioning device 16 based on the temperature information.
  • the target temperature value for air conditioning control can be determined in the following way. From a database of previously measured body temperature of person 5 and the temperature of exhaled breath 7 of person 5, the average temperature difference or estimated temperature difference ⁇ T between the body temperature of person 5 and the exhaled breath 7 of person 5 (the body temperature of person 5 minus the temperature value of exhaled breath 7 of person 5) is calculated.
  • the estimated temperature difference ⁇ T includes the temperature difference that occurs when the exhaled breath passes through the trachea and mouth cavity and is cooled before being expelled.
  • the imaging system 100 may have as a component a thermometer that measures the body temperature of the person 5.
  • the target temperature is determined by subtracting an estimated temperature difference ⁇ T uniformly from the body temperature Th of the person 5 measured by the thermometer (Th- ⁇ T), to which a predetermined value ⁇ T0 is added (Th- ⁇ T+ ⁇ T0), or by subtracting a predetermined value ⁇ T0 (Th- ⁇ T- ⁇ T0).
  • the illumination light from the illumination unit 4 may be invisible light
  • the projection light emitted from the projection unit 18 may also be invisible light.
  • the illumination light and projection light are invisible light, it is possible to prevent the person 5 from feeling dazzled.
  • the sleep of the person 5 is disturbed.
  • the wavelength of the illumination light is preferably 400 nm or less or 700 nm or more
  • the wavelength of the projection light is also preferably 400 nm or less or 700 nm or more.
  • the imaging system 100 is capable of directly detecting or determining the presence or absence of exhaled breath 7 without restraint, and can therefore be used to monitor the breathing state during sleep in testing for sleep apnea syndrome (SAS). Furthermore, it is possible to distinguish between obstructive sleep apnea syndrome (OSAS) and central sleep apnea syndrome (CSAS) without imposing any physical burden on the person 5.
  • SAS sleep apnea syndrome
  • CCS central sleep apnea syndrome
  • the imaging system 100 is described for use in visualizing exhaled breath 7 in sleep apnea syndrome testing and testing the breathing state of a person 5, but the imaging system 100 is not limited to this application.
  • the imaging system 100 may be applied to a wellness sleep monitor aimed at improving sleep quality, to control of the sleep environment based on sleep monitoring, and to health management from data recording related to sleep index values such as estimation of sleep depth.
  • biometric information relating to breathing movements extracted from exhaled breath 7 to control equipment and products installed in various environments, such as the temperature environment, humidity environment, air conditioning and ventilation environment, or lighting environment, in the space in which person 5 spends time.
  • the sleep state estimation unit 32 can generate a sleep index value indicating the depth or stability of sleep based on, for example, at least one of the breath information estimated by the breath estimation unit 30 or the respiratory state information estimated by the respiratory state estimation unit 31, and estimate the quality of sleep based on the sleep index value.
  • REM sleep two types of sleep states - light REM sleep and deep non-REM sleep - alternate in cycles of about 1.5 to 2 hours.
  • REM sleep the muscles of the entire body are relaxed, but the brain is actively working, and the heart rate and breathing rate increase and become irregular, with breathing tending to become shallow.
  • non-REM sleep the brain is at rest, and the body is also at rest; the deeper the sleep, the more restful the brain is, and heart rate and breathing rate tend to become more stable and breathing becomes deeper and slower. It is said that the balance between these two types of sleep states allows the brain and body to recover.
  • many hormones are secreted in the body during sleep, and in particular, growth hormone, melatonin, and cortisol, which are secreted in large amounts during deep non-REM sleep, are said to contribute to maintaining or promoting the body's health.
  • the breathing state during sleep will correlate to a certain degree with the depth of sleep and the closely related quality and comfort of sleep. Furthermore, because the state of sleep contributes to maintaining or promoting the body's health through hormone secretion, it is expected that there will be a certain correlation between the structure of the body and breathing during sleep.
  • the sleep state estimation unit 32 uses a certain correlation between breathing, sleep depth, sleep stability, sleep quality, and sleep comfort to generate a sleep index value from the estimation results by the exhalation estimation unit 30 or the respiratory state estimation unit 31, and can estimate sleep quality and sleep comfort.
  • the environmental control unit 33 controls the air conditioning equipment 16, the ventilation equipment 17, and the lighting equipment 19 based on the sleep index value of the sleep state estimation unit 32 or the estimation results of sleep quality and comfort during sleep, and can optimally control the sleep environment in terms of temperature, humidity, and brightness to improve sleep quality and comfort during sleep.
  • Embodiment 2 An imaging system 100 according to the second embodiment will be described below.
  • the imaging system 100 according to the second embodiment is an imaging system for detecting the breath 7 of a person 5 in a living room space.
  • the imaging system 100 according to the second embodiment makes it possible to visualize the breath distribution of a person 5 in a living room space, and makes it possible to, for example, control the ventilation of the living room space and avoid crowded conditions among people in the room based on the visualized breath distribution information.
  • FIG. 10 is a schematic diagram showing an imaging system 100 according to embodiment 2.
  • the description of the same components as in embodiment 1 will be omitted.
  • FIG. 10 there are multiple people (two people 25a, 25b in FIG. 10) in the interior space of a room.
  • the room is provided with at least one air conditioner 16, a floor 23, and a ceiling 24. Multiple air conditioners 16 may be provided in the room.
  • Person 25a is also referred to as the "first person 25a,” and person 25b is also referred to as the “second person 25b.” Breath 17a is discharged from the mouth of first person 25a, and breath 17b is discharged from the mouth of second person 25b.
  • the first imaging unit 1 includes a plurality of imaging units 1a and 1b.
  • Each of the imaging units 1a and 1b like the first imaging unit 1 described in the first embodiment, extracts distortion components of the background image in the first imaging unit 1 caused by the refraction of light resulting from the difference in refractive index between the exhaled breath in the space and the surrounding air, and visualizes the exhaled breath.
  • the first imaging unit 1 is composed of two imaging units, imaging unit 1a and imaging unit 1b, but the first imaging unit 1 may have three or more imaging units. Also, depending on the size of the interior space of the room, imaging unit 1b can be omitted if a sufficient imaging area can be secured.
  • the first imaging unit 1 is described as being composed of two imaging units, imaging unit 1a and imaging unit 1b.
  • the first imaging unit 1 is disposed on or near the ceiling 24 of the living space.
  • the first imaging unit 1 images the person 25a from above toward the floor surface 23, and images the person 25a, the person 25b, the breath 17a of the person 25a, and the breath 17b of the person 25b from above.
  • the processing unit 11 receives the imaging data from each of the imaging units 1a and 1b, and visualizes the exhaled breath 17a and the exhaled breath 17b from the distortion components of the background image from the imaging data as described above.
  • the background portion (corresponding to background portion 3 described in embodiment 1) is floor surface 23, and a typical pattern or design applied to flooring materials can be used for the background portion. Also, a pattern that is more suitable for visualizing exhaled breath may be applied to the background portion.
  • the pattern can be a geometric pattern such as a stripe or dot pattern. This geometric pattern also includes a random dot pattern.
  • the pattern may be applied to the entire imaging area D1 of the first imaging unit 1 or to a necessary part of the area.
  • the use of a general pattern or design on flooring has the advantage that it is not necessary to prepare a dedicated background for visualizing breath, making it possible to simplify the system configuration.
  • the use of a patterned flooring has the advantage that it is easy to install the imaging system 100 without adding any additional physical components.
  • the imaging units 1a and 1b are installed on or near the ceiling 24. In this case, it is desirable that the imaging units 1a and 1b are arranged on the floor surface 23 serving as the background such that the imaging area Da of the imaging unit 1a and the imaging area Db of the imaging unit 1b partially overlap.
  • FIG. 11 is a diagram showing a room in which the imaging system 100 according to the second embodiment is installed, as viewed from directly above.
  • the imaging system 100 according to the second embodiment may include a plurality of ventilation devices 18a and 18b.
  • imaging area Da and imaging area Db are each imaging areas on the floor surface 23 (i.e., imaging areas at a height position of zero from the floor surface 23). In the example shown in FIG. 11(A), there is imaging area Dab where imaging area Da and imaging area Db overlap.
  • imaging areas Da and Db are imaging areas near the height at which exhaled breath 17a and exhaled breath 17b are generated from floor surface 23.
  • imaging areas Da and Db are imaging areas near the height position of the faces of persons 25a and 25b from floor surface 23.
  • imaging areas Da and Db are set so that there is no imaging area Dab where they overlap.
  • imaging unit 1a and imaging unit 1b are set small, it is possible to prevent discontinuity between imaging area Da and imaging area Db at the height near the faces of persons 25a and 25b. However, the smaller this distance is set, the more the number of imaging units must be increased to ensure the same total imaging area of the first imaging unit 1.
  • imaging area Dab where imaging area Da and imaging area Db overlap, so that they do not exist at a height where the detection target (e.g., exhaled breath) may occur.
  • the detection target e.g., exhaled breath
  • the imaging system 100 visualizes exhaled breath by placing the first imaging unit 1 on or near the ceiling 24 and using the floor surface 23 as a background.
  • imaging from above has the advantage that blind spots caused by people or surrounding obstacles are less likely to occur, and imaging breath 17a, breath 17b, people 25a, and people 25b from above makes it easier to obtain and use positional or distribution information on the plane in which people are moving.
  • the processing unit 11 generates spatially continuous visualization data of the room space by combining multiple visualization data, generates a distribution map of the exhaled air, and obtains positional information of the exhaled air within the room space.
  • positional information of the exhaled air it is also possible to obtain information such as the flow direction of the exhaled air, the volume of the exhaled air, and the flow rate of the exhaled air, or estimated values thereof.
  • the processing unit 11 can use information such as the position information of the breath, the flow direction of the breath, the volume of the breath, the flow rate of the breath, or at least any of their estimated values to control the ventilation volume, direction of the ventilation flow, operation or stop of the ventilation equipment 18a and the ventilation equipment 18b, and can also control the airflow volume, direction of the airflow, operation or stop of the air conditioning equipment 16.
  • the illumination light from the illumination unit 4 can also be invisible light.
  • the illumination light and the projection light are invisible light, it is possible to prevent the persons 25a and 25b from being dazzled.
  • invisible light when the lighting in the room is dimly lit, it is preferable to use invisible light, which allows the persons 25a and 25b to be prevented from being dazzled and allows visualization of exhalation.
  • near-infrared light, infrared light, or ultraviolet light can be used as invisible light.
  • the wavelength of the illumination light it is desirable for the wavelength of the illumination light to be 400 nm or less or 700 nm or more.
  • each embodiment uses the Schlieren method, particularly the background Schlieren method (BOS method), as an example, but each embodiment is not limited to this.
  • each embodiment may be a modified version of the Schlieren method, such as a focusing Schlieren method that uses a cutoff filter.
  • the means for dividing the imaging system 100 in each embodiment into multiple imaging regions and selectively detecting or visualizing airflow may be applied to an imaging system that detects or visualizes fluid flows, including airflows, and that includes an imaging unit and a projection unit as components, such as the PIV method or the shadow window method.
  • the detection target is not limited to breath, and may be, for example, a flow in air, i.e., airflow. In a liquid, the detection target is the flow of a liquid or solution.
  • Detection targets include breath emitted by a person or animal, and thermal airflow due to body metabolism.
  • breath information particularly, breathing information relating to each of mouth breathing and nasal breathing
  • an air conditioning and ventilation system is the best means because the imaging system according to the present invention has the advantage of being able to estimate breath information without contact and without physical burden, but is not limited to this.
  • breath information (particularly, breathing information relating to each of mouth breathing and nasal breathing) estimated from a pulse oximeter and capnometer worn on the body, other airflow pressure sensors, temperature sensors, flow sensors, etc. can be used to control at least one of the temperature around the person, the humidity around the person, and ventilation to improve the quality of sleep based on a sleep index value indicating the depth of a person's sleep or the stability of the sleep.
  • the subject of visualization is the breath exhaled by a person, but the imaging system can also monitor the amount of breath exhaled by livestock such as cows or pigs, or other non-human animals.
  • the imaging system 100 of each embodiment may be modified as appropriate.
  • components of the imaging system 100 may be changed, added, or deleted.
  • the features or components of each embodiment may be combined in a manner different from that described above.
  • 1 imaging unit (first imaging unit), 2 imaging unit (second imaging unit), 4 lighting unit, 5, 25a, 25b person, 6 bed surface, 7, 17a, 17b breath, 11 processing unit, 12 display unit, 13 recording unit, 14 heart rate monitor, 15 microphone, 16 air conditioning equipment, 17, 18a, 18b ventilation equipment, 18 projection unit, 19 lighting equipment, 30 breath estimation unit, 31 respiratory state estimation unit, 32 sleep state estimation unit, 33 environmental control unit, 34 indoor environmental equipment, 100 imaging system (body information monitoring system), 200 air conditioning and ventilation system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pulmonology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

撮像システム（１００）は、撮像画像を出力する撮像部（１）と、撮像画像に基づいて、検出対象の流れ情報、検出対象の密度勾配、又は検出対象の屈折率勾配を取得する処理部（１１）とを有する。検出対象は、例えば、人物の空間中の呼気である。

Description

撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システム
　本開示は、撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システムに関する。
　人の呼吸などの生理状態情報を測定することにより、健康状態を監視するシステムが提案されている。例えば、呼吸動作に伴う身体の動き、例えば、腹部の動きを、送信電波の反射波の変化から間接的に検出する方法を用いたシステムが提案されている（例えば、特許文献１参照）。
特開２０２０－９６３３９号公報
　しかしながら、従来の技術では、実際の呼気の流れ又は呼気の状態を視覚化できないという課題がある。
　本開示の目的は、呼気を視覚化するシステムを提供することを目的とする。
　本開示の一態様に係る撮像システムは、
　撮像画像を出力する撮像部と、
　前記撮像画像に基づいて、検出対象の流れ情報、前記検出対象の密度勾配、又は前記検出対象の屈折率勾配を取得する処理部と
　を備え、
　前記検出対象は、人物の空間中の呼気である
　ことを特徴とする。
　本開示の一態様に係る呼気検知システムは、
　センサからの情報に基づいて、単位時間あたりの呼吸回数、呼吸リズム、前記呼気の体積、前記呼気の発生位置、又は前記呼気の前記流れ情報の少なくともいずれかの呼気情報を推定する呼気推定部を備え、
　前記呼気推定部は、
　前記センサからの情報から口呼吸と鼻呼吸を識別し、
　前記口呼吸と前記鼻呼吸とのそれぞれについて前記呼気情報を推定する
　ことを特徴とする。
　本開示の一態様に係る空調換気システムは、
　室内環境機器と、
　前記室内環境機器を制御する環境制御部と、
　前記環境制御部と通信可能に接続された前記撮像システムと
　を備えることを特徴とする。
　本開示の一態様に係る身体情報モニタリングシステムは、
　撮像画像を出力する撮像部と、
　前記撮像画像に基づいて、検出対象の流れ情報、前記検出対象の密度勾配、又は前記検出対象の屈折率勾配を取得し、前記流れ情報、前記密度勾配、又は前記屈折率勾配から推定されたデータ又は情報を表示部に向けて出力する処理部と
　を備え、
　前記検出対象は、人物の空間中の呼気である
　ことを特徴とする。
　本開示の他の態様に係る身体情報モニタリングシステムは、
　センサからの情報に基づいて、検出対象の流れ情報、前記検出対象の密度勾配、又は前記検出対象の屈折率勾配を取得し、前記流れ情報、前記密度勾配、又は前記屈折率勾配から推定されたデータ又は情報を表示部に向けて出力する処理部と
　を備え、
　前記検出対象は、人物の空間中の呼気である
　ことを特徴とする。
　本開示によれば、呼気を視覚化するシステムを提供することができる。
実施の形態１に係る、撮像システム（身体情報モニタリングシステム）及び空調換気システムの構成を概略的に示すブロック図である。 撮像システムの動作の一例を概略的に示す図である。 （Ａ）から（Ｃ）は、ある時刻（ｔ＝Ｔ１、Ｔ２、Ｔ３、Ｔ１＜Ｔ２＜Ｔ３）における呼気推定部によって視覚化される人物の呼気の状態を概略的に示す図である。 ある時刻における呼気推定部によって視覚化される人物の呼気の状態を概略的に示す図である。 （Ａ）から（Ｄ）は、呼気推定部で検出された口呼吸及び鼻呼吸のそれぞれの呼気断面積及び呼気体積（呼気量）の時間的な変化を模式的に示す図である。 撮像システムの他の例を概略的に示す図である。 （Ａ）から（Ｃ）は、寝床面に横たわる人物を、人物の頭上側から見た様子を示す図である。 撮像システムのさらに他の例を概略的に示す図である。 （Ａ）から（Ｃ）は、人物の姿勢が変化した状態を模式的に示す図である。 実施の形態２に係る撮像システムを示す概略的に示す図である。 （Ａ）及び（Ｂ）は、実施の形態２に係る撮像システムが設けられた居室を真上方向から見た図である。 実施の形態２に係る撮像システムが設けられた居室内空間を真横方向から見た図である。
　以下、種々の実施の形態について図面を参照しつつ説明する。図面において、同一又は対応する構成要素は、同一の符号によって示される。
実施の形態１．
　図１は、実施の形態１に係る、撮像システム１００（身体情報モニタリングシステム）及び空調換気システム２００の構成を概略的に示すブロック図である。
　図２は、撮像システム１００の動作の一例を概略的に示す図である。
　空調換気システム２００は、撮像システム１００と、環境制御部３３と、室内環境機器３４とを有する。空調換気システム２００は、「室内環境システム」とも称する。
〈撮像システム１００（身体情報モニタリングシステム）〉
　撮像システム１００は、背景型シュリーレン法を基本としたもので説明するが、ＰＩＶ（Particle　Image　Velocimetry）又はカットオフフィルタを用いるフォーカシングシュリーレン法を基本とした撮像システム１００でもよい。
　本出願における撮像システム１００では、睡眠時の姿勢状態の人物５、又は人物５（睡眠時の姿勢状態に限られない）の呼気を視覚化の対象としている。本出願において、呼気を発する者を「人物５」と称する。図２に示される例では、人物５は、睡眠姿勢をとっている。
　撮像システム１００は、人物５の身体情報を監視する身体情報モニタリングシステムとしても用いられる。したがって、撮像システム１００を身体情報モニタリングシステムと称してもよい。
　撮像システム１００は、例えば、少なくとも１つの撮像部（本実施の形態では、第１の撮像部１）と、照明部４と、処理部１１と、表示部１２と、記録部１３と、心拍計１４と、マイク１５と、投影部１８とを有する。
〈撮像部１，２〉
　第１の撮像部１は、背景部３を撮像する。第１の撮像部１によって撮像された画像を「撮像画像」ともいう。第１の撮像部１は、撮像画像を処理部１１に向けて出力する。第１の撮像部１を、単に「撮像部」とも称する。
　第１の撮像部１は、人物５の呼気７を撮像することができる位置に配置されている。例えば、第１の撮像部１は、床面に横たわる人物５の呼気７を撮像可能な位置に配置されている。第１の撮像部１は、例えば、カメラである。
　撮像システム１００は、第２の撮像部２をさらに有してもよい。第２の撮像部２は、人物５と、人物５の周辺の領域を撮像することができる。第２の撮像部２は、例えば、カメラである。
　背景部３は、例えば、床面の模様又は寝具の模様を含む。模様とは、呼気７の視覚化に適した柄又は模様のことである。例えば、ストライプ、ドットパターンなどの幾何学パターンを模様とすることができる。ドットパターンは、ランダムなドットパターンも含む。例えば、この床面は、人物５が横たわっている部分の周囲の領域であり、この寝具は、人物５が横たわっている部分の周囲の領域である。寝具の模様は、人物５が使用している模様を含む。床面は、寝床面６でもよい。
　第１の撮像部１及び背景部３は、背景型シュリーレン法の基本構成部である。第１の撮像部１は、背景部３の撮像領域Ｄ１（第１の撮像領域ともいう）の輝度情報を画像データとして取得する。この場合、輝度情報が適切に撮像及び取得されるように第１の撮像部１はレンズ光学系を有することができる。
〈照明部４〉
　照明部４は、背景部３に含まれた模様に照明光を照射する。照明部４から照射される照明光は、例えば、不可視光である。この場合、照明光の波長は、第１の撮像部１又は第２の撮像部２が検出可能な波長帯域の範囲内である。
〈処理部１１〉
　処理部１１は、撮像システム１００の各部の動作及び入出力を制御する。例えば、処理部１１は、第１の撮像部１の撮像位置を制御する処理、第１の撮像部１によって撮像された画像を用いた様々な処理、第２の撮像部によって取得された撮像データの処理、及び照明部４の動作の制御を行う。さらに、処理部１１は、撮像画像に基づいて推定された検出対象（本実施の形態では、呼気７）に関するデータ又は情報を、表示部１２及び記録部１３に向けて出力する。これにより、検出対象（本実施の形態では、呼気７）に関するデータ又は検出対象（本実施の形態では、呼気７）情報を、表示部１２に表示し、記録部１３に記録することができる。
　処理部１１は、睡眠姿勢をとっている人物５の呼気情報を推定する。呼気情報は、例えば、単位時間あたりの呼吸回数、呼吸リズム、呼気の体積、呼気の発生位置、又は呼気の流れ情報の少なくともいずれかである。呼気の流れ情報は、呼気の存在が検知される領域の２次元画像上の動きに関する情報であり、前記領域の境界の拡がりや前記拡がりの速さ及び移動量や方向、又は前記領域の重心位置の移動量やその方向に関する情報を意味する。
　例えば、処理部１１は、撮像画像に基づいて、検出対象の流れ情報、検出対象の密度勾配、又は検出対象の屈折率勾配を取得する。検出対象は、例えば、人物５の空間中の呼気７である。人物５の空間中の呼気７とは、人物５の体内から外部に発せられる呼気のことである。この場合、呼気７は、例えば、床面と第１の撮像部１との間又は寝具と第１の撮像部１との間に存在する。
　例えば、処理部１１は、模様又は背景パターンデータ等を投影部１８に伝送し、投影部１８を制御する。投影部１８は、光の模様（背景パターンともいう）を背景部３に投影する。
　図１に示される例では、処理部１１は、呼気推定部３０と、呼吸状態推定部３１と、睡眠状態推定部３２とを有する。ただし、図１では呼気推定部３０、呼吸状態推定部３１、及び睡眠状態推定部３２が処理部１１の内部に図示されているが、必ずしもこの構成に限られず、呼気推定部３０、呼吸状態推定部３１、及び睡眠状態推定部３２が処理部１１の外に設けられていてもよい。
　呼気推定部３０は、第１の撮像部１によって撮像された画像を用いて、第１の撮像部１によって取得される背景部３の撮像画像の変化に基づいて、空間中の密度勾配（例えば、呼気７の密度勾配）又は屈折率勾配（例えば、呼気７の屈折率勾配）を取得し、空間中の密度勾配画像（例えば、呼気７の密度勾配画像）又は空間中の屈折率勾配画像（例えば、呼気７の屈折率勾配画像）の画像データを生成する。
　さらに、呼気推定部３０は、第１の撮像部１によって撮像された画像（具体的には、密度勾配画像又は屈折率勾配画像の画像データ）から、呼気情報を推定することができる。
　呼気推定部３０は、呼気情報から呼気の長さ及び幅を算出し、呼気の体積を推定する。例えば、呼気推定部３０は、呼気情報から呼気の長さ及び幅を算出し、呼気の長さと幅の乗算した値又は呼気の長さと幅の２乗を乗算した値を、呼気の体積の推定値とする。
　呼気推定部３０は、撮像画像から口呼吸と鼻呼吸を識別し、口呼吸と鼻呼吸とのそれぞれについて呼気情報を推定する。
　呼吸状態推定部３１は、呼気情報の少なくともいずれかに基づいて、正常な呼吸の基準パターンとの特徴の違い又は呼気体積の時間変動の基準パターンとの特徴の違いから呼吸状態の乱れを推定及び監視することができる。例えば、呼吸状態推定部３１は、呼吸パターンの乱れ又は不規則性から、呼吸の安定状態であるか否かを推定することができる。呼吸状態推定部３１によって推定される呼吸状態を示す情報は、呼吸状態情報と称する。
　さらに、呼吸状態推定部３１は、推定結果から、特定の疾患の有無を推定することができる。
　例えば、呼吸状態推定部３１は、睡眠時無呼吸症候群の種類を推定することができる。この場合、呼吸状態推定部３１は、呼気推定部３０によって推定される口呼吸及び鼻呼吸のそれぞれの呼気の体積に基づいて睡眠時無呼吸症候群の種類を判別する。
　睡眠状態推定部３２は、呼気推定部３０によって推定される呼気情報又は呼吸状態推定部３１によって推定される呼吸状態情報の少なくともいずれかに基づいて人物５の睡眠の深さ又は人物５の睡眠の安定性を示す睡眠指標値を生成し、睡眠指標値に基づいて人物５の睡眠の質を推定することができる。睡眠の深さは、身体も脳も熟眠するとされるノンレム睡眠状態の継続時間長さが指標となる。睡眠の安定性は、呼吸の深さ（例えば、呼気量の大きさ）、呼吸の周期性、又はそれらの時間変動と関連性が深く、これらから推定される。睡眠の深さと睡眠の安定性の確保により、睡眠の質が高まる。よって、睡眠の質は、呼吸状態との関係性が深い。
　処理部１１は、例えば、中央処理装置（ＣＰＵ）である。この場合、処理部１１の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアはプログラムとしてメモリに格納することができる。この構成により、処理部１１の機能を実現するためのプログラムは、コンピュータによって実行される。
　処理部１１は、複数のプロセッサ及び複数のメモリを有してもよい。この場合、処理部１１の機能は、これらの複数のプロセッサ及び複数のメモリによって実現される。
　処理部１１は、単一回路及び複合回路などの専用のハードウェアとしての処理回路で構成されてもよい。処理回路は、例えば、システムＬＳＩである。この場合、処理部１１の機能は、処理回路で実現される。
〈表示部１２〉
　表示部１２は、例えば、ディスプレイ、又はスピーカーである。表示部１２は、振動を発生させるモータなどのアクチュエータでもよい。
〈記録部１３〉
　記録部１３は、例えば、揮発性メモリ、不揮発性メモリ、又はこれらの両方によって構成されたメモリである。
〈心拍計１４〉
　心拍計１４は、人物５の心拍を計測する。
〈マイク１５〉
　マイク１５は、人物５のいびきなどの呼吸音を取得する。
〈投影部１８〉
　投影部１８は、様々な模様を背景部３に投影することができる。したがって、背景部３（例えば、床面）の模様は、投影部１８によって背景部３（例えば、床面）に投影される。
〈室内環境機器３４〉
　室内環境機器３４は、例えば、空調機器１６と、換気機器１７と、照明機器１９とを有する。室内環境機器３４は、空調機器１６、換気機器１７、又は照明機器１９のうちの少なくとも１つを有していればよい。
〈環境制御部３３〉
　環境制御部３３は、室内環境機器３４を制御する。図１に示される例では、環境制御部３３は、空調機器１６、換気機器１７、及び照明機器１９を制御する。環境制御部３３は、撮像システム１００と通信可能に接続されている。
環境制御部３３は、例えば、空調機器１６を制御することにより、人物５が存在する室内の空調制御を行う。
　環境制御部３３は、人物５の周囲の温度と呼気７との温度差によって屈折率差を発生させるように人物５の周囲の温度を制御することができる。
　環境制御部３３は、人物５の体温と呼気７との温度差から予め定められたバイアス温度を差し引いて得られた温度目標値に近づくように人物５の周囲の温度を制御することができる。
　環境制御部３３は、処理部１１から密度勾配又は屈折率勾配を取得し、前記密度勾配又は屈折率勾配に基づいて、人物５の周囲の温度、人物５の周囲の湿度、又は換気の少なくともいずれかを制御することができる。
　環境制御部３３は、処理部（具体的には、睡眠状態推定部３２）によって生成される、人物５の睡眠の深さ又は睡眠の安定性を示す睡眠指標値に基づいて、人物５の睡眠の質を高めるように、人物５の周囲の温度、人物５の周囲の湿度、又は換気の少なくともいずれかを制御することができる。
〈撮像システム１００の動作〉
　撮像システム１００の動作の一例として、睡眠状態又はベッドなどの寝具（図２では寝床面６）に横たわった姿勢である人物５の呼気を視覚化するための方法について説明する。ただし、処理部１１によるデータ処理及び推定については、人物５が必ずしも睡眠状態又は横たわった姿勢である必要はなく、座った姿勢又は立ち上がった姿勢においても同様に、処理部１１によるデータ処理及び推定を使用できる。
　実施の形態１に係る撮像システム１００は、例えば、睡眠時無呼吸症候群（ＳＡＳ）の患者を対象に睡眠時の呼吸状態モニターに適用できる。したがって、病院などの医療施設、自宅などの室内環境での活用は実施の形態のひとつである。
　以下では、睡眠時無呼吸症候群（ＳＡＳ）の患者を対象に睡眠時の呼吸状態モニターを行なう撮像システム１００について説明する。ただし、実施の形態１に係る撮像システム１００は、睡眠時無呼吸症候群（ＳＡＳ）のような特定の疾患に関する呼吸状態モニターへの適用に限られない。例えば、呼気７の状態をモニターすることで睡眠の快適性及び睡眠の質を推定し、さらにそれらに基づいた睡眠環境の制御、さらには睡眠の深さの推定などの睡眠指標値に関するデータ記録から健康管理のために撮像システム１００を用いてもよい。
　一般に、睡眠時無呼吸症候群（ＳＡＳ）は、無呼吸中に呼吸努力を伴う閉塞性睡眠時無呼吸症候群（ＯＳＡＳ）と、呼吸努力がない中枢性睡眠時無呼吸症候群（ＣＳＡＳ）、イベント初期に吸気努力が消失していて、その後吸気努力の再開を認める混合性睡眠時無呼吸症候群（ＭＳＡＳ）に大別される。これらの分類に応じて、治療方針や処方が異なるため、人物５の呼吸状態をモニターし、無呼吸症の原因を多面的に調べることが必要とされている。
　睡眠時無呼吸症候群（ＳＡＳ）の呼吸モニターでは、一般に、呼吸動作をモニターするためのＥＧＣ（electrocardiogram）電極（心電図用電極）の胸部と腹部への装着、血中酸素濃度をモニターするためのパルスオキシメータの手足の指への装着、新生児などでは酸素又は経皮炭酸ガスをモニターするためのガスセンサーの胸部への装着などの必要が伴うことから、図２に示されるように、人物５（例えば、患者）は仰向け姿勢（すなわち、顔及び胸部を上方に向けた姿勢）で寝床面６に横たわることが多い。そのため、仰向け姿勢の場合、呼気は天井へ向かって排出される。
　図２に示される例では、背景部３は、背景として機能する平面模様が施されたパネルであり、寝具に一体装備されたものである。寝床面６は、背景部３のパネルを固定する機構を備える。これにより、例えば、医療施設において、寝床面６（ベッド）の設置の度に、背景部３を決まった位置に配置できる利点がある。
　照射領域Ｓは、照明部４によって照明光が照射される領域である。図２に示される例では、照射領域Ｓは、背景部３を含んでいる。撮像領域Ｄ１は、第１の撮像部１が撮像する領域である。ここで、照射領域Ｓは四角形状で図示されているが、この形状に限られない。例えば、照射領域Ｓは、少なくとも撮像領域Ｄ１の一部でよく、照明光は、撮像領域Ｄ１、人物５、及び寝床面６にまで広がっていてもよい。
　照射領域Ｓで反射又は散乱される光が第１の撮像部１によって取り込まれて時間連続的に画像が取得される。
　処理部１１の呼気推定部３０は、撮像画像から参照画像（例えば、撮像画像のうちの１つの画像、または複数の撮像画像から平均処理などを施した画像）をピクセル毎に輝度値を差し引いた差分画像又は撮像画像の一部領域毎に移動量を数値化し、数値化した移動量を輝度値に変換して再構成した出力画像を生成することができる。この出力画像が、上記に述べた密度勾配画像又は屈折率勾配画像の画像データである。前記撮像画像は、背景部３の模様や輝度パターン、すなわち背景部３の色の発色や反射／透過／吸収／散乱により生じる輝度パターンを撮像部で取得される出力画像である。
　上述の画像差分又は移動量から画像を再構成するために、パターンマッチング又は画像マッチングの手法のほか、機械学習による推論手法を用いてもよい。
　密度勾配画像又は屈折率勾配画像の画像データは、密度勾配又は屈折率勾配を引き起こす２次元の数値データである。例えば、密度勾配画像又は屈折率勾配画像の画像データは、空間中の呼気、気流の分布、又は気流の存在を示す２次元の数値データであり、密度勾配画像又は屈折率勾配画像の画像データを、呼気又は気流などの視覚化画像データとして扱うこともできる。
　上記では、密度勾配画像又は屈折率勾配画像の画像データを時刻毎の静止画として説明したが、呼気推定部３０は、画像データの密度勾配、屈折率勾配の存在領域、その輪郭の時間的な変化、又は時間連続的な動きから、流体性のある呼気又は気流を推定することができる。
　図３（Ａ）から図３（Ｃ）は、ある時刻（ｔ＝Ｔ１、Ｔ２、Ｔ３、Ｔ１＜Ｔ２＜Ｔ３）における呼気推定部３０によって視覚化される人物５の呼気７の状態を概略的に示す図である。
　図３（Ａ）は、時刻Ｔ１で呼気が排出されていない状態である。
　図３（Ｂ）は、時刻Ｔ２で呼気が排出されはじめた状態である。
　図３（Ｃ）は、時刻Ｔ３で呼気が排出されて人物５の呼気が最も広がった状態である。
　呼吸動作が繰り返されると、図３（Ａ）、図３（Ｂ）、図３（Ｃ）、図３（Ａ）、・・・の順に呼気７の広がりが変化し繰り返される。
　呼気推定部３０は、呼気７の視覚化範囲から呼気７の空間的な大きさを推定することができる。呼気７の空間的な大きさは、例えば、人物５の口から最も離れた呼気７の到達距離Ｌと、その距離の軸に対して垂直な方向の呼気７の広がりを呼気幅Ｗと定義し、呼気断面積Ａ＝Ｌ×Ｗとなる。また、呼気７の広がり形状を踏まえて係数ｋａを考慮して呼気断面積Ａ＝ｋａ×Ｌ×Ｗとしてもよい。
　呼気体積（すなわち、呼気量）の推定は、奥行き方向の呼気７の幅を呼気幅Ｗと同じと仮定して、例えば、呼気体積Ｖ＝Ｌ×Ｗ×Ｗとすることができる。また、呼気７の広がり形状を踏まえて係数ｋｖを考慮して呼気体積Ｖ＝ｋｖ×Ｌ×Ｗ×Ｗとしてもよい。また、呼気断面積Ａ及び呼気体積Ｖは、フローメータ又はスパイロメータの計測値との相関比較を予め行っておくことで、肺気量又は肺活量への変換が容易となる。
　以上に説明した方法により、呼気推定部３０は、呼気７の視覚化データから時刻ごとの呼気断面積Ａ及び呼気体積Ｖを生成することができる。
　また、呼気推定部３０は、呼気断面積Ａの値又は呼気体積Ｖの値を時刻データと併せて保持しておき、呼気断面積Ａの値又は呼気体積Ｖの値が増減するときの単位時間あたりの最大ピーク及び最小ピークの出現回数に基づいて人物５の呼吸の回数を推定することができる。
　また、呼気推定部３０は、呼気断面積Ａ又は呼気体積Ｖの値を時刻データと併せて保持しておき、前記呼気断面積Ａ又は前記呼気体積Ｖの値が増減するときの単位時間あたりの最大ピーク及び最小ピークの出現回数に基づいて呼気７又は呼吸を推定することができる。
　また、呼気推定部３０は、呼気断面積Ａ又は前記呼気体積Ｖの値が増減するときの最大ピーク及び最小ピークの時刻の周期性、それらの時刻ばらつきに基づいて呼吸リズムを推定することができる。
　また、呼気推定部３０は、撮像部１によって撮像された画像と、密度勾配画像又は屈折率勾配画像の画像データとを照合することで、人物５の顔部のどの位置から呼気７が発生しているかを推定することができる。撮像部１によって撮像された画像とは、密度勾配画像又は屈折率勾配画像の画像データが生成される前の撮像画像のことである。前記撮像画像を用いて、密度勾配画像又は屈折率勾配画像の画像データの生成処理とは別に前記撮像画像上での顔や口や鼻などを同定し、前記照合に利用することができる。これにより、顔や口や鼻を撮像するための別の撮像部を必要せずに、人物５の顔部のどの位置から呼気７が発生しているかを推定することができる。
　また、呼気推定部３０では、密度勾配画像又は屈折率勾配画像の画像データの密度勾配又は屈折率勾配の存在領域、その輪郭の時間的な変化、又は時間連続的な動きから、流体性のある呼気７を推定することができる。さらに、時間連続的な動きの情報から、呼気７が流れる方向、及び呼気７の流れ速度を推定することができる。
　以上に説明した方法により、呼気推定部３０は、単位時間あたりの呼吸回数、呼吸リズム、呼気７の体積、呼気７の発生位置、呼気７の流れ情報を推定することができる。
　さらに、呼気推定部３０は、呼吸状態における口呼吸と鼻呼吸とを見分ける機能を有する。この機能について以下に説明する。
　一般的に、鼻呼吸が人物にとっての望ましい呼吸方法であり、口呼吸が多くなると唇が乾燥したり、口腔内が乾燥したりすることで感染症のリスクが高くなる。また、閉塞性睡眠時無呼吸症候群（ＯＳＡＳ）の呼吸障害の原因のひとつとして、上気道疾患、すなわち、息をするための通り道（すなわち、気道）が狭くなる疾患が挙げられる。このような疾患の兆候には、口呼吸及び鼻呼吸のタイミング又は割合などの呼吸状態が関連する可能性がある。このような呼吸状態をモニターすることで、呼吸障害の分類、呼吸障害の診断、又は有効な治療への一助となり得る。
　図４は、ある時刻における呼気推定部３０によって視覚化される人物５の呼気７の状態を概略的に示す図である。
　呼気推定部３０は、呼気７の視覚化データから、人物５の口から吐き出される口呼気ＭＢと鼻から吐き出される鼻呼気ＮＢとを個別に抽出する。すなわち、口呼気ＭＢは、口呼吸によって生じる呼気であり、鼻呼気ＮＢは、鼻呼吸によって生じる呼気である。口呼気ＭＢ及び鼻呼気ＮＢについてもそれぞれ、図３を参照して説明した方法と同様に、呼気断面積Ａと呼気体積（呼気量）Ｖも分離算出することができる。
　図５は、呼気推定部３０で検出された口呼気ＭＢ及び鼻呼気ＮＢのそれぞれの呼気断面積Ａ及び呼気体積（呼気量）Ｖの時間的な変化を模式的に示す図である。
　呼気推定部３０は、口呼気ＭＢと前記鼻呼気ＮＢのそれぞれについて、呼気断面積Ａ及び呼気体積（呼気量）Ｖの時間変化に基づいて口呼気ＭＢの期間及び鼻呼気ＮＢの期間を抽出する。
　さらに、呼気推定部３０は、図５に示される時間的な変化から、単位時間あたりの呼吸回数、呼吸リズム、又は呼気７の流れ情報などの呼気情報を推定することができる。
　次に、呼吸状態推定部３１の機能を以下に説明する。
　呼吸状態推定部３１は、以下に説明するように、睡眠時無呼吸症候群（ＳＡＳ）の診断に利用できる無呼吸状態の有無を推定又は判断することができる。例えば、呼吸状態推定部３１は、呼気情報の少なくともいずれかに基づいて、正常な呼吸の基準パターンとの特徴の違い又は呼気体積Ｖの時間変動の基準パターンとの特徴の違いから、呼吸状態の乱れを推定及び監視することができる。
　図５（Ａ）に示される例では、呼吸が鼻呼吸のみで行われており、正常な呼吸状態を表していることがわかる。図５（Ｂ）に示される例では、口呼気ＭＢの期間と鼻呼気ＮＢの期間の両方が存在するが、鼻呼気ＮＢの期間は口呼気ＭＢの期間に比べて十分に長いことから、比較的正常な鼻呼吸が主体の呼吸状態であることがわかる。
　しかしながら、図５（Ｃ）に示される例では、口呼気ＭＢの期間と鼻呼気ＮＢの期間の両方が存在し、口呼気ＭＢの期間は鼻呼気ＮＢの期間に比べて非常に長く、鼻呼吸を中心とする正常な呼吸状態に比べて乖離していて、人物５の呼吸の異常又は異変を疑うことができる。さらに、図５（Ｄ）に示される例では、口呼気ＭＢのみが行われ、人物５の呼吸の異常又は異変を疑うことができる。
　図５（Ｃ）及び図５（Ｄ）に示されるように、呼吸状態に異常又は異変が疑われるケースでは、呼吸が一定期間停止する無呼吸期間が起こる可能性が高くなる。
　以上に説明したように、呼吸状態推定部３１は、口呼気ＭＢと鼻呼気ＮＢとの割合又は口呼気ＭＢの発生タイミングなどの呼気情報が無呼吸の発生有無と相関性を有する場合、呼気情報に関連づけて睡眠時無呼吸症候群（ＳＡＳ）の症状レベルを判断又は診断することが可能となる。
　また、口呼気ＭＢの割合が大きい場合、睡眠時無呼吸症候群（ＳＡＳ）以外にも、唇の乾燥又は口腔内の乾燥による感染症リスクを予見できる。
　また、処理部１１は、人物５の身体情報を計測する機器、例えば、心拍計１４又はマイク１５のほか、人物５の周辺環境に関わる温度又は湿度などの計測情報を入力として、本実施の形態に係る撮像システム１００における動作、制御、処理、又は判断を実施するために活用することもできる。
〈変形例１〉
　撮像システム１００の他の例について以下に説明する。
　図６は、撮像システム１００の他の例を概略的に示す図である。
　図２で示される撮像システム１００の背景部３は平面模様が施されたパネルであったのに対して、変形例１における撮像システム１００は、平面的なパネルである背景部３上に光で模様を投影する。
　図６に示されるように、投影部１８は、光の模様（背景パターンともいう）を背景部３に投影する。投影部１８は、処理部１１から送信される制御信号によって投影光の点灯及び消灯、又は背景パターンの変更を行なうことができる。
　第１の撮像部１は、図２に示される撮像システム１００の第１の撮像部１と同様に、空間中の呼気７とその周囲空気との屈折率差で生じる光の屈折作用による第１の撮像部１での背景像の歪み成分を抽出し、呼気７を視覚化する。
　図２に示される例では、第１の撮像部１が人物５の頭部側に配置されており、かつ、背景部３が人物５の脚部側に配置されているが、以下で説明する人物５に対するこれらの配置構成は、図２に示される撮像システム１００又は図６に示される撮像システム１００のいずれに対しても適用してよい。
　変形例１では、第１の撮像部１は、人物５の頭部から脚部に沿った中央線ＣＬ上又は中央線ＣＬ付近に設置されていることが望ましい。
　図７は、寝床面６に横たわる人物５を、人物５の頭上側から見た様子を示す図である。図７（Ａ）から図７（Ｃ）では、人物５の姿勢（顔の向き）が変化した状態が模式的に示されている。
　図７（Ａ）では、人物５が顔を真上方向に向けた姿勢の状態が示されている。
　図７（Ｂ）では、人物５が自身の右横に顔を向けた姿勢の状態が示されている。
　図７（Ｃ）では、人物５が自身の左横に顔を向けた姿勢の状態が示されている。
　図６に示されるように、第１の撮像部１は、人物５が顔を真上方向に向けた姿勢の状態で、人物５の頭部から脚に沿った中央線ＣＬを含む上下方向の面内に配置されている。これにより、図７（Ｂ）及び図７（Ｃ）に示されるように、人物５の顔の向きが左側又は右側に動いた場合、又は、左側もしくは右側に寝返りをした場合であっても、第１の撮像部１は、人物５の頭部又は顔によって呼気７が遮られることなく気流を撮像することができる。
〈変形例２〉
　撮像システム１００のさらに他の例について以下に説明する。
　図８は、撮像システム１００のさらに他の例を概略的に示す図である。
　変形例２において、実施の形態１及び変形例１で説明した構成要素と同じ構成要素については説明を省略する。
　変形例２に係る撮像システム１００は、人物５の寝返りなどによる睡眠姿勢の変化に対して、呼気７の検出を可能にする。
　第１の撮像部１は、寝床面６に横たわる人物５の上方に配置されており、人物５の上方から人物５を撮像する。呼気７の視覚化の手順については、実施の形態１に係る撮像システム１００と同様である。
　変形例２に係る撮像システム１００では、寝床面６又は寝具が背景（背景部３に相当）として用いられる。寝床面６は、例えば、床材でもよく、シーツなどの寝具でもよい。この場合、床材又は前記寝具に施されている一般的な柄又は模様を背景に用いることができる。
　寝床面６又は寝具には、呼気７の視覚化に適した柄又は模様が施されていてもよい。例えば、ストライプ、ドットパターンなどの幾何学パターンを、柄又は模様とすることができる。ドットパターンは、ランダムなドットパターンも含む。
　模様は、第１の撮像部１の撮像領域Ｄ１の全域、またはその一部の必要な領域にすくなくとも施されていてもよい。
　上記のように、既存の床材又は寝具の一般的な柄又は模様を利用する場合、呼気７の視覚化のために、専用の背景を準備する必要がなく、システム構成の簡素化が可能となるという利点がある。さらに、模様が施された床材又は寝具を利用する場合、物理的な構成要素の追加がないため、人物５に対する物理的な圧迫感を軽減でき、撮像システム１００の設置が容易となるという利点がある。
　照明部４は、人物５の上方に設置され、人物５の上方から人物５又は寝床面６を照らすことが望ましい。これにより、照明部４からの照明光は、第１の撮像部１の撮像領域Ｄ１に向けて適切に放射される。
　上述のように第１の撮像部１は人物５の上方に設置されているが、人物５の頭部から脚に沿った中央線上付近に設置されていることが望ましい。
　図９は、寝床面６に横たわる人物５を真上から見た様子を示す図である。
　図９（Ａ）から図９（Ｃ）は、人物５の姿勢が変化した状態を模式的に示す図である。
　図９（Ａ）は、人物５が仰向け姿勢の状態を示す図である。
　図９（Ｂ）は、人物５が右に顔を向けた姿勢の状態を示す図である。
　図９（Ｃ）は、人物５が左に顔を向けた姿勢の状態を示す図である。
　図８に示されるように、人物５が仰向けに横たわった姿勢である状態で、人物５の頭部から脚に沿った中央線ＣＬを含む上下方向の面内に第１の撮像部１が配置されている。これにより、図９（Ｂ）及び図９（Ｃ）に示されるように、人物５の顔の向きが左側又は右側に動いた場合、又は、左側もしくは右側に寝返りをした場合であっても、第１の撮像部１は、人物５の頭部又は顔によって呼気７が遮られることなく気流を撮像することができる。
　以上に説明したように、本実施の形態（各変形例を含む）によれば、呼気７を視覚化するシステムを提供することができる。以上に説明した実施の形態及び各変形例における特徴は、互いに組み合わせることができる。例えば、複数の方位から気流を視覚化するように撮像システム１００が構成されていてもよい。この場合、処理部１１、表示部１２、及び記録部１３は、必ずしも複数である必要はない。
〈フィードバック制御機能〉
　人物５の姿勢状態にかかわらず、呼気７を安定的に視覚化するためのフィードバック制御機能について以下に説明する。
　第２の撮像部２は、人物５及び人物５の周辺の領域を撮像する。撮像システム１００では、第２の撮像部２によって撮像された画像から人物５の身体動作を推定し、その推定情報に基づいて撮像システム１００における構成要素に対するフィードバック制御が行われる。このフィードバック制御機能は、実施の形態１及び各変形例に適用可能である。
　また、第２の撮像部２による撮像を行なう際に、照明部４の照明光の一部を人物５及びその周辺環境に照明されるようにして光を補うことも可能であり、第２の撮像部２によって取得された人物５の周辺環境に関する情報を処理部１１で利用することができる。
　人物５の身体動作の推定は、第２の撮像部２により、人物５の寝返りなどによる姿勢変化を検知する。処理部１１は、第２の撮像部２によって撮像された画像データから人工知能（ＡＩ）などの技術を利用したデータ処理によって人の姿勢及び顔認識による顔の向きなどの身体姿勢情報を推定し、人物５の姿勢状態を判定する。
　撮像システム１００は、第１の撮像領域Ｄ１を移動するために、第１の撮像部１の設置角度を補正する機構部と第１の撮像部１の撮像面を面内方向に補正する機構部を有してもよい。この場合、人物５の顔の向きが変化し、第１の撮像部１の撮像領域Ｄ１から人物５の口又は鼻が外れたと判定されると、口又は鼻が第１の撮像部１の撮像領域Ｄ１に再び入るように第１の撮像部１の設置角度を補正する機構部及び第１の撮像部１の撮像面を面内方向に補正する機構部へフィードバックして制御する。これにより、人物５の姿勢状態によらず、呼気７を安定的に視覚化することができる。
　なお、照明部４を有する撮像システム１００については、第２の撮像部２は、人物５及び寝床面６の領域にまで広がっている照明部４の照明光を撮像に利用することもできる。
〈呼気７と周囲の空気との温度差の制御機能〉
　人物５の呼気情報の最適な取得を行なうための呼気７と周囲の空気との温度差の制御機能について以下に説明する。
　第１の撮像部１によって撮像される背景の像は、呼気７とその周囲空気との屈折率差が生じることによる光の屈折作用によって歪みが起こる。この像の歪み成分を抽出することで呼気７を視覚化する。屈折率差は、呼気７と周囲空気との温度差が起源の一つである。この温度差が大きければ、屈折率差が大きくなるとともに、背景の像の歪みの大きさも大きくなる。その結果、呼気７を視覚化がしやすくなる。
　一方、呼気７と周囲空気との温度差が小さければ、屈折率差が小さくなるとともに、背景の像の歪みの大きさも小さくなる。その結果、呼気７を視覚化がしづらくなる。
　すなわち、呼気７の視覚化を安定的に行なうためには、呼気７と周囲空気との温度差を所定の値ΔＴ０以上に維持することが有効である。この場合、所定の値ΔＴ０は５度以上であることが望ましい。
　上記のように、呼気７と周囲空気との温度差を所定の値以上に維持するために、撮像システム１００においては、周囲空気の温度をモニターし、その温度情報に基づいてエアコンなどの空調機器１６による空調制御を行なうことができる。
　また、空調制御での温度目標値は、以下のような方法で決めることができる。予め計測しておいた人物５の体温及び人物５の呼気７の温度のデータベースから、人物５の体温と呼気７の平均的な温度差又は推定温度差ΔＴ（人物５の体温から人物５の呼気７の温度値を減算した値）を算出する。推定温度差ΔＴは、気管や口腔を通過して呼気が排出されるまでに冷却される温度差を含む。
　撮像システム１００は、人物５の体温を計測する体温計を構成要素として有してもよい。この場合、睡眠中における呼気モニタリングにおいては、体温計で計測される人物５の体温Ｔｈに推定温度差ΔＴを一律減算した温度（Ｔｈ－ΔＴ）に、さらに所定の値ΔＴ０を加算した（Ｔｈ－ΔＴ＋ΔＴ０）、若しくは所定の値ΔＴ０を減算した（Ｔｈ－ΔＴ－ΔＴ０）を温度目標値とする。
　上述のように、照明部４からの照明光は不可視光でもよく、投影部１８から射出される投影光も不可視光でもよい。照明光及び投影光が不可視光である場合、人物５に眩しさを与えないようにすることができる。特に、人物５の睡眠状態における呼気７の状態をモニターする場合、人物５の睡眠を阻害しないようにすることができる。
　例えば、不可視光として、例えば、近赤外光、赤外光、又は紫外光を用いることができる。この場合、照明光の波長は、４００ｎｍ以下又は７００ｎｍ以上が望ましく、投影光の波長も、４００ｎｍ以下又は７００ｎｍ以上が望ましい。
　以上に説明したように、実施の形態１に係る撮像システム１００は、無拘束で、且つ、直接に呼気７の有無を検出又は判断することが可能であるため、睡眠時無呼吸症候群（ＳＡＳ）の疾患の検査における睡眠時の呼吸状態モニターに利用できる。さらに、閉塞性睡眠時無呼吸症候群（ＯＳＡＳ）と中枢性睡眠時無呼吸症候群（ＣＳＡＳ）を人物５に対して身体的な負担なく区別することができる。
　本実施の形態では、睡眠時無呼吸症候群の検査における呼気７の視覚化と、人物５の呼吸状態の検査用途の撮像システム１００を説明しているが、撮像システム１００は、この用途に限られない。例えば、撮像システム１００は、睡眠の質の向上を目的としたウェルネス向け睡眠モニターに適用してもよく、睡眠モニタリングに基づいた睡眠環境の制御に適用してもよく、睡眠の深さの推定などの睡眠指標値に関するデータ記録から健康管理に適用してもよい。
　このような睡眠の質の向上を目的としたウェルネス向けの用途では、呼気７から抽出された呼吸動作に関した生体情報を用いて、人物５が過ごす空間の温度環境、湿度環境、空調換気環境、又は照明環境などの種々の環境に備えられた設備及び製品を制御することも可能である。
〈睡眠状態の安定化、睡眠の快適性向上、又は健康管理のための構成〉
　撮像システム１００のうちの、睡眠状態の安定化、睡眠の快適性向上、又は健康管理のために活用可能な構成について以下に説明する。
　睡眠状態推定部３２は、例えば、呼気推定部３０によって推定される呼気情報、又は呼吸状態推定部３１によって推定される呼吸状態の情報の少なくともいずれかに基づいて、睡眠の深さ又は睡眠の安定性を示す睡眠指標値を生成し、睡眠指標値に基づいて睡眠の質を推定することができる。
　一般に、睡眠中には、浅い眠りのレム睡眠と深い眠りのノンレム睡眠との２種類の睡眠状態が１時間３０分から２時間程度のサイクルで交互に繰り返される。レム睡眠は、全身の筋肉が弛緩しているが、脳は活発に働いている状態であり、心拍数、及び呼吸数が増加して不規則になり、呼吸は浅くなる傾向がある。
　一方、ノンレム睡眠は脳が休息している状態で、体も休んでおり、眠りが深くなるほど脳は休息している状態であり、心拍数、呼吸数は安定し、深くゆったりとした呼吸になる傾向がある。この２種類の睡眠状態のバランスによって脳と体が回復すると言われている。また、睡眠中には、多くのホルモンが体内で分泌され、なかでもノンレム睡眠の熟睡時に多く分泌される成長ホルモン、メラトニン、及びコルチゾールは体の健康維持若しくは健康増進に寄与するとされている。
　上記のように、睡眠時の呼吸状態は、睡眠の深さ及びそれに関係が深い睡眠の質及び睡眠の快適性との一定の相関性が期待できる。さらに、睡眠状態がホルモン分泌作用を通じて体の健康維持若しくは健康増進に寄与することからも、体の結構と睡眠中の呼吸と一定の相関性が期待できる。
　睡眠状態推定部３２は、呼吸、睡眠の深さ、睡眠の安定性、睡眠の質、及び睡眠時の快適性の一定の相関関係を用いることで、呼気推定部３０又は呼吸状態推定部３１による推定結果から睡眠指標値を生成し、睡眠の質及び睡眠時の快適性を推定することができる。
　環境制御部３３は、睡眠状態推定部３２の睡眠指標値、又は、睡眠の質及び睡眠時の快適性との推定結果に基づいて、空調機器１６、換気機器１７、及び照明機器１９を制御し、睡眠の質及び睡眠時の快適性が向上するように温度、湿度、及び明るさによる睡眠環境を最適制御することができる。
実施の形態２.
　実施の形態２に係る撮像システム１００について以下に説明する。
　実施の形態２に係る撮像システム１００は、居室内空間での人物５の呼気７を検出するための撮像システムである。実施の形態２に係る撮像システム１００は、居室内空間における人物５の呼気分布の視覚化を可能とし、その視覚化された呼気分布情報に基づいて、例えば、居室内空間の換気制御や室内の人々の密状態を回避することを可能とする。
　図１０は、実施の形態２に係る撮像システム１００を示す概略的に示す図である。実施の形態２において、実施の形態１と同じ構成要素については説明を省略する。
　図１０では、居室内空間に複数の人物（図１０では、２人の人物２５ａ，２５ｂ）が存在している。居室には、少なくとも１つの空調機器１６、床面２３、及び天井２４が設けられている。複数の空調機器１６が居室に設けられていてもよい。
　人物２５ａを「第１の人物２５ａ」とも称し、人物２５ｂを「第２の人物２５ｂ」とも称する。呼気１７ａは第１の人物２５ａの口から排出され、呼気１７ｂは第２の人物２５ｂの口から排出される。
　実施の形態２に係る撮像システム１００では、第１の撮像部１は複数の撮像部１ａ及び撮像部１ｂを含む。撮像部１ａ及び撮像部１ｂのそれぞれは、実施の形態１で説明した第１の撮像部１と同様に、空間中の呼気とその周囲空気との屈折率差で生じる光の屈折作用による第１の撮像部１での背景像の歪み成分を抽出し、呼気を視覚化する。
　図１０では、第１の撮像部１は２台の撮像部１ａ及び撮像部１ｂから成るが、第１の撮像部１は３台以上の撮像部を有してもよい。また、居室内空間の大きさによっては、撮像領域が十分に確保できる場合は撮像部１ｂを省略できる。
　本実施の形態では、第１の撮像部１は２台の撮像部１ａ及び撮像部１ｂから成る構成を例として説明する。
　実施の形態２に係る撮像システム１００では、第１の撮像部１は、居室空間の天井２４又はその付近に配置されている。第１の撮像部１は、人物２５ａの上方から床面２３に向けて撮像し、人物２５ａ、人物２５ｂ、人物２５ａの呼気１７ａ、及び人物２５ｂの呼気１７ｂを上方から撮像する。
　処理部１１は、撮像部１ａ及び撮像部１ｂのそれぞれの撮像データを受け取り、撮像データから上記のように背景像の歪み成分から呼気１７ａと呼気１７ｂを視覚化する。
　背景部（実施の形態１で説明した背景部３に相当）は床面２３であり、床材に施されている一般的な柄又は模様を背景部に用いることができる。また、呼気の視覚化にさらに適した模様が背景部に施されていてもよい。模様は、ストライプ又はドットパターンなどの幾何学パターンとすることができる。この幾何学パターンには、ランダムなドットパターンも含まれる。
　模様は、第１の撮像部１の撮像領域Ｄ１の全域またはその一部の必要な領域に施されていてもよい。
　床材の一般的な柄又は模様を利用する場合、呼気の視覚化のための専用の背景を準備する必要がなく、システム構成の簡素化が可能となるという利点がある。模様を施した床材を利用する場合、物理的な構成要素の追加がなく撮像システム１００の設置が容易となるという利点がある。
　撮像部１ａ及び撮像部１ｂは、天井２４又はその付近に設置されている。この場合、背景としての床面２３上では、撮像部１ａの撮像領域Ｄａと撮像部１ｂの撮像領域Ｄｂとが部分的に重なるように撮像部１ａ及び撮像部１ｂが配置されていることが望ましい。
　図１１は、実施の形態２に係る撮像システム１００が設けられた居室を真上方向から見た図である。
　実施の形態２に係る撮像システム１００は、複数の換気機器１８ａ，１８ｂを有してもよい。
　図１１（Ａ）に示される例では、撮像領域Ｄａ及び撮像領域Ｄｂは、それぞれ床面２３上の撮像領域である（すなわち床面２３からの高さ位置はゼロでの撮像領域である）。図１１（Ａ）に示される例では、撮像領域Ｄａと撮像領域Ｄｂとが重なる撮像領域Ｄａｂが存在する。
　図１１（Ｂ）に示される例では、撮像領域Ｄａ及び撮像領域Ｄｂは、それぞれ床面２３から呼気１７ａ及び呼気１７ｂが発生する高さ付近の撮像領域である。すなわち、撮像領域Ｄａ及び撮像領域Ｄｂは、床面２３からの人物２５ａ，２５ｂの顔の高さ位置付近の撮像領域である。図１１（Ｂ）に示される例では、撮像領域Ｄａと撮像領域Ｄｂとが重なる撮像領域Ｄａｂがないように設定されている。
　図１１（Ｂ）に示されるように、人物２５ａ，２５ｂの顔付近のある高さで撮像領域Ｄａと撮像領域Ｄｂとが重なる撮像領域Ｄａｂが存在しないように複数の撮像部１ａ及び撮像部１ｂを配置することで、人物２５ａ，２５ｂの顔の高さ付近における複数の撮像部１ａの撮像領域Ｄａ及び撮像部１ｂの撮像領域Ｄｂの不連続性を防ぐことができる。
　上記のように、人物２５ａ，２５ｂの顔付近のある高さを決めると、この高さの上下では撮像領域Ｄａと撮像領域Ｄｂとが途切れる又は重なる部分が生じるが、処理部１１における画像処理によって補正又は補間により呼気１７ａ及び呼気１７ｂの存在位置情報を取得又は推定することで、撮像領域の不連続又は重なりがある程度許容することができる。
　撮像部１ａと撮像部１ｂとの間の距離を小さく設定すれば、人物２５ａ，２５ｂの顔付近の高さにおける撮像領域Ｄａと撮像領域Ｄｂとの不連続性を未然に防ぐことはできるが、この距離を小さく設定するほど第１の撮像部１の全撮像領域を同じだけ確保するには撮像部の数をさらに増やす必要がある。
　したがって、検出対象（例えば、呼気）が発生し得る高さに、撮像領域Ｄａと撮像領域Ｄｂとが重なる撮像領域Ｄａｂが存在しないような設定をすることが有効である。
　図１２は、実施の形態２に係る撮像システム１００が設けられた居室内空間を真横方向から見た図である。
　撮像部１ａ及び撮像部１ｂの各々の視野角がθ、設置高さがＨｒ、撮像部１ａと撮像部１ｂとの設置間隔がｄ、検出対象（例えば、呼気）の設定高さがＨである場合、設置間隔ｄは、ｄ＝（Ｈｒ－Ｈ）×ｔａｎ（θ／２）で表すことができる。
　以上に説明したように、実施の形態２では、撮像システム１００は、第１の撮像部１が天井２４又はその付近に配置されているとともに床面２３を背景部として利用して呼気の視覚化を行なう。
　上方からの撮像は、横方向の撮像に比べて、人物又は周辺の障害物によって死角が生まれ難い利点があるほか、上方から呼気１７ａ、呼気１７ｂ、人物２５ａ、及び人物２５ｂを撮像することで、人物の移動面内上の位置情報又は分布情報として取得及び利用しやすいという利点がある。
　処理部１１は、複数の視覚化データを合成した居室内空間を空間的に連続した視覚化データを生成し、呼気の分布マップを生成し、居室空間内の呼気の位置情報を得る。また、呼気の位置情報以外に、呼気の流れ方向、呼気の体積、呼気の流量などの情報、又はそれらの推定値を得ることができる。
　さらに、処理部１１は、呼気の位置情報、呼気の流れ方向、呼気の体積、呼気の流量などの情報、又はそれらの推定値の少なくともいずれかを用いて、換気機器１８ａ及び換気機器１８ｂの換気量、換気流の方向、運転又は停止などを制御し、また、空調機器１６の送風量、送風方向、運転又は停止などの制御を行なうことが可能である。
　実施の形態２に係る撮像システム１００においても、照明部４からの照明光は、不可視光とすることができる。照明光及び投影光が不可視光である場合、人物２５ａ、２５ｂに眩しさを与えないようにすることができる。特に、室内の照明を暗くした状態下では、不可視光とするのが望ましく、人物２５ａ、２５ｂに眩しさを与えず、且つ呼気の視覚化を行なうことができる。
　例えば、不可視光として、近赤外光、赤外光、又は紫外光を用いることができる。この場合、照明光の波長は、４００ｎｍ以下又は７００ｎｍ以上が望ましい。
　各実施の形態（変形例を含む）は、シュリーレン法、とりわけ背景型シュリーレン法（ＢＯＳ法）を例としているが、各実施の形態は、これに限るものではない。例えば、各実施の形態は、シュリーレン法の変形型であってもよく、例えば、カットオフフィルタを用いるフォーカシングシュリーレン法であってもよい。
　各実施の形態の撮像システム１００における複数の撮像領域に分割し選択的に気流を検出又は視覚化する手段は、ＰＩＶ法又はシャドウウィンドウ法のような、撮像部と投影部とを構成要素とする気流をはじめとする流体の流れを検出又は視覚化する撮像システムに適用してもよい。
　検出対象は呼気に限られず、検出対象は、例えば、空気中の流れ、すなわち気流でもよい。液中であれば、検出対象は、液体や溶液の流れである。検出対象は、人又は動物が発する呼気、身体の代謝による熱気流を含む。空調換気システムは、呼気情報（特に、口呼吸と鼻呼吸の個々に関する呼吸情報）を推定する際、本発明に係る撮像システムは非接触に身体的な負担がなく呼気情報を推定できる利点を有することから最良な手段であるが、これに限ることはなく、例えば、身体に装着して用いられるパルスオキシメータとカプノメータ、その他気流圧センサ、温度センサ、フローセンサなどから推定される呼気情報（特に、口呼吸と鼻呼吸の個々に関する呼吸情報）を用いて、人物の睡眠の深さ又は前記睡眠の安定性を示す睡眠指標値に基づいて、睡眠の質を高めるように、人物の周囲の温度、前記人物の周囲の湿度、又は換気の少なくともいずれかを制御することもできる。
　各実施の形態において、人物から吐き出される呼気を視覚化する対象として説明しているが、牛又は豚などの家畜、その他人以外の動物が吐き出す呼気を対象として、呼気の排出量をモニターする撮像システムとすることができる。
　なお、各実施の形態の撮像システム１００は、適宜変更されてもよい。例えば、撮像システム１００に対して、構成要素の変更、追加、又は削除を行うことができる。また、各実施の形態の特徴又は構成要素は、上記と異なる態様で組み合わされてもよい。
　１　撮像部（第１の撮像部）、　２　撮像部（第２の撮像部）、　４　照明部、　５，２５ａ，２５ｂ　人物、　６　寝床面、　７，１７ａ，１７ｂ　呼気、　１１　処理部、　１２　表示部、　１３　記録部、　１４　心拍計、　１５　マイク、　１６　空調機器、　１７，１８ａ，１８ｂ　換気機器、　１８　投影部、　１９　照明機器、　３０　呼気推定部、　３１　呼吸状態推定部、　３２　睡眠状態推定部、　３３　環境制御部、　３４　室内環境機器、　１００　撮像システム（身体情報モニタリングシステム）、　２００　空調換気システム。

Claims (28)

  1. 　撮像画像を出力する撮像部と、
    　前記撮像画像に基づいて、検出対象の流れ情報、前記検出対象の密度勾配、又は前記検出対象の屈折率勾配を取得する処理部と
    　を備え、
    　前記検出対象は、人物の空間中の呼気である
    　ことを特徴とする撮像システム。
  2. 　前記撮像部は、背景部を撮像し、
    　前記処理部は、前記撮像部によって撮像された前記撮像画像を用いて前記空間中の前記密度勾配又は前記屈折率勾配を取得する
    　ことを特徴とする請求項１に記載の撮像システム。
  3. 　前記背景部は、床面の模様又は寝具の模様を含み、
    　前記呼気は、前記床面と前記撮像部との間又は前記寝具と前記撮像部との間に存在する
    　ことを特徴とする請求項２に記載の撮像システム。
  4. 　前記背景部に模様を投影する投影部をさらに備え、
    　前記床面の前記模様は、前記投影部によって前記床面に投影される、又は前記寝具の前記模様は、前記投影部によって前記寝具に投影される
    　ことを特徴とする請求項３に記載の撮像システム。
  5. 　前記背景部に投影された模様に照明光を照射する照明部をさらに備え、
    　前記照明光は、不可視光であり、
    　前記照明光の波長は、前記撮像部が検出可能な波長帯域の範囲内である
    　ことを特徴とする請求項２から４のいずれか１項に記載の撮像システム。
  6. 　前記処理部は、前記撮像画像から、単位時間あたりの呼吸回数、呼吸リズム、前記呼気の体積、前記呼気の発生位置、又は前記呼気の前記流れ情報の少なくともいずれかの呼気情報を推定する呼気推定部を有することを特徴とする請求項１から５のいずれか１項に記載の撮像システム。
  7. 　前記呼気推定部は、前記呼気情報から前記呼気の長さ及び幅を算出し、前記呼気の前記体積を推定することを特徴とする請求項６に記載の撮像システム。
  8. 　前記呼気推定部は、前記呼気情報から前記呼気の長さと幅を算出し、前記呼気の長さと幅とを乗算した値又は前記呼気の長さと幅の２乗を乗算した値を、前記呼気の前記体積の推定値とすることを特徴とする請求項６に記載の撮像システム。
  9. 　前記呼気推定部は、
    　前記撮像画像から口呼吸と鼻呼吸を識別し、
    　前記口呼吸と前記鼻呼吸とのそれぞれについて前記呼気情報を推定する
    　ことを特徴とする請求項６に記載の撮像システム。
  10. 　前記処理部は、前記呼気情報に基づいて、正常な呼吸の基準パターンとの特徴の違い又は前記呼気の前記体積の時間変動の基準パターンとの特徴の違いから呼吸状態の乱れを推定及び監視する呼吸状態推定部を有することを特徴とする請求項６に記載の撮像システム。
  11. 　前記呼吸状態推定部は、睡眠時無呼吸症候群の種類を推定することを特徴とする請求項１０に記載の撮像システム。
  12. 　前記呼気推定部は、
    　前記撮像画像から口呼吸と鼻呼吸を識別し、
    　前記呼吸状態推定部は、前記呼気推定部によって識別される前記口呼吸及び前記鼻呼吸のそれぞれの前記呼気の前記体積に基づいて睡眠時無呼吸症候群の種類を判別することを特徴とする請求項１０に記載の撮像システム。
  13. 　前記撮像部によって撮像される前記背景部は、前記人物が横たわっている部分の周囲の床面の模様又は前記人物が使用している寝具の模様であり、
    　前記呼気は、前記床面と前記撮像部との間又は前記寝具と前記撮像部との間に存在しており、
    　前記処理部は、睡眠姿勢をとっている前記人物の前記呼気情報を推定する
    　ことを特徴とする請求項６から１２のいずれか１項に記載の撮像システム。
  14. 　前記撮像部は、前記人物の前記呼気を撮像可能な位置に配置されていることを特徴とする請求項１から１３のいずれか１項に記載の撮像システム。
  15. 　前記処理部は、前記呼気情報に基づいて前記人物の睡眠の深さ又は前記睡眠の安定性を示す睡眠指標値を生成し、前記睡眠指標値に基づいて前記睡眠の質を推定する睡眠状態推定部を有することを特徴とする請求項９に記載の撮像システム。
  16. 　前記処理部は、前記呼気情報又は前記呼吸状態推定部によって推定される呼吸状態情報の少なくともいずれかに基づいて前記人物の睡眠の深さ又は前記睡眠の安定性を示す睡眠指標値を生成し、前記睡眠指標値に基づいて前記睡眠の質を推定する睡眠状態推定部を有することを特徴とする請求項１０に記載の撮像システム。
  17. 　前記処理部は、前記撮像画像から前記人物の口の位置及び鼻の位置とを検出し、
    　前記呼吸状態推定部は、前記人物の口の位置及び鼻の位置に基づいて前記口呼吸と前記鼻呼吸を識別することを特徴とする請求項１０又は１３に記載の撮像システム。
  18. 　センサからの情報に基づいて、単位時間あたりの呼吸回数、呼吸リズム、前記呼気の体積、前記呼気の発生位置、又は前記呼気の前記流れ情報の少なくともいずれかの呼気情報を推定する呼気推定部を備え、
    　前記呼気推定部は、
    　前記センサからの情報から口呼吸と鼻呼吸を識別し、
    　前記口呼吸と前記鼻呼吸とのそれぞれについて前記呼気情報を推定する
    　ことを特徴とする呼気検知システム。
  19. 　呼吸状態推定部を更に備え、
    　前記呼吸状態推定部は、前記呼気推定部によって識別される前記口呼吸及び前記鼻呼吸のそれぞれの前記呼気の前記体積に基づいて睡眠時無呼吸症候群の種類を判別することを特徴とする請求項１８に記載の呼気検知システム。
  20. 　睡眠状態推定部を更に備え、
    　前記睡眠状態推定部は、前記呼気情報又は前記呼吸状態推定部によって推定される呼吸状態情報の少なくともいずれかに基づいて前記人物の睡眠の深さ又は前記睡眠の安定性を示す睡眠指標値を生成し、前記睡眠指標値に基づいて前記睡眠の質を推定することを特徴とする請求項１８に記載の呼気検知システム。
  21. 　室内環境機器と、
    　前記室内環境機器を制御する環境制御部と、
    　前記環境制御部と通信可能に接続された請求項１から１７のいずれか１項に記載の撮像システムと
    　を備えた空調換気システム。
  22. 　室内環境機器と、
    　前記室内環境機器を制御する環境制御部と、
    　前記環境制御部と通信可能に接続された請求項１８から２０のいずれか１項に記載の呼気検知システムと
    　を備えた空調換気システム。
  23. 　前記環境制御部は、前記人物の周囲の温度と前記呼気との温度差によって屈折率差を発生させるように前記温度を制御することを特徴とする請求項２１又は２２に記載の空調換気システム。
  24. 　前記環境制御部は、前記人物の体温と前記呼気との温度差から予め定められたバイアス温度を差し引いて得られた温度目標値に近づくように前記人物の周囲の温度を制御することを特徴とする請求項２１又は２２に記載の空調換気システム。
  25. 　前記環境制御部は、前記処理部から前記密度勾配又は前記屈折率勾配を取得し、前記密度勾配又は前記屈折率勾配に基づいて、前記人物の周囲の前記温度、前記人物の周囲の湿度、又は換気の少なくともいずれかを制御することを特徴とする請求項２１又は２２に記載の空調換気システム。
  26. 　前記環境制御部は、前記処理部によって生成される、前記人物の睡眠の深さ又は前記睡眠の安定性を示す睡眠指標値に基づいて、前記睡眠の質を高めるように、前記人物の周囲の温度、前記人物の周囲の湿度、又は換気の少なくともいずれかを制御することを特徴とする請求項２１又は２２に記載の空調換気システム。
  27. 　撮像画像を出力する撮像部と、
    　前記撮像画像に基づいて、検出対象の流れ情報、前記検出対象の密度勾配、又は前記検出対象の屈折率勾配を取得し、前記流れ情報、前記密度勾配、又は前記屈折率勾配から推定されたデータ又は情報を表示部に向けて出力する処理部と
    　を備え、
    　前記検出対象は、人物の空間中の呼気である
    　ことを特徴とする身体情報モニタリングシステム。
  28. 　センサからの情報に基づいて、検出対象の流れ情報、前記検出対象の密度勾配、又は前記検出対象の屈折率勾配を取得し、前記流れ情報、前記密度勾配、又は前記屈折率勾配から推定されたデータ又は情報を表示部に向けて出力する処理部と
    　を備え、
    　前記検出対象は、人物の空間中の呼気である
    　ことを特徴とする身体情報モニタリングシステム。
PCT/JP2022/042177 2022-11-14 2022-11-14 撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システム WO2024105719A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/042177 WO2024105719A1 (ja) 2022-11-14 2022-11-14 撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システム
JP2024525789A JPWO2024105719A5 (ja) 2022-11-14 撮像システム、身体情報モニタリングシステム、及び空調換気システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/042177 WO2024105719A1 (ja) 2022-11-14 2022-11-14 撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システム

Publications (1)

Publication Number Publication Date
WO2024105719A1 true WO2024105719A1 (ja) 2024-05-23

Family

ID=91083987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042177 WO2024105719A1 (ja) 2022-11-14 2022-11-14 撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システム

Country Status (1)

Country Link
WO (1) WO2024105719A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011522618A (ja) * 2008-06-06 2011-08-04 サルター ラブス 呼吸監視装置に適応可能な温度検出器
JP2012202659A (ja) * 2011-03-28 2012-10-22 Mitsubishi Electric Corp 睡眠状態検出装置およびこれを用いた空気調和機、ならびに、睡眠状態検出方法および空気調和機制御方法
JP2013142669A (ja) * 2012-01-12 2013-07-22 Sumitomo Chemical Co Ltd グリーンハニカム成形体の欠陥を検査する方法、グリーンハニカム構造体の製造方法及びグリーンハニカム成形体の欠陥の検査装置
US20200138292A1 (en) * 2018-11-06 2020-05-07 The Regents Of The University Of Colorado, A Body Corporate Non-Contact Breathing Activity Monitoring And Analyzing Through Thermal And CO2 Imaging
JP6796306B1 (ja) * 2020-09-09 2020-12-09 株式会社エクサウィザーズ 撮影装置、撮影方法及びコンピュータプログラム
US20220080227A1 (en) * 2020-09-15 2022-03-17 Ceromaze Inc. Wearable, maskless respiratory isolation device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011522618A (ja) * 2008-06-06 2011-08-04 サルター ラブス 呼吸監視装置に適応可能な温度検出器
JP2012202659A (ja) * 2011-03-28 2012-10-22 Mitsubishi Electric Corp 睡眠状態検出装置およびこれを用いた空気調和機、ならびに、睡眠状態検出方法および空気調和機制御方法
JP2013142669A (ja) * 2012-01-12 2013-07-22 Sumitomo Chemical Co Ltd グリーンハニカム成形体の欠陥を検査する方法、グリーンハニカム構造体の製造方法及びグリーンハニカム成形体の欠陥の検査装置
US20200138292A1 (en) * 2018-11-06 2020-05-07 The Regents Of The University Of Colorado, A Body Corporate Non-Contact Breathing Activity Monitoring And Analyzing Through Thermal And CO2 Imaging
JP6796306B1 (ja) * 2020-09-09 2020-12-09 株式会社エクサウィザーズ 撮影装置、撮影方法及びコンピュータプログラム
US20220080227A1 (en) * 2020-09-15 2022-03-17 Ceromaze Inc. Wearable, maskless respiratory isolation device

Also Published As

Publication number Publication date
JPWO2024105719A1 (ja) 2024-05-23

Similar Documents

Publication Publication Date Title
US20200237261A1 (en) Apparatus and method for the detection of the body position while sleeping
JP5883847B2 (ja) 呼吸運動検出装置
RU2604701C2 (ru) Способ и устройство для мониторинга движений и дыхания множества субъектов в общей кровати
JP6054584B2 (ja) 患者の生命状態を取得するための患者インタフェースを具備する治療システム
US8790274B2 (en) Non-invasive method for measuring changes in body position and respiration
US20080275349A1 (en) Monitoring, predicting and treating clinical episodes
EP2663230B1 (en) Improved detection of breathing in the bedroom
JP5323532B2 (ja) 呼吸計測方法及び呼吸計測装置
JP2011189170A (ja) 睡眠呼吸障害を処置するための装置のセッション毎の調整
CN115334959A (zh) 用于呼吸暂停-低通气指数计算的睡眠状态检测
Coronel et al. 3D camera and pulse oximeter for respiratory events detection
KR20190091834A (ko) 폐 내부 공기 부피 변화 및 기도의 폐쇄 정도를 측정하는 비침습적 기계환기 시스템 및 그 동작 방법
WO2024105719A1 (ja) 撮像システム、呼気検知システム、身体情報モニタリングシステム、及び空調換気システム
KR102036087B1 (ko) 수면 무호흡 중증도를 측정하는 장치 및 방법
Lev et al. Changes in regional distribution of lung sounds as a function of positive end-expiratory pressure
Nakagawa et al. Noncontact Vital Sign Monitoring System with Dual Infrared Imaging for Discriminating Respiration Mode
Nasution et al. Performance Evaluation of the Webcam-Based Contactless Respiratory Rate Monitoring System.
US20240000344A1 (en) Systems and methods for identifying user body position during respiratory therapy
Lorato Video respiration monitoring: Towards remote apnea detection in the clinic
Krause et al. Nocturnal respiration pattern of healthy people as a hint for sleep state detection
KR20240074278A (ko) 열화상 카메라 및 열희석법을 이용한 호흡량 측정 장치 및 방법
CN115868962A (zh) 呼吸感测装置
JPWO2024105719A5 (ja) 撮像システム、身体情報モニタリングシステム、及び空調換気システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965696

Country of ref document: EP

Kind code of ref document: A1