WO2016076009A1 - 被験体の呼吸に起因する生体活動の計測システム、および画像処理装置 - Google Patents

被験体の呼吸に起因する生体活動の計測システム、および画像処理装置 Download PDF

Info

Publication number
WO2016076009A1
WO2016076009A1 PCT/JP2015/076094 JP2015076094W WO2016076009A1 WO 2016076009 A1 WO2016076009 A1 WO 2016076009A1 JP 2015076094 W JP2015076094 W JP 2015076094W WO 2016076009 A1 WO2016076009 A1 WO 2016076009A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
signal
light
subject
luminance
Prior art date
Application number
PCT/JP2015/076094
Other languages
English (en)
French (fr)
Inventor
智之 市座
貴行 山内
池田　豊
蔭地　謙作
三木　成一郎
淳史 堀
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2016558917A priority Critical patent/JPWO2016076009A1/ja
Publication of WO2016076009A1 publication Critical patent/WO2016076009A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present invention relates to a technique for measuring a biological activity caused by respiration, such as a subject's respiration rate, from a subject's video.
  • a technique in which a subject is photographed with a camera, a change in luminance value due to a biological reaction such as body movement or blood flow is detected from the moving image, and a biological activity such as a subject's respiratory rate or heart rate is measured (for example, Patent Documents 1 and 2).
  • the image area in which the subject is photographed is specified by an observer in advance or by using a contour extraction technique.
  • the respiration monitoring device of Patent Literature 1 divides an image obtained by photographing a subject into local regions and analyzes lightness information of each local region. Then, using the three types of threshold values, it is determined whether the subject is observing movement around the chest or observing non-respiratory body movement such as turning over.
  • the heart rate measuring device of Patent Document 2 captures a subject's face with a camera equipped with an infrared light source, extracts a specific region between eyebrows from a face image for each frame, and corrects the average luminance.
  • the heart rate measuring device obtains a waveform of a temporal change in corrected luminance from the corrected average luminance time series, and calculates the heart rate of the subject by filtering the waveform in a frequency band corresponding to the heart rate. .
  • an appropriate threshold necessary for determining non-respiratory body movement varies greatly depending on the imaging environment.
  • the threshold value to be set can vary greatly depending on changes in the brightness of the observation location, the position of the indoor light source, the presence or absence of incident light from the outside, and the movement of people or objects other than the subject. Since there is no method for always obtaining an appropriate threshold value, an area for obtaining biological information such as respiration cannot be calculated when the threshold value is inappropriate.
  • the heart rate measuring device of Patent Document 2 needs to capture the subject's face within the imaging range. Similar to Patent Document 1, when the shooting environment changes such as a change in illuminance, movement of a person, incidence of external light, etc., the luminance value of the image area in which the subject is photographed changes greatly due to a cause other than biological activity. When such disturbance noise occurs, the body movement location caused by the biological reaction cannot be specified, and the biological information may not be extracted accurately.
  • the subject's face moves away from the camera, the accuracy of acquiring the subject's biological information is reduced, so the subject's face must be imaged from a relatively short distance. As a result, a feeling of pressure is given to the subject, and there is a concern about the influence on the biological activity to be measured.
  • the present invention has been made in order to solve the above-described problems, and is a measurement system for biological activity caused by respiration, a measurement method for biological information, etc. I will provide a.
  • a measurement system includes a light source that emits light, an imaging device that generates a moving image of a subject, and an image processing circuit that measures the biological activity of the subject using the moving image.
  • a light source that emits light
  • an imaging device that generates a moving image of a subject
  • an image processing circuit that measures the biological activity of the subject using the moving image.
  • the image processing circuit detects the first region and the second region by detecting a change in luminance value in the moving image.
  • each of the one or more reflectors is made of a retroreflecting material.
  • the imaging device receives reflected light emitted from the light source and reflected by the one or more reflectors and external light uniformly incident from the outside to generate a moving image
  • the first signal indicating the luminance value of one area and the second signal indicating the luminance value of the second area include the influence of the external light
  • the image processing circuit includes the first signal and the second signal.
  • the first signal includes a luminance signal of reflected light reflected by the one or more reflectors included in the first region, and a luminance signal of the external light
  • the second signal is A luminance signal of reflected light reflected by the one or more reflectors included in the second region, and a luminance signal of the external light, and a phase of a luminance waveform of the reflected light included in the first signal; and
  • the phases of the luminance waveforms of the reflected light included in the second signal are inverted from each other, and the image processing circuit calculates the difference between the first signal and the second signal by calculating the difference between the first signal and the second signal.
  • a differential signal having an amplitude larger than each of the second signals is acquired, and the biological activity resulting from the breathing of the subject is measured using the differential signal.
  • the light source emits infrared light.
  • An image processing apparatus is used in any one of the measurement systems described above, and includes an input interface that receives a signal of the moving image generated by the imaging apparatus, and the image processing circuit. ing.
  • light for example, noise
  • a luminance value increases synchronously due to body movement accompanying inspiration or exhaust in a moving image.
  • the effects of room lighting and / or external light that can be components can be reduced or offset.
  • it is possible to measure the biological activity caused by respiration by using a luminance signal having a larger amplitude than using the luminance signal of the first region and the luminance signal of the second region.
  • FIGS. 4A to 4E are views showing exemplary reflectors 42a to 42e provided on the reflector support member 40.
  • (A) is a figure which shows the frame image 108 which image
  • (b) is the elements on larger scale of the partial area
  • (C) is the figure which extracted the image of the reflector 42a contained in a partial area
  • (A)-(d) is a figure which shows the time-sequential change of the position of the image corresponding to the reflector 42a on the basis of the 1st area
  • (A) And (b) is a figure which shows the change of the luminance value of 1st area
  • (A) And (b) is a figure which shows the component of the luminance signal (FIG. 8 (a)) of 1st area
  • (A) And (b) is a figure which does not contain a noise component, and shows the luminance component waveform of the 1st area
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an information processing apparatus 30 of the life activity measurement system 100 mainly.
  • FIG. 4 is a flowchart illustrating a procedure of processing performed in the biological activity measurement system 100.
  • (A) And (b) is a figure which shows the example of the partial area Q in two frame images image
  • (c) is a figure which shows the change of the luminance value of the partial area Q. It is a figure which shows the example of a frame image when the two reflectors 42f1 and 42f2 which were spaced apart are used.
  • (A)-(c) is a figure which shows the relationship between the shape of a reflector, and the 1st area
  • FIG. 1 shows a configuration of a life activity measurement system 100 according to the present embodiment.
  • the life activity measurement system 100 includes a camera 10, a light source 20, an information processing device 30, and one or a plurality of reflectors 42. Although the subject 1 is shown in FIG. 1, the subject 1 is not included in the life activity measurement system 100.
  • the life activity measurement system 100 is introduced into a room in a hospital, for example, and is used to observe the life activity of the subject 1.
  • the life activity is the respiration of the subject 1, and the life activity measurement system 100 measures the respiration rate within a predetermined time.
  • the subject 1 is described as being a person, it may be an animal other than a person. Animals (including people) as observation targets may be collectively referred to as “subjects”.
  • the camera 10 is a so-called imaging device, and shoots the subject 1 to generate a moving image.
  • the camera 10 sends moving image data to the information processing apparatus 30 by wire or wirelessly.
  • the light source 20 is a light source that emits light 20a.
  • the light 20a may be visible light or invisible light (for example, infrared light).
  • the information processing apparatus 30 receives moving image data captured by the camera 10 and measures the respiration rate of the subject 1 using changes in images between a plurality of frame images constituting the moving image. Details of the operation of the information processing apparatus 30 will be described later.
  • the reflector 42 is made of a reflective material (reflecting material).
  • the reflective material reflects the light 20 a emitted from the light source 20.
  • the reflector 42 is placed on the subject 1 (for example, on the chest of the subject 1) with the installation angle adjusted so as to reflect the light 20a and cause the reflected light 20b to enter the camera.
  • Disturbance light 21a exists in the environment where the biological activity measurement system 100 is provided.
  • the disturbance light 21 a is light other than the light 20 a emitted from the light source 10, for example, indoor lighting and / or external light.
  • the ambient light 21a is uniformly emitted and reflected in a hospital room where the life activity measurement system 100 is introduced.
  • the disturbance light 21a is incident on the camera 10 directly or indirectly by being reflected by the reflector 42 or the like.
  • the overall operation of the life activity measurement system 100 is outlined as follows.
  • the observer or the subject 1 arranges one or a plurality of reflectors (reflector (s)) 42 at the position where the body motion accompanying the breathing of the subject 1 occurs.
  • the camera 10 receives the light 20b reflected by the reflector 42 and captures a moving image of the subject 1. It is assumed that the imaging period is equal to or longer than the generation period of body movement accompanying inhalation or exhaust of the subject. The period of occurrence of body movement is 3 to 5 seconds or more, assuming that normal breathing at an adult's rest is a frequency of 12 to 20 times per minute.
  • An image processing circuit (described later) provided in the information processing device 30 has each luminance value in the first area where the luminance value is synchronously increased and the second area where the luminance value is decreased due to body movement accompanying intake or exhaust in the moving image. Based on the difference, the biological activity resulting from the respiration of the subject 1 is measured.
  • the image processing circuit detects, from among a plurality of regions constituting each frame image in the moving image, a region where the luminance value is synchronously increased and a region where the luminance value is synchronously increased by body movement, for example, These are set as a first area and a second area, respectively.
  • the luminance value of the area is, for example, the total value of the luminance values of all the pixels included in the area. Or the average value of the luminance value of all the pixels in the area
  • the first region and the second region in the moving image uniformly include the influence of disturbance light 21a (for example, room lighting and / or external light) that can be a noise component.
  • disturbance light 21a for example, room lighting and / or external light
  • the influence can be reduced or offset.
  • the luminance values are increased and decreased in synchronization with body movements associated with intake or exhaust, so that the phases of the detected luminance signals are inverted with each other. Therefore, by calculating the difference between the luminance values of the first area and the second area, it is possible to obtain a luminance signal having a larger amplitude than using the luminance signal of the first area and the luminance signal of the second area, respectively. .
  • the information processing apparatus 30 uses the luminance signal in which the noise component is reduced or canceled and the signal component necessary for respiration detection is amplified to more accurately and reliably perform the biological activity caused by respiration. It becomes possible to measure.
  • life activity measurement system 100 will be described in more detail and specifically with reference to FIGS.
  • FIG. 2 shows a configuration of the life activity measurement system 100 according to an exemplary embodiment.
  • the light source 20 emits infrared light.
  • the light 20a is described as “infrared light 20a”.
  • the reflected light 20b of the infrared light 20a may be described as “infrared light 20b”.
  • the optical axis of the light source 20 and the optical axis of the camera 10 are arranged close to each other.
  • the reflector 42 is made of a retroreflective material related to infrared light.
  • the retroreflective material has an optical characteristic of reflecting incident light toward the incident direction. That is, the incident angle of light incident on the retroreflecting material is equal to the emission angle of light reflected by the retroreflecting material. However, this property is ideal and can actually be reflected in a direction different from the incident direction.
  • the optical axis of the light source 20 and the optical axis of the camera 10 are arranged close to each other. Thereby, the infrared light 20a emitted from the light source 20 is reflected by the retroreflecting material, and most of the light enters the camera 10 as infrared light 20b. Therefore, the camera 10 can photograph the subject 1 with a sufficient amount of light.
  • a cloth coated with glass beads is used as the retroreflecting material.
  • the disturbance light 21a incident on the retroreflecting material is reflected in the incident direction as reflected light 21b. Since the reflected light 21b does not substantially enter the camera 10, the moving image captured by the camera 10 is less susceptible to the disturbance light 21a. However, the disturbance light 21 a includes light that is directly incident on the camera 10 and light that is reflected by the portion other than the reflector 42 and indirectly incident on the camera 10. Therefore, the influence of disturbance light 21a can still exist.
  • the observer or the subject 1 arranges the reflector 42 at the position where the body movement accompanying the breathing of the subject 1 occurs.
  • the camera 10 receives the infrared light 20b reflected by the reflector 42 and captures a moving image of the subject 1.
  • FIG. 3 shows a frame image 102 obtained by photographing the subject 1 wearing the reflector 42.
  • a high brightness area (white area) 104 in the center of the image is an area where the reflected light 20b from the reflector 42 is detected.
  • FIG. 4 shows a frame image 106 obtained by photographing a subject who does not wear the reflector 42. When the reflector 42 is not present, it can be said that the luminance change in the captured frame image is very small.
  • 3 and 4 show a plurality of vertical lines and horizontal lines, which are boundaries virtually provided for image processing. In this specification, an area of an image divided by a boundary line is referred to as a “partial area” of the image.
  • FIG. 3 illustrates the partial region P. The boundary lines of the partial areas P are highlighted for convenience of understanding.
  • the first region where the luminance value increases synchronously and the second region where the luminance value decreases may be specified in relation to the shape of the reflector 42. It should be noted that FIG. 3 is provided for convenience of understanding, and the shape of the retroreflecting material does not appear in FIG.
  • FIG. 5 (a) to 5 (e) show exemplary reflectors 42a to 42e provided on the reflector support member 40.
  • the reflectors 42a to 42e may have various shapes such as a rhombus, a circle, a rectangle, a polygon such as a hexagon, and a triangle.
  • the reflector support member 40 may be in the form of a sheet, or may be a cloth such as cloth or woven fabric.
  • FIG. 6 (a) shows a frame image 108 obtained by photographing the subject 1 wearing the reflector 42a made of a retroreflecting material. Similar to FIG. 3, by providing the reflector 42a made of a retroreflecting material, the reflector 42a is detected as a relatively high luminance region.
  • FIG. 6B is a partially enlarged view of a partial region including the reflector 42a in the frame image 108.
  • FIG. 6C is a diagram in which an image of the reflector 42a included in the partial region and the first region P1 and the second region P2 for detecting the image are extracted.
  • the first region P1 and the second region P2 are regions set in the frame image 108. For example, it is assumed that the resolution of the frame image 108 is 1920 ⁇ 1080 dots and the upper left is the origin position (0, 0).
  • the first area P1 can be defined as a rectangular area of 200 ⁇ 100 dots at the coordinate position (900, 400) of the upper left corner and the coordinate position (1099, 499) of the lower right corner.
  • the second area P2 can be defined as a rectangular area of 200 ⁇ 100 dots at the coordinate position (900, 500) of the upper left corner and the coordinate position (1099, 599) of the lower right corner.
  • the luminance value increases and decreases synchronously due to body movement accompanying intake or exhaust. This will be specifically described with reference to FIGS.
  • FIG. 7A to 7D show time-series changes in the position of the image corresponding to the reflector 42a with reference to the first region P1 and the second region P2.
  • the reference symbols P1, P2, and 42a are omitted, but the description is the same as that shown in FIG.
  • the ratio of the reflector 42a included in each of the first region P1 and the second region P2 also changes. To do. This appears as a change in each luminance value in the first region P1 and the second region P2.
  • FIGS. 8A and 8B show changes in luminance values of the first region P1 and the second region P2, respectively. These are sometimes called “luminance signals”.
  • Time t2 in FIG. 8 corresponds to the state of FIG. 7A.
  • the information processing device 30 identifies the first region P1 and the second region P2 having such a relationship. The reason will be described next.
  • the luminance signal in the first region P1 mainly includes two signal components.
  • FIGS. 9A and 9B show components of the luminance signal (FIG. 8A) of the first region P1.
  • FIG. 9A shows only the luminance component of the first region P ⁇ b> 1 that changes with the breathing of the subject 1.
  • FIG. 9B shows a noise component caused by the disturbance light 21a detected in the first region P1.
  • the luminance signal of the first region P1 is detected as the sum of the components shown in FIGS. 9 (a) and 9 (b).
  • the luminance signal of the second region P2 is detected as the sum of the luminance component that changes with the breathing of the subject 1 and the noise component caused by the disturbance light 21a.
  • the noise components caused by the disturbance light 21a have the same phase in the first region P1 and the second region P2, are not inverted, and can be regarded as the same.
  • the above relationship (A) shows that when the luminance value of the first region P1 increases due to body movement accompanying intake or exhaust, the luminance value of the second region P2 decreases and the luminance value of the first region P1 decreases. This directly corresponds to the fact that the brightness value of the second region P2 sometimes increases.
  • the inventors of the present application paying attention to each of the relationships (A) and (B) above, and calculating the difference between the luminance value of the first region P1 and the luminance value of the second region P2 is very useful. I found out.
  • FIGS. 10A and 10B show the luminance component waveform of the first region P1 and the luminance component waveform of the second region P2, which do not include a noise component, and change as the subject 1 breathes. As can be seen from the figure, the phases of both are reversed.
  • FIG. 10C is a differential waveform of the waveforms in FIGS. 10A and 10B. Since the phases of the waveforms in FIGS. 10A and 10B are inverted, when the difference is calculated, a waveform having an amplitude larger than the amplitude of each waveform is obtained. Body movement due to respiration may be detected only minutely depending on the imaging environment. If a waveform having a larger amplitude is used, it is possible to measure the biological activity resulting from respiration more accurately and reliably.
  • the noise component uniformly contained in both is reduced or offset. That is, as shown in FIG. 10C, a signal that does not include a noise component and that has the infrared light 20b reflected by the reflector 42a as its main component is obtained.
  • the respiratory rate can be measured by counting one cycle of this signal waveform as one respiratory cycle.
  • FIG. 11 shows an example of the hardware configuration of the information processing apparatus 30 mainly in the life activity measurement system 100.
  • the information processing apparatus 30 is connected to the camera 10 and the display 32.
  • the information processing apparatus 30 receives captured moving image data from the camera 10.
  • the display 32 displays a measurement result of the number of breaths that is the biological activity of the subject 1 as a result of the processing.
  • the information processing apparatus 30 may display a warning on the display 32.
  • the information processing apparatus 30 includes a CPU 301, a ROM 302, a RAM 303, a hard disk drive (HDD) 304, an input interface (input I / F) 305, an image processing circuit 306, and an output interface (output I / F) 307.
  • the CPU 301 controls the operation of the information processing apparatus 30.
  • the ROM 302 stores a computer program.
  • the computer program is a group of instructions for causing the CPU 301 or the image processing circuit 306 to perform, for example, the processing shown by a flowchart to be described later or processing according to a modification thereof.
  • a RAM 303 is a work memory for developing a computer program when executed by the CPU 301.
  • the HDD 304 is a storage device that stores moving image data received from the camera 10 or measured respiratory rate data of the subject 1.
  • the input I / F 305 is an interface for the information processing apparatus 30 to receive moving image data from the camera 10.
  • the output I / F 307 is an interface for the information processing apparatus 30 to output moving image data to the display 32.
  • Input I / F 305 and / or output I / F 307 are composite terminal, S terminal, D terminal, component terminal, VGA terminal, HDMI (registered trademark) terminal, DVI-D terminal, DisplayPort (registered trademark) terminal, USB terminal, etc. This terminal is capable of transmitting and receiving video signals.
  • the input I / F 305 and / or the output I / F 307 are, for example, Ethernet (registered trademark) terminals.
  • the input I / F 305 and / or the output I / F 307 comply with, for example, the Wi-Fi (registered trademark) standard.
  • a transmission / reception circuit for performing communication is described below.
  • the image processing circuit 306 is a so-called graphics processor that analyzes moving image data.
  • the image processing circuit 306 determines the subject based on the difference between the brightness values of the first region P1 and the second region P2 in which the brightness value increases synchronously due to body motion accompanying intake or exhaust in the moving image. Measure respiratory rate of 1.
  • the image processing circuit 306 is provided separately from the CPU 301, but this is an example.
  • the CPU 301 may perform processing of an image processing circuit 306 described later.
  • FIG. 12 shows a procedure of processing performed in the life activity measurement system 100.
  • step S1 the subject 10 photographs the subject 1 to which the camera 10 is attached a reflector 42 made of a retroreflecting material.
  • the captured moving image is sent to the information processing apparatus 30.
  • step S2 the image processing circuit 306 of the information processing apparatus 30 divides each of a plurality of frame images constituting the captured moving image into a plurality of partial areas.
  • the partial region (for example, the partial region P in FIG. 3) has a size of, for example, 64 pixels horizontally and 64 pixels vertically. Note that “divide” does not require division as an actual operation. For example, the operation of setting the size of the partial area as a unit for cutting out an image or a unit for performing processing may be included in the “dividing” operation described here.
  • step S3 the image processing circuit 306 specifies a plurality of partial regions (partial region group) in which the reflector 42 exists and includes a body movement location due to a biological reaction based on the luminance value of each partial region.
  • the partial area in which the reflector 42 exists can be specified in each frame image.
  • the partial region including the body movement location can be specified over a plurality of frame images, that is, between the plurality of frame images.
  • the partial area where the reflector exists is specified by the following process.
  • the image processing circuit 306 holds information on the luminance value of the partial area observed when a reflector is present in the ROM 302 in advance. This information is used as a threshold value for the luminance value, and a partial region having a luminance value equal to or higher than the threshold value is specified as a partial region where the reflector 42 is present.
  • the luminance value at this time may be the sum of the luminance values of the pixels included in the partial area, or may be an average value. Depending on whether the sum of luminance values or the average value is adopted, the threshold may also change. Since the arithmetic processing for calculating the sum is smaller than the arithmetic processing for calculating the average value and the calculation load is small and the processing speed can be increased, the present embodiment is the sum of the luminance values of the pixels included in the partial area. And
  • the partial area including the body movement location is specified by the following process.
  • the region where the reflected light 20b from the reflector 42 is observed fluctuates due to body movement due to a biological reaction (respiration).
  • a partial region Q existing at a common coordinate position FIGS. 13A and 13B show examples of partial areas Q in two frame images taken at different times as a more general example. It is assumed that the region R shown in FIGS. 13A and 13B is a high luminance region where the reflected light 20b from the reflector 42 is detected.
  • the partial area Q may or may not become a high luminance area due to body movement accompanying breathing.
  • FIG. 13C shows a change in the luminance value of the partial region Q at this time.
  • the image processing circuit 306 specifies a partial region group in which such a change appears using a plurality of frame images.
  • the reason for specifying the partial region group is that, in the present embodiment, it is necessary to calculate the difference in luminance value.
  • step S4 the image processing circuit 306 calculates the brightness values of the first area P1 and the second area P2 where the brightness value increases in synchronization with body movement in the identified partial area group.
  • the luminance value of each partial area detected in step S3 increases or decreases with time.
  • a partial region for example, the first region P1 in which the luminance value increases synchronously and a partial region (the second region P2) in which the luminance value decreases are detected.
  • the image processing circuit 306 only has to detect the adjacent first region P1 and second region P2.
  • step S5 the image processing circuit 306 calculates a difference between the luminance value of the first region P1 and the luminance value of the second region P2.
  • the waveform obtained by this calculation is shown in FIG. 10 (c), for example.
  • step S6 the image processing circuit 306 measures the respiratory rate by counting one cycle of the signal waveform of the calculated difference value as one respiratory cycle. If the signal waveform of the difference value is used, the image processing circuit 306 can measure not only the respiration rate but also the biological activity such as the respiration depth, disturbance, apnea period, and frequency of occurrence of the apnea period. Is possible.
  • the image processing circuit 306 detects the adjacent first region P1 and second region P2. This is because the reflector 42a has a rhombus, and the first region P1 and the second region P2 are subjected to a constraint condition that includes a part of the image.
  • One reflector support member provided with a plurality of spaced reflectors may be used, or a plurality of reflectors each composed of a retroreflecting material may be used.
  • FIG. 14 shows an example of a frame image when two spaced apart reflectors 42f1 and 42f2 are used.
  • the separation distance may not be particularly limited, or may be provided with a condition that the separation distance is within a predetermined range.
  • the “predetermined range” can be specified by the number of pixels on the frame image, or may be specified as an actually measured distance obtained based on the relationship between the number of pixels and the shooting distance. Even in this case, it is the same as the previous example that the luminance value of each partial area needs to be increased or decreased in synchronization in the captured frame image. Therefore, it is necessary to adjust the arrangement of the reflectors so that these partial areas exist.
  • FIGS. 15A to 15C show the relationship between the shape of the reflector 42 and the first region P1 and the second region P2 according to the modification.
  • the double-headed arrow indicates the direction of body movement caused by breathing.
  • FIG. 15A shows a first region P1 and a second region P2 for detecting a part of the rhomboid reflector 42a (in this example, the right half).
  • FIG. 15B shows a first region P1 and a second region P2 for detecting a part of the rhomboid reflector 42a (in this example, an upper right region and a lower left region divided into four by two diagonals of the rhombus).
  • FIG. 15C shows a first region P1 and a second region P2 in which a part of the triangular reflector 42e (in this example, a partial region including one apex angle of the triangle) is detected.
  • the area including the reflector increases or decreases in synchronization with body movement.
  • the brightness values of the first region P1 and the second region P2 increase or decrease in synchronization.
  • the number of reflectors, the degree of separation, and the detection conditions for the first region P1 and the second region P2 can be variously changed.
  • the specification of the biological activity measurement system 100 is determined so that one or a plurality of reflectors 42 are placed at predetermined positions.
  • This “predetermined position” is specified at the time of designing or introducing the biological activity measurement system 100 as a position where body movement caused by the breathing of the subject 1 can be detected without fail.
  • a position corresponding to a predetermined position can be specified.
  • a shape as shown in FIG. 5 is determined in advance so that an increase and a decrease in luminance value are generated in synchronization with body movement accompanying intake or exhaust. Also good.
  • the image processing circuit 306 may treat the two regions at the position on the frame image as the first region P1 and the second region P2 described above. That is, the image processing circuit 306 may obtain the difference between the luminance values of the two regions at the position on the frame image as the difference between the luminance value of the first region P1 and the luminance value of the second region P2. According to this processing, the image processing circuit 306 does not need to detect the first region P1 and the second region P2 in which the luminance value increases or decreases in synchronization, and thus the processing can be speeded up.
  • FIG. 16 shows the camera 10 equipped with the optical filter 11 that blocks the wavelength in the visible light region.
  • This optical filter 11 is also called an infrared filter, for example.
  • the optical filter 11 is provided and the subject 1 is photographed.
  • the optical filter 11 transmits infrared light 20b radiated from the light source 20 and reflected by the reflector, but blocks visible light.
  • light other than the infrared light 20b more specifically, visible light, is prevented from entering the camera 10, thereby affecting the change in the luminance value of the captured moving image. Can be reduced. Since fluctuations in the luminance value of each frame image due to visible light can be suppressed, it is possible to reduce the occurrence of disturbance noise due to only visible light and not due to biological reactions.
  • the infrared light 21a as a disturbance enters the camera 10 as a noise component. However, the noise component is reduced or canceled by performing the above-described difference calculation.
  • the inventors of the present application consider that it is very useful to provide the optical filter 11 that blocks the wavelength in the visible light region. This is because it is often difficult to realize a complete dark room environment during actual photographing. For example, when the life activity measurement system 100 is operated in a hospital, a night light, an evacuation guide light, etc. are lit in the hospital even at night. In such a photographing environment, it is preferable to block visible light by the optical filter 11.
  • an optical filter that blocks not only visible light but also unnecessary infrared light may be provided.
  • a band pass filter that allows infrared light emitted from the light source 20 to pass therethrough may be provided as the optical filter 11.
  • an LED light source having a steep wavelength characteristic is adopted as the light source 20.
  • the wavelength is, for example, 850 nm or 940 nm and their vicinity.
  • the “steep wavelength characteristic” means that the fluctuation of the wavelength of the emitted infrared light is small here.
  • the camera 10 is provided with an optical filter having a bandpass characteristic that allows the infrared light 20a emitted from the light source 20 to pass therethrough as the optical filter 11.
  • the optical filter 11 that transmits infrared light having a wavelength of 850 nm is provided.
  • the camera 10 is sensitive only to light having the same wavelength as the wavelength of the infrared light 20a emitted from the light source 20. Since not only visible light but also unnecessary infrared light can be blocked, the captured moving image is not easily affected by disturbance light.
  • the reflector 42 comprised with the retroreflection material since the reflector 42 comprised with the retroreflection material is utilized, the light quantity of the infrared light 20b radiated
  • infrared light having the same wavelength as that of the infrared light emitted from the light source 20 may be infrared light that is not derived from the light source 20 and is emitted from another light source or the like. Such infrared light also enters the camera 10 as a noise component. However, these noise components are reduced or canceled by performing the above-described difference calculation.
  • FIG. 17 shows the light source 20 provided with the polarizing filter 12a and the camera 10 provided with the polarizing filter 12b.
  • the camera 10 is provided with the optical filter 11 described above, but the optical filter 11 is not essential.
  • the polarizing filters 12a and 12b are installed in the camera 10 and the light source 20 so that their polarization directions coincide.
  • the camera 10 is sensitive only to light having the same polarization direction as the infrared light emitted from the light source 20 by the polarizing filters 12a and 12b.
  • the infrared light having a predetermined polarization direction that has passed through the polarizing filter 12 a out of the infrared light emitted from the light source 20 is reflected by the reflector made of the retroreflecting material, and further reflected on the camera 10. Incident. Therefore, while reducing the influence of disturbance light (visible light and infrared light) having a polarization direction different from the polarization direction, the influence of disturbance light can be suppressed by the above-described difference calculation.
  • FIG. 18 shows a life activity measurement system 111 according to a modification of the life activity measurement system 100.
  • a plurality of cameras 10 are connected to the information processing apparatus 30 via the network 110.
  • the information processing apparatus 30 obtains moving image data output from the plurality of cameras 10 and individually performs the above-described processing.
  • the life activity measurement system 111 is laid, for example, in a hospital.
  • the camera 10 and the light source 20 may be installed in each patient's home, and the information processing apparatus 30 may be installed in a hospital or the like.
  • This specification discloses a respiration rate measurement method, a measurement system, and a computer program described in the following items.
  • a light source that emits light
  • An imaging device for generating a moving image of a subject
  • An image processing circuit that measures the biological activity of the subject using the moving image
  • a measurement system comprising: When one or a plurality of reflectors are arranged at the generation position of body movement accompanying breathing of the subject, and the light is emitted from the light source toward the subject, The imaging device receives the light reflected by the one or more reflectors over the generation period of the body movement to generate the moving image, The image processing circuit is caused by breathing of the subject based on a difference between the luminance values of the first region in which the luminance value is synchronously increased by the body movement and the second region of the moving image in the moving image.
  • a measurement system that measures biological activity.
  • light for example, a noise component
  • the measurement system of Item 1 light, for example, a noise component, is uniformly included in the first region where the luminance value increases synchronously and the second region where the luminance value decreases due to body movement accompanying intake or exhaust in the moving image.
  • the effect of the obtained room lighting and / or external light can be reduced or offset.
  • it is possible to measure the biological activity caused by respiration by using a luminance signal having a larger amplitude than using the luminance signal of the first region and the luminance signal of the second region.
  • the one or more reflectors are a plurality of reflectors, and the plurality of reflectors are disposed within a predetermined range; 3.
  • the image processing circuit detects the first area and the second area from a partial area in the moving image corresponding to the predetermined range.
  • each of the one or more reflectors is made of a retroreflecting material.
  • the imaging device receives the reflected light emitted from the light source and reflected by the one or more reflectors and external light uniformly incident from the outside, and generates a moving image
  • the first signal indicating the luminance value of the first region and the second signal indicating the luminance value of the second region include the influence of the external light
  • the first signal includes a luminance signal of reflected light reflected by the one or more reflectors included in the first region, and a luminance signal of the external light
  • the second signal includes a luminance signal of reflected light reflected by the one or more reflectors included in the second region, and a luminance signal of the external light
  • the phase of the luminance waveform of the reflected light included in the first signal and the phase of the luminance waveform of the reflected light included in the second signal are inverted from each other
  • the image processing circuit obtains a difference signal having an amplitude larger than each of the first signal and the second signal by calculating a difference between the first signal and the second signal, and calculates the difference signal.
  • Item 7 The measurement system according to Item 6, which is used to measure a biological activity resulting from respiration of the subject.
  • Item 11 The image processing device according to Item 10, further comprising an output interface that outputs information on the life activity resulting from the breathing of the subject measured by the image processing circuit.
  • Item 12 The image processing device according to Item 11, wherein the output interface is a video output terminal for connection to a display device.
  • Information 13 It further comprises a display device for displaying information on the life activity, 12.
  • the present invention can be used as a method for analyzing a moving image obtained by photographing a subject and measuring the life activity of the subject, particularly the number of breaths, in a non-contact manner.
  • the present invention can also be used as an apparatus, system, and computer program for analyzing such moving images and measuring life activity.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動の計測を可能にする。計測システム（１００）は、光（２０ａ）を放射する光源（２０）と、被験体（１）の動画像を生成する撮像装置（１０）と、動画像を利用して被験体の生体活動を計測する画像処理回路（３０６）とを備えている。被験体の呼吸に伴う体動の発生位置に、１または複数のリフレクタ（４２）が配置され、光源から被験体に向けて光が放射されたとき、撮像装置は、１または複数のリフレクタで反射された光を、体動の発生期間以上にわたって受けて動画像を生成する。画像処理回路は、動画像中の、体動によって輝度値が同期して増加する第１領域（Ｐ１）および減少する第２領域（Ｐ２）の各輝度値の差分に基づいて、被験体の呼吸に起因する生体活動を計測する。

Description

被験体の呼吸に起因する生体活動の計測システム、および画像処理装置
　本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。
　カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている（たとえば特許文献１および２）。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いることによって特定される。
　特許文献１の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類の閾値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているのかを判定する。
　特許文献２の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。
特開平１１－２７６４４３号公報 特開２０１１－１３０９９６号公報
　特許文献１の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切な閾値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべき閾値が大きく変動し得る。常に適切な閾値を求める方法がないため、閾値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。
　特許文献２の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献１と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応起因の体動個所を特定できず、生体情報が正確に抽出できないことがある。
　さらに、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるため、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。
　本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動の計測システム、および生体情報の計測方法等を提供する。
　本発明の実施形態による計測システムは、光を放射する光源と、被験体の動画像を生成する撮像装置と、前記動画像を利用して前記被験体の生体活動を計測する画像処理回路とを備えている。前記被験体の呼吸に伴う体動の発生位置に、１または複数のリフレクタが配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記１または複数のリフレクタで反射された前記光を、前記体動の発生期間以上にわたって受けて、前記動画像を生成し、前記画像処理回路は、前記動画像中の、前記体動によって輝度値が同期して増加する第１領域および減少する第２領域の各輝度値の差分に基づいて、前記被験体の呼吸に起因する生体活動を計測する。
　ある実施形態において、前記画像処理回路は、前記動画像中の輝度値の変化を検出することにより、前記第１領域および前記第２領域を検出する。
　ある実施形態において、前記１または複数のリフレクタの各々は再帰性反射材で構成されている。
　ある実施形態において、前記撮像装置は、前記光源から放射され、前記１または複数のリフレクタで反射された反射光、および外部から一様に入射した外部光を受けて動画像を生成し、前記第１領域の輝度値を示す第１信号、および前記第２領域の輝度値を示す第２信号は、前記外部光の影響を含んでおり、前記画像処理回路は、前記第１信号および前記第２信号の差分を演算することにより、前記外部光の影響を低減する。
　ある実施形態において、前記第１信号は、前記第１領域に含まれる前記１または複数のリフレクタで反射された反射光の輝度信号、および前記外部光の輝度信号を含み、前記第２信号は、前記第２領域に含まれる前記１または複数のリフレクタで反射された反射光の輝度信号、および前記外部光の輝度信号を含み、前記第１信号に含まれる前記反射光の輝度波形の位相、および前記第２信号に含まれる前記反射光の輝度波形の位相は互いに反転しており、前記画像処理回路は、前記第１信号および前記第２信号の差分を演算することにより、前記第１信号および前記第２信号の各々よりも大きな振幅を有する差分信号を取得し、前記差分信号を用いて前記被験体の呼吸に起因する生体活動を計測する。
　ある実施形態において、前記光源は赤外光を放射する。
　本発明のある実施形態にかかる画像処理装置は、上述のいずれかの計測システムにおいて利用され、前記撮像装置によって生成された前記動画像の信号を受信する入力インタフェースと、前記画像処理回路とを備えている。
　本発明のある実施形態によれば、動画像中の、吸気または排気に伴う体動によって輝度値が同期して増加する第１領域および減少する第２領域に一様に含まれる光、たとえばノイズ成分となり得る室内照明および／または外部光の影響を低減、または相殺できる。また、第１領域の輝度信号および第２領域の輝度信号をそれぞれ利用するよりも、より振幅の大きい輝度信号によって、呼吸に起因する生体活動を計測することが可能になる。
本発明の例示的な実施の形態による生体活動計測システム１００の構成を示す図である。 光源２０から赤外光を放射し、リフレクタ４２として再帰性反射材を用いた、例示的な実施の形態にかかる生体活動計測システム１００の構成を示す図である。 リフレクタ４２を装着した被験者１を撮影したフレーム画像１０２を示す図である。 リフレクタ４２を装着しない被験者を撮影したフレーム画像１０６を示す図である。 （ａ）～（ｅ）は、リフレクタ支持部材４０に設けられた、例示的なリフレクタ４２ａ～４２ｅを示す図である。 （ａ）は再帰性反射材で構成されたリフレクタ４２ａを装着した被験者１を撮影したフレーム画像１０８を示す図であり、（ｂ）はフレーム画像１０８中のリフレクタ４２ａを含む部分領域の部分拡大図であり、（ｃ）は部分領域に含まれるリフレクタ４２ａの画像と、その画像を検出するための第１領域Ｐ１および第２領域Ｐ２とを抽出した図である。 （ａ）～（ｄ）は、第１領域Ｐ１および第２領域Ｐ２を基準とした、リフレクタ４２ａに対応する画像の位置の時系列的な変化を示す図である。 （ａ）および（ｂ）はそれぞれ、第１領域Ｐ１および第２領域Ｐ２の輝度値の変化を示す図である。 （ａ）および（ｂ）は、第１領域Ｐ１の輝度信号（図８（ａ））の成分を示す図である。 （ａ）および（ｂ）は、ノイズ成分を含まない、被験者１の呼吸に伴って変化する第１領域Ｐ１の輝度成分波形、および第２領域Ｐ２の輝度成分波形を示す図であり、（ｃ）は（ａ）および（ｂ）の各波形の差分波形図である。 生体活動計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す図である。 生体活動計測システム１００で行われる処理の手順を示すフローチャートである。 （ａ）および（ｂ）は、異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す図であり、（ｃ）は部分領域Ｑの輝度値の変化を示す図である。 離間した２つのリフレクタ４２ｆ１および４２ｆ２を用いたときのフレーム画像例を示す図である。 （ａ）～（ｃ）は、変形例による、リフレクタの形状と、第１領域Ｐ１および第２領域Ｐ２との関係を示す図である。 可視光領域の波長を遮る光学フィルタ１１を装着したカメラ１０を示す図である。 偏光フィルタ１２ａが設けられた光源２０と、偏光フィルタ１２ｂが設けられたカメラ１０とを示す図である。 生体活動計測システム１００の変形例による生体活動計測システム１１１を示す図である。
　以下、添付の図面を参照しながら、本発明による生体活動計測システム、画像処理装置、コンピュータプログラムの実施形態を説明する。
　図１は、本実施の形態による生体活動計測システム１００の構成を示す。生体活動計測システム１００は、カメラ１０と、光源２０と、情報処理装置３０と、１または複数のリフレクタ４２とを含む。図１には被験者１が示されているが、被験者１は生体活動計測システム１００に含まれない。
　生体活動計測システム１００は、たとえば病院内の一室に導入され、被験者１の生体活動を観察するために利用される。本実施の形態では、生体活動は被験者１の呼吸であるとし、生体活動計測システム１００は所定時間内の呼吸数を計測する。なお、被験者１は人であるとして説明するが、人以外の動物であってもよい。観測対象としての動物（人を含む。）を総称して「被験体」と呼ぶことがある。
　カメラ１０は、いわゆる撮像装置であり、被験者１を撮影して動画像を生成する。カメラ１０は、有線または無線で動画像のデータを情報処理装置３０に送る。
　光源２０は光２０ａを放射する光源である。光２０ａは可視光であってもよく、不可視光（たとえば赤外光）であってもよい。
　情報処理装置３０は、カメラ１０が撮影した動画像のデータを受け取り、動画像を構成する複数のフレーム画像間の画像の変化を利用して被験者１の呼吸数を計測する。情報処理装置３０の動作の詳細は後述する。
　リフレクタ４２は、反射性を有する材料（反射材）で構成されている。反射材は、光源２０から放射された光２０ａを反射する。リフレクタ４２は、光２０ａを反射させて反射光２０ｂをカメラに入射させるよう、設置角度が調整されて被験者１の上（たとえば被験者１の胸部の上）に載置されている。
　生体活動計測システム１００が設けられる環境には、外乱光２１ａが存在する。外乱光２１ａは、光源１０から放射される光２０ａ以外の光、たとえば室内照明および／または外部光である。本明細書では、外乱光２１ａは生体活動計測システム１００が導入されている病室内で一様に放射され、反射されているとする。外乱光２１ａは、直接的に、またはリフレクタ４２等で反射されることによって間接的にカメラ１０に入射する。
　生体活動計測システム１００の全体の動作を概説すると以下のとおりである。
　まず、観測者または被験者１が、被験者１の呼吸に伴う体動の発生位置に、１または複数のリフレクタ（reflector(s)）４２を配置する。光源２０が光２０ａで被験者１を照射すると、カメラ１０はリフレクタ４２で反射された光２０ｂを受けて、被験者１の動画像を撮影する。撮影期間は、被検体の吸気または排気に伴う体動の発生期間以上であるとする。体動の発生期間は、たとえば成人の安静時の正常呼吸が１分間に１２～２０回の頻度であるとすると、３～５秒以上である。
　情報処理装置３０に設けられた画像処理回路（後述）は、動画像中の、吸気または排気に伴う体動によって輝度値が同期して増加する第１領域および減少する第２領域の各輝度値の差分に基づいて、被験者１の呼吸に起因する生体活動を計測する。
　より詳細に説明する。画像処理回路は、動画像中の各フレーム画像を構成する複数の領域の中から、たとえば各領域の輝度値により、体動によって輝度値が同期して増加する領域および減少する領域を検出し、それぞれ第１領域および第２領域として設定する。
　領域の輝度値とは、たとえばその領域に含まれる全ての画素の輝度値の合計値である。または、その領域内の全画素の輝度値の平均値であってもよいし、全画素の輝度値のうちの上位１／３の合計値であってもよい。
　動画像中の第１領域および第２領域には、ノイズ成分となり得る外乱光２１ａ（たとえば室内照明および／または外部光）の影響が一様に含まれている。第１領域および第２領域の各輝度値の差分の演算により、それらの影響を低減、または相殺できる。
　また、第１領域および第２領域は、吸気または排気に伴う体動によって輝度値が同期して増加および減少するため、検出される輝度信号の位相は互いに反転している。したがって、第１領域および第２領域の各輝度値の差分の演算により、第１領域の輝度信号および第２領域の輝度信号をそれぞれ利用するよりも、より振幅の大きい輝度信号を得ることができる。
　よって、情報処理装置３０は、ノイズ成分が低減、または相殺され、かつ、呼吸検出に必要な信号成分が増幅された輝度信号を利用して、より正確かつ確実に、呼吸に起因する生体活動を計測することが可能になる。
　以下、図２～図１８を参照しながら、さらに詳細かつ具体的に生体活動計測システム１００を説明する。
　図２は、例示的な実施の形態にかかる生体活動計測システム１００の構成を示す。図２に示す生体活動計測システム１００では、光源２０が赤外光を放射する。以下では、光２０ａを「赤外光２０ａ」と記述する。赤外光２０ａの反射光２０ｂを「赤外光２０ｂ」と記述することがある。光源２０の光軸とカメラ１０の光軸とは近接して配置されている。
　さらに、リフレクタ４２は赤外光に関する再帰性反射材で構成されている。
　再帰性反射材は、入射してきた光を、その入射方向に向けて反射する光学特性を有する。つまり、再帰性反射材に入射する光の入射角と、再帰性反射材によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には入射方向とは異なる方向にも反射され得る。
　本実施の形態では、光源２０の光軸とカメラ１０の光軸とを近接して配置させている。これにより、光源２０から放射された赤外光２０ａは再帰性反射材で反射され、その多くが赤外光２０ｂとしてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。本実施形態では、再帰性反射材として、ガラスビーズを塗布した布を用いた。
　なお、再帰性反射材を利用することにより、再帰性反射材に入射した外乱光２１ａは、反射光２１ｂとしてその入射方向に反射される。反射光２１ｂは実質的にカメラ１０に入射しないため、カメラ１０によって撮影される動画像は外乱光２１ａの影響を受けにくくなる。ただし、外乱光２１ａの中には、カメラ１０に直接入射する光、および、リフレクタ４２以外で反射されて間接的にカメラ１０に入射する光も存在する。したがって、外乱光２１ａの影響は依然として存在し得る。
　生体活動計測システム１００において、観測者または被験者１が、被験者１の呼吸に伴う体動の発生位置にリフレクタ４２を配置する。光源２０が赤外光２０ａで被験者１を照射すると、カメラ１０はリフレクタ４２で反射された赤外光２０ｂを受けて、被験者１の動画像を撮影する。
　たとえば図３は、リフレクタ４２を装着した被験者１を撮影したフレーム画像１０２を示す。画像中央部の高輝度領域（白い領域）１０４が、リフレクタ４２からの反射光２０ｂが検出された領域である。参考として、図４は、リフレクタ４２を装着しない被験者を撮影したフレーム画像１０６を示す。リフレクタ４２が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。図３および図４には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。本明細書では、境界線によって区画される画像の領域を、画像の「部分領域」と呼ぶ。図３には、部分領域Ｐが例示されている。部分領域Ｐの境界線は理解の便宜のため強調して表示されている。
　次に図５を参照しながら説明するように、本明細書では、輝度値が同期して増加する第１領域および減少する第２領域は、リフレクタ４２の形状に関連して特定され得る。図３は理解の便宜のために設けられており、図３には再帰性反射材の形状は現れていないことに留意されたい。
　図５（ａ）～（ｅ）は、リフレクタ支持部材４０に設けられた、例示的なリフレクタ４２ａ～４２ｅを示す。図示されるように、リフレクタ４２ａ～４２ｅの形状として、菱形、円形、四角形、六角形などの多角形、三角形など、種々考えられる。以下の説明では、図５（ａ）に示すリフレクタ４２ａを例示して説明する。リフレクタ支持部材４０はシート状であってもよいし、布・織物などの生地であってもよい。
　図６（ａ）は、再帰性反射材で構成されたリフレクタ４２ａを装着した被験者１を撮影したフレーム画像１０８を示す。図３と同様、再帰性反射材で構成されたリフレクタ４２ａを設けたことにより、リフレクタ４２ａが比較的高い輝度の領域として検出されている。
　図６（ｂ）は、フレーム画像１０８中のリフレクタ４２ａを含む部分領域の部分拡大図である。図６（ｃ）は、部分領域に含まれるリフレクタ４２ａの画像と、その画像を検出するための第１領域Ｐ１および第２領域Ｐ２とを抽出した図である。第１領域Ｐ１および第２領域Ｐ２はフレーム画像１０８内に設定された領域である。たとえば、フレーム画像１０８の解像度が、１９２０ｘ１０８０ドットであり、左上が原点位置（０，０）であるとする。第１領域Ｐ１は、左上の隅の座標位置（９００，４００）で、右下の隅の座標位置（１０９９，４９９）の、２００ｘ１００ドットの矩形領域として定義され得る。第２領域Ｐ２は、左上の隅の座標位置（９００，５００）で、右下の隅の座標位置（１０９９，５９９）の、２００ｘ１００ドットの矩形領域として定義され得る。
　第１領域Ｐ１および第２領域Ｐ２においては、吸気または排気に伴う体動によってその輝度値が同期して増加し、減少する。図７および図８を参照しながら具体的に説明する。
　図７（ａ）～（ｄ）は、第１領域Ｐ１および第２領域Ｐ２を基準とした、リフレクタ４２ａに対応する画像の位置の時系列的な変化を示す。煩雑になるため、参照符号Ｐ１、Ｐ２、４２ａの記載は省略しているが、図６（ｃ）の記載に準じる。
　図７（ａ）～（ｄ）から理解されるように、被験者１が呼吸することによってリフレクタ４２ａが上下するため、第１領域Ｐ１および第２領域Ｐ２の各々に含まれるリフレクタ４２ａの比率も変化する。これは、第１領域Ｐ１および第２領域Ｐ２の各輝度値の変化として現れる。
　図８（ａ）および（ｂ）はそれぞれ、第１領域Ｐ１および第２領域Ｐ２の輝度値の変化を示す。これらは「輝度信号」と呼ばれることもある。
　図８における時刻ｔ１は図７（ａ）の状態に対応する。図８における時刻ｔ２は図７（ｂ）の状態に対応する。図８における時刻ｔ３は図７（ｃ）の状態に対応し、図８における時刻ｔ４は図７（ｄ）の状態に対応する。
　図８から理解されるように、第１領域Ｐ１の輝度値が増加すると第２領域Ｐ２の輝度値は減少する。その逆も同様である。
　本実施の形態においては、情報処理装置３０は、このような関係を有する第１領域Ｐ１および第２領域Ｐ２を特定する。その理由を次に説明する。
　第１領域Ｐ１の輝度信号は、主として２つの信号成分を含んでいる。図９（ａ）および（ｂ）は、第１領域Ｐ１の輝度信号（図８（ａ））の成分を示す。図９（ａ）は、被験者１の呼吸に伴って変化する第１領域Ｐ１の輝度成分のみを示す。図９（ｂ）は、第１領域Ｐ１において検出された外乱光２１ａに起因するノイズ成分である。第１領域Ｐ１の輝度信号は、図９（ａ）および（ｂ）に示す成分の和として検出される。
　第２領域Ｐ２の輝度信号も同様に、被験者１の呼吸に伴って変化する輝度成分と、外乱光２１ａに起因するノイズ成分との和として検出される。
　ここで留意すべきは、第１領域Ｐ１の輝度信号を構成する２つの成分と、第２領域Ｐ２の輝度信号を構成する２つの成分との関係である。具体的には、下記の（Ａ）および（Ｂ）の関係を有している。
　（Ａ）被験者１の呼吸に伴って変化する第１領域Ｐ１の輝度成分波形の位相と、第２領域Ｐ２の輝度成分波形の位相とは、互いに反転している。
　（Ｂ）外乱光２１ａに起因するノイズ成分は、第１領域Ｐ１および第２領域Ｐ２において互いに同位相であり、反転はしておらず、同じであるとみなすことができる。
　上記（Ａ）の関係は、吸気または排気に伴う体動によって、第１領域Ｐ１の輝度値が増加したときは第２領域Ｐ２の輝度値は減少し、第１領域Ｐ１の輝度値が減少したときは第２領域Ｐ２の輝度値は増加する、という同期関係を有していることに直接対応する。
　上記（Ｂ）の関係は、外乱光２１ａが、生体活動計測システム１００において一様に存在すると仮定しているためである。ただしこの仮定は一般性を有すると考えられる。
　本願発明者らは、上記（Ａ）および（Ｂ）のそれぞれの関係に着目し、第１領域Ｐ１の輝度値と第２領域Ｐ２の輝度値との差分を演算する、という処理が非常に有用であることを見出した。
　図１０（ａ）および（ｂ）は、ノイズ成分を含まない、被験者１の呼吸に伴って変化する第１領域Ｐ１の輝度成分波形、および第２領域Ｐ２の輝度成分波形を示す。図から理解されるように、両者の位相は互いに反転している。
　図１０（ｃ）は、図１０（ａ）および（ｂ）の各波形の差分波形である。図１０（ａ）および（ｂ）の各波形の位相が反転しているため、差分を演算すると、それぞれの波形の振幅よりも大きな振幅を有する波形が得られる。呼吸による体動は撮影環境によっては微小にしか検出されないことがある。より大きな振幅を有する波形を利用すれば、より正確かつ確実に、呼吸に起因する生体活動を計測することが可能になる。
　一方、上記（Ｂ）の関係から、第１領域Ｐ１の輝度値と第２領域Ｐ２の輝度値との差分を演算すると、両者に一様に含まれるノイズ成分は低減、または相殺される。つまり、図１０（ｃ）に示されるような、ノイズ成分を含まず、かつリフレクタ４２ａで反射された赤外光２０ｂをその主成分とする信号が得られる。この信号波形の一周期を一呼吸周期としてカウントすることにより、呼吸数を測定することができる。
　以上のとおり、本願発明者らが見出した知見と、その知見に基づく処理を説明した。次に、生体活動計測システム１００の情報処理装置３０の構成および動作を説明する。
　図１１は、生体活動計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す。本実施の形態では、情報処理装置３０はカメラ１０、およびディスプレイ３２と接続されている。情報処理装置３０は、カメラ１０から、撮影された動画像のデータを受け取る。またディスプレイ３２は、処理の結果である、被験者１の生体活動である呼吸の数の計測結果を表示する。高輝度領域が検出されないことにより、カメラ１０の撮影方向が適切でないと判断した場合には、情報処理装置３０はディスプレイ３２に警告を表示してもよい。
　情報処理装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、入力インタフェース（入力Ｉ／Ｆ）３０５と、画像処理回路３０６と、出力インタフェース（出力Ｉ／Ｆ）３０７とを有する。
　ＣＰＵ３０１は情報処理装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理またはその変形例にかかる処理をＣＰＵ３０１または画像処理回路３０６に行わせるための命令群である。ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または計測された被験者１の呼吸数のデータを格納する記憶装置である。
　入力Ｉ／Ｆ３０５は、情報処理装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。また、出力Ｉ／Ｆ３０７は、情報処理装置３０がディスプレイ３２に動画像のデータを出力するためのインタフェースである。入力Ｉ／Ｆ３０５および／または出力Ｉ／Ｆ３０７は、コンポジット端子、Ｓ端子、Ｄ端子、コンポーネント端子、ＶＧＡ端子、ＨＤＭＩ（登録商標）端子、ＤＶＩ－Ｄ端子、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）端子、ＵＳＢ端子等の、映像信号を送受信することが可能な端子である。情報処理装置３０が有線のネットワーク経由で動画像のデータを送信および／または受信する場合には、入力Ｉ／Ｆ３０５および／または出力Ｉ／Ｆ３０７はたとえばイーサネット（登録商標）端子である。情報処理装置３０が無線のネットワーク経由で動画像のデータを送信および／または受信する場合には、入力Ｉ／Ｆ３０５および／または出力Ｉ／Ｆ３０７は、たとえばＷｉ－Ｆｉ（登録商標）規格に準拠した通信を行う送受信回路である。
　画像処理回路３０６は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路３０６は、動画像中の、吸気または排気に伴う体動によって輝度値が同期して増加する第１領域Ｐ１および減少する第２領域Ｐ２の各輝度値の差分に基づいて、被験体１の呼吸数を計測する。
　本実施の形態ではＣＰＵ３０１とは別に画像処理回路３０６を設けているが、これは一例である。後述する画像処理回路３０６の処理を、ＣＰＵ３０１が行ってもよい。
　図１２は、生体活動計測システム１００で行われる処理の手順を示す。
　ステップＳ１において、カメラ１０が再帰性反射材で構成されたリフレクタ４２を装着した被験者１を撮影する。撮影された動画像は情報処理装置３０に送られる。
　ステップＳ２において、情報処理装置３０の画像処理回路３０６は、撮影した動画像を構成する複数のフレーム画像の各々を、複数の部分領域に分割する。部分領域（たとえば図３の部分領域Ｐ）は、たとえば横６４画素、縦６４画素の大きさを有する。なお「分割する」とは、実際の動作として分割する必要はない。たとえば画像を切り出す単位または処理を行う単位として部分領域のサイズを設定する、という動作も、ここで言う「分割する」動作に含まれ得る。
　ステップＳ３において、画像処理回路３０６は、各部分領域の輝度値に基づいて、リフレクタ４２が存在し、かつ生体反応による体動箇所を含む複数の部分領域（部分領域群）を特定する。より具体的に説明する。リフレクタ４２が存在する部分領域は、各フレーム画像内で特定され得る。一方、体動箇所を含む部分領域は、複数のフレーム画像にわたって、すなわち複数のフレーム画像間で特定され得る。
　リフレクタが存在する部分領域は以下の処理によって特定される。たとえば、画像処理回路３０６は、リフレクタが存在する場合に観測される部分領域の輝度値の情報を、予めＲＯＭ３０２に保持している。この情報を輝度値の閾値として利用し、閾値以上の輝度値を有する部分領域を、リフレクタ４２が存在する部分領域として特定する。
　このときの輝度値は、部分領域に含まれる各画素の輝度値の和であってもよいし、平均値であってもよい。輝度値の和および平均値のいずれを採用するかに応じて、閾値もまた変化し得る。平均値を算出する演算処理よりも和を算出する演算処理の方が、計算負荷が小さく高速化が可能であるため、本実施の形態では部分領域に含まれる各画素の輝度値の和であるとする。
　一方、体動箇所を含む部分領域は以下の処理によって特定される。上述のように、リフレクタ４２からの反射光２０ｂが観測される領域は、生体反応（呼吸）による体動により変動する。各フレーム画像に関して、ある共通の座標位置に存在する部分領域Ｑに着目する。図１３（ａ）および（ｂ）は、より一般的な例として、異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す。図１３（ａ）および（ｂ）に示す領域Ｒは、リフレクタ４２からの反射光２０ｂが検出されている高輝度領域であるとする。呼吸に伴う体動により、部分領域Ｑが、高輝度領域になったりならなかったりする。
　図１３（ｃ）は、このときの部分領域Ｑの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Ｑの輝度を観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。画像処理回路３０６は、このような変化が現れる部分領域群を、複数のフレーム画像を利用して特定する。なお部分領域群を特定する理由は、本実施の形態では、輝度値の差分を演算するために必要だからである。
　再び図１２を参照する。
　ステップＳ４において、画像処理回路３０６は、特定した部分領域群中の、体動によって輝度値が同期して増加する第１領域Ｐ１および減少する第２領域Ｐ２の各輝度値を算出する。
　より具体的に説明する。ステップＳ３において検出された各部分領域の輝度値は、経時的に増減する。それらの中から、輝度値が同期して増加する部分領域（たとえば第１領域Ｐ１）と減少する部分領域（第２領域Ｐ２）とを検出する。図６（ａ）～（ｃ）に示す例では、第１領域Ｐ１および第２領域Ｐ２の位置に関する拘束条件を設けて、処理をより簡素化し、高速化することが可能である。すなわち、画像処理回路３０６は、隣接する第１領域Ｐ１および第２領域Ｐ２を検出すればよい。
　ステップＳ５において、画像処理回路３０６は、第１領域Ｐ１の輝度値と第２領域Ｐ２の輝度値との差分を計算する。この計算によって得られた波形は、たとえば図１０（ｃ）に示されている。
　ステップＳ６において、画像処理回路３０６は、算出した差分値の信号波形の一周期を一呼吸周期としてカウントすることにより、呼吸数を測定する。なお、差分値の信号波形を用いれば、画像処理回路３０６は、呼吸数のみならず、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動を測定することが可能である。
　以上、本発明の実施の形態を説明した。上述の実施の形態の説明は、一例であって本発明はそれに限定されない。そこで、以下、変形例を説明する。
　（リフレクタ、および検出対象の領域に関する変形例）
　上述の説明では、画像処理回路３０６は、隣接する第１領域Ｐ１および第２領域Ｐ２を検出するとした。これは、リフレクタ４２ａが菱形であり、第１領域Ｐ１および第２領域Ｐ２は、その一部の画像を含むという拘束条件を付したからである。
　しかしながらリフレクタは１つである必要はない。離間した複数のリフレクタを備えた１つのリフレクタ支持部材を用いてもよいし、各々が再帰性反射材で構成された複数のリフレクタを用いてもよい。
　たとえば図１４は、離間した２つのリフレクタ４２ｆ１および４２ｆ２を用いたときのフレーム画像例を示す。離間距離には特段の制限を設けなくてもよいし、または所定の範囲内に配置されているという条件を設けてもよい。「所定の範囲」とは、フレーム画像上の画素数で特定することもできるし、その画素数と撮影距離との関係に基づいて求められる実測距離として特定してもよい。この場合でも、撮影されたフレーム画像内において各部分領域の輝度値が同期して増減する必要があることについては、先の例と同じである。そのため、それらの部分領域が存在するよう、リフレクタの配置を調整する必要がある。
　図１５（ａ）～（ｃ）は、変形例による、リフレクタ４２の形状と、第１領域Ｐ１および第２領域Ｐ２との関係を示す。両矢印は、呼吸に起因する体動の方向を示す。
　図１５（ａ）は、菱形のリフレクタ４２ａの一部（この例では右半分）を検出する第１領域Ｐ１および第２領域Ｐ２を示す。
　図１５（ｂ）は、菱形のリフレクタ４２ａの一部（この例では菱形の２本の対角線によって４分割された右上領域および左下領域）を検出する第１領域Ｐ１および第２領域Ｐ２を示す。
　図１５（ｃ）は、三角形のリフレクタ４２ｅの一部（この例では三角形の１つの頂角を含む部分領域）を検出する第１領域Ｐ１および第２領域Ｐ２を示す。
　いずれの例も、体動により、リフレクタが含まれる面積が同期して増減する。これにより、第１領域Ｐ１および第２領域Ｐ２の各輝度値は同期して増減することになる。
　上述した種々の例から明らかなように、リフレクタの数、離間の程度、第１領域Ｐ１および第２領域Ｐ２の検出条件は種々変更可能である。
　（第１領域Ｐ１および第２領域Ｐ２の検出が不要な変形例）
　上述の実施の形態では、第１領域Ｐ１および第２領域Ｐ２を検出する処理を説明した。しかしながら、画像処理回路３０６は、第１領域Ｐ１および第２領域Ｐ２を検出する動作を行うことなく、呼吸数をカウントすることも可能である。
　たとえば、予め定められた位置に１または複数のリフレクタ４２を載置するよう、生体活動計測システム１００の仕様が決定されているとする。この「予め定められた位置」は、たとえば被験者１の呼吸に起因する体動が必ず検出され得る位置として、生体活動計測システム１００の設計時または導入時に特定される。フレーム画像に関しても、予め定められた位置に対応する位置を特定可能である。また、１または複数のリフレクタ４２に関しても、吸気または排気に伴う体動によって、輝度値の増加と減少とが同期して発生するよう、たとえば図５に示されるような形状が予め定められていてもよい。
　画像処理回路３０６は、フレーム画像上のその位置の２つの領域を、上述した第１領域Ｐ１および第２領域Ｐ２として取り扱えばよい。すなわち画像処理回路３０６は、フレーム画像上のその位置の２つの領域の各輝度値の差分を、上述した第１領域Ｐ１の輝度値および第２領域Ｐ２の輝度値の差分として求めればよい。この処理によれば、画像処理回路３０６は、輝度値が同期して増減する第１領域Ｐ１および第２領域Ｐ２を検出する必要がないため、処理が高速化できる。
　（カメラに関する変形例）
　次に、カメラに関する変形例を説明する。
　図１６は、可視光領域の波長を遮る光学フィルタ１１を装着したカメラ１０を示す。この光学フィルタ１１は、たとえば赤外フィルタとも呼ばれる。
　本実施の形態では、光学フィルタ１１を設けて被験者１を撮影する。光学フィルタ１１は、光源２０から放射され、リフレクタにおいて反射された赤外光２０ｂは透過するが、可視光は遮断する。光学フィルタ１１を設けることにより、赤外光２０ｂ以外の光、より具体的には可視光、がカメラ１０に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるため、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を低減できる。なお、外乱としての赤外光２１ａはノイズ成分としてカメラ１０に入射してしまうが、上述の差分演算を行うことにより、それらのノイズ成分は低減、または相殺される。
　本願発明者らは、可視光領域の波長を遮る光学フィルタ１１を設けることは非常に有用であると考えている。その理由は、実際の撮影時には、完全な暗室環境を実現することが困難な場合が多いからである。たとえば病院で生体活動計測システム１００を動作させる場合には、夜間であったとしても常夜灯、避難誘導灯などが院内に点灯する。そのような撮影環境では光学フィルタ１１によって可視光を遮断することが好適である。
　さらに、図１６に示す光学フィルタ１１として、可視光のみならず不要な赤外光をも遮断する光学フィルタを設けてもよい。換言すれば、光学フィルタ１１として、光源２０が放射する赤外光を通過させるバンドパスフィルタを設けてもよい。
　まず、光源２０として急峻な波長特性を有するＬＥＤ光源を採用する。波長は、たとえば８５０ｎｍまたは９４０ｎｍ、およびそれらの近傍である。「急峻な波長特性」とは、ここでは放射される赤外光の波長の変動が小さいことを意味する。
　光源２０に対応して、光学フィルタ１１として、光源２０から放射される赤外光２０ａを通過させるバンドパス特性を有する光学フィルタをカメラ１０に設ける。たとえば、光源２０から放射される赤外光２０ａの波長が８５０ｎｍの場合には、８５０ｎｍの波長の赤外光を透過させる光学フィルタ１１を設ける。
　光源２０の波長と、光学フィルタ１１の通過帯域とを一致させることにより、カメラ１０は、光源２０から放射される赤外光２０ａの波長と同じ波長の光のみに感度を持つことになる。可視光のみならず、不要な赤外光をも遮断できるため、撮影された動画像は外乱光の影響を受けにくい。なお、再帰性反射材で構成されたリフレクタ４２を利用しているため、光源２０から放射され、リフレクタ４２で反射された赤外光２０ｂの光量は大きい。よって、反射光の捉え易さは先に説明した態様と同じである。
　ただし、光源２０から放射される赤外光の波長と同じ波長の赤外光であっても、光源２０に由来しない、他の光源等から放射された赤外光である可能性がある。そのような赤外光もまた、ノイズ成分としてカメラ１０に入射してしまう。しかしながら、上述の差分演算を行うことにより、それらのノイズ成分は低減、または相殺される。
　図１７は、偏光フィルタ１２ａが設けられた光源２０と、偏光フィルタ１２ｂが設けられたカメラ１０とを示す。この例では、カメラ１０には上述した光学フィルタ１１が設けられているが、光学フィルタ１１は必須ではない。
　偏光フィルタ１２ａおよび１２ｂは、その偏光方向が一致するようカメラ１０および光源２０に設置される。
　この構成によれば、偏光フィルタ１２ａおよび１２ｂにより、カメラ１０は、光源２０から放射された赤外光と同じ偏光方向の光に対してのみ感度を持つ。これにより、光源２０から放射された赤外光のうち、偏光フィルタ１２ａを通過した、所定の偏光方向を有する赤外光のみが再帰性反射材で構成されたリフレクタで反射され、さらにカメラ１０に入射する。よって、その偏光方向と異なる偏光方向の外乱光（可視光および赤外光）の影響を低減しつつ、さらに上述の差分演算により外乱光の影響を抑制できる。
　（生体活動計測システム１００の構成に関する変形例）
　上述の実施の形態では、図２に示す生体活動計測システム１００を例にして説明した。ただし、生体活動計測システム１００の構成は一例である。
　たとえば図１８は、生体活動計測システム１００の変形例による生体活動計測システム１１１を示す。生体活動計測システム１１１では、複数のカメラ１０がネットワーク１１０を介して情報処理装置３０と接続されている。情報処理装置３０は、複数のカメラ１０から出力される動画像のデータを所得して、個々に上述の処理を行う。
　生体活動計測システム１１１は、たとえば病院に敷設される。または生体活動計測システム１１１では、カメラ１０および光源２０は各患者の自宅に設置され、情報処理装置３０は病院等に設置されてもよい。
　本明細書は、以下の項目に記載の呼吸数の計測方法、計測システム、およびコンピュータプログラムを開示している。
　［項目１］
　光を放射する光源と、
　被験体の動画像を生成する撮像装置と、
　前記動画像を利用して前記被験体の生体活動を計測する画像処理回路と
　を備えた計測システムであって、
　前記被験体の呼吸に伴う体動の発生位置に、１または複数のリフレクタが配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
　前記撮像装置は、前記１または複数のリフレクタで反射された前記光を、前記体動の発生期間以上にわたって受けて、前記動画像を生成し、
　前記画像処理回路は、前記動画像中の、前記体動によって輝度値が同期して増加する第１領域および減少する第２領域の各輝度値の差分に基づいて、前記被験体の呼吸に起因する生体活動を計測する、計測システム。
　項目１の計測システムによると、動画像中の、吸気または排気に伴う体動によって輝度値が同期して増加する第１領域および減少する第２領域に一様に含まれる光、たとえばノイズ成分となり得る室内照明および／または外部光の影響を低減、または相殺できる。また、第１領域の輝度信号および第２領域の輝度信号をそれぞれ利用するよりも、より振幅の大きい輝度信号によって、呼吸に起因する生体活動を計測することが可能になる。
　［項目２］
　前記画像処理回路は、前記動画像中の輝度値の変化を検出することにより、前記第１領域および前記第２領域を検出する、項目１に記載の計測システム。
　［項目３］
　前記画像処理回路は、前記動画像から、隣接する前記第１領域および前記第２領域を検出する、項目２に記載の計測システム。
　［項目４］
　前記１または複数のリフレクタは複数のリフレクタであって、前記複数のリフレクタは所定の範囲内に配置されており、
　前記画像処理回路は、前記所定の範囲に対応する前記動画像中の部分領域から、前記第１領域および前記第２領域を検出する、項目２に記載の計測システム。
　［項目５］
　前記１または複数のリフレクタの各々は再帰性反射材で構成されている、項目１に記載の計測システム。
　［項目６］
　前記撮像装置は、前記光源から放射され、前記１または複数のリフレクタで反射された反射光、および外部から一様に入射した外部光を受けて動画像を生成し、
　前記第１領域の輝度値を示す第１信号、および前記第２領域の輝度値を示す第２信号は、前記外部光の影響を含んでおり、
　前記画像処理回路は、前記第１信号および前記第２信号の差分を演算することにより、前記外部光の影響を低減する、項目１に記載の計測システム。
　［項目７］
　前記第１信号は、前記第１領域に含まれる前記１または複数のリフレクタで反射された反射光の輝度信号、および前記外部光の輝度信号を含み、
　前記第２信号は、前記第２領域に含まれる前記１または複数のリフレクタで反射された反射光の輝度信号、および前記外部光の輝度信号を含み、
　前記第１信号に含まれる前記反射光の輝度波形の位相、および前記第２信号に含まれる前記反射光の輝度波形の位相は互いに反転しており、
　前記画像処理回路は、前記第１信号および前記第２信号の差分を演算することにより、前記第１信号および前記第２信号の各々よりも大きな振幅を有する差分信号を取得し、前記差分信号を用いて前記被験体の呼吸に起因する生体活動を計測する、項目６に記載の計測システム。
　［項目８］
　前記画像処理回路は、前記差分信号の一周期を、前記被験体の呼吸の一周期として計測する、項目７に記載の計測システム。
　［項目９］
　前記光源は赤外光を放射する、項目１から７のいずれかに記載の計測システム。
　［項目１０］
　項目１から９のいずれかに記載の計測システムにおいて利用される画像処理装置であって、
　前記撮像装置によって生成された前記動画像の信号を受信する入力インタフェースと、
　前記画像処理回路と
　を備える画像処理装置。
　［項目１１］
　前記画像処理回路によって計測された前記被験体の呼吸に起因する前記生体活動の情報を出力する出力インタフェースをさらに備える、項目１０に記載の画像処理装置。
　［項目１２］
　前記出力インタフェースは、表示装置と接続するための映像出力端子である、項目１１に記載の画像処理装置。
　［項目１３］
　前記生体活動の情報を表示する表示装置をさらに備え、
　前記出力インタフェースは、前記表示装置に表示される、前記生体活動を示す映像情報に関するユーザインタフェースである、項目１１に記載の画像処理装置。
　［項目１４］
　前記画像処理回路は、命令コードを実行するプロセッサである、項目１０から１３のいずれかに記載の画像処理装置。
　［項目１５］
　項目１４に記載の画像処理装置の前記プロセッサによって実行されるコンピュータプログラムであって、
　前記コンピュータプログラムは前記プロセッサに、
　前記第１領域の輝度値を示す第１信号、および前記第２領域の輝度値を示す第２信号を取得させ、
　前記第１信号および前記第２信号の差分を演算させて差分信号を生成させ、
　前記差分信号に基づいて前記被験体の呼吸に起因する生体活動を計測させる
　コンピュータプログラム。
　本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。
　１　被験者
　１０　カメラ
　２０　光源
　３０　情報処理装置
　３２　ディスプレイ
　４０　リフレクタ支持部材
　４２　リフレクタ
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　ＨＤＤ
　３０５　入力Ｉ／Ｆ
　３０６　画像処理回路
　３０７　出力Ｉ／Ｆ
　１００　生体活動計測システム

Claims (7)

  1. 　光を放射する光源と、
    　被験体の動画像を生成する撮像装置と、
    　前記動画像を利用して前記被験体の生体活動を計測する画像処理回路と
    　を備えた計測システムであって、
    　前記被験体の呼吸に伴う体動の発生位置に、１または複数のリフレクタが配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
    　前記撮像装置は、前記１または複数のリフレクタで反射された前記光を、前記体動の発生期間以上にわたって受けて、前記動画像を生成し、
    　前記画像処理回路は、前記動画像中の、前記体動によって輝度値が同期して増加する第１領域および減少する第２領域の各輝度値の差分に基づいて、前記被験体の呼吸に起因する生体活動を計測する、計測システム。
  2. 　前記画像処理回路は、前記動画像中の輝度値の変化を検出することにより、前記第１領域および前記第２領域を検出する、請求項１に記載の計測システム。
  3. 　前記１または複数のリフレクタの各々は再帰性反射材で構成されている、請求項１に記載の計測システム。
  4. 　前記撮像装置は、前記光源から放射され、前記１または複数のリフレクタで反射された反射光、および外部から一様に入射した外部光を受けて動画像を生成し、
    　前記第１領域の輝度値を示す第１信号、および前記第２領域の輝度値を示す第２信号は、前記外部光の影響を含んでおり、
    　前記画像処理回路は、前記第１信号および前記第２信号の差分を演算することにより、前記外部光の影響を低減する、請求項１に記載の計測システム。
  5. 　前記第１信号は、前記第１領域に含まれる前記１または複数のリフレクタで反射された反射光の輝度信号、および前記外部光の輝度信号を含み、
    　前記第２信号は、前記第２領域に含まれる前記１または複数のリフレクタで反射された反射光の輝度信号、および前記外部光の輝度信号を含み、
    　前記第１信号に含まれる前記反射光の輝度波形の位相、および前記第２信号に含まれる前記反射光の輝度波形の位相は互いに反転しており、
    　前記画像処理回路は、前記第１信号および前記第２信号の差分を演算することにより、前記第１信号および前記第２信号の各々よりも大きな振幅を有する差分信号を取得し、前記差分信号を用いて前記被験体の呼吸に起因する生体活動を計測する、請求項４に記載の計測システム。
  6. 　前記光源は赤外光を放射する、請求項１から５のいずれかに記載の計測システム。
  7. 　請求項１から６のいずれかに記載の計測システムにおいて利用される画像処理装置であって、
    　前記撮像装置によって生成された前記動画像の信号を受信する入力インタフェースと、
    　前記画像処理回路と
    　を備える画像処理装置。
PCT/JP2015/076094 2014-11-10 2015-09-15 被験体の呼吸に起因する生体活動の計測システム、および画像処理装置 WO2016076009A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016558917A JPWO2016076009A1 (ja) 2014-11-10 2015-09-15 被験体の呼吸に起因する生体活動の計測システム、および画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-228329 2014-11-10
JP2014228329 2014-11-10

Publications (1)

Publication Number Publication Date
WO2016076009A1 true WO2016076009A1 (ja) 2016-05-19

Family

ID=55954102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/076094 WO2016076009A1 (ja) 2014-11-10 2015-09-15 被験体の呼吸に起因する生体活動の計測システム、および画像処理装置

Country Status (2)

Country Link
JP (1) JPWO2016076009A1 (ja)
WO (1) WO2016076009A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234830A (ja) * 2010-05-07 2011-11-24 Sumitomo Electric Ind Ltd 生体状況判定装置、除細動器、生体監視装置、及び生体監視システム
JP2013248387A (ja) * 2012-06-01 2013-12-12 Xerox Corp 呼吸速度推定のためのビデオプロセッシング

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136853B2 (en) * 2011-03-30 2018-11-27 Koninklijke Philips N.V. Contactless sleep disorder screening system
JP6422865B2 (ja) * 2012-08-02 2018-11-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生理学的情報を抽出する装置及び方法
WO2016009901A1 (ja) * 2014-07-15 2016-01-21 シャープ株式会社 被験体の呼吸に起因する生体活動の計測方法、計測システムおよびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234830A (ja) * 2010-05-07 2011-11-24 Sumitomo Electric Ind Ltd 生体状況判定装置、除細動器、生体監視装置、及び生体監視システム
JP2013248387A (ja) * 2012-06-01 2013-12-12 Xerox Corp 呼吸速度推定のためのビデオプロセッシング

Also Published As

Publication number Publication date
JPWO2016076009A1 (ja) 2017-08-17

Similar Documents

Publication Publication Date Title
US11599256B1 (en) Method of analyzing, displaying, organizing and responding to vital signals
US10825314B2 (en) Baby monitor
US10149643B2 (en) Control device, diagnosis supporting device, control method and a non-transitory storage medium that stores control program
EP3079582B1 (en) Sleep monitoring system and method
US20160206216A1 (en) Device, system and method for skin detection
EP2560549B1 (en) Respiratory motion detection apparatus, method and computer program
US20180317779A1 (en) Device, system and method for sensor position guidance
CN103857338B (zh) 用于监测设备的运动与定向的设备和方法
US11395599B2 (en) Methods and systems for obtaining physiologic information
US11412943B2 (en) Methods and systems for obtaining physiologic information
US20200196913A1 (en) Method, device and computer program for capturing optical image data of patient surroundings and for identifying a patient check-up
WO2017047734A1 (ja) 計測装置
US20150157224A1 (en) System and Method for Remotely Identifying and Characterizing Life Physiological Signs
US20180089975A1 (en) Device and method for a sensor
JP2016214937A (ja) 計測システムおよびコンピュータプログラム
CN107851185A (zh) 占用检测
JP6280650B2 (ja) 被験体の呼吸に起因する生体活動の計測方法および計測システム
WO2016076009A1 (ja) 被験体の呼吸に起因する生体活動の計測システム、および画像処理装置
JP6002811B1 (ja) 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
Loblaw et al. Remote respiratory sensing with an infrared camera using the Kinect (TM) infrared projector
JP2017079811A (ja) 計測システム
JP6185090B2 (ja) 計測システム
US20210358616A1 (en) Device, system and method for monitoring a subject
US20230329590A1 (en) Non-Contact Monitoring System and Method
JP2017118994A (ja) 呼吸モニタリング装置およびパラメータ生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15858618

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016558917

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15858618

Country of ref document: EP

Kind code of ref document: A1