WO2017119238A1 - 被験体の呼吸に起因する生体活動の計測システム - Google Patents

被験体の呼吸に起因する生体活動の計測システム Download PDF

Info

Publication number
WO2017119238A1
WO2017119238A1 PCT/JP2016/086880 JP2016086880W WO2017119238A1 WO 2017119238 A1 WO2017119238 A1 WO 2017119238A1 JP 2016086880 W JP2016086880 W JP 2016086880W WO 2017119238 A1 WO2017119238 A1 WO 2017119238A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
subject
light
point
light source
Prior art date
Application number
PCT/JP2016/086880
Other languages
English (en)
French (fr)
Inventor
三木　成一郎
智之 市座
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2017119238A1 publication Critical patent/WO2017119238A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present invention relates to a technique for measuring a biological activity caused by respiration, such as a subject's respiration rate, from a subject's video.
  • Patent Documents 1 and 2 A technique is known in which a subject is photographed with a camera, a change in luminance value due to a biological reaction such as body movement or blood flow is detected from the moving image, and a biological activity such as a subject's respiratory rate or heart rate is measured (for example, Patent Documents 1 and 2).
  • the image area in which the subject is shown is specified by an observer in advance or by using a contour extraction technique.
  • the respiration monitoring device of Patent Literature 1 divides an image obtained by photographing a subject into local regions and analyzes lightness information of each local region. Then, using the three types of threshold values, it is determined whether the subject is observing movement around the chest or observing non-respiratory body movement such as turning over.
  • the heart rate measuring device of Patent Document 2 captures a subject's face with a camera equipped with an infrared light source, extracts a specific region between eyebrows from a face image for each frame, and corrects the average luminance.
  • the heart rate measuring device obtains a waveform of a temporal change in corrected luminance from the corrected average luminance time series, and calculates the heart rate of the subject by filtering the waveform in a frequency band corresponding to the heart rate. .
  • an appropriate threshold necessary for determining non-respiratory body movement varies greatly depending on the imaging environment.
  • the threshold value to be set can vary greatly depending on changes in the brightness of the observation location, the position of the indoor light source, the presence or absence of incident light from the outside, and the movement of people or objects other than the subject. Since there is no method for always obtaining an appropriate threshold value, an area for obtaining biological information such as respiration cannot be calculated if the threshold value is inappropriate.
  • the heart rate measuring device of Patent Document 2 needs to capture the subject's face within the imaging range. Similar to Patent Document 1, when the shooting environment changes such as a change in illuminance, movement of a person, incidence of external light, etc., the luminance value of the image area in which the subject is photographed changes greatly due to a cause other than biological activity. When such disturbance noise occurs, the body movement location due to the biological reaction cannot be specified, and the biological information may not be extracted accurately.
  • the subject's face moves away from the camera, the accuracy of acquiring the subject's biometric information decreases, so the subject's face must be imaged from a relatively short distance. As a result, a feeling of pressure is given to the subject, and there is a concern about the influence on the biological activity to be measured.
  • the present invention has been made to solve the above-described problems, and is a measurement system for life activity caused by breathing (hereinafter referred to as “measurement system”) in which measurement conditions for life activity are not easily influenced by the surrounding environment. Provided.)
  • a measurement system includes a light source that emits light, an imaging device that receives the light and generates a moving image, and an image processing circuit that measures a biological activity of a subject using the moving image.
  • a reflection marker is disposed at a position where body movement occurs due to breathing of the subject, and when the light is emitted from the light source toward the subject, the imaging device is Receiving the light reflected by the reflective marker at a plurality of times, generating the moving image composed of a plurality of time-series frame images, and the image processing circuit receiving the moving image from the imaging device.
  • the reflective marker having a base having a support surface, and each of the reflex markers with respect to the support surface Oblique, and having a plurality of reflective material which is supported by the support surface.
  • the reflective marker may be a retroreflective marker
  • the plurality of reflective materials may be a plurality of retroreflective materials
  • the inclination angle of each of the plurality of reflectors increases as the distance from the side closer to the light source increases. Also good.
  • a side surface of the reflective marker includes a saw-tooth structure including a plurality of saw teeth corresponding to the plurality of reflectors, and the height of each of the plurality of saw teeth is equal, and the reflective marker is the test marker.
  • the pitch of the sawtooth may be reduced as the distance from the side closer to the light source is increased.
  • each of the plurality of reflecting materials may have a curved reflecting surface.
  • the curved surface shape may be equal to the shape of a concave mirror defined by a parabola in which the incident angles of the light with respect to the normal at any point on the curved surface of two adjacent reflectors are all equal, A third direction orthogonal to a first direction parallel to an arrangement direction of the plurality of reflective materials, each of the second direction in which each reflective material extends, and a third direction orthogonal to both the first directions, and the first In the cross-section of the curved surface of each of the reflecting materials cut by a plane parallel to each direction, a point on the curved surface located at the first end of each reflecting material on the imaging device side is a point R, A point on the curved surface located at the second end of the reflector opposite to the imaging device is a point S, a focal length of the concave mirror is f, an object point is a point C, and an image point is a point C ′.
  • the perpendicular bisector of the line segment RS is the line segment at the midpoint of the line segment CC ′. Orthogonal to C ′, the focal point of the concave mirror is located on a perpendicular bisector of the line segment RS, and the distance between the line segment RS and the line segment CC ′ is 2f in length. Also good.
  • the reflective marker further includes a cover including an opening having a predetermined marker shape, and the shapes of the plurality of reflective materials may coincide with the predetermined marker shape in a plan view. .
  • the predetermined marker shape may be a triangle, a rhombus, or a rectangle.
  • the image processing circuit divides each frame image into a plurality of partial areas, and measures a biological activity caused by breathing of the subject based on a change in luminance value of the plurality of partial areas. Also good.
  • the light source is an infrared light source that emits infrared light
  • the imaging device may include an optical filter that blocks a wavelength in a visible light region.
  • a measurement system for life activity caused by breathing is provided in which measurement conditions for life activity are not easily affected by the surrounding environment.
  • FIG. 1 is a diagram showing a configuration of a measurement system 100 according to Embodiment 1.
  • FIG. 3 is a perspective view of a retroreflective marker 40 according to Embodiment 1.
  • FIG. 3 is a top view of a retroreflective marker 40 according to Embodiment 1.
  • FIG. 4 is an exploded perspective view of a retroreflective marker 40 provided with a cover 43 according to Embodiment 1.
  • FIG. 6 is a plan view of a retroreflective marker 40 provided with a cover 43 according to Embodiment 1.
  • FIG. It is a schematic diagram which shows the state which is irradiating the infrared light 20a from the light source 10 to the retroreflection material 42 formed in the rhombus by the opening 44 of the cover 43.
  • FIG. It is a figure which shows the frame image 102 which image
  • FIG. It is a graph which shows the vibration of the high-intensity area
  • FIG. 2 is a hardware configuration diagram mainly of an information processing apparatus 30 of the measurement system 100.
  • FIG. 3 is a flowchart illustrating an example of a procedure of processing performed in the measurement system 100 according to Embodiment 1. It is a schematic diagram which shows the example of a setting of the partial area
  • FIG. It is a schematic diagram which shows the luminance distribution of the reflection pattern area
  • FIG. It is a perspective view of retroreflective marker 40A by Embodiment 2.
  • FIG. It is a schematic diagram which shows the positional relationship of the camera 10 (or light source 20) and the two retroreflection materials 42.
  • FIG. It is a schematic diagram which shows the luminance distribution of the reflection pattern area
  • FIG. It is a perspective view of the retroreflection marker 40B by Embodiment 3.
  • FIG. It is a schematic diagram which shows the mode of the light ray which injected into the boundary vicinity between the two adjacent retroreflection materials 42.
  • FIG. It is a schematic diagram which shows a concave mirror, the focus of a concave mirror, an object point, and an image point.
  • a retroreflective material to measure the biological activity resulting from the subject's breathing. More specifically, a flat retroreflecting material is arranged as a marker at a position where body movement accompanying breathing of the subject, for example, the chest, and infrared light is emitted from the infrared light source toward the marker.
  • the camera captures a moving image including a marker, and the image processing circuit can measure a biological activity caused by the breathing of the subject based on a change in luminance values of a plurality of frame images constituting the acquired moving image. .
  • the retroreflective material as a marker, the brightness of the marker region can be improved and the SN ratio (Signal Noise Ratio) can be ensured.
  • SN ratio Synignal Noise Ratio
  • Such a measurement system and measurement method are disclosed in, for example, Japanese Patent Application No. 2014-145476, which is an unpublished patent application by the present applicant. All of this disclosure is incorporated herein by reference.
  • the subject is described as being a person, but may be an animal other than a person (a pet animal such as a dog or a cat, or an experimental animal such as a pig or a mouse). Animals (including people) as observation targets may be collectively referred to as “subjects”.
  • the reflectance of the retroreflective material strongly depends on the incident angle of light with respect to the retroreflective material. As the incident angle of light with respect to the retroreflective material increases, the reflectance can be significantly reduced. As a result, the luminance of a part of the marker area in the photographed image may decrease, and luminance unevenness may occur in the marker area.
  • the incident angle at which light enters the retroreflecting material from the light source can vary depending on the positional relationship between the subject and the light source.
  • FIG. 1A schematically shows the reflected light reflected by the retroreflecting material when the light incident angle ⁇ is relatively small
  • FIG. 1B shows that the light incident angle ⁇ is relatively small.
  • the reflected light reflected by the retroreflecting material in a large case is schematically shown
  • FIG. 1C schematically shows a single marker arranged to be inclined with respect to the installation surface (for example, the chest). ing.
  • the incident angle of light is an angle formed with respect to the normal line n. In the portion of the retroreflective material that is closer to the light source, as shown in FIG.
  • the incident angle ⁇ of the light with respect to the retroreflective material is relatively small, and as a result, the reflectance of the light is high, Luminance can be ensured in that region.
  • the incident angle ⁇ of light with respect to the retroreflective material gradually increases as shown in FIG. For example, when the installation position of the light source is low, it is considered that the light incident angle ⁇ is further increased. As a result, the reflectance of light gradually decreases, and it is difficult to ensure luminance in that region. When the brightness of the marker is not sufficient, there is a possibility of affecting marker detection described later.
  • Patent Document 3 discloses a coordinate input device including a retroreflecting material including a plurality of inclined surfaces and two sensor units in which a light source and a line sensor are integrated. The inclination angles of the plurality of inclined surfaces are determined in consideration of the incident angle of light from the light source. According to Patent Document 3, among retroreflective materials marketed for applications such as road signs, the retroreflective efficiency is relatively high, and even with the most wide-angle characteristics, When the incident angle is 30 ° to 45 ° or more, the retroreflection efficiency is drastically reduced.
  • the marker itself by arranging the marker itself to be inclined, the incident angle of the light with respect to the retroreflecting material is relatively reduced, thereby increasing the luminance. It is conceivable to secure.
  • the height of the marker is not only inconvenient to handle the marker, but the marker and the subject are not in close contact with each other, and the contact area thereof is reduced. May not be able to pick up body movements caused by biological activity. This leads to a failure to accurately measure the biological activity resulting from respiration.
  • Embodiments 1 to 3 will be described using a measurement system mainly using a retroreflective marker as a measurement marker. However, as will be described later, under predetermined conditions, the measurement marker is not necessarily a retroreflective marker.
  • FIG. 2 shows a configuration of the measurement system 100 according to the present embodiment.
  • the measurement system 100 includes a camera 10, a light source 20, an information processing device 30, and a retroreflection marker 40.
  • the measurement system 100 is used for observing the biological activity of the subject 1.
  • the biological activity is the respiration of the subject 1, and the measurement system 100 measures the respiration rate within a predetermined time.
  • the subject 1 is shown in FIG. 2, the subject 1 is not included in the measurement system 100.
  • the camera 10 is a so-called imaging device that includes an image sensor and a lens optical system, and shoots the subject 1 to generate a moving image.
  • the camera 10 sends moving image data to the information processing apparatus 30 by wire or wirelessly.
  • the light source 20 is a light source that emits light 20a.
  • the light may be visible light or invisible light (for example, infrared light).
  • infrared light will be described as an example.
  • the light 20a is described as “infrared light 20a”.
  • the information processing apparatus 30 receives moving image data captured by the camera 10 and measures the respiration rate of the subject 1 using changes in images between a plurality of frame images constituting the moving image. Details of the operation of the information processing apparatus 30 will be described later.
  • FIG. 3 is a perspective view of the retroreflective marker 40.
  • FIG. 4 is a top view of the retroreflective marker 40.
  • FIG. 5 is an exploded perspective view of the retroreflective marker 40 provided with the cover 43.
  • FIG. 6 is a plan view of the retroreflective marker 40 provided with the cover 43.
  • FIG. 7 shows a state in which the retroreflecting material 42 formed in a rhombus shape by the opening 44 of the cover 43 is irradiated with the infrared light 20a from the light source 20.
  • the retroreflective marker 40 has a base 41 having a flat support surface 41a and is inclined at a predetermined inclination angle with respect to the support surface 41a by facing the same inclination direction (Y direction in FIG. 3).
  • the support surface 41a is a surface that contacts the subject 1 when the retroreflective marker 40 is placed on the subject 1.
  • the inclination angles of the retroreflecting material 42 are all set to be equal.
  • the inclination angle can be set independently so that the incident angle of the light incident on each retroreflecting material 42 is optimized.
  • the number of retroreflective materials 42 used can be appropriately determined according to product specifications and the like in consideration of the position where the camera 10 is disposed, the size of the subject 1, and the like.
  • the shape of the retroreflecting material 42 may typically be approximately rectangular as shown in the figure, but may be, for example, circular or elliptical.
  • the side surface of the retroreflective marker 40 viewed from the Z direction in FIG. 3 includes a saw-tooth structure including a plurality of saw teeth corresponding to the plurality of retroreflective members 42.
  • the height h of the retroreflecting material 42 that is, the height h of the saw blade (the distance from the support surface 41a to the apex of the saw blade) is all made equal in consideration of ease of manufacture and the like. Yes. However, the height h of the retroreflecting material 42 may not be all equal.
  • the retroreflective material 42 is a reflective material having an optical characteristic of reflecting incident light toward the incident direction. That is, the incident angle of light incident on the retroreflecting material 42 is equal to the emission angle of light reflected by the retroreflecting material 42. However, this property is ideal and can actually be reflected in a direction different from some incident directions.
  • the optical axis of the light source 20 and the optical axis of the camera 10 are arranged close to each other. As a result, the infrared light 20a emitted from the light source 20 is reflected by the retroreflecting material 42, and most of the light enters the camera 10 as infrared light 20b. Therefore, the camera 10 can photograph the subject 1 with a sufficient amount of light.
  • the retroreflecting material 42 for example, a cloth coated with glass beads can be used.
  • the retroreflective marker 40 including a plurality of inclined retroreflective materials 42, it becomes possible to reduce the incident angle of light incident on the retroreflective material 42 arranged away from the camera 10, A decrease in luminance in the region of the retroreflecting material 42 can be suppressed.
  • a sawtooth structure of the retroreflecting material 42 as shown in the drawing, that is, a step structure, compared to the case where the marker itself is simply inclined as shown in FIG.
  • the height of the retroreflection marker 40 can be suppressed. As a result, the inconvenience of handling the retroreflective marker 40 is eliminated, and the retroreflective marker 40 can be brought into close contact with the subject 1.
  • the contours of the plurality of retroreflecting materials 42 are disturbed in a sawtooth shape.
  • the outline becomes the marker shape of the retroreflective marker 40 and is recognized as a pattern in pattern recognition described later. For this reason, the position of the retroreflective marker 40 in the frame image may not be accurately specified using pattern recognition due to the disturbance.
  • considering a detection method using pattern edge information it is preferable to eliminate the influence as much as possible.
  • the inventor of the present application has improved the retroreflective marker 40 in consideration of the influence of the disturbance of the outline.
  • the retroreflective marker 40 preferably further includes a cover 43 having an opening 44.
  • the shape of the opening 44 may be a rhombus, for example, but may be a triangle or a rectangle.
  • the shape of the opening 44 becomes a marker shape as it is. In other words, the shape of the opening 44 gives the retroreflection marker 40 a specific reflection pattern.
  • the cover 43 so as to cover the plurality of retroreflecting materials 42, the contours of the plurality of retroreflecting materials 42 are not disturbed in a sawtooth shape as shown in FIG. Can be.
  • the shape of the reflection pattern can be made a rhombus by using the cover 43 including the opening 44 having a rhombus shape.
  • the information processing apparatus 30 can accurately capture the marker shape.
  • the position of the retroreflection marker 40 is accurately specified in the frame image.
  • a shadow (a portion with low luminance) is generated between two adjacent retroreflective members 42 due to the influence of the step.
  • the shadow can be made inconspicuous by suppressing the width of the shadow projected on the image sensor.
  • the disturbance light 21a which injected into the retroreflection material 42 is reflected in the incident direction as the reflected light 21b by using the retroreflection material 42. Since the reflected light 21b does not substantially enter the camera 10, the moving image photographed by the camera 10 is hardly affected by disturbance light.
  • the outline of the overall operation of the measurement system 100 is as follows.
  • the observer or the subject 1 places the retroreflective marker 40 having the shape of a specific reflection pattern at the position where the body movement accompanying the breathing of the subject 1 occurs.
  • the camera 10 receives the infrared light reflected by the retroreflection marker 40 and captures a moving image of the subject 1.
  • FIG. 8 shows a frame image 102 taken of the subject 1 wearing the retroreflective marker 40.
  • a high luminance area (white area) 104 in the center of the image is an area where the reflected light from the retroreflection marker 40 is detected.
  • a high-luminance region having a shape corresponding to the shape is visually recognized in the image.
  • FIG. 9 shows a frame image 106 obtained by photographing a subject who does not wear the retroreflective marker 40. In the absence of the retroreflective marker 40, it can be said that the change in luminance in the captured frame image is very small.
  • FIG. 8 illustrates a partial region P. Note that the boundary lines of the partial areas P are highlighted for convenience of understanding.
  • the information processing apparatus 30 analyzes each of a plurality of time-series frame images constituting the moving image as shown in FIG. 8, and determines the body movement of the subject 1 based on the change in the luminance value of the plurality of frame images. To detect. More specifically, the information processing apparatus 30 detects the high luminance area 104 shown in FIG. 8 over a plurality of frame images. Since the body movement of the subject 1 during calm occurs due to breathing, the position of the high-intensity region 104 changes (vibrates) in accordance with the breathing cycle. The information processing apparatus 30 can measure the respiration rate (bpm) of the subject 1 during that period by counting the number of respiration cycles over a predetermined period, where one period of vibration of the high luminance region 104 is one respiration period. it can. The respiration rate (bpm) is expressed as 60 / respiration cycle (s).
  • the respiratory rate is an example of a biological activity resulting from the subject's breathing
  • other biological activities resulting from the subject's breathing may be measured.
  • a subject's breathing motion is measured, and a waveform resulting from breathing (a waveform corresponding to the breathing waveform) is derived from body motion due to breathing.
  • other biological activities that can be evaluated using the waveform, for example, biological activities such as breathing depth, turbulence, apnea periods, frequency of occurrence of apnea periods, This is the category of the biological activity to be measured.
  • FIG. 10 shows the vibration of the high luminance region 104 measured based on the change of the luminance value of a plurality of frame images.
  • the waveform observed using the retroreflective marker 40 can accurately measure body movement due to respiration even in a dark imaging environment. That is, it is possible to measure body movement, that is, respiration, using the luminance value.
  • FIG. 11 shows changes in luminance values of a plurality of frame images shot in a dark shooting environment without providing a retroreflective marker. Due to the absence of the retroreflective marker, the luminance change in the image is originally small, and therefore the influence of noise is very large even if the change in the luminance value is observed over a plurality of frame images.
  • the body motion waveform that needs to be measured is buried in noise.
  • the scale of the vertical axis differs by several times.
  • the scale in FIG. 11 is larger than that in FIG. In other words, it means that the one using the retroreflective marker 40 (FIG. 10) is superior in signal-to-noise ratio (SNR) than the one not using it (FIG. 11).
  • the retroreflective marker 40 by using the retroreflective marker 40, it is possible to perform imaging while ensuring a sufficient amount of reflected infrared light.
  • the subject 1 and the camera 10 can be set apart by, for example, about 6 m.
  • the room to be measured can be darkened.
  • the environment is less susceptible to changes in the brightness of the observation location, the position of the indoor light source, and the presence or absence of incident light from outside, that is, an environment in which the influence of noise is small. It becomes possible to shoot with. Therefore, it becomes possible to measure the biological activity more accurately.
  • the retroreflective marker 40 having a saw-toothed side surface as described above, the incident angle of light incident on the retroreflective material 42 can be reduced, and the reflectance of the retroreflective material 42 is maintained. can do.
  • FIG. 12 shows an example of the hardware configuration of the information processing apparatus 30 in the measurement system 100.
  • the information processing apparatus 30 is connected to the camera 10 and the display 32.
  • the information processing apparatus 30 receives captured moving image data from the camera 10.
  • the display 32 displays a measurement result of the number of breaths that is the biological activity of the subject 1 as a result of the processing.
  • the information processing apparatus 30 may display a warning on the display 32 when it is determined that the shooting direction of the camera 10 is not appropriate because the high-luminance area is not detected.
  • the information processing apparatus 30 includes a CPU 301, a ROM 302, a RAM 303, a hard disk drive (HDD) 304, an interface (I / F) 305, and an image processing circuit 306.
  • the CPU 301 controls the operation of the information processing apparatus 30.
  • the ROM 302 stores a computer program.
  • the computer program is a group of instructions for causing the CPU 301 or the image processing circuit 306 to perform processing shown by a flowchart described later, for example.
  • a RAM 303 is a work memory for developing a computer program when executed by the CPU 301.
  • the HDD 304 is a storage device that stores moving image data received from the camera 10 or measured respiratory rate data of the subject 1.
  • the I / F 305 is an interface for the information processing apparatus 30 to receive moving image data from the camera 10.
  • the I / F 305 is, for example, an Ethernet (registered trademark) terminal.
  • the I / F 305 is a transmission / reception circuit that performs communication based on, for example, the Wi-Fi (registered trademark) standard.
  • the I / F 305 may be a wired video input terminal.
  • the image processing circuit 306 is a so-called graphics processor that analyzes moving image data.
  • the image processing circuit 306 detects a high luminance area of each frame image of the moving image, detects a body movement based on the vibration of the high luminance area, and counts the respiration rate based on the vibration waveform of the body movement.
  • the image processing circuit 306 is provided separately from the CPU 301, but this is an example.
  • an integrated circuit in which the CPU 301 and the image processing circuit 306 are integrated may be used, or the CPU 301 may perform a part of the processing of the image processing circuit 306 described later.
  • FIG. 13 shows an example of a processing procedure performed in the measurement system 100.
  • step S1 the camera 10 photographs the subject 1 on which the retroreflective marker 40 is arranged.
  • the captured moving image is sent to the information processing apparatus 30.
  • step S2 the image processing circuit 306 of the information processing apparatus 30 divides each of a plurality of frame images constituting the captured moving image into a plurality of partial areas.
  • the partial region (for example, the partial region P in FIG. 8) has a size of, for example, 64 pixels horizontally and 64 pixels vertically. Note that “divide” does not require division as an actual operation. For example, the operation of setting the size of the partial area as a unit for cutting out an image or a unit for performing processing may be included in the “dividing” operation described here.
  • step S3 the image processing circuit 306 identifies a partial region where the retroreflective marker 40 exists and a partial region including a body movement location due to a biological reaction based on the luminance value of each partial region.
  • the partial area where the retroreflective marker 40 exists can be specified in each frame image.
  • the partial region including the body movement location can be specified over a plurality of frame images, that is, between the plurality of frame images.
  • the partial area where the retroreflective marker 40 exists is specified by the following process.
  • the image processing circuit 306 holds in advance in the ROM 302 information on luminance values of partial areas observed when the retroreflective marker 40 is present. This information is used as a threshold value of the luminance value, and a partial region having a luminance value equal to or higher than the threshold value is specified as a partial region where the retroreflective marker 40 exists.
  • the luminance value at this time may be an integrated value of the luminance values of the pixels included in the partial area, or may be an average value. Depending on whether the integrated value or the average value of the luminance values is adopted, the threshold value may also change.
  • the partial area including the body movement location is specified by the following process.
  • the region where the reflected light from the retroreflective marker 40 is observed fluctuates due to body movement due to a biological reaction (respiration).
  • a partial region Q existing at a certain common coordinate position FIGS. 14A and 14B show examples of partial areas Q in two frame images taken at different times. It is assumed that the region R shown in FIGS. 14A and 14B is a high-intensity region in which reflected light from the retroreflection marker 40 is detected.
  • the partial area Q may or may not become a high luminance area due to body movement accompanying breathing.
  • FIG. 14C shows a change in the luminance value of the partial region Q at this time.
  • step S3 of FIG. 13 the partial area including the body movement location is specified as the partial area Q of the coordinate position indicating the luminance change shown in FIG. Then, a luminance value calculation (image processing) is performed with a group of pixels included in the partial region Q as a group.
  • step S4 the image processing circuit 306 calculates the average luminance value of the partial region Q including the body movement location for each frame image.
  • step S5 the image processing circuit 306 counts the respiration rate of the subject using the calculated average luminance value for each frame image.
  • Each calculated average luminance value is expressed as a waveform shown in FIG.
  • the image processing circuit 306 counts the number of breaths within a predetermined period, with one period of body movement specified by the average luminance value of the partial region Q oscillating as one breath.
  • the measurement system 100 can acquire information on the respiration rate with high accuracy. Since the amount of infrared light reflected from the retroreflective marker 40 including the plurality of inclined retroreflective materials 42 is sufficiently large without depending on the distance from the light source 20 to the retroreflective material 42, the camera 10 When a captured moving image is used, it is easy to specify a partial region including body movement due to respiration from the retroreflective marker 40 in the image.
  • the retroreflection marker 40 when the retroreflection marker 40 includes the cover 43, the retroreflection marker 40 functions as a marker having a specific reflection pattern (for example, a rhombus). As shown in FIG. 8, the reflection pattern is confirmed as a high luminance region in the frame image.
  • the image processing circuit 306 may receive a moving image from the camera 10 and specify the coordinate position of the retroreflective marker 40 in each frame image using, for example, a known pattern recognition method.
  • the coordinate position means, for example, the coordinates of each vertex and the center of gravity of the reflection pattern (diamond) shown in FIG.
  • the reflection pattern in the frame image can be specified by the pattern matching process.
  • the image processing circuit 306 holds information (for example, a template) indicating that the retroreflective marker 40 having a specific reflection pattern is used and the characteristics of the reflection pattern in advance in, for example, the ROM 302.
  • the image processing circuit 306 can perform pattern matching processing on each frame image using the feature of the reflection pattern and specify the coordinate position of the retroreflection marker 40. A high luminance region can be detected more reliably and more easily by using the reflection pattern.
  • the coordinate information of the retroreflective marker 40 in the frame image can be specified by actively using the edge information.
  • the image processing circuit 306 may specify the coordinate position of the retroreflective marker 40 using a corner detection method and an edge detection method. Such a specifying method is described in Japanese Patent Application No. 2015-102726, which is an unpublished patent application filed by the present applicant. All of these disclosures are incorporated herein by reference.
  • the image processing circuit 306 can designate a partial region (see FIG. 8) based on the coordinate position of the retroreflective marker 40 identified by the above-described pattern matching processing and processing using edge information.
  • the partial area is an area for monitoring a change in luminance value associated with body movement, and can be set to include a body movement location.
  • the image processing circuit 306 divides each frame image into two or more. At this time, the image processing circuit 306 sets a boundary line at a position across the reflection pattern. Further, the boundary line is set in a direction different from the body movement direction. For example, it is assumed that body movement is recognized in the vertical direction in the frame image. At this time, for example, the image processing circuit 306 sets a boundary line in the horizontal direction, divides each frame image into two or more, and sets a partial region.
  • the image processing circuit 306 specifies a partial area including the edge of the high reflection area corresponding to the reflection pattern.
  • the size of the partial region can be, for example, 64 pixels wide and 64 pixels vertical.
  • the image processing circuit 306 can obtain the edge information of the reflection pattern from the corner detection result. Then, the image processing circuit 306 designates an area including the edge of the reflection pattern as a partial area. In other words, the image processing circuit 306 sets a partial region so as to straddle the edge.
  • the edge here refers to one edge when there are a plurality of edges facing each other with respect to the fluctuation direction.
  • the image processing circuit 306 after identifying the partial area, calculates the average luminance value of the partial area for each frame image. In other words, the image processing circuit 306 generates a respiratory waveform based on the luminance value for each frame image.
  • the image processing circuit 306 may count the respiration rate of the subject using the calculated average luminance value (respiration waveform) for each frame image.
  • FIG. 15 shows the camera 10 equipped with an optical filter 11 that blocks the wavelength in the visible light region.
  • the optical filter 11 is generally called an infrared filter.
  • the camera 10 may further include an optical filter 11.
  • the optical filter 11 transmits infrared light emitted from the light source 20 and reflected by the retroreflective marker 40, but blocks visible light.
  • light other than infrared light more specifically visible light, is prevented from entering the camera 10, thereby affecting the change in the luminance value of the captured moving image. Can be reduced. Since fluctuations in the luminance value of each frame image due to visible light can be suppressed, it is possible to reduce the occurrence of disturbance noise due to only visible light and not due to biological reactions.
  • the inventor of the present application considers that it is very useful to provide the optical filter 11 that blocks the wavelength in the visible light region. This is because it is often difficult to realize a complete dark room environment during actual photographing. For example, when the life activity measurement system 100 is operated in a hospital, a night light, an evacuation guide light, etc. are lit in the hospital even at night. In such a photographing environment, it is preferable to block visible light by the optical filter 11.
  • an optical filter that blocks not only visible light but also unnecessary infrared light may be provided as the optical filter 11 shown in FIG.
  • a band pass filter that allows infrared light emitted from the light source 20 to pass therethrough may be provided as the optical filter 11.
  • an LED light source having a steep wavelength characteristic is adopted as the light source 20.
  • the wavelength is, for example, 850 nm or 940 nm and their vicinity.
  • the “steep wavelength characteristic” means that the fluctuation of the wavelength of the emitted infrared light is small here.
  • the optical filter 11 is provided with an optical filter having a band-pass characteristic that allows infrared light emitted from the light source 20 to pass. For example, when the wavelength of infrared light emitted from the light source 20 is 850 nm, the optical filter 11 that transmits infrared light having a wavelength of 850 nm is provided.
  • the camera 10 By matching the wavelength of the light source 20 with the pass band of the optical filter 11, the camera 10 has sensitivity only to light having the same wavelength as that of infrared light emitted from the light source 20. Since not only visible light but also unnecessary infrared light can be blocked, the captured moving image is not affected by disturbance light. Since the retroreflection marker 40 is used, the amount of infrared light emitted from the light source 20 and reflected by the retroreflection material 40 is large. Therefore, the ease of capturing the reflected light is the same as that described above.
  • the inventor of the present application measured the reflection performance of the retroreflecting material using the camera 10 having the optical filter 11 and the white light source and the infrared light source.
  • the measurement results of the reflective performance (unit: cd / lx / m 2 ) of the retroreflective material are shown in Table 1 below.
  • the retroreflective marker 40 it is possible to suppress a decrease in luminance during photographing.
  • FIG. 16 schematically shows the luminance distribution of the reflection pattern area in the frame image when the retroreflection marker 40 including the cover 44 according to the first embodiment is used.
  • the inclination angles of the retroreflecting material 42 are all equal. In that case, when the installation position of the camera 10 is very low, as shown in FIG. 16, the incident angle of the light incident on the retroreflective marker 40 is large as a whole, and the retroreflective material 42 (that is, the reflective pattern). Of these areas, the incident angle is assumed to be larger in an area farther from the camera 10.
  • the retroreflective marker 40 according to the first embodiment may be slightly insufficient depending on the measurement system used in terms of ensuring uniform luminance in the high luminance region of the reflection pattern.
  • the retroreflective material 42 according to the present embodiment is devised so that a plurality of retroreflective materials 42 are arranged so that the inclination angle gradually increases as the distance from the camera 10 increases.
  • the structure of the retroreflective marker 40A according to the present embodiment will be mainly described.
  • FIG. 17 is a perspective view of the retroreflective marker 40A according to the present embodiment.
  • the retroreflective marker 40A includes a base 41 and a plurality of retroreflective members 42. Similar to the first embodiment, the retroreflective marker 40A may further include a cover 43 including an opening.
  • the inclination angle of each of the plurality of retroreflective members 42 increases gradually or stepwise as the distance from the side closer to the light source 20 increases. More specifically, the retroreflective marker 40A has a sawtooth structure when viewed from the Z direction, as in the first embodiment.
  • the heights h of the retroreflecting materials 42 that is, saw blades
  • the length in the Y direction of the base 41 that supports the retroreflecting material 42 closest to the light source is d. If the lengths of the base 41 supporting the remaining retroreflecting material 42 in the Y direction are c, b and a, respectively, a ⁇ b ⁇ c ⁇ d is satisfied. Due to this geometrical relationship, the inclination angle of the retroreflecting material 42 closest to the light source 20 is the smallest, and the inclination angle of the retroreflecting material 42 farthest from the light source 20 is the largest.
  • the lengths a, b, c and d can be set so as to decrease stepwise or gradually in this order.
  • the pitch of the saw blade decreases stepwise or gradually as the distance from the side closer to the light source 20 increases. More specifically, the ratio of the lengths a, b, c and d is determined so that the incident angles of light incident on the respective retroreflecting materials 42 are substantially the same.
  • the ratio of the lengths of the retroreflective materials 42 in the Y direction will be specifically described by taking a retroreflective marker 40 including two retroreflective materials 42 as an example.
  • FIG. 18 schematically shows the positional relationship between the camera 10 (or the light source 20) and the two retroreflective members 42.
  • the point O in the figure is the origin of the XYZ coordinate system.
  • a point C indicating the position of the camera 10 is located on the X axis, and one end of the inclined retroreflecting material 42 is located on the Y axis.
  • L is the length of the retroreflective marker 40 in the Y-axis direction
  • h is the length of the retroreflective material 42 in the X-axis direction, that is, the height of the retroreflective marker 40.
  • x is the distance from the position (h / 2) half the height h of the retroreflective marker 40 to the point C on the X axis, and the coordinates of the point C are (h / 2 + x, 0).
  • y is the distance from the origin O to the center point of the retroreflective marker 40 on the Y axis.
  • the center point corresponds to a point whose length is L / 2 from the end of the retroreflective marker 40 on the camera 10 side.
  • the coordinates of the center point can be represented by (h / 2, y).
  • ⁇ indicates the difference between the length b and the length L / 2 of the retroreflecting material 42 on the camera 10 side in the Y-axis direction. Therefore, the length b can be represented by L / 2 + ⁇ , and the length a in the Y-axis direction of the retroreflecting material 42 on the side opposite to the camera 10 can be represented by L / 2 ⁇ .
  • the point P indicates the center point of the retroreflective material 42 on the camera side, and the coordinates thereof can be represented by (h / 2, y ⁇ L / 4).
  • the point Q indicates the center point of the retroreflecting material 42 on the side opposite to the camera 10, and the coordinates thereof can be represented by (h / 2, y + L / 4).
  • ⁇ at which the incident angles to the point P and the point Q are equal is obtained.
  • the above-described “incident angles of light incident on the retroreflective material 42 substantially coincide” specifically means that “the incident angles of light incident on the center point of the retroreflective material 42 are plural. It means that they substantially coincide between the retroreflecting materials 42.
  • ⁇ QCP can be obtained by equation (1).
  • ⁇ QCP tan ⁇ 1 (y / (x ⁇ L / 4)) ⁇ tan ⁇ 1 (y / (x + L / 4)) Equation (1)
  • ⁇ QCP corresponds to the angle difference between the retroreflecting material 42 on the camera 10 side and the retroreflecting material 42 on the opposite side of the camera 10, so that ⁇ QCP can also be expressed by equation (2). it can.
  • Equation (3) Since atan ( ⁇ ) can be approximated as atan ( ⁇ ) ⁇ when ⁇ is small, Equation (3) is obtained from Equations (1) and (2).
  • ⁇ yL 3 / 16x 2 formula (6)
  • FIG. 19 schematically shows the luminance distribution of the reflection pattern area in the frame image when the retroreflective marker 40A including the cover 44 according to the second embodiment is used.
  • the brightness of the entire reflection pattern region is ensured by setting the inclination angle of the retroreflecting material 42 to increase as the distance from the camera 10 increases.
  • the inclination angle changes depending on the boundary between two adjacent retroreflective members 42, that is, the position of the step, as shown in the figure, there is a luminance difference in a part of the reflection pattern region, that is, in the vicinity of each boundary. Can occur.
  • the shape of the retroreflecting material is devised. More specifically, the retroreflecting material according to the present embodiment has a curved reflecting surface. The curved surface can suppress a luminance difference that may occur near the step.
  • the structure of the retroreflection marker 40B according to the present embodiment will be mainly described.
  • FIG. 20 is a perspective view of the retroreflective marker 40B according to the present embodiment.
  • FIG. 21 schematically shows the state of light rays incident near the boundary between two adjacent retroreflective members 42.
  • the retroreflection marker 40B has a base 41 and a plurality of retroreflection materials 42.
  • the plurality of retroreflecting materials 42 have a plurality of curved reflecting surfaces 42S. In other words, each has a curved reflecting surface 42S.
  • the shape of the curved surface is equal to the shape of a concave mirror defined by a parabola in which the incident angles of light with respect to the normal line at any point on the curved surface of two adjacent retroreflecting materials are all equal.
  • the retroreflection marker 40B may further include a cover 43 including an opening.
  • the side surface of the retroreflective marker 40B viewed from the Z direction in FIG. 20 includes a sawtooth structure including a plurality of saw teeth corresponding to the plurality of reflection surfaces 42S.
  • Each of the cross sections of the retroreflective marker 40 cut along a plane parallel to the XY plane includes a saw-tooth structure identical to the shape of the side surface.
  • the incident angle ⁇ 1 of light incident on one retroreflective material 42 and the other The difference from the incident angle ⁇ 2 of the light incident on the retroreflecting material 42 can be reduced.
  • the reflection angles of the reflected light at the two adjacent retroreflecting materials 42 can be made substantially equal, so that the luminance difference can be reduced in the vicinity of each boundary of the reflective marker region.
  • the curved surface shape of the retroreflecting material 42 will be specifically described.
  • FIG. 22 schematically shows the concave mirror, the focal point, the object point, and the image point of the concave mirror.
  • the cross-sectional shape of the reflecting surface 42S in the XY plane matches the shape of the concave mirror shown in FIG.
  • Point C (camera position) indicates an object point
  • point C ′ indicates a point (image point) where a light beam emitted from point C is collected to form a real image
  • F indicates a focal point of the concave mirror
  • f indicates The focal length of the concave mirror is shown.
  • Point R corresponds to a point on the concave mirror corresponding to the end of the retroreflecting material 42 on the camera side
  • point S corresponds to a point on the concave mirror corresponding to the end of the retroreflecting material 42 opposite to the camera side.
  • Point T indicates the intersection of the perpendicular bisector of the line segment SR and the line segment CC ′.
  • the light beam from the point C is collected at the point C ′ by the concave mirror.
  • the focal point F is located on the vertical bisector of the line segment SR, the vertical bisector of the line segment SR and the line segment CC ′ are perpendicular to each other at the point T, and the point T is the line segment CC ′. It coincides with the midpoint, and the distance between the line segment SR and the line segment CC ′ is equal to twice the focal length f (2f). In other words, the length of the line segment connecting the midpoint of the line segment SR and the point T is 2f.
  • the curved surface shape of the retroreflecting material 42 according to the present embodiment is determined by a parabola in which the point T coincides with the midpoint of the line segment CC ′. Under this condition, the incident angle of the light beam from the point C is constant on the concave mirror. For this reason, it is possible to make all the incident angles of light with respect to the normal at any point of the plurality of reflecting surfaces 42S equal.
  • Embodiments 1 to 3 the measurement system using a retroreflective marker has been mainly described.
  • another embodiment according to the present invention may be a measurement system using a reflective marker composed of a plurality of reflective materials inclined with respect to the support surface.
  • the angle of inclination of the reflecting material is sufficiently large, for example, when the angle is close to 90 °, the incident angle of light incident on the reflecting material can be made sufficiently small. In that case, a sufficient amount of reflected light from the subject can be secured without using a retroreflecting material.
  • a simple reflection marker can be used depending on the inclination angle of the reflecting material and the positional relationship between the camera and the reflection marker shown in FIG.
  • This specification discloses a measurement system for life activity resulting from respiration of a subject described in the following items.
  • a light source that emits light
  • An imaging device that receives the light and generates a moving image
  • An image processing circuit for measuring a subject's biological activity using the moving image, and a measurement system comprising: When a reflection marker is arranged at a position where a body movement accompanying breathing of the subject is performed, and the light is emitted from the light source toward the subject, The imaging device receives the light reflected by the reflective marker at a plurality of times, generates the moving image composed of a plurality of time-series frame images, The image processing circuit receives the moving image from the imaging device, measures a biological activity caused by breathing of the subject based on a change in luminance value of the plurality of frame images
  • the reflective marker includes a base having a support surface, and a plurality of reflectors each inclined with respect to the support surface and supported by the support surface.
  • a measurement system for life activity caused by breathing is provided in which measurement conditions for life activity are not easily affected by the surrounding environment.
  • the light source and the retroreflective marker are used in combination, even if the surroundings are dark or bright and the distance between the subject and the imaging device is sufficiently separated, It is possible to capture body movements caused by biological activities such as from changes in a plurality of frame images.
  • a retroreflective marker including a plurality of inclined retroreflective materials the luminance can be maintained in the region of the retroreflective marker in the plurality of frame images.
  • Item 3 When the reflective marker is disposed at a position where body movement accompanying breathing of the subject occurs, Item 3. The measurement system according to Item 1 or 2, wherein an inclination angle of each of the plurality of reflectors increases as the distance from the side closer to the light source increases.
  • the side surface of the reflective marker includes a sawtooth structure including a plurality of saw teeth corresponding to the plurality of reflectors, and each of the plurality of saw teeth has an equal height, Item 4.
  • the inclination angle of the reflective material closest to the light source can be minimized, and the inclination angle of the reflective material farthest from the light source can be maximized.
  • Item 5 The measurement system according to Item 4, wherein each of the plurality of reflecting materials has a curved reflecting surface.
  • the curved surface shape is equal to the shape of a concave mirror defined by a parabola in which the incident angles of the light with respect to the normal at any point on the curved surface of two adjacent reflectors are all equal, A third direction orthogonal to a first direction parallel to an arrangement direction of the plurality of reflective materials, each of the second direction in which each reflective material extends, and a third direction orthogonal to both the first directions, and the first In the cross-section of the curved surface of each of the reflecting materials cut by a plane parallel to each direction, a point on the curved surface located at the first end of each reflecting material on the imaging device side is a point R, A point on the curved surface located at the second end of the reflector opposite to the imaging device is a point S, a focal length of the concave mirror is f, an object point is a point C, and an image point is a point C ′.
  • the perpendicular bisector of the line segment RS is orthogonal to the line segment CC ′ at the midpoint of the line segment CC ′, and the focal point of the concave mirror is located on the vertical bisector of the line segment RS.
  • the measurement system of item 5 whose distance of said line segment RS and said line segment CC 'is the length of 2f.
  • the reflective marker further includes a cover including an opening having a predetermined marker shape, 7.
  • the measurement system according to any one of items 1 to 6, wherein, in a plan view, the shapes of the plurality of reflecting materials coincide with the predetermined marker shape.
  • the marker shape in the image can be accurately captured.
  • Item 8 The measurement system according to Item 7, wherein the predetermined marker shape is a triangle, a diamond, or a rectangle.
  • the image processing circuit divides each frame image into a plurality of partial areas, and measures a biological activity caused by respiration of the subject based on a change in luminance values of the plurality of partial areas.
  • a measurement system according to any one of the above.
  • the efficiency of arithmetic processing can be improved by using a partial area as a processing unit.
  • the light source is an infrared light source that emits infrared light, 10.
  • the measurement system according to any one of items 1 to 9, wherein the imaging device includes an optical filter that blocks a wavelength in a visible light region.
  • the present invention can be used as a measurement system that analyzes a moving image obtained by photographing a subject and measures a subject's life activity, particularly the number of breaths, in a non-contact manner.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動の計測システムを提供する。 【解決手段】計測システム１００は、光源２０と、動画像を生成する撮像装置１０と、動画像を利用して被験体１の生体活動を計測する画像処理回路３０６と備える。被験体の呼吸に伴う体動の発生位置に反射マーカ４０が配置され、光源から、被験体に向けて光が放射されたときにおいて、撮像装置は、反射マーカで反射された光を受けて、動画像を生成し、画像処理回路は、撮像装置から動画像を受け取り、複数のフレーム画像の輝度値の変化に基づいて被験体の呼吸に起因する生体活動を計測する。反射マーカは、平坦な支持面４１ａを有するベース４１と、各々が同一の傾斜方向を向いて支持面に対して所定の傾斜角度で傾斜し、支持面で支持された複数の反射材４２と、を有する。

Description

被験体の呼吸に起因する生体活動の計測システム
　本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。
　カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている（たとえば特許文献１および２）。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いたりすることによって特定される。
　特許文献１の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。
　特許文献２の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。
特開平１１－２７６４４３号公報 特開２０１１－１３０９９６号公報 特開２００７－７２５８９号公報
　特許文献１の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値が大きく変動し得る。常に適切なしきい値を求める方法がないため、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。
　特許文献２の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献１と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応に起因した体動個所を特定できず、生体情報が正確に抽出できないことがある。
　さらに、被験者の顔面がカメラから離れると被験者の生体情報を取得する精度が落ちるため、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。
　本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動の計測システム（以下、「計測システム」と表記する。）を提供する。
　本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備える計測システムであって、前記被験体の呼吸に伴う体動の発生位置に反射マーカが配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記反射マーカで反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測し、前記反射マーカは、支持面を有するベースと、各々が前記支持面に対して傾斜し、前記支持面で支持された複数の反射材と、を有する。
　ある実施形態において、前記反射マーカは再帰性反射マーカであり、前記複数の反射材は複数の再帰性反射材であってもよい。
　ある実施形態において、前記反射マーカが前記被験体の呼吸に伴う体動の発生位置に配置されたときにおいて、前記複数の反射材の各々の傾斜角度は前記光源に近い側から遠ざかるにつれて大きくなってもよい。
　ある実施形態において、前記反射マーカの側面は、前記複数の反射材に対応した複数の鋸歯を含む鋸歯状の構造を含み、前記複数の鋸歯の各々の高さは等しく、前記反射マーカが前記被験体の呼吸に伴う体動の発生位置に配置されたときにおいて、鋸歯のピッチは、前記光源に近い側から遠ざかるにつれて小さくなってもよい。
　ある実施形態において、前記複数の反射材の各々は、曲面形状の反射面を有していてもよい。
　ある実施形態において、前記曲面形状は、隣接する２つの反射材の曲面上の任意の点における法線に対する前記光の入射角度が全て等しくなる放物線によって規定される凹面鏡の形状に等しくてもよく、前記複数の反射材の配列方向に平行な第１の方向に直交し、各反射材が延伸する第２の方向および前記第１の方向の両方に直交する第３の方向と、前記第１の方向と、にそれぞれ平行な面で切断した、前記各反射材の曲面の断面において、前記各反射材の前記撮像装置側の第１の端に位置する曲面上の点を点Ｒとし、前記各反射材の前記撮像装置とは反対側の第２の端に位置する曲面上の点を点Ｓとし、前記凹面鏡の焦点距離をｆとし、物点を点Ｃとし、像点を点Ｃ’とすると、線分ＲＳの垂直二等分線は、線分ＣＣ’の中点で前記線分ＣＣ’と直交し、かつ、前記凹面鏡の焦点は前記線分ＲＳの垂直二等分線上に位置し、かつ、前記線分ＲＳと前記線分ＣＣ’との距離が２ｆの長さであってもよい。
　ある実施形態において、前記反射マーカは、所定のマーカ形状を有した開口を含むカバーをさらに有し、平面視において、前記複数の反射材の形状は、前記所定のマーカ形状に一致してもよい。
　ある実施形態において、前記所定のマーカ形状は、三角形、ひし形または矩形であってもよい。
　ある実施形態において、前記画像処理回路は、各フレーム画像を複数の部分領域に分割し、前記複数の部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測してもよい。
　ある実施形態において、前記光源は、赤外光線を放射する赤外線光源であり、前記撮像装置は、可視光領域の波長を遮る光学フィルタを含んでいてもよい。
　本発明によれば、傾斜した複数の反射材を含む反射マーカを用いることにより、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動の計測システムが提供される。
再帰性反射材に入射する光の入射角度と反射率との関係を説明するための模式図である。 実施の形態１による計測システム１００の構成を示す図である。 実施の形態１による再帰性反射マーカ４０の斜視図である。 実施の形態１による再帰性反射マーカ４０の上面図である。 実施の形態１による、カバー４３を備えた再帰性反射マーカ４０の分解斜視図である。 実施の形態１による、カバー４３を備えた再帰性反射マーカ４０の平面図である。 カバー４３の開口４４によってひし形に形成された再帰性反射材４２に光源１０からの赤外光２０ａを照射している状態を示す模式図である。 再帰性反射マーカ４０を装着した被験者１を撮影したフレーム画像１０２を示す図である。 再帰性反射マーカ４０を装着しない被験者を撮影したフレーム画像１０６を示す図である。 複数のフレーム画像の輝度値の変化に基づいて測定された、高輝度領域１０４の振動を示すグラフである。 再帰性反射マーカを設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示すグラフである。 計測システム１００の、主として情報処理装置３０のハードウェア構成図である。 実施の形態１による計測システム１００で行われる処理の手順の一例を示すフローチャートである。 高輝度領域の輝度変化を監視するための、フレーム画像における部分領域Ｑの設定例を示す模式図である。 可視光領域の波長を遮る光学フィルタ１１を装着したカメラ１０を示す模式図である。 実施の形態１によるカバー４４を含む再帰性反射マーカ４０を用いた場合のフレーム画像中の反射パターン領域の輝度分布を示す模式図である。 実施の形態２による再帰性反射マーカ４０Ａの斜視図である。 カメラ１０（または光源２０）と２つの再帰性反射材４２との位置関係を示す模式図である。 実施の形態２によるカバー４４を含む再帰性反射マーカ４０Ａを用いた場合のフレーム画像中の反射パターン領域の輝度分布を示す模式図である。 実施の形態３による再帰性反射マーカ４０Ｂの斜視図である。 隣接した２つの再帰性反射材４２の間の境界近傍に入射した光線の様子を示す模式図である。 凹面鏡、凹面鏡の焦点、物点および像点を示す模式図である。
　生体活動の計測条件が周囲の環境の影響を受けにくい計測システムが望まれている。例えば、再帰性反射材を用いて、被験者の呼吸に起因する生体活動を計測することが提案されている。具体的に説明すると、被験者の呼吸に伴う体動の発生位置、例えば胸部に、平坦な再帰性反射材がマーカとして配置され、赤外線光源から赤外光がマーカに向けて放射される。カメラがマーカを含む動画像を撮像し、画像処理回路が、取得された動画像を構成する複数のフレーム画像の輝度値の変化に基づいて被験者の呼吸に起因する生体活動を計測することができる。再帰性反射材をマーカとして用いることにより、マーカ領域の輝度を向上させてＳＮ比（Ｓｉｇｎａｌ　Ｎｏｉｓｅ　Ｒａｔｉｏ）を確保することができる。このような計測システムおよび計測方法は、例えば本出願人による未公開の特許出願である特願２０１４－１４５４７６号に開示されている。この開示内容の全てを参考のために本願明細書に援用する。なお、本明細書では、被験者は人であるとして説明するが、人以外の動物（犬や猫などのペット動物、豚やマウスなどの実験動物）であってもよい。観測対象としての動物（人を含む。）を総称して「被験体」と呼ぶことがある。
　本願発明者の検討によると、再帰性反射材の反射率は、再帰性反射材に対する光の入射角度に強く依存する。再帰性反射材に対する光の入射角度が大きくなると反射率は著しく低下し得る。その結果、撮影画像においてマーカ領域の一部分の輝度が低下して、マーカ領域に輝度ムラが生じる可能性がある。
　光源から再帰性反射材に光が入射する入射角度は被験者と光源との位置関係などに依存して変化し得る。図１（ａ）は、光の入射角度αが比較的小さい場合における、再帰性反射材で反射された反射光を模式的に示し、図１（ｂ）は、光の入射角度αが比較的大きい場合における、再帰性反射材で反射された反射光を模式的に示し、図１（ｃ）は、設置面（例えば胸部）に対して傾斜させて配置した単一のマーカを模式的に示している。図示するように、光の入射角度は法線ｎに対してなす角度である。再帰性反射材の領域で光源により近い部分では、図１（ａ）に示すように、再帰性反射材に対する光の入射角度αは相対的に小さく、その結果、光の反射率は高くなり、その領域では輝度を確保することができる。一方、再帰性反射材の領域で光源から遠ざかる領域では、図１（ｂ）に示すように、再帰性反射材に対する光の入射角度αは徐々に大きくなる。例えば、光源の設置位置が低い場合には、光の入射角度αは一層大きくなると考えられる。その結果、光の反射率も徐々に低下し、その領域では輝度を確保することが困難となる。マーカの輝度が十分でない場合、後述するマーカ検出に影響が及ぶ可能性がある。
　特許文献３が、複数の傾斜面を含む再帰性反射材と、光源およびラインセンサが一体となって構成された２つのセンサユニットとを備えた座標入力装置を開示している。複数の傾斜面の傾斜角度は、光源からの光の入射角度を考慮して決定される。特許文献３によれば、道路標識等の用途で市販されている再帰性反射材の中で、再帰反射効率が比較的高いとされ、かつ、最も広角な特性を有する再帰性反射材でも、光の入射角度が３０°～４５°以上では再帰反射効率が急激に低下するとされている。
　このような課題を解決するために、例えば図１（ｃ）に示すように、マーカ自体を傾斜させて配置することにより、再帰性反射材に対する光の入射角度を相対的に小さくして輝度を確保することが考えられる。しかしながら、このような構成によると、マーカの高さが高くなることにより、マーカの取扱いが不便になるばかりでなく、マーカと被験者とは密着せず、それらの接触面積が小さくなることによって、マーカは生体活動に起因して発生する体動を拾うことができない恐れがある。このことは、呼吸に起因する生体活動を正確に計測できないことに繋がる。
　本願発明者は、上記の知見に基づいて、新規な構造を備えた反射マーカを見出し、本発明に至った。本明細書では、再帰性反射マーカを計測用マーカとして主に利用する計測システムを例に実施の形態１から３を説明する。ただし、後述するように、所定の条件下では、計測用マーカは、必ずしも再帰性反射マーカでなくてもよい。
　以下、添付の図面を参照しながら、本発明の実施形態による計測システムを説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施の形態による計測システムは、以下で例示するものに限られない。例えば、一の実施の形態と、他の実施の形態とを組み合わせることも可能である。
　（実施の形態１）
　図２は、本実施の形態による計測システム１００の構成を示す。計測システム１００は、カメラ１０と、光源２０と、情報処理装置３０と、再帰性反射マーカ４０とを含む。計測システム１００は、被験者１の生体活動を観察するために利用される。本実施の形態では、生体活動は被験者１の呼吸であるとし、計測システム１００は所定時間内の呼吸数を計測する。図２には被験者１が示されているが、被験者１は計測システム１００に含まれない。
　カメラ１０は、イメージセンサおよびレンズ光学系を含む、いわゆる撮像装置であり、被験者１を撮影して動画像を生成する。カメラ１０は、有線または無線で動画像のデータを情報処理装置３０に送る。
　光源２０は光２０ａを放射する光源である。光は可視光であってもよく、不可視光（たとえば赤外光）であってもよい。本実施の形態では、赤外光を例に挙げて説明する。以下では、光２０ａを「赤外光２０ａ」と記述する。
　情報処理装置３０は、カメラ１０が撮影した動画像のデータを受け取り、動画像を構成する複数のフレーム画像間の画像の変化を利用して被験者１の呼吸数を計測する。情報処理装置３０の動作の詳細は後述する。
　図３は、再帰性反射マーカ４０の斜視図である。図４は、再帰性反射マーカ４０の上面図である。図５は、カバー４３を備えた再帰性反射マーカ４０の分解斜視図である。図６は、カバー４３を備えた再帰性反射マーカ４０の平面図である。図７は、カバー４３の開口４４によってひし形に形成された再帰性反射材４２に光源２０からの赤外光２０ａを照射している状態を示す。
　再帰性反射マーカ４０は、平坦な支持面４１ａを有するベース４１と、各々が同一の傾斜方向（図３のＹ方向）を向いて支持面４１ａに対して所定の傾斜角度で傾斜し、支持面４１ａによって支持された複数の再帰性反射材４２と、を有する。なお、支持面４１ａは、再帰性反射マーカ４０が被験者１に配置されたとき、被験者１に接触する面である。本実施の形態では、再帰性反射材４２の傾斜角度は、全て等しくなるように設定されている。ただし、傾斜角度は、それぞれの再帰性反射材４２に入射する光の入射角度が最適になるように独立して設定され得る。また、再帰性反射材４２の使用枚数は、カメラ１０が配置される位置や被験者１の大きさなどを考慮し、製品仕様などによって適宜決定され得る。
　再帰性反射材４２の形状は、図示するように典型的には略矩形であり得るが、例えば円形や楕円形であってもよい。図３のＺ方向から見た再帰性反射マーカ４０の側面は、複数の再帰性反射材４２に対応した複数の鋸歯を含む鋸歯状の構造を含んでいる。本実施の形態では、製造のし易さなどを考慮して、再帰性反射材４２の高さｈ、つまり鋸歯の高さｈ（支持面４１ａから鋸歯の頂点までの距離）を全て等しくしている。ただし、再帰性反射材４２の高さｈは、全て等しくなくても構わない。
　再帰性反射材４２は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材４２に入射する光の入射角度と、再帰性反射材４２によって反射された光の出射角度とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。本実施の形態では、光源２０の光軸とカメラ１０の光軸とを近接して配置させている。これにより、光源２０から放射された赤外光２０ａは再帰性反射材４２に反射され、その多くが赤外光２０ｂとしてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。再帰性反射材４２として、例えばガラスビーズを塗布した布を用いることができる。
　傾斜した複数の再帰性反射材４２を含む再帰性反射マーカ４０を用いることにより、カメラ１０から離れて配置された再帰性反射材４２に入射する光の入射角度をも小さくすることが可能となり、その再帰性反射材４２の領域の輝度の低下は抑制され得る。また、図示するような、再帰性反射材４２の鋸歯状の構造、つまり段差の構造を採用することで、図１（ｃ）に示したような単純にマーカ自体を傾斜させる場合と比べて、再帰性反射マーカ４０の高さを抑制することができる。その結果、再帰性反射マーカ４０の取扱いが不便になることも解消され、かつ、再帰性反射マーカ４０を被験者１に密着させることが可能になる。
　図４に示すように、複数の再帰性反射材４２を傾斜させて配置すると、複数の再帰性反射材４２の輪郭が鋸歯状に乱れてしまう。その輪郭が、再帰性反射マーカ４０のマーカ形状となり、後述するパターン認識におけるパターンとして認識される。そのため、その乱れに起因して、フレーム画像において再帰性反射マーカ４０の位置が、パターン認識を用いて正確に特定されなくなるおそれがある。特に、パターンのエッジ情報を用いた検出手法を考慮すると、その影響を極力排除することが好ましい。以下で説明するように、本願発明者は、輪郭の乱れによる影響を考慮して、再帰性反射マーカ４０に改良を施した。
　図５に示すように再帰性反射マーカ４０は、開口４４を有するカバー４３をさらに有していていることが好ましい。開口４４の形状は例えばひし形であり得るが、三角形や矩形であっても構わない。開口４４の形状がそのまま、マーカ形状になる。換言すると、開口４４の形状は、再帰性反射マーカ４０に特定の反射パターンを与える。複数の再帰性反射材４２を覆うようにカバー４３を設けることにより、図６に示すように、複数の再帰性反射材４２の輪郭は鋸歯状に乱れることはなく、その輪郭を開口４４の形状にすることができる。図示する例では、ひし形の形状を有する開口４４を含むカバー４３を利用することにより、反射パターンの形状をひし形とすることができる。
　図７に示すように、カバー４３を備えた再帰性反射マーカ４０を用いることで、情報処理装置３０はマーカ形状を的確に捉えることができる。その結果、フレーム画像において再帰性反射マーカ４０の位置は正確に特定される。なお、フレーム画像において、隣接する２つの再帰性反射材４２の間には、段差の影響により影（輝度が低い部分）が生じる可能性がある。ただし、再帰性反射材４２の輝度が高いので、イメージセンサに投影される影の幅を抑えることで、影を目立たなくすることができる。
　なお、図２に示すように、再帰性反射材４２を用いることにより、再帰性反射材４２に入射した外乱光２１ａは、反射光２１ｂとしてその入射方向に反射される。反射光２１ｂは実質的にカメラ１０に入射しないため、カメラ１０によって撮影される動画像は外乱光の影響を受けにくくなる。
　計測システム１００の全体の動作を概説すると以下のとおりである。
　まず、観測者または被験者１が、被験者１の呼吸に伴う体動の発生位置に、特定の反射パターンの形状を有する再帰性反射マーカ４０を配置する。光源２０が赤外光で被験者１を照射すると、カメラ１０は再帰性反射マーカ４０で反射された赤外光を受けて、被験者１の動画像を撮影する。
　例えば図８は、再帰性反射マーカ４０を装着した被験者１を撮影したフレーム画像１０２を示す。画像中央部の高輝度領域（白い領域）１０４が、再帰性反射マーカ４０からの反射光が検出された領域である。なお、所定のマーカ形状を有した再帰性反射マーカ４０を用いた場合、その形状に対応した形状の高輝度領域が画像中に視認される。参考として、図９は、再帰性反射マーカ４０を装着しない被験者を撮影したフレーム画像１０６を示す。再帰性反射マーカ４０が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。図８および図９には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。本明細書では、境界線によって区画される画像の領域を、画像の「部分領域」と呼ぶ。図８には、部分領域Ｐが例示されている。なお、部分領域Ｐの境界線は理解の便宜のため強調して表示されている。
　情報処理装置３０は、図８に示されるような、動画像を構成する時系列の各複数のフレーム画像を解析して、複数のフレーム画像の輝度値の変化に基づいて被験者１の体動を検出する。より具体的に説明すると、情報処理装置３０は、図８に示す高輝度領域１０４を複数のフレーム画像にわたって検出する。平静時の被験者１の体動は呼吸に起因して発生するため、高輝度領域１０４の位置が呼吸の周期に合わせて変化（振動）する。情報処理装置３０は、高輝度領域１０４の振動の１周期を１呼吸周期として、所定期間にわたって呼吸周期の数をカウントすることにより、その期間における被験者１の呼吸数（ｂｐｍ）を計測することができる。呼吸数（ｂｐｍ）は６０／呼吸周期（ｓ）で表される。
　本明細書においては、主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。本明細書では、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形（呼吸波形に相当する波形）を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。
　図１０は、複数のフレーム画像の輝度値の変化に基づいて測定された、高輝度領域１０４の振動を示す。再帰性反射マーカ４０を用いて観測される波形は暗い撮影環境下でも呼吸による体動を精度よく測定することが可能である。つまり、輝度値を利用して体動、すなわち呼吸を測定することが可能である。参考として、図１１は、再帰性反射マーカを設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す。再帰性反射マーカが存在しないことにより、画像内の輝度変化はもともと小さく、そのため複数のフレーム画像にわたって輝度値の変化を観測してもノイズの影響が非常に大きい。よって計測する必要がある体動の波形がノイズに埋もれている。なお、図１０と図１１では、縦軸のスケールは数倍程度異なっていることに留意されたい。理解の便宜のため、図１１でのスケールは図１０よりも大きくしている。換言すれば、再帰性反射マーカ４０を用いる方（図１０）が、用いない方（図１１）よりも、信号対雑音比（ＳＮＲ）に優れていることを意味する。
　本実施の形態の計測方法によれば、再帰性反射マーカ４０を利用することにより、赤外光の反射光量を十分確保して撮影を行うことができる。その結果、被験者１とカメラ１０とを、たとえば６ｍ程度離して設置することができる。また、計測する部屋を暗くすることができる。これにより、被験者１への圧迫感を軽減しつつ、観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無の影響を受けにくい環境下、つまりノイズの影響が小さい環境下で撮影を行うことが可能になる。よって生体活動をより正確に計測することが可能になる。さらに、上述した側面が鋸歯状の再帰性反射マーカ４０を利用することにより、再帰性反射材４２に入射する光の入射角度を小さくすることが可能となり、再帰性反射材４２の反射率を維持することができる。
　図１２は、計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す。本実施の形態では、情報処理装置３０はカメラ１０、およびディスプレイ３２と接続されている。情報処理装置３０は、カメラ１０から、撮影された動画像のデータを受け取る。またディスプレイ３２は、処理の結果である、被験者１の生体活動である呼吸の数の計測結果を表示する。例えば、高輝度領域が検出されないことにより、カメラ１０の撮影方向が適切でないと判断した場合には、情報処理装置３０はディスプレイ３２に警告を表示してもよい。
　情報処理装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、インタフェース（Ｉ／Ｆ）３０５と、画像処理回路３０６とを有する。ＣＰＵ３０１は情報処理装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をＣＰＵ３０１または画像処理回路３０６に行わせるための命令群である。ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または計測された被験者１の呼吸数のデータを格納する記憶装置である。
　Ｉ／Ｆ３０５は、情報処理装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。情報処理装置３０が有線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばイーサネット（登録商標）端子である。情報処理装置３０が無線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばＷｉ－Ｆｉ（登録商標）規格に準拠した通信を行う送受信回路である。またはＩ／Ｆ３０５は、有線の映像入力端子であってもよい。
　画像処理回路３０６は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路３０６は、動画像の各フレーム画像の高輝度領域を検出し、高輝度領域の振動に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。
　本実施の形態ではＣＰＵ３０１とは別に画像処理回路３０６を設けているが、これは一例である。例えば、ＣＰＵ３０１と画像処理回路３０６とを統合した集積回路を用いてもよいし、後述する画像処理回路３０６の処理の一部を、ＣＰＵ３０１が行ってもよい。
　図１３は、計測システム１００で行われる処理の手順の一例を示す。
　ステップＳ１において、カメラ１０が、再帰性反射マーカ４０が配置された被験者１を撮影する。撮影された動画像は情報処理装置３０に送られる。
　ステップＳ２において、情報処理装置３０の画像処理回路３０６は、撮影した動画像を構成する複数のフレーム画像の各々を、複数の部分領域に分割する。部分領域（たとえば図８の部分領域Ｐ）は、たとえば横６４画素、縦６４画素の大きさを有する。なお「分割する」とは、実際の動作として分割する必要はない。たとえば画像を切り出す単位または処理を行う単位として部分領域のサイズを設定する、という動作も、ここで言う「分割する」動作に含まれ得る。
　ステップＳ３において、画像処理回路３０６は、各部分領域の輝度値に基づいて、再帰性反射マーカ４０が存在する部分領域、および生体反応による体動箇所を含む部分領域を特定する。より具体的に説明する。再帰性反射マーカ４０が存在する部分領域は、各フレーム画像内で特定され得る。一方、体動箇所を含む部分領域は、複数のフレーム画像にわたって、すなわち複数のフレーム画像間で特定され得る。
　再帰性反射マーカ４０が存在する部分領域は以下の処理によって特定される。たとえば、画像処理回路３０６は、再帰性反射マーカ４０が存在する場合に観測される部分領域の輝度値の情報を、予めＲＯＭ３０２に保持している。この情報を輝度値の閾値として利用し、閾値以上の輝度値を有する部分領域を、再帰性反射マーカ４０が存在する部分領域として特定する。
　このときの輝度値は、部分領域に含まれる各画素の輝度値の積算値であってもよいし、平均値であってもよい。輝度値の積算値および平均値のいずれを採用するかに応じて、閾値もまた変化し得る。
　一方、体動箇所を含む部分領域は以下の処理によって特定される。上述のように、再帰性反射マーカ４０からの反射光が観測される領域は、生体反応（呼吸）による体動により変動する。いま、各フレーム画像に関して、ある共通の座標位置に存在する部分領域Ｑに着目する。図１４（ａ）および（ｂ）は、異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す。図１４（ａ）および（ｂ）に示す領域Ｒは、再帰性反射マーカ４０からの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、部分領域Ｑが、高輝度領域になったりならなかったりする。
　図１４（ｃ）は、このときの部分領域Ｑの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Ｑの輝度を観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。
　図１３のステップＳ３において、体動箇所を含む部分領域は、図１４（ｃ）に示す輝度変化を示す座標位置の部分領域Ｑとして特定される。そして、部分領域Ｑに含まれる画素群を一まとまりとして、輝度値の演算（画像処理）が行われる。
　ステップＳ４において、画像処理回路３０６は、体動箇所を含む部分領域Ｑの平均輝度値をフレーム画像毎に算出する。
　ステップＳ５において、画像処理回路３０６は、算出したフレーム画像毎の平均輝度値を利用して被験者の呼吸数をカウントする。算出した各平均輝度値は、図１０に示す波形として表現される。画像処理回路３０６は、部分領域Ｑの平均輝度値が振動することによって特定される体動の１周期を１呼吸として、所定期間内の呼吸数をカウントする。
　以上の処理により、計測システム１００において、高い精度で呼吸数の情報を取得することができる。傾斜した複数の再帰性反射材４２を含む再帰性反射マーカ４０から反射された赤外光の光量は、光源２０から再帰性反射材４２までの距離に依存せずに十分大きいので、カメラ１０が撮影した動画像を用いると、画像内の再帰性反射マーカ４０から呼吸による体動を含む部分領域を特定することは容易である。
　上述したとおり、再帰性反射マーカ４０がカバー４３を含んでいる場合、再帰性反射マーカ４０は特定の反射パターン（例えば、ひし形）を有したマーカとして機能する。反射パターンは、図８に示すように、フレーム画像において高輝度領域として確認される。画像処理回路３０６は、カメラ１０から動画像を受け取り、例えば公知のパターン認識手法を用いて、各フレーム画像における再帰性反射マーカ４０の座標位置を特定してもよい。その座標位置は、例えば図６に示される反射パターン（ひし形）の各頂点や重心の座標を意味する。例えば、パターンマッチング処理によって、フレーム画像中の反射パターンを特定することができる。画像処理回路３０６は、予め、特定の反射パターンを有する再帰性反射マーカ４０が用いられること、およびその反射パターンの特徴を示す情報（例えば、テンプレート）を、たとえばＲＯＭ３０２に保持している。画像処理回路３０６は、その反射パターンの特徴を利用して各フレーム画像にパターンマッチング処理を行い、再帰性反射マーカ４０の座標位置を特定することができる。反射パターンを利用してより確実かつより簡易に高輝度領域を検出することができる。
　反射パターンはエッジ情報を含んでいるので、そのエッジ情報を積極的に利用して、フレーム画像における再帰性反射マーカ４０の座標位置を特定することもできる。具体的に説明すると、画像処理回路３０６は、コーナ検出法およびエッジ検出法を用いて再帰性反射マーカ４０の座標位置を特定してもよい。このような特定方法は、本出願人による未公開の特許出願である特願２０１５－１０２７２６号に記載されている。これらの開示内容の全てを参考のために本明細書に援用する。
　画像処理回路３０６は、上述した、パターンマッチング処理およびエッジ情報を利用した処理によって特定された再帰性反射マーカ４０の座標位置に基づいて部分領域（図８を参照）を指定することができる。部分領域は、体動に伴う輝度値の変化を監視するための領域であり、体動箇所を含むように設定され得る。画像処理回路３０６は各フレーム画像を２つ以上に分割する。このとき、画像処理回路３０６は反射パターンを跨ぐ位置に境界線を設定する。さらに、境界線は、体動方向とは異なる方向に設定される。たとえばフレーム画像内で体動が上下方向に認められるとする。このとき画像処理回路３０６は、たとえば水平方向に境界線を設定して各フレーム画像を２つ以上に分割し、部分領域を設定する。
　部分領域の設定の一例を具体的に説明する。画像処理回路３０６は反射パターンに対応した高反射領域のエッジを含む部分領域を特定する。その部分領域のサイズは、上述したように例えば横６４画素、縦６４画素であり得る。例えば画像処理回路３０６は、コーナ検出の結果から反射パターンのエッジ情報を得ることができる。そして、画像処理回路３０６は、反射パターンのエッジを含む領域を部分領域として指定する。換言すると、画像処理回路３０６は、そのエッジを跨ぐように部分領域を設定する。ここで言うエッジとは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジを指す。
　画像処理回路３０６は部分領域を特定した後、部分領域の平均輝度値をフレーム画像毎に算出する。換言すると、画像処理回路３０６は、フレーム画像毎の輝度値に基づいて呼吸波形を生成する。画像処理回路３０６は、算出したフレーム画像毎の平均輝度値（呼吸波形）を利用して被験者の呼吸数をカウントすればよい。
　〔カメラ１０の変形例〕
　図１５は、可視光領域の波長を遮る光学フィルタ１１を装着したカメラ１０を示す。この光学フィルタ１１は、一般に赤外フィルタとも呼ばれる。
　カメラ１０は光学フィルタ１１をさらに備えていてもよい。光学フィルタ１１は、光源２０から放射され、再帰性反射マーカ４０において反射された赤外光は透過するが、可視光は遮断する。光学フィルタ１１を設けることにより、赤外光以外の光、より具体的には可視光、がカメラ１０に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるため、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を低減できる。
　本願発明者は、可視光領域の波長を遮る光学フィルタ１１を設けることは非常に有用であると考えている。その理由は、実際の撮影時には、完全な暗室環境を実現することが困難な場合が多いからである。たとえば病院で生体活動計測システム１００を動作させる場合には、夜間であったとしても常夜灯、避難誘導灯などが院内に点灯する。そのような撮影環境では光学フィルタ１１によって可視光を遮断することが好適である。
　さらに、図１５に示す光学フィルタ１１として、可視光のみならず不要な赤外光をも遮断する光学フィルタを設けてもよい。換言すれば、光学フィルタ１１として、光源２０が放射する赤外光を通過させるバンドパスフィルタを設けてもよい。
　まず、光源２０として急峻な波長特性を有するＬＥＤ光源を採用する。波長は、たとえば８５０ｎｍまたは９４０ｎｍ、およびそれらの近傍である。「急峻な波長特性」とは、ここでは放射される赤外光の波長の変動が小さいことを意味する。
　光源２０に対応させて、光学フィルタ１１として、光源２０から放射される赤外光を通過させるバンドパス特性を有する光学フィルタをカメラ１０に設ける。たとえば、光源２０から放射される赤外光の波長が８５０ｎｍの場合には、８５０ｎｍの波長の赤外光を透過させる光学フィルタ１１を設ける。
　光源２０の波長と、光学フィルタ１１の通過帯域とを一致させることにより、カメラ１０は、光源２０から放射される赤外光の波長と同じ波長の光のみに感度を持つことになる。可視光のみならず、不要な赤外光をも遮断できるため、撮影された動画像は外乱光の影響を受けない。なお、再帰性反射マーカ４０を利用しているため、光源２０から放射され、再帰性反射材４０で反射された赤外光の光量は大きい。よって、反射光の捉え易さは先に説明した態様と同じである。
　本願発明者は、光学フィルタ１１を有したカメラ１０と、白色光源および赤外線光源と、を用いて、再帰性反射材の反射性能を計測した。再帰性反射材の反射性能（単位：ｃｄ／ｌｘ／ｍ2）の計測結果を下記の表１に示す。
Figure JPOXMLDOC01-appb-T000001
　再帰性反射材に入射する光の入射角度が大きくなると、再帰性反射材の反射性能が低下することが分かる。入射角度が５°から３０°に変わると、反射性能は半分以下になることが分かる。反射性能の低下は、撮影時の輝度の低下に繋がる。本実施の形態による再帰性反射マーカ４０を用いることにより、撮影時の輝度の低下を抑止することができる。
　（実施の形態２）
　図１６は、実施の形態１によるカバー４４を含む再帰性反射マーカ４０を用いた場合のフレーム画像中の反射パターン領域の輝度分布を模式的に示している。
　実施の形態１では、再帰性反射材４２の傾斜角度は全て等しい。その場合、カメラ１０の設置位置が非常に低いと、図１６に示すように、再帰性反射マーカ４０に入射する光の入射角度は全体的に大きく、再帰性反射材４２（つまり、反射パターン）の領域のうち、カメラ１０からより離れた領域では、入射角度は一層大きくなることが想定される。実施の形態１による再帰性反射マーカ４０は、反射パターンの高輝度領域において均一な輝度を確保するという点で、使用される計測システムによっては若干不十分であるかもしれない。
　本実施の形態による再帰性反射材４２においては、カメラ１０から遠ざかるにつれて段階的にまたは徐々に傾斜角度が大きくなるように複数の再帰性反射材４２を配置するように工夫している。以下、本実施の形態による再帰性反射マーカ４０Ａの構造を中心に説明する。
　図１７は、本実施の形態による再帰性反射マーカ４０Ａの斜視図である。再帰性反射マーカ４０Ａは、ベース４１と、複数の再帰性反射材４２とを有する。実施の形態１と同様に、再帰性反射マーカ４０Ａは、開口を含むカバー４３をさらに有していても構わない。再帰性反射マーカ４０Ａにおいては、複数の再帰性反射材４２の各々の傾斜角度は、光源２０に近い側から遠ざかるにつれて徐々にまたは段階的に大きくなる。具体的に説明すると、再帰性反射マーカ４０Ａは、実施の形態１と同様に、Ｚ方向から見たとき、鋸歯状の構造を有している。再帰性反射材４２（つまり、鋸歯）の高さｈは全て等しく、かつ、図１７に示すように、光源に最も近い再帰性反射材４２を支持するベース４１のＹ方向における長さをｄとし、残りの再帰性反射材４２を支持するベース４１のＹ方向における長さをそれぞれｃ、ｂおよびａとすると、ａ＜ｂ＜ｃ＜ｄが満足される。この幾何学的関係により、光源２０に最も近い再帰性反射材４２の傾斜角度が最も小さくなり、光源２０から最も離れた再帰性反射材４２の傾斜角度は最も大きくなる。長さａ、ｂ、ｃおよびｄは、この順番で段階的または徐々に短くなるように設定され得る。換言すると、鋸歯のピッチは、光源２０に近い側から遠ざかるにつれて段階的または徐々に小さくなる。具体的に説明すると、長さａ、ｂ、ｃおよびｄの比が、それぞれの再帰性反射材４２に入射する光の入射角度が略一致するように決定される。
　図１８を参照して、２つの再帰性反射材４２を含む再帰性反射マーカ４０を例に、再帰性反射材４２のＹ方向における長さの比を具体的に説明する。
　図１８は、カメラ１０（または光源２０）と２つの再帰性反射材４２との位置関係を模式的に示す。図中の点ＯをＸＹＺ座標系の原点とする。カメラ１０の位置を示す点ＣはＸ軸上に位置し、傾斜した再帰性反射材４２の一端はＹ軸上に位置している。Ｌは、再帰性反射マーカ４０のＹ軸方向の長さであり、ｈは再帰性反射材４２のＸ軸方向の長さ、つまり、再帰性反射マーカ４０の高さである。ｘは、Ｘ軸上において再帰性反射マーカ４０の高さｈの半分の位置（ｈ／２）から点Ｃまでの距離であり、点Ｃの座標は、（ｈ／２＋ｘ、０）である。ｙは、Ｙ軸において原点Ｏから再帰性反射マーカ４０の中心点までの距離である。その中心点は、再帰性反射マーカ４０のカメラ１０側の端から長さがＬ／２となる点に相当する。その中心点の座標は、（ｈ／２、ｙ）で表すことができる。
　βは、カメラ１０側の再帰性反射材４２のＹ軸方向の長さｂと長さＬ／２との差を指している。従って、長さｂは、Ｌ／２＋βで表すことができ、カメラ１０とは反対側の再帰性反射材４２のＹ軸方向の長さａは、Ｌ／２－βで表すことができる。点Ｐは、カメラ側の再帰性反射材４２の中心点を指し、その座標は、（ｈ／２、ｙ－Ｌ／４）で表すことができる。点Ｑは、カメラ１０とは反対側の再帰性反射材４２の中心点を指し、その座標は、（ｈ／２、ｙ＋Ｌ／４）で表すことができる。
　ここで、ｙ＞＞ｘ、かつ、Ｌ＞＞ｈであると仮定し、点Ｐおよび点Ｑへの入射角度が等しくなるβを求める。ここで、上述した「再帰性反射材４２に入射する光の入射角度が略一致する」とは、具体的には「再帰性反射材４２の中心点に入射する光の入射角度が、複数の再帰性反射材４２の間で略一致する」ことを意味する。∠ＱＣＰは式（１）で求めることができる。
　　∠ＱＣＰ＝ｔａｎ-1（ｙ／（ｘ－Ｌ／４））－ｔａｎ-1（ｙ／（ｘ＋Ｌ／４））　　式（１）
　∠ＱＣＰは、カメラ１０側の再帰性反射材４２と、カメラ１０とは反対側の再帰性反射材４２との角度差にも相当するので、∠ＱＣＰは、式（２）によっても表すことができる。
　　∠ＱＣＰ＝ｔａｎ-1（ｈ／（Ｌ／２－β））＋ｔａｎ-1（ｈ／（Ｌ／２＋β））　　式（２）
　ａｔａｎ（θ）は、θが小さいとき、ａｔａｎ（θ）≒θと近似することがでるので、式（１）および（２）から、式（３）が得られる。
　　ｙ／（ｘ－Ｌ／４）－ｙ／（ｘ＋Ｌ／４）＝ｈ／（Ｌ／２－β）＋ｈ／（Ｌ／２＋β）　　式（３）
　式（３）をさらに変形すると、式（４）が得られる。
　　ｙＬ／（ｘ2－Ｌ2／１６）＝４βｈ／（Ｌ2／４－β2）　　式（４）
　ｘ2＞＞Ｌ2／１６、かつ、Ｌ2／４＞＞β2が成立するので、式（４）は、式（５）に近似されて、最終的に、式（６）が導出される。
　　ｙＬ／ｘ2＝４βｈ／（Ｌ2／４）　　式（５）
　　β＝ｙＬ3／１６ｘ2　　式（６）
　上記では２つの再帰性反射材４２が含まれる例を示したが、βはｎ個の再帰性反射材４２が含まれる場合にも拡張することができて、隣接する２つの再帰性反射材４２のＹ方向の長さの差βnは式（７）によって一般化される。再帰性反射材４２のＹ方向における長さの比をβnを用いて決定することができる。
　　βn＝ｙＬ3／（２ｎ3ｘ2）　　式（７）
　本実施の形態による再帰性反射マーカ４０Ａを用いることにより、光源２０から離れて位置した再帰性反射材４２に入射する光の入射角度を小さくすることが可能となり、反射パターン領域の全体において輝度を確保することができる。
　（実施の形態３）
　図１９は、実施の形態２によるカバー４４を含む再帰性反射マーカ４０Ａを用いた場合のフレーム画像中の反射パターン領域の輝度分布を模式的に示している。
　実施の形態２では、再帰性反射材４２の傾斜角度をカメラ１０から遠ざかるにつれて大きくなるように設定することで、反射パターン領域の全体において輝度を確保している。ただし、傾斜角度は、隣接した２つの再帰性反射材４２の間の境界、つまり、段差の位置で変わるので、図示するように、反射パターン領域の一部、つまり、各境界近傍において輝度差が生じ得る。
　本実施の形態においてはこれを考慮して、再帰性反射材の形状を工夫している。具体的に説明すると、本実施の形態による再帰性反射材は曲面形状の反射面を有している。曲面によって、段差近傍で発生し得る輝度差を抑制することができる。以下、本実施の形態による再帰性反射マーカ４０Ｂの構造を中心に説明する。
　図２０は、本実施の形態による再帰性反射マーカ４０Ｂの斜視図である。図２１は、隣接した２つの再帰性反射材４２の間の境界近傍に入射した光線の様子を模式的に示す。
　再帰性反射マーカ４０Ｂは、ベース４１と、複数の再帰性反射材４２とを有する。複数の再帰性反射材４２は、曲面形状の複数の反射面４２Ｓを有している。換言すると、各々が曲面形状の反射面４２Ｓを有している。曲面の形状は、隣接する２つの再帰性反射材の曲面上の任意の点における法線に対する光の入射角度が全て等しくなる放物線によって規定される凹面鏡の形状に等しくなる。実施の形態１と同様に、再帰性反射マーカ４０Ｂは、開口を含むカバー４３をさらに有していても構わない。
　図２０のＺ方向から見た再帰性反射マーカ４０Ｂの側面は、複数の反射面４２Ｓに対応した複数の鋸歯を含む鋸歯状の構造を含んでいる。ＸＹ平面に平行な面で切断した再帰性反射マーカ４０の断面はいずれも、側面の形状と同一の鋸歯状の構造を含む。
　このような構成によると、図２１に示すように、隣接した２つの再帰性反射材４２の間の境界近傍において、一方の再帰性反射材４２に入射する光の入射角度α1と、他方の再帰性反射材４２に入射する光の入射角度α2との差を小さくすることができる。その結果、隣接する２つの再帰性反射材４２における反射光の反射角度を略等しくすることができるので、反射マーカ領域の各境界近傍において輝度差を小さくすることができる。
　図２２を参照して、再帰性反射材４２の曲面形状を具体的に説明する。
　図２２は、凹面鏡、凹面鏡の焦点、物点および像点を模式的に示す。ＸＹ平面における反射面４２Ｓの断面形状は、図２２に示す凹面鏡の形状に一致する。点Ｃ（カメラ位置）は物点を示し、点Ｃ’は点Ｃから出た光線が集光されて実像が形成される点（像点）を示し、Ｆは凹面鏡の焦点を示し、ｆは凹面鏡の焦点距離を示している。点Ｒは、再帰性反射材４２のカメラ側の端に対応した凹面鏡上の点に相当し、点Ｓは、再帰性反射材４２のカメラ側と反対側の端に対応した凹面鏡上の点に相当する。また、点Ｔは、線分ＳＲの垂直二等分線と線分ＣＣ’との交点を示している。
　上述した凹面鏡においては、点Ｃからの光線は、凹面鏡によって点Ｃ’に集光される。焦点Ｆは線分ＳＲの垂直二等分線上に位置し、かつ、線分ＳＲの垂直二等分線と線分ＣＣ’とは点Ｔで直交し、かつ、点Ｔが線分ＣＣ’の中点に一致し、かつ、線分ＳＲと線分ＣＣ’との距離が、焦点距離ｆの２倍（２ｆ）に等しくなる。換言すると、線分ＳＲの中点と点Ｔとを結ぶ線分の長さは、２ｆである。
　本実施の形態による再帰性反射材４２の曲面形状は、点Ｔが線分ＣＣ’の中点に一致する放物線によって決定される。この条件下では、点Ｃからの光線の入射角度は凹面鏡上で一定となる。そのため、複数の反射面４２Ｓの任意の点における法線に対する光の入射角度を全て等しくすることができる。
　実施の形態１から３では、再帰性反射マーカを利用した計測システムを主に説明した。ただし、本発明による他の実施の形態は、支持面に対して傾斜した複数の反射材から構成された反射マーカを利用した計測システムであり得る。反射材の傾斜角度が十分に大きい場合、例えば９０°に近い角度であるような場合、反射材に入射する光の入射角度を十分に小さくすることが可能となる。その場合、再帰性反射材を用いなくても、被験者からの十分な反射光量を確保できる。このように、図１８に示す、反射材の傾斜角度およびカメラと反射マーカとの位置関係によっては、単純な反射マーカを利用することも可能である。
　本明細書は、以下の項目に記載の被験体の呼吸に起因する生体活動の計測システムを開示している。
　〔項目１〕
　光を放射する光源と、
　前記光を受けて動画像を生成する撮像装置と、
　前記動画像を利用して被験体の生体活動を計測する画像処理回路と
　を備える計測システムであって、
　前記被験体の呼吸に伴う体動の発生位置に反射マーカが配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
　前記撮像装置は、前記反射マーカで反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
　前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測し、
　前記反射マーカは、支持面を有するベースと、各々が前記支持面に対して傾斜し、前記支持面で支持された複数の反射材と、を有する、計測システム。
　項目１に記載の計測システムによると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動の計測システムが提供される。
　〔項目２〕
　前記反射マーカは再帰性反射マーカであり、前記複数の反射材は複数の再帰性反射材である、項目１に記載の計測システム。
　項目２に記載の計測システムによると、光源と再帰性反射マーカとを組み合わせて使用するため、周囲が暗い場合でも明るい場合でも、かつ被験体と撮像装置との距離を十分離したとしても、呼吸等の生体活動に起因する体動を、複数のフレーム画像の変化から捉えることができる。特に、傾斜した複数の再帰性反射材を含む再帰性反射マーカを用いることにより、複数のフレーム画像中の再帰性反射マーカの領域において輝度を維持することができる。
　〔項目３〕
　前記反射マーカが前記被験体の呼吸に伴う体動の発生位置に配置されたときにおいて、
　前記複数の反射材の各々の傾斜角度は前記光源に近い側から遠ざかるにつれて大きくなる、項目１または２に記載の計測システム。
　項目３に記載の計測システムによると、光源から離れて位置した反射材に入射する光の入射角度を小さくすることが可能となり、反射パターン領域の全体において輝度を確保することができる。
　〔項目４〕
　前記反射マーカの側面は、前記複数の反射材に対応した複数の鋸歯を含む鋸歯状の構造を含み、前記複数の鋸歯の各々の高さは等しく、
　前記反射マーカが前記被験体の呼吸に伴う体動の発生位置に配置されたときにおいて、鋸歯のピッチは、前記光源に近い側から遠ざかるにつれて小さくなる、項目３に記載の計測システム。
　項目４に記載の計測システムによると、光源に最も近い反射材の傾斜角度を最も小さくし、光源から最も離れた反射材の傾斜角度を最も大きくすることができる。
　〔項目５〕
　前記複数の反射材の各々は、曲面形状の反射面を有している、項目４に記載の計測システム。
　項目５に記載の計測システムによると、隣接する２つの反射材の段差近傍で発生し得る輝度差を抑制することができる。
　〔項目６〕
　前記曲面形状は、隣接する２つの反射材の曲面上の任意の点における法線に対する前記光の入射角度が全て等しくなる放物線によって規定される凹面鏡の形状に等しく、
　前記複数の反射材の配列方向に平行な第１の方向に直交し、各反射材が延伸する第２の方向および前記第１の方向の両方に直交する第３の方向と、前記第１の方向と、にそれぞれ平行な面で切断した、前記各反射材の曲面の断面において、前記各反射材の前記撮像装置側の第１の端に位置する曲面上の点を点Ｒとし、前記各反射材の前記撮像装置とは反対側の第２の端に位置する曲面上の点を点Ｓとし、前記凹面鏡の焦点距離をｆとし、物点を点Ｃとし、像点を点Ｃ’とすると、線分ＲＳの垂直二等分線は、線分ＣＣ’の中点で前記線分ＣＣ’と直交し、かつ、前記凹面鏡の焦点は前記線分ＲＳの垂直二等分線上に位置し、かつ、前記線分ＲＳと前記線分ＣＣ’との距離が２ｆの長さである、項目５に記載の計測システム。
　項目６に記載の計測システムによると、隣接する２つの反射材の段差近傍で発生し得る輝度差を抑制することができる。
　〔項目７〕
　前記反射マーカは、所定のマーカ形状を有した開口を含むカバーをさらに有し、
　平面視において、前記複数の反射材の形状は、前記所定のマーカ形状に一致する、項目１から６のいずれかに記載の計測システム。
　項目７に記載の計測システムによると、画像中のマーカ形状を的確に捉えることができる。
　〔項目８〕
　前記所定のマーカ形状は、三角形、ひし形または矩形である、項目７に記載の計測システム。
　項目８に記載の計測システムによると、マーカ形状のバリエーションが提供される。
　〔項目９〕
　前記画像処理回路は、各フレーム画像を複数の部分領域に分割し、前記複数の部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する、項目１から８のいずれかに記載の計測システム。
　項目９に記載の計測システムによると、処理単位として部分領域を利用することで演算処理の効率化が図れる。
　〔項目１０〕
　前記光源は、赤外光線を放射する赤外線光源であり、
　前記撮像装置は、可視光領域の波長を遮る光学フィルタを含む、項目１から９のいずれかに記載の計測システム。
　項目１０に記載の計測システムによると、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を低減できる。
　本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する計測システムとして利用することができる。
　１　被験者
　１０　カメラ
　２０　光源
　３０　情報処理装置
　３２　ディスプレイ
　４０、４０Ａ、４０Ｂ　再帰性反射マーカ
　４１　ベース
　４２　再帰性反射材
　４２Ｓ　曲面
　４３　カバー
　４４　開口
　１００　計測システム
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　ＨＤＤ
　３０５　Ｉ／Ｆ
　３０６　画像処理回路
 

Claims (8)

  1. 　光を放射する光源と、
    　前記光を受けて動画像を生成する撮像装置と、
    　前記動画像を利用して被験体の生体活動を計測する画像処理回路と
    　を備える計測システムであって、
    　前記被験体の呼吸に伴う体動の発生位置に反射マーカが配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
    　前記撮像装置は、前記反射マーカで反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
    　前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測し、
    　前記反射マーカは、支持面を有するベースと、各々が前記支持面に対して傾斜し、前記支持面で支持された複数の反射材と、を有する、計測システム。
  2. 　前記反射マーカは再帰性反射マーカであり、前記複数の反射材は複数の再帰性反射材である、請求項１に記載の計測システム。
  3. 　前記反射マーカが前記被験体の呼吸に伴う体動の発生位置に配置されたときにおいて、
    　前記複数の反射材の各々の傾斜角度は前記光源に近い側から遠ざかるにつれて大きくなる、請求項１または２に記載の計測システム。
  4. 　前記反射マーカの側面は、前記複数の反射材に対応した複数の鋸歯を含む鋸歯状の構造を含み、前記複数の鋸歯の各々の高さは等しく、
    　前記反射マーカが前記被験体の呼吸に伴う体動の発生位置に配置されたときにおいて、鋸歯のピッチは、前記光源に近い側から遠ざかるにつれて小さくなる、請求項３に記載の計測システム。
  5. 　前記複数の反射材の各々は、曲面形状の反射面を有している、請求項４に記載の計測システム。
  6. 　前記曲面形状は、隣接する２つの反射材の曲面上の任意の点における法線に対する前記光の入射角度が全て等しくなる放物線によって規定される凹面鏡の形状に等しく、
    　前記複数の反射材の配列方向に平行な第１の方向に直交し、各反射材が延伸する第２の方向および前記第１の方向の両方に直交する第３の方向と、前記第１の方向と、にそれぞれ平行な面で切断した、前記各反射材の曲面の断面において、前記各反射材の前記撮像装置側の第１の端に位置する曲面上の点を点Ｒとし、前記各反射材の前記撮像装置とは反対側の第２の端に位置する曲面上の点を点Ｓとし、前記凹面鏡の焦点距離をｆとし、物点を点Ｃとし、像点を点Ｃ’とすると、線分ＲＳの垂直二等分線は、線分ＣＣ’の中点で前記線分ＣＣ’と直交し、かつ、前記凹面鏡の焦点は前記線分ＲＳの垂直二等分線上に位置し、かつ、前記線分ＲＳと前記線分ＣＣ’との距離が２ｆの長さである、請求項５に記載の計測システム。
  7. 　前記反射マーカは、所定のマーカ形状を有した開口を含むカバーをさらに有し、
    　平面視において、前記複数の反射材の形状は、前記所定のマーカ形状に一致する、請求項１から６のいずれかに記載の計測システム。
  8. 　前記光源は、赤外光線を放射する赤外線光源であり、
    　前記撮像装置は、可視光領域の波長を遮る光学フィルタを含む、請求項１から７のいずれかに記載の計測システム。
     
PCT/JP2016/086880 2016-01-07 2016-12-12 被験体の呼吸に起因する生体活動の計測システム WO2017119238A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016002073A JP2017121383A (ja) 2016-01-07 2016-01-07 被験体の呼吸に起因する生体活動の計測システム
JP2016-002073 2016-01-07

Publications (1)

Publication Number Publication Date
WO2017119238A1 true WO2017119238A1 (ja) 2017-07-13

Family

ID=59273565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086880 WO2017119238A1 (ja) 2016-01-07 2016-12-12 被験体の呼吸に起因する生体活動の計測システム

Country Status (2)

Country Link
JP (1) JP2017121383A (ja)
WO (1) WO2017119238A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01250272A (ja) * 1988-03-31 1989-10-05 Nec Corp 放射線治療装置
JPH10111660A (ja) * 1996-10-01 1998-04-28 Minnesota Mining & Mfg Co <3M> 再帰性反射シートおよびその製造方法
JPH11225997A (ja) * 1997-11-21 1999-08-24 Toshiba Eng Co Ltd 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム
JP2001075175A (ja) * 1999-09-02 2001-03-23 Hitachi Ltd 投写型表示装置
JP2002091331A (ja) * 2000-07-11 2002-03-27 Yuka Denshi Co Ltd 光反射シート及び表示画像投影用スクリーン
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置
JP2012120648A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置
JP2013154670A (ja) * 2012-01-27 2013-08-15 Toyoda Gosei Co Ltd 装飾部材
US20150160345A1 (en) * 2012-06-30 2015-06-11 Solarreserve, Llc Position-Encoded Optical Proxy for Sensing and Pointing of Light Sources
JP2015523132A (ja) * 2012-06-12 2015-08-13 コーニンクレッカ フィリップス エヌ ヴェ カメラによる生命徴候測定システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575979B2 (ja) * 1998-03-27 2004-10-13 株式会社東芝 被介護者観測装置及びその方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01250272A (ja) * 1988-03-31 1989-10-05 Nec Corp 放射線治療装置
JPH10111660A (ja) * 1996-10-01 1998-04-28 Minnesota Mining & Mfg Co <3M> 再帰性反射シートおよびその製造方法
JPH11225997A (ja) * 1997-11-21 1999-08-24 Toshiba Eng Co Ltd 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム
JP2001075175A (ja) * 1999-09-02 2001-03-23 Hitachi Ltd 投写型表示装置
JP2002091331A (ja) * 2000-07-11 2002-03-27 Yuka Denshi Co Ltd 光反射シート及び表示画像投影用スクリーン
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置
JP2012120648A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置
JP2013154670A (ja) * 2012-01-27 2013-08-15 Toyoda Gosei Co Ltd 装飾部材
JP2015523132A (ja) * 2012-06-12 2015-08-13 コーニンクレッカ フィリップス エヌ ヴェ カメラによる生命徴候測定システム
US20150160345A1 (en) * 2012-06-30 2015-06-11 Solarreserve, Llc Position-Encoded Optical Proxy for Sensing and Pointing of Light Sources

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ORIMOTO, ASAE ET AL.: "Monitoring and analysis of body surface motion caused by respiration", IEICE TECHNICAL REPORT, vol. 108, no. 385, 12 January 2009 (2009-01-12), pages 523 - 526 *

Also Published As

Publication number Publication date
JP2017121383A (ja) 2017-07-13

Similar Documents

Publication Publication Date Title
US11850025B2 (en) Handheld skin measuring or monitoring device
US10335029B2 (en) Opthalmoscope device
JP6847124B2 (ja) ミラーコンポーネント用の適応照明システム、及び適応照明システムを制御する方法
US20220404645A1 (en) Computer-implemented method for determining centration parameters
JP2007010346A (ja) 撮像装置
WO2009152715A1 (zh) 触摸检测传感装置
CN113273176B (zh) 使用基于图像的对象跟踪的自动化电影制作
TW201511732A (zh) 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法
JP3939224B2 (ja) 領域監視装置
JP5601179B2 (ja) 視線検出装置及び視線検出方法
JP2016214937A (ja) 計測システムおよびコンピュータプログラム
JP5818233B2 (ja) 視線計測装置および方法
JP2005160876A (ja) 状態解析装置及び状態解析方法
WO2017119238A1 (ja) 被験体の呼吸に起因する生体活動の計測システム
JP2017055949A (ja) 計測装置、計測システム、計測方法およびコンピュータプログラム
JP6280650B2 (ja) 被験体の呼吸に起因する生体活動の計測方法および計測システム
JP2005266868A (ja) 瞳孔と鼻孔を用いた頭部の方向を検出する方法
US10834378B2 (en) Three-dimensional information detection device
WO2018038087A2 (ja) 個室見守り装置
JP6002811B1 (ja) 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
JP4547547B2 (ja) 頭部姿勢推定装置、頭部姿勢推定方法及び頭部姿勢推定処理プログラム
JP6185090B2 (ja) 計測システム
JP4260715B2 (ja) 視線測定方法および視線測定装置
JP5994069B2 (ja) 視線方向推定システムおよび視線方向の推定方法
JP2006034377A (ja) 呼吸計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883738

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16883738

Country of ref document: EP

Kind code of ref document: A1