WO2016186172A1 - 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム - Google Patents

計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2016186172A1
WO2016186172A1 PCT/JP2016/064898 JP2016064898W WO2016186172A1 WO 2016186172 A1 WO2016186172 A1 WO 2016186172A1 JP 2016064898 W JP2016064898 W JP 2016064898W WO 2016186172 A1 WO2016186172 A1 WO 2016186172A1
Authority
WO
WIPO (PCT)
Prior art keywords
reflection
subject
pattern
image
region
Prior art date
Application number
PCT/JP2016/064898
Other languages
English (en)
French (fr)
Inventor
淳史 堀
貴行 山内
池田　豊
綾 福澤
司 谷口
智之 市座
三木　成一郎
蔭地　謙作
ハンダヤ マルヴィン
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2016186172A1 publication Critical patent/WO2016186172A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing

Definitions

  • Patent Documents 1 and 2 A technique is known in which a subject is photographed with a camera, a change in luminance value due to a biological reaction such as body movement or blood flow is detected from the moving image, and a biological activity such as a subject's respiratory rate or heart rate is measured (for example, Patent Documents 1 and 2).
  • the image area in which the subject is shown is specified by an observer in advance or by using a contour extraction technique.
  • an appropriate threshold necessary for determining non-respiratory body movement varies greatly depending on the imaging environment.
  • the threshold value to be set can vary greatly depending on changes in the brightness of the observation location, the position of the indoor light source, the presence or absence of incident light from the outside, and the movement of people or objects other than the subject. Since there is no method for always obtaining an appropriate threshold value, an area for obtaining biological information such as respiration cannot be calculated if the threshold value is inappropriate.
  • the heart rate measuring device of Patent Document 2 needs to capture the subject's face within the imaging range. Similar to Patent Document 1, when the shooting environment changes such as a change in illuminance, movement of a person, incidence of external light, etc., the luminance value of the image area in which the subject is photographed changes greatly due to a cause other than biological activity. When such disturbance noise occurs, the body movement location due to the biological reaction cannot be specified, and the biological information may not be extracted accurately.
  • the subject's face is separated from the camera, the accuracy of acquiring the subject's biological information is reduced, so the subject's face must be imaged from a relatively short distance. As a result, a feeling of pressure is given to the subject, and there is a concern about the influence on the biological activity to be measured.
  • the conventional respiratory monitoring device and heart rate measuring device can never be said to be robust against changes in the shooting environment.
  • a biological activity measuring device in order to accurately extract biological information, it is required to correctly identify a body movement location caused by a biological reaction.
  • the present invention has been made to solve the above-described problems, and is a robust measurement system for life activity caused by respiration (hereinafter simply referred to as “measurement”). System ").
  • a measurement system includes a light source that emits light, an imaging device that receives the light and generates a moving image, and an image processing circuit that measures a biological activity of a subject using the moving image.
  • a retroreflecting material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region at a position where a body movement accompanying breathing of the subject occurs.
  • the image processing circuit receives the moving image from the imaging device and uses the corner detection method and the edge detection method to generate the plurality of frame images.
  • a coordinate position of the reflection pattern in at least one frame image is specified, a partial area is designated in each frame image based on the coordinate position of the reflection pattern, and the luminance of the partial area over the plurality of frame images Based on the change in value, the biological activity resulting from the breathing of the subject is measured.
  • the image processing circuit extracts a plurality of corners from the at least one frame image using the corner detection method, and is the same as the high reflection region obtained from an arbitrary combination of the plurality of corners.
  • a plurality of candidate patterns that are candidates for the reflection pattern are extracted from among a plurality of patterns having the shape of at least one of the brightness value of the inner area of each candidate pattern and the brightness value of the outer area surrounding the inner area
  • a feature amount is calculated based on a luminance value, and the reflection pattern is specified from the plurality of candidate patterns based on the feature amount.
  • the image processing circuit extracts a plurality of edges from the at least one frame image using the edge detection method, and performs line detection by performing Hough transform on the image including the information on the plurality of edges.
  • a plurality of candidate patterns that are candidates for the reflection pattern are extracted from a plurality of patterns having the same shape as the high reflection region, obtained from any combination of the detected plurality of straight lines, and each candidate pattern is extracted.
  • a feature amount is calculated based on at least one luminance value of a luminance value of the inner region and a luminance value of the outer region surrounding the inner region, and the reflection pattern is selected from the plurality of candidate patterns based on the feature amount. Identify.
  • the retroreflective material functions as a reflective marker.
  • the retroreflective material may be referred to as a reflective marker in this specification.
  • FIG. 10 is a diagram showing candidates for triangles obtained by selecting three from a plurality of corners shown in FIG. 9.
  • FIG. 11 is an enlarged view of one candidate of the reflection pattern shown in FIGS. 9 and 10.
  • 10 is a flowchart illustrating a processing procedure of an image processing circuit 306 according to the second embodiment. It is a figure which shows an example of the result of having performed straight line detection by Hough transform. It is an image in which a straight line related to the reflection pattern is detected. It is the other image from which the straight line relevant to a reflection pattern was detected. It is a figure which shows an example of the reflective pattern of the retroreflection material 40 by 3rd Embodiment. 10 is a flowchart illustrating a processing procedure of an image processing circuit according to a third embodiment. It is a figure which shows the inner side area
  • the image processing circuit receives a moving image from the imaging device, specifies the coordinate position of the reflection pattern in at least one of the plurality of frame images using at least one of the corner detection method and the edge detection method, and A partial area is designated in each frame image based on the coordinate position, and a biological activity resulting from the breathing of the subject is measured over a plurality of frame images based on a change in luminance value of the partial area.
  • This measurement system can improve the robustness against the influence of the surrounding environment. Further, by using a specific image processing algorithm such as a corner detection method and an edge detection method, it is possible to reduce the amount of calculation for specifying the coordinate position of the reflection pattern in the image.
  • the respiratory rate is an example of a biological activity resulting from the subject's breathing
  • other biological activities resulting from the subject's breathing may be measured.
  • the measurement system measures the breathing motion of the subject, and derives a waveform resulting from breathing (a waveform corresponding to the breathing waveform, referred to as a “respiration rate trend” in this specification) from body motion due to breathing.
  • a waveform resulting from breathing a waveform corresponding to the breathing waveform, referred to as a “respiration rate trend” in this specification
  • other biological activities that can be evaluated using the waveform, for example, biological activities such as breathing depth, turbulence, apnea periods, frequency of occurrence of apnea periods, This is the category of the biological activity to be measured.
  • the measurement system can display the respiration rate and the respiration rate trend on the display.
  • the measurement system 100 is used for observing the biological activity of the subject 1.
  • the biological activity is the respiration of the subject 1, and the measurement system 100 measures the respiration rate within a predetermined time.
  • the subject 1 is described as being a person, it may be an animal other than a person. Animals (including people) as observation targets may be collectively referred to as “subjects”.
  • the camera 10 is a so-called imaging device having an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) sensor and an optical system, and shoots the subject 1 to generate a moving image.
  • the camera 10 sends moving image data to the information processing apparatus 30 by wire or wirelessly.
  • CMOS Complementary Metal Oxide Semiconductor
  • the light source 20 is a light source that emits light 20a.
  • the light may be visible light or invisible light (for example, infrared light).
  • infrared light will be described as an example.
  • the light 20a is described as “infrared light 20a”.
  • the camera 10 may be equipped with an optical filter (not shown) that blocks the wavelength in the visible light region.
  • the optical filter is also called an infrared filter, for example.
  • the optical filter transmits infrared light emitted from the light source 20 and reflected by the retroreflecting material 40, but blocks visible light.
  • By providing an optical filter it is possible to prevent light other than infrared light, more specifically, visible light, from entering the camera 10, thereby reducing the influence on the change in the luminance value of the captured moving image. . Since the fluctuation of the luminance value of each frame image due to visible light can be suppressed, it is possible to effectively reduce the generation of disturbance noise that is caused only by visible light and is not caused by a biological reaction.
  • the information processing apparatus 30 receives the moving image from the camera 10 and specifies the coordinate position of the reflection pattern in the frame image using a specific image processing algorithm, for example, a corner detection method. Further, the information processing apparatus 30 measures the respiratory rate of the subject 1 based on a change in the luminance value of a predetermined region over a plurality of frame images. Details of the operation of the information processing apparatus 30 will be described later.
  • the disturbance light 21a incident on the retroreflecting material 40 is reflected in the incident direction as reflected light 21b. Since the reflected light 21b does not substantially enter the camera 10, the moving image captured by the camera 10 is not easily affected by disturbance light.
  • FIG. 2 shows an example of the hardware configuration of the information processing apparatus 30 of the measurement system 100.
  • the information processing apparatus 30 is connected to the camera 10 and the display 32.
  • the information processing apparatus 30 receives captured moving image data from the camera 10.
  • the display 32 displays the measurement result of the number of breaths, which is the life activity of the subject 1, and the trend of the breathing rate, which are the results of the processing. If it is determined that the shooting direction of the camera 10 is not appropriate based on the measurement result, the information processing apparatus 30 may display a warning on the display 32.
  • the information processing apparatus 30 includes a CPU 301, a ROM 302, a RAM 303, a hard disk drive (HDD) 304, an interface (I / F) 305, and an image processing circuit 306.
  • the CPU 301 controls the operation of the information processing apparatus 30.
  • the ROM 302 stores a computer program.
  • the computer program is a group of instructions for causing the CPU 301 or the image processing circuit 306 to perform processing shown by a flowchart described later, for example.
  • a RAM 303 is a work memory for developing a computer program when executed by the CPU 301.
  • the HDD 304 is a storage device that stores moving image data received from the camera 10 or measured respiratory rate data of the subject 1.
  • the I / F 305 is an interface for the information processing apparatus 30 to receive moving image data from the camera 10.
  • the I / F 305 may be an Ethernet (registered trademark) terminal, for example.
  • the I / F 305 may be a transmission / reception circuit that performs communication conforming to the Wi-Fi (registered trademark) standard, for example.
  • the I / F 305 may be a wired video input terminal.
  • the image processing circuit 306 is a so-called graphics processor that analyzes moving image data.
  • the image processing circuit 306 receives the moving image from the camera 10 and specifies the coordinate position in the image of the reflection pattern in at least one of the plurality of frame images using the corner detection method.
  • the image processing circuit 306 designates a partial area based on the coordinate position of the reflection pattern from each frame image, detects body movement based on a change in luminance value of the partial area over a plurality of frame images, and The respiratory rate is counted based on the vibration waveform.
  • an area of an image divided by a boundary line is referred to as a “partial area” of the image. Details of the partial area will be described later.
  • the image processing circuit 306 is provided separately from the CPU 301, but this is an example.
  • the CPU 301 may perform processing of an image processing circuit 306 described later.
  • FIG. 3 shows a procedure of measurement processing performed in the measurement system 100. This process is mainly executed by the CPU 301 and / or the image processing circuit 306. In the following description, it is assumed that the execution subject is the image processing circuit 306.
  • Step S1 First, the observer or the subject 1 arranges the retroreflecting material 40 having a predetermined reflection pattern as a reflection marker at the position where the body movement accompanying breathing of the subject 1 occurs.
  • the camera 10 receives the infrared light reflected by the retroreflecting material 40 and captures a moving image of the subject 1.
  • FIG. 4 shows an example of a frame image 102 obtained by photographing the subject 1 wearing the retroreflecting material 40.
  • a high brightness area (white area) 104 in the center of the image is an area where the reflected light from the retroreflecting material 40 is detected.
  • the information processing apparatus 30 recognizes the area as a reflection marker.
  • FIG. 5 shows a frame image 106 obtained by photographing a subject who does not wear the retroreflecting material 40. When the retroreflecting material 40 is not present, it can be said that the luminance change in the captured frame image is very small.
  • 4 and 5 show a plurality of vertical lines and horizontal lines, which are boundary lines virtually provided for image processing. The area of the image demarcated by the boundary line is a “partial area” of the image.
  • the size of the partial area may be about 16 ⁇ 16 pixels, for example.
  • This partial region is a region including a group of pixels that perform calculation of luminance values.
  • FIG. 4 illustrates the partial region P. Note that the boundary lines of the partial areas P are highlighted for convenience of understanding.
  • FIG. 6 shows an example of the reflection pattern of the retroreflecting material 40 that functions as a reflective marker.
  • the retroreflecting material 40 has a reflection pattern including a high reflection region 200 and a low reflection region 201 surrounding the high reflection region 200.
  • the reflectance of the high reflection region 200 is relatively high, and the reflectance of the low reflection region 201 is relatively low.
  • the high reflection area 200 corresponds to the high luminance area 104 shown in FIG.
  • the shape of the high reflection region 200 of the reflection pattern shown in FIG. 6 is a triangle, a rectangle, and a rhombus from the left side.
  • the shape of the highly reflective region 200 may be a polygon.
  • the shape of the entire reflection pattern can be a polygon such as a rectangle.
  • Step S2 Refer to FIG. 3 again.
  • This step S2 can be arbitrarily provided.
  • the image processing circuit 306 can acquire a difference in luminance value between two frame images between a plurality of frame images, and can detect whether there is a body movement from the result.
  • the image processing circuit 306 may not measure the respiration rate in the frame image. This step can be optionally provided.
  • the image processing circuit 306 receives the moving image from the camera 10 and specifies the coordinate position of the reflection pattern in at least one of the plurality of frame images using the corner detection method.
  • the coordinate position of the reflection pattern means, for example, the coordinates of each vertex, center, or center of gravity of the high reflection region 200.
  • the image processing circuit 306 can store in advance in the ROM 302 information indicating that the retroreflecting material 40 having a reflection pattern is used and characteristics of the pattern (that is, a template).
  • the image processing circuit 306 performs pattern matching processing on each frame image using the characteristics of the pattern held in advance in each frame image of the obtained moving image, and the recursiveness.
  • the position of the reflector 40 can be specified.
  • the robustness to the measurement environment is by no means high. Therefore, in the present embodiment, robustness can be improved and the amount of calculation can be reduced by using the corner detection method instead of the pattern matching processing.
  • FIG. 8 shows a more detailed procedure of step S3 in the flowchart of FIG. Since the shape of the reflection pattern is a polygon and the reflection pattern includes the high reflection region 200 and the low reflection region 201, the corner of the reflection pattern can be accurately detected.
  • Step S31 the image processing circuit 306 converts moving image data obtained from the camera 10 based on infrared light into grayscale image data. More specifically, the image processing circuit 306 performs YUV conversion on the RGB signals. By this conversion, a black and white grayscale image is obtained based on the Y signal, and corner detection by the corner detection method described later becomes easy.
  • the image processing circuit 306 detects a corner in at least one of the plurality of frame images as a feature amount by using a corner detection method.
  • a corner detection method the Harris method, the KLT method, the principal curvature method, and the like are known, and these can be widely used in the present invention.
  • the Harris method is a method of obtaining a matrix for each pixel and calculating the cornerness from the matrix. A corner can be extracted as a feature amount based on the cornerness. In the present embodiment, this Harris method is used.
  • FIG. 9 shows a plurality of corners extracted by a corner detection method in an image in which a reflection marker having a reflection pattern including a triangular high reflection region 200 arranged at a body movement location of the subject 1 is reflected.
  • a plurality of extracted corners are circled.
  • 50 corners are extracted by the corner detection method.
  • the image processing circuit 306 extracts a plurality of candidate patterns as reflection pattern candidates from a plurality of patterns having the same shape as that of the high reflection region 200 obtained from an arbitrary combination of a plurality of corners.
  • FIG. 10 shows candidates for triangles obtained by selecting three corners from the plurality of corners shown in FIG.
  • FIG. 11 shows an enlarged view of one candidate of the reflection pattern shown in FIGS. 9 and 10.
  • a triangular inner region formed by the straight lines AA ′, BB ′, and CC ′ that apex the three corners is an inner region of each candidate pattern.
  • a rectangular outer region is provided so as to surround the inner region.
  • the inner area is an area corresponding to the high reflection area 200
  • the outer area is an area corresponding to the low reflection area 201.
  • the shape of the high reflection region 200 of the reflection pattern is a triangle or a diamond
  • the number of combinations of lines connecting two corners can be reduced by devising.
  • the retroreflecting material 40 is arranged at a predetermined angle
  • a plurality of candidate patterns can be extracted based on the angle of each side constituting the triangular area in the frame image and the predetermined arrangement angle. .
  • a reflection marker including a triangular high reflection region 200 is arranged so that one vertex thereof faces the Y direction in the XY-plane coordinates in the image shown in FIG. .
  • the angle of the straight line AA ′ around the origin with respect to the X axis is substantially greater than 0 ° and equal to or less than 70 °.
  • the angle of the straight line BB ′ around the origin with respect to the X axis is substantially greater than 0 ° and equal to or less than 70 °
  • the angle of the straight line CC ′ around the origin with respect to the X axis is It is approximately ⁇ 90 ° or more and ⁇ 70 ° or less, or approximately 70 ° or more and 90 ° or less. In this manner, a triangular pattern in which the angle of each straight line is within these ranges can be specified as a reflection pattern candidate.
  • the combination candidates can be narrowed down.
  • the reflection pattern in the frame image is present in the vicinity of the chest from the face of the subject 1 or in the center of the frame image in advance. Predictable. In that case, the candidate pattern can be selected by narrowing down to the area where the reflection pattern exists.
  • FIG. 12 is a graph plotting the average of the luminance values of the inner and outer regions in each of a plurality of triangular candidate patterns.
  • the horizontal axis represents the average of the luminance values in the inner area
  • the vertical axis represents the average of the luminance values in the outer area.
  • a circled region is a region including a point corresponding to a pattern in which the luminance of the inner region is high and the luminance of the outer region is low. Therefore, the image processing circuit 306 can select a pattern corresponding to a point in the circled region as a plurality of candidate patterns.
  • Step S34 The image processing circuit 306 calculates a feature amount based on at least one luminance value of the inner region and the outer region surrounding the inner region of each candidate pattern of the plurality of candidate patterns. A reflection pattern is specified based on the feature amount. That is, the image processing circuit 306 detects the coordinate position of the reflection pattern in the frame image.
  • FIG. 13 is an enlarged view of each triangular candidate pattern.
  • the outer area of each candidate pattern may include a plurality of divided areas each corresponding to each side of the polygonal inner area.
  • the region corresponding to the high reflection region 200 of the reflection pattern is triangular, and has sides AA ′, BB ′, and CC ′ as shown in FIG.
  • the outer area of each candidate pattern includes a first divided area 204A corresponding to the side AA ′, a second divided area 204B corresponding to the side BB ′, and a third divided area 204C corresponding to the side CC ′.
  • a rectangular region as a whole is formed by a combination of the inner region and the outer region.
  • the image processing circuit 306 can specifically obtain the following feature amount. Also, the feature quantities can be used in combination.
  • the image processing circuit 306 determines the difference between the average or variance of the luminance values of the first and second divided areas 204A and 204B, and the second and third divided areas 204B. And the difference of the average or variance of the luminance values of 204C and the difference of the average or variance of the luminance values of the first and third divided regions 204A and 204C are calculated as feature amounts. can do.
  • each frame image may include a high-luminance area other than the high-reflection area 200. In that case, those areas may be extracted as a plurality of candidate patterns in step S33.
  • the reflection pattern includes the high reflection region 200 corresponding to the inner region and the low reflection region 201 corresponding to the outer region. Therefore, the average value or dispersion shown in the above (1) to (4) is a value specific to the reflection pattern.
  • the low reflection region 201 so as to surround the high reflection region 200, a triangular high luminance region corresponding to the high reflection region 200 and a triangular high luminance region corresponding to other than the high reflection region 200, Can be clearly distinguished.
  • the calculation load is smaller in the calculation process for calculating the integrated value, that is, the sum than in the calculation process for calculating the average value. Therefore, instead of averaging the luminance values, the luminance value integration may be obtained.
  • the average value or dispersion value of each region is a value unique to the reflection pattern, and the unique value can be stored in the ROM 302 in advance as a feature value threshold.
  • the image processing circuit 306 determines whether or not the selected candidate pattern corresponds to the reflection pattern by comparing the average value or the variance value obtained by the calculation with the threshold value stored in the ROM 302. Can do. As described above, the image processing circuit 306 can identify a reflection pattern from a plurality of reflection pattern candidates using a combination of feature amounts.
  • the image processing circuit 306 specifies the coordinate position of the reflection pattern in at least one of the plurality of frame images. For example, the image processing circuit 306 updates the coordinate position every 10 seconds. When a moving image is captured at 30 fps, the image processing circuit 306 detects the coordinate position of the reflection pattern in the image every 300 frames. In other words, the information regarding the coordinate position is updated every 300 frames. For example, the update interval corresponds to the subject's 1 breathing rate of 6 times.
  • the image processing circuit 306 divides each frame image into two or more. At this time, the image processing circuit 306 sets a dividing line (boundary line) at a position across the retroreflecting material 40. Further, the dividing line is set in a direction different from the body movement direction. For example, it is assumed that body movement is recognized in the vertical direction in the frame image. At this time, for example, the image processing circuit 306 sets a boundary line in the horizontal direction, divides each frame image into two or more, and sets a partial region.
  • the image processing circuit 306 identifies the retroreflecting material 40, that is, the region including the edge of the reflection pattern (particularly, the high reflection region 200). For example, the image processing circuit 306 can obtain the edge information of the reflection pattern from the corner detection result. Then, the image processing circuit 306 designates an area including the edge of the reflection pattern as a partial area. In other words, the image processing circuit 306 sets a partial region so as to straddle the edge.
  • the edge here refers to one edge when there are a plurality of edges facing each other with respect to the fluctuation direction.
  • steps S1 to S4 can be performed at any time even after the edge is detected once and the measurement of the respiration rate is started.
  • the image processing circuit 306 may perform the processing of steps S1 to S4 again to reset the partial area.
  • body movements due to respiration body movements such as turning over are very large, and the coordinate position where reflected light is detected changes greatly.
  • the image processing circuit 306 may perform the processes of steps S1 to S4 again when the coordinate position where the reflected light is detected moves by a predetermined amount or more.
  • the image processing circuit 306 monitors a change in luminance value of the set partial area. Since the body movement of the subject 1 during calm occurs due to respiration, the position of the reflection pattern changes (vibrates) between the plurality of frame images in accordance with the respiration cycle. As a result, the luminance value of the partial area changes according to the position of the reflection pattern.
  • the vibration of the reflection pattern based on the body movement by respiration is demonstrated.
  • FIG. 14 shows the vibration of the reflection pattern measured based on the change of the luminance value in the area when focusing on a specific partial area in each frame image.
  • Waveforms observed using the retroreflecting material 40 can accurately measure body movement due to respiration even in a dark imaging environment. That is, it is possible to measure body movement, that is, respiration, using the luminance value.
  • FIG. 15 shows changes in luminance values of a plurality of frame images taken in a dark shooting environment without providing the retroreflecting material 40. Due to the absence of the retroreflecting material 40, the luminance change in the image is originally small, and therefore the influence of noise is very large even if the change in the luminance value is observed over a plurality of frame images.
  • the body motion waveform that needs to be measured is buried in noise.
  • the scale of the vertical axis differs by several times.
  • the scale in FIG. 15 is larger than that in FIG.
  • the direction using the retroreflecting material 40 means that the signal-to-noise ratio (SNR) is superior to the direction not using it (FIG. 15).
  • FIG. 16 schematically shows how the luminance value in the partial region P changes due to body movement accompanying breathing.
  • the reflection marker that is, the region where the reflected light from the retroreflecting material 40 is observed fluctuates due to body movement due to biological reaction (respiration).
  • FIGS. 16A and 16B show examples of partial areas P in two frame images taken at different times. It is assumed that the region R shown in FIGS. 16A and 16B is a high-luminance region in which reflected light from the retroreflecting material 40 is detected.
  • the partial area P may or may not become a high luminance area due to body movement accompanying breathing.
  • FIG. 16C shows a change in the luminance value of the partial region P at this time.
  • the image processing circuit 306 detects body movement based on the vibration of the reflection pattern including the high luminance region, and counts the respiration rate based on the vibration waveform of the body movement. More specifically, the image processing circuit 306 counts the number of breaths within a predetermined period, with one period of body movement identified by the average luminance value of the partial region P oscillating as one breath.
  • FIG. 17 shows an example of display contents displayed on the display 32.
  • the display 32 displays the measurement result of the biological activity resulting from the respiration of the subject 1.
  • the information regarding the measurement result of the biological activity includes information indicating the respiratory rate of the subject 1 and the trend of the respiratory rate.
  • Information indicating the trend of the respiratory rate is displayed on the display 32 as a waveform indicating a temporal change in the respiratory rate.
  • the information on the respiration rate is updated at a predetermined interval.
  • a breathing waveform indicating a change in luminance value of the partial area P is also displayed. Further, system information indicating the state of the measurement system 100 is displayed.
  • the information means, for example, the state of a program that is running internally such as during search, during measurement, and during stop.
  • the moving image captured by the camera 10 is displayed on the display 32 in real time.
  • a rectangular frame for specifying the detection position of the reflection marker and the partial region used for measuring the respiration rate is displayed superimposed on the moving image.
  • an operator for example, a doctor of the measurement system 100 can confirm on the display 32 that the reflective marker is accurately recognized. If the reflective marker is not accurately arranged, the display position of the reflective marker and the respiration rate are not displayed on the display 32. In that case, the operator can confirm this defect reliably.
  • the measurement system 100 according to the second embodiment is different from the measurement system 100 according to the first embodiment in that a reflective marker is detected based on edge detection.
  • a reflective marker is detected based on edge detection.
  • FIG. 18 shows a processing procedure of the image processing circuit 306 according to the present embodiment.
  • the image processing circuit 306 according to the present embodiment uses the edge detection method instead of the corner detection method described in the first embodiment (step S32 in the flowchart shown in FIG. 8) to generate a plurality of edges from at least one frame image. Are extracted, and an image including information on a plurality of edges is subjected to Hough transform to perform straight line detection (step S35).
  • the other procedures are the same as those described in the first embodiment.
  • the image processing circuit 306 performs edge detection of the gray scale image.
  • an edge detection method a method using a differential filter such as a Sobel filter, a Prewitt filter, and a Laplacian filter, a Canny method, and the like are known. In the present invention, these known methods can be widely used.
  • FIG. 19A shows an example of the result of detecting a straight line by Hough transform.
  • FIG. 19B shows an image in which a straight line related to the high reflection region 200 of the reflection pattern is detected.
  • the image processing circuit 306 identifies a straight line by performing a Hough transform on the obtained image including only information on a plurality of edges.
  • the Hough transform includes standard Hough transform and probabilistic Hough transform (PPHT). In this specification, all of these are collectively referred to as Hough transform.
  • PPHT probabilistic Hough transform
  • FIG. 19C shows another image in which a straight line related to the high reflection region 200 of the reflection pattern is detected.
  • the entire reflection pattern does not exist in the image, and some of the three sides are cut from the image. Even in such a case, if the edge detection method is used instead of the corner detection method, the reflection pattern can be detected accurately.
  • the image processing circuit 306 obtains a plurality of candidate patterns that are candidates for a reflection pattern from among a plurality of patterns having the same shape as the highly reflective region 200, obtained from an arbitrary combination of a plurality of detected (identified) straight lines. To extract. Then, as in the first embodiment, the image processing circuit 306 calculates the feature amount based on at least one luminance value of the inner region of each candidate pattern and the outer region surrounding the inner region. Then, a reflection pattern is identified from a plurality of candidate patterns based on the feature amount.
  • the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image can be reduced by using the image processing algorithm for edge detection. Even when the reflection pattern cannot be accurately detected by the corner detection method, the reflection pattern can be accurately detected.
  • the retroreflecting material 40 has a reflection pattern that further includes a low-reflection region 202 in the high-reflection region 200, and thus the measurement system 100 according to the first embodiment. Is different. Hereinafter, description of common parts will be omitted, and description will be made focusing on differences.
  • FIG. 20 shows an example of the reflection pattern of the retroreflecting material 40 according to the present embodiment.
  • the reflection marker includes a low reflection region 202 inside the high reflection region 200, and the high reflection region 200 exists between the low reflection region 201 and the low reflection region 202.
  • Step S36 The image processing circuit 306 obtains a plurality of first reflection patterns that are obtained from an arbitrary combination of a plurality of feature points and that are candidates for a reflection pattern in descending order of luminance value from a plurality of patterns having the same shape as the high reflection region 200. Extract candidate patterns.
  • FIG. 22 shows the inner region of the region in the image corresponding to the low reflection region 202 and the outer region surrounding it.
  • the arrangement of the inner area and the outer area shown in the figure is opposite to the arrangement shown in FIG.
  • the image processing circuit 306 calculates an average of the luminance values of the inner area and the outer area of each pattern from a plurality of patterns obtained from an arbitrary combination of a plurality of feature points.
  • the luminance value of the inner area of each first candidate pattern is lower than the luminance value of the outer area. Focusing on this relationship, the image processing circuit 306 compares the threshold value stored in advance in the ROM 302 with the average value of each region, and extracts a pattern in which each average value satisfies the threshold value or more. Among them, a plurality of first candidate patterns are extracted in descending order of the difference in luminance value between the outer region and the inner region.
  • the image processing circuit 306 specifies a plurality of second candidate patterns respectively corresponding to the plurality of first candidate patterns. Each of the plurality of second candidate patterns that correspond one-to-one with each of the plurality of first candidate patterns surrounds each of the first candidate patterns. Each second candidate pattern has the same shape as the high reflection region 200.
  • the image processing circuit 306 has a region where the line segment connecting two points selected from a plurality of feature points (corner points) has a high luminance value (outer region in FIG. 21) or a luminance value.
  • the second candidate pattern is extracted so as not to cross the low region (inner region in FIG. 21).
  • the image processing circuit 306 extracts the second candidate pattern so that the detected straight line does not intersect with a region with a high luminance value or a region with a low luminance value.
  • the image processing circuit 306 specifies a reflection pattern in at least one of the plurality of frame images based on information regarding the regions of the plurality of first candidate patterns and the plurality of second candidate patterns.
  • the information regarding the areas of the candidate patterns may be information on the luminance values and areas of those areas. Specific examples will be described below.
  • the image processing circuit 306 uses each first candidate pattern and each second candidate pattern corresponding thereto among the plurality of second candidate patterns.
  • the image processing circuit 306 can specify a reflection pattern from a plurality of patterns based on the difference between the luminance value of the inner area of each first candidate pattern and the luminance value of the inner area of each second candidate pattern. However, since the coordinates of each vertex of the low brightness value area in each first candidate pattern are known in advance, the area of each first candidate pattern is excluded from the high brightness value area in each second candidate pattern. The brightness value of the inner area of each second candidate pattern is calculated.
  • the image processing circuit 306 reflects the reflection pattern from a plurality of patterns based on the ratio of each first candidate pattern and the area of the inner area of each first candidate pattern and the area of the inner area of each second candidate pattern. Can also be specified.
  • This specification discloses a measurement system described in the following items, a measurement method of a biological activity caused by respiration of a subject, and a computer program.
  • a light source that emits light
  • An imaging device that receives the light and generates a moving image
  • An image processing circuit for measuring a subject's biological activity using the moving image, and a measurement system comprising: A retroreflective material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region is disposed at a position where body movement associated with the subject's breathing occurs, and is directed from the light source toward the subject.
  • the image processing circuit includes: Extracting a plurality of corners from the at least one frame image using the corner detection method; Extracting a plurality of candidate patterns that are candidates for the reflection pattern from a plurality of patterns having the same shape as the high reflection region, obtained from any combination of the plurality of corners, A feature amount is calculated based on at least one brightness value of a brightness value of an inner area of each candidate pattern and a brightness value of an outer area surrounding the inner area, and the reflection pattern is selected from the plurality of candidate patterns.
  • Item 2 The measurement system according to Item 1, which is specified based on
  • the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image can be reduced by using the corner detection image processing algorithm.
  • the image processing circuit includes: Extracting a plurality of edges from the at least one frame image using the edge detection method, performing line detection by performing Hough transform on the image including the information of the plurality of edges, From a plurality of patterns having the same shape as the highly reflective region, obtained from an arbitrary combination of a plurality of detected straight lines, extract a plurality of candidate patterns that are candidates for the reflective pattern, A feature amount is calculated based on at least one brightness value of a brightness value of an inner area of each candidate pattern and a brightness value of an outer area surrounding the inner area, and the reflection pattern is selected from the plurality of candidate patterns.
  • Item 2 The measurement system according to Item 1, which is specified based on
  • the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image can be reduced by using the image processing algorithm for edge detection. Even when the reflection pattern cannot be accurately detected by the corner detection method, the reflection pattern can be accurately detected.
  • the image processing circuit may calculate a difference between an average luminance value of the inner area and an average luminance value of the outer area of each candidate pattern, or a distribution of luminance values of the inner area and a luminance value of the outer area. 4. The measurement system according to item 2 or 3, wherein the difference is calculated as the feature amount.
  • the highly reflective region has a polygonal shape;
  • the outer region of each candidate pattern includes a plurality of divided regions each corresponding to each side of the inner region corresponding to the highly reflective region, 4.
  • the measurement system according to item 2 or 3, wherein the image processing circuit calculates, as the feature amount, an average or variance difference between luminance values of two divided regions selected from the plurality of divided regions.
  • the high reflection region is a triangular region having first, second, and third sides, and the inner region corresponds to the high reflection region,
  • the outer area of each candidate pattern includes a first divided area corresponding to the first side, a second divided area corresponding to the second side, and a third divided area corresponding to the third side.
  • the image processing circuit includes an average or variance difference between the luminance values of the first and second divided regions, an average or variance difference between the luminance values of the second and third divided regions, and the first 4.
  • the measurement system according to item 2 or 3, wherein at least one of an average or variance difference of each luminance value of the third divided region is calculated as the feature amount.
  • the measurement system described in Item 9 can provide a more robust reflection pattern detection method with fewer false detections.
  • the image processing circuit includes: Extracting a plurality of feature points from the at least one frame image using the corner detection method or the edge detection method; A plurality of first candidate patterns that are candidates for the reflection pattern are extracted from a plurality of patterns having the same shape as the high reflection region obtained from an arbitrary combination of the plurality of feature points in order of increasing luminance value. And a plurality of second candidate patterns respectively corresponding to the plurality of first candidate patterns, the plurality of second candidate patterns surrounding each of the plurality of first candidate patterns and having the same shape as the high reflection region. 2 candidate patterns are extracted, The item 9, wherein the coordinate position of the reflection pattern in at least one frame image of the plurality of frame images is specified based on information on the regions of the plurality of first candidate patterns and the plurality of second candidate patterns. Measurement system.
  • the image processing circuit includes: Using each first candidate pattern and each second candidate pattern corresponding to each first candidate pattern among the plurality of second candidate patterns, the luminance value of the inner region of each first candidate pattern, Item 10.
  • the reflection pattern is specified from among the plurality of patterns based on a difference between a luminance value of an area obtained by excluding an inner area of each first candidate pattern from an inner area of each second candidate pattern. Measurement system.
  • the image processing circuit includes: Using each first candidate pattern and each second candidate pattern corresponding to each first candidate pattern among the plurality of second candidate patterns, the area of the inner region of each first candidate pattern and each of the second candidate patterns Item 11.
  • the measurement system according to Item 10 wherein the reflection pattern is specified from the plurality of patterns based on a ratio with the area of the inner region of the two candidate patterns.
  • [Item 13] Further comprising a display device for displaying a measurement result of the biological activity resulting from the breathing of the subject, The display device displays the respiratory rate of the subject, a waveform indicating the trend of the respiratory rate, the moving image, and system information indicating the state of a measurement system, and further includes the reflection pattern and the moving image in the moving image. 13.
  • the measurement system according to any one of items 1 to 12, wherein a frame for specifying the partial area is displayed.
  • the operator of the measurement system can confirm on the display device that the reflection marker is accurately recognized.
  • Step, (C) Using at least one of a corner detection method and an edge detection method, coordinates of the reflection pattern in at least one frame image among the plurality of frame images constituting the moving image generated in the step (b) A step of locating, (D) Designating a partial area in each frame image based on the coordinate position of the reflection pattern, and resulting from breathing of the subject based on a change in luminance value of the partial area across the plurality of frame images
  • a measurement method including a step of measuring a biological activity.
  • robustness against the influence of the surrounding environment can be improved by using a retroreflecting material having a specific reflection pattern and a specific image processing algorithm.
  • a light source that emits light
  • An imaging device that receives the light and generates a moving image
  • An image processing circuit for measuring the biological activity of the subject using the moving image
  • a computer program executed by the image processing circuit in a measurement system comprising: A retroreflective material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region is disposed at a position where body movement accompanying breathing of the subject is performed, from the light source toward the subject When the light is emitted, Receiving a moving image generated by the imaging device, the moving image including a plurality of time-series frame images based on the light at a plurality of times reflected by the retroreflecting material; When, Identifying a coordinate position of the reflection pattern in at least one of the plurality of frame images using at least one of a corner detection method and an edge detection method; A partial area is designated in each frame image based on the coordinate position of the reflection pattern, and a biological activity caused by the breathing of the subject
  • the present invention can be used as a method for analyzing a moving image obtained by photographing a subject and measuring the life activity of the subject, particularly the number of breaths, in a non-contact manner.
  • the present invention can also be used as an apparatus, system, and computer program for analyzing such moving images and measuring life activity.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

計測システム１００は、光源２０と、動画像を生成する撮像装置１０と、被験体１の生体活動を計測する画像処理回路３０６とを備える。被験体の呼吸に伴う体動の発生位置に、高反射領域および低反射領域を含む反射パターンを有する再帰性反射材が配置される。画像処理回路は、撮像装置から動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、複数のフレーム画像のうち少なくとも１つのフレーム画像における反射パターンの座標位置を特定し、反射パターンの座標位置に基づいて各フレーム画像内で部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて被験体の呼吸に起因する生体活動を計測する。

Description

計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
　本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。
　カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている（たとえば特許文献１および２）。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いたりすることによって特定される。
　特許文献１の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。
　特許文献２の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。
特開平１１－２７６４４３号公報 特開２０１１－１３０９９６号公報
　特許文献１の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値は大きく変動し得る。常に適切なしきい値を求める方法がないので、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。
　特許文献２の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献１と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応に起因した体動個所を特定できず、生体情報が正確に抽出できないことがある。
　また、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるので、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。
　このように、従来の呼吸モニタリング装置および心拍数計測装置は、撮影環境の変化に対しロバストであるとは決して言えない。そのような生体活動の計測装置において、生体情報を正確に抽出するためには、生体反応に起因した体動個所を正しく特定することが求められる。
　本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システム（以下、単に「計測システム」と称する。）を提供する。
　本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定し、前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する。
　ある実施形態において、前記画像処理回路は、前記コーナ検出法を用いて前記少なくとも１つのフレーム画像から複数のコーナを抽出し、前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する。
　ある実施形態において、前記画像処理回路は、前記エッジ検出法を用いて前記少なくとも１つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する。
　ある実施形態において、前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している。
　ある実施形態において、前記計測システムは、前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する。
　本発明の一実施形態によれば、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。本計測システムにおいては、再帰性反射材は反射マーカとして機能する。そのため、本明細書では再帰性反射材を反射マーカと称する場合がある。
第１の実施形態による計測システム１００の構成図である。 第１の実施形態による情報処理装置３０のハードウェア構成図である。 第１の実施形態による計測システム１００で行われる計測処理の手順を示すフローチャートである。 再帰性反射材４０を装着した被験者１を撮影したフレーム画像１０２を示す図である。 再帰性反射材４０を装着しない被験者を撮影したフレーム画像１０６を示す図である。 第１の実施形態による反射マーカとして機能する再帰性反射材４０の反射パターンの一例を示す図である。 カメラ１０の位置、画角または反射マーカの配置の仕方によって、カメラ１０に映る反射マーカの見え方が異なる様子を示す図である。 図３のフローチャートにおけるステップＳ３のより詳細な処理の手順を示すフローチャートである。 被験者１の体動箇所に配置された三角形状の反射マーカが映った画像においてコーナ検出法により抽出された複数のコーナを示す図である。 図９に示される複数のコーナから３つを選択し、それらから得られる三角形の候補を示す図である。 図９および図１０に示される反射パターンの１つの候補の拡大図である。 三角形状の複数の候補パターンの各パターンにおける内側領域および外側領域のそれぞれの輝度値の平均をプロットしたグラフである。 三角形状の各候補パターンの拡大図である。 各フレーム画像において特定の部分領域に着目したとき、その領域内の輝度値の変化に基づいて測定された反射パターンの振動を示す図である。 再帰性反射材４０を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す図である。 部分領域Ｐ内の輝度値が呼吸に伴う体動により変化する様子を示す図である。 ディスプレイ３２に表示された表示内容を例示する図である。 第２の実施形態による画像処理回路３０６の処理の手順を示すフローチャートである。 ハフ変換して直線検出を行った結果の一例を示す図である。 反射パターンに関連した直線が検出された画像である。 反射パターンに関連した直線が検出された他の画像である。 第３の実施形態による再帰性反射材４０の反射パターンの一例を示す図である。 第３の実施形態による画像処理回路３０６の処理の手順を示すフローチャートである。 低反射領域２０２に対応した画像内の領域の内側領域およびそれを囲む外側領域を示す図である。
　本発明の実施形態による計測システムは、光を放射する光源と、光を受けて動画像を生成する撮像装置と、動画像を利用して被験体の生体活動を計測する画像処理回路とを備える。被験体の呼吸に伴う体動の発生位置に、相対的に反射率が高い高反射領域および高反射領域を囲む、相対的に反射率が低い低反射領域を含む反射パターンを有する再帰性反射材が配置される。光源から、被験体に向けて光が放射されたときにおいて、撮像装置は、再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成する。画像処理回路は、撮像装置から動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、複数のフレーム画像のうち少なくとも１つにおける反射パターンの座標位置を特定し、反射パターンの座標位置に基づいて各フレーム画像内で部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて被験体の呼吸に起因する生体活動を計測する。
　この計測システムによると、周囲の環境の影響に対するロバスト性を向上させることができる。また、コーナ検出法およびエッジ検出法などの特定の画像処理アルゴリズムを利用することで、画像内の反射パターンの座標位置を特定する演算量を低減することができる。
　本明細書においては、主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。計測システムは、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形（呼吸波形に相当する波形であり、本明細書では「呼吸数のトレンド」と呼ぶ。）を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。計測システムは、その呼吸数および呼吸数のトレンドなどをディスプレイ上に表示することができる。
　以下、添付の図面を参照しながら、本発明による計測システムおよび計測方法の実施形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態による計測システムおよび計測方法は、以下で例示するものに限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。
　（第１の実施形態）
　図１は、本実施形態による計測システム１００の構成を模式的に示す。計測システム１００は、カメラ１０と、光源２０と、情報処理装置３０と、再帰性反射材４０とを含む。図１には被験者１が示されているが、被験者１は計測システム１００に含まれない。
　計測システム１００は、被験者１の生体活動を観察するために利用される。本実施形態では、生体活動は被験者１の呼吸であるとし、計測システム１００は所定時間内の呼吸数を計測する。なお、被験者１は人であるとして説明するが、人以外の動物であってもよい。観測対象としての動物（人を含む。）を総称して「被験体」と呼ぶことがある。
　カメラ１０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサおよび光学系を有する、いわゆる撮像装置であり、被験者１を撮影して動画像を生成する。カメラ１０は、有線または無線で動画像のデータを情報処理装置３０に送る。
　光源２０は光２０ａを放射する光源である。光は可視光であってもよく、不可視光（たとえば赤外光）であってもよい。本実施形態では、赤外光を例に挙げて説明する。以下では、光２０ａを「赤外光２０ａ」と記述する。
　カメラ１０は、可視光領域の波長を遮る光学フィルタ（不図示）を装着していてもよい。その光学フィルタは、例えば赤外フィルタとも呼ばれる。光学フィルタは、光源２０から放射され、再帰性反射材４０において反射された赤外光は透過するが、可視光は遮断する。光学フィルタを設けることにより、赤外光以外の光、より具体的には可視光がカメラ１０に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるので、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を効果的に低減できる。
　情報処理装置３０は、カメラ１０から動画像を受け取り、特定の画像処理アルゴリズム、例えばコーナ検出法を用いて、フレーム画像内の反射パターンの座標位置を特定する。また、情報処理装置３０は、複数のフレーム画像にわたって、所定の領域の輝度値の変化に基づいて被験体１の呼吸数を計測する。情報処理装置３０の動作の詳細は後述する。
　再帰性反射材４０は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材４０に入射する光の入射角と、再帰性反射材４０によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。本実施形態では、光源２０の光軸とカメラ１０の光軸とを近接して配置させている。これにより、光源２０から放射された赤外光２０ａは再帰性反射材４０に反射され、その多くが赤外光２０ｂとしてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。例えば再帰性反射材４０として、ガラスビーズを塗布した布を用いることができる。
　なお、再帰性反射材４０を設けることにより、再帰性反射材４０に入射した外乱光２１ａは、反射光２１ｂとしてその入射方向に反射される。反射光２１ｂは実質的にカメラ１０に入射しないので、カメラ１０によって撮影される動画像は外乱光の影響を受けにくくなる。
　図２は、計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す。本実施形態では、情報処理装置３０は、カメラ１０とディスプレイ３２とに接続されている。情報処理装置３０は、カメラ１０から、撮影された動画像のデータを受け取る。またディスプレイ３２は、処理の結果である、被験者１の生体活動である呼吸の数の計測結果および呼吸数のトレンドなどを表示する。測定結果に基づいてカメラ１０の撮影方向が適切でないと判断した場合には、情報処理装置３０はディスプレイ３２に警告を表示してもよい。
　情報処理装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、インタフェース（Ｉ／Ｆ）３０５と、画像処理回路３０６とを有する。ＣＰＵ３０１は情報処理装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をＣＰＵ３０１または画像処理回路３０６に行わせるための命令群である。ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または計測された被験者１の呼吸数のデータを格納する記憶装置である。
　Ｉ／Ｆ３０５は、情報処理装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。情報処理装置３０が有線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばイーサネット（登録商標）端子であり得る。情報処理装置３０が無線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばＷｉ－Ｆｉ（登録商標）規格に準拠した通信を行う送受信回路であり得る。またはＩ／Ｆ３０５は、有線の映像入力端子であってもよい。
　画像処理回路３０６は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路３０６は、カメラ１０から動画像を受け取り、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも１つにおける反射パターンの画像中の座標位置を特定する。画像処理回路３０６は、各フレーム画像の中から反射パターンの座標位置に基づいて部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。本明細書では、境界線によって区画される画像の領域を、画像の「部分領域」と呼ぶ。部分領域の詳細は後述する。
　本実施形態ではＣＰＵ３０１とは別に画像処理回路３０６を設けているが、これは一例である。後述する画像処理回路３０６の処理を、ＣＰＵ３０１が行ってもよい。
　図３を参照して、計測システム１００の全体の動作を説明する。
　図３は、計測システム１００で行われる計測処理の手順を示している。この処理は主としてＣＰＵ３０１および／または画像処理回路３０６によって実行される。以下では、実行主体は画像処理回路３０６であるとして説明する。
　〔再帰性反射材４０の配置および動画像の取得：ステップＳ１〕
　まず、観測者または被験者１が、被験者１の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材４０を反射マーカとして配置する。光源２０が赤外光で被験者１を照射すると、カメラ１０は再帰性反射材４０で反射された赤外光を受けて、被験者１の動画像を撮影する。
　図４は、再帰性反射材４０を装着した被験者１を撮影したフレーム画像１０２の例を示している。画像中央部の高輝度領域（白い領域）１０４が、再帰性反射材４０からの反射光が検出された領域である。情報処理装置３０は、その領域を反射マーカとして認識する。参考として、図５は、再帰性反射材４０を装着しない被験者を撮影したフレーム画像１０６を示す。再帰性反射材４０が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。図４および図５には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。境界線によって区画される画像の領域は、画像の「部分領域」である。部分領域のサイズは例えば１６×１６画素程度であり得る。この部分領域は、輝度値の演算を行う一まとまりの画素群を含む領域である。図４には、部分領域Ｐが例示されている。なお、部分領域Ｐの境界線は理解の便宜のため強調して表示されている。
　図６は、反射マーカとして機能する再帰性反射材４０の反射パターンの一例を示している。再帰性反射材４０は、高反射領域２００および高反射領域２００を囲む低反射領域２０１を含む反射パターンを有している。高反射領域２００の反射率は相対的に高く、低反射領域２０１の反射率は相対的に低い。なお、高反射領域２００は図４に示される高輝度領域１０４に対応する。
　高反射領域２００の反射率と低反射領域２０１の反射率との差分が大きければ大きいほど境界付近のコントラストを高めることができるので、後述する特徴量を算出する上で好ましい。また、そのコントラストをより向上させる点では、赤外光を反射しない材料で低反射領域２０１を形成することがより好ましい。
　図６に示す反射パターンの高反射領域２００の形状は左側から三角形、長方形およびひし形である。このように、高反射領域２００の形状は多角形であり得る。また、高反射領域２００および低反射領域２０１を組み合わせることで、反射パターン全体の形状は、矩形などの多角形であり得る。以下では、三角形状の高反射領域２００を含む反射パターンを用いる例を説明する。
　〔体動検出：ステップＳ２〕
　再び図３を参照する。このステップＳ２は任意に設けることができる。画像処理回路３０６は、複数のフレーム画像の間において２つのフレーム画像の輝度値の差分を取得し、その結果から体動があるかどうかを検出することができる。
　被験者１が寝返りを打ったとき、体動は非常に大きいので、高反射領域２００の位置は各フレーム画像の間で大きく移動することになる。その場合、画像処理回路３０６は、そのフレーム画像では呼吸数の計測を行わないようにしても構わない。このステップは任意に設けることができる。
　〔反射パターンの座標位置を特定：ステップＳ３〕
　画像処理回路３０６は、カメラ１０から動画像を受け取り、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも１つにおける反射パターンの座標位置を特定する。反射パターンの座標位置は、例えば高反射領域２００の各頂点、中心または重心の座標を意味する。
　まず、画像内の特定のパターンを認識する方法として、テンプレートを用いたパターンマッチング処理が一般的に知られ、多用されている。そのパターンマッチング処理によって、再帰性反射材４０の座標位置を特定する場合の問題点を説明する。
　図７（ａ）～（ｃ）は、カメラ１０の位置、画角または反射マーカの配置の仕方によって、カメラ１０に映る反射マーカの見え方が異なる様子を示している。呼吸状態を正確に測定するためには、その反射マーカの位置を正確に検出することが求められる。しかしながら、生体活動の測定環境に応じて、カメラ１０の位置および画角は異なり得る。また、測定環境は様々であり、カメラ１０と被験者１との位置関係は必ずしも一定ではない。従って、図示されるように画像に映る反射マーカの見え方、つまり映像は測定環境に応じて異なる。そのため、反射マーカの座標位置を正確に特定することは容易ではない。また、光源として赤外光を用いた場合、赤外光の画像からは濃淡情報しか得られないので、反射マーカの座標位置を誤検出してしまう可能性がある。
　例えば、画像処理回路３０６は、反射パターンを有する再帰性反射材４０が用いられること、およびそのパターンの特徴を示す情報（つまり、テンプレート）を、ＲＯＭ３０２に予め保持することができる。カメラ１０が被験者１を撮影すると、画像処理回路３０６は、得られた動画像の各フレーム画像において、予め保持していたパターンの特徴を利用して各フレーム画像にパターンマッチング処理を行い、再帰性反射材４０の位置を特定することができる。
　上述したように、映像が測定環境に応じて異なることを考慮すると、テンプレートを用いたパターンマッチング処理を行う場合、測定環境の全てに最適化されたテンプレートを準備しなければならない。しかしながら、すべてのテンプレートを用意することは現実的でなく不可能であると言える。また、必要十分なテンプレートを用意できたとしても、その数が増えるに従って、パターンマッチング処理の演算量は増加する。
　このように、パターンマッチング処理を行う場合、測定環境に対するロバスト性は決して高いとは言えない。そこで、本実施形態では、パターンマッチング処理に代えて、コーナ検出法を用いることでロバスト性を向上させ、また、演算量を低減させることができる。
　図８は、図３のフローチャートにおけるステップＳ３のより詳細な処理の手順を示している。反射パターンの形状が多角形であること、また、反射パターンは高反射領域２００と低反射領域２０１とを含んでいることにより、反射パターンのコーナを正確に検出することが可能になる。
　（ステップＳ３１）
　まず、画像処理回路３０６は、カメラ１０から得られる、赤外光に基づく動画像データをグレースケールの画像データに変換する。具体的に説明すると、画像処理回路３０６は、ＲＧＢ信号をＹＵＶ変換する。この変換によりＹ信号に基づいて白黒の濃淡画像が得られるので、後述するコーナ検出法によるコーナ検出が容易になる。
　（ステップＳ３２）
　画像処理回路３０６は、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも１つの中のコーナを特徴量として検出する。例えば、コーナ検出法として、Ｈａｒｒｉｓ法、ＫＬＴ法、主曲率法などが知られており、本発明ではこれらを広く用いることができる。中でも、Ｈａｒｒｉｓ法は、画素毎に行列を求めて、その行列からコーナらしさを計算する手法である。そのコーナらしさに基づいてコーナを特徴量として抽出できる。本実施形態では、このＨａｒｒｉｓ法を用いる。
　図９は、被験者１の体動箇所に配置された三角形状の高反射領域２００を含む反射パターンを有する反射マーカが映った画像においてコーナ検出法により抽出された複数のコーナを示している。抽出された複数のコーナには丸印を付している。図示する例では、５０個のコーナがコーナ検出法により抽出されている。
　画像処理回路３０６は、複数のコーナの任意の組み合わせから得られる、高反射領域２００と同一の形状を有する複数のパターンの中から、反射パターンの候補となる複数の候補パターンを抽出する。
　図１０は、図９に示される複数のコーナから３つを選択し、それらから得られる三角形の候補を示している。図１１は、図９および図１０に示される反射パターンの１つの候補を拡大して示している。３つのコーナを頂点し、直線ＡＡ’、ＢＢ’およびＣＣ’から形成される三角形状の内側領域が各候補パターンの内側領域である。また、内側領域を囲むように矩形状の外側領域が設けられている。フレーム画像において、内側領域は高反射領域２００に対応した領域であり、外側領域は、低反射領域２０１に対応した領域である。
　５０個のコーナから任意に３つを選択する場合、50Ｃ3通りの組み合わせが存在する。しかし、反射パターンの高反射領域２００の形状が三角形またはひし形であれば、２点のコーナを結ぶ線の組み合わせの候補を工夫によって減らすことができる。例えば再帰性反射材４０を所定の角度に配置した場合、フレーム画像内の三角形状の領域を構成する各辺の角度とその所定の配置角度とに基づいて複数の候補パターンを抽出することができる。
　図９および１０に示されるように、三角形状の高反射領域２００を含む反射マーカを、その１つの頂点が、図１１に示す画像内のＸＹ－平面座標においてＹ方向を向くように配置するとする。その場合、Ｘ軸を基準とした原点の周りの直線ＡＡ’の角度は、略０°超７０°以下となる。直線ＡＡ’と同様に、Ｘ軸を基準とした原点の周りの直線ＢＢ’の角度は、略０°超７０°以下となり、Ｘ軸を基準とした原点の周りの直線ＣＣ’の角度は、略－９０°以上－７０°以下、または略７０°以上９０°以下となる。このように、各直線の角度がこれらの範囲内にある三角形状のパターンを反射パターンの候補として特定することができる。
　また、フレーム画像中において反射パターンが存在する場所を制限できれば、組み合わせの候補を絞ることができる。例えば、計測システム１００が特定の使用環境のみで利用される場合、フレーム画像中において反射パターンは、被験者１の顔から胸付近に存在すること、または、フレーム画像の中心に存在することなどが予め予測できる。その場合には、反射パターンが存在する領域に絞って候補パターンを選択できる。
　図１２は、三角形状の複数の候補パターンの各パターンにおける内側領域および外側領域のそれぞれの輝度値の平均をプロットしたグラフである。横軸は内側領域の輝度値の平均を示し、縦軸は外側領域の輝度値の平均を示している。高反射領域２００に対応した候補パターンにおいては、その内側領域の輝度は高く、外側領域の輝度は低い。その結果、図１２に示されるように、丸で囲んだ領域内に位置するグラフ上の点が、高反射領域２００に対応した点である可能性が高いと言える。丸で囲んだ領域は、内側領域の輝度は高く、外側領域の輝度は低いパターンに対応した点を包含している領域である。従って、画像処理回路３０６は、その丸で囲んだ領域内の点に対応したパターンを、複数の候補パターンとして選択することができる。
　（ステップＳ３４）
　画像処理回路３０６は、複数の候補パターンの各候補パターンの内側領域の輝度値および内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、複数の候補パターンの中から反射パターンを特徴量に基づいて特定する。つまり、画像処理回路３０６は、フレーム画像内の反射パターンの座標位置を検出する。
　図１３は、三角形状の各候補パターンを拡大して示している。各候補パターンの外側領域は、各々が多角形状の内側領域の各辺にそれぞれ対応した複数の分割領域を含んでいてもよい。本実施形態では、反射パターンの高反射領域２００に対応した領域は三角形状であり、図１１に示すとおり辺ＡＡ’、ＢＢ’およびＣＣ’を有している。各候補パターンの外側領域は、辺ＡＡ’に対応した第１の分割領域２０４Ａ、辺ＢＢ’に対応した第２の分割領域２０４Ｂおよび辺ＣＣ’に対応した第３の分割領域２０４Ｃを含んでいる。内側領域および外側領域の組み合わせによって全体として矩形状の領域が形成されている。
　画像処理回路３０６は具体的に以下の特徴量を求めることができる。また、各特徴量を組み合わせて用いることもできる。
　（１）各候補パターンの内側領域の輝度値の平均または分散
　（２）各候補パターンの外側領域の輝度値の平均または分散
　（３）各候補パターンの内側領域の輝度値の平均と外側領域の輝度値の平均との差分、または内側領域の輝度値の分散と外側領域の輝度値の分散との差分
　（４）複数の分割領域から選択される２つの分割領域の各輝度値の平均または分散の差分
　上記（４）に関して具体的に説明すると、画像処理回路３０６は、第１および第２の分割領域２０４Ａおよび２０４Ｂの各輝度値の平均または分散の差分、第２および第３の分割領域２０４Ｂおよび２０４Ｃの各輝度値の平均または分散の差分、および第１および第３の分割領域２０４Ａおよび２０４Ｃの各輝度値の平均または分散の差分の少なくとも１つを特徴量として算出することができる。
　呼吸による体動を輝度で捉えることが困難な場合がある。例えば、被験者１が装着している衣服や背景の壁の輝度が高いとき、各フレーム画像は高反射領域２００以外に高輝度な領域を含み得る。その場合、それらの領域は、ステップＳ３３において複数の候補パターンとして抽出される可能性がある。本発明では、上述したように、反射パターンは、内側領域に対応した高反射領域２００および外側領域に対応した低反射領域２０１を含んでいる。そのため、上記（１）から（４）に示される平均値または分散は反射パターンに特有の値となる。このように、高反射領域２００を囲むように低反射領域２０１を設けることで、高反射領域２００に対応した三角形状の高輝度領域と高反射領域２００以外に対応した三角形状の高輝度領域とを明確に区別できる。
　このように、各領域の平均値または分散などの特徴量に基づけば、反射マーカの誤検出を低減でき、複数の候補パターンの中から反射パターンを正確に特定することができる。
　なお、演算量を低減させる観点から、各領域の輝度値の平均値を特徴量として用いることが好ましい。さらに、平均値を算出する演算処理よりも積算値、つまり和を算出する演算処理の方が、演算負荷が小さくなる。そのため、輝度値の平均に代えて、輝度値の積算を求めてもよい。
　各領域の平均値または分散値は、反射パターンに特有の値であり、その固有の値を特徴量の閾値として予めＲＯＭ３０２に保持しておくことができる。画像処理回路３０６は、演算により得られる平均値または分散値と、ＲＯＭ３０２に保持された閾値とを比較することにより、選択された候補パターンが、反射パターンに対応しているか否かを判別することができる。このように、画像処理回路３０６は、特徴量の組み合わせを用いて反射パターンの複数の候補から反射パターンを同定することができる。
　反射パターンの座標位置に関する情報を更新するタイミングを説明する。画像処理回路３０６は、複数のフレーム画像のうち少なくとも１つにおける反射パターンの座標位置を特定する。例えば、画像処理回路３０６は、１０秒毎にその座標位置を更新する。動画像が３０ｆｐｓで撮影される場合、画像処理回路３０６は、３００フレーム毎にその画像内の反射パターンの座標位置を検出する。換言すると、３００フレーム毎にその座標位置に関する情報は更新される。例えばその更新間隔は、被験者１の呼吸数６回分に相当する。
　〔部分領域の指定：ステップＳ４〕
　再び図３を参照する。画像処理回路３０６は、各フレーム画像の中から反射パターンの座標位置に基づいて部分領域（図４を参照）を指定する。部分領域は体動箇所を含むように設定され得る。フレーム画像内の部分領域は、輝度値の変化を監視するための領域でもある。
　画像処理回路３０６は各フレーム画像を２つ以上に分割する。このとき、画像処理回路３０６は再帰性反射材４０を跨ぐ位置に分割線（境界線）を設定する。さらに、分割線は、体動方向とは異なる方向に設定される。たとえばフレーム画像内で体動が上下方向に認められるとする。このとき画像処理回路３０６は、たとえば水平方向に境界線を設定して各フレーム画像を２つ以上に分割し、部分領域を設定する。
　部分領域の設定の一例を具体的に説明する。画像処理回路３０６は再帰性反射材４０、つまり反射パターン（特に、高反射領域２００）のエッジを含む領域を特定する。例えば画像処理回路３０６は、コーナ検出の結果から反射パターンのエッジ情報を得ることができる。そして、画像処理回路３０６は、反射パターンのエッジを含む領域を部分領域として指定する。換言すると、画像処理回路３０６は、そのエッジを跨ぐように部分領域を設定する。ここで言うエッジとは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジを言う。
　なお、上述のステップＳ１～Ｓ４は、一度エッジが検出され、呼吸数の計測が始まった後でも随時行われ得る。たとえば被験者１が寝返りを打つことにより、再帰性反射材４０からの反射光の検出位置が変化する場合がある。その場合には画像処理回路３０６は改めてステップＳ１～Ｓ４の処理を行い、部分領域の再設定を行えばよい。呼吸による体動と比較すると、寝返りなどの体動は非常に大きいため、反射光が検出される座標位置は大きく変化する。画像処理回路３０６は、反射光が検出される座標位置が所定量以上移動した場合には、改めてステップＳ１～Ｓ４の処理を行うようにしても構わない。
　〔部分領域の輝度値の変化を監視：ステップＳ５〕
　画像処理回路３０６は、設定された部分領域の輝度値の変化を監視する。平静時の被験者１の体動は呼吸に起因して発生するため、複数のフレーム画像の間で反射パターンの位置が呼吸の周期に合わせて変化（振動）する。その結果、部分領域の輝度値は反射パターンの位置に応じて変化する。ここで、図１４および１５を参照して、呼吸による体動に基づく反射パターンの振動を説明する。
　図１４は、各フレーム画像において特定の部分領域に着目したとき、その領域内の輝度値の変化に基づいて測定された、反射パターンの振動を示す。再帰性反射材４０を用いて観測される波形は暗い撮影環境下でも呼吸による体動を精度よく測定することが可能である。つまり、輝度値を利用して体動、すなわち呼吸を測定することが可能である。参考として、図１５は、再帰性反射材４０を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す。再帰性反射材４０が存在しないことにより、画像内の輝度変化はもともと小さく、そのため複数のフレーム画像にわたって輝度値の変化を観測してもノイズの影響が非常に大きい。よって計測する必要がある体動の波形がノイズに埋もれている。なお、図１４と図１５では、縦軸のスケールは数倍程度異なっていることに留意されたい。理解の便宜のため、図１５でのスケールは図１４よりも大きくしている。換言すれば、再帰性反射材４０を用いる方（図１４）が、用いない方（図１５）よりも、信号対雑音比（ＳＮＲ）に優れていることを意味する。
　図１６は、部分領域Ｐ内の輝度値が呼吸に伴う体動により変化する様子を模式的に示している。上述のように、反射マーカ、つまり再帰性反射材４０からの反射光が観測される領域は、生体反応（呼吸）による体動により変動する。いま、各フレーム画像において、特定された座標位置に存在する部分領域Ｐに着目する。図１６（ａ）および（ｂ）は、時刻の異なる時刻に撮影された２枚のフレーム画像における部分領域Ｐの例を示す。図１６（ａ）および（ｂ）に示す領域Ｒは、再帰性反射材４０からの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、部分領域Ｐが、高輝度領域になったりならなかったりする。
　図１６（ｃ）は、このときの部分領域Ｐの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Ｐの輝度を観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。
　〔被験者１の呼吸数をカウント：ステップＳ６〕
　再度図３を参照する。画像処理回路３０６は、高輝度領域を含む反射パターンの振動に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。具体的に説明すると、画像処理回路３０６は、部分領域Ｐの平均輝度値が振動することによって特定される体動の１周期を１呼吸として、所定期間内の呼吸数をカウントする。
　〔計測結果の表示：ステップＳ７〕
　図１７は、ディスプレイ３２に表示された表示内容の一例を示す。ディスプレイ３２は、被験者１の呼吸に起因する生体活動の計測結果を表示する。その生体活動の計測結果に関する情報は、被験者１の呼吸数および呼吸数のトレンドを示す情報を含んでいる。呼吸数のトレンドを示す情報は、呼吸数の時間的な変化を示す波形としてディスプレイ３２に表示される。また、呼吸数の情報は所定の間隔で更新される。
　部分領域Ｐの輝度値の変化を示す呼吸波形も表示されている。さらに、計測システム１００の状態を表すシステム情報が表示される。その情報は、例えば、検索中、測定中および停止中などの内部で起動しているプログラムの状態を意味する。
　また、ディスプレイ３２にはカメラ１０により撮像された動画像がリアルタイムで表示されている。反射マーカの検出位置と呼吸数の計測に用いられている部分領域とを特定する矩形状の枠が、その動画像に重畳的に表示されている。
　反射マーカ、つまり再帰性反射材４０の検出位置を表示することにより、測定システム１００のオペレータ（例えば医師など）は正確に反射マーカが認識されていることをディスプレイ３２上で確認することができる。もし、反射マーカが正確に配置されていなければ、ディスプレイ３２には反射マーカの検出位置や呼吸数は表示されない。その場合、オペレータはこの不具合を確実に確認することができる。
　本実施形態によると、周囲の環境の影響に対するロバスト性を向上させることができる。また、コーナ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。
　（第２の実施形態）
　第２の実施形態による計測システム１００は、エッジ検出に基づいて反射マーカの検出を行う点で、第１の実施形態による計測システム１００とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。
　図１８は、本実施形態による画像処理回路３０６の処理の手順を示している。本実施形態による画像処理回路３０６は、第１の実施形態で説明したコーナ検出法（図８に示すフローチャートのステップＳ３２）に代えて、エッジ検出法を用いて少なくとも１つのフレーム画像から複数のエッジを抽出し、複数のエッジの情報を含む画像をハフ変換して直線検出を行う（ステップＳ３５）。図１８のフローチャートに示されるように、それ以外の手順は第１の実施形態で説明した手順と同じである。
　画像処理回路３０６は、グレースケール画像のエッジ検出を行う。例えばエッジ検出法として、ソーベルフィルタ、プリューウィットフィルタおよびラプラシアンフィルタなどの微分フィルタを用いた方法やＣａｎｎｙ法などが知られている。本発明においては、これらの公知の手法を広く用いることができる。
　図１９Ａは、ハフ変換して直線検出を行った結果の一例を示している。図１９Ｂは、反射パターンの高反射領域２００に関連した直線が検出された画像を示している。画像処理回路３０６は、得られた複数のエッジのみの情報を含む画像をハフ変換して直線を同定する。例えばハフ変換には、標準的ハフ変換や確率的ハフ変換（ＰＰＨＴ）などがある。本明細書においては、これら全てを総称してハフ変換と呼ぶ。
　図１９Ｃは、反射パターンの高反射領域２００に関連した直線が検出された他の画像を示している。この画像では、反射パターン全体が画像内に存在せず、３辺のうち一部は画像から切れている。そのような場合でも、コーナ検出法に代えてエッジ検出法を用いれば、正確に反射パターンを検出することができる。
　画像処理回路３０６は、検出（同定）された複数の直線の任意の組み合わせから得られる、高反射領域２００と同一の形状を有する複数のパターンの中から、反射パターンの候補となる複数の候補パターンを抽出する。そして、画像処理回路３０６は、第１の実施形態と同様に、各候補パターンの内側領域の輝度値および内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、複数の候補パターンの中から反射パターンを特徴量に基づいて特定する。
　本実施形態によると、エッジ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。コーナ検出法では正確に反射パターンを検出できない場合でも、正確に反射パターンを検出することができる。
　（第３の実施形態）
　本実施形態は、第１の実施形態および第２の実施形態のハイブリッド型と呼ぶことができる。第３の実施形態による計測システム１００は、再帰性反射材４０は高反射領域２００内にさらに低反射領域２０２を含んだ反射パターンを有している点で、第１の実施形態による計測システム１００とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。
　図２０は、本実施形態による再帰性反射材４０の反射パターンの一例を示している。反射マーカは、高反射領域２００の内側に低反射領域２０２を含み、低反射領域２０１と低反射領域２０２との間に高反射領域２００が存在している。このような反射パターンを有する反射マーカを用いることで、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。
　図２１は、本実施形態による画像処理回路３０６の処理の手順を示している。画像処理回路３０６は、第１および第２の実施形態で説明したコーナ検出法またはエッジ検出法を用いて少なくとも１つのフレーム画像から複数の特徴点を抽出する（ステップＳ３２、Ｓ３５）。複数の特徴点は、コーナ検出法を用いた場合には複数のコーナに相当し、エッジ検出法を用いた場合には複数のエッジに相当する。
　（ステップＳ３６）
　画像処理回路３０６は、複数の特徴点の任意の組み合わせから得られる、高反射領域２００と同一の形状を有する複数のパターンの中から、輝度値の小さい順に反射パターンの候補となる複数の第１候補パターンを抽出する。
　図２２は、低反射領域２０２に対応した画像内の領域の内側領域およびそれを囲む外側領域を示している。図示される内側領域および外側領域の配置は、図１３に示される配置とは逆である。例えば画像処理回路３０６は、複数の特徴点の任意の組み合わせから得られる複数のパターンの中から、各パターンの内側領域および外側領域の各輝度値の平均を算出する。本実施形態では、各第１候補パターンの内側領域の輝度値は外側領域の輝度値よりも低い。この関係に着目して、画像処理回路３０６は、ＲＯＭ３０２に予め保持された閾値と各領域の平均値とを比較することで、それぞれの平均値が閾値以上を満たすパターンを抽出する。その中から、外側領域および内側領域の各輝度値の差が大きい順に複数の第１候補パターンを抽出する。
　（ステップＳ３７）
　画像処理回路３０６は、複数の第１候補パターンにそれぞれ対応する複数の第２候補パターンを特定する。複数の第１候補パターンの各々と１対１で対応した複数の第２候補パターンの各々は、その各第１候補パターンを取り囲む。また各第２候補パターンは高反射領域２００と同一の形状を有している。画像処理回路３０６は、コーナ検出を行う場合、複数の特徴点（コーナ点）から選ばれた３点のうち２点を結ぶ線分が輝度値の高い領域（図２１の外側領域）または輝度値の低い領域（図２１の内側領域）に交わらないように第２候補パターンを抽出する。画像処理回路３０６は、エッジ検出を行う場合、検出された直線が輝度値の高い領域または輝度値の低い領域に交わらないように第２候補パターンを抽出する。
　（ステップＳ３４）
　画像処理回路３０６は、複数の第１候補パターンおよび複数の第２候補パターンの領域に関する情報に基づいて、複数のフレーム画像のうち少なくとも１つにおける反射パターンを特定する。例えば各候補パターンの領域に関する情報は、それらの領域の輝度値や面積の情報であり得る。以下、具体例を説明する。
　画像処理回路３０６は、各第１候補パターンと、複数の第２候補パターンのうちそれに対応した各第２候補パターンとを用いる。画像処理回路３０６は、各第１候補パターンの内側領域の輝度値と各第２候補パターンの内側領域の輝度値との差分に基づいて複数のパターンの中から反射パターンを特定することができる。ただし、各第１候補パターン内の輝度値が低い領域の各頂点の座標は予め分かっているので、各第２候補パターン内の輝度値が高い領域から各第１候補パターンのその領域を除いて各第２候補パターンの内側領域の輝度値を計算する。または、画像処理回路３０６は、各第１候補パターンと、各第１候補パターンの内側領域の面積と各第２候補パターンの内側領域の面積との比率に基づいて複数のパターンの中から反射パターンを特定することもできる。
　本実施形態によると、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。
　本明細書は、以下の項目に記載の計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラムを開示している。
　〔項目１〕
　光を放射する光源と、
　前記光を受けて動画像を生成する撮像装置と、
　前記動画像を利用して被験体の生体活動を計測する画像処理回路と
　を備えた計測システムであって、
　前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
　前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
　前記画像処理回路は、
　　前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定し、
　　前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
　項目１に記載の計測システムによると、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
　〔項目２〕
　前記画像処理回路は、
　　前記コーナ検出法を用いて前記少なくとも１つのフレーム画像から複数のコーナを抽出し、
　　前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
　　各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、項目１に記載の計測システム。
　項目２に記載の計測システムによると、コーナ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。
　〔項目３〕
　前記画像処理回路は、
　　前記エッジ検出法を用いて前記少なくとも１つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、
　　検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
　　各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、項目１に記載の計測システム。
　項目３に記載の計測システムによると、エッジ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。コーナ検出法では正確に反射パターンを検出できない場合でも、正確に反射パターンを検出することができる。
　〔項目４〕
　前記画像処理回路は、前記各候補パターンの前記内側領域の輝度値の平均または分散を前記特徴量として算出する、項目２または３に記載の計測システム。
　項目４に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
　〔項目５〕
　前記画像処理回路は、前記各候補パターンの前記外側領域の輝度値の平均または分散を前記特徴量として算出する、項目２または３に記載の計測システム。
　項目５に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
　〔項目６〕
　前記画像処理回路は、前記各候補パターンの前記内側領域の輝度値の平均と前記外側領域の輝度値の平均との差分、または前記内側領域の輝度値の分散と前記外側領域の輝度値の分散との差分を前記特徴量として算出する、項目２または３に記載の計測システム。
　項目６に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
　〔項目７〕
　前記高反射領域は多角形状を有し、
　前記各候補パターンの前記外側領域は、各々が前記高反射領域に対応した前記内側領域の各辺にそれぞれ対応した複数の分割領域を含み、
　前記画像処理回路は、前記複数の分割領域から選択される２つの分割領域の各輝度値の平均または分散の差分を前記特徴量として算出する、項目２または３に記載の計測システム。
　項目７に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
　〔項目８〕
　前記高反射領域は、第１、第２および第３の辺を有する三角形状の領域であり、前記内側領域は前記高反射領域に対応しており、
　前記各候補パターンの前記外側領域は、前記第１の辺に対応した第１の分割領域、前記第２の辺に対応した第２の分割領域および前記第３の辺に対応した第３の分割領域を含み、
　前記画像処理回路は、前記第１および第２の分割領域の各輝度値の平均または分散の差分、前記第２および第３の分割領域の各輝度値の平均または分散の差分、および前記第１および第３の分割領域の各輝度値の平均または分散の差分の少なくとも１つを前記特徴量として算出する、項目２または３に記載の計測システム。
　項目８に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
　〔項目９〕
　前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している、項目１に記載の計測システム。
　項目９に記載の計測システムによると、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。
　〔項目１０〕
　前記画像処理回路は、
　　前記コーナ検出法または前記エッジ検出法を用いて前記少なくとも１つのフレーム画像から複数の特徴点を抽出し、
　　前記複数の特徴点の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、輝度値の小さい順に前記反射パターンの候補となる複数の第１候補パターンを抽出し、かつ、前記複数の第１候補パターンにそれぞれ対応する複数の第２候補パターンであって、前記複数の第１候補パターンの各々を囲み、前記高反射領域と同一の形状を有する複数の第２候補パターンを抽出し、
　　前記複数の第１候補パターンおよび複数の第２候補パターンの領域に関する情報に基づいて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの前記座標位置を特定する、項目９に記載の計測システム。
　項目１０に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
　〔項目１１〕
　前記画像処理回路は、
　　各第１候補パターンと、前記複数の第２候補パターンのうち前記各第１候補パターンに対応した各第２候補パターンとを用いて、前記各第１候補パターンの内側領域の輝度値と、前記各第２候補パターンの内側領域から前記各第１候補パターンの内側領域を除いた領域の輝度値と、の差分に基づいて前記複数のパターンの中から前記反射パターンを特定する、項目１０に記載の計測システム。
　項目１１に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
　〔項目１２〕
　前記画像処理回路は、
　　各第１候補パターンと、前記複数の第２候補パターンのうち前記各第１候補パターンに対応した各第２候補パターンとを用いて、前記各第１候補パターンの内側領域の面積と前記各第２候補パターンの内側領域の面積との比率に基づいて前記複数のパターンの中から前記反射パターンを特定する、項目１０に記載の計測システム。
　項目１２に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
　〔項目１３〕
　前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、
　前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する、項目１から１２のいずれかに記載の計測システム。
　項目１３に記載の計測システムによると、測定システムのオペレータは正確に反射マーカが認識されていることを表示装置上で確認することができる。
　〔項目１４〕
　（ａ）被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材を配置した前記被験体に向けて光を照射するステップ、
　（ｂ）前記ステップ（ａ）で照射した前記光が前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップ、
　（ｃ）コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記ステップ（ｂ）で生成した前記動画像を構成する前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定するステップ、
　（ｄ）前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップを含む、計測方法。
　項目１４に記載の計測方法によると、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
　〔項目１５〕
　光を放射する光源と、
　前記光を受けて動画像を生成する撮像装置と、
　前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
　前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
　前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
　コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定するステップと、
　前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を前記画像処理回路に実行させる、コンピュータプログラム。
　項目１５に記載のコンピュータプログラムを用いることで、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
　本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。
　１　被験者
　１０　カメラ
　２０　光源
　３０　情報処理装置
　３２　ディスプレイ
　４０　再帰性反射材
　１００　生体活動計測システム
　２００　高反射領域
　２０１、２０２　低反射領域
　２０４Ａ　第１の分割領域
　２０４Ｂ　第２の分割領域
　２０４Ｃ　第３の分割領域
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　ＨＤＤ
　３０５　Ｉ／Ｆ
　３０６　画像処理回路

Claims (7)

  1. 　光を放射する光源と、
    　前記光を受けて動画像を生成する撮像装置と、
    　前記動画像を利用して被験体の生体活動を計測する画像処理回路と
    　を備えた計測システムであって、
    　前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
    　前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
    　前記画像処理回路は、
    　　前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定し、
    　　前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
  2. 　前記画像処理回路は、
    　　前記コーナ検出法を用いて前記少なくとも１つのフレーム画像から複数のコーナを抽出し、
    　　前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
    　　各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、請求項１に記載の計測システム。
  3. 　前記画像処理回路は、
    　　前記エッジ検出法を用いて前記少なくとも１つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、
    　　検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
    　　各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、請求項１に記載の計測システム。
  4. 　前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している、請求項１に記載の計測システム。
  5. 　前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、
    　前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する、請求項１から４のいずれかに記載の計測システム。
  6. 　（ａ）被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材を配置した前記被験体に向けて光を照射するステップ、
    　（ｂ）前記ステップ（ａ）で照射した前記光が前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップ、
    　（ｃ）コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記ステップ（ｂ）で生成した前記動画像を構成する前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定するステップ、
    　（ｄ）前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップを含む、計測方法。
  7. 　光を放射する光源と、
    　前記光を受けて動画像を生成する撮像装置と、
    　前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
    を備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
    　前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
    　前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
    　コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定するステップと、
    　前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
    を前記画像処理回路に実行させる、コンピュータプログラム。
PCT/JP2016/064898 2015-05-20 2016-05-19 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム WO2016186172A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-102726 2015-05-20
JP2015102726A JP6002811B1 (ja) 2015-05-20 2015-05-20 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2016186172A1 true WO2016186172A1 (ja) 2016-11-24

Family

ID=57048650

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064898 WO2016186172A1 (ja) 2015-05-20 2016-05-19 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6002811B1 (ja)
WO (1) WO2016186172A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113796853A (zh) * 2020-06-16 2021-12-17 广州印芯半导体技术有限公司 光学影像比较系统及其比较方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11276443A (ja) * 1998-03-27 1999-10-12 Toshiba Corp 被介護者観測装置及びその方法
JP2003290154A (ja) * 2002-03-29 2003-10-14 Sumitomo Osaka Cement Co Ltd 監視装置
JP2012511707A (ja) * 2008-12-11 2012-05-24 ニューマケアー リミテッド 対象物をモニタリングする方法及び装置
WO2013186696A1 (en) * 2012-06-12 2013-12-19 Koninklijke Philips N.V. System for camera-based vital sign measurement
WO2016009901A1 (ja) * 2014-07-15 2016-01-21 シャープ株式会社 被験体の呼吸に起因する生体活動の計測方法、計測システムおよびコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11276443A (ja) * 1998-03-27 1999-10-12 Toshiba Corp 被介護者観測装置及びその方法
JP2003290154A (ja) * 2002-03-29 2003-10-14 Sumitomo Osaka Cement Co Ltd 監視装置
JP2012511707A (ja) * 2008-12-11 2012-05-24 ニューマケアー リミテッド 対象物をモニタリングする方法及び装置
WO2013186696A1 (en) * 2012-06-12 2013-12-19 Koninklijke Philips N.V. System for camera-based vital sign measurement
WO2016009901A1 (ja) * 2014-07-15 2016-01-21 シャープ株式会社 被験体の呼吸に起因する生体活動の計測方法、計測システムおよびコンピュータプログラム

Also Published As

Publication number Publication date
JP2016214545A (ja) 2016-12-22
JP6002811B1 (ja) 2016-10-05

Similar Documents

Publication Publication Date Title
US10595732B2 (en) Pulse wave detection device and pulse wave detection program
US8964189B2 (en) Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
US9087258B2 (en) Method for counting objects and apparatus using a plurality of sensors
US10242278B2 (en) Device and method for skin detection
US20160253820A1 (en) Device and method for obtaining a vital signal of a subject
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
US20180300538A1 (en) Image processing system, image processing apparatus, image processing method, and image processing program
US11666247B2 (en) Method, device and computer program for capturing optical image data of patient surroundings and for identifying a patient check-up
TW201415415A (zh) 對象物偵測裝置、對象物偵測方法及程式
JP2012203680A (ja) 画像処理装置
JP2016214937A (ja) 計測システムおよびコンピュータプログラム
WO2017047734A1 (ja) 計測装置
US9672422B2 (en) Pupil detection device and pupil detection method
JP5429885B2 (ja) 特徴点追跡方法及び特徴点追跡装置
JP6002811B1 (ja) 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
EP3671541B1 (en) Classification of glints using an eye tracking system
JP6244960B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP6280650B2 (ja) 被験体の呼吸に起因する生体活動の計測方法および計測システム
US20220301204A1 (en) Viewing distance estimation method, viewing distance estimation device, and non-transitory computer-readable recording medium recording viewing distance estimation program
JP2017079811A (ja) 計測システム
JP6185090B2 (ja) 計測システム
WO2016076009A1 (ja) 被験体の呼吸に起因する生体活動の計測システム、および画像処理装置
Pramerdorfer Evaluation of kinect sensors for fall detection
US11019994B2 (en) Visual performance examination device, visual performance examination method, and computer program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796565

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796565

Country of ref document: EP

Kind code of ref document: A1