WO2016147678A1 - バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム - Google Patents

バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム Download PDF

Info

Publication number
WO2016147678A1
WO2016147678A1 PCT/JP2016/050280 JP2016050280W WO2016147678A1 WO 2016147678 A1 WO2016147678 A1 WO 2016147678A1 JP 2016050280 W JP2016050280 W JP 2016050280W WO 2016147678 A1 WO2016147678 A1 WO 2016147678A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement
vital sign
region
target person
depth
Prior art date
Application number
PCT/JP2016/050280
Other languages
English (en)
French (fr)
Inventor
靖和 田中
安川　徹
Original Assignee
ノーリツプレシジョン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノーリツプレシジョン株式会社 filed Critical ノーリツプレシジョン株式会社
Priority to JP2017506108A priority Critical patent/JP6737261B2/ja
Publication of WO2016147678A1 publication Critical patent/WO2016147678A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present invention relates to a vital sign measurement device, a vital sign measurement method, and a vital sign measurement program.
  • Patent Document 1 a method is used in which the subject person's shoulder to the lower chest are photographed, and exhalation and inspiration are measured from the change in image density of the photographed region, thereby calculating the respiratory rate of the subject person.
  • Patent Document 1 a method is used in which the subject person's shoulder to the lower chest are photographed, and exhalation and inspiration are measured from the change in image density of the photographed region, thereby calculating the respiratory rate of the subject person.
  • a two-dimensional image is used to measure vital signs. Therefore, depending on the viewing direction (viewpoint) of the camera relative to the target person, the vital sign of the target person may not be sufficiently reflected in the two-dimensional image. In this case, the vital sign of the target person can be measured. There wasn't.
  • the present invention has been made in consideration of such points, and appropriately measures the vital sign of the target person even if the user does not have special knowledge regarding the measurement of the vital sign. It is an object to provide a system that can be used.
  • the present invention adopts the following configuration in order to solve the above-described problems.
  • the vital sign measurement device is a photographed image obtained by photographing a target person who is a target for measuring vital signs, and includes depth data indicating the depth of each pixel in the photographed image.
  • An image acquisition unit that acquires an image
  • an extraction unit that extracts a person region in which the target person is captured and a reference region in which a reference object is captured in the acquired captured image, and the extracted person region and the reference region
  • a measurement position specifying unit specifies the position of the measurement area for measuring the vital sign on the body of the target person according to the relative positional relationship with the reference object in real space; Using the depth of each pixel included in the region in the captured image corresponding to the measurement region, the variation of the measurement region in the real space is measured, and the measured real space of the measurement region Based on variations in, and a vital signs measuring unit for measuring the vital signs indicated body part of the target person including the measurement region.
  • the captured image obtained for measuring the vital sign of the target person includes depth data indicating the depth of each pixel.
  • the depth of each pixel indicates the depth from the photographing apparatus to the subject. More specifically, the depth of the subject is acquired with respect to the surface of the subject. That is, if the depth data is used, the position of the subject surface in the real space can be specified. Therefore, if this depth data is used, the state of the subject in the real space (three-dimensional space) can be analyzed regardless of the viewing direction (viewpoint) of the photographing apparatus with respect to the target person.
  • the vital sign can be measured from the acquired photographed image without depending on the viewing direction (viewpoint) of the photographing apparatus with respect to the target person. That is, according to the above configuration, since the degree of freedom of installation conditions of the imaging device when measuring vital signs is increased, even if a user who does not have special knowledge places the imaging device, the vitals of the target person A photographed image capable of measuring a signature can be acquired.
  • the vital sign measurement area is specified by the relative positional relationship with the reference object. Therefore, the measurement area for measuring vital signs can be automatically specified regardless of the user's manual operation. Further, in the above configuration, depth data is used for specifying the measurement region. That is, in the real space, the position of the vital sign measurement region is specified based on the position of the reference object. Therefore, according to the said structure, the designation
  • the vital sign used as a measuring object may be suitably selected according to embodiment.
  • the vital signs to be measured are, for example, respiratory rate, heart rate, and the like.
  • standard thing should just become a reference
  • the relative positional relationship between the reference object and the vital sign measurement area can be appropriately set in advance according to the vital sign to be measured.
  • the measurement position specifying unit includes a plurality of candidate areas for the measurement area according to a relative positional relationship with the reference object in real space.
  • the position of the measurement region may be specified on the body of the target person by measuring the variation of the target region and selecting the candidate region having the largest variation in the measured real space as the measurement region.
  • a candidate area that is most fluctuating in real space, that is, a candidate area with the largest movement of vital signs is selected as a measurement area from among a plurality of candidate areas for the vital sign measurement area. The Therefore, the vital sign of the target person can be measured more easily and accurately.
  • the reference object may be a head of the target person, and the measurement position specifying unit is relative to the head in real space.
  • the position of the measurement region may be specified within the thorax of the target person by a simple positional relationship.
  • the relative positional relationship between the head and thorax is limited to some extent, and large individual differences are unlikely to occur. Therefore, according to the said structure, the position of the rib cage which measures a vital sign can be pinpointed comparatively correctly, and, thereby, a vital sign can be measured appropriately.
  • the target person may be present on a bed, and the reference object may be a headboard of the bed.
  • specification part may specify the position of the said measurement area
  • the vital sign measurement unit is configured such that the respiratory rate of the target person is based on a change in the real space of the measurement region specified in the thorax. And at least one of the heart rate may be measured as a vital sign indicated by the rib cage. According to this configuration, at least one of the respiratory rate and the heart rate can be acquired as the vital sign of the target person.
  • an information processing system that realizes each of the above configurations, an information processing method, or a program may be used.
  • it may be a storage medium that can be read by a computer, a device, a machine or the like in which such a program is recorded.
  • the computer-readable recording medium is a medium that stores information such as programs by electrical, magnetic, optical, mechanical, or chemical action.
  • the information processing system may be realized by one or a plurality of information processing devices.
  • the vital sign measurement method is a captured image in which a computer captures a target person whose vital sign is to be measured, and depth data indicating the depth of each pixel in the captured image. Included in the acquired person image and the reference area, the step of extracting the person area in which the target person is photographed and the reference area in which the reference object is photographed.
  • each pixel specifying the position of the measurement area for measuring the vital sign on the body of the target person based on the relative positional relationship with the reference object in real space; and the measurement area Measuring the variation of the measurement region in real space using the depth of each pixel included in the region in the captured image corresponding to Based on the variations in the real space of the serial measurement region, an information processing method for executing the steps of measuring the vital signs indicated body part of the target person including the measurement region.
  • the vital sign measurement program is a photographed image obtained by photographing a target person to be measured for vital signs on a computer, and indicates the depth of each pixel in the photographed image.
  • the present invention it is possible to provide a system capable of appropriately measuring a vital sign of a target person even for a user who does not have special knowledge regarding the measurement of vital signs.
  • FIG. 1 schematically illustrates a scene where the present invention is applied.
  • FIG. 2 illustrates a hardware configuration of the vital sign measurement apparatus according to the embodiment.
  • FIG. 3 illustrates the relationship between the depth acquired by the camera according to the embodiment and the subject.
  • FIG. 4 illustrates a functional configuration of the vital sign measurement apparatus according to the embodiment.
  • FIG. 5 illustrates a processing procedure relating to vital sign measurement by the vital sign measurement apparatus according to the embodiment.
  • FIG. 6 illustrates a captured image acquired by the camera according to the embodiment.
  • FIG. 7 illustrates the coordinate relationship in the captured image according to the embodiment.
  • FIG. 8 illustrates the positional relationship between an arbitrary point (pixel) of the captured image and the camera in the real space according to the embodiment.
  • FIG. 9 schematically illustrates the positional relationship between the reference object (head) and the measurement region (chest) according to the embodiment.
  • FIG. 10 schematically illustrates a scene where the measurement region according to the embodiment is displaced.
  • FIG. 11 schematically illustrates the variation of the measurement region to be measured.
  • FIG. 12A schematically illustrates changes in the rib cage due to respiration.
  • FIG. 12B schematically illustrates the variation of the rib cage due to the heartbeat.
  • FIG. 13 schematically illustrates the positional relationship between a reference object (headboard) and a measurement region (thorax) according to another embodiment.
  • FIG. 14 schematically illustrates a measurement region specifying method according to another embodiment.
  • this embodiment will be described with reference to the drawings.
  • this embodiment described below is only an illustration of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be adopted as appropriate.
  • data appearing in the present embodiment is described in a natural language, more specifically, it is specified by a pseudo language, a command, a parameter, a machine language, or the like that can be recognized by a computer.
  • FIG. 1 shows an example of a scene where the vital sign measuring apparatus 1 according to the present embodiment is used.
  • the vital sign measurement apparatus 1 according to the present embodiment is an information processing apparatus that measures a vital sign of a target person by photographing the target person with a camera 2 and analyzing a captured image 3 obtained thereby. Therefore, the vital sign measuring apparatus 1 according to the present embodiment can be widely used in the scene of measuring the vital sign of the target person.
  • the vital sign measuring apparatus 1 acquires a photographed image 3 obtained by photographing a target person whose vital sign is to be measured from the camera 2.
  • the target person whose vital sign is to be measured is sleeping on the bed, and the camera 2 is installed to photograph the target person in such a state.
  • the state of the target person is not limited to such a state, and may be appropriately selected according to the embodiment.
  • the camera 2 is configured to be able to acquire the depth corresponding to each pixel in the captured image 3.
  • the camera 2 includes a depth sensor (a depth sensor 21 described later) that measures the depth of the subject so that the depth of each pixel can be acquired.
  • the vital sign measuring apparatus 1 is connected to such a camera 2 and acquires a photographed image 3 obtained by photographing a target person whose vital sign is to be measured.
  • the acquired captured image 3 includes depth data indicating the depth obtained for each pixel, as illustrated in FIG.
  • the captured image 3 only needs to include data indicating the depth of the subject within the imaging range, and the data format can be appropriately selected according to the embodiment.
  • the captured image 3 may be data (for example, a depth map) in which the depth of the subject within the imaging range is two-dimensionally distributed.
  • the captured image 3 may include an RGB image together with the depth data.
  • the captured image 3 may be composed of a moving image or a plurality of still images as long as vital signs can be measured.
  • the vital sign measuring apparatus 1 extracts a person area in which the target person is photographed and a reference area in which the reference object is photographed in the acquired photographed image 3.
  • the reference object is a reference for specifying a vital sign measurement area, which will be described later, and is, for example, the head of the target person, the headboard of the bed where the target person is sleeping, or the like.
  • the reference material can be appropriately selected according to the embodiment.
  • the captured image 3 includes depth data indicating the depth of each pixel. Therefore, the vital sign measurement apparatus 1 can specify the position of the subject in the captured image 3 in the real space by using this depth data. More specifically, the depth of the subject is acquired with respect to the surface of the subject. That is, the vital sign measuring apparatus 1 can specify the position of the subject surface in the real space by referring to the depth of each pixel indicated by the depth data.
  • the vital sign measurement apparatus 1 refers to the depth of each pixel included in the extracted person area and the reference area, and determines the vital sign on the body of the target person based on the relative positional relationship with the reference object in the real space.
  • the position of the measurement area for measuring is specified.
  • the relative positional relationship between the reference object and the measurement region in the real space can be set in advance according to the reference object to be used. Therefore, the vital sign measurement device 1 specifies the positions of the target person and the reference object by referring to the depth of each pixel included in the extracted person area and the reference area, and uses the specified reference object position as a reference.
  • the position of the measurement region can be specified on the person's body.
  • the vital sign measurement apparatus 1 measures the variation of the measurement area in the real space using the depth of each pixel included in the area in the captured image 3 corresponding to the measurement area. And the vital sign measuring apparatus 1 measures the vital sign which the body part of the subject person containing a measurement area
  • the measurement region is set, for example, in the rib cage.
  • the vital sign measuring apparatus 1 measures the change of the thorax in the real space within the measurement region, and measures the respiratory rate, the heart rate, etc. as the vital signs indicated by the thorax based on the measured change of the thorax. can do.
  • the vital sign of the target person is measured based on the captured image 3 including the depth data indicating the depth of each pixel.
  • the position of the subject surface in real space can be specified by using the depth data. Therefore, if this depth data is used, the state of the target person in the real space (three-dimensional space) can be analyzed regardless of the viewing direction (viewpoint) of the camera 2 with respect to the target person.
  • the vital sign can be measured from the acquired captured image 3 without depending on the viewing direction (viewpoint) of the camera 2 with respect to the target person. That is, according to this embodiment, the freedom degree of the installation conditions of the camera 2 at the time of measuring a vital sign increases, and the range of the installation position of the camera 2 which can measure the target vital sign is expanded. Therefore, even when a user who does not have special knowledge places the camera 2, the captured image 3 that can measure the vital sign of the target person can be acquired.
  • the vital sign measurement region is specified by the relative positional relationship with the reference object. Therefore, it is possible to automatically specify the measurement region for measuring vital signs, regardless of the user's manual operation.
  • depth data is used for specifying the measurement region. Specifically, by using the depth data, the vital sign measurement region is specified in real space with reference to the position of the reference object. Therefore, according to the present embodiment, it is possible to appropriately specify the measurement region for measuring vital signs in real space.
  • the arrangement location of the vital sign measurement device 1 can be appropriately determined according to the embodiment as long as the captured image 3 can be acquired from the camera 2.
  • the vital sign measurement device 1 may be disposed so as to be close to the camera 2 as illustrated in FIG.
  • the vital sign measuring apparatus 1 may be connected to the camera 2 via a network, and may be arranged at a place completely different from the camera 2.
  • FIG. 2 illustrates a hardware configuration of the vital sign measurement apparatus 1 according to the present embodiment.
  • the vital sign measuring apparatus 1 stores a control unit 11 including a CPU, a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, a program 5 executed by the control unit 11, and the like.
  • a storage unit 12 a touch panel display 13 for displaying and inputting images, a speaker 14 for outputting sound, an external interface 15 for connecting to an external device, a communication interface 16 for communicating via a network,
  • the computer 17 is electrically connected to a drive 17 for reading a program stored in the storage medium 6.
  • the communication interface and the external interface are described as “communication I / F” and “external I / F”, respectively.
  • the components can be omitted, replaced, and added as appropriate according to the embodiment.
  • the control unit 11 may include a plurality of processors.
  • the touch panel display 13 may be replaced with an input device and a display device that are separately connected independently.
  • the speaker 14 may be omitted.
  • the speaker 14 may be connected to the personal identification device as an external device, not as an internal device of the vital sign measurement device 1.
  • the vital sign measuring apparatus 1 may incorporate a camera 2.
  • the vital sign measurement device 1 may include a plurality of external interfaces 15 and may be connected to a plurality of external devices.
  • the camera 2 is connected to the vital sign measuring apparatus 1 via the external interface 15 and photographs a target person whose vital signs are to be measured.
  • the installation location of the camera 2 is not particularly limited as long as the target person can be photographed, and may be appropriately selected according to the embodiment.
  • the camera 2 has a headboard on the bed at a height slightly above the bed surface on the lower end side of the bed so that a subject person sleeping on the bed can be photographed. It is arranged facing the direction.
  • the camera 2 includes a depth sensor 21 for measuring the depth of the subject in order to capture the captured image 3 including depth data.
  • the type and measurement method of the depth sensor 21 may be appropriately selected according to the embodiment.
  • the depth sensor 21 may be a sensor of TOF (TimeFOf Flight) method or the like.
  • the configuration of the camera 2 is not limited to such an example as long as the depth can be acquired, and can be appropriately selected according to the embodiment.
  • the camera 2 may be a stereo camera so that the depth of the subject within the shooting range can be specified. Since the stereo camera shoots the subject within the shooting range from a plurality of different directions, the depth of the subject can be recorded. Further, the camera 2 may be replaced with the depth sensor 21 as long as the depth of the subject within the shooting range can be specified.
  • the depth sensor 21 may be an infrared depth sensor that measures the depth based on infrared irradiation so that the depth can be acquired without being affected by the brightness of the shooting location.
  • relatively inexpensive imaging apparatuses including such an infrared depth sensor include Kinect from Microsoft, Xtion from ASUS, and CARMINE from PrimeSense.
  • FIG. 3 shows an example of a distance that can be handled as the depth according to the present embodiment.
  • the depth represents the depth of the subject.
  • the depth of the subject may be expressed by, for example, a straight line distance A between the camera 2 and the object, or a perpendicular distance B from the horizontal axis with respect to the subject of the camera 2. It may be expressed as
  • the depth according to the present embodiment may be the distance A or the distance B.
  • the distance B is treated as the depth.
  • the distance A and the distance B can be converted into each other based on, for example, the three-square theorem. Therefore, the following description using the distance B can be applied to the distance A as it is.
  • the vital sign measuring apparatus 1 according to the present embodiment can measure vital signs by using such a depth.
  • the storage unit 12 stores the program 5.
  • This program 5 is a program for causing the vital sign measurement apparatus 1 to execute each process related to the measurement of vital signs, which will be described later, and corresponds to the “vital sign measurement program” of the present invention.
  • the program 5 may be recorded on the storage medium 6.
  • the storage medium 6 stores information such as a program by an electrical, magnetic, optical, mechanical, or chemical action so that information such as a program recorded by a computer or other device or machine can be read. It is a medium to do.
  • the storage medium 6 corresponds to the “storage medium” of the present invention.
  • 2 illustrates a disk-type storage medium such as a CD (Compact Disk) or a DVD (Digital Versatile Disk) as an example of the storage medium 6.
  • the type of the storage medium 6 is not limited to the disk type and may be other than the disk type. Examples of the storage medium other than the disk type include a semiconductor memory such as a flash memory.
  • a vital sign measuring apparatus 1 may be, for example, an apparatus designed exclusively for the service to be provided, or a general-purpose apparatus such as a PC (Personal Computer) or a tablet terminal. Furthermore, the vital sign measuring apparatus 1 may be implemented by one or a plurality of computers.
  • FIG. 4 illustrates a functional configuration of the vital sign measurement apparatus 1 according to the present embodiment.
  • the control unit 11 of the vital sign measurement apparatus 1 expands the program 5 stored in the storage unit 12 in the RAM. And the control part 11 interprets and runs the program 5 expand
  • the vital sign measurement device 1 functions as a computer including the image acquisition unit 51, the extraction unit 52, the measurement position specifying unit 53, and the vital sign measurement unit 54.
  • the image acquisition unit 51 acquires the captured image 3 captured by the camera 2.
  • the acquired captured image 3 includes depth data indicating the depth of each pixel.
  • the position of the subject in the captured image 3 in the real space more specifically, the position of the subject surface in the real space can be specified.
  • the extraction unit 52 extracts a person area in which the target person is photographed and a reference area in which the reference object is photographed in the acquired photographed image 3.
  • the measurement position specifying unit 53 refers to the depth of each pixel included in the extracted person area and the reference area, and measures the vital sign on the body of the target person based on the relative positional relationship with the reference object in the real space. The position of the measurement area to be specified is specified.
  • the vital sign measurement unit 54 measures the variation of the measurement area in the real space using the depth of each pixel included in the area in the captured image 3 corresponding to the measurement area. Furthermore, the vital sign measurement apparatus 1 measures the vital sign indicated by the body part of the target person including the measurement area based on the fluctuation of the measured measurement area in the real space.
  • FIG. 5 illustrates a processing procedure related to the measurement of vital signs by the vital sign measurement apparatus 1.
  • the processing procedure related to the measurement of vital signs described below corresponds to the “vital sign measurement method” of the present invention.
  • the processing procedure related to the vital sign measurement described below is merely an example, and each processing may be changed as much as possible. Further, in the processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.
  • Step S101 In step S ⁇ b> 101, the control unit 11 functions as the image acquisition unit 51 and acquires the captured image 3 captured by the camera 2. Then, after acquiring the captured image 3, the control unit 11 advances the processing to the next step S102.
  • the camera 2 includes a depth sensor 21. Therefore, the captured image 3 acquired in step S101 includes depth data indicating the depth of each pixel measured by the depth sensor 21.
  • the control unit 11 acquires the captured image 3 illustrated in FIG. 6 as the captured image 3 including the depth data.
  • FIG. 6 shows an example of the captured image 3 including depth data.
  • the captured image 3 illustrated in FIG. 6 is an image in which the gray value of each pixel is determined according to the depth of each pixel.
  • a black pixel is closer to the camera 2.
  • a white pixel is farther from the camera 2.
  • the control unit 11 can specify the position of each pixel in the real space. That is, the control unit 11 can specify the position in the three-dimensional space (real space) of the subject captured in each pixel from the coordinates (two-dimensional information) and the depth of each pixel in the captured image 3. .
  • FIGS. 7 and 8 a calculation example in which the control unit 11 specifies the position of each pixel in the real space will be described with reference to FIGS. 7 and 8.
  • FIG. 7 schematically illustrates the coordinate relationship in the captured image 3.
  • FIG. 8 schematically illustrates a positional relationship between an arbitrary pixel (point s) of the captured image 3 and the camera 2 in the real space. 7 corresponds to a direction perpendicular to the paper surface of FIG. That is, the length of the captured image 3 shown in FIG. 8 corresponds to the length in the vertical direction (H pixels) illustrated in FIG. Further, the length in the horizontal direction (W pixels) illustrated in FIG. 7 corresponds to the length in the direction perpendicular to the paper surface of the captured image 3 that does not appear in FIG.
  • the coordinates of an arbitrary pixel (point s) of the captured image 3 are (x s , y s ), the horizontal field angle of the camera 2 is V x , and the vertical direction Let the angle of view be V y .
  • the number of pixels in the horizontal direction of the captured image 3 is W
  • the number of pixels in the vertical direction is H
  • the coordinates of the center point (pixel) of the captured image 3 are (0, 0).
  • the control unit 11 can acquire information indicating the angle of view (V x , V y ) of the camera 2 from the camera 2. Further, the control unit 11 may acquire information indicating the angle of view (V x , V y ) of the camera 2 based on a user input or may be acquired as a preset setting value. Further, the control unit 11 can acquire the coordinates (x s , y s ) of the point s and the number of pixels (W ⁇ H) of the captured image 3 from the captured image 3. Furthermore, the control unit 11 can acquire the depth Ds of the point s by referring to the depth data included in the captured image 3.
  • the control unit 11 can specify the position of each pixel (point s) in the real space by using these pieces of information. For example, the control unit 11 performs vector S (S x , S y , S z) from the camera 2 to the point s in the camera coordinate system illustrated in FIG. , 1) can be calculated. Thereby, the position of the point s in the two-dimensional coordinate system in the captured image 3 and the position of the point s in the camera coordinate system can be mutually converted.
  • the vector S is a vector of a three-dimensional coordinate system centered on the camera 2.
  • the camera 2 may be inclined with respect to a horizontal plane (ground). That is, the camera coordinate system may be tilted from the world coordinate system of a three-dimensional space with respect to the horizontal plane (ground). Therefore, the control unit 11 applies the projective transformation using the roll angle, pitch angle ( ⁇ in FIG. 8), and yaw angle of the camera 2 to the vector S, so that the vector S of the camera coordinate system is converted to the world coordinate system. And the position of the point s in the world coordinate system may be calculated.
  • Each of the camera coordinates and the world coordinates is a coordinate system representing a real space. In this way, the control unit 11 can specify the position of the subject in the captured image 3 in the real space by using the depth data.
  • the control unit 11 acquires a moving image or a plurality of still images for a predetermined time as the captured image 3 so that the vital sign of the target person can be measured. Thereby, a vital sign for a predetermined time appears in the acquired captured image 3.
  • the control unit 11 measures the vital signs appearing within a predetermined time by executing the processing of steps S102 to S105 described later on the acquired captured image 3 at the stage of acquiring the captured image 3. .
  • the value of the predetermined time serving as a reference for the time for measuring vital signs may be set as appropriate according to the embodiment.
  • the control unit 11 may execute at least a part of the processing from steps S102 to S105 described later on the acquired frame at the stage of acquiring a part of the frames constituting the captured image 3.
  • control unit 11 may acquire the captured image 3 in synchronization with the video signal of the camera 2 in order to monitor the vital sign of the target person. Then, the control unit 11 may immediately execute the captured image 3 acquired in steps S102 to S105 described later.
  • the vital sign measuring apparatus 1 can perform real-time image processing by continuously executing such operations continuously, and monitor vital signs of a target person existing in the shooting range of the camera 2 in real time. it can.
  • Step S102 Returning to FIG. 5, in the next step S ⁇ b> 102, the control unit 11 functions as the extraction unit 52, and extracts the person area in which the target person is captured and the reference area in which the reference object is captured in the captured image 3 acquired in step S ⁇ b> 101. . Then, after extracting the person area and the reference area from the captured image 3, the control unit 11 advances the processing to the next step S103.
  • the reference object is a reference for specifying the vital sign measurement area, and is, for example, the head of the target person, the edge of the bed, the headboard of the bed, or the like.
  • the reference object may be a part of the body of the target person, or may be another object. Further, the reference object may not be independent as one individual, such as a part of the headboard.
  • the reference material can be appropriately selected according to the embodiment.
  • the head is adopted as the reference object. Therefore, in step S102, the control unit 11 extracts a person area and a head area (reference area).
  • control unit 11 may extract the person region and the reference region in the captured image 3 by performing image analysis such as pattern detection and graphic element detection based on the shape of the target person and the head.
  • the body and head of the object are moving in real space. Therefore, the person area and the reference area move in the captured image 3. Such a moving area can be extracted by the background subtraction method. Therefore, the control unit 11 may extract the moving area as the person area and the reference area based on the background difference method.
  • the control unit 11 acquires a background image used for the background difference method.
  • This background image may be acquired by an arbitrary method, and is set as appropriate according to the embodiment.
  • the control unit 11 may acquire a captured image before the target person enters the shooting range of the camera 2, in other words, a captured image without the target person as a background image.
  • the control part 11 calculates the difference of the picked-up image 3 acquired at the time of the said step S101, and a background image, and extracts the foreground area
  • This foreground region is a region where a change has occurred from the background image, and is a region where a moving object (moving object) is captured.
  • the control unit 11 may recognize the foreground area as a person area. Then, the control unit 11 may extract a reference region (head region) from the foreground region by pattern detection or the like.
  • the process for extracting the foreground area is merely a process for calculating the difference between the captured image 3 and the background image. Therefore, according to the process, the control unit 11 (the vital sign measurement apparatus 1) can narrow the range in which the person area and the reference area are detected without using advanced image processing. Therefore, according to the processing, the processing load in step S102 can be reduced.
  • the background subtraction method applicable to the present embodiment is not limited to the above example.
  • Other types of background subtraction methods include, for example, a method of separating the background and the foreground using three different images, and a method of separating the background and the foreground by applying a statistical model. . With these methods, the control unit 11 may extract the person region and the reference region.
  • Step S103 In the next step S103, the control unit 11 functions as the measurement position specifying unit 53, refers to the depth of each pixel included in the person region and the reference region extracted in step S102, and is relative to the reference object in the real space. The position of the measurement region where the vital sign is measured is specified on the body of the target person based on the specific positional relationship. And the control part 11 advances a process to the following step S104, after specifying the position of a measurement area
  • the measurement area may be set at an arbitrary position on the target person's body according to the type of vital sign to be measured. Further, the relative positional relationship between the reference object and the measurement region can be appropriately set according to the type of the reference object, the body part where the measurement region is set, and the like.
  • the control unit 11 specifies the position of the measurement region within the thorax of the target person based on the relative positional relationship with the head in real space. For example, as illustrated in FIG. 9, the control unit 11 can specify the position of the measurement region within the thorax of the target person.
  • FIG. 9 schematically illustrates the positional relationship between the measurement region 31 set in the thorax and the head.
  • the relative positional relationship between the head and thorax is limited to some extent, and large individual differences are unlikely to occur. Therefore, as a relative positional relationship between the head and the measurement region 31 set in the thorax, a ratio between the size R1 of the head and the distance R2 from the lower end of the head to the measurement region 31 set in the thorax is It may be determined.
  • the control unit 11 calculates the head size R1 using the depth of each pixel included in the reference region extracted in step S102. Next, the control unit 11 calculates a distance R2 from the lower end of the head to the measurement region 31 from the set ratio and the calculated head size R1.
  • the control unit 11 recognizes the position of the body surface of the target person based on the depth of each pixel included in the person area. Subsequently, the control unit 11 specifies the position of the line L1 in the left-right direction at the distance R2 downward from the lower end of the head on the recognized body surface. And the control part 11 specifies the area
  • the ratio between the size R1 of the head and the distance R2 from the lower end of the head to the measurement region 31 may be appropriately set according to the embodiment.
  • the measurement region 31 may not be designated at the center of the body, and may be designated at the right side or the left side of the body.
  • the relative positional relationship between the head and the measurement region 31 is not limited to the example of such a ratio of sizes, and may be appropriately set according to the embodiment.
  • the value of the distance R2 may be directly given.
  • control unit 11 may set the range of the measurement region 31 so that one pixel in the captured image 3 corresponds to the measurement region.
  • the size of the measurement region 31 is preferably set so that the region in the captured image 3 corresponding to the measurement region 31 includes a plurality of pixels.
  • the shape of the measurement region 31 is a rectangular shape.
  • the shape of the measurement region 31 is not limited to such an example, and may be appropriately selected according to the embodiment.
  • Step S104 Returning to FIG. 5, in the next step S ⁇ b> 104, the control unit 11 functions as the vital sign measurement unit 54, and uses the depth of each pixel included in the region in the captured image 3 corresponding to the measurement region specified in step S ⁇ b> 103. Then, the fluctuation of the measurement area in the real space is measured. And after measuring the fluctuation
  • the depth of each pixel indicates the position of the subject surface in real space.
  • the captured image 3 acquired in step S101 is a moving image for a predetermined time or a plurality of still images. Therefore, the control part 11 can measure the fluctuation
  • FIG. 10 schematically illustrates a scene where the measurement region 31 is displaced.
  • FIG. 11 schematically illustrates the variation of the measurement region 31 to be measured.
  • the control unit 11 tracks the measurement region 31 in the captured image 3 based on, for example, an optical flow. Then, as illustrated in FIG. 10, the control unit 11 refers to the depth of each pixel GA included in the region in the captured image 3 corresponding to the measurement region 31, so that the real space of each pixel GA is The displacement at can be measured.
  • the direction of displacement to be measured is not particularly limited, and may be set as appropriate according to the embodiment. For example, the control unit 11 may measure the displacement of the body in the front-rear direction.
  • the depth of each pixel GA may include an error generated by the depth sensor 21. Therefore, the control unit 11 calculates the average value of the measured displacement of the pixel GA, and sets the calculated average value as the displacement in the real space of the measurement region 31. As a result, an error that may occur in each pixel GA is canceled, and the displacement of the measurement region 31 can be measured with high accuracy.
  • FIG. 10 nine pixels GA are illustrated. In this case, the control unit 11 measures the displacement of the nine pixels GA and calculates an average value of the measured displacements of the nine pixels GA. Thereby, the control unit 11 can obtain the displacement of the measurement region 31.
  • control part 11 plots the measured displacement of the measurement area
  • the data format indicating the variation of the measurement region 31 is not limited to the graph format illustrated in FIG. 11, and may be, for example, the above-described array of displacements.
  • the control unit 11 can measure the change in the thorax as exemplified in the graph of FIG. 11 by this step S104.
  • Step S105 In the next step S105, the control unit 11 functions as the vital sign measurement unit 54, and based on the change in the real space of the measurement region measured in step S104, the vital sign indicated by the body part of the target person including the measurement region Measure. Thereby, the processing according to this operation example is completed.
  • the type of vital sign to be measured may be appropriately determined according to the body part that sets the measurement region.
  • step S104 the variation of the measurement region 31 specified in the thorax is measured. Therefore, in this step S105, the control unit 11 performs a vital sign indicating at least one of the respiration rate and the heart rate of the target person based on the change in the real space of the measurement region 31 specified in the thorax. Measure as Hereinafter, the vital signs indicated by the rib cage will be described in detail with reference to FIGS. 12A and 12B.
  • FIG. 12A schematically illustrates changes in the rib cage due to respiration.
  • FIG. 12B schematically illustrates changes in the rib cage due to heartbeat.
  • Thoracic fluctuations are assumed to occur when the subject breathes and the heart beats. That is, it is assumed that the fluctuation (FIG. 11) of the measurement region 31 measured in step S104 is composed of fluctuation due to respiration (FIG. 12A) and fluctuation due to heartbeat (FIG. 12B).
  • the fluctuation due to respiration and the fluctuation due to heartbeat have periodicity.
  • the fluctuations due to respiration and the fluctuations due to the heartbeat have different periods and amplitudes (displacement magnitudes).
  • the fluctuation due to respiration has a larger amplitude and a slower cycle than the fluctuation due to the heartbeat.
  • the variation of the measurement region 31 is configured by merging the variation due to respiration and the variation due to heartbeat with different periods and amplitudes.
  • the control unit 11 performs frequency analysis on the variation (FIG. 11) of the measurement region 31 measured in step S104 by Fourier transform or the like. Thereby, the control unit 11 can divide the fluctuation (FIG. 11) of the measurement region 31 measured in step S104 into fluctuation due to respiration (FIG. 12A) and fluctuation due to heartbeat (FIG. 12B). And the control part 11 can measure the respiration rate of a subject person by measuring the period of the fluctuation
  • the fluctuation due to respiration and the fluctuation due to heartbeat are represented by a graph with a constant period and amplitude.
  • the fluctuation due to respiration and the fluctuation due to heartbeat are not limited to such an example, and the period and amplitude may change.
  • the respiration rate indicates the number of respirations per unit time.
  • the heart rate indicates the number of heart beats per unit time. The time for measuring the number of breaths and the number of heartbeats may be set as appropriate according to the embodiment.
  • control unit 11 may measure only one of respiratory rate and heart rate. Furthermore, when measuring only the respiration rate, in addition to the above frequency analysis, the control unit 11 measures the respiration rate by measuring the number of peaks in the fluctuation of the measurement region 31 illustrated in FIG. Also good.
  • the method for measuring various vital signs is not limited to these methods, and may be appropriately selected according to the type of vital signs.
  • the vital sign measurement device 1 measures the vital sign of the target person based on the captured image 3 including the depth data indicating the depth of each pixel. As described above, since the depth of each pixel is acquired with respect to the subject surface, the position of the subject surface in real space can be specified by using the depth data.
  • the acquired captured image 3 can be obtained without depending on the viewing direction (viewpoint) of the camera 2 with respect to the target person.
  • Vital signs can be measured. That is, according to this embodiment, the freedom degree of the installation conditions of the camera 2 at the time of measuring a vital sign increases, and the range of the installation position of the camera 2 which can measure the target vital sign is expanded.
  • the bed is arranged on the lower end side of the bed toward the headboard.
  • the vital sign measuring apparatus 1 can measure the vital sign of the target person.
  • the camera 2 may be arranged so that the target person falls within the shooting range, and the camera 2 may be arranged on the side frame side or the headboard side of the bed. Further, the camera 2 may be arranged away from the bed.
  • the range of the installation position of the camera 2 which can measure the target vital sign is expanded. Therefore, even when a user who does not have special knowledge places the camera 2, the captured image 3 that can measure the vital sign of the target person can be acquired.
  • the vital sign measurement area is specified based on the relative positional relationship with the reference object. Therefore, it is possible to automatically specify the measurement region for measuring vital signs, regardless of the user's manual operation.
  • depth data is used for specifying the measurement region.
  • the vital sign measurement region is specified on the basis of the position of the reference object in the real space by using the depth data. Therefore, according to the present embodiment, it is possible to appropriately specify the measurement region for measuring vital signs in real space.
  • the vital sign measurement apparatus 1 adopts the head of the target person as a reference object, and specifies the position of the measurement region in the thorax based on the position of the head. .
  • the relative positional relationship between the head and the rib cage is limited to some extent, and large individual differences are unlikely to occur. Therefore, according to this embodiment, the position of the rib cage for measuring vital signs can be specified relatively accurately, and thereby vital signs can be measured appropriately.
  • the vital sign measuring apparatus 1 measures at least one of the respiratory rate and the heart rate as a vital sign indicated by the rib cage. Therefore, in this embodiment, this respiration rate and heart rate can each be measured appropriately.
  • the vital sign measurement apparatus 1 can measure a vital sign of a target person existing within the shooting range of the camera 2. Therefore, the vital sign measurement apparatus 1 according to the present embodiment can be used in various systems that involve vital sign measurement.
  • the vital sign measuring apparatus 1 can be used in a system for monitoring a vital sign of a person being watched over.
  • the vital sign measurement device 1 notifies the user that the person being watched is in an abnormal state via the touch panel display 13, the speaker 14, and the like. May be performed.
  • the vital sign is in an abnormal state, for example, when the respiratory rate is higher than a predetermined value and the person being watched is assumed to be in an overbreathing state, the respiratory rate and the heart rate are almost zero. There is a case where it is assumed that the person being watched over is in a cardiac arrest state.
  • the control unit 11 specifies the position of the measurement region 31 in the thorax based on the position of the head in step S103.
  • the reference object for specifying the position of the measurement region 31 set in the rib cage does not have to be limited to the head, and may be appropriately selected according to the embodiment.
  • the target person exists on the bed. Therefore, for example, as illustrated in FIG. 13, a bed headboard may be employed as the reference object.
  • FIG. 13 schematically illustrates the positional relationship between the measurement region 31 set in the rib cage and the headboard.
  • a ratio between the bed size R3 and the distance R4 from the headboard to the measurement region is determined. May be.
  • the bed size R3 may be given in advance as a set value, may be calculated by image analysis of the captured image 3, or may be input by the user.
  • the control part 11 can pinpoint the position of the measurement area
  • the relative positional relationship between the headboard of the bed and the thorax of the target person is limited to some extent, Large individual differences are unlikely to occur. Therefore, according to the modified example, the position of the rib cage for measuring vital signs can be relatively accurately specified based on the position of the headboard, and thereby the vital signs can be appropriately measured. .
  • the ratio between the bed size R3 and the distance R4 from the headboard to the measurement area may be set as appropriate according to the embodiment.
  • the measurement region 31 may not be designated at the center of the body, and may be designated at the right side or the left side of the body.
  • the relative positional relationship between the headboard and the measurement region 31 is not limited to the example of such a ratio of sizes, and may be set as appropriate according to the embodiment.
  • the value of the distance R4 may be directly given.
  • the body part for setting the measurement region is not limited to the rib cage, and may be appropriately selected according to the embodiment. Even if the body part and the reference object for setting the measurement region are changed from the above embodiment, the relative positional relationship between the measurement region and the reference object can be explained in the same manner as in the above embodiment. Therefore, even if the body part and the reference object for setting the measurement region are changed from the above embodiment, various vital signs can be measured by the same processing as in the above embodiment.
  • abdominal breathing there are two types of breathing: abdominal breathing and chest breathing.
  • Abdominal breathing is breathing performed by moving the diaphragm up and down.
  • thoracic respiration is respiration performed by expanding the rib cage. Therefore, when the subject person breathes, the shoulder, abdomen, back, and the like fluctuate in addition to the rib cage. Therefore, when measuring the respiration rate, the measurement region may be set not on the rib cage but on the shoulder, abdomen, back, or the like.
  • arteries such as superficial temporal artery, facial artery, common carotid artery, brachial artery, radial artery, femoral artery, popliteal artery, posterior tibial artery, and dorsal artery
  • a measurement region may be set in a portion of these arterial portions that is not covered with clothes. In this case, the pulse rate can be measured.
  • Tremor is involuntary body tremor caused by repeated contraction and relaxation of muscles.
  • tremors such as one-sided tremors and two-sided tremors.
  • the vital sign measuring apparatus 1 may set a measurement region on the arm, leg, etc., and measure the vibration frequency (number of shaking per unit time), the magnitude of shaking, and the like. .
  • the control unit 11 directly identifies the position of the measurement area 31 on the basis of the position of the head that is a reference object in step S103.
  • the method of specifying the measurement region 31 is not limited to such an example, and may be appropriately selected according to the embodiment.
  • the control unit 11 specifies the position of each of a plurality of candidate areas based on the position of the reference object, and selects a candidate area suitable for vital sign measurement from the plurality of candidate areas.
  • the measurement region 31 may be specified by selecting.
  • FIG. 14 schematically illustrates a method for specifying a measurement region according to this modification.
  • the control unit 11 specifies the position of each of the plurality of candidate areas for the measurement area on the body of the target person based on the relative positional relationship with the reference object in the real space. For example, in the scene illustrated in FIG. 14, the control unit 11 identifies the three candidate regions 32a to 32c on the line L1 by the same method as the method of identifying the position of the measurement region 31 in step S103.
  • the candidate area 32b among the three candidate areas 32a to 32c is set at the same position as the measurement area 31.
  • the candidate area 32a is set at a position on the right side of the candidate area 32b.
  • the candidate area 32c is set at a position on the left side of the candidate area 32b.
  • the number of candidate regions is not limited to three, and may be appropriately selected according to the embodiment.
  • region does not need to be limited on the line L1, and may be suitably set according to embodiment.
  • control unit 11 uses the depth of each pixel included in each region in the captured image 3 corresponding to each of the plurality of candidate regions in the same manner as in step S104 described above, and uses a plurality of candidates in real space. Measure the variation in each region. In the scene illustrated in FIG. 14, the control unit 11 measures the variation in the real space of each of the three candidate regions 32a to 32c. As a result, the data illustrated in FIG. 11 is obtained for the variation of each candidate region 32a to 32c.
  • the control part 11 selects the candidate area
  • the position of the measurement region is specified on the body of the target person. For example, in the scene illustrated in FIG. 14, when the amplitude of the data indicating the variation of the candidate region 32c is large among the three candidate regions 32a to 32c, the control unit 11 selects the candidate region among the three candidate regions 32a to 32c. By selecting 32c as the measurement region, the position of the measurement region in the thorax is specified.
  • the measurement area In order to measure vital signs, it is appropriate to set the measurement area to the area that more reflects the movement of the vital signs.
  • the candidate area that is most fluctuating in real space that is, the candidate area that most reflects the movement of the vital sign is selected from among a plurality of candidate areas for the vital sign measurement area. It can be selected as a measurement area. Therefore, according to the present modification, the measurement region can be set at a position appropriate for the measurement of the vital sign of the target person, and the vital sign can be measured more easily and accurately.

Abstract

バイタルサインの測定に関して特別な知識を持たないユーザであっても、対象人物のバイタルサインを適切に測定することのできるシステムを提供する。本発明の一側面に係るバイタルサイン測定装置は、撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、取得した撮影画像内で対象人物の写る人物領域及び基準物の写る基準領域を抽出する抽出部と、抽出した人物領域及び基準領域に含まれる各画素の深度を参照して、実空間における基準物との相対的な位置関係により、対象人物の身体上で測定領域の位置を特定する測定位置特定部と、測定領域に対応する撮影画像内の領域に含まれる各画素の深度を用いて当該測定領域の変動を計測し、計測した測定領域の実空間上における変動に基づいて、当該測定領域を含む前記対象人物の身体部位が示すバイタルサインを測定するバイタルサイン測定部と、を備える。

Description

バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
　本発明は、バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラムに関する。
　近年、対象人物をカメラによって撮影し、得られた画像データを解析することで当該対象人物のバイタルサインを非接触で測定する方法が開発されている。例えば、特許文献１では、対象人物の肩部から胸部下部までを撮影し、撮影した領域の画像濃度の変化から呼気と吸気とを計測し、これによって、当該対象人物の呼吸数を算出する方法が提案されている。
特開２００５－２１８５０７号公報
　しかしながら、特許文献１で例示される従来のシステムでは、バイタルサインを測定する測定領域の指定はユーザの手動による。そのため、バイタルサインの測定に関して特別な知識をユーザが有していない場合には、バイタルサインを正確に測定できるように測定領域を指定するのが困難であった。
　また、従来のシステムでは、バイタルサインを測定するのに二次元画像が利用されている。そのため、対象人物に対するカメラの視野方向（視点）によっては、対象人物のバイタルサインが二次元画像内に十分に反映されない場合があり、この場合には、対象人物のバイタルサインを測定することができなかった。
　したがって、従来のシステムでは、対象人物のバイタルサインを正確に測定できる条件は限られているため、特別な知識を持たないユーザが対象人物のバイタルサインを適切に測定するのは困難であるという問題点があった。
　本発明は、一側面では、このような点を考慮してなされたものであり、バイタルサインの測定に関して特別な知識を持たないユーザであっても、対象人物のバイタルサインを適切に測定することのできるシステムを提供することを目的とする。
　本発明は、上述した課題を解決するために、以下の構成を採用する。
　すなわち、本発明の一側面に係るバイタルサイン測定装置は、バイタルサインを測定する対象となる対象人物を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、取得した前記撮影画像内で、前記対象人物の写る人物領域及び基準物の写る基準領域を抽出する抽出部と、抽出した前記人物領域及び前記基準領域に含まれる各画素の深度を参照して、実空間における前記基準物との相対的な位置関係により、前記対象人物の身体上で前記バイタルサインを測定する測定領域の位置を特定する測定位置特定部と、前記測定領域に対応する前記撮影画像内の領域に含まれる各画素の深度を用いて、実空間上における前記測定領域の変動を計測し、計測した前記測定領域の実空間上における変動に基づいて、当該測定領域を含む前記対象人物の身体部位が示すバイタルサインを測定するバイタルサイン測定部と、を備える。
　上記構成では、対象人物のバイタルサインを測定するために取得される撮影画像には各画素の深度を示す深度データが含まれている。この各画素の深度は、撮影装置から被写体までの深さを示す。より詳細には、被写体の深度は、当該被写体の表面に対して取得される。すなわち、深度データを利用すれば、実空間上における被写体表面の位置を特定することができる。そのため、この深度データを利用すれば、対象人物に対する撮影装置の視野方向（視点）によらず、当該被写体の実空間（三次元空間）上の状態を解析することができる。
　したがって、上記構成によれば、対象人物に対する撮影装置の視野方向（視点）に依存することなく、取得された撮影画像からバイタルサインを測定することができる。すなわち、上記構成によれば、バイタルサインを測定する際の撮影装置の設置条件の自由度が高まるため、特別な知識を持たないユーザが撮影装置を配置した場合であっても、対象人物のバイタルサインを測定可能な撮影画像を取得することができる。
　また、上記構成によれば、基準物との相対的な位置関係により、バイタルサインの測定領域が特定される。したがって、バイタルサインを測定するための測定領域の指定を、ユーザの手動によらず、自動的に行うことができる。更に、上記構成では、この測定領域の特定に深度データが利用される。すなわち、実空間上において、基準物の位置を基準にバイタルサインの測定領域の位置が特定される。したがって、上記構成によれば、バイタルサインを測定する測定領域の指定を実空間上で適切に行うことができる。
　以上より、上記構成によれば、バイタルサインの測定に関して特別な知識を持たないユーザであっても、対象人物のバイタルサインを適切に測定することのできるシステムを提供することができる。
　なお、測定対象となるバイタルサインは、実施の形態に応じて適宜選択されてよい。測定対象となるバイタルサインは、例えば、呼吸数、心拍数等である。また、基準物は、バイタルサインの測定領域を実空間上で特定する基準となるものであればよく、実施の形態に応じて適宜選択されてよい。この基準物とバイタルサインの測定領域との相対的な位置関係は、測定対象となるバイタルサインに応じて、適宜予め設定することができる。
　また、上記一側面に係るバイタルサイン測定装置の別の形態として、前記測定位置特定部は、実空間上における前記基準物との相対的な位置関係により、前記測定領域についての複数の候補領域それぞれの位置を前記対象人物の身体上で特定し、前記複数の候補領域それぞれに対応する前記撮影画像内の各領域に含まれる各画素の深度を用いて、実空間上における前記複数の候補領域それぞれの変動を計測し、計測した実空間上での変動が最も大きい候補領域を前記測定領域として選択することによって、前記対象人物の身体上で前記測定領域の位置を特定してもよい。当該構成によれば、バイタルサインの測定領域についての複数の候補領域の中から、実空間上で最も変動している候補領域、すなわち、バイタルサインの動きが最も大きい候補領域が測定領域として選択される。そのため、対象人物のバイタルサインをより容易に且つ正確に測定することができる。
　また、上記一側面に係るバイタルサイン測定装置の別の形態として、前記基準物は、前記対象人物の頭部であってよく、前記測定位置特定部は、実空間における前記頭部との相対的な位置関係により、前記対象人物の胸郭内で前記測定領域の位置を特定してもよい。頭部と胸郭との相対的な位置関係はある程度限られ、大きな個人差は生じ難い。そのため、当該構成によれば、バイタルサインを測定する胸郭の位置を比較的に正確に特定することができ、これによって、バイタルサインを適切に測定することができる。
　また、上記一側面に係るバイタルサイン測定装置の別の形態として、前記対象人物は、ベッド上に存在してもよく、前記基準物は、前記ベッドのヘッドボードであってもよい。そして、前記測定位置特定部は、実空間における前記ヘッドボードとの相対的な位置関係により、前記対象人物の胸郭内で前記測定領域の位置を特定してもよい。対象人物がベッド上に存在する場合、特に、ベッド上に寝ている場合、ベッドのヘッドボードと対象人物の胸郭との相対的な位置関係はある程度限られ、大きな個人差は生じ難い。そのため、当該構成によれば、バイタルサインを測定する胸郭の位置を比較的に正確に特定することができ、これによって、バイタルサインを適切に測定することができる。
　また、上記一側面に係るバイタルサイン測定装置の別の形態として、前記バイタルサイン測定部は、前記胸郭内で特定された前記測定領域の実空間上における変動に基づいて、前記対象人物の呼吸数及び心拍数のうちの少なくとも一方を前記胸郭の示すバイタルサインとして測定してもよい。当該構成によれば、対象人物のバイタルサインとして、呼吸数及び心拍数のうちの少なくとも一方を取得することができる。
　なお、上記各形態に係るバイタルサイン測定装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。
　例えば、本発明の一側面に係るバイタルサイン測定方法は、コンピュータが、バイタルサインを測定する対象となる対象人物を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記対象人物の写る人物領域及び基準物の写る基準領域を抽出するステップと、抽出した前記人物領域及び前記基準領域に含まれる各画素の深度を参照して、実空間における前記基準物との相対的な位置関係により、前記対象人物の身体上で前記バイタルサインを測定する測定領域の位置を特定するステップと、前記測定領域に対応する前記撮影画像内の領域に含まれる各画素の深度を用いて、実空間上における前記測定領域の変動を計測するステップと、計測した前記測定領域の実空間上における変動に基づいて、当該測定領域を含む前記対象人物の身体部位が示すバイタルサインを測定するステップと、を実行する情報処理方法である。
　また、例えば、本発明の一側面に係るバイタルサイン測定プログラムは、コンピュータに、バイタルサインを測定する対象となる対象人物を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記対象人物の写る人物領域及び基準物の写る基準領域を抽出するステップと、抽出した前記人物領域及び前記基準領域に含まれる各画素の深度を参照して、実空間における前記基準物との相対的な位置関係により、前記対象人物の身体上で前記バイタルサインを測定する測定領域の位置を特定するステップと、前記測定領域に対応する前記撮影画像内の領域に含まれる各画素の深度を用いて、実空間上における前記測定領域の変動を計測するステップと、計測した前記測定領域の実空間上における変動に基づいて、当該測定領域を含む前記対象人物の身体部位が示すバイタルサインを測定するステップと、を実行させるためのプログラムである。
　本発明によれば、バイタルサインの測定に関して特別な知識を持たないユーザであっても、対象人物のバイタルサインを適切に測定可能なシステムを提供することができる。
図１は、本発明が適用される場面を模式的に例示する。 図２は、実施の形態に係るバイタルサイン測定装置のハードウェア構成を例示する。 図３は、実施の形態に係るカメラにより取得される深度と被写体との関係を例示する。 図４は、実施の形態に係るバイタルサイン測定装置の機能構成を例示する。 図５は、実施の形態に係るバイタルサイン測定装置によるバイタルサインの測定に関する処理手順を例示する。 図６は、実施の形態に係るカメラにより取得される撮影画像を例示する。 図７は、実施の形態に係る撮影画像内の座標関係を例示する。 図８は、実施の形態に係る撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。 図９は、実施の形態に係る基準物（頭部）と測定領域（胸郭）との位置関係を模式的に例示する。 図１０は、実施の形態に係る測定領域が変位する場面を模式的に例示する。 図１１は、計測される測定領域の変動を模式的に例示する。 図１２Ａは、呼吸による胸郭の変動を模式的に例示する。 図１２Ｂは、心拍による胸郭の変動を模式的に例示する。 図１３は、他の形態に係る基準物（ヘッドボード）と測定領域（胸郭）との位置関係を模式的に例示する。 図１４は、他の形態に係る測定領域の特定方法を模式的に例示する。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。
　§１　適用場面
　まず、図１を用いて、本発明が適用する場面について説明する。図１は、本実施形態に係るバイタルサイン測定装置１が用いられる場面の一例を示す。本実施形態に係るバイタルサイン測定装置１は、カメラ２によって対象人物を撮影し、それにより得られた撮影画像３を解析することで、当該対象人物のバイタルサインを測定する情報処理装置である。そのため、本実施形態に係るバイタルサイン測定装置１は、対象人物のバイタルサインを測定する場面で広く利用可能である。
　具体的には、まず、本実施形態に係るバイタルサイン測定装置１は、バイタルサインを測定する対象となる対象人物を撮影した撮影画像３をカメラ２から取得する。図１で例示される場面では、バイタルサインを測定する対象となる対象人物はベッド上で寝ており、カメラ２は、このような状態の対象人物を撮影するために設置されている。ただし、対象人物の状態は、このような状態に限られなくてもよく、実施の形態に応じて適宜選択されてよい。
　当該カメラ２は、撮影画像３内の各画素に対応する深度を取得可能に構成される。本実施形態では、カメラ２は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ（後述する深度センサ２１）を含んでいる。本実施形態に係るバイタルサイン測定装置１は、このようなカメラ２と接続し、バイタルサインを測定する対象となる対象人物を撮影した撮影画像３を取得する。
　取得される撮影画像３は、後述する図６に例示されるように、画素毎に得られる深度を示す深度データを含んでいる。この撮影画像３は、撮影範囲内の被写体の深度を示すデータを含んでいればよく、そのデータ形式は実施の形態に応じて適宜選択可能である。例えば、撮影画像３は、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、例えば、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。更に、例えば、撮影画像３は、バイタルサインを測定可能であれば、動画像で構成されてもよいし、複数枚の静止画像で構成されてもよい。
　次に、バイタルサイン測定装置１は、取得した撮影画像３内において対象人物の写る人物領域及び基準物の写る基準領域を抽出する。基準物は、後述するバイタルサインの測定領域を特定する基準となるものであり、例えば、対象人物の頭部、対象人物の寝ているベッドのヘッドボード等である。基準物は、実施の形態に応じて適宜選択可能である。
　上記のとおり、撮影画像３は、各画素の深度を示す深度データを含んでいる。そのため、バイタルサイン測定装置１は、この深度データを利用することで、撮影画像３内に写る被写体の実空間上の位置を特定することができる。より詳細には、被写体の深度は、当該被写体の表面に対して取得される。すなわち、バイタルサイン測定装置１は、深度データの示す各画素の深度を参照することで、実空間上における被写体表面の位置を特定することができる。
　そこで、バイタルサイン測定装置１は、抽出した人物領域及び基準領域に含まれる各画素の深度を参照して、実空間における基準物との相対的な位置関係により、対象人物の身体上でバイタルサインを測定する測定領域の位置を特定する。実空間における基準物と測定領域との間の相対的な位置関係は、利用する基準物に応じて、予め設定することができる。そのため、バイタルサイン測定装置１は、抽出した人物領域及び基準領域に含まれる各画素の深度を参照することで対象人物及び基準物の位置を特定し、特定した基準物の位置を基準に、対象人物の身体上で測定領域の位置を特定することができる。
　更に、バイタルサイン測定装置１は、測定領域に対応する撮影画像３内の領域に含まれる各画素の深度を用いて、実空間上における当該測定領域の変動を計測する。そして、バイタルサイン測定装置１は、計測した測定領域の実空間上における変動に基づいて、測定領域を含む対象人物の身体部位が示すバイタルサインを測定する。図１に例示されるように、測定領域は、例えば、胸郭内に設定される。この場合、バイタルサイン測定装置１は、実空間上の胸郭の変動を測定領域内で計測し、計測した当該胸郭の変動に基づいて、胸郭の示すバイタルサインとして、呼吸数、心拍数等を測定することができる。
　このように、本実施形態によれば、各画素の深度を示す深度データを含む撮影画像３に基づいて対象人物のバイタルサインが測定される。上記のとおり、各画素の深度は被写体表面に対して取得されるため、深度データを利用すれば、実空間上の被写体表面の位置を特定することができる。そのため、この深度データを利用すれば、対象人物に対するカメラ２の視野方向（視点）によらず、対象人物の実空間（三次元空間）上の状態を解析することができる。
　したがって、本実施形態によれば、対象人物に対するカメラ２の視野方向（視点）に依存することなく、取得された撮影画像３からバイタルサインを測定することができる。すなわち、本実施形態によれば、バイタルサインを測定する際のカメラ２の設置条件の自由度が高まり、対象のバイタルサインを測定可能なカメラ２の設置位置の範囲が広がる。そのため、特別な知識を持たないユーザがカメラ２を配置した場合であっても、対象人物のバイタルサインを測定可能な撮影画像３を取得することができる。
　また、本実施形態によれば、基準物との相対的な位置関係により、バイタルサインの測定領域が特定される。したがって、バイタルサインを測定する測定領域の指定を、ユーザの手動によらず、自動的に行うことができる。更に、本実施形態によれば、この測定領域の特定に深度データが利用される。具体的には、深度データを利用することで、バイタルサインの測定領域は、実空間上で、基準物の位置を基準に特定される。したがって、本実施形態によれば、バイタルサインを測定する測定領域の指定を実空間上で適切に行うことができる。
　よって、本実施形態によれば、バイタルサインの測定に関して特別な知識を持たないユーザであっても、対象人物のバイタルサインを適切に測定することができる。
　なお、バイタルサイン測定装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、バイタルサイン測定装置１は、図１に例示されるように、カメラ２に近接するように配置されてもよい。また、バイタルサイン測定装置１は、ネットワークを介してカメラ２と接続してもよく、当該カメラ２とは全く異なる場所に配置されてもよい。
　§２　構成例
　＜ハードウェア構成＞
　次に、図２を用いて、バイタルサイン測定装置１のハードウェア構成を説明する。図２は、本実施形態に係るバイタルサイン測定装置１のハードウェア構成を例示する。バイタルサイン測定装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。
　なお、バイタルサイン測定装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、バイタルサイン測定装置１の内部装置としてではなく、外部装置として個人識別装置に接続されてもよい。また、バイタルサイン測定装置１はカメラ２を内蔵してもよい。更に、バイタルサイン測定装置１は、複数の外部インタフェース１５を備えてもよく、複数の外部装置と接続してもよい。
　本実施形態に係るカメラ２は、外部インタフェース１５を介してバイタルサイン測定装置１に接続しており、バイタルサインを測定する対象人物を撮影する。カメラ２の設置場所は、対象人物を撮影可能であれば特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。例えば、図１で例示される場面では、カメラ２は、ベッド上で寝ている対象人物を撮影可能なように、ベッドの下端側に、ベッド面よりやや上方の高さで、ベッドのヘッドボードの方を向けて配置されている。
　このカメラ２は、深度データを含む撮影画像３を撮影するために、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。
　ただし、カメラ２の構成は、深度を取得可能であれば、このような例に限定されず、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、撮影範囲内の被写体の深度を特定可能であれば、深度センサ２１単体に置き換わってもよい。
　なお、対象人物を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、PrimeSense社のCARMINEを挙げることができる。
　ここで、図３を用いて、本実施形態に係る深度センサ２１によって測定される深度を詳細に説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。
　すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａ及び距離Ｂは、例えば、三平方の定理等に基づいて、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。本実施形態に係るバイタルサイン測定装置１は、このような深度を利用することで、バイタルサインを測定することができる。
　また、本実施形態では、記憶部１２は、プログラム５を格納している。このプログラム５は、バイタルサイン測定装置１に後述するバイタルサインの測定に関する各処理を実行させるためのプログラムであり、本発明の「バイタルサイン測定プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。
　記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図２は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
　また、このようなバイタルサイン測定装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、バイタルサイン測定装置１は、１又は複数のコンピュータにより実装されてもよい。
　＜機能構成例＞
　次に、図４を用いて、バイタルサイン測定装置１の機能構成を説明する。図４は、本実施形態に係るバイタルサイン測定装置１の機能構成を例示する。本実施形態では、バイタルサイン測定装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、バイタルサイン測定装置１は、画像取得部５１、抽出部５２、測定位置特定部５３及びバイタルサイン測定部５４を備えるコンピュータとして機能する。
　画像取得部５１は、カメラ２によって撮影された撮影画像３を取得する。取得される撮影画像３には、各画素の深度を示す深度データが含まれている。上記のとおり、この深度データによれば、撮影画像３内に写る被写体の実空間上の位置、より詳細には、実空間上における被写体表面の位置を特定することができる。
　そこで、抽出部５２は、取得した撮影画像３内において対象人物の写る人物領域及び基準物の写る基準領域を抽出する。測定位置特定部５３は、抽出した人物領域及び基準領域に含まれる各画素の深度を参照して、実空間における基準物との相対的な位置関係により、対象人物の身体上でバイタルサインを測定する測定領域の位置を特定する。
　そして、バイタルサイン測定部５４は、測定領域に対応する撮影画像３内の領域に含まれる各画素の深度を用いて、実空間上における当該測定領域の変動を計測する。更に、バイタルサイン測定装置１は、計測した測定領域の実空間上における変動に基づいて、測定領域を含む対象人物の身体部位が示すバイタルサインを測定する。
　なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、バイタルサイン測定装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。
　§３　動作例
　次に、図５を用いて、バイタルサイン測定装置１の動作例を説明する。図５は、バイタルサイン測定装置１によるバイタルサインの測定に関する処理手順を例示する。なお、以下で説明するバイタルサインの測定に関する処理手順は、本発明の「バイタルサイン測定方法」に相当する。ただし、以下で説明するバイタルサインの測定に関する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
　（ステップＳ１０１）
　ステップＳ１０１では、制御部１１は、画像取得部５１として機能し、カメラ２により撮影された撮影画像３を取得する。そして、制御部１１は、撮影画像３を取得した後に、次のステップＳ１０２に処理を進める。
　本実施形態では、カメラ２は、深度センサ２１を備えている。そのため、本ステップＳ１０１において取得される撮影画像３には、当該深度センサ２１により測定された各画素の深度を示す深度データが含まれる。制御部１１は、この深度データを含む撮影画像３として、例えば、図６で例示される撮影画像３を取得する。
　図６は、深度データを含む撮影画像３の一例を示す。図６で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。制御部１１は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図７及び図８を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。
　図７は、撮影画像３内の座標関係を模式的に例示する。また、図８は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を模式的に例示する。なお、図７の左右方向は、図８の紙面に垂直な方向に対応する。すなわち、図８で表れている撮影画像３の長さは、図７で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図７で例示される横方向の長さ（Ｗピクセル）は、図１で表れていない撮影画像３の紙面垂直方向の長さに対応する。
　ここで、図７で例示されるように、撮影画像３の任意の画素（点ｓ）の座標を（ｘs，ｙs）とし、カメラ２の横方向の画角をＶx、縦方向の画角をＶyとする。また、撮影画像３の横方向のピクセル数をＷとし、縦方向のピクセル数をＨとし、撮影画像３の中心点（画素）の座標を（０，０）とする。
　制御部１１は、カメラ２の画角（Ｖx、Ｖy）を示す情報をカメラ２から取得することができる。また、制御部１１は、このカメラ２の画角（Ｖx、Ｖy）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、点ｓの座標（ｘs，ｙs）及び撮影画像３のピクセル数（Ｗ×Ｈ）を撮影画像３から取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。
　制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１～３で示される関係式に基づいて、図８に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓx，Ｓy，Ｓz，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図８に例示されるように、水平面（地面）に対して傾いている場合がある。すなわち、カメラ座標系は、水平面（地面）を基準とする三次元空間のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図８のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。このカメラ座標及びワールド座標はそれぞれ、実空間を表す座標系である。制御部１１は、このようにして、深度データを利用することで、撮影画像３に写る被写体の実空間上の位置を特定することができる。
　また、本実施形態では、制御部１１は、対象人物のバイタルサインを測定可能なように、所定時間分の動画像又は複数枚の静止画像を撮影画像３として取得する。これにより、取得される撮影画像３には、所定時間分のバイタルサインが現れる。制御部１１は、このような撮影画像３を取得した段階で、後述するステップＳ１０２～Ｓ１０５までの処理を取得した撮影画像３に対して実行することで、所定時間内に現れるバイタルサインを測定する。なお、バイタルサインを測定する時間の基準となる所定時間の値は、実施の形態に応じて適宜設定されてよい。また、制御部１１は、撮影画像３を構成する一部のフレームを取得した段階で、後述するステップＳ１０２～Ｓ１０５までの処理の少なくとも一部を当該取得したフレームに対して実行してもよい。
　なお、制御部１１は、対象人物のバイタルサインのモニタリングを行うため、カメラ２のビデオ信号に同期させて撮影画像３を取得してもよい。そして、制御部１１は、後述するステップＳ１０２～Ｓ１０５までの処理を取得した撮影画像３に対して即座に実行してもよい。バイタルサイン測定装置１は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、カメラ２の撮影範囲に存在する対象人物のバイタルサインのモニタリングをリアルタイムに行うことができる。
　（ステップＳ１０２）
　図５に戻り、次のステップＳ１０２では、制御部１１は、抽出部５２として機能し、ステップＳ１０１で取得した撮影画像３内で、対象人物の写る人物領域及び基準物の写る基準領域を抽出する。そして、制御部１１は、撮影画像３内で人物領域及び基準領域を抽出した後に、次のステップＳ１０３に処理を進める。
　ここで、基準物は、上記のとおり、バイタルサインの測定領域を特定する基準となるものであり、例えば、対象人物の頭部、ベッドの縁、ベッドのヘッドボード等である。基準物は、対象人物の身体の一部であってもよいし、それ以外の物であってもよい。また、基準物は、ヘッドボードの一部分等、一個の個体として独立していなくてもよい。基準物は、実施の形態に応じて適宜選択可能である。本実施形態では、基準物として頭部が採用される。そのため、本ステップＳ１０２では、制御部１１は、人物領域と頭部領域（基準領域）とを抽出する。
　なお、人物領域及び基準領域を抽出する方法は、種々の公知の方法があり、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、対象人物及び頭部の形状に基づいて、パターン検出、図形要素検出等の画像解析を行うことによって、撮影画像３内で人物領域及び基準領域を抽出してもよい。
　また、例えば、対象物の身体及び頭部は、実空間上で動いている。そのため、撮影画像３内で、人物領域及び基準領域は移動する。このような移動する領域は、背景差分法によって抽出することができる。そこで、制御部１１は、背景差分法に基づいて、この移動する領域を人物領域及び基準領域として抽出してもよい。
　より詳細には、制御部１１は、背景差分法に用いる背景画像を取得する。この背景画像は、任意の方法で取得されてよく、実施の形態に応じて適宜設定される。例えば、制御部１１は、カメラ２の撮影範囲に対象人物が進入する前の撮影画像、換言すると、対象人物の写っていない撮影画像を背景画像として取得してもよい。そして、制御部１１は、上記ステップＳ１０１の時点で取得した撮影画像３と背景画像との差分を算出し、当該撮影画像３の前景領域を抽出する。この前景領域は、背景画像から変化の生じた領域であり、移動する物体（動体）の写る領域である。
　そのため、制御部１１は、抽出した前景領域が閾値以上の面積を有する場合に、当該前景領域を人物領域として認識してもよい。そして、制御部１１は、パターン検出等によって、この前景領域から基準領域（頭部領域）を抽出してもよい。この前景領域を抽出するための処理は、撮影画像３と背景画像との差分を計算する処理に過ぎない。そのため、当該処理によれば、制御部１１（バイタルサイン測定装置１）は、高度な画像処理を利用せずに、人物領域及び基準領域を検出する範囲を絞ることができる。よって、当該処理によれば、本ステップＳ１０２における処理の負荷を低減することができる。
　なお、背景差分法には様々な種類が存在し、本実施形態に適用可能な背景差分法は上記のような例に限られる訳ではない。その他の種類の背景差分法として、例えば、異なる３枚の画像を用いて背景と前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。これらの方法によって、制御部１１は、人物領域及び基準領域を抽出してもよい。
　（ステップＳ１０３）
　次のステップＳ１０３では、制御部１１は、測定位置特定部５３として機能し、ステップＳ１０２で抽出した人物領域及び基準領域に含まれる各画素の深度を参照して、実空間における基準物との相対的な位置関係により、対象人物の身体上でバイタルサインを測定する測定領域の位置を特定する。そして、制御部１１は、測定領域の位置を特定した後、次のステップＳ１０４に処理を進める。
　測定領域は、測定するバイタルサインの種類に応じて、対象人物の身体上で任意の位置に設定されてよい。また、基準物と測定領域との相対的な位置関係は、基準物の種別、測定領域を設定する身体部位等に応じて、適宜設定可能である。本実施形態では、図１に例示するように、測定領域は対象人物の胸郭内に設定され、対象人物の頭部が基準物として採用されている。そのため、制御部１１は、実空間上での頭部との相対的な位置関係により、対象人物の胸郭内で測定領域の位置を特定する。例えば、図９のようにして、制御部１１は、対象人物の胸郭内で測定領域の位置を特定することができる。
　図９は、胸郭内に設定される測定領域３１と頭部との位置関係を模式的に例示する。頭部と胸郭との相対的な位置関係はある程度限られ、大きな個人差は生じ難い。そこで、頭部と胸郭内で設定される測定領域３１との相対的な位置関係として、頭部の大きさＲ１と頭部下端から胸郭に設定された測定領域３１までの距離Ｒ２との比率が定められてもよい。この場合、制御部１１は、例えば、ステップＳ１０２で抽出した基準領域に含まれる各画素の深度を利用して、頭部の大きさＲ１を算出する。次に、制御部１１は、設定された比率と算出した頭部の大きさＲ１とから、頭部下端から測定領域３１までの距離Ｒ２を算出する。
　ここで、上記のとおり、人物領域に含まれる各画素の深度に基づいて、対象人物の身体表面の位置を特定することができる。そのため、制御部１１は、この人物領域に含まれる各画素の深度に基づいて、対象人物の身体表面の位置を認識する。続いて、制御部１１は、認識した身体表面上で、頭部下端から下方に距離Ｒ２の左右方向のラインＬ１の位置を特定する。そして、制御部１１は、特定したラインＬ１上の身体中央に所定の大きさの領域を指定し、指定したその領域を測定領域として特定する。これによって、制御部１１は、胸郭内に設定された測定領域３１の位置を特定することができる。
　なお、頭部の大きさＲ１と頭部下端から測定領域３１までの距離Ｒ２との比率は、実施の形態に応じて適宜設定されてよい。また、測定領域３１は、身体中央で指定されなくてもよく、身体右寄り又は左寄りに指定されてもよい。更に、頭部と測定領域３１との相対的な位置関係は、このような大きさの比率の例に限られず、実施の形態に応じて適宜設定されてよい。例えば、距離Ｒ２の値が直接与えられてもよい。
　また、制御部１１は、撮影画像３内の一画素と測定領域とが対応するように、測定領域３１の範囲を設定してもよい。ただし、一画素の変動には測定誤差が含まれやすく、これによって、バイタルサインの測定に誤差が生じやすくなってしまう。そのため、測定領域３１の大きさは、当該測定領域３１に対応する撮影画像３内領域が複数の画素を含むように設定されるのが好ましい。なお、図９では、測定領域３１の形状は矩形状である。しかしながら、測定領域３１の形状は、このような例に限られず、実施の形態に応じて適宜選択されてよい。
　（ステップＳ１０４）
　図５に戻り、次のステップＳ１０４では、制御部１１は、バイタルサイン測定部５４として機能し、ステップＳ１０３で特定した測定領域に対応する撮影画像３内の領域に含まれる各画素の深度を用いて、実空間上における当該測定領域の変動を計測する。そして、当該測定領域の変動を計測した後、制御部１１は、次のステップＳ１０５に処理を進める。
　上記のとおり、各画素の深度は、実空間上における被写体表面の位置を示す。また、ステップＳ１０１で取得された撮影画像３は、所定時間分の動画像又は複数枚の静止画像である。そのため、制御部１１は、測定領域に含まれる各画素の深度をプロットすることで、当該測定領域の変動を計測することができる。以下では、当該測定領域の変動を計測する方法の一例について、図１０及び図１１を用いて、詳細に説明する。
　図１０は、測定領域３１が変位する場面を模式的に例示する。また、図１１は、計測される測定領域３１の変動を模式的に例示する。制御部１１は、例えば、オプティカルフロー等に基づいて、測定領域３１を撮影画像３内で追跡する。そして、図１０に例示されるように、制御部１１は、測定領域３１に対応する撮影画像３内の領域に含まれる各画素ＧＡの深度を参照することで、当該各画素ＧＡの実空間上での変位を計測することができる。計測する変位の方向は、特に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。例えば、制御部１１は、身体の前後方向の変位を計測してもよい。
　上記のとおり、各画素ＧＡの深度には、深度センサ２１で生じる誤差が含まれている可能性がある。そのため、制御部１１は、計測した画素ＧＡの変位の平均値を算出し、算出した平均値を測定領域３１の実空間上での変位とする。これによって、各画素ＧＡで生じうる誤差を打ち消し、測定領域３１の変位を精度よく計測することができる。なお、図１０では、９つの画素ＧＡが例示されている。この場合には、制御部１１は、９つの画素ＧＡの変位を計測し、計測した９つの画素ＧＡの変位の平均値を算出する。これによって、制御部１１は、測定領域３１の変位を得ることができる。
　そして、制御部１１は、計測した測定領域３１の変位を時系列順にプロットする。そうすると、制御部１１は、図１１のグラフで例示される測定領域３１の実空間上での変動を示すデータを取得することができる。なお、測定領域３１の変動を示すデータの形式は、図１１で例示されるようなグラフ形式に限られず、例えば、上記変位の配列等であってよい。本実施形態では、測定領域３１は胸郭内で特定されるため、制御部１１は、本ステップＳ１０４によって、図１１のグラフで例示されるような胸郭の変動を計測することができる。
　（ステップＳ１０５）
　次のステップＳ１０５では、制御部１１は、バイタルサイン測定部５４として機能し、ステップＳ１０４で計測した測定領域の実空間上における変動に基づいて、測定領域を含む対象人物の身体部位が示すバイタルサインを測定する。これによって、本動作例に係る処理は終了する。
　測定するバイタルサインの種類は、測定領域を設定する身体部位に応じて、適宜決定されてよい。本実施形態では、ステップＳ１０４において、胸郭内で特定された測定領域３１の変動が測定される。そのため、本ステップＳ１０５では、制御部１１は、胸郭内で特定された測定領域３１の実空間上における変動に基づいて、対象人物の呼吸数及び心拍数のうちの少なくとも一方を胸郭の示すバイタルサインとして測定する。以下、胸郭の示すバイタルサインについて、図１２Ａ及び図１２Ｂを用いて、詳細に説明する。
　図１２Ａは、呼吸による胸郭の変動を模式的に例示する。また、図１２Ｂは、心拍による胸郭の変動を模式的に例示する。胸郭の変動は、対象人物が呼吸したとき及び心臓が拍動したときに発生すると想定される。すなわち、ステップＳ１０４で計測される測定領域３１の変動（図１１）は、呼吸による変動（図１２Ａ）と心拍による変動（図１２Ｂ）とで構成されているものと想定される。図１２Ａ及び図１２Ｂに例示されるように、この呼吸による変動と心拍による変動とは周期性を有している。
　ここで、呼吸による変動と心拍とによる変動とでは、基本的には、その周期及び振幅（変位の大きさ）が互いに異なっている。図１２Ａ及び図１２Ｂでは、呼吸による変動は、心拍による変動よりも振幅が大きく、周期が遅くなっている。本実施形態では、このような周期及び振幅が互いに異なる呼吸による変動と心拍とによる変動と併合されることで、測定領域３１の変動が構成されるものと想定される。
　そこで、制御部１１は、ステップＳ１０４で計測された測定領域３１の変動（図１１）をフーリエ変換等によって周波数解析を行う。これによって、制御部１１は、ステップＳ１０４で計測された測定領域３１の変動（図１１）を呼吸による変動（図１２Ａ）と心拍による変動（図１２Ｂ）とに分割することができる。そして、制御部１１は、図１２Ａで例示される呼吸による変動の周期を計測することで、対象人物の呼吸数を測定することができる。同様に、制御部１１は、図１２Ｂで例示される心拍による変動の周期を計測することで、対象人物の呼吸数を測定することができる。
　なお、図１２Ａ及び図１２Ｂでは、呼吸による変動及び心拍による変動は、周期及び振幅が一定のグラフで表現されている。しかしながら、呼吸による変動及び心拍による変動は、このような例に限られず、周期及び振幅が変化してもよい。また、呼吸数は、単位時間当たりの呼吸の回数を示す。心拍数は、単位時間当たりの心拍の回数を示す。呼吸の回数及び心拍の回数それぞれを測定する時間は、実施の形態に応じて適宜設定されてよい。
　また、制御部１１は、呼吸数及び心拍数のいずれか一方のみを測定してもよい。更に、呼吸数のみを測定する場合には、上記の周波数解析の他、制御部１１は、図１１で例示される測定領域３１の変動におけるピーク数を計測することで、呼吸数を測定してもよい。各種バイタルサインを測定する方法は、これらの方法に限られず、バイタルサインの種類に応じて適宜選択されてよい。
　（作用・効果）
　以上のように、本実施形態に係るバイタルサイン測定装置１は、各画素の深度を示す深度データを含む撮影画像３に基づいて対象人物のバイタルサインを測定する。上記のとおり、各画素の深度は被写体表面に対して取得されるため、深度データを利用すれば、実空間上の被写体表面の位置を特定することができる。
　したがって、本実施形態によれば、上記動作例に示されるように、深度データを利用することで、対象人物に対するカメラ２の視野方向（視点）に依存することなく、取得された撮影画像３からバイタルサインを測定することができる。すなわち、本実施形態によれば、バイタルサインを測定する際のカメラ２の設置条件の自由度が高まり、対象のバイタルサインを測定可能なカメラ２の設置位置の範囲が広がる。
　例えば、本実施形態では、図１に例示されるようにベッドの下端側に、ヘッドボードの方に向けて配置されている。しかしながら、カメラ２をこのように配置しなくても、本実施形態に係るバイタルサイン測定装置１は、対象人物のバイタルサインを測定することができる。具体的には、対象人物が撮影範囲に入るようにカメラ２を配置すればよく、ベッドのサイドフレーム側又はヘッドボード側にカメラ２を配置してもよい。また、ベッドから離してカメラ２を配置してもよい。このように、本実施形態によれば、対象のバイタルサインを測定可能なカメラ２の設置位置の範囲が広がる。そのため、特別な知識を持たないユーザがカメラ２を配置した場合であっても、対象人物のバイタルサインを測定可能な撮影画像３を取得することができる。
　また、本実施形態によれば、上記ステップＳ１０３の処理おいて、基準物との相対的な位置関係に基づいて、バイタルサインの測定領域が特定される。したがって、バイタルサインを測定する測定領域の指定を、ユーザの手動によらず、自動的に行うことができる。更に、本実施形態によれば、この測定領域の特定に深度データが利用される。具体的には、上記ステップＳ１０３において、深度データを利用することで、バイタルサインの測定領域は、実空間上で、基準物の位置を基準に特定される。したがって、本実施形態によれば、バイタルサインを測定する測定領域の指定を実空間上で適切に行うことができる。
　よって、本実施形態によれば、バイタルサインの測定に関して特別な知識を持たないユーザであっても、対象人物のバイタルサインを適切に測定することができる。
　また、本実施形態では、上記ステップＳ１０３において、バイタルサイン測定装置１は、対象人物の頭部を基準物として採用し、頭部の位置を基準として胸郭内の測定領域の位置を特定している。上記のとおり、頭部と胸郭との相対的な位置関係はある程度限られ、大きな個人差は生じ難い。そのため、本実施形態によれば、バイタルサインを測定する胸郭の位置を比較的に正確に特定することができ、これによって、バイタルサインを適切に測定することができる。特に、本実施形態では、バイタルサイン測定装置１は、呼吸数及び心拍数のうちの少なくとも一方を胸郭の示すバイタルサインとして測定している。そのため、本実施形態では、この呼吸数及び心拍数をそれぞれ適切に測定することができる。
　（その他）
　なお、本実施形態に係るバイタルサイン測定装置１は、カメラ２の撮影範囲内に存在する対象人物のバイタルサインを測定することができる。そのため、本実施形態に係るバイタルサイン測定装置１は、バイタルサインの測定を伴う様々なシステムに利用することができる。
　例えば、本実施形態に係るバイタルサイン測定装置１は、見守り対象者のバイタルサインをモニタリングするシステムに利用することができる。そして、モニタリングしているバイタルサインが異常状態である場合に、バイタルサイン測定装置１は、タッチパネルディスプレイ１３、スピーカ１４等を介して、見守り対象者が異常状態に陥っていることを知らせるための報知を行ってもよい。なお、バイタルサインが異常状態である場合とは、例えば、呼吸数が所定値以上より高く、見守り対象者が過呼吸状態になっていると想定される場合、呼吸数及び心拍数がほぼ零であり、見守り対象者が心停止状態になっていると想定される場合等である。
　§４　変形例
　以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
　（１）基準物
　一例を挙げると、上記実施形態では、制御部１１は、ステップＳ１０３において、頭部の位置を基準にして、胸郭内の測定領域３１の位置を特定している。しかしながら、胸郭内に設定された測定領域３１の位置を特定するための基準物は、頭部に限られなくてもよく、実施の形態に応じて適宜選択されてもよい。上記実施形態では、対象人物は、ベッド上に存在する。そのため、例えば、図１３に例示されるように、ベッドのヘッドボードが基準物として採用されてもよい。
　図１３は、胸郭内に設定される測定領域３１とヘッドボードとの位置関係を模式的に例示する。図１３に例示されるように、ヘッドボードと胸郭内で設定される測定領域との相対的な位置関係として、ベッドの大きさＲ３とヘッドボードから測定領域までの距離Ｒ４との比率が定められてもよい。ベッドの大きさＲ３は、設定値として予め与えられてもよいし、撮影画像３の画像解析により算出されてもよいし、ユーザにより入力されてもよい。これにより、上記ステップＳ１０３と同様の方法で、制御部１１は、胸郭内に設定された測定領域３１の位置を特定することができる。対象人物がベッド上に存在する場合、特に、ベッド上に寝ている場合、図１３に例示されるように、ベッドのヘッドボードと対象人物の胸郭との相対的な位置関係はある程度限られ、大きな個人差は生じ難い。そのため、当該変形例によれば、ヘッドボードの位置を基準に、バイタルサインを測定する胸郭の位置を比較的に正確に特定することができ、これによって、バイタルサインを適切に測定することができる。
　なお、ベッドの大きさＲ３とヘッドボードから測定領域までの距離Ｒ４との比率は、実施の形態に応じて適宜設定されてよい。また、測定領域３１は、身体中央で指定されなくてもよく、身体右寄り又は左寄りに指定されてもよい。更に、ヘッドボードと測定領域３１との相対的な位置関係は、このような大きさの比率の例に限られず、実施の形態に応じて適宜設定されてよい。例えば、距離Ｒ４の値が直接与えられてもよい。
　また、測定領域を設定する身体部位は、胸郭に限られなくてもよく、実施の形態に応じて適宜選択されてよい。測定領域を設定する身体部位及び基準物を上記実施形態から変更しても、測定領域と基準物との相対的な位置関係は、上記実施形態と同様に説明可能である。そのため、測定領域を設定する身体部位及び基準物が上記実施形態から変更されても、上記実施形態と同様の処理によって、各種のバイタルサインを測定することができる。
　例えば、呼吸には、腹式呼吸と胸式呼吸との２種類のタイプがある。腹式呼吸とは、横隔膜の上下運動により行う呼吸である。一方、胸式呼吸とは、胸郭を拡げることによって行う呼吸である。そのため、対象人物が呼吸をする際には、胸郭の他に、肩部、腹部、背部等も変動する。したがって、呼吸数を測定する場合には、測定領域は、胸郭ではなく、肩部、腹部、背部等に設定されてもよい。
　また、例えば、心拍によって動脈内の血液の圧力が変動すると、浅側頭動脈、顔面動脈、総頚動脈、上腕動脈、橈骨動脈、大腿動脈、膝窩動脈、後脛骨動脈、足背動脈等の動脈部でも拍動（脈拍）が生じる。そのため、これらの動脈部のうち、衣服に覆われていない部分に測定領域が設定されてもよい。この場合、脈拍数を測定することができる。
　更に、他のバイタルサインとして、例えば、振戦を測定してもよい。振戦とは、筋肉の収縮と弛緩とが繰り返されることで生じる不随意的な身体のふるえである。振戦には、片側振戦、両側振戦等のタイプがあり、振戦が生じた場合には、腕部、脚部等がふるえる。そこで、上記バイタルサイン測定装置１は、腕部、脚部等に測定領域を設定し、この振戦の振動数（単位時間当たりのふるえの回数）、ふるえの大きさ等を測定してもよい。
　（２）測定領域の特定
　また、上記実施形態では、制御部１１は、ステップＳ１０３において、基準物である頭部の位置を基準に測定領域３１の位置を直接特定している。しかしながら、測定領域３１を特定する方法は、このような例に限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、図１４に例示されるように、制御部１１は、基準物の位置を基準に複数の候補領域それぞれの位置を特定し、当該複数の候補領域からバイタルサインの測定に適切な候補領域を選択することで、測定領域３１を特定してもよい。
　図１４は、本変形例に係る測定領域の特定方法を模式的に例示する。まず、制御部１１は、実空間上における基準物との相対的な位置関係により、測定領域についての複数の候補領域それぞれの位置を対象人物の身体上で特定する。例えば、図１４で例示される場面では、制御部１１は、上記ステップＳ１０３で測定領域３１の位置を特定した方法と同様の方法で、ラインＬ１上に３つの候補領域３２ａ～３２ｃを特定する。
　なお、図１４では、当該３つの候補領域３２ａ～３２ｃのうち候補領域３２ｂは、上記測定領域３１と同様の位置に設定されている。そして、候補領域３２ａは、候補領域３２ｂの右寄りの位置に設定されている。候補領域３２ｃは、候補領域３２ｂの左寄りの位置に設定されている。ただし、候補領域の数は、３つに限られなくてもよく、実施の形態に応じて適宜選択されてよい。また、各候補領域の位置は、ラインＬ１上に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
　次に、制御部１１は、上記ステップＳ１０４と同様の方法で、複数の候補領域それぞれに対応する撮影画像３内の各領域に含まれる各画素の深度を用いて、実空間上における複数の候補領域それぞれの変動を計測する。図１４で例示される場面では、制御部１１は、３つの候補領域３２ａ～３２ｃそれぞれの実空間上での変動を計測する。これによって、各候補領域３２ａ～３２ｃの変動について、図１１に例示されるデータが得られる。
　そして、制御部１１は、計測した実空間上での変動が最も大きい候補領域を測定領域として選択する。これによって、対象人物の身体上で測定領域の位置が特定される。例えば、図１４で例示される場面において、３つの候補領域３２ａ～３２ｃのうち候補領域３２ｃの変動を示すデータの振幅が大きい場合、制御部１１は、３つの候補領域３２ａ～３２ｃのうち候補領域３２ｃを測定領域として選択することで、胸郭内の測定領域の位置を特定する。
　バイタルサインを測定するためには、当該バイタルサインの動きをより反映している領域に測定領域を設定するのが適切である。この点、本変形例では、バイタルサインの測定領域についての複数の候補領域の中から、実空間上で最も変動している候補領域、すなわち、バイタルサインの動きが最も反映している候補領域を測定領域として選択することができる。そのため、本変形例によれば、対象人物のバイタルサインの測定に適切な位置に測定領域を設定することができ、当該バイタルサインをより容易に且つ正確に測定することができる。
　１…バイタルサイン測定装置、
　２…カメラ、２１…深度センサ、
　３…撮影画像、３１…測定領域、３２ａ～３２ｃ…候補領域、
　５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ、
５１…画像取得部、５２…抽出部、５３…測定位置特定部、
５４…バイタルサイン測定部

Claims (7)

  1. 　バイタルサインを測定する対象となる対象人物を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、
      取得した前記撮影画像内で、前記対象人物の写る人物領域及び基準物の写る基準領域を抽出する抽出部と、
    　抽出した前記人物領域及び前記基準領域に含まれる各画素の深度を参照して、実空間における前記基準物との相対的な位置関係により、前記対象人物の身体上で前記バイタルサインを測定する測定領域の位置を特定する測定位置特定部と、
    　前記測定領域に対応する前記撮影画像内の領域に含まれる各画素の深度を用いて、実空間上における前記測定領域の変動を計測し、計測した前記測定領域の実空間上における変動に基づいて、当該測定領域を含む前記対象人物の身体部位が示すバイタルサインを測定するバイタルサイン測定部と、
    を備える、
    バイタルサイン測定装置。
  2. 　前記測定位置特定部は、
    　　実空間上における前記基準物との相対的な位置関係により、前記測定領域についての複数の候補領域それぞれの位置を前記対象人物の身体上で特定し、
    　　前記複数の候補領域それぞれに対応する前記撮影画像内の各領域に含まれる各画素の深度を用いて、実空間上における前記複数の候補領域それぞれの変動を計測し、
    　　計測した実空間上での変動が最も大きい候補領域を前記測定領域として選択する、
    　ことによって、前記対象人物の身体上で前記測定領域の位置を特定する、
    請求項１に記載のバイタルサイン測定装置。
  3. 　前記基準物は、前記対象人物の頭部であり、
    　前記測定位置特定部は、実空間における前記頭部との相対的な位置関係により、前記対象人物の胸郭内で前記測定領域の位置を特定する、
    請求項１又は２に記載のバイタルサイン測定装置。
  4. 　前記対象人物は、ベッド上に存在し、
    　前記基準物は、前記ベッドのヘッドボードであり、
    　前記測定位置特定部は、実空間における前記ヘッドボードとの相対的な位置関係により、前記対象人物の胸郭内で前記測定領域の位置を特定する、
    請求項１又は２に記載のバイタルサイン測定装置。
  5. 　前記バイタルサイン測定部は、前記胸郭内で特定された前記測定領域の実空間上における変動に基づいて、前記対象人物の呼吸数及び心拍数のうちの少なくとも一方を前記胸郭の示すバイタルサインとして測定する、
    請求項３又は４に記載のバイタルサイン測定装置。
  6. 　コンピュータが、
    　バイタルサインを測定する対象となる対象人物を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
    　取得した前記撮影画像内で、前記対象人物の写る人物領域及び基準物の写る基準領域を抽出するステップと、
    　抽出した前記人物領域及び前記基準領域に含まれる各画素の深度を参照して、実空間における前記基準物との相対的な位置関係により、前記対象人物の身体上で前記バイタルサインを測定する測定領域の位置を特定するステップと、
    　前記測定領域に対応する前記撮影画像内の領域に含まれる各画素の深度を用いて、実空間上における前記測定領域の変動を計測するステップと、
    　計測した前記測定領域の実空間上における変動に基づいて、当該測定領域を含む前記対象人物の身体部位が示すバイタルサインを測定するステップと、
    を実行するバイタルサイン測定方法。
  7. 　コンピュータに、
    　バイタルサインを測定する対象となる対象人物を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
    　取得した前記撮影画像内で、前記対象人物の写る人物領域及び基準物の写る基準領域を抽出するステップと、
    　抽出した前記人物領域及び前記基準領域に含まれる各画素の深度を参照して、実空間における前記基準物との相対的な位置関係により、前記対象人物の身体上で前記バイタルサインを測定する測定領域の位置を特定するステップと、
    　前記測定領域に対応する前記撮影画像内の領域に含まれる各画素の深度を用いて、実空間上における前記測定領域の変動を計測するステップと、
    　計測した前記測定領域の実空間上における変動に基づいて、当該測定領域を含む前記対象人物の身体部位が示すバイタルサインを測定するステップと、
    を実行させるためのバイタルサイン測定プログラム。
PCT/JP2016/050280 2015-03-13 2016-01-06 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム WO2016147678A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017506108A JP6737261B2 (ja) 2015-03-13 2016-01-06 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-051121 2015-03-13
JP2015051121 2015-03-13

Publications (1)

Publication Number Publication Date
WO2016147678A1 true WO2016147678A1 (ja) 2016-09-22

Family

ID=56920026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050280 WO2016147678A1 (ja) 2015-03-13 2016-01-06 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム

Country Status (2)

Country Link
JP (1) JP6737261B2 (ja)
WO (1) WO2016147678A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017038673A (ja) * 2015-08-18 2017-02-23 ノーリツプレシジョン株式会社 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
JP2018068720A (ja) * 2016-10-31 2018-05-10 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 脈拍検出装置及び脈拍検出方法
JP2019198418A (ja) * 2018-05-15 2019-11-21 Kddi株式会社 生体の拍動を検出する生体情報検出装置、プログラム及び方法
JP2020511222A (ja) * 2017-03-17 2020-04-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光学画像から導出される心臓運動信号
WO2023068373A1 (ja) * 2021-10-22 2023-04-27 アステラス製薬株式会社 胸郭運動計測装置、胸郭運動計測プログラム、及び非一時的記憶媒体
WO2023068372A1 (ja) * 2021-10-22 2023-04-27 アステラス製薬株式会社 胸郭運動計測装置、胸郭運動計測プログラム、及び非一時的記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013186696A1 (en) * 2012-06-12 2013-12-19 Koninklijke Philips N.V. System for camera-based vital sign measurement
WO2014017566A1 (ja) * 2012-07-24 2014-01-30 公立大学法人広島市立大学 心拍計測方法および装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218507A (ja) * 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013186696A1 (en) * 2012-06-12 2013-12-19 Koninklijke Philips N.V. System for camera-based vital sign measurement
WO2014017566A1 (ja) * 2012-07-24 2014-01-30 公立大学法人広島市立大学 心拍計測方法および装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017038673A (ja) * 2015-08-18 2017-02-23 ノーリツプレシジョン株式会社 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
JP2018068720A (ja) * 2016-10-31 2018-05-10 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 脈拍検出装置及び脈拍検出方法
JP2020511222A (ja) * 2017-03-17 2020-04-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光学画像から導出される心臓運動信号
JP7319192B2 (ja) 2017-03-17 2023-08-01 コーニンクレッカ フィリップス エヌ ヴェ 光学画像から導出される心臓運動信号
JP2019198418A (ja) * 2018-05-15 2019-11-21 Kddi株式会社 生体の拍動を検出する生体情報検出装置、プログラム及び方法
WO2023068373A1 (ja) * 2021-10-22 2023-04-27 アステラス製薬株式会社 胸郭運動計測装置、胸郭運動計測プログラム、及び非一時的記憶媒体
WO2023068372A1 (ja) * 2021-10-22 2023-04-27 アステラス製薬株式会社 胸郭運動計測装置、胸郭運動計測プログラム、及び非一時的記憶媒体

Also Published As

Publication number Publication date
JP6737261B2 (ja) 2020-08-05
JPWO2016147678A1 (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
WO2016147678A1 (ja) バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
JP6371837B2 (ja) 被験者のバイタルサインを取得するデバイスと方法
RU2668066C2 (ru) Устройство для получения показателя жизненно важных функций объекта
US9697599B2 (en) Determining a respiratory pattern from a video of a subject
WO2016151966A1 (ja) 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム
JP6115335B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
EP2697771B1 (en) Device and method for extracting information from characteristic signals
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
US11395599B2 (en) Methods and systems for obtaining physiologic information
CN114787869A (zh) 用于在医学成像流程期间监测对象的装置、方法和计算机程序
JP6248780B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP7266599B2 (ja) 患者の身体運動を検知するためのデバイス、システム及び方法
JP6565468B2 (ja) 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
JPWO2016185738A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP7405527B2 (ja) 変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム
Dang et al. Measuring human respiration rate using depth frames of PrimeSense camera
KR20100060622A (ko) 인체 자세 판별 시스템 및 그 방법
JPWO2016181672A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16764509

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017506108

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16764509

Country of ref document: EP

Kind code of ref document: A1