WO2004109228A1 - 三次元形状測定装置 - Google Patents

三次元形状測定装置 Download PDF

Info

Publication number
WO2004109228A1
WO2004109228A1 PCT/JP2004/007717 JP2004007717W WO2004109228A1 WO 2004109228 A1 WO2004109228 A1 WO 2004109228A1 JP 2004007717 W JP2004007717 W JP 2004007717W WO 2004109228 A1 WO2004109228 A1 WO 2004109228A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
movement
pattern
image
dimensional
Prior art date
Application number
PCT/JP2004/007717
Other languages
English (en)
French (fr)
Inventor
Isao Sato
Hirooki Aoki
Masato Nakajima
Kazuhiro Mimura
Yasuhiro Takemura
Kei Katou
Toshiharu Takesue
Original Assignee
Sumitomo Osaka Cement Co.,Ltd.
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Osaka Cement Co.,Ltd., Keio University filed Critical Sumitomo Osaka Cement Co.,Ltd.
Priority to US10/560,048 priority Critical patent/US7630537B2/en
Priority to AU2004245815A priority patent/AU2004245815B2/en
Priority to CA002528824A priority patent/CA2528824A1/en
Priority to DE602004009077T priority patent/DE602004009077T2/de
Priority to EP04745573A priority patent/EP1645841B8/en
Publication of WO2004109228A1 publication Critical patent/WO2004109228A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00

Definitions

  • the present invention relates to a three-dimensional shape measuring device, and more particularly to a three-dimensional shape measuring device capable of easily and accurately grasping a state of an object.
  • a motion detection sensor has been conventionally proposed as a motion detection device for detecting a motion of an object, for example, a person in a space, for example, a bathroom or a toilet.
  • a typical example is a monitoring device that monitors a sleeping person's breathing by projecting a pattern on a sleeping person on a bed and calculating a moving amount of the pattern from an image obtained by continuously capturing the projected pattern. (For example, see Patent Document 1).
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-175582 (Pages 5-9, Figure 113)
  • the state of each part of the object for example, the shape of the object and its movement (including a small movement such as breathing) can be simultaneously displayed. It was difficult to grasp. Also, depending on the part of the object (for example, when the object is a person, the chest and abdomen, etc.), a slight error may occur in the movement measurement result.
  • an object of the present invention is to provide a three-dimensional shape measuring device capable of easily and accurately grasping the state of an object.
  • a three-dimensional shape measuring apparatus 1 includes, as shown in FIGS. 1 and 3, for example, a projecting apparatus 11 that projects pattern light on a target area, A first three-dimensional sensor 10a having an imaging device 12a arranged at a first interval dl from the projection device 11 and imaging the target region onto which the pattern light is projected; and a projection device for projecting the pattern light onto the target region.
  • a second three-dimensional sensor 10b having an imaging device 12b arranged at an interval d2 of 2 and capturing an image of the target area onto which the pattern light is projected; and a pattern of the pattern on the image obtained by the first three-dimensional sensor 10a.
  • Three-dimensional information calculating means 22 for obtaining outer shape information of the object 2 existing in the target area based on the movement; and an object based on the movement of the pattern on the image obtained by the second three-dimensional sensor 10b.
  • a fluctuation information calculating means for obtaining fluctuation information of the object; and an information synthesizing means for synthesizing the outer shape information and the fluctuation information.
  • the projection device 11 that projects the pattern light onto the target region
  • the imaging device 12a that is arranged at a first interval dl from the projection device 11 and captures an image of the target region on which the pattern light is projected
  • a first three-dimensional sensor 10a having a pattern light
  • a projection device 11 for projecting pattern light onto the target area and a second distance d2 longer than a first distance dl from the projection device 11 and the pattern light
  • a second three-dimensional sensor 10b having an image pickup device 12b for picking up an image of the target area on which the image has been projected.
  • each of the three-dimensional sensors can obtain the movement of the pattern on the image.
  • the three-dimensional information calculating means 22 can obtain the outer shape information of the object 2, and the fluctuation information calculating means 23 Based on the movement of the pattern on the image obtained by the second three-dimensional sensor 10b, it is possible to obtain the fluctuation information of the object 2. Furthermore, by synthesizing the outer shape information and the fluctuation information by the information synthesizing means 24, it is possible to provide a three-dimensional shape measuring apparatus capable of easily and accurately grasping the state of the object.
  • the first three-dimensional sensor 10a and the second three-dimensional sensor 10b share the projection device 11, and the first imaging device 12a and a different one from the first imaging device.
  • the second imaging device 12b is provided, the first imaging device 12a and the second imaging device 12b are common, and the projection device 11 or the first projection device and the first projection device There may be another second projection device.
  • the information synthesizing unit 24 may be configured to correct the variation information based on the external shape information. With this configuration, more accurate fluctuation information can be obtained by the correction.
  • the information synthesizing means 24 may be characterized in that the synthesizing is performed so that the movement of each part of the object 2 can be understood.
  • a three-dimensional shape measuring apparatus includes an information output unit 40 that displays a synthesis result of the information synthesis unit 24.
  • the information output unit 40 displays the synthesis result of the information synthesis unit 24, so that, for example, the movement of each part on the object 2 can be easily grasped by display.
  • the pattern light projected by the projection apparatus 11 may be one in which bright spots are arranged.
  • the three-dimensional information calculation means 22 may be characterized in that the three-dimensional information calculation means 22 performs interpolation on a part where the outer shape information is insufficient.
  • a projection device that projects pattern light onto a target region, and an image of a target region that is arranged at a first interval from the projection device and onto which the pattern light is projected
  • a first three-dimensional sensor having an imaging device, a projection device for projecting pattern light on the target area, and the pattern light arranged from the projection device at a second interval longer than the first interval.
  • a second three-dimensional sensor having an imaging device that captures an image of the target area on which the image is projected, and a target existing in the target area based on a movement of a pattern on an image obtained by the first three-dimensional sensor.
  • FIG. 1 is a schematic external view of a monitoring device 1 as a three-dimensional shape measuring device according to a first embodiment of the present invention.
  • the monitoring device 1 is configured to monitor a target area.
  • the monitoring device 1 includes a projection device 11 that projects pattern light on the target region, a first imaging device 12a that is arranged at a first interval from the projection device 11, and captures an image of the target region on which the pattern light is projected. It has a first FG sensor 10a as a first three-dimensional sensor having the following. Further, the monitoring device 1 is arranged with a projection device 11 for projecting the pattern light onto the target area and a second interval longer than the first interval from the projection device 11, and the target on which the pattern light is projected.
  • a second FG sensor 10b as a second three-dimensional sensor having a second imaging device 12b for imaging an area is provided.
  • the monitoring device 1 includes an arithmetic device 20 that controls the first FG sensor 10a and the second FG sensor 10b. That is, the monitoring device 1 is configured to include the first FG sensor 10a, the second FG sensor 10b, and the arithmetic device 20.
  • the first FG sensor 10a and the second FG sensor 10b, and the first imaging device 12a and the second imaging device 12b are simply referred to as the FG sensor 10 and the imaging device 12, respectively, unless particularly distinguished.
  • the first FG sensor 10a and the second FG sensor 10b share the projection device 11.
  • the FG sensor 10 has a measuring device 14 for measuring the movement of the pattern on the image captured by the imaging device 12.
  • the first FG sensor 10a and the second FG sensor 10b share the measurement device 14. That is, the measurement device 14 measures the movement of the pattern on the image respectively captured by the first imaging device 12a and the second imaging device 12b.
  • the projection device 11 and the imaging device 12 are electrically connected to the measurement device 14 and controlled by the measurement device 14.
  • the measuring device 14 is And is configured integrally.
  • the target area is a bed
  • the target object typically performs a respiratory movement. That is, the object is a person or an animal. Further, in the present embodiment, the target object is person 2.
  • the person 2 is lying down. That is, the pattern light is projected on the person 2.
  • the pattern light is projected onto the bed 3 as it is.
  • bedding may be placed on the person 2. In this case, the pattern light is projected onto the bedding.
  • the pattern light projected by the projection device 11 is typically one in which bright spots are arranged.
  • the projected pattern light is a plurality of bright spots.
  • the projected pattern light is a pattern 11a formed by a plurality of bright spots 1 lb arranged in a substantially square lattice shape as described later with reference to FIG.
  • a projection device 11 projects a pattern 11a on a bed 3.
  • the plurality of bright spots projected on the bed 3 correspond to the plurality of measurement points on the bed 3, respectively. That is, the position of each bright spot is the position of the measurement point.
  • the measurement point is a point at which the movement and height of the person 2 in the height direction can be measured as described later.
  • the height is the height of the bed 3 on the bed.
  • the projection device 11 and the imaging device 12 are arranged above the bed 3.
  • the projection device 11 and the first imaging device 12a are arranged approximately above the center of the bed 3, and the second imaging device 12b is arranged approximately above the head of the person 2.
  • the first imaging device 12a is arranged at a first interval dl from the projection device 11, and the second imaging device 12 is arranged at a second interval d2.
  • the projection device 11, the first imaging device 12a, and the second imaging device 12b are arranged on the same straight line. That is, here, the base line direction of the first FG sensor 10a and the base line direction of the second FG sensor 10b are parallel to each other, and are further on the same straight line.
  • the second interval d2 is, for example, about 220 times, preferably 5 to 15 times the first interval dl. In the present embodiment, it is 10 times. For example, if the first distance dl is 60 mm, the second distance d2 is 600 mm.
  • the angle of view of each imaging device 12 is set so that an image of the central portion of the bed 3 can be captured. Note that the distance between the projection device 11 and the imaging device 12 is referred to as a base line length. Baseline length is the base line of the triangulation method This is the distance between the projection device 11 and the imaging device 12 in different directions.
  • the projection device 11, the first imaging device 12a, and the second imaging device 12b are arranged on the same straight line, but is not limited thereto. If they are not on the same straight line, they can be dealt with, for example, by correcting the appearance in the later-described synthesis.
  • the FG sensor 10 measures the movement of a bright spot forming a pattern.
  • the movement amount of the luminescent spot increases.
  • the movement amount of the bright spot is large, a phenomenon that the bright spot next to the bright spot to be compared may occur may occur. In this case, it is determined that the light source has moved from the next bright spot, and the measured moving distance of the bright spot may be small. That is, the amount of movement of the bright spot cannot be measured accurately.
  • the base line length is short (first interval dl) as in the first FG sensor 10a
  • the movement amount of the luminescent spot is small, and the above jump is unlikely to occur. Is difficult to distinguish from noise.
  • the base line length is long (second interval d2), as in the case of the second FG sensor 10b, for example, even if the object is slightly moved, the amount of movement of the bright spot is large. Because it is reflected, a force that can measure a minute height or movement in the height direction, for example, jumping over when there is a large movement is a force s .
  • the shape of the person 2 is measured based on the movement of the pattern obtained by the first FG sensor 10a, and the movement of the pattern obtained by the second FG sensor 10b is performed. It is desirable to measure the movement of the person 2 based on the movement.
  • the projection device 11 and the second imaging device 12b are installed at a certain distance from each other. By doing so, the base line length becomes longer, so that the change can be detected sensitively.
  • the projection device 11 has its optical axis (projection direction of the laser beam L1) set in a direction substantially parallel to the vertical direction of the upper surface of the bed 3 as shown in the figure.
  • the projection device 11 has its optical axis approximately perpendicular to the vertical direction of the upper surface of the bed 3. Although installed in a parallel direction, it may be installed at an angle to the vertical direction.
  • the first imaging device 12a is installed so that its optical axis is approximately parallel to the vertical direction of the upper surface of the bed 3. That is, the optical axis of the first imaging device 12a is set in a direction parallel to the optical axis of the projection device 11.
  • the second imaging device 12b is installed with its optical axis inclined with respect to the vertical direction of the upper surface of the bed 3. By doing so, for example, it is possible to easily install the second imaging device 12b and the projection device 11 apart from each other. That is, the second interval d2 can be easily made longer. In other words, it is easy to increase the base line length of the triangulation method.
  • the optical axes of the projection device 11, the first imaging device 12a, and the second imaging device 12b may be installed so as to be parallel to each other.
  • the FG sensor 10 and the arithmetic unit 20 may be configured as a single united force. By doing so, the size of the monitoring device 1 can be reduced.
  • the projection device 11 includes a light beam generation unit 105 as a light beam generation unit that generates a coherent light beam, and a fiber grating 120 (hereinafter simply referred to as a grating 120).
  • the coherent light beam projected by the light beam generation unit 105 is typically an infrared laser.
  • the light beam generator 105 is configured to generate a parallel light beam.
  • the light beam generating unit 105 is a semiconductor laser device typically including a collimator lens (not shown), and the generated parallel light beam is a laser light beam L1.
  • the laser beam L1 is a beam having a substantially circular cross section.
  • the parallel light flux includes a nearly parallel light flux as long as it is substantially parallel.
  • grating 120 is arranged parallel to plane 102 (perpendicular to Z axis).
  • the laser beam L1 is incident on the grating 120 in the Z-axis direction.
  • the laser light L1 is condensed by the individual optical fibers 121 in a plane having the lens effect, then spreads as a divergent wave, interferes, and a plurality of laser lights L1 are projected on the plane 102 as the projection plane.
  • the pattern 11a which is a bright spot array, is projected.
  • the arrangement of the grating 120 in parallel with the plane 102 means that, for example, the plane including the axis of each optical fiber 121 of the FG element 122 constituting the grating 120 and the plane 102 are parallel to each other. is there.
  • the grating 120 includes two FG elements 122.
  • the planes of the respective FG elements 122 are parallel to each other.
  • the plane of each FG element 122 is referred to as an element plane.
  • the axes of the optical fibers 121 of the two FG elements 122 are substantially orthogonal to each other.
  • the FG element 122 is formed by, for example, arranging several tens to several hundreds of optical fibers 121 having a diameter of several tens of microns and a length of about 10 mm in a sheet shape in parallel.
  • the two FG elements 122 may be arranged in contact with each other, or may be arranged at a distance from each other in the normal direction of the element plane. In this case, the distance between the two FG elements 122 is set so as not to interfere with the projection of the pattern 11a.
  • the laser beam L1 is typically incident perpendicularly to the element plane of the grating 122.
  • the projection device 11 since the grating 120 configured to include the two FG elements 122 is an optical system, an optical housing that does not require a complicated optical system can be downsized. . Further, by using the grating 120, the projection device 11 can project a plurality of bright points lib as a pattern 11a onto the target area with a simple configuration.
  • the pattern 11a is typically a plurality of bright spots ib arranged in a square lattice.
  • the shape of the luminescent spot is a substantially circular shape including an elliptical shape.
  • the imaging device 12 is typically a CCD camera.
  • the imaging device 12 includes an imaging optical system 13a (see FIG. 4) and an imaging device 15 (see FIG. 4).
  • the imaging device 15 is typically a CCD imaging device.
  • CMOS-structured devices other than CCDs have recently been actively reported as the imaging device 15, and they can be used as a matter of course. In particular, among these, some of the elements themselves have a function of binarizing between frames, and the use of these elements is preferable.
  • the imaging device 12 includes a filter 13b (see Fig. 4) that attenuates light having a wavelength other than the peripheral portion of the wavelength of the laser light beam L1 generated by the light beam generation unit 105 (see Fig. 2). Good.
  • the finoletor 13b is typically an optical filter such as an interference filter, and is preferably arranged on the optical axis of the imaging optical system 13a. In this way, the imaging device 12 can reduce the influence of disturbance light because the intensity of the light of the pattern 11a projected from the projection device 11 out of the light received by the imaging device 15 increases relatively.
  • the laser beam generated by the light beam The light beam LI is typically a light beam of an infrared laser. Further, the laser beam L1 may be applied continuously or intermittently. In the case of intermittent irradiation, the imaging by the imaging device 12 is performed in synchronization with the irradiation timing.
  • the arithmetic device 20 is configured integrally with the measuring device 14. Further, here, the measuring device 14 is configured integrally with a control unit 21 described later.
  • the projection device 11 and the two imaging devices 12 are electrically connected to the measurement device 14 and controlled.
  • the computing device 20 is remotely located with respect to the projection device 11 and the two imaging devices 12. Specifically, for example, beside the bed 3 or a room different from the room where the bed 3 is installed
  • the arithmetic unit 20 is typically a computer such as a personal computer.
  • the measuring device 14 measures the movement of the pattern on the image captured by the imaging device 12.
  • the measurement device 14 is configured to be able to acquire an image captured by the imaging device 12. Further, the measurement device 14 is configured to measure the movement of each bright spot on the image captured by the imaging device 12.
  • the projected luminescent spot and the image of the luminescent spot on the captured image are simply referred to as luminescent spots for convenience.
  • measuring the movement of the luminescent spot means measuring the amount of movement of the luminescent spot (hereinafter referred to as the movement amount).
  • the measured moving amount of the bright point is a concept including the moving direction of the bright point. In other words, the measured movement amount of the bright spot includes the information of the moving direction.
  • the measuring device 14 is configured to measure the movement of the bright spot based on the images at two different points in time acquired from the two imaging devices 12, respectively. Further, in the present embodiment, the images at the two different time points are configured to measure the movement of the bright spot based on each of the image at the first different two time points and the image at the second different two time points. You. It is to be noted that the first two different time images are obtained from the first imaging device 12a, and the second two different time images are obtained from the second imaging device 12b.
  • the first two different time points are the arbitrary time point (current) and the time point when the person 2 is not on the bed 3 .
  • an image acquired at an arbitrary time (current) will be described as an acquired image
  • an image acquired at a time when the person 2 does not exist on the bed 3 will be described as a reference image. Note that the reference image is stored in the storage unit 31.
  • the acquired image and the reference image are, for example, images captured by the imaging device 12 (here, the first imaging device 12a), and the position information of the bright spot on each image It is a concept that also includes That is, the acquired image and the reference image are images of the pattern 11a formed by the projection of the projection device 11 at each time.
  • the reference image is stored in the storage unit 31, for example, in the form of positional information such as coordinates regarding the position of each bright spot that is not a so-called image.
  • the position of the bright point is the position of the center of gravity of the bright point. In this way, even a slight shift of the luminescent spot can be measured.
  • the moving amount of the bright point can be calculated by comparing the position information of each bright point on the reference image stored in the storage unit 31 with the position information of each bright point on the acquired image. The amount of movement is measured. In addition, each movement amount is obtained, for example, by counting the number of pixels to which the position of the bright spot has moved (how many pixels have moved). By doing so, as described later, it is not necessary to generate a difference image, so that the processing can be simplified.
  • the case where the position information of the luminescent spot is compared has been described, but a difference image between the reference image and the acquired image may be created.
  • the moving amount of the bright point is measured based on the position of the corresponding bright point from the difference image. In this way, only the moved luminescent spot remains on the difference image, so that the processing amount can be reduced.
  • the moving amount of the bright point measured by the measuring device 14 is a moving average value or a period average value of the moving amount of the bright point measured a certain number of times in the past or measured within a certain period in the past. I'm sorry. By doing so, random noise or sudden noise due to the flickering of sunlight coming in through a window can be reduced, and the reliability of the measured movement amount of the bright spot is improved.
  • the measuring device 14 is configured to perform the above-described measurement of the movement of the bright spot for each bright spot forming the pattern 11a. That is, the positions of the plurality of bright points become the plurality of measurement points. Measurement equipment The unit 14 outputs the movement of the bright spot measured for each bright spot forming the pattern 11a, that is, the measured movement amount of the bright spot to the control unit 21 as a measurement result. That is, the measurement result is the moving amount of the bright spot measured based on the first two images at different time points. Furthermore, this measurement result corresponds to the height of person 2. Hereinafter, this measurement result is referred to as height information. The measurement device 14 outputs the measurement result at each measurement point as height information.
  • the second different two time points are an arbitrary time point and a slightly earlier time point. "Slightly before” means that it is only before the time interval sufficient to detect the movement of person 2. In this case, when it is desired to detect even a slight movement of the person 2, it is sufficient to set the time to be short, for example, the movement of the person 2 cannot be too large, and to be regarded as substantially no movement, for example, about 0.1 second. Les ,.
  • the images at the second different two time points are the acquired image and the reference image described above.
  • the reference image is also an image captured by the imaging device 12 (here, the second imaging device 12b), like the reference image, but has a concept that also includes the position information of the bright spot on each image.
  • the information is stored in the storage unit 31 in the form of position information such as coordinates relating to the position of each bright spot.
  • the position of the bright point is the position of the center of gravity of the bright point.
  • the images at the second different two points in time are an acquired image (N frame) and an image acquired immediately before the acquired image (N-1 frame). That is, the reference image is an image acquired immediately before the acquired image.
  • the image acquisition interval may be appropriately determined depending on, for example, the processing speed of the apparatus and the content of the motion to be detected as described above. For example, about 0.1 to 3 seconds, preferably about 0.1 to 0.5 seconds It is good.
  • acquiring images at shorter time intervals and performing averaging or filtering processing is effective because, for example, the effects of random noise can be reduced.
  • the waveform obtained by measuring the movement of the luminescent spot based on the images at two different points in time that is, the arbitrary point and the point slightly before the point in time (for example, the sum of the movement amounts of the luminescent points, etc.) It becomes a differential waveform, that is, a waveform representing a change in speed.
  • a waveform of a distance that is, a waveform indicating a change in height is obtained by integrating the waveform.
  • measuring device 14 obtains the position information of each bright spot on the reference image stored in storage unit 31 and the position information of each bright spot on the acquired image. By comparing with the position information, the moving amount of the bright spot including the moving direction of the bright spot is measured. Similarly, the measuring device 14 outputs the movement amount of the bright spot measured for each bright spot to the control unit 21 as a measurement result. That is, the measurement result is the movement amount of the bright spot measured based on the image at the second different time point. Further, as will be described later with reference to FIG. 4, the measurement result corresponds to the movement of the object, that is, the person 2 in the height direction at each bright spot (measurement point). Hereinafter, this measurement result is referred to as motion information. The measurement device 14 outputs the measurement result at each measurement point as motion information.
  • the movement in the height direction of the person 2 is, for example, a movement accompanying the breathing of the person 2.
  • the concept of the movement of the luminescent spot will be described with reference to the conceptual perspective view of FIG.
  • the explanation will be made on the assumption that the target area is the plane 102 and the target is the object 103 immediately.
  • a case will be described in which the above-mentioned first two images at two different times, that is, a reference image and an acquired image are used.
  • the reference image is an image of the pattern 11a when the object 103 does not exist on the plane 102
  • the acquired image will be described as a pattern 11a when the object 103 exists on the plane 102.
  • the case where there is one imaging device 12 will be described.
  • an object 103 is placed on a plane 102.
  • an orthogonal coordinate system XYZ is set so that the XY axis is located within the plane 102, and the object 103 is located in the first quadrant of the XY coordinate system.
  • a projection device 11 and an imaging device 12 are arranged above the plane 102 on the Z-axis in the figure.
  • the imaging device 12 captures an image of the plane 102 on which the pattern 11a is projected by the projection device 11. That is, the object 103 placed on the plane 102 is imaged.
  • the imaging lens 13a as the imaging optical system of the imaging device 12 is arranged so that its optical axis coincides with the axis. Then, the imaging lens 13a forms an image of the pattern 11a on the plane 102 or the object 103 with an imaging surface 15 '(image Image).
  • the imaging plane 15 ' is typically a plane orthogonal to the Z axis. Further, an xy orthogonal coordinate system is set in the imaging plane 15 ', and the Z axis passes through the origin of the xy coordinate system.
  • the projection apparatus 11 is arranged at a distance d (base length d) in the negative direction of the Y axis from the imaging lens 13a at the same distance from the plane 102 and the imaging lens 13a. On the object 103 and the plane 102, a pattern 11a formed by a plurality of bright points l ib is projected by the projection device 11. Note that the y-axis direction is also the baseline direction in triangulation.
  • the pattern 11a projected on the plane 102 by the projection device 11 is not blocked by the object 103 at the portion where the object 103 exists, and does not reach the plane 102.
  • the bright point lib to be projected on the point 102a on the plane 102 is projected on the point 103a on the object 103.
  • the imaging lens 13a and the projection device 11 are separated by a distance d (base line length d), on the imaging surface 15 ',
  • What should be imaged at point 102a '(x, y) is imaged at point 103a' (x, y + ⁇ ). That is, the point in time when the object 103 does not exist and the point in time when the object 103 exists move by the distance ⁇ in the axial direction of the image power of the bright spot l ib.
  • the bright spot formed on the image plane 15 ′ of the image sensor 15 moves in the y-axis direction by ⁇ due to the object 103 having a height. .
  • the position of the point 103a on the object 103 can be specified three-dimensionally by measuring the movement amount ⁇ of the bright spot. That is, for example, the height of the point 103a is known. In this way, by measuring the difference between a point at which an image should be formed on the image plane 15 ′ when the object 103 does not exist and the actual image position on the image plane 15 ′, The distribution of the height of the object 103, that is, the three-dimensional shape can be measured. Alternatively, the three-dimensional coordinates of the object 103 can be measured.
  • the pitch of the pattern 11a that is, the pitch of the bright spot l ib is finely adjusted so that the correspondence between the bright spots l ib does not become unclear
  • the height distribution of the object 103 can be measured more precisely.
  • the measuring device 14 can measure the height of the target object by measuring the movement amount of the bright spot.
  • the measuring device 14 when measuring the movement of the luminescent spot based on the image at the second different time point, that is, when measuring the movement of the luminescent spot based on the acquired image and the reference image, Since you will see the amount of change in the movement of the bright spot, for example, The height of the object cannot be measured, but the change in the height of the object can be measured.
  • the measurement device 14 associates the pattern 11a on the image captured by the first imaging device 12a with the pattern 11a on the image captured by the second imaging device 12b. It is configured.
  • the respective bright points l ib forming the pattern 11a are associated with each other. In this way, it is possible to correspond to the position of each bright spot in the height information and the movement information, in other words, the movement amount of the bright spot at the position of each measurement point. For example, if the target area of the two imaging devices 12, that is, the appearance on the bed 3 is checked in advance, it is possible to take measures.
  • the optical axes of the first imaging device 12a and the second imaging device 12b are aligned. More specifically, for example, the optical axis is adjusted so that the imaging ranges of the imaging devices 12 overlap as much as possible.
  • the association is performed by the following method.
  • an image of a pattern is acquired by the first imaging device 12a, and a three-dimensional coordinate of each bright spot of the pattern is calculated. Then, based on the three-dimensional coordinates and the arrangement of each imaging device 12, the coordinate system shown in FIG. 6 is transformed.
  • the three-dimensional coordinates of each bright spot are represented by a coordinate system (X, Y
  • the coordinate system (X, ⁇ , Z) is set as the three-dimensional coordinates of the first imaging device 12a,
  • the image lens 13a is set as the origin of the coordinate system (X, ⁇ , Z), and the first imaging device 12a and the second imaging device
  • dx be the distance of device 12b.
  • the following equation is used to convert the coordinate system.
  • an image of the pattern is acquired by the second imaging device 12b.
  • the calculated position is compared with the pattern image acquired by the second imaging device 12b, and the closest bright spot is regarded as the same bright spot, and is associated with each other.
  • the above association process is performed for all luminescent points on the image. However, due to the difference in the imaging range between the first imaging device 12a and the second imaging device 12b, the illuminating cannot be performed. A dot may appear. Such a bright spot is treated as a vanishing spot and is not used for measurement.
  • the arithmetic device 20 has a control unit 21 that controls the monitoring device 1. Further, a storage unit 31 is connected to the control unit 21. The storage unit 31 may store images acquired from the imaging device 12 in chronological order. The storage unit 31 can store data such as calculated information.
  • the control unit 21 is connected to a display 40 as information output means for displaying a synthesis result of the output information generation unit 24 as information synthesis means described later.
  • Display 40 is typically an LCD.
  • the display 40 inputs and displays, for example, analysis information output from an output information generation unit 24 described later.
  • it is not particularly necessary to provide the display 40.
  • the control unit 21 is connected to an input device 35 for inputting information for operating the monitoring device 1.
  • the input device 35 is, for example, a touch panel, a keyboard, or a mouse. Although the input device 35 is shown as being externally attached to the arithmetic device 20 in this figure, it may be built in. Further, in the present embodiment, the case where the input device 35 is provided will be described, but there is no problem if the input device 35 is not provided.
  • control unit 21 three-dimensional information calculation means for obtaining the outer shape information of the person 2 present on the bed 3 based on the movement of the pattern on the image obtained by the first FG sensor 10a And a fluctuation information calculating unit as fluctuation information calculating means for obtaining fluctuation information of the person 2 based on the movement of the pattern on the image obtained by the second FG sensor 10b. 23, and an output information generating unit 24 as information synthesizing means for synthesizing the outline information and the variation information.
  • the outer shape information and the variation information will be described below. Hereinafter, each of the above configurations will be described in detail.
  • the three-dimensional shape generation unit 22 obtains the outline information of the person 2 existing on the bed 3 as described above.
  • the outer diameter information is an image indicating a three-dimensional shape (hereinafter, simply referred to as a three-dimensional shape).
  • the three-dimensional shape generation unit 22 generates a three-dimensional shape as outer shape information based on a measurement result of the measurement device 14 of the first FG sensor 10a, that is, height information.
  • the three-dimensional shape generation unit 22 is configured to generate a three-dimensional shape based on height information that is a measurement result of the measurement device 14.
  • the height information which is the measurement result of the measurement device 14, corresponds to the height of the person 2 at a plurality of measurement points. Calculate the height. In this case, the height of the person 2 at each measurement point is calculated by triangulation based on the movement amount of the bright spot at each measurement point in the height information. More specifically, the height from above the bed 3 is calculated.
  • the calculation of the height of the person 2 will be described with reference to FIG.
  • the explanation will be made assuming that the target area is the plane 102 and the target is the object 103 immediately.
  • FIG. 8 is a diagram showing the relationship between the projection device 11, the imaging device 12, the object 103, and the plane 102 as viewed in the X-axis direction (see FIG. 4).
  • the case where the height of the object 103 is Z1 will be described.
  • the center of the projection device 11 (the center of the pattern light source) and the center of the imaging lens 13a are disposed at a distance d in parallel with the plane 102, and are separated from the imaging lens 13a by the imaging surface 15 '(imaging
  • the distance to the element 15) is 1 (L) (substantially equal to the focal point of the imaging lens 13a), the distance from the imaging lens 13a to the plane 102 is h, and the point 103a of the object 103 from the plane 102 is The height is Z1.
  • the point 102a 'on the image plane 15' is a point 10 away by ⁇ . Suppose you have moved to 3a '.
  • the height of the object 103 can be calculated.
  • the three-dimensional shape generation unit 22 is configured to interpolate the external shape information, that is, the insufficient part of the three-dimensional shape. Note that when the outer shape information can be acquired as necessary and sufficient, there is no need to perform interpolation.
  • the three-dimensional shape generation unit 22 calculates the height at each measurement point from the height information that is the measurement result of the measurement device 14, and generates the three-dimensional shape based on the calculated height. Generate. Note that the height of the person 2 is not known because the measurement points (bright spots) are arranged at intervals, so the height between the measurement points is not known. Therefore, if the three-dimensional shape is generated as it is from the calculated height of the person 2 at each measurement point, the outer shape of the person 2 is difficult to understand. In order to compensate for this, the three-dimensional shape generation unit 22 performs interpolation on the part of the person 2 where the height is insufficient.
  • the four nearby measurement points are searched from the three-dimensional coordinates ( ⁇ , ⁇ , ⁇ ) to be interpolated.
  • the four measurement points belong to the four quadrants based on ( ⁇ , ⁇ ), respectively.
  • the three-dimensional shape generation unit 22 By performing the above calculation for the coordinates to be interpolated, the height of the person 2 at the coordinates between the measurement points can be interpolated.
  • the three-dimensional shape generation unit 22 generates a three-dimensional shape by performing the above interpolation.
  • FIG. 9 shows an example of the three-dimensional shape generated in this manner.
  • the three-dimensional shape shown is an image of an image displayed on the display 40.
  • interpolation is not limited to the examples described above, but may be any of various interpolation methods or the crit method (eg, Triangulation, Radial Basis Function complement f3 ⁇ 4, Polynomia 1 Regression ⁇ Nearest Neighbor grid method, Natural Neighbor grid Method, Modified Shepard's Method ⁇ Minimum Curvature, Inverse Distance to a Power grid method, Kriging, etc.) can be applied.
  • crit method eg, Triangulation, Radial Basis Function complement f3 ⁇ 4, Polynomia 1 Regression ⁇ Nearest Neighbor grid method, Natural Neighbor grid Method, Modified Shepard's Method ⁇ Minimum Curvature, Inverse Distance to a Power grid method, Kriging, etc.
  • the fluctuation information calculation unit 23 obtains fluctuation information of the person 2 as described above.
  • the variation information is information on the movement of the person 2 in the height direction including the phase of the movement of the person 2 in the height direction at each measurement point. Further, here, it is assumed that the fluctuation information also includes a height change amount described later.
  • the fluctuation information calculation unit 23 is configured to identify the phase of the motion at each measurement point from the motion information that is the measurement result of the measurement device 14.
  • the variation information calculation unit 23 obtains the phase of the movement identified at each measurement point as variation information.
  • the phase is a concept including the direction of movement.
  • the discrimination of the phase of the motion by the fluctuation information calculation unit 23 is performed by discriminating whether the motion measured at each measurement point by the measuring device 14 is a force that is an upward motion or a downward motion. It is to be. By doing so, for example, it is possible to know which part on the body of the person 2 is moving upward or downward.
  • the fluctuation information calculation unit 23 is configured to calculate the amount of change in height of the person 2 at each measurement point (hereinafter referred to as the height change amount) as fluctuation information based on the motion information. .
  • the fluctuation information calculation unit 23 calculates the measurement result of the measuring device 14 of the second FG sensor 10b, that is, the motion information. The amount of height change is calculated based on.
  • the fluctuation information calculation unit 23 is configured to calculate a height change amount based on the motion information.
  • the movement information corresponds to the movement of the person 2 in the height direction at each measurement point.
  • the actual height change amount is calculated from the movement information.
  • the height change of the person 2 at each measurement point is determined by triangulation based on the movement amount of the bright spot at each measurement point in the motion information. Calculate the amount.
  • the height change amount may be subjected to interpolation similar to the three-dimensional shape.
  • the output information generation unit 24 synthesizes the three-dimensional shape and the variation information.
  • the output information generation unit 24 is configured to generate analysis information for combining and displaying the three-dimensional shape obtained by the three-dimensional shape generation unit 22 and the fluctuation information obtained by the fluctuation information calculation unit 23. Have been.
  • the generated analysis information is output to the display 40 and displayed on the display 40.
  • the term “combining” means, for example, superimposing variation information on a three-dimensional shape.
  • the displayed synthesis result also includes, for example, information such as a volume change of the person 2 and a waveform thereof, which will be described later.
  • the output information generation unit 24 writes the variation information in a three-dimensional shape at each measurement point.
  • An image synthesized so as to correspond to (bright point) is generated as analysis information.
  • the determination result by the abnormality determination unit 26 described later is also included in the generated analysis information.
  • the output information generation unit 24 is configured to perform the synthesis so that the movement of each part of the person 2 can be understood. Specifically, the phase of the identified movement at each measurement point, which is fluctuation information, is superimposed on the three-dimensional shape so that the coordinates correspond to each other. By doing so, for example, it is easy to see which part of the body of the person 2 is moving upward or downward.
  • an example of synthesizing the three-dimensional shape and the variation information that is, an example of the generated analysis information will be described with reference to the schematic diagram of FIG.
  • an example of the generated analysis information is shown by an image displayed on the display 40.
  • the position information corresponds to the three-dimensional shape described in FIG. To be synthesized.
  • the phase of the movement at each measurement point can be identified.
  • FIG. 10 (a) shows a case where the abdomen of the person 2 is moving upward, and more specifically, a case of inhalation of abdominal breathing.
  • FIG. 10 (b) shows a case where the chest of the person 2 is moving downward, more specifically, a case of exhalation of chest respiration.
  • the measurement points of each phase are shown by changing the pattern (in the figure, the upward direction is outlined, and the downward direction is solid). ), And the colors may be changed respectively (for example, blue upwards and red downwards). Also, for example, the phase of the movement may be indicated by an arrow (indicated by a broken line at some measurement points in the figure). By doing so, it is possible to easily recognize which part of the body of the person 2 is moving upward or downward.
  • the monitoring device 1 displays the analysis information thus generated on the display 40.
  • the display is performed. Further, the display becomes easy to understand the change in the movement.
  • the color is brightened by reflecting the amount, and the length of the arrow is increased. The display is easy to understand the change in height.
  • the output information generation unit 24 is configured to calculate the volume fluctuation amount of the person 2.
  • the volume fluctuation amount can be calculated as a height change amount force which is fluctuation information.
  • the sum of the height fluctuation amounts may be used as the volume fluctuation amount.
  • the calculated volume fluctuation amount is displayed on the display 40 by being included in the analysis information. If the information is not to be displayed on the display 40, the data may be stored in an electronic medium or the like (for example, the storage unit 31 in this case).
  • the volume fluctuation is integrated by an absolute value over one period (data acquisition is performed at regular time intervals, so actually, By adding the data, the total amount of each motion can be obtained. In the case of respiratory detection, half of this corresponds to tidal volume.
  • one cycle or half cycle When data is added over multiple periods, when determining the start point and end point of the cycle, take the moving average of the volume change amount obtained several times and determine the value from negative to positive or from positive to negative.
  • the start point or the end point may be set with the timing of the transition. As a result, it is possible to prevent pseudo-positive and negative transitions from occurring due to noise included in the value of the volume fluctuation amount, thereby causing an error in the timing of the start point and the end point.
  • the output information generation unit 24 is configured to correct the fluctuation information based on the outer shape information, here, the three-dimensional shape. What is corrected here is the height change amount that is the fluctuation information.
  • the output information generation unit 24 corrects the height change amount using the three-dimensional shape obtained by the three-dimensional shape generation unit 22. Specifically, the height change amount corresponding to each point is corrected, with the height of the person 2 at each point forming the three-dimensional shape as the distance.
  • the base line length of the second FG sensor 10b is 600 mm
  • the focal length 1 of the imaging lens 13a of the second imaging device 12b is 12 mm. If the distance h from the imaging lens 13a to the plane 102 is 2.3m, and if the bright spot moves 5 / im on the imaging surface 15 ', the height change is calculated to be 3.67mm. You. Also, assuming that the distance from the imaging lens 13a to the object 103 is 2.0 m (the height of the object 103 is 0.3 m), and calculating this as h, the height change is 2.77 mm. Is calculated. The difference in height change of 1.1 mm is the measurement error.
  • the output information generation unit 24 can calculate the height change amount using the accurate distance h by the correction, and thus can know the height change amount more accurately. Furthermore, by calculating the volume fluctuation amount based on the height change amount thus corrected, the person 2 can be more accurately calculated. Volume fluctuations can be measured. This is very useful for measuring the amount of fine movement such as breathing.
  • control unit 21 includes a motion determining unit 25 that determines the type of the motion of the person 2 based on the motion information measured by the measuring device 14 of the second FG sensor 10b. That is, the motion determining unit 25 determines the type of the motion of the person 2 based on the motion information measured at the plurality of measurement points by the measuring device 14, that is, the motion of the person 2 in the height direction.
  • the types of movement of the person 2 determined by the movement determining unit 25 are typically breathing, body movement, and no movement (immobile). Further, the motion determining unit 25 is configured to detect the breathing of the person 2 based on the motion information.
  • the body movement is a movement of the body of the person 2, and is a concept including, for example, a movement such as standing or sitting, as well as a movement of a limb.
  • the motion determining unit 25 may be configured to detect the breathing.
  • the detection of respiration by the motion discriminating unit 25 is performed by setting predetermined upper and lower thresholds for both or one of the amplitude and the period (frequency) of the periodic change of the time change of the average value, and comparing with the threshold.
  • the breathing force may be determined to detect the breathing.
  • the upper and lower thresholds of the cycle may be set, for example, in a range including the respiratory cycle of the person, for example, the lower limit may be set to 5 cycles per minute and the upper limit may be set to 60 cycles per minute.
  • the respiratory rate of an adult is in the range of about 5 to 30 times per minute, but the respiratory rate of an infant tends to be higher.
  • FIG. 11 is a diagram showing an example of a breathing waveform pattern.
  • the motion determining unit 25 detects the respiratory rate.
  • the respiration rate can be detected, for example, by performing a data processing such as a Fourier transform on a time change of a total sum of movement amounts of the bright spots in the area where the motion is determined to be the respiration.
  • the control unit 21 further includes an abnormality determination unit 26 that determines an abnormality of the person 2 based on the movement of the person 2 in the height direction measured by the measurement device 14 of the second FG sensor 10b. ing. More specifically, the abnormality determination unit 26 determines the abnormality of the person 2 based on the detection result of the respiration of the person 2 by the motion determination unit 25. Further, the abnormality determination unit 26 is also an abnormality determination unit that determines an abnormality of the person 2 based on the fluctuation information obtained by the fluctuation information calculation unit 23. In addition, the judgment of the abnormality of the person 2 means that the person 2 is in a dangerous state here. It is to determine whether or not.
  • the criteria for determining the dangerous state of person 2 by abnormality determination unit 26 may be set in consideration of the following. For example, when breathing is detected by the motion determining unit 25, if the cycle of the breathing pattern is disturbed in a short time, or if the cycle of the breathing pattern changes rapidly, for example, natural pneumothorax, Since it can be inferred that the disease is a lung disease such as bronchial asthma, a heart disease such as depressive heart failure, or a cerebrovascular disease such as cerebral hemorrhage, it is set to be judged as dangerous. In addition, if the disappearance of the breathing pattern continues, it can be estimated that the breathing of the person 2 has stopped, so that it is set to be determined to be dangerous. Then, if the body motion of the person 2 occurs frequently instead of the breathing pattern in a short time, it can be inferred that the person 2 is suffering and rampaging for some reason, so it is determined that the state is dangerous. Set as follows.
  • the determination result by the abnormality determination unit 26 as described above is configured to be displayed on the display 40.
  • the abnormality determination unit 26 outputs the determination result to the output information generation unit 24.
  • the output information generation unit 24 generates analysis information including the determination result and outputs the analysis information to the display 40.
  • the result of the determination by the abnormality determination unit 26 is displayed on the display 40, so that, for example, the measurer can easily recognize the abnormality of the person 2.
  • the pattern projected on the bed 3 is a plurality of bright points.
  • the movement of the person 2 in the height direction may be measured by using the light section method.
  • a projection device 111 configured to project a bright line as pattern light onto the bed 3 is used as the projection means.
  • the number of emission lines to be projected may be one, typically a plurality of forces S. Further, in the case of one line, for example, a method of running one bright line may be used.
  • a plurality of bright lines 11 lb are projected at equal intervals.
  • the multiple emission lines 11 lb form a pattern 111a '.
  • the direction of the bright line 111b is substantially perpendicular to the base line direction of the trigonometry.
  • the image of the bright line formed on the imaging surface 15 ′ of the image sensor 15 is A tall object will move in the y-axis direction by ⁇ . Similarly, by measuring this ⁇ , the object The position of the upper point can be specified three-dimensionally. The measurement of ⁇ is performed at the position of the center line of the bright line image. In the case of a bright line, the measurement point corresponds to one pixel of the image sensor 15 at the position of the bright line image.
  • the movement of an arbitrary point on the bright line can be compared with the case where the pattern light is a plurality of bright points. Can be measured, and the continuous shape in the emission line direction can be recognized. In other words, it is possible to improve the resolution of the measurement in the bright line direction.
  • the first three-dimensional sensor and the second three-dimensional sensor share the same projection device, but are not limited to this, and the first imaging device and the second imaging device may be different.
  • the device 12b and the common imaging device 12 may be used.
  • the first FG sensor 10a and the second FG sensor 10b are installed by placing the first projection device 11-1 and the imaging device 12 approximately above the center of the bed 3 and the person 2
  • the second projection device 112 is arranged approximately above the head.
  • the first projection device 11 1 is arranged at a first interval dl from the imaging device 12, and the second projection device 11-2 is arranged at a second interval d 2.
  • the patterns projected are not common, that is, the pattern 11a projected from the first projection device 11-1 and the pattern projected from the second projection device 11-12.
  • 11a ′ the synthesis of the three-dimensional shape and the variation information by the output information generation unit 24 is slightly different. Specifically, the synthesis by the output information generation unit 24 is performed in such a manner that the coordinates on the bed 3 correspond to the three-dimensional shape and the variation information, instead of being synthesized so that each measurement point of each FG sensor 10 corresponds. Combine. By doing so, the projection of the pattern of each FG sensor 10 Even if the positions and the pitches of the luminescent spots are different, the three-dimensional shape and the variation information can be accurately synthesized.
  • the processing may be performed while distinguishing the image captured when projecting the pattern 11a '.
  • the movement of the pattern 11a and the movement of the pattern 11a ' can be measured, respectively, so that three-dimensional shape and variation information can be obtained.
  • the amount of image processing can be reduced.
  • the monitoring device 1 includes the first FG sensor 10a, the second FG sensor 10b, the three-dimensional shape generation unit 22, and the fluctuation information calculation unit 23
  • the three-dimensional shape of the person 2 can be obtained by the original shape generation unit 22 based on the height information obtained by the first FG sensor 10a, and the variation information calculation unit 23 can obtain the three-dimensional shape of the person 2 by the second FG sensor 10b. Based on the obtained motion information, variation information of the person 2 can be obtained. Further, by providing the output information generation unit 24 and synthesizing the three-dimensional shape and the variation information, it is possible to easily recognize which part of the body of the person 2 is moving upward or downward, for example. Since an image can be generated, the state of the person 2, particularly the state of breathing, can be easily and accurately grasped.
  • the first FG sensor 10a has a relatively short distance between the projection device and the imaging device (base line length). It is suitable.
  • the second FG sensor 10b has a longer arrangement interval (base line length) between the projection device and the imaging device than the first FG sensor 10a, so that more detailed movement, such as breathing of the person 2, is performed. Even small movements can be measured accurately.
  • the three-dimensional shape generation unit 22 generates a three-dimensional shape that can recognize the body shape of the person 2, so that the breathing state of the person 2 can be clearly understood.
  • the FG sensor 10 as a three-dimensional sensor, the movement of the person 2 in the height direction can be measured simply but accurately. Further, since the FG sensor 10 can perform measurement without contact, the burden on the person to be measured is small.
  • the output information generation unit 24 corrects the fluctuation information based on the three-dimensional shape, so that the height change amount of the person 2 can be calculated more accurately. Further, since the volume fluctuation amount is calculated based on the height change amount, a more accurate volume fluctuation amount can be measured.
  • the monitoring device 1 also includes a display 40 for displaying the result of the synthesis of the output information generation unit 24. Accordingly, the monitoring apparatus 1 analyzes the synthesis result obtained by the output information generation unit 24, that is, the analysis information in which the fluctuation information indicating the movement of the person 2 on the body is superimposed on the three-dimensional shape indicating the outer shape of the body of the person 2. Since the information can be displayed on the display 40, the movement (particularly the movement due to breathing) of each body part can be easily recognized. This can be helpful, for example, for a doctor's diagnosis.
  • the three-dimensional shape generation unit 22 performs interpolation on the insufficient part of the three-dimensional shape, it is possible to obtain a continuous outline of the person 2 even when the measurement points are arranged at intervals. .
  • FIG. 1 is a schematic external view schematically showing a monitoring device according to an embodiment of the present invention.
  • FIG. 2 is a schematic perspective view illustrating a projection device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration example of a monitoring device according to an embodiment of the present invention.
  • FIG. 4 is a conceptual perspective view for explaining the concept of movement of a bright spot in the embodiment of the present invention.
  • FIG. 5 is a schematic diagram illustrating a bright point formed on an image forming surface in the case of FIG. 4.
  • FIG. 6 is a diagram for explaining coordinate conversion at the time of associating a luminescent spot between a first imaging device and a second imaging device according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating similar use in the case of FIG. 6;
  • FIG. 8 is a diagram illustrating calculation of a height of an object according to the embodiment of the present invention.
  • FIG. 9 is a schematic diagram illustrating a three-dimensional shape generated by a three-dimensional shape generation unit according to an embodiment of the present invention.
  • FIG. 10 shows an example of a result obtained by synthesizing fluctuation information with the three-dimensional shape in the case of FIG. 9, (a) is a schematic diagram showing an upward movement of the abdomen, and (b) is a schematic diagram of the chest.
  • FIG. 9 is a schematic diagram showing a case where there is a downward movement.
  • FIG. 11 is a diagram showing a waveform pattern of respiration used in the embodiment of the present invention.
  • FIG. 12 is a schematic external view schematically showing a monitoring device when a plurality of bright lines are used for pattern light projected by the projection device according to the embodiment of the present invention.
  • FIG. 13 is a schematic diagram illustrating bright lines imaged on an image plane in the case of FIG. 12.
  • FIG. 14 is a schematic external view schematically showing a monitoring device in a case where a first imaging device and a second imaging device according to an embodiment of the present invention are shared and two projection devices are provided.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　対象物の状態を容易且つ正確に把握できる三次元形状測定装置を提供する。対象領域にパターン光を投影する投影装置１１と、投影装置１１から第１の間隔ｄ１をもって配置されパターン光が投影された対象領域を撮像する（第１の）撮像装置１２ａとを有する第１の三次元センサ１０ａと、投影装置１１と、投影装置１１から第１の間隔ｄ１よりも長い第２の間隔ｄ２をもって配置されパターン光が投影された対象領域を撮像する（第２の）撮像装置１２ｂとを有する第２の三次元センサ１０ｂと、第１の三次元センサ１０ａで得られた像上のパターンの移動に基づいて、対象物２の外形情報を得る三次元情報演算手段２２と、第２の三次元センサ１０ｂで得られた像上のパターンの移動に基づいて、対象物２の変動情報を得る変動情報演算手段２３と、外形情報と変動情報を合成する情報合成手段２４とを備える三次元形状測定装置とする。

Description

明 細 書
三次元形状測定装置
技術分野
[0001] 本発明は、三次元形状測定装置に関し、特に対象物の状態を容易且つ正確に把 握できる三次元形状測定装置に関するものである。
京技術
[0002] 空間内、例えば風呂場やトイレ等での対象物、例えば人物の動きを検出する動き 検出装置として、従来から、動き検出センサが提案されている。代表的な例としては、 ベッド上の就寝者にパターンを投影し、投影されたパターンを連続的に撮像した画 像からパターンの移動量を算出することで、就寝者の呼吸を監視する監視装置があ つた (例えば、特許文献 1参照。）。
[0003] 特許文献 1 :特開 2002 - 175582号公報 （第 5—9頁、第 1一 13図）
発明の開示
発明が解決しょうとする課題
[0004] し力しながら以上のような従来の装置によれば、対象物の各部位毎の状態、例えば 対象物の形状とその動き (例えば呼吸のような小さな動きを含む）の状態を同時に把 握するのが困難であった。また、対象物の部位 (例えば対象物が人物である場合に はその胸部や腹部等）によって、動きの測定結果に、若干ではあるが誤差が生じる場 合があった。
[0005] そこで本発明は、対象物の状態を容易且つ正確に把握できる三次元形状測定装 置を提供することを目的としている。
課題を解決するための手段
[0006] 上記目的を達成するために、本発明の 1つの態様による三次元形状測定装置 1は 、例えば図 1、図 3に示すように、対象領域にパターン光を投影する投影装置 11と、 投影装置 11から第 1の間隔 dlをもって配置され前記パターン光が投影された対象 領域を撮像する撮像装置 12aとを有する第 1の三次元センサ 10aと；前記対象領域 にパターン光を投影する投影装置 11と、投影装置 11から第 1の間隔 dlよりも長い第 2の間隔 d2をもって配置され前記パターン光が投影された対象領域を撮像する撮像 装置 12bとを有する第 2の三次元センサ 10bと；第 1の三次元センサ 10aで得られた 像上のパターンの移動に基づいて、前記対象領域に存在する対象物 2の外形情報 を得る三次元情報演算手段 22と；第 2の三次元センサ 10bで得られた像上のパター ンの移動に基づいて、対象物 2の変動情報を得る変動情報演算手段 23と；前記外形 情報と前記変動情報を合成する情報合成手段 24とを備える。
[0007] このように構成すると、対象領域にパターン光を投影する投影装置 11と、投影装置 11から第 1の間隔 dlをもって配置され前記パターン光が投影された対象領域を撮像 する撮像装置 12aとを有する第 1の三次元センサ 10aと、前記対象領域にパターン光 を投影する投影装置 1 1と、投影装置 11から第 1の間隔 dlよりも長い第 2の間隔 d2を もって配置され前記パターン光が投影された対象領域を撮像する撮像装置 12bとを 有する第 2の三次元センサ 10bとを備えているので、例えば各三次元センサの各々 で、像上のパターンの移動を得ることができる。さらに、三次元情報演算手段 22で、 第 1の三次元センサ 10aで得られた像上のパターンの移動に基づいて、対象物 2の 外形情報を得ることができ、変動情報演算手段 23で、第 2の三次元センサ 10bで得 られた像上のパターンの移動に基づいて、対象物 2の変動情報を得ることができる。 またさらに、情報合成手段 24により、前記外形情報と前記変動情報を合成することで 、対象物の状態を容易且つ正確に把握できる三次元形状測定装置を提供できる。
[0008] また、典型的には第 1の三次元センサ 10aと第 2の三次元センサ 10bは、投影装置 11を共通とし、第 1の撮像装置 12aと該第 1の撮像装置とは別の第 2の撮像装置 12b とを備えているが、第 1の撮像装置 12aと第 2の撮像装置 12bが共通で、投影装置 11 力 ¾つ即ち第 1の投影装置と第 1の投影装置とは別の第 2の投影装置とがあってもよ レ、。
[0009] また本発明の別の態様による三次元形状測定装置 1では、情報合成手段 24は、前 記外形情報に基づいて、前記変動情報を補正するように構成するとよい。このように 構成すると、前記補正により、より正確な変動情報を得ることができる。
[0010] またさらに別の態様による三次元形状測定装置 1では、情報合成手段 24は、前記 合成を、対象物 2の各部位毎の動きが解るように行うことを特徴とするとよい。 [0011] またさらに別の態様による三次元形状測定装置は、情報合成手段 24の合成結果 を表示する情報出力手段 40を備える。
[0012] このように構成すると、情報出力手段 40により、情報合成手段 24の合成結果を表 示することで、例えば、対象物 2上の各部位での動きを表示により容易に把握できる
[0013] またさらに別の態様による三次元形状測定装置 1では、投影装置 11の投影するパ ターン光は、輝点が配列されたものであることを特徴とするとよい。
[0014] またさらに別の態様による三次元形状測定装置 1では、三次元情報演算手段 22は 、前記外形情報の不足部位について補間を行うことを特徴とするとよい。
発明の効果
[0015] 以上のように、本発明によれば、対象領域にパターン光を投影する投影装置と、前 記投影装置から第 1の間隔をもって配置され前記パターン光が投影された対象領域 を撮像する撮像装置とを有する第 1の三次元センサと、前記対象領域にパターン光 を投影する投影装置と、前記投影装置から前記第 1の間隔よりも長い第 2の間隔をも つて配置され前記パターン光が投影された対象領域を撮像する撮像装置とを有する 第 2の三次元センサと、前記第 1の三次元センサで得られた像上のパターンの移動 に基づいて、前記対象領域に存在する対象物の外形情報を得る三次元情報演算手 段と、前記第 2の三次元センサで得られた像上のパターンの移動に基づいて、前記 対象物の変動情報を得る変動情報演算手段と、前記外形情報と前記変動情報を合 成する情報合成手段とを備えるので、対象物の状態を容易且つ正確に把握できる三 次元形状測定装置を提供することができる。
[0016] この出願は、 曰本国で 2003年 6月 9曰に出願された特願 2003—163503号に基 づいており、その内容は本出願の内容として、その一部を形成する。
また、本発明は以下の詳細な説明によりさらに完全に理解できるであろう。本発明の さらなる応用範囲は、以下の詳細な説明により明らかとなろう。し力 ながら、詳細な 説明及び特定の実例は、本発明の望ましい実施の形態であり、説明の目的のために のみ記載されているものである。この詳細な説明から、種々の変更、改変が、本発明 の精神と範囲内で、当業者にとって明らかであるからである。 出願人は、記載された実施の形態のいずれをも公衆に献上する意図はなぐ開示さ れた改変、代替案のうち、特許請求の範囲内に文言上含まれないかもしれないもの も、均等論下での発明の一部とする。
発明を実施するための最良の形態
[0017] 以下、本発明の実施の形態について、図面を参照して説明する。なお、各図にお いて互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略 する。
[0018] 図 1は、本発明による第 1の実施の形態である三次元形状測定装置としての監視装 置 1の模式的外観図である。監視装置 1は、対象領域を監視するように構成されてい る。監視装置 1は、対象領域にパターン光を投影する投影装置 11と、投影装置 11か ら第 1の間隔をもって配置され、前記パターン光が投影された対象領域を撮像する 第 1の撮像装置 12aとを有する第 1の三次元センサとしての第 1の FGセンサ 10aを備 えている。また、監視装置 1は、前記対象領域にパターン光を投影する投影装置 11 と、投影装置 11から前記第 1の間隔よりも長い第 2の間隔をもって配置され、前記パ ターン光が投影された対象領域を撮像する第 2の撮像装置 12bとを有する第 2の三 次元センサとしての第 2の FGセンサ 10bを備えている。さらに監視装置 1は、第 1の F Gセンサ 10a及び第 2の FGセンサ 10bを制御する演算装置 20を備えている。即ち、 監視装置 1は、第 1の FGセンサ 10aと、第 2の FGセンサ 10bと、演算装置 20とを含ん で構成される。以下、第 1の FGセンサ 10aと第 2の FGセンサ 10b、第 1の撮像装置 1 2aと第 2の撮像装置 12bをそれぞれ特に区別しないときには、それぞれ単に FGセン サ 10、撮像装置 12と呼ぶ。また、第 1の FGセンサ 10aと第 2の FGセンサ 10bは投影 装置 11を共通とする。
[0019] さらに、 FGセンサ 10は、撮像装置 12により撮像された像上のパターンの移動を測 定する測定装置 14を有している。本実施の形態では、第 1の FGセンサ 10aと第 2の FGセンサ 10bは測定装置 14を共通とする。即ち、測定装置 14は、第 1の撮像装置 1 2aと第 2の撮像装置 12bで各々撮像された像上のパターンの移動をそれぞれ測定 する。また、投影装置 11と撮像装置 12は、測定装置 14に電気的に接続され、測定 装置 14に制御されている。なお、本実施の形態では、測定装置 14は、演算装置 20 と一体に構成されている。
[0020] また、対象領域には対象物が存在している。本実施の形態では、対象領域はベッド
3上である。また対象物は、典型的には呼吸運動を行うものである。即ち対象物は、 人物や動物である。さらに本実施の形態では、対象物は人物 2である。
[0021] 図中ベッド 3上には、人物 2が横たわって存在している。即ちパターン光は、人物 2 に投影される。なお、ベッド 3上に人物 2が存在していないときには、パターン光は、 そのままベッド 3上に投影される。また、例えば人物 2の上に寝具をかけてもよい。こ の場合には、パターン光は、寝具の上に投影される。
[0022] さらに、投影装置 11の投影するパターン光は、典型的には輝点が配列されたもの である。言い換えれば、投影されるパターン光は、複数の輝点である。ここでは、投影 されるパターン光は、図 2で後述するような略正方格子状に配列された複数の輝点 1 lbで形成されたパターン 11aである。図中投影装置 11は、ベッド 3上にパターン 11a を投影している。そして、ベッド 3上に投影された複数の輝点は、ベッド 3上の複数の 測定点にそれぞれ対応する。即ち各輝点の位置は測定点の位置である。測定点と は、後述するように人物 2の高さ方向の動き、高さを測定できる点である。なお、ここで 高さとはベッド 3上力らの高さである。以下、上記各構成について詳細に説明する。
[0023] まず、 FGセンサ 10の設置について説明する。投影装置 11と、撮像装置 12は、ベ ッド 3の上方に配置されている。図示では、ベッド 3のおよそ中央部上方に投影装置 1 1と第 1の撮像装置 12aが、人物 2のおよそ頭部上方に第 2の撮像装置 12bが配置さ れている。第 1の撮像装置 12aは、投影装置 11から第 1の間隔 dlをもって、第 2の撮 像装置 12は第 2の間隔 d2をもって配置されている。ここでは、投影装置 11、第 1の撮 像装置 12a、第 2の撮像装置 12bは、同一直線上に配置される。即ちここでは、第 1 の FGセンサ 10aの基線方向と、第 2の FGセンサ 10bの基線方向は平行であり、さら に同一直線上にある。なお、第 2の間隔 d2は、第 1の間隔 dlの例えば 2 20倍程度 、好ましくは 5— 15倍程度とする。本実施の形態では、 10倍としている。例えば、第 1 の間隔 dlを 60mmとすると第 2の間隔 d2は 600mmである。なおここでは各撮像装 置 12の画角は、およそベッド 3の中央部分を撮像できるように設定されいる。なお、 投影装置 11と撮像装置 12の距離を基線長という。基線長は、三角測量法の基線方 向の投影装置 11と撮像装置 12の間隔である。なお、ここでは投影装置 11、第 1の撮 像装置 12a、第 2の撮像装置 12bは、同一直線上に配置される場合で説明するが、 これに限られない。同一直線上にない場合には、例えば、後述の合成の際に、見え 方の補正を行なうことにより対応できる。
[0024] ここで基線長について説明する。ここでは、 FGセンサ 10は、図 4で後述するように、 パターンを形成する輝点の移動を測定するものである。この際に、例えば、対象物（ ここでは人物 2)の高さ又は高さ方向の動きが大きくなればなるほど、輝点の移動量も 大きくなる。このため、図 4で後述する概念によると、輝点の移動量が大きいと、比較 すべき輝点の隣の輝点を飛び越してしまう現象が起こることがある。この場合、隣の 輝点から移動したと判断され、測定される輝点の移動量は小さくなつてしまうことがあ る。即ち、正確に輝点の移動量を測定できなレ、。第 1の FGセンサ 10aのように、基線 長が短レ、（第 1の間隔 dl)場合には、輝点の移動量は小さぐ上記の飛び越えが起こ りにくいが、微小な動きに対してはノイズとの区別が難しくなる。また、第 2の FGセン サ 10bのように、基線長が長レ、（第 2の間隔 d2)場合には、例えば対象物の僅かな動 きであっても、輝点の移動量に大きく反映されるので、微小な高さ又は高さ方向の動 きの測定することができる力 例えば大きな動きがあった場合に飛び越えが起きること 力 sある。
[0025] このため、例えば人物 2の形状を測定するためには、基線長を短く設定し、微細な 動き、例えば呼吸運動を測定するために基線長を長く設定することが望ましい。言い 換えれば、本実施の形態のように、第 1の FGセンサ 10aで得られたパターンの移動 に基づいて、人物 2の形状を測定し、第 2の FGセンサ 10bで得られたパターンの移 動に基づレ、て、人物 2の動きを測定するようにすることが望ましレ、。
[0026] このように、投影装置 11と第 2の撮像装置 12bとは、ある程度距離を離して設置す るとよレ、。このようにすることで、基線長が長くなるので、変化を敏感に検出できるよう になる。
[0027] 投影装置 11は、ここでは、その光軸（レーザ光束 L1の投射方向）を、図示のように 、ベッド 3の上面の垂直方向に対して、およそ平行方向に設置する。なおここでは、 上記のように、投影装置 11は、その光軸をベッド 3の上面の垂直方向に対しておよそ 平行方向に設置するが、前記垂直方向に対して、傾けて設置してもよい。
[0028] またここでは、第 1の撮像装置 12aは、その光軸をベッド 3の上面の垂直方向に対し 、およそ平行方向に設置される。即ち、第 1の撮像装置 12aの光軸は、投影装置 11 の光軸と平行方向に設置される。また第 2の撮像装置 12bは、ベッド 3の上面の垂直 方向に対して、その光軸を傾けて設置する。このようにすることで、例えば第 2の撮像 装置 12bと投影装置 11との距離を離して設置することが容易に行える。即ち容易に 第 2の間隔 d2を長く取れる。さらに言い換えれば、三角測量法の基線長を長く取るこ とが容易に行える。また、投影装置 11、第 1の撮像装置 12a、第 2の撮像装置 12bの それぞれの光軸を、互いに平行方向に向けて設置してもよい。
[0029] なお、図示では、 FGセンサ 10と演算装置 20とは別体として示してある力 一体に 構成してもよい。このようにすると、監視装置 1を小型化することができる。
[0030] 図 2の模式的斜視図を参照して、監視装置 1に適した投影装置 11について説明す る。なおここでは、説明のために、対象領域を平面 102とし、後述のレーザ光束 L1を 平面 102に対して垂直に投射する場合で説明する。投影装置 11は、可干渉性の光 束を発生する光束発生手段としての光束発生部 105と、ファイバーグレーティング 12 0 (以下、単にグレーティング 120という）とを備えている。光束発生部 105により投射 される可干渉性の光束は、典型的には赤外光レーザである。光束発生部 105は、平 行光束を発生するように構成されている。光束発生部 105は、典型的には不図示の コリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束 は、レーザ光束 L1である。そしてレーザ光束 L1は、断面が略円形状の光束である。 ここで平行光束とは、実質的に平行であればよぐ平行に近い光束も含む。
[0031] またここでは、グレーティング 120は、平面 102に平行に（Z軸に直角に）配置される 。グレーティング 120に、レーザ光 L1を、 Z軸方向に入射させる。するとレーザ光 L1 は、個々の光ファイバ一 121により、そのレンズ効果を持つ面内で集光したのち、発 散波となって広がって行き、干渉して、投影面である平面 102に複数の輝点アレイで あるパターン 11aが投影される。なお、グレーティング 120を平面 102に平行に配置 するとは、例えば、グレーティング 120を構成する FG素子 122の各光ファイバ一 121 の軸線を含む平面と、平面 102とが平行になるように配置することである。 [0032] また、グレーティング 120は、 2つの FG素子 122を含んで構成される。本実施の形 態では、各 FG素子 122の平面は、互いに平行である。以下、各 FG素子 122の平面 を素子平面という。また、本実施の形態では、 2つの FG素子 122の光ファイバ一 121 の軸線は、互いにほぼ直交している。
[0033] FG素子 122は、例えば、直径が数 10ミクロン、長さ 10mm程度の光ファイバ一 12 1を数 10—数 100本程度、平行にシート状に並べて構成したものである。また、 2つ の FG素子 122は、接触して配置してもよいし、それぞれの素子平面の法線方向に距 離を空けて配置してもよレ、。この場合には、 2つの FG素子 122の互いの距離は、パタ ーン 11aの投影に差支えない程度とする。レーザ光束 L1は、典型的には、グレーテ イング 122の素子平面に対して垂直に入射させる。
[0034] このように、投影装置 11は、 2つの FG素子 122を含んで構成されたグレーティング 120が光学系となるので、複雑な光学系を必要とすることなぐ光学筐体を小型化で きる。さらに投影装置 11は、グレーティング 120を用いることで、単純な構成で、複数 の輝点 l ibをパターン 11aとして対象領域に投影できる。なお、パターン 11aは、典 型的には正方格子状に配列された複数の輝点 l ibである。また、輝点の形状は楕円 形を含む略円形である。
[0035] 図 1に戻って説明する。撮像装置 12は、典型的には CCDカメラである。撮像装置 1 2は、結像光学系 13a (図 4参照）と撮像素子 15 (図 4参照）を有するものである。撮像 素子 15は、典型的には CCD撮像素子である。また、撮像素子 15として、 CCDの他 に CMOS構造の素子が最近盛んに発表されており、それらも当然使用可能である。 特にこれらの中には、素子自体にフレーム間差算ゃニ値化の機能を備えたものがあ り、これらの素子の使用は好適である。
[0036] 撮像装置 12は、前述の光束発生部 105 (図 2参照）により発生されるレーザ光束 L 1の波長の周辺部以外の波長の光を減光するフィルタ 13b (図 4参照）を備えるとよい 。フイノレタ 13bは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系 13a の光軸上に配置するとよい。このようにすると、撮像装置 12は、撮像素子 15に受光 する光のうち、投影装置 11より投影されたパターン 11aの光の強度が相対的にあが るので、外乱光による影響を軽減できる。また、光束発生部 105により発生されるレー ザ光束 LIは、典型的には赤外光レーザの光束である。また、レーザ光 L1は、継続的 に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装 置 12による撮像を、照射のタイミングに同期させて行うようにする。
[0037] 図 3のブロック図を参照して、監視装置 1の構成例について説明する。前述のように 、演算装置 20は、測定装置 14と一体に構成されている。さらにここでは、測定装置 1 4は、後述の制御部 21に一体に構成される。そして投影装置 11と、 2つの撮像装置 1 2は、測定装置 14に電気的に接続されており、制御されている。本実施の形態では、 演算装置 20は、投影装置 11と、 2つの撮像装置 12に対し遠隔的に配置されている 。具体的には、例えば、ベッド 3の脇や、ベッド 3が設置されている部屋とは別の部屋
、さらに言えばナースステーション等に設置される。また演算装置 20は、典型的には パソコン等のコンピュータである。
[0038] まず測定装置 14について説明する。測定装置 14は、撮像装置 12で撮像された像 上のパターンの移動を測定するものである。測定装置 14は、撮像装置 12で撮像した 像を取得できるように構成されている。さらに測定装置 14は、撮像装置 12により撮像 された像上の各輝点の移動を測定するように構成されている。なおここでは、投影さ れた輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝 点の移動を測定するとは、輝点の移動の量 (以下移動量という）を測定することをいう 。さらに、測定される輝点の移動量は、輝点の移動方向を含む概念である。即ち、測 定される輝点の移動量には、移動した方向の情報も含まれるものとする。
[0039] ここで、測定装置 14による輝点の移動の測定について詳述する。測定装置 14は、 2つの撮像装置 12からそれぞれ取得した異なる 2時点の像に基づいて、輝点の移動 を測定するように構成されている。さらに本実施の形態では、異なる 2時点の像は、第 1の異なる 2時点の像と、第 2の異なる 2時点の像との各々に基づいて、輝点の移動を 測定するように構成される。なお、第 1の異なる 2時点の像は、第 1の撮像装置 12aか ら、第 2の異なる 2時点の像は、第 2の撮像装置 12bから取得するように構成されてい る。
[0040] まず、第 1の異なる 2時点の像に基づぐ輝点の移動の測定について説明する。第 1の異なる 2時点は、任意の時点（現在）と人物 2がベッド 3上に存在しない時点とする 。以下、任意の時点（現在）で取得した像を取得像、人物 2がベッド 3上に存在しない 時点に取得した像を基準像として説明する。なお、基準像は、記憶部 31内に保存さ れる。
[0041] ここで、取得像と基準像は、例えば撮像装置 12 (ここでは第 1の撮像装置 12a)によ り撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。 即ち、取得像と基準像は、各々の時点で、投影装置 11の投影により形成されたバタ ーン 11aの像である。なお、本実施の形態では、基準像は、例えば、いわゆる像とし てではなぐ各輝点の位置に関する、座標等の位置情報の形で、記憶部 31に保存さ れる。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標 や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置 は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定すること ができる。
[0042] また、輝点の移動量は、記憶部 31に保存された基準像上の各輝点の位置情報と、 取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお 、それぞれの移動量は、例えば、輝点の位置が移動した画素数 (何画素移動した力） を計数することで求められる。このようにすると、後述のように、差分像を生成しないで 済むので処理を単純化できる。
[0043] なお上記では、輝点の位置情報を比較する場合で説明したが、基準像と取得像と の差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づ いて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に 残るので、処理量を減らすことができる。
[0044] さらに、測定装置 14により測定された輝点の移動量は、過去一定回数測定された、 または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均 値としてもよレ、。このようにすることで、ランダムノイズや窓から差し込む日光のちらつ きなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上す る。
[0045] 測定装置 14は、以上のような、輝点の移動の測定を、パターン 11aを形成する各輝 点毎に行うように構成される。即ち複数の輝点の位置が複数の測定点となる。測定装 置 14は、パターン 11aを形成する各輝点毎に測定した輝点の移動、即ち測定した輝 点の移動量を測定結果として制御部 21へ出力する。即ち、測定結果は、第 1の異な る 2時点の像に基づいて測定した輝点の移動量である。さらにこの測定結果は人物 2 の高さに対応している。以下、この測定結果を高さ情報と呼ぶ。測定装置 14は、各測 定点での前記測定結果を高さ情報として出力する。
[0046] 次に、第 2の異なる 2時点の像に基づぐ輝点の移動の測定について説明する。こ の測定は、上述した第 1の異なる 2時点の像に基づく輝点の移動の測定と同様に行う 。但し、第 2の異なる 2時点は、任意の時点とそのわずかに前の時点とする。わずかに 前とは、人物 2の動きを検出するのに十分な時間間隔だけ前であればよい。この場合 、人物 2のわずかな動きも検出したいときは短ぐ例えば人物 2の動きが大きくなり過 ぎず、実質的にはほぼ動き無しとみなせる程度の時間、例えば 0. 1秒程度とすれば よレ、。あるいはテレビ周期の 1一 10周期（1Z30 1Z3)とするとよレ、。また、人物 2 の大まかな動きを検出したいときは長ぐ例えば 10秒程度としてもよい。但し、本実施 の形態のように、人物 2の呼吸も検出する場合では長くし過ぎると、正確な呼吸の検 出が行えなくなるので、例えば 1分などにするのは適切でない。
[0047] 以下、上述の取得像よりわずかに前 (過去）に取得した像を参照像として説明する。
即ち、第 2の異なる 2時点の像は、前述の取得像と参照像である。なお参照像も、基 準像と同様に、撮像装置 12 (ここでは第 2の撮像装置 12b)により撮像された像であ るが、それぞれの像上での輝点の位置情報も含む概念であり、本実施の形態では、 各輝点の位置に関する座標等の位置情報の形で、記憶部 31に保存される。また同 様に、輝点の位置は、輝点の重心位置とする。
[0048] さらに、本実施の形態では、第 2の異なる 2時点の像は、取得像 (Nフレーム）と、取 得像の 1つ前に取得した像 (N-1フレーム）とする。即ち参照像は、取得像の 1つ前 に取得した像である。また、像の取得間隔は、例えば装置の処理速度や、上述のよう に検出したい動きの内容により適宜決めるとよいが、例えば 0. 1— 3秒、好ましくは 0 . 1一 0. 5秒程度とするとよい。また、より短い時間間隔で像を取得し、平均化または フィルタリングの処理を行うことで、例えばランダムノイズの影響を低減できるので有 効である。 [0049] なお、任意の時点とそのわずかに前の時点の異なる 2時点の像に基づぐ輝点の 移動の測定で得られる波形 (例えば輝点の移動量の総和など）は、距離の微分波形 、即ち速度変化を表す波形になる。また例えば、高さ変化を表すような波形を得たい ときは、前記波形を積分すれば距離の波形、即ち高さ変化を示す波形になる。
[0050] さらに測定装置 14は、第 1の異なる 2時点の場合と同様にして、記憶部 31に保存さ れた参照像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較する ことで、輝点の移動方向を含む輝点の移動量を測定するように構成される。さらに同 様に、測定装置 14は、各輝点毎に測定した輝点の移動量を測定結果として制御部 2 1へ出力する。即ち、測定結果は、第 2の異なる 2時点の像に基づいて測定した輝点 の移動量である。さらにこの測定結果は図 4で後述するように、各輝点（測定点）での 対象物ここでは人物 2の高さ方向の動きに対応している。以下、この測定結果を動き 情報と呼ぶ。測定装置 14は、各測定点での前記測定結果を動き情報として出力する 。なお、人物 2の高さ方向の動きは、例えば人物 2の呼吸に伴う動きである。
[0051] ここで、図 4の概念的斜視図を参照して、輝点の移動の概念について説明する。こ こでは、解りやすぐ対象領域を平面 102、対象物を物体 103として説明する。さらに ここでは、説明のために、前述の第 1の異なる 2時点の像即ち基準像と取得像を用い る場合で説明する。なお基準像は、物体 103が平面 102に存在しないときのパター ン 11aの像であり、取得像は、物体 103が平面 102に存在しているときのパターン 11 aとして説明する。またここでは説明のために、撮像装置 12は 1つの場合で説明する
[0052] 図中物体 103が、平面 102上に載置されている。また XY軸を平面 102内に置くよう に、直交座標系 XYZがとられており、物体 103は XY座標系の第 1象限に置かれて いる。一方、図中 Z軸上で平面 102の上方には、投影装置 11と、撮像装置 12とが配 置されている。撮像装置 12は、投影装置 11によりパターン 11aが投影された平面 10 2を撮像する。即ち平面 102上に載置された物体 103を撮像する。
[0053] 撮像装置 12の結像光学系としての結像レンズ 13aは、ここでは、その光軸が 軸に 一致するように配置されている。そして、結像レンズ 13aは、平面 102あるいは物体 1 03上のパターン 11aの像を、撮像装置 12の撮像素子 15の結像面 15' (イメージプレ ーン）に結像する。結像面 15 'は、典型的には Z軸に直交する面である。さらに、結像 面 15 '内に xy直交座標系をとり、 Z軸が、 xy座標系の原点を通るようにする。平面 10 2から結像レンズ 13aと等距離で、結像レンズ 13aから Y軸の負の方向に距離 d (基線 長 d)だけ離れたところに、投影装置 11が配置されている。物体 103と平面 102には 、投影装置 11により複数の輝点 l ibが形成するパターン 11aが投影される。なお、 y 軸方向は、三角測量法の基線方向でもある。
[0054] 投影装置 11により平面 102に投影されたパターン 11aは、物体 103が存在する部 分では、物体 103に遮られ平面 102には到達しなレ、。ここで物体 103が存在してい れば、平面 102上の点 102aに投射されるべき輝点 l ibは、物体 103上の点 103aに 投射される。輝点 l ibが点 102aから点 103aに移動したことにより、また結像レンズ 1 3aと投影装置 11とが距離 d (基線長 d)だけ離れているところから、結像面 15 '上では 、点 102a' (x, y)に結像すべきところが点 103a' (x, y+ δ )に結像する。即ち、物 体 103が存在しない時点と物体 103が存在する時点とは、輝点 l ibの像力 軸方向 に距離 δだけ移動することになる。
[0055] これは、例えば図 5に示すように、撮像素子 15の結像面 15 'に結像した輝点は、高 さのある物体 103により、 δだけ y軸方向に移動することになる。
[0056] このように、この輝点の移動量 δを測定することにより、物体 103上の点 103aの位 置が三次元的に特定できる。即ち、例えば点 103aの高さがわかる。このように、ある 点が、物体 103が存在しなければ結像面 15 '上に結像すべき点と、結像面 15 '上の 実際の結像位置との差を測定することにより、物体 103の高さの分布、言い換えれば 三次元形状が測定できる。あるいは物体 103の三次元座標が測定できる。また、輝 点 l ibの対応関係が不明にならない程度に、パターン 11aのピッチ、即ち輝点 l ib のピッチを細力べすれば、物体 103の高さの分布はそれだけ詳細に測定できることに なる。
[0057] 以上のような概念に基づいて、測定装置 14は、輝点の移動量を測定することで、基 づいて対象物の高さが測定できる。但し、前述のように、第 2の異なる 2時点の像に基 づいて、輝点の移動を測定する場合、即ち取得像と参照像に基づいて、輝点の移動 を測定する場合には、輝点の移動の変化量を見ることになるので、例えば人物 2の絶 対的な高さは測定できなくなるが、対象物の高さ方向の変化を測定できるので、人物
2の高さ方向の動きを測定する場合には好適である。以上の概念は、第 1の FGセン サ 10aと、第 2の FGセンサ 10bの両方に適応できる。
[0058] また、測定装置 14は、第 1の撮像装置 12aで撮像された像上のパターン 11aと、第 2の撮像装置 12bで撮像された像上のパターン 11aとの対応付けを行うように構成さ れている。なおここでは、パターン 11aを形成する各輝点 l ibの対応付けを行う。この ようにすることで、高さ情報と動き情報の、各輝点の位置、言い換えれば各測定点の 位置での輝点の移動量の対応を取ることができる。例えば、予め 2つの撮像装置 12 力 の対象領域即ちベッド 3上の見え方を調べておけば対応をとることができる。
[0059] ここで、図 6、図 7を参照して、上記対応付けの具体的な例について説明する。準備 として第 1の撮像装置 12aと第 2の撮像装置 12bの光軸合わせを行なう。さらに具体 的には、例えば各撮像装置 12の撮像範囲が出来るだけ重なるように光軸を調整して おく。そして、対応付けは以下の方法によって行う。
[0060] まず、第 1の撮像装置 12aでパターンの像を取得し、パターンの各輝点の三次元座 標を算出する。そして、三次元座標と各撮像装置 12の配置に基づいて、図 6に示す 座標系の変換を行う。ここでは図示のように、各輝点の三次元座標を座標系（X , Y
, Z )から座標系（X , Y， Z )に変換する。なお第 2の撮像装置 12bの結像レンズ 13
1 2 2 2
a"を座標系（X , Υ , Z )の原点とする。またこの際には、相似を利用し、パターン（
2 2 2
輝点）が撮像される第 2の撮像装置 12bの結像面 15b上の位置を算出する（図 7参照
)。
[0061] また変換の際には、座標系（X， Υ , Z )を第 1の撮像装置 12aの三次元座標とし、
1 1 1
(X， Y， Z )を第 2の撮像装置 12bの三次元座標とする。第 2の撮像装置 12bの結
2 2 2
像レンズ 13a"を座標系（X， Υ , Z )の原点とし、第 1の撮像装置 12aと第 2の撮像
2 2 2
装置 12bの距離を dxとする。さらに、光学配置を考慮し、座標系の変換には以下の 式を使用する。
[数 1]
Figure imgf000017_0001
また、第 2の撮像装置 12bの光軸がベッド上面に対してなす角度を Θは、次式で求 めること力できる。
Θ = arctan (dx/h) (2)
[0062] 次に、第 2の撮像装置 12bでパターンの像を取得する。そして、前記算出された位 置と、第 2の撮像装置 12bで取得したパターン像との比較を行レ、、最も近い位置にあ る輝点を同一輝点とみなし、対応付けを行う。
[0063] なお、以上の対応付けの処理は、像上の全ての輝点に関して行うが、第 1の撮像装 置 12aと第 2の撮像装置 12bの撮像範囲の相違から、対応付けができない輝点が現 れる場合がある。このような輝点は、消失スポットとして扱レ、、測定には使用しない。
[0064] 図 3に戻って、演算装置 20について説明する。演算装置 20は、監視装置 1を制御 する制御部 21を有している。さらに制御部 21には、記憶部 31が接続されている。記 憶部 31は、撮像装置 12から取得した像を時系列的に記憶するようにするとよい。ま た記憶部 31には算出された情報等のデータが記憶できる。
[0065] 制御部 21には、後述の情報合成手段としての出力情報生成部 24の合成結果を表 示する情報出力手段としてのディスプレイ 40が接続されている。ディスプレイ 40は典 型的には LCDである。ディスプレイ 40は、例えば後述の出力情報生成部 24から出 力される解析情報を入力、表示する。なお、その場で情報を出力する必要のない場 合 (例えば合成結果を保存するだけの場合）には、ディスプレイ 40を備える必要は特 にない。
[0066] また制御部 21には、監視装置 1を操作するための情報を入力する入力装置 35が 接続されている。入力装置 35は例えばタツチパネル、キーボードあるいはマウスであ る。本図では、入力装置 35は、演算装置 20に外付けするものとして図示されている が、内蔵されていてもよい。また本実施の形態では、入力装置 35を備える場合で説 明するが、特に備えなくても問題ない。 [0067] さらに、制御部 21内には、第 1の FGセンサ 10aで得られた像上のパターンの移動 に基づいて、ベッド 3上に存在する人物 2の外形情報を得る三次元情報演算手段と しての三次元形状生成部 22と、第 2の FGセンサ 10bで得られた像上のパターンの 移動に基づいて、人物 2の変動情報を得る変動情報演算手段としての変動情報演 算部 23と、外形情報と変動情報を合成する情報合成手段としての出力情報生成部 2 4とが備えられている。外形情報と変動情報については以下で説明する。以下、上記 各構成について詳細に説明する。
[0068] 三次元形状生成部 22は、前述のように、ベッド 3上に存在する人物 2の外形情報を 得るものである。本実施の形態では、外径情報は、三次元形状を示す画像（以下単 に三次元形状いう）である。三次元形状生成部 22は、第 1の FGセンサ 10aの測定装 置 14の測定結果即ち高さ情報に基づいて、外形情報として三次元形状を生成する
[0069] ここで、三次元形状生成部 22による三次元形状の生成について説明する。三次元 形状生成部 22は、測定装置 14の測定結果である高さ情報に基づいて、三次元形状 を生成するように構成されてレヽる。
[0070] 前述のように、測定装置 14での測定結果である高さ情報は、複数の測定点での人 物 2の高さに対応するものであるが、ここでは高さ情報から実際に高さを算出する。こ の場合、高さ情報の各測定点での輝点の移動量に基づいて、三角測量法により、各 測定点での人物 2の高さを算出する。さらに言えば、ベッド 3上からの高さを算出する 。以下、図 8を参照して、人物 2の高さの算出について説明する。なお、ここでは、図 4 と同様に、解りやすぐ対象領域を平面 102、対象物を物体 103として説明する。
[0071] 図 8は、投影装置 11、撮像装置 12、物体 103、平面 102との関係を X軸方向（図 4 参照）に見た線図である。ここでは、物体 103の高さが Z1である場合で説明する。投 影装置 11の中心（パターン光源の中心）と結像レンズ 13aの中心とは、平面 102に平 行に距離 dだけ離して配置されており、結像レンズ 13aから結像面 15 ' (撮像素子 15 )までの距離は 1 (エル）（結像レンズ 13aの焦点とほぼ等しレ、）、結像レンズ 13aから平 面 102までの距離は h、物体 103の点 103aの平面 102からの高さは Z1である。物体 103が平面 102上に置かれた結果、結像面 15'上の点 102a'は δだけ離れた点 10 3a'に移動したとする。
[0072] 図中結像レンズ 13aの中心と点 103aとを結ぶ線が平面 102と交差する点を 102a" とすれば、点 102aと点 102a"との距離 Dは、三角形 103a' -102a' _13aと三角形 1 02a，，_102a_13aとに注目すれば'、 D= δ であり、三角形 13a_l l_103aと三 角形 102a，，_102a_103aに注目すれば、 D= (d'Zl) Z (h_Zl)である。この両式 力、ら Z1を求めると次式のようになる。
Zl = (h2- δ ) / (d-l + h- δ ) (3)
以上のように、物体 103の高さを算出することができる。
[0073] さらに、三次元形状生成部 22は、外形情報即ち三次元形状の不足部位について 補間を行うように構成されている。なお、外形情報が必要十分に取得できる場合には 、特に補間を行なう必要はない。
[0074] ここで補間について説明する。上述のしたように、三次元形状生成部 22は、測定装 置 14の測定結果である高さ情報から各測定点での高さを算出し、算出した高さに基 づいて三次元形状を生成する。なお、人物 2の高さは、各測定点 (輝点）が間隔を空 けて配置されているため、各測定点の間の位置の高さは解らない。このため、算出し た各測定点での人物 2の高さからそのまま三次元形状を生成したのでは、人物 2の 外形は解り辛い。これを補うために、三次元形状生成部 22は、人物 2の高さの不足 部位について補間を行う。
[0075] 具体的には、例えば、補間したい三次元座標 (Χ,Υ,Ζ)から近傍にある 4個の測定 点を探索する。但し、 4個の測定点は、それぞれ (Χ,Υ)を基準として 4つの象現に属 するものとする。
これら 4個の各測定点の三次元座標を (X ,y ,ζ )とし、次式 (4)から距離を算出する δ = {(Χ-χ )2 + (Χ-χ )2} 172 (4)
また、
SUM_A=∑ δ (5)
とする。そして、次式（6)を用いて、 （Χ，Υ)の高さ Ζを算出する。
[数 2] z = (SUM_ A - Si )Zl ……… ( 6 )
i 3 ' SUM _A なお、 は各測定点での高さである。
以上の計算を補間したい座標について行うことで、各測定点の間の座標の人物 2の 高さを補間できる。三次元形状生成部 22は、以上のような補間を行うことで三次元形 状を生成する。
図 9に、このようにして生成した三次元形状の例を示す。なお、図示の三次元形状 は、ディスプレイ 40に表示された際の画像のイメージである。
[0076] なお、補間に関しては、上記した例に限られるものではなぐ各種補間方法あるい はクリット法 (例 は、 Triangulation、 Radial Basis Function補 f¾、 Polynomia 1 Regression^ Nearest Neighborグリッド法、 Natural Neighborグリッド法、 M odified Shepard' s Method^ Minimum Curvature、 Inverse Distance to a Powerグリッド法、 Kriging等）が適用可能である。
[0077] 変動情報演算部 23は、前述のように、人物 2の変動情報を得るものである。本実施 の形態では、変動情報は、各測定点での人物 2の高さ方向の動きの位相を含む人物 2の高さ方向の動きに関する情報である。さらにここでは変動情報には、後述の高さ 変化量も含まれるものとする。
[0078] 変動情報演算部 23は、測定装置 14での測定結果である動き情報から、各測定点 の動きの位相を識別するように構成される。変動情報演算部 23は、各測定点での識 別した動きの位相を、変動情報として得る。ここでは、位相とは、動きの方向を含む概 念である。さらにここでは、変動情報演算部 23による動きの位相の識別は、測定装置 14により各測定点で測定された動きが、上方向の動きである力、、又は下方向の動き であるかを識別することである。このようにすることで、例えば、人物 2の身体上のどの 部位が、上方向又は下方向の動きをしているかを知ることが可能である。
[0079] さらに変動情報演算部 23は、動き情報に基づいて、変動情報として各測定点での 人物 2の高さ変化の量 (以下高さ変化量という）を算出するように構成されている。変 動情報演算部 23は、第 2の FGセンサ 10bの測定装置 14の測定結果即ち動き情報 に基づいて、高さ変化量を算出する。
[0080] ここで、変動情報演算部 23による高さ変化量の算出について説明する。変動情報 演算部 23は、動き情報に基づいて、高さ変化量を算出するように構成されている。前 述のように、動き情報は、各測定点での人物 2の高さ方向の動きに対応するものであ るが、ここでは動き情報から実際の高さ変化量を算出する。この場合、図 8で前述した 高さの算出と同様にして、動き情報の各測定点での輝点の移動量に基づいて、三角 測量法により、各測定点での人物 2の高さ変化量を算出する。また、高さ変化量も三 次元形状と同様な、補間を行うようにしてもよい。
[0081] 次に、出力情報生成部 24について説明する。出力情報生成部 24は、三次元形状 と変動情報を合成するものである。出力情報生成部 24は、三次元形状生成部 22で 得られた三次元形状と、変動情報演算部 23で得られた変動情報を合成して表示す るための解析情報を生成するように構成されている。生成された解析情報は、デイス プレイ 40へ出力され、ディスプレイ 40により表示される。なおここでは、合成とは、例 えば三次元形状に変動情報を重ねることである。
なお、表示される合成結果には、例えば後述する人物 2の体積変化とその波形等の 情報も含んでいる。
[0082] ここでは、出力情報生成部 24は、三次元形状に、変動情報を、それぞれの測定点
(輝点）が対応するように合成した画像を解析情報として生成する。なお、後述の異 常判定部 26による判定結果も、生成される解析情報に含まれるものとする。
[0083] また、出力情報生成部 24は、前記合成を、人物 2の各部位毎の動きが解るように行 うように構成されている。具体的には、三次元形状に、変動情報である各測定点での 識別した動きの位相を、各々座標が対応するように重ねる。このようにすることで、例 えば人物 2の身体上のどの部位力 上方向又は下方向の動きをしているかが容易に 解る。
[0084] ここで、図 10の模式図を参照して、三次元形状と変動情報を合成する際の例、言 い換えれば生成される解析情報の例について説明する。なおここでは説明のために 、生成された解析情報の例は、ディスプレイ 40により表示される際の画像で示す。図 示するように、図 9で説明した三次元形状に、変動情報を、各々の位置が対応するよ うに合成する。このように三次元形状に、変動情報を合成する際には、各測定点での 動きの位相が識別できるようにする。
[0085] なお、図 10 (a)は、人物 2の腹部が上方向の動きをしている場合、さらに言えば腹 式呼吸の吸気の場合を示している。また図 10 (b)は、人物 2の胸部が下方向の動き をしている場合、さらに言えば胸式呼吸の呼気の場合を示している。
[0086] さらにここでは、動きの位相が上方向と下方向との場合で、それぞれの位相の測定 点を、模様を変えて示してあるが（図示では上方向が白抜き、下方向が塗り潰し)、そ れぞれ色を変えるようにしてもよい（例えば上方向を青、下方向を赤のように）。また、 例えば矢印（図中一部測定点に破線で表示）により、動きの位相を示すようにしても よレ、。このようにすることで、人物 2の身体上のどの部位力 上方向又は下方向の動き をしている力、を容易に認識することが可能である。監視装置 1は、このように生成した 解析情報をディスプレイ 40に表示する。また、この際に波形の動きの変化の大きさに よって、模様の色の濃さを変えたり、模様の幅を変えたり、矢印の太さ、長さを変えた りして表示すれば、さらに動きの変化がわかりやすい表示となる。さらに、動きの変化 を積分した高さの変化データの場合も同様にして、例えば高くなつている部位は、そ の量を反映させて色を明るくしたり、矢印を長くしたりすることによって、高さの変化が わかりやすい表示となる。
[0087] さらに、出力情報生成部 24は、人物 2の体積変動量を算出するように構成されてい る。体積変動量は、変動情報である高さ変化量力 算出することができる。この際に は、例えば、高さ変動量の総和を体積変動量としてもよい。このように、体積変動量を 算出することで、例えば、人物 2の呼吸の際の吸入量を知ることができる。算出した体 積変動量は、解析情報に含めることで、ディスプレイ 40に表示するようにする。また、 仮にディスプレイ 40に表示しない場合には、電子媒体等（例えばここでは記憶部 31) に保存するようにすればよい。
[0088] なお、体積変動量は、体積変動が周期的に行われている場合、その 1周期に渡つ て絶対値で積分 (一定時間毎にデータ取得が行われているので実際には各データ を加算）することにより、それぞれの 1回毎の動きの総量を得ることができる。呼吸検 出の場合には、この半分が一回換気量に相当する。ここで、 1周期または半周期に 渡ってデータを加算するときは、その周期の始点と終点の判断を行う際に、求められ た体積変動量の数回に渡る移動平均をとり、その値が負から正、または正から負に 移行するタイミングを持って始点または終点とすると良い。それにより、体積変動量の 値に含まれるノイズにより擬似的に正と負の移行が起こり、始点'終点のタイミングに 誤差が生じるのを防ぐことができる。
[0089] さらに、出力情報生成部 24は、外形情報ここでは三次元形状に基づいて、変動情 報を補正するように構成されている。ここで補正するのは、変動情報である高さ変化 量である。
[0090] ここで、再び図 4を参照して、この補正について説明する。まず、図 8で説明した式（ 3)でわかるように、対象物の高さを算出するためには、結像レンズ 13aから平面 102 までの距離 hが必要である。同様に、高さ変化量を算出する際にも、適当な距離 hを 設定し、これを用いて式（3)により高さ変化量を算出していた。ほとんどの場合、これ で問題はないが、より詳細な測定を行う場合には、投影された輝点が当っている点ま での距離を正確に知る必要がある。即ち、各測定点での結像レンズ 13aから物体 10 3までの距離 hを知る必要がある。
[0091] そこで、出力情報生成部 24は、三次元形状生成部 22により得た三次元形状を用 いて、高さ変化量を補正する。具体的には、三次元形状を形成する各点での人物 2 の高さを距離 として、この各点にそれぞれ対応する高さ変化量を補正する。
[0092] さらに具体的な例で説明する。例えば、第 2の FGセンサ 10bの、基線長を 600mm 、第 2の撮像装置 12bの結像レンズ 13aの焦点距離 1を 12mmとする。そして、結像レ ンズ 13aから平面 102までの距離 hを 2.3mとしたときに、結像面 15 '上で輝点が 5 /i m移動したとすると、高さ変化量は 3.67mmと算出される。また、結像レンズ 13aから 物体 103までの距離が 2.0m (fi卩ち物体 103の高さが 0.3m)であったとし、これを hと して計算すると、高さ変化量は 2.77mmと算出される。この高さ変化量の差 1.1mm が測定誤差となる。
[0093] このように、出力情報生成部 24は、上記補正により、正確な距離 hを用いて高さ変 化量が算出できるので、より正確な高さ変化量を知ることができる。さらに、このように 補正した高さ変化量に基づいて、体積変動量を算出することで、より正確に人物 2の 体積変動を測定することができる。これは、呼吸のような微細な動きの量を測定する のに極めて有効である。
[0094] 図 3に戻って説明する。さらに制御部 21内には、第 2の FGセンサ 10bの測定装置 1 4で測定された動き情報に基づいて、人物 2の動きの種類を判別する動き判別部 25 が備えられている。即ち、動き判別部 25は、測定装置 14により複数の測定点で測定 された動き情報即ち人物 2の高さ方向の動きに基づいて、人物 2の動きの種類を判 別する。動き判別部 25により判別される人物 2の動きの種類は、典型的には呼吸、体 動、動き無し (不動）である。さらに、動き判別部 25は、動き情報に基づいて、人物 2 の呼吸を検出するように構成される。なお体動とは、人物 2の体の動きであり、例えば 立ったり座ったりといった動きの他、手足の動きを広く含む概念である。
[0095] また、動き判別部 25は、人物 2の呼吸を判別した場合には、その呼吸を検出するよ うに構成するとよい。動き判別部 25による呼吸の検出は、前記平均値の時間変化の 周期的変化の振幅と周期（周波数）の両方又はいずれか一方に所定の上限下限の 閾値を設定し、この閾値と比較して呼吸か否力を判定し、呼吸を検出するようにして もよい。周期の上限下限の閾値は、例えば人物の呼吸の周期を含む範囲、例えば、 下限を毎分 5サイクル、上限を毎分 60サイクルに設定するとよい。ところで、大人の呼 吸数は、毎分 5— 30回程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くな る傾向がある。これにより、検出された人物 2の呼吸は、波形パターンを形成する。 図 11は、呼吸の波形パターンの例を示した図である。
[0096] さらに、動き判別部 25は、呼吸数の検出を行うようにするとよい。呼吸数の検出は、 例えば、動きが呼吸と判別された領域の輝点の移動量の総和の時間変化をフーリエ 変換等のデータ処理を行うことで検出できる。
[0097] さらに制御部 21内には、第 2の FGセンサ 10bの測定装置 14により測定された人物 2の高さ方向の動きに基づいて、人物 2の異常を判定する異常判定部 26を備えてい る。さらに具体的に言えば、異常判定部 26は、動き判別部 25による人物 2の呼吸の 検出結果に基づいて、人物 2の異常を判定する。また、異常判定部 26は、変動情報 演算部 23により得られた変動情報に基づいて、人物 2の異常を判定する異常判定手 段でもある。なお、人物 2の異常を判定するとは、ここでは人物 2が危険な状態にある か否かを判定することである。
[0098] 異常判定部 26による人物 2の危険な状態の判定基準は、以下のようなことを考慮し て、設定するようにするとよい。例えば、動き判別部 25により呼吸が検出されていると きに、短時間に呼吸パターンの持つ周期が乱れた場合又は、呼吸パターンの持つ 周期が急激に変化した場合には、例えば、自然気胸、気管支喘息などの肺疾患、う つ血性心不全などの心疾患、または、脳出血などの脳血管疾患であると推測できる ので、危険な状態であると判定するように設定する。また、呼吸パターンの消失が続 いた場合には、人物 2の呼吸が停止したと推測できるので、危険な状態であると判定 するように設定する。そして、短時間に呼吸パターンではなく人物 2の体動が頻出し た場合には、人物 2が何らかの理由で苦しんで暴れているような状況が推測できるの で、危険な状態であると判定するように設定する。
[0099] また、上述したような異常判定部 26による判定結果は、ディスプレイ 40に表示する ように構成される。異常判定部 26は、判定結果を出力情報生成部 24へ出力する。こ の場合には、出力情報生成部 24は、判定結果を含めて解析情報を生成し、ディスプ レイ 40へ出力する。これにより、異常判定部 26による判定結果がディスプレイ 40に 表示されることで、例えば測定者は、人物 2の異常を容易に認識することができる。
[0100] 以上では、ベッド 3上に投影するパターンを複数の輝点とした場合で説明したが、 図 12に示すように、輝線としてもよい。即ち光切断法を用いて人物 2の高さ方向の動 きを測定するようにしてもよい。この場合には、投影手段には、ベッド 3上にパターン 光としての輝線を投影するように構成された投影装置 111を用いる。投影する輝線の 数は、典型的には複数である力 S、 1本であってもよい。また 1本の場合には、例えば 1 本の輝線を走查するような方式であってもよい。以下、輝線は複数の場合で説明する 。複数の輝線 11 lbは、等間隔に複数本投影される。複数本の輝線 11 lbは、パター ン 111a'を形成する。また、輝線 111bの方向と三角法の基線方向は、ほぼ垂直であ る。
[0101] なお輝線の場合には、例えば図 13に示すように、図 5で説明した輝点の場合と同 様に、撮像素子 15の結像面 15'に結像した輝線の像は、高さのある物体により、 δ だけ y軸方向に移動することになる。さらに同様に、この δを測定することにより、物体 上の点の位置が三次元的に特定できる。なお、 δの測定は、輝線の像の中心線の 位置で測定するようにする。さらに輝線の場合には、測定点が、輝線の像の位置にあ る撮像素子 15の画素 1つに対応する。
[0102] 以上のように、パターン光を複数本の輝線とし、輝線の移動を測定することで、パタ 一ン光を複数の輝点とした場合に比べて、輝線上の任意の点の移動を測定でき、輝 線方向の連続的形状が認識できる。言い換えれば、輝線方向の測定の分解能を向 上すること力 Sできる。
[0103] また以上では、対象物は人物 2の場合で説明したが、例えば、モータ等の機械とし てもよレ、。この場合には、比較的微細な動きであるモータの振動を測定することがで きる。
[0104] さらに以上では、第 1の三次元センサと第 2の三次元センサは、投影装置を共通と しているが、しかしこれに限らず、第 1の撮像装置と第 2の撮像装置が共通で、投影 装置が 2つあってもよい。即ち、以上では、図 1に示すように、第 1の FGセンサ 10aと 第 2の FGセンサ 10bは、投影装置 11を共通としている力 図 14に示すように、第 1の FGセンサ 10aが投影装置としての第 1の投影装置 11-1を有し、第 2の FGセンサ 10 bが投影装置としての第 2の投影装置 11-2を有し、第 1の撮像装置 12aと第 2の撮像 装置 12bとを共通の撮像装置 12としてもよレ、。
[0105] この場合には、第 1の FGセンサ 10a及び第 2の FGセンサ 10bの設置は、ベッド 3の およそ中央部上方に第 1の投影装置 11-1と撮像装置 12を、人物 2のおよそ頭部上 方に第 2の投影装置 11 2を配置する。そして、第 1の投影装置 11 1は、撮像装置 12から第 1の間隔 dlをもって、第 2の投影装置 11—2は第 2の間隔 d2をもって配置さ れる。
[0106] またこの場合には、投影されるパターンが共通ではなレ、、即ち第 1の投影装置 11— 1から投影されたパターン 11aと、第 2の投影装置 11一 2から投影されたパターン 11a 'が存在するため、出力情報生成部 24による三次元形状と変動情報の合成が若干 異なる。具体的には、出力情報生成部 24による合成は、三次元形状と変動情報を、 各 FGセンサ 10の各測定点が対応するよう合成するのではなぐベッド 3上での座標 が対応するように合成する。このようにすることで、各 FGセンサ 10のパターンの投影 位置や輝点のピッチが異なっても、三次元形状と変動情報の合成が正確に行える。
[0107] さらにこの場合は、撮像装置 12でパターンを撮像する際には、第 1の投影装置 11 _1と第 2の投影装置 11—2のどちらで投影されたパターンかを区別する必要がある。 これは、例えば、各投影装置が同時のパターンを投影しないようにし、第 1の投影装 置 11一 1でパターン 11aを投影しているときに撮像した画像と、第 2の投影装置 11一 2 でパターン 11a'を投影しているときに撮像した画像とを区別して処理すればよい。こ のようにすることで、パターン 11aの移動と、パターン 11a'の移動を各々測定できる ので、三次元形状及び変動情報が得られる。
[0108] このように、第 1の撮像装置と第 2の撮像装置が共通で、投影装置が 2つの場合に は、撮像装置が共通であるので、例えば画像の処理量を低減できる。
[0109] 以上のように、監視装置 1は、第 1の FGセンサ 10aと、第 2の FGセンサ 10bと、三次 元形状生成部 22と、変動情報演算部 23とを備えているので、三次元形状生成部 22 により、第 1の FGセンサ 10aで得られた高さ情報に基づいて、人物 2の三次元形状を 得ることができ、変動情報演算部 23により、第 2の FGセンサ 10bで得られた動き情報 に基づいて、人物 2の変動情報を得ることができる。さらに、出力情報生成部 24を備 え、三次元形状と変動情報を合成することで、例えば人物 2の身体上のどの部位が、 上方向又は下方向の動きをしているかを容易に認識できる画像を生成できるので、 人物 2の状態特に呼吸の状態を容易且つ正確に把握できる。
[0110] 第 1の FGセンサ 10aは、投影装置と撮像装置の配置間隔 (基線長）が比較的短い ので、前述した輝点の飛び越えが発生しにくぐ例えば人物 2の外形を測定するのに 好適である。また、第 2の FGセンサ 10bは、第 1の FGセンサ 10aに比べて、投影装 置と撮像装置の配置間隔 (基線長）が長いので、より詳細な動き、例えば人物 2の呼 吸のような小さな動きでも正確に測定できる。
[0111] さらに、三次元形状生成部 22は、人物 2の身体形状を認識できる三次元形状を生 成するので、人物 2の呼吸の状態を明確に把握しやすレ、。また、三次元センサとして FGセンサ 10を用いることで、単純でありながら、正確に人物 2の高さ方向の動きを測 定できる。さらに FGセンサ 10は、測定を非接触で行えるので、測定される人物への 負担が少ない。 [0112] また、出力情報生成部 24は、三次元形状に基づいて、変動情報を補正するので、 より正確に人物 2の高さ変化量を算出することができる。さらには、体積変動量は、こ の高さ変化量に基づいて算出されるので、より正確な体積変動量を測定できる。
[0113] また、監視装置 1は、出力情報生成部 24の合成結果を表示するディスプレイ 40を 備えている。これにより、監視装置 1は、出力情報生成部 24による合成結果、即ち人 物 2の身体上の動きを示す変動情報を人物 2の身体の外形を示す三次元形状に重 ねた解析情報を、ディスプレイ 40により表示することができるので、身体の部位毎の 動き（特に呼吸による動き）が容易に認識できる。これは例えば医師の診断の参考に なる。
[0114] さらに、三次元形状生成部 22は、三次元形状の不足部位について補間を行うので 、測定点が間隔を空けて配置されている場合でも、人物 2の連続した外形を得ること ができる。
図面の簡単な説明
[0115] [図 1]本発明の実施の形態である監視装置の概略を示す模式的外観図である。
[図 2]本発明の実施の形態である投影装置を説明する模式的斜視図である。
[図 3]本発明の実施の形態である監視装置の構成例を示すブロック図である。
[図 4]本発明の実施の形態での輝点の移動の概念について説明する概念的斜視図 である。
[図 5]図 4の場合での結像面に結像した輝点について説明する模式図である。
[図 6]本発明の実施の形態での第 1の撮像装置と第 2の撮像装置との輝点の対応付 けの際の座標の変換について説明する線図である。
[図 7]図 6の場合での相似の利用について説明する線図である。
[図 8]本発明の実施の形態での対象物の高さの算出について説明する線図である。
[図 9]本発明の実施の形態である三次元形状生成部により生成された三次元形状に ついて説明する模式図である。
[図 10]図 9の場合での三次元形状に変動情報を合成した結果の例を示す、 (a)は腹 部に上方向の動きがある場合を示す模式図、（b)は胸部に下方向の動きがある場合 を示す模式図である。 [図 11]本発明の実施の形態で用いる、呼吸の波形パターンについて示した線図であ る。
[図 12]本発明の実施の形態である投影装置により投影するパターン光に複数の輝線 を用いた場合の監視装置の概略を示す模式的外観図である。
[図 13]図 12の場合での結像面に結像した輝線について説明する模式図である。
[図 14]本発明の実施の形態である第 1の撮像装置と第 2の撮像装置を共通とし、投 影装置を 2つ備える場合の監視装置の概略を示す模式的外観図である。
符号の説明
1 監視装置
2 人物
3 ベッド
10 FGセンサ
10a 第 1の FGセンサ
10b 第 2の FGセンサ
11 投影装置
11a パターン
l ib 輝点
12 撮像装置
12a 第 1の撮像装置
12b 第 2の撮像装置
14 測定装置
20 演算装置
21 制御部
22 三次元形状生成部
23 変動情報演算部
24 出力情報生成部
25 動き判別部
26 異常判定部 40
102 平面
103 物体
105 光束発生部 120 グレーティング 121 光ファイバ一 122 FG素子

Claims

請求の範囲
[1] 対象領域にパターン光を投影する投影装置と、前記投影装置力も第 1の間隔をもつ て配置され前記パターン光が投影された対象領域を撮像する撮像装置とを有する第
1の三次元センサと；
前記対象領域にパターン光を投影する投影装置と、前記投影装置力も前記第 1の間 隔よりも長い第 2の間隔をもって配置され前記パターン光が投影された対象領域を撮 像する撮像装置とを有する第 2の三次元センサと；
前記第 1の三次元センサで得られた像上のパターンの移動に基づいて、前記対象 領域に存在する対象物の外形情報を得る三次元情報演算手段と；
前記第 2の三次元センサで得られた像上のパターンの移動に基づいて、前記対象物 の変動情報を得る変動情報演算手段と；
前記外形情報と前記変動情報を合成する情報合成手段とを備えた；
三次元形状測定装置。
[2] 前記情報合成手段は、前記外形情報に基づいて、前記変動情報を補正することを 特徴とする；
請求項 1に記載の三次元形状測定装置。
[3] 前記情報合成手段は、前記合成を、前記対象物の各部位毎の動きが解るように行う ことを特徴とする；
請求項 1又は請求項 2に記載の三次元形状測定装置。
[4] 前記情報合成手段の合成結果を表示する情報出力手段を備えた；
請求項 1乃至請求項 3のいずれか 1項に記載の三次元形状測定装置。
[5] 前記投影装置の投影するパターン光は、輝点が配列されたものであることを特徴とす る；
請求項 1乃至請求項 4のいずれか 1項に記載の三次元形状測定装置。
[6] 前記三次元情報演算手段は、前記外形情報の不足部位について補間を行うことを 特徴とする；
請求項 1乃至請求項 5のいずれか 1項に記載の三次元形状測定装置。
PCT/JP2004/007717 2003-06-09 2004-06-03 三次元形状測定装置 WO2004109228A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US10/560,048 US7630537B2 (en) 2003-06-09 2004-06-03 Three-dimensional shape-measuring device
AU2004245815A AU2004245815B2 (en) 2003-06-09 2004-06-03 Three-dimensional shape-measuring device
CA002528824A CA2528824A1 (en) 2003-06-09 2004-06-03 Three-dimensional shape-measuring device
DE602004009077T DE602004009077T2 (de) 2003-06-09 2004-06-03 Einrichtung zur messung dreidimensionaler formen
EP04745573A EP1645841B8 (en) 2003-06-09 2004-06-03 Three-dimensional shape-measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003163503A JP3738291B2 (ja) 2003-06-09 2003-06-09 三次元形状測定装置
JP2003-163503 2003-06-09

Publications (1)

Publication Number Publication Date
WO2004109228A1 true WO2004109228A1 (ja) 2004-12-16

Family

ID=33508757

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/007717 WO2004109228A1 (ja) 2003-06-09 2004-06-03 三次元形状測定装置

Country Status (7)

Country Link
US (1) US7630537B2 (ja)
EP (1) EP1645841B8 (ja)
JP (1) JP3738291B2 (ja)
AU (1) AU2004245815B2 (ja)
CA (1) CA2528824A1 (ja)
DE (1) DE602004009077T2 (ja)
WO (1) WO2004109228A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076090A1 (en) * 2005-10-04 2007-04-05 Alexander Eugene J Device for generating three dimensional surface models of moving objects
WO2015104763A1 (ja) * 2014-01-07 2015-07-16 ソニー株式会社 分析システム、分析プログラム及び分析方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3782815B2 (ja) * 2004-02-04 2006-06-07 住友大阪セメント株式会社 呼吸解析装置
DE102005013042A1 (de) 2005-03-18 2006-09-28 Siemens Ag Einrichtung zur Erzeugung von 3D-Fluoreszenz-oder Lumineszenz-Scans
JP2008154655A (ja) * 2006-12-21 2008-07-10 Keio Gijuku 呼吸機能測定装置及びプログラム
DE102007006566A1 (de) * 2007-02-09 2008-08-14 Siemens Ag Verfahren zur zentralen Überwachung sowie Anordnung zur Aufnahme, Auswertung und selektiven Anzeige von Bildern ruhender Personen
JP5538667B2 (ja) * 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法
GB0822605D0 (en) * 2008-12-11 2009-01-21 Pneumacare Ltd Method and apparatus for monitoring an object
CN102341085B (zh) 2009-03-06 2014-02-12 阿特雷奥医疗公司 对在表面上的cpr的按压参数的测量
WO2011011633A2 (en) * 2009-07-22 2011-01-27 Atreo Medical, Inc. Optical techniques for the measurement of chest compression depth and other parameters during cpr
JP2011033507A (ja) * 2009-08-03 2011-02-17 Renesas Electronics Corp ３次元計測装置
US11022433B2 (en) 2010-02-12 2021-06-01 Koninklijke Philips N.V. Laser enhanced reconstruction of 3D surface
EP2380493A1 (en) * 2010-04-21 2011-10-26 Koninklijke Philips Electronics N.V. Respiratory motion detection apparatus
US8670029B2 (en) * 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
JP5163713B2 (ja) * 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
JP5187364B2 (ja) * 2010-08-24 2013-04-24 カシオ計算機株式会社 回折光学素子、並びに測距装置及び測距方法
EP2619724A2 (en) 2010-09-23 2013-07-31 Stryker Corporation Video monitoring system
JP5655021B2 (ja) 2011-03-29 2015-01-14 富士フイルム株式会社 光音響画像化方法および装置
CN102223553B (zh) * 2011-05-27 2013-03-20 山东大学 一种二维视频到三维视频的自动转换方法
EP2715695B1 (en) * 2011-05-30 2016-03-16 Koninklijke Philips N.V. Apparatus and method for the detection of the body position while sleeping
JP5984409B2 (ja) * 2012-02-03 2016-09-06 キヤノン株式会社 三次元計測システム及び方法
US9301710B2 (en) * 2012-06-01 2016-04-05 Xerox Corporation Processing a video for respiration rate estimation
JP6150231B2 (ja) * 2012-07-24 2017-06-28 公立大学法人広島市立大学 心拍計測方法および装置
WO2014059681A1 (zh) * 2012-10-20 2014-04-24 因美吉智能科技（济南）有限公司 非接触式儿科测量方法和测量设备
US10648789B2 (en) * 2012-11-07 2020-05-12 ARTEC EUROPE S.á r.l. Method for monitoring linear dimensions of three-dimensional objects
US9291877B2 (en) 2012-11-15 2016-03-22 Og Technologies, Inc. Method and apparatus for uniformly focused ring light
JP2014119427A (ja) * 2012-12-19 2014-06-30 Fujitsu Semiconductor Ltd スポット探索装置、スポット探索方法
GB2522452B (en) * 2014-01-24 2017-07-19 Chapelglade Ltd System for measuring body characteristics relevant for mattress selection
US9589359B2 (en) * 2014-04-24 2017-03-07 Intel Corporation Structured stereo
US9814410B2 (en) * 2014-05-06 2017-11-14 Stryker Corporation Person support apparatus with position monitoring
DE102014218140B3 (de) * 2014-09-10 2016-03-10 Ait Austrian Institute Of Technology Gmbh Verfahren und Vorrichtung zur Bestimmung des zeitlichen Verlaufs der Atemtiefe einer Person
FR3026933A1 (fr) * 2014-10-09 2016-04-15 Inst Nat De La Sante Et De La Rech Medicale (Inserm) Dispositif et procede de caracterisation de l'activite respiratoire d'un mammifere
JP6248917B2 (ja) * 2014-12-11 2017-12-20 カシオ計算機株式会社 立体形成方法、立体形成装置、及び、プログラム
CN104596439A (zh) * 2015-01-07 2015-05-06 东南大学 一种基于相位信息辅助的散斑匹配三维测量方法
CN107708493B (zh) * 2016-01-13 2021-01-08 株式会社爱维福 长丝三维结合体制造装置以及长丝三维结合体的制造方法和床垫用芯材
JP6839799B2 (ja) * 2016-03-03 2021-03-10 パナソニックＩｐマネジメント株式会社 情報端末装置の制御方法、体動測定装置、及び、プログラム
FI127962B (en) 2017-04-10 2019-06-14 Sorvi Consulting Oy DEVICE, METHOD AND COMPUTER SOFTWARE FOR MANAGING PHYSICAL TRAINING
WO2020110164A1 (ja) * 2018-11-26 2020-06-04 三菱電機株式会社 表示データ生成装置、表示データ生成方法、および表示データ生成プログラム
JP2020094976A (ja) * 2018-12-14 2020-06-18 本田技研工業株式会社 凹凸検査方法及び凹凸検査装置
AT522841A1 (de) * 2019-07-17 2021-02-15 Ait Austrian Inst Tech Gmbh Verfahren zur Detektion der Intensität und/oder des Ausmaßes der Körperbewegungen einer Person
GB201914842D0 (en) * 2019-10-14 2019-11-27 Binatone Electronics Int Ltd Breathing detection apparatus and methods for detecting breathing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002122416A (ja) * 2000-10-16 2002-04-26 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置
JP2002131017A (ja) * 2000-10-27 2002-05-09 Honda Motor Co Ltd 距離測定装置、及び距離測定方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4947152A (en) 1986-02-10 1990-08-07 Mesa Vista Hospital Patient monitoring system
US4882566A (en) 1988-08-03 1989-11-21 Hill-Rom Company, Inc. Safety control system for a hospital bed
CA2056370C (en) 1990-03-09 1998-08-11 Hiroyuki Ogino Sleep detecting apparatus
JP3051279B2 (ja) * 1993-05-13 2000-06-12 シャープ株式会社 バンプ外観検査方法およびバンプ外観検査装置
US5528339A (en) * 1994-08-26 1996-06-18 Eastman Kodak Company Color image reproduction of scenes with color enhancement and preferential tone mapping
US5471198A (en) 1994-11-22 1995-11-28 Newham; Paul Device for monitoring the presence of a person using a reflective energy beam
DE19638727A1 (de) * 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
US6075883A (en) * 1996-11-12 2000-06-13 Robotic Vision Systems, Inc. Method and system for imaging an object or pattern
US6011477A (en) 1997-07-23 2000-01-04 Sensitive Technologies, Llc Respiration and movement monitoring system
US6011595A (en) * 1997-09-19 2000-01-04 Eastman Kodak Company Method for segmenting a digital image into a foreground region and a key color region
JP3263035B2 (ja) 1997-11-21 2002-03-04 東芝エンジニアリング株式会社 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム
US5914660A (en) 1998-03-26 1999-06-22 Waterview Llc Position monitor and alarm apparatus for reducing the possibility of sudden infant death syndrome (SIDS)
US6049281A (en) 1998-09-29 2000-04-11 Osterweil; Josef Method and apparatus for monitoring movements of an individual
JP3820811B2 (ja) * 1999-08-02 2006-09-13 株式会社デンソー 呼吸器系疾患のモニタ装置
US7167575B1 (en) 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
US7106885B2 (en) 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002164066A (ja) * 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP3477166B2 (ja) 2000-12-07 2003-12-10 学校法人慶應義塾 監視装置
JP3922694B2 (ja) 2001-06-15 2007-05-30 住友大阪セメント株式会社 監視装置
EP1410755A4 (en) 2001-06-15 2009-01-28 Sumitomo Osaka Cement Co Ltd CONTROL DEVICE
JP4703049B2 (ja) * 2001-07-17 2011-06-15 住友大阪セメント株式会社 監視装置
US7110596B2 (en) 2002-04-25 2006-09-19 Microsoft Corporation System and method facilitating document image compression utilizing a mask
JP3979238B2 (ja) 2002-09-05 2007-09-19 住友大阪セメント株式会社 空間内監視装置
JP3764949B2 (ja) 2003-06-09 2006-04-12 住友大阪セメント株式会社 状態解析装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002122416A (ja) * 2000-10-16 2002-04-26 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置
JP2002131017A (ja) * 2000-10-27 2002-05-09 Honda Motor Co Ltd 距離測定装置、及び距離測定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1645841A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076090A1 (en) * 2005-10-04 2007-04-05 Alexander Eugene J Device for generating three dimensional surface models of moving objects
US8848035B2 (en) * 2005-10-04 2014-09-30 Motion Analysis Corporation Device for generating three dimensional surface models of moving objects
WO2015104763A1 (ja) * 2014-01-07 2015-07-16 ソニー株式会社 分析システム、分析プログラム及び分析方法
JPWO2015104763A1 (ja) * 2014-01-07 2017-03-23 ソニー株式会社 分析システム、分析プログラム及び分析方法
US10535137B2 (en) 2014-01-07 2020-01-14 Sony Corporation Analysis system and analysis method

Also Published As

Publication number Publication date
AU2004245815A1 (en) 2004-12-16
JP2005003367A (ja) 2005-01-06
EP1645841B1 (en) 2007-09-19
JP3738291B2 (ja) 2006-01-25
EP1645841A4 (en) 2006-09-06
US20060239538A1 (en) 2006-10-26
CA2528824A1 (en) 2004-12-16
EP1645841A1 (en) 2006-04-12
DE602004009077D1 (de) 2007-10-31
US7630537B2 (en) 2009-12-08
DE602004009077T2 (de) 2008-06-19
EP1645841B8 (en) 2007-11-07
AU2004245815B2 (en) 2010-08-19

Similar Documents

Publication Publication Date Title
WO2004109228A1 (ja) 三次元形状測定装置
JP3764949B2 (ja) 状態解析装置
JP3782815B2 (ja) 呼吸解析装置
US7123758B2 (en) Method and system for monitoring breathing activity of a subject
JP4703049B2 (ja) 監視装置
JP3922694B2 (ja) 監視装置
JP4422580B2 (ja) 動き検出装置
JP3939224B2 (ja) 領域監視装置
JP3979238B2 (ja) 空間内監視装置
JP2005253608A (ja) 状態解析装置
JP4372643B2 (ja) 動き検出装置
JP2004037274A (ja) 高さ計測装置及び監視装置
JP2004093376A (ja) 高さ計測装置及び監視装置
JP4365699B2 (ja) 状態解析装置
JP2005005912A (ja) 監視装置
JP4230287B2 (ja) 動き検出装置
JP2004037871A (ja) パターン光投影装置及び測定装置
JP2009078179A (ja) 状態推移モニタ装置及び状態推移表示方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2528824

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2004245815

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2004745573

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2004245815

Country of ref document: AU

Date of ref document: 20040603

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2004245815

Country of ref document: AU

WWP Wipo information: published in national office

Ref document number: 2004745573

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006239538

Country of ref document: US

Ref document number: 10560048

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10560048

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 2004745573

Country of ref document: EP