WO2010073929A1 - 人判定装置、方法およびプログラム - Google Patents

人判定装置、方法およびプログラム Download PDF

Info

Publication number
WO2010073929A1
WO2010073929A1 PCT/JP2009/070822 JP2009070822W WO2010073929A1 WO 2010073929 A1 WO2010073929 A1 WO 2010073929A1 JP 2009070822 W JP2009070822 W JP 2009070822W WO 2010073929 A1 WO2010073929 A1 WO 2010073929A1
Authority
WO
WIPO (PCT)
Prior art keywords
range
head
image
obstacle
person
Prior art date
Application number
PCT/JP2009/070822
Other languages
English (en)
French (fr)
Inventor
利憲 細井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP09834732.1A priority Critical patent/EP2381415A4/en
Priority to JP2010544009A priority patent/JP5251987B2/ja
Priority to CN200980151634.4A priority patent/CN102257529B/zh
Priority to US13/141,446 priority patent/US8571274B2/en
Publication of WO2010073929A1 publication Critical patent/WO2010073929A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a technique for determining whether an object appearing in an image based on a video signal from a camera is a person.
  • Non-Patent Document 1 discloses a method capable of determining whether or not an object appearing in an image is a person. In this determination method, the process of determining whether or not a face is repeated is performed over the entire image to detect a face in the image. If the detection target is a human body instead of a face, it can be determined whether or not the object shown is a person.
  • Non-Patent Document 2 discloses another method capable of determining whether or not an object appearing in an image is a person.
  • a low-computation amount process of taking a difference between an image at a certain point in time (background image) and the current image is used. Based on this difference, a partial area where there is likely to be a moving object is detected at high speed, and only the image of the partial area is determined to be “human”, “car”, or “other” .
  • the number of executions of the process of determining “person” or “non-person” is reduced by narrowing down the partial area where an object is likely to exist.
  • Non-Patent Document 2 a relatively simple determination process is employed using a feature amount calculated from a shape obtained from an image. By combining statistical image recognition methods, the determination performance can be improved with only a slight increase in processing time.
  • Non-Patent Document 1 The method described in Non-Patent Document 1 is characterized by high speed, but this is a feature when compared with the conventional method of repeating pattern identification processing. Comparing the method described in Non-Patent Document 1 and the method that performs only difference calculation between images as described in Non-Patent Document 2, the latter method that performs difference calculation clearly has a lower amount of computation. .
  • a process for determining whether the determination rate in the face determination process for determining whether the face is “face” or “not a face” is “person” or “not a person” Higher than.
  • the face determination process can obtain a correct determination result even if a human body part other than the face is concealed.
  • the face determination processing as in Non-Patent Document 1, it is easy to increase the processing speed to some extent by combining the method for detecting a partial region that is likely to have an object as a preprocessing. I can expect.
  • Patent Document 1 describes another process for determining whether “face” or “not face”. With the method described in Patent Document 1, “object” or “not person” is determined by determining whether there is a “face” or “no face” from an image of an area where the object exists for an object found by a laser radar. Is determined.
  • Patent Document 2 not only the area for searching for a face is narrowed down, but also the distance from the camera to the object is measured by using a plurality of cameras in stereo, and the search should be performed based on the measurement result.
  • a technique for narrowing down the size of a face on an image is disclosed. According to this method, the amount of calculation for searching for a face can be suppressed.
  • Patent Document 3 a face area corresponding to a human face in an image is extracted, and the height of the center of gravity of the face area from the floor is estimated with reference to camera parameters. The method of extracting the wheelchair area of the is described.
  • Non-Patent Document 1 since it is necessary to determine whether or not each partial image that is likely to be an object in the image is a face, the calculation amount is large, and the processing The speed will be slow. For this reason, low-priced hardware with low calculation performance cannot be used for applications that require high-speed processing.
  • Non-Patent Document 2 Although the amount of calculation can be reduced by using a difference image, high determination performance may not be obtained when the concealment area of a person due to an obstacle is large. is there. For this reason, as in the case of Non-Patent Document 1, it is difficult to apply to applications that require high determination performance.
  • the determination performance can be improved with only a slight increase in processing time. If the concealed area of the person is large, the determination process may be difficult. Therefore, it is difficult to apply this method to applications that require high determination performance.
  • Patent Documents 1 and 3 simply performs a process of searching for a face from a partial image area in which an object is reflected, which requires a large amount of calculation and slows down the processing speed.
  • Patent Documents 1 and 3 are also difficult to apply to uses that require high determination performance, as in Non-Patent Documents 1 and 2.
  • An object of the present invention is to solve the above-mentioned problem, and even when a part of an object is hidden by an obstacle, it is possible to accurately determine whether an object is a person with a low amount of computation. It is to provide a method and a program.
  • the human judgment device of the present invention provides: An obstacle storage unit for storing information indicating an area on the image of an obstacle extracted from an image based on a video signal from an external camera; When a part of an object extracted from the image is concealed by the obstacle, a range in which the grounding point in contact with the reference surface of the object can be taken on the image is stored in the obstacle storage unit. A region of the object that is farthest from the grounding point based on the estimated range and a relative relationship between the height of the person and the size and position of the head given in advance.
  • a head range calculation means for calculating a range that the head can take on the image, assuming a human head; And a head detecting means for determining whether or not there is a region having a shape corresponding to the head in the range of the head calculated by the head range calculating means.
  • the human determination method of the present invention is a human determination method for determining whether or not an object appearing in an image based on a video signal from an external camera is a person, and indicates a region on the image of the obstacle.
  • a contact point where the object touches the reference plane is displayed on the image.
  • the possible range is estimated as the area of the obstacle stored in the obstacle storage unit, and based on the estimated range and the relative relationship between the height of the person given in advance and the size and position of the head
  • a range that the head can take on the image is calculated, and the head is calculated in the calculated head range. It is determined whether there is an area having a shape corresponding to the part. Characterized in that it.
  • the program of the present invention is a program used for a computer that determines whether an object appearing in an image based on a video signal from an external camera is a person, A process of referring to an obstacle storage unit in which information indicating an area of the obstacle on the image is stored; When a part of an object extracted from the image is concealed by the obstacle, a range in which the grounding point in contact with the reference surface of the object can be taken on the image is stored in the obstacle storage unit.
  • Processing for estimating the area of the obstacle Based on the estimated range and a relative relationship between the height and head size and position of the person given in advance, assuming that the part of the object farthest from the grounding point is the human head, Processing to calculate the range that the head can take on the image; In the calculated range of the head, the computer is caused to execute processing for determining whether or not there is a region having a shape corresponding to the head.
  • FIG. 1 is a block diagram showing the configuration of the person determination device according to the first embodiment of the present invention.
  • the person determination device determines whether or not an object other than a preset obstacle is a person in an image based on a video signal supplied from an external camera.
  • the main part is made up of a data processing device 100 and a storage device 200.
  • the external camera is, for example, a fixed point camera.
  • the storage device 200 includes an obstacle storage unit 210, a camera parameter storage unit 220, and a head detection parameter storage unit 230.
  • the obstacle storage unit 210 stores an area of a preset obstacle (an obstacle that may conceal a person or an object) on an image based on a video signal supplied from an external camera. Although it is desirable to store information representing the shape of the obstacle on the image in units of pixels in the obstacle storage unit 210, for example, the obstacle storage unit 210 may store information on the obstacle region as a combination of a plurality of rectangular regions. May be retained.
  • the combination of a plurality of rectangular areas means expressing the shape of one obstacle by a combination of small blocks.
  • the camera parameter storage unit 220 is a parameter for performing mutual conversion between a coordinate system on an image based on a video signal from an external camera, that is, an image coordinate system, and a real-world coordinate system, that is, a coordinate system on a map.
  • This parameter is calculated in advance (before operation of the device). Specifically, Reference 1 “R. Y. Tsai,” A Versatile Camera Calibration, High-Accuracy 3D Machine Visibility Emerging Energy-Off-the-Self-TV. RA-3, No. 4, pp. 323-344, 1987 ", and the camera internal parameters and external parameters derived by this camera calibration method are stored in the camera parameters. Store in the unit 220.
  • the internal parameters include information such as the focal length of the camera.
  • the external parameter includes information on the position and orientation of the camera.
  • the configuration of the human determination device according to the present embodiment does not include the external camera itself, but the camera parameter storage unit 220 calculates the parameters describing the camera / lens itself and the situation where the camera is installed in advance. , The corresponding points between the image coordinate system and the coordinate system on the map can be mutually converted.
  • the head detection parameter storage unit 230 stores parameters for determining whether “the head is present” or “the head is absent” in the image.
  • the method for determining whether “the head is present” or “the head is absent” is not particularly limited.
  • “Generalized Learning Vector Quantum” which is a statistical pattern recognition technique described in Reference Document 2 “Satoshi Sato, Character Recognition by General Learning Vector Quantization, IEICE Technical Report, PRMU 95-219, 1996”.
  • the head may be searched by repeatedly executing the process of recognizing whether it is “head” or “not head”. In this case, a parameter called “reference vector” is stored in the head detection parameter storage unit 230.
  • the reference vector is a set of vectors each including a plurality of vectors representing “head” and vectors representing “not head”.
  • the data processing apparatus 100 is a computer system that operates under program control, and includes a concealment possibility diagnosis unit 110, a contact point range calculation unit 120, a position / size estimation unit 130, a human size suitability determination unit 140, and a head range calculation unit. 150, a head detecting means 160 and a person determining means 170.
  • the concealment possibility diagnosis unit 110 receives an image signal from an external camera, and an area of an object that is a target for determining “person” or “non-person” on an image based on the image signal is an obstacle storage. It is determined whether or not the area of the obstacle held in the unit 210 is in contact with the image coordinates. When the area of the object touches the area of the obstacle, the concealment possibility diagnosis unit 110 diagnoses that the object is concealed by the obstacle. When the area of the object is not in contact with the area of the obstacle, the concealment possibility diagnosis unit 110 diagnoses that the object is not concealed by the obstacle.
  • the concealment possibility diagnosis unit 110 diagnoses that the object is not concealed by the obstacle.
  • the area of the obstacle is known, and by detecting a state in which the object area hides the area of the obstacle, it is possible to detect a state in which the object is in front of the obstacle as viewed from the external camera side. it can.
  • any method may be used as the object extraction method on the image.
  • an object on the image may be extracted based on a difference between an image at a certain point in time (background image) and the current image.
  • the ground contact point range calculation means 120 is configured such that a ground contact point at which an object comes into contact with a reference surface such as the ground or a floor (here, assumed to be the ground), that is, a point corresponding to a foot if the object is a person, is an image coordinate.
  • the range that can be taken above is calculated in consideration of obstacles. Furthermore, if the point (part) farthest from the grounding point of the object, that is, the point corresponding to the top of the head (hereinafter referred to as the head vertex) if the object is a person, the range that can be taken on the image coordinates is defined as an obstacle. Calculate after taking into account.
  • the position / size estimating means 130 determines the position that the object can take in the real-world coordinate system, that is, the position of the object on the map coordinate, and the position of the object from the two points of the ground point of the object in the image coordinate system and the head vertex. Calculate the size. However, since the contact point range calculation unit 120 obtains ranges that can be taken by the two points of the contact point and the head vertex of the object, the result calculated by the position / size estimation unit 130 is the range of the position that the object can take. And the size range that the object can take.
  • the human size suitability determination unit 140 compares the size of the object in the real-world coordinate system with the size that can be statistically taken by a person as a living thing, and determines whether or not it is a possible size for a person. Since the result calculated by the position / size estimation means 130 is the range of the size that the object can take, if there is an overlap between the size range that the object can take and the size range that the person can statistically take The object may be a person.
  • the range of the size that the object can take is a range from the minimum value to the maximum value of the size (height) of the object obtained by the Tsai technique described in the above-mentioned Reference 1, for example, 50 cm to 130 cm. It is the range.
  • the size range that a person can take statistically is, for example, a height of 110 cm to 180 cm for a Japanese (elementary school student). In this case, since the range of 110 cm to 130 cm overlaps, there is a possibility that the object is a person with a height within that range.
  • the head range calculation means 150 assumes that the object is “a person” from the relationship between the range that the object region can take on the image coordinates and the position and size of the human body and head as a living thing.
  • the range in which the head can exist on the image coordinates and the range in which the head size can be calculated are calculated.
  • the range that the object area can take on the image coordinates is a value calculated by the position / size designating unit 130, which is obtained by adding the range of the position / size that the object can take and the area of the obstacle adjacent to it. is there. Based on this object region, the maximum value can be obtained from the minimum value of the height of the object.
  • the relative relationship between height and head size medically falls within a certain range. From this, if the height of a person is known, the possible range of the head position can be obtained. Therefore, assuming that the height of the object is a human height, it is possible to narrow down the range that the size of the head and the position of the head can take.
  • the range of the position and size that the head can take varies depending on the posture of the human body, restrictions may be added to the posture of the human body according to the application of the present invention. For example, when an image of a situation where only a human walking motion or an upright posture can be observed is input to the human determination device of the present embodiment, the relationship between the position and size of the entire body and the head while walking, The relationship between the position and size of the whole body and the head in a state of being present may be used as a constraint.
  • the head detection means 160 determines whether there is a “head” or “no head” for a specific area in the image (area narrowed down by the head range calculation means 150). In this determination, for example, a head in a specific region may be detected using a pattern recognition method that performs statistical pattern recognition based on luminance information of an image. Since the present invention determines whether the person is “person” or “not person”, a method in which the position of the head is not fixed may be used.
  • the person determination unit 170 determines that the object indicated by the region is Determine if you are a person. In this determination, for example, it may be determined whether the person is a person using the aspect ratio of the object region, or by using a statistical pattern recognition method based on the luminance information of the image, it is determined whether the person is a person directly. Also good.
  • an area of an object that is a target for determining whether “person” or “not a person” has been narrowed down in advance as pre-processing for an image based on a video signal from an external camera.
  • information indicating the object region as a region on the image coordinates may be input to the concealment possibility diagnosis unit 110, or information obtained by cutting out the object region from the image is input to the concealment possibility diagnosis unit 110. May be.
  • the human size suitability determination means 140 determines that the person is not a person. For this reason, information indicating a region where an object is likely to be input may be input to the concealment possibility diagnosis unit 110 as information indicating the region of the object.
  • FIG. 2 is a flowchart for explaining the overall operation of the person determination device shown in FIG.
  • the concealment possibility diagnosis unit 110 determines whether or not the object region and the obstacle region are in contact with each other on the image (step S110). Thus, it can be determined whether or not there is a possibility that the object is concealed by an obstacle.
  • the contact point calculation means 120 obtains a range that can be taken by the point where the object touches the ground (ground point) and a range that can be taken by the point farthest from the ground (the head vertex) in the image coordinate system ( S120). At this time, the contact point calculation means 120 calculates the range that these two points can take in consideration of concealment by an obstacle. If it is determined in step S110 that there is no contact between the object and the obstacle (when there is no possibility that the object is hidden by the obstacle), the grounding point and the head vertex of the object are simply obtained. become.
  • the position / size estimation means 130 obtains the range of the position that the object can take on the map coordinates and the position of the object from the range of the ground point and the head vertex of the object on the image coordinate system obtained in step S120.
  • Each size range to be obtained is estimated (step S130).
  • the conversion from the image coordinate system to the real world coordinate system is performed based on values held in the camera parameter storage unit 220.
  • the human size suitability determining means 140 determines whether or not the range of the size of the object on the map coordinates obtained in step S130 is included in the range of the appropriate size as a person (step S140). If at least a part of the size range that can be taken by the object obtained in step S130 is statistically within the size range that can be taken by a person, the object may be a “person”. It is determined that it is compatible. On the other hand, if the size range that can be taken by the object obtained in step S130 does not statistically overlap with the size range that can be taken by humans, there is no possibility that the object is “person”, so that it conforms in step S140. It is determined that there is no. If it is determined to be compatible, the process proceeds to the next step S150. If not, the process is terminated.
  • the head range calculation means 150 assumes that the object is a person, and each position and size of the person's head that can exist on the image coordinates. A range is calculated (step S150).
  • the head detection unit 160 refers to the parameters stored in the head detection parameter storage unit 230, and “there is a head” within the range of possible positions and sizes calculated in step S150. Or “no head” (step S160). For example, it is possible to determine whether “there is a head” or “no head” by using the statistical pattern recognition method described above.
  • step S160 If it is determined that “there is a head” in step S160, the head detection unit 160 outputs a determination result that the object is “person”, and then the process ends. On the other hand, if it is determined in step S160 that there is no head (or if the head cannot be detected well), the person determination unit 170 performs a person determination process (step S170).
  • An arbitrary process for determining whether or not a person is present can be assigned to the person determination process. For example, it may be determined whether the person is a person using the aspect ratio of the object region, or may be determined whether the person is a direct person by a statistical pattern recognition method based on the luminance information of the image.
  • the range of the position / size of the object in the image coordinate system is calculated in consideration of the area of the object hidden by the obstacle, and the calculated range is mapped to the map. It converts into the range on a coordinate, and determines whether an object is a human based on the converted range. Only when there is a possibility that the object is a human being, the determination process of “there is a head” or “there is no head” is executed, so that the amount of calculation processing can be reduced.
  • the range of the position / size of the object in the image coordinate system is narrowed down, and in the narrowed range, “there is a head” or “there is no head”
  • the determination process is performed. As a result, the amount of calculation is reduced, and it is possible to determine whether “there is a head” or “there is no head” for high performance. As described above, even if there is a concealment other than the head, it is possible to realize the determination process of “human” or “non-human” with a low calculation amount and high performance.
  • the upward direction of the image coordinate system is the height direction in the real-world coordinate system, that is, when the person is standing upright on the floor surface, the head is upward in the image and the foot is downward
  • the head is upward in the image and the foot is downward
  • the only obstacles that may block the object are desks, boxes, or plates on the floor. According to this condition, there are cases where shielding is caused by obstacles at both the ground contact point and the top of the head, and shielding by obstacles occurs only at the ground contact point. If both the ground contact point and the top of the head are concealed, the area of the object on the image cannot be detected in the first place. Therefore, in fact, it can be considered that only the grounding point should be considered for shielding.
  • the data input to the concealment possibility diagnosis unit 110 includes image data from an external camera and rectangular coordinate values indicating an object area.
  • the obstacle storage unit 210 stores in advance information representing the area of the obstacle on the image as a collection of a plurality of small rectangles.
  • the storage of the obstacle information in the obstacle storage unit 210 is performed through manual work on the image data obtained from the external camera. If the camera for taking an image is fixed, the stored obstacle information can be used as it is for an image taken at another time.
  • the input work amount when the obstacle region is expressed as a collection of a plurality of small rectangles is smaller than that when inputting the obstacle region information in pixel units.
  • parameters for mutual conversion between the camera image coordinate system and the real world coordinate system are stored in the camera parameter storage unit 220 in advance. This parameter is calculated in advance using the camera calibration method described in Reference Document 1 above.
  • the constant values (focal length, etc.) of the camera lens are known.
  • a plane serving as a reference for real-world coordinates for example, three or more points on the ground
  • the coordinates on the image actually captured by the camera and the corresponding real-world ground (map coordinates) on the ground Find the coordinate value of.
  • the camera parameters are calculated by applying these values to the formula described in the above-mentioned reference 1.
  • the reference vector learned by “generalized learning vector quantization” is calculated as a parameter for determining whether the partial region of the image is “head” or “not head”.
  • the head detection parameter storage unit 230 stores the head detection parameter in advance.
  • step S110 in order to determine whether or not there is a possibility that the object is concealed, it is determined whether or not the obstacle region and the rectangular region that is the object region are in contact with each other.
  • the upper direction of the image coordinate system is the height direction in the real-world coordinate system
  • the shielding by the obstacle with respect to the two points of the grounding point and the top of the object is as follows. The condition that only the ground point is used is given.
  • step S120 in the next stage there are no two points other than the ground point of the object corresponding to the lower end of the object on the image and the head vertex corresponding to the upper end of the object on the image. For this reason, the process of step S110 can be simplified.
  • step S110 only the contact between the upper side of the obstacle area (rectangle) and the lower side of the object area (rectangle) may be determined. If the coordinate values of the lower end of the object area (rectangle) are compared with the upper end of each of a plurality of small rectangles indicating the obstacle area, and the coordinate value of the lower end of the object is in contact with the image, the obstacle May cause part of the object to be hidden.
  • step S120 in FIG. 2 Next, an operation corresponding to step S120 in FIG. 2 is executed.
  • step S110 If it is determined in step S110 that there is no obstruction by the obstacle, the lower end point of the object is determined as the ground point, and the upper end point of the object is determined as the head vertex.
  • the lower end point P1 is the grounding point
  • the upper end point P2 is the head vertex.
  • the range from the upper end to the lower end of the obstacle area is the range that the grounding point of the object can take.
  • the point at the top of the object is the point farthest from the ground (the head vertex).
  • the point farthest from the ground is the same as the head vertex determined when it is determined in step S110 that there is no concealment.
  • the position of the real world object that is, the map is obtained by converting the contact point on the image coordinates to a point on the real world coordinates.
  • the position of the object on the coordinates is obtained.
  • the head vertex of the object is also converted from image coordinates to map coordinates, and the size of the object is obtained based on the converted head vertex of the object and the position of the object on the map coordinates.
  • the calculation method described in the above-mentioned Reference 1 can be used as the calculation method by the above coordinate conversion. More specifically, as such a calculation technique, Reference Document 3 (Yuzo Ogawa, Hironobu Fujiyoshi, “Tracking Camera System by Master-Slaving for Real Space”, 9th Image Sensing Symposium, 2003) A calculation method (see Equation (8) and Equation (9)) for obtaining the height of the described real world coordinates can be used.
  • step S120 when the contact point is not a single point but is determined as a possible range in step S120, it is necessary to determine the position on the map coordinates of the object corresponding to the contact point as a range. For the calculation of this range, the following approximate calculation is used.
  • the range that can be taken by the point that is the highest point in the range that the grounding point of the object can take that is, the point that is in contact with the obstacle (converted to map coordinates) (referred to as point A)
  • point A the point that is in contact with the obstacle (converted to map coordinates)
  • point B the lowest point, that is, the point at which the lower end of the obstacle is transformed into map coordinates
  • the range between the points A and B may be regarded as a range that the object can take on the map coordinates.
  • the size of the real world object needs to be obtained as a range. This calculation is performed between the size obtained when the ground point of the object is point A and the size obtained when the ground point of the object is point B. May be a range of the size of the object.
  • step S140 in FIG. 2 Next, an operation corresponding to step S140 in FIG. 2 is executed.
  • the upper and lower limits of the height that can be statistically taken by a human body may be taken as the range that a human can take.
  • the statistical value may be used.
  • the upper and lower limits of height are not used as they are, but the upper and lower limits that can be ignored in practice are used from the statistical distribution of height.
  • step S140 If it is determined in step S140 that there is no possibility of being a person, it is determined that the person is not a person and the process is terminated.
  • step S150 in FIG. 2 an operation corresponding to step S150 in FIG. 2 is executed to predict a range where the head can exist on the image coordinates and a range of the head size.
  • the height of the object obtained in step S140 is the height of the person
  • the location where the person's head exists and the range of the head size are obtained.
  • the range of the head size can be predicted according to the distribution of the head size with respect to the height of the person. Further, it can be predicted that the head is within the range of the size of the head from the top of the head.
  • step S160 in FIG. 2 Next, an operation corresponding to step S160 in FIG. 2 is executed.
  • ⁇ It is determined whether “there is a head” or “there is no head” by limiting to the range in which the head predicted in step S150 can be and the range in which the head can take. As this determination method, any part that can be cut out from the processing target region for the determination process of “head” or “not head” by “generalized learning vector quantization” which is one of statistical pattern recognition methods Run on the region. As the range for determining whether “the head is present” or “the head is absent” is narrowed down, an increase in processing time can be prevented.
  • step S160 If it is determined that “there is a head” in the operation of step S160, it is determined that the user is a person and the process is terminated.
  • step S170 an arbitrary process for determining whether or not the person is a person can be assigned.
  • the determination is made based on the aspect ratio of the area of the target object. If the person is a pedestrian or an upright posture, the object region on the image is vertically long, so that it is determined as “person” and the process ends. Otherwise, it is determined as “not a person” and the process ends.
  • step S170 may be omitted if the process up to step S160 is practically sufficient for the deterministic efficiency of being a person.
  • the height direction in the real-world coordinate system is the upper direction of the image coordinate system, but the height direction may be a different direction instead of the upward direction.
  • the input image may be rotated at a rotation angle corresponding to an angle formed by the upper direction and another direction.
  • the same effect as the above-described processing can be obtained if the upper direction of the input image coordinate system is rotated and applied.
  • the input image may be rotated in advance, or may be regarded as an image coordinate system with the direction from the top of the object to the contact point direction as an axis, and the concealment relationship between the object and the obstacle may be applied.
  • the height direction in the real world coordinate system or the opposite direction may be toward a certain point in the image instead of a fixed direction in the image coordinate system. More specifically, as shown in FIG. 4, in a state where the person stands upright on the floor surface, there is a case in which one direction from the top vertex to the grounding point faces one point. Such a state is seen, for example, when the camera is directed almost to the ground. In this case, the direction of the top of the object and the direction of the contact point differ depending on the position on the image. In this case, the concealment relationship between the object and the obstacle may be applied assuming that the lower end direction of the object and the lower end direction of the obstacle are each directed to one point on the image.
  • the series of processing shown in FIG. 2 may be performed for each frame of the video signal supplied from the external camera. Further, the series of processing shown in FIG. 2 may be executed only for the frame from which the object is extracted on the image.
  • the equipment is low in computational complexity and inexpensive. Can be determined using. Therefore, it can be applied to uses such as person monitoring in a room where there are many obstacles such as desks and shelves.
  • the human determination device includes an obstacle storage unit that stores information indicating an area on the image of an obstacle extracted from an image based on a video signal from an external camera, and a part of the object extracted from the image.
  • the range where the grounding point that contacts the reference surface of the object can be taken on the image is estimated as the area of the obstacle stored in the obstacle storage unit, Based on the estimated range and the relative relationship between the height and head size and position of the person given in advance, assuming that the part of the object farthest from the grounding point is the human head, Is there a region having a shape corresponding to the head in the range of the head calculated by the head range calculator and the range of the head calculated by the head range calculator and the range that the head can take on the image?
  • the range of the object is estimated in consideration of the range of the obstacle that conceals the object, and the range that the head can take within the estimated range is narrowed down. Therefore, it is possible to reduce the amount of calculation in the head determination process and to increase the processing speed by narrowing the range.
  • the human determination device referring to the parameter stored in the camera parameter storage unit and a camera parameter storage unit that stores parameters that can coordinately convert a point on the image coordinates and a point on the real world coordinates.
  • the range of the position and size that the object can take on the coordinates of the image determined from the estimated range of the ground contact point and the height of the part from the reference surface, and the position on the real world coordinates and
  • the position / size estimation means for returning to the size range and the real world coordinates transformed by the position / size estimation means based on the statistical distribution of the human body size and head size in the real world coordinates.
  • a human size suitability determining means for determining whether or not the range of the position and size of the object is a possible range for a person, and the head range meter
  • the means predicts a range in which the head of the range of the object may exist when the human size suitability determination unit determines that the range of the position and size of the object is a possible range for a person. May be.
  • the area of the obstacle on the image is defined as a rectangular area, and the object is positioned in a direction perpendicular to the reference plane on the coordinates of the image. It is determined whether or not the area touches the upper end of the area of the obstacle, and when these areas are in contact, the concealability diagnostic unit determines that a part of the object is concealed by the obstacle May further be included.
  • a ground point range calculation means for estimating a range from the lower end to the upper end of the obstacle area in the direction perpendicular to the plane as the range of the ground contact point;
  • the range of the head may be calculated based on the range estimated by the means.
  • the human determination device when the shape corresponding to the head is not detected by the head detection means, the shape of the person given the shape of the region of the object in advance on the coordinates of the image It may be further provided with a person determination means for determining whether or not the object is a person when the condition indicating the condition is satisfied.
  • a personal computer can be used as the data processing device 100 and a semiconductor memory can be used as the storage device 200.
  • the obstacle storage unit 210, the camera parameter storage unit 220, and the head detection parameter storage unit 230 can be regarded as part of the semiconductor memory.
  • the concealment possibility diagnosis unit 110, the contact point range calculation unit 120, the position / size estimation unit 130, the human size suitability determination unit 140, the head range calculation unit 150, the head detection unit 160, and the person determination unit 170 are personal This can be provided by the CPU of the computer executing the person determination program.
  • the person determination program causes the CPU to execute a series of processes shown in FIG.
  • the estimated range of the position and size of the object in the image coordinates is converted into a range on the map coordinates, and whether or not the converted range is a possible range for a person is determined based on real-world coordinates. Is based on the statistical distribution of the size of the human body and the size of the head. Instead, a range based on the statistical distribution of the human body size and the head size in the map coordinates is converted into a range on the image coordinates, and the size of the object in the image coordinates is determined based on the converted range. It may be determined whether the estimated range is a possible range for a person.
  • the present invention can be applied to all surveillance cameras.

Abstract

　人判定装置は、外部カメラからの映像信号に基づく画像から抽出した障害物の上記画像上の領域を示す情報が格納される障害物記憶部と、上記画像から抽出した物体の一部が上記障害物により隠蔽されている場合に、上記物体が基準面に接する接地点が上記画像上で取り得る範囲を、上記障害物記憶部に格納された上記障害物の領域と推定し、該推定範囲と、予め与えられた人の身長と頭部の大きさと位置の相対関係とに基づいて、上記物体の上記接地点から最も離れた部位を人の頭部と仮定した場合の、該頭部が上記画像上で取り得る範囲を計算する頭部範囲計算手段と、該計算した頭部の範囲において、上記頭部に対応する形状を有する領域があるか否かを判定する頭部検出手段と、を有する。

Description

人判定装置、方法およびプログラム
　本発明は、カメラからの映像信号に基づく画像中に出現する物体が人であるか否かを判定する技術に関する。
　非特許文献１には、画像中に出現する物体が人であるか否かを判定できる方法が開示されている。この判定方法では、顔であるか否かを判定する処理を画像全体にわたって繰り返し実行し、画像中にある顔を検出する。検出対象を顔ではなく人体とすれば、映っている物体が人であるか否かを判定できる。
　非特許文献２には、画像中に出現する物体が人であるか否かを判定できる別の方法が開示されている。この判定方法では、ある時点の画像(背景画像)と現在の画像との差分をとるという低演算量の処理を用いる。この差分に基づいて、何か動いている物体がありそうな部分領域を高速に検出し、その部分領域の画像に対してのみ、「人間」か「車」か「それ以外」かを判定する。つまり、物体がありそうな部分領域を高速に絞り込むことで、「人」か「人でない」かを判定する処理の実行回数を削減している。
　なお、非特許文献２に記載の判定方法では、画像から得られた形状などから計算された特徴量を使って比較的単純な判定処理を採用しているが、例えば非特許文献３に記載の統計的な画像認識手法を組みあわせることにより、僅かな処理時間の増加だけで、判定性能を高めることができる。
　また、非特許文献１に記載の手法は高速性を特長としているが、これは旧来のパターン識別処理を繰り返す手法と比較した場合の特長である。非特許文献１に記載の手法と非特許文献２に記載されたような画像同士の差分計算のみを行う手法とを比較すると、後者の差分計算を行う手法の方が明らかに低演算量である。
　ところで、人の頭部が人体の一部として必ず存在することを利用して、「頭がある」か「頭がない」かを判定することによって、「人」か「人でない」かを判定することは容易に思いつく。例えば、顔は頭の一部であるので、非特許文献３に記載の顔探索処理によって、事実上「人である」か「人でない」かを判定できる。
　一般的に、頭がある程度大きく画像上に映っている場合は、「顔」か「顔でない」かを判定する顔判定処理における判定率が、「人」か「人でない」かを判定する処理よりも高い。また、顔判定処理は、顔以外の人体の部位が隠蔽されていても、正しい判定結果を得られる。しかも、顔判定処理については、非特許文献１のように、物体がありそうな部分領域を高速に検出する手法を前処理として組み合わせることで、ある程度、処理の高速化が可能であると容易に予想できる。
　特許文献１には、「顔」か「顔でない」かを判定する別の処理が記載されている。特許文献１に記載の方法では、レーザーレーダーで見つけた物体について、物体が存在する領域の画像から「顔がある」か「顔がない」かを判定することで、「人」か「人でない」かを判定する。
　特許文献２には、単純に顔を探索する領域を絞るだけでなく、複数のカメラを使ってステレオ視することでカメラから物体までの距離を計測し、該計測結果に基づいて、探索すべき顔の画像上での大きさも絞り込む手法が開示されている。この手法によれば、顔を探索するための演算量を抑えることができる。
　特許文献３には、画像中の人間の顔に対応する顔領域を抽出し、その顔領域の重心位置の床からの高さをカメラパラメータを参照して推定し、その推定結果から、画像中の車椅子領域を抽出する方法が記載されている。
特開２００７－１８７６１８号公報 特開２００７－１５６９３９号公報 ＷＯ２００２／０５６２５１（再公表特許）
Ｐａｕｌ　Ｖｉｏｌａ，　Ｍｉｃｈａｅｌ　Ｊｏｎｅｓ，　"Ｒａｐｉｄ　ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ　ｕｓｉｎｇ　ａ　ｂｏｏｓｔｅｄ　ｃａｓｃａｄｅ　ｏｆ　ｓｉｍｐｌｅ　ｆｅａｔｕｒｅｓ"，Ｐｒｏｃｅｅｄｉｎｇ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　２００１，２００１年 Ｃｏｌｌｉｎｓ，Ｌｉｐｔｏｎ，Ｋａｎａｄｅ，Ｆｕｊｉｙｏｓｈｉ，Ｄｕｇｇｉｎｓ，Ｔｓｉｎ，Ｔｏｌｌｉｖｅｒ，Ｅｎｏｍｏｔｏ，ａｎｄ　Ｈａｓｅｇａｗａ，"Ａ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｖｉｄｅｏ　Ｓｕｒｖｅｉｌｌａｎｃｅ　ａｎｄ　Ｍｏｎｉｔｏｒｉｎｇ：　ＶＳＡＭ　Ｆｉｎａｌ　Ｒｅｐｏｒｔ"，　Ｔｅｃｈｎｉｃａｌ　ｒｅｐｏｒｔ　ＣＭＵ－ＲＩ－ＴＲ－００－１２，Ｒｏｂｏｔｉｃｓ　Ｉｎｓｔｉｔｕｔｅ，Ｃａｒｎｅｇｉｅ　Ｍｅｌｌｏｎ　Ｕｎｉｖｅｒｓｉｔｙ，　Ｍａｙ，２０００年 細井利憲，石寺永記、"動き領域の見えに基づく物体認識"，ＦＩＴ２００６講演論文集，２００６年
　しかし、非特許文献１に記載の方法においては、画像中の物体のありそうな部分画像のすべてに対して、顔であるか否かの判定を行う必要があるため、演算量が多く、処理速度が遅くなってしまう。このため、高速な処理が要求される用途に対して、演算性能が低い、低価格のハードウェアを利用することができない。
　また、障害物による人物の隠蔽面積が大きい場合は、高い判定性能を得られない場合がある。このため、高い判定性能が要求される用途への適用は困難である。
　非特許文献２に記載の方法においては、差分画像を用いることで演算量の軽減が可能とされているものの、障害物による人物の隠蔽面積が大きい場合は、高い判定性能を得られない場合がある。このため、非特許文献１の場合と同様、高い判定性能が要求される用途への適用は困難である。
　非特許文献２に記載の判定方法に非特許文献３に記載の統計的な画像認識手法を組み合わせた手法においては、僅かな処理時間の増加だけで、判定性能を高めることができるものの、障害物による人物の隠蔽面積が大きい場合に、判定処理が困難になる場合がある。したがって、この手法を高い判定性能が要求される用途へ適用することは困難である。
　特許文献１、３に記載の方法はいずれも、物体が映っている部分画像領域から単純に顔を探索する処理を行うだけであり、演算量が多く、処理速度が遅くなってしまう。
　また、障害物による物体の隠蔽面積が大きい場合は、高い判定性能を得られない場合がある。このため、特許文献１、３に記載の方法も、非特許文献１、２の場合と同様、高い判定性能が要求される用途への適用は困難である。
　特許文献２に記載の手法においては、複数のカメラが必要であるため、システムを構成する上で機材のコストが高くなる。
　また、ステレオ視で得られる距離の精度が低いと探索する顔の大きさをうまく絞り込むことができないので、正確な距離を得るためにカメラの設置位置や設置環境に強い制約が生じ、その結果、設置場所が限定されてしまう。
　本発明の目的は、上記問題を解決し、障害物により物体の一部が隠蔽されている場合でも、精度良く、低演算量で、物体が人であるか否かを判定できる、人判定装置、方法およびプログラムを提供することにある。
　上記目的を達成するため、本発明の人判定装置は、
　外部カメラからの映像信号に基づく画像から抽出した障害物の前記画像上の領域を示す情報が格納される障害物記憶部と、
　前記画像から抽出した物体の一部が前記障害物により隠蔽されている場合に、前記物体が基準となる面に接する接地点が前記画像上で取り得る範囲を、前記障害物記憶部に格納された前記障害物の領域と推定し、該推定した範囲と、予め与えられた人の身長と頭部の大きさと位置の相対関係とに基づいて、前記物体における前記接地点から最も離れた部位を人の頭部と仮定した場合の、該頭部が前記画像上で取り得る範囲を計算する頭部範囲計算手段と、
　前記頭部範囲計算手段で計算した前記頭部の範囲において、前記頭部に対応する形状を有する領域があるか否かを判定する頭部検出手段と、を有することを特徴とする。
　本発明の人判定方法は、外部カメラからの映像信号に基づく画像中に出現する物体が人であるか否かを判定する人判定方法であって、前記障害物の前記画像上の領域を示す情報が格納された障害物記憶部を参照し、前記画像から抽出した物体の一部が前記障害物により隠蔽されている場合に、前記物体が基準となる面に接する接地点が前記画像上で取り得る範囲を、前記障害物記憶部に格納された前記障害物の領域と推定し、該推定した範囲と、予め与えられた人の身長と頭部の大きさと位置の相対関係とに基づいて、前記物体における前記接地点から最も離れた部位を人の頭部と仮定した場合の、該頭部が前記画像上で取り得る範囲を計算し、該計算した前記頭部の範囲において、前記頭部に対応する形状を有する領域があるか否かを判定することを特徴とする。
　本発明のプログラムは、外部カメラからの映像信号に基づく画像中に出現する物体が人であるか否かを判定するコンピュータに用いるプログラムであって、
　前記障害物の前記画像上の領域を示す情報が格納された障害物記憶部を参照する処理と、
　前記画像から抽出した物体の一部が前記障害物により隠蔽されている場合に、前記物体が基準となる面に接する接地点が前記画像上で取り得る範囲を、前記障害物記憶部に格納された前記障害物の領域と推定する処理と、
　前記推定した範囲と、予め与えられた人の身長と頭部の大きさと位置の相対関係とに基づいて、前記物体における前記接地点から最も離れた部位を人の頭部と仮定した場合の、該頭部が前記画像上で取り得る範囲を計算する処理と、
　前記計算した前記頭部の範囲において、前記頭部に対応する形状を有する領域があるか否かを判定する処理とを、前記コンピュータに実行させることを特徴とする。
本発明の第１の実施形態である人判定装置の構成を示すブロック図である。 図１に示す人判定装置の全体動作を説明するためのフローチャートである。 画像中の物体の接地点および頭頂点とその接地点が取りうる範囲を説明するための模式図である。 人物が床面に直立している状態における頭頂点から接地点に向けた方向がある１点を向いている状態を示す模式図である。
１００　　データ処理装置
１１０　　隠蔽可能性診断手段
１２０　　接地点範囲計算手段
１３０　　位置・サイズ推定手段
１４０　　統合スコア算出手段
１５０　　人間サイズ適合判定手段
１６０　　頭部検出手段
１７０　　人判定手段
２００　　記憶装置
２１０　　障害物記憶部
２２０　　カメラパラメータ記憶部
２２０　　頭部検出パラメータ記憶部
　次に、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
　図１は、本発明の第１の実施形態である人判定装置の構成を示すブロック図である。図１を参照すると、人判定装置は、外部カメラから供給される映像信号に基づく画像中に、予め設定された障害物以外の物体が含まれる場合に、その物体が人であるか否かを判定するものであって、その主要部は、データ処理装置１００と記憶装置２００からなる。外部カメラは、例えば定点カメラである。
　記憶装置２００は、障害物記憶部２１０、カメラパラメータ記憶部２２０および頭部検出パラメータ記憶部２３０を含む。
　障害物記憶部２１０は、外部カメラから供給される映像信号に基づく画像上の、予め設定された障害物（人物や物体に隠蔽を与える可能性がある障害物）の領域を記憶している。障害物の画像上の形状を画素単位で表した情報を障害物記憶部２１０に保持することが望ましいが、例えば、複数の矩形領域の組み合わせとして、障害物の領域の情報を障害物記憶部２１０に保持してもよい。ここで、複数の矩形領域の組み合わせとは、小ブロックの組み合わせによって１つの障害物の形状を表現することを意味する。
　カメラパラメータ記憶部２２０は、外部カメラからの映像信号に基づく画像上における座標系、つまり画像座標系と、実世界の座標系、つまり地図上の座標系との間における相互変換を行うためのパラメータを記憶する。このパラメータは、事前（装置の運用前）に計算する。具体的には、参考文献１「Ｒ．　Ｙ．　Ｔｓａｉ，　”Ａ　Ｖｅｒｓａｔｉｌｅ　Ｃａｍｅｒａ　Ｃａｌｉｂｒａｔｉｏｎ　Ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　Ｈｉｇｈ－Ａｃｃｕｒａｃｙ　３Ｄ　Ｍａｃｈｉｎｅ　Ｖｉｓｉｏｎ　Ｍｅｔｒｏｌｏｇｙ　Ｕｓｉｎｇ　Ｏｆｆ－ｔｈｅ－Ｓｈｅｌｆ　ＴＶ　Ｃａｍｅｒａｓ　ａｎｄ　Ｌｅｎｓｅｓ”，ＩＥＥＥ　Ｊｏｕｒｎａｌ　ｏｆ　Ｒｏｂｏｔｉｃｓ　ａｎｄ　Ａｕｔｏｍａｔｉｏｎ，　Ｖｏｌ．ＲＡ－３，Ｎｏ．４，ｐｐ．３２３－３４４，１９８７年」に記載されたカメラキャリブレーション手法を利用し、このカメラキャリブレーション手法によって導出された、カメラの内部パラメータおよび外部パラメータをカメラパラメータ記憶部２２０に記憶する。ここで、内部パラメータは、カメラの焦点距離などの情報を含む。外部パラメータは、カメラの位置や姿勢の情報を含む。
　なお、上記のカメラキャリブレーション手法は良く知られている技術であるので、ここでの詳細な説明は省略する。また、本実施形態の人判定装置の構成には、外部カメラそのものは含まれないが、カメラ・レンズ自身とカメラが設置された状況を記述するこのパラメータを事前に計算してカメラパラメータ記憶部２２０に格納することで、画像座標系と地図上の座標系の間の対応する点の相互変換を行うことが可能となる。
　頭部検出パラメータ記憶部２３０は、画像中に「頭部がある」か「頭部がない」かを判定するためのパラメータが格納されている。本実施形態において、「頭部がある」か「頭部がない」かを判定する手法は特に限定されるものではない。例えば、参考文献２「佐藤敦、一般学習ベクトル量子化による文字認識、電子情報通信学会技術報告、ＰＲＭＵ９５－２１９、１９９６年」に記載された、統計的パターン認識手法である「一般化学習ベクトル量子化」によって「頭部」か「頭部でない」かを認識する処理を繰り返し実行して頭部を探索してもよい。この場合は、”参照ベクトル”と呼ばれるパラメータが頭部検出パラメータ記憶部２３０に格納される。
　上記の「一般化学習ベクトル量子化」によれば、「頭部」と「頭部でない」の２つのカテゴリのそれぞれについて、そのカテゴリに属する１つ以上の参照ベクトルを用意する。入力されたデータと参照ベクトルとの距離を計算し、入力データを、最も距離が近い参照ベクトルと同じカテゴリに分類する。直感的には、参照ベクトルは、「頭部」を代表するベクトルと「頭部でない」を代表するベクトルがそれぞれ複数含まれる、ベクトルの集合である。
　データ処理装置１００は、プログラム制御により動作するコンピュータシステムであって、隠蔽可能性診断手段１１０、接地点範囲計算手段１２０、位置・サイズ推定手段１３０、人間サイズ適合判定手段１４０、頭部範囲計算手段１５０、頭部検出手段１６０および人判定手段１７０を有する。
　隠蔽可能性診断手段１１０は、外部カメラからの映像信号を受信し、その映像信号に基づく画像上で、「人」か「人でない」かを判定する対象である物体の領域が、障害物記憶部２１０に保持されている障害物の領域と画像座標上で接触するか否かを判定する。物体の領域が障害物の領域に接触する場合は、隠蔽可能性診断手段１１０は、障害物による物体の隠蔽が生じていると診断する。物体の領域が障害物の領域に接触していない場合は、隠蔽可能性診断手段１１０は、障害物による物体の隠蔽は生じていないと診断する。
　なお、仮に画像上で物体と障害物が接触しているとしても、外部カメラ側から見て物体が障害物の手前にある場合のように、明らかに障害物による物体の隠蔽が生じていない場合には、隠蔽可能性診断手段１１０は、障害物による物体の隠蔽は生じていないと診断する。障害物の領域は既知であり、物体の領域がその障害物の領域を隠蔽するような状態を検出することで、外部カメラ側から見て物体が障害物の手前にある状態を検出することができる。
　また、画像上における物体の抽出手法は、どのような方法を用いても良い。例えば、特許文献２に記載のような、ある時点の画像(背景画像)と現在の画像との差分に基づいて画像上における物体を抽出してもよい。
　接地点範囲計算手段１２０は、物体が地面や床面等の基準となる面（ここでは地面と仮定する）に接触する接地点、つまり物体が人であるなら足元に相当する点が、画像座標上でとり得る範囲を、障害物を考慮した上で計算する。さらに、物体の接地点から最も離れた点（部位）、つまり物体が人であるなら頭頂部に相当する点（以後、頭頂点と記述する）が、画像座標上でとり得る範囲を、障害物を考慮した上で計算する。
　位置・サイズ推定手段１３０は、画像座標系での物体の接地点および頭頂点の２点から、物体が現実世界の座標系でとり得る位置、つまり地図座標上での物体の位置と、物体のサイズを計算する。ただし、接地点範囲計算手段１２０では、物体の接地点および頭頂点の２点がそれぞれとり得る範囲が求められるため、位置・サイズ推定手段１３０で計算される結果は、物体がとり得る位置の範囲と、物体がとり得るサイズの範囲である。
　人間サイズ適合判定部１４０は、実世界の座標系での物体のサイズと統計的に生物としての人がとり得るサイズとを比較し、人としてあり得るサイズか否かを判定する。位置・サイズ推定手段１３０で算出される結果は、物体がとり得るサイズの範囲であるので、物体がとり得るサイズの範囲内と、統計的に人がとり得るサイズの範囲内に重複があれば、物体は人である可能性がある。
　ここで、物体がとり得るサイズの範囲は、前述の参考文献１に記載のTsaiの手法により求めた物体の大きさ（高さ）の最低値から最高値の範囲であって、例えば５０ｃｍ～１３０ｃｍという範囲である。一方、統計的に人がとり得るサイズの範囲は、例えば、日本人（小学生）であれば、身長１１０ｃｍ～１８０ｃｍの範囲とされる。この場合、１１０ｃｍ～１３０ｃｍの範囲が重複するため、物体がその範囲の身長の人間である可能性がある。
　頭部範囲計算手段１５０は、物体領域が画像座標上でとり得る範囲と、生物としての人の人体と頭部との位置・サイズの関係から、仮に物体が「人である」と仮定した場合に頭部が画像座標上で存在しうる得る範囲と、頭部のサイズがとり得る範囲を計算する。
　物体領域が画像座標上でとり得る範囲は、位置・サイズ指定手段１３０にて計算された値であって、物体がとり得る位置・サイズの範囲とそれに隣接する障害物の領域を加えたものである。この物体領域に基づいて、物体の高さの最低値から最大値を求められる。一方、医学的に身長と頭部の大きさの相対関係（身長と頭の大きさの比率、および全身における頭部の位置の関係）は一定の範囲内に収まる。このことから、人間の身長が判明すれば、頭の位置が取り得る範囲を求めることができる。したがって、物体の高さが人間の身長であると仮定し、頭の大きさ、頭の位置が取り得る範囲を絞り込むことができる。
　なお、人体の姿勢によって頭部がとり得る位置・サイズの範囲は変動するので、人体の姿勢については、本発明の用途に応じて制約を付加すればよい。例えば、人の歩行動作か直立姿勢しか観測できない状況の映像を本実施形態の人判定装置の入力とする場合は、歩行中の体全体と頭部との位置・サイズの関係と、直立している状態における体全体と頭部との位置・サイズの関係を制約として利用すればよい。
　頭部検出手段１６０は、画像中の特定の領域（頭部範囲計算手段１５０にて絞り込んだ領域）について、「頭部がある」か「頭部がない」かを判定する。この判定において、例えば、画像の輝度情報に基づいて統計的なパターン認識を行うパターン認識手法を利用して、特定の領域中の頭部の検出を行ってもよい。尚、本発明は「人」であるか「人でない」かを判定するものであるため、頭部の位置が確定しない手法であっても構わない。
　人物判定手段１７０は、頭部検出手段１６０にて特定の領域（頭部範囲計算手段１５０にて絞り込んだ領域）について「頭部がない」と判定された場合に、その領域により示される物体が人か否かを判定する。この判定では、例えば、物体の領域の縦横比を利用して人か否かを判定してもよいし、画像の輝度情報に基づく統計的パターン認識手法で、直接人か否かを判定してもよい。
　次に、本実施形態の人判定装置の全体の動作について詳細に説明する。
　以下の説明では、外部カメラからの映像信号に基づく画像について、事前処理として、あらかじめ、「人」か「人でない」かを判定する対象である物体の領域が絞り込まれているものと仮定する。具体的には、物体の領域を画像座標上の領域として示す情報が隠蔽可能性診断手段１１０に入力されてもよいし、物体の領域を画像から切り出した情報が隠蔽可能性診断手段１１０に入力されてもよい。ただし、実際は、絞り込まれた領域内に物体が存在しない場合がある。この場合は、人間サイズ適合判定手段１４０にて「人でない」と判定される。このようなことから、物体の領域を示す情報として、物体がありそうな領域を示す情報が隠蔽可能性診断手段１１０に入力されてもよい。
　図２は、図１に示した人判定装置の全体動作を説明するためのフローチャートである。
　まず、隠蔽可能性診断手段１１０が、物体の領域と障害物領域が画像上で接触しているか否かを判定する（ステップＳ１１０）。これにより、物体が障害物により隠蔽されている可能性があるか否かがわかる。
　次に、接地点計算手段１２０が、画像座標系における、物体が地面と接地する点（接地点）がとり得る範囲と物体における地面から最も離れた点（頭頂点）がとり得る範囲を求める（Ｓ１２０）。この際、接地点計算手段１２０は、障害物による隠蔽を考慮し、それら２つの点がとり得る可能性がある範囲を計算する。なお、ステップＳ１１０にて、物体と障害物の接触がないと判定された場合（物体が障害物に隠蔽されている可能性がない場合）は、物体の接地点および頭頂点が単に求められることになる。
　次に、位置・サイズ推定手段１３０が、ステップＳ１２０で求めた、画像座標系上での物体の接地点および頭頂点の各範囲から、物体が地図座標上でとり得る位置の範囲と物体のとり得るサイズの範囲をそれぞれ推定する（ステップＳ１３０）。この画像座標系から実世界座標系への変換は、カメラパラメータ記憶部２２０に保持されている値に基づいて行われる。
　次に、人間サイズ適合判定手段１４０が、ステップＳ１３０で求めた、地図座標上における物体のサイズの範囲が人物として適切なサイズの範囲に含まれるか否かを判定する（ステップＳ１４０）。ステップＳ１３０で求めた物体がとり得るサイズの範囲の少なくとも一部が、統計的に人がとり得るサイズの範囲内に収まっていれば、物体は「人」である可能性があるため、ステップＳ１４０にて適合していると判定される。一方、ステップＳ１３０で求めた物体がとり得るサイズの範囲が、統計的に人がとり得るサイズの範囲と重複しない場合は、「人」である可能性がないため、ステップＳ１４０にて適合していないと判定される。適合と判定された場合は、次のステップＳ１５０へ進む。不適合である場合は、処理を終了する。
　人間サイズ適合判定手段１４０にて適合と判定された場合は、頭部範囲計算手段１５０が、物体が人物であると仮定し、画像座標上で人物の頭部が存在し得る位置とサイズの各範囲を算出する（ステップＳ１５０）。
　次に、頭部検出部１６０が、頭部検出パラメータ記憶部２３０に格納されたパラメータを参照して、ステップＳ１５０で算出した頭部があり得る位置・サイズの範囲内に「頭部がある」か「頭部がない」かを判定する（ステップＳ１６０）。例えば、前述の統計的なパターン認識手法を用いることで、「頭部がある」か「頭部がない」かを判定することができる。
　ステップＳ１６０で「頭部がある」と判定された場合は、頭部検出部１６０は、かかる物体は「人」であるとの判定結果を出力し、その後、処理は終了する。一方、ステップＳ１６０で「頭部がない」と判定された場合（もしくはうまく頭部を検出できない場合）は、人物判定手段１７０が、人物判定処理を行う（ステップＳ１７０）。この人判定処理には、人か否かを判定する任意の処理を割り当てることができる。例えば、物体の領域の縦横比を利用して人か否かを判定してもよいし、画像の輝度情報に基づく統計的パターン認識手法で、直接人か否かを判定してもよい。
　以上説明した本実施形態の人判定装置によれば、障害物により隠蔽された物体の領域を考慮して、画像座標系におけるその物体の位置・サイズの範囲を計算し、その計算した範囲を地図座標上の範囲に変換し、その変換した範囲に基づいて物体が人間であるか否かを判定する。物体が人間である可能性がある場合にのみ、「頭部がある」か「頭部がない」かの判定処理が実行されるので、演算処理量を軽減することができる。
　また、障害物により隠蔽された物体の領域を考慮して、画像座標系におけるその物体の位置・サイズの範囲を絞り込み、その絞り込んだ範囲において、「頭部がある」か「頭部がない」かの判定処理を行う。これにより、演算量が軽減され、高性能に「頭部がある」か「頭部がない」かを判定できる。このように、頭部以外の隠蔽があっても、「人」か「人でない」かの判定処理を低演算量かつ高性能に実現できる。
　ここでは、図１に示した人判定装置の動作を、具体的な条件とともに詳細に説明する。
　本実施例では、画像座標系の上方向が実世界の座標系での高さ方向である場合、つまり人物が床面に直立している状態において、頭部が画像において上方向、足元が下方向に見える場合について説明する。
　また、物体を遮蔽する可能性がある障害物が、床に置かれた机や箱形状または板形状の物のみであると仮定する。この条件によれば、人の接地点と頭頂部の両点に対して障害物による遮蔽が生じる場合と、接地点に対してのみ障害物による遮蔽が生じる場合とがある。接地点と頭頂部の両方が隠蔽される場合は、そもそも、画像上の物体の領域を検出できない。したがって、事実上、遮蔽を考慮すべきなのは接地点のみとみなせる。
　以下では、画像の中から検出した１つの物体について、人であるか否かを判定する場合の動作を詳細に説明する。
　隠蔽可能性診断手段１１０に入力されるデータは、外部カメラからの画像データと、物体の領域を示す矩形の座標値とを含む。障害物記憶部２１０には、画像上の障害物の領域を複数の小さな矩形の集合体として表した情報が、あらかじめ記憶されている。この障害物記憶部２１０への障害物の情報の格納は、外部カメラから得られた画像データについて、人手による作業を介して行われる。仮に、画像を撮影するカメラが固定されている場合、別の時刻に撮影された画像に対しても、格納した障害物情報をそのまま利用可能である。障害物の領域を複数の小さな矩形の集合体として表す場合の入力作業量は、画素単位で障害物領域の情報を入力する場合のそれよりも少ない。
　また、カメラ画像座標系と実世界の座標系との相互変換のためのパラメータが、予めカメラパラメータ記憶部２２０に格納されている。このパラメータは、前述の参考文献１に記載されたカメラキャリブレーション手法を用いて事前に算出する。
　以下に、カメラキャリブレーション手法の具体的な適用例を簡潔に説明する。
　カメラのレンズが持つ定数値（焦点距離など）は既知である。実世界の座標の基準となる平面、例えば地面上の３点以上の複数の点について、手作業によって、カメラで実際に撮影した画像上の座標値および対応する実世界の地面（地図座標）上の座標値を求める。次に、これらの値を前述の参考文献１に記載された式に適用することで、カメラパラメータを計算する。
　頭部検出手段１４０での「頭部がある」か「頭部がない」かを判定する手法として、前述の参考文献２に記載されている「一般化学習ベクトル量子化」による「頭部」か「頭部でない」かの判定処理を、処理対象領域から切り出せるあらゆる部分領域に対して実行するものとする。これにあわせて、画像の部分領域を「頭部」か「頭部でない」か判定するためのパラメータとして、「一般化学習ベクトル量子化」によって学習された参照ベクトルを計算しておき、これを事前に頭部検出パラメータ記憶部２３０に格納しておく。
　以下、図１及び図２を参照して、人判定の動作を詳細に説明する。
　まず、図２のステップＳ１１０に相当する動作を実行する。このステップＳ１１０では、物体に隠蔽が発生している可能性があるか否かを判定するために、障害物領域と物体領域である矩形領域が接触しているか否かを判定する。
　なお、本実施例では、先述のとおり、画像座標系の上方向が実世界の座標系での高さ方向であって、かつ物体の接地点と頭頂部の２点に対する障害物による遮蔽が、接地点のみの場合という条件が与えられている。しかも、次段のステップＳ１２０では、画像上では物体の下端に相当する物体の接地点と、画像上では物体の上端に相当する頭頂点の２点以外は必要でない。このため、ステップＳ１１０の処理を簡略化することができる。
　具体的には、ステップＳ１１０では、障害物領域（矩形）の上辺と物体領域（矩形）の下辺との接触のみを判定すればよい。障害物領域を示す小さな複数の矩形のそれぞれの上端と、物体領域（矩形）の下端の座標値を比較して、物体の下端の座標値の方が画像上で接触していれば、障害物により物体の一部が隠蔽されている可能性がある。
　次に、図２のステップＳ１２０に相当する動作を実行する。
　ステップＳ１１０で障害物による隠蔽がないと判定された場合は、物体の下端の点を接地点と決定し、物体の上端の点を頭頂点と決定する。図３に示す例では、２つの物体のうち、図面に向かって右側の物体については、ステップＳ１１０で障害物による隠蔽がないと判定される。したがって、この右側の物体については、その下端の点Ｐ１が接地点とされ、その上端の点Ｐ２が頭頂点とされる。
　一方、ステップＳ１１０で障害物による隠蔽があると判定された場合は、障害物領域の上端から下端までの間に物体の接地点がある可能性がある。したがって、障害物領域の上端から下端までの範囲（図３のＨ）が物体の接地点がとり得る範囲であるとされる。物体の上端の点が地面から最も離れた点（頭頂点）とされる。この地面から最も離れた点は、ステップＳ１１０で隠蔽がないと判定された場合に決定された頭頂点と同じである。
　次に、図２のステップ１３０に相当する動作を実行する。
　ステップＳ１２０で接地点と頭頂点がそれぞれ１点に決定している場合は、画像座標上の接地点を実世界の座標上での点に変換することで、実世界の物体の位置、つまり地図座標上での物体の位置が求まる。さらに、物体の頭頂点についても、画像座標から地図座標への変換を行い、その変換した物体の頭頂点と地図座標上の物体の位置とに基づいて、物体のサイズを求める。
　上記の座標変換による計算手法として、前述の参考文献１に記載の計算手法を用いることができる。より具体的には、そのような計算手法として、参考文献３（小川雄三，藤吉弘亘，”実空間に対応したＭａｓｔｅｒ－Ｓｌａｖｉｎｇによる追尾カメラシステム”，第9回画像センシングシンポジウム，２００３年）に記載された実世界座標の高さの取得のための計算手法（式（８）および式（９）を参照）を用いることができる。
　一方、ステップＳ１２０で接地点が１点ではなく、とり得る範囲として求まった場合には、その接地点に対応する物体の地図座標上の位置も範囲として求める必要がある。この範囲の計算には、次のような近似計算を用いる。
　まず、物体の接地点がとり得る範囲において最も上部にあたる点、つまり障害物と接触している点を、地図座標に変換した点（点Ａとする）と、物体の接地点がとり得る範囲において最も下部にあたる点、つまり障害物の下端の点を、地図座標に座標変換した点（点Ｂとする）をそれぞれ計算する。そして、点Ａと点Ｂの間の範囲を地図座標上で物体がとり得る範囲とみなせばよい。また、実世界の物体のサイズも範囲として求める必要があるが、この計算は、物体の接地点が点Ａの場合に求まるサイズと、物体の接地点が点Ｂの場合に求まるサイズとの間を、物体のサイズの範囲とすればよい。
　次に、図２のステップＳ１４０に相当する動作を実行する。
　ステップＳ１３０で求まった物体の実際のサイズの範囲について、人間がとり得るサイズの範囲と重複しているか否かを調べる。具体的には、統計的に人間の体がとり得る身長の上限と下限の値を、人間がとり得る範囲とすればよい。本発明を実際に適用する状況において、画像中に出現する人を日本国籍の大人に限定できる場合には、その統計値を利用すればよい。もちろん、身長の上限値と下限値をそのまま利用するのではなく、統計的な身長の分布から、実用上無視してよい上限値と下限値を使えばよい。
　ステップＳ１４０の動作で、人間である可能性がないと判断された場合は、「人でない」と判定し、処理を終える。
　次に、図２のステップＳ１５０に相当する動作を実行して、画像座標上で頭部が存在しうる範囲と、頭部のサイズの範囲を予測する。ステップＳ１４０において求まった物体の高さを人の身長と仮定した場合に、人物の頭部が存在する箇所と、頭部サイズの範囲を求める。具体的には、画像中の人の姿勢が歩行か直立に限られる場合は、人の身長に対する頭部の大きさの分布に応じて、頭部のサイズの範囲を予測できる。また、頭頂点から頭部の大きさ分だけの範囲に頭部があると予測できる。
　次に、図２のステップＳ１６０に相当する動作を実行する。
　ステップＳ１５０で予測された頭部があり得る範囲と、頭部がとり得るサイズの範囲に限定して、「頭部がある」か「頭部がない」かを判定する。この判定手法としては、統計的なパターン認識方式の１つである「一般化学習ベクトル量子化」による「頭部」か「頭部でない」かの判定処理を、処理対象領域から切り出せるあらゆる部分領域に対して実行する。「頭部がある」か「頭部がない」かを判定する範囲を絞り込めているほど、処理時間の増大を防ぐことができる。
　ステップＳ１６０の動作で、「頭部がある」と判定された場合は、「人である」と判定し、処理を終える。
　次に、図２のステップＳ１７０に相当する動作を実行する。
　ステップＳ１７０には、人か否かを判定する任意の処理を割り当てることができるが、本実施例では、対象物体の領域の縦横比で判定する。人が歩行者か直立姿勢であれば、画像上の物体領域は縦長であるため、「人」と判定して処理を終える。そうでなければ、「人でない」と判定して処理を終える。
　もちろん、ステップＳ１６０までの処理で人であるという判定性効率が実用上十分なものであれば、ステップＳ１７０を省略しても構わない。
　次に、本実施例の効果について説明する。
　本実施例では、障害物による隠蔽の可能性を考慮しつつ、「頭部がある」か「頭部がない」かの判定処理の範囲を絞り込む処理をしているため、無駄な計算をすることなく高精度に「頭部がある」か「頭部がない」かを判断できる。これにより、「人」か「人でない」かの判定処理を、頭部以外の隠蔽がある場合でも、低演算量で、かつ、高精度に実現できる。
　ところで、本実施例では、実世界の座標系での高さ方向を画像座標系の上方向としているが、高さ方向を、上方向ではなく、別の方向としてもよい。この場合、上方向と別の方向のなす角度に対応する回転角で入力画像を回転してもよい。また、障害物による隠蔽の判定時に、入力される画像座標系の上方向を回転して適用すれば、上述した処理と同じ効果を得ることができる。つまり、入力される画像をあらかじめ回転しておくか、もしくは物体の頭頂方向から接地点方向を軸とした画像座標系とみなし、物体と障害物との隠蔽関係を適用すればよい。
　なお、位置・サイズ推定手段１３０の計算式は、この回転について考慮されているので、そのまま利用できる。
　実世界の座標系での高さ方向、もしくはその反対方向が、画像座標系の一定方向ではなく、画像中のある１点に向かっている場合がある。より具体的には、図４に示すように、人物が床面に直立している状態において、頭頂点から接地点に向けた方向がある１点を向いている場合がある。このような状態は、例えば、カメラをほぼ地面方向に向けた場合にみられる。この場合、物体の頭頂方向と接地点方向が画像上の位置に応じて異なる。この場合は、物体の下端方向と障害物の下端方向がそれぞれ画像上の１点に向かっているとみなして、物体と障害物との隠蔽関係を適用すればよい。
　また、レンズによる画像の歪みが大きい場合には、単に１点を向いているとはいえないが、画像全体の中の物体の位置に対応した上端と下端の方向を別途メモリに記憶しておき、この方向を参照して処理を切り替えればよい。
　図２に示した一連の処理は、外部カメラから供給される映像信号のフレーム毎に実施してもよい。また、画像上で物体が抽出されたフレームに対してのみ、図２に示した一連の処理を実行してもよい。
　本発明によれば、カメラで撮影された動画像や静止画像に映った物体が「人」であるか「人でない」かを、ある程度の隠れがあっても、低演算量で、安価な機材を用いて判定できる。このため、机や棚など障害物が数多くある室内における人物監視といった用途に適用できる。
　以上、実施形態を参照して本発明を説明したが、本発明は上述した実施形態や実施例に限定されるものではない。本発明の構成および動作については、本発明の趣旨を逸脱しない範囲において、当業者が理解し得る様々な変更を行うことができる。
　例えば、図１に示した構成において、各手段の一部を統合して構成を簡単化してもよい。例えば、人判定装置は、外部カメラからの映像信号に基づく画像から抽出した障害物の上記画像上の領域を示す情報が格納される障害物記憶部と、上記画像から抽出した物体の一部が上記障害物により隠蔽されている場合に、上記物体が基準となる面に接する接地点が上記画像上で取り得る範囲を、上記障害物記憶部に格納された上記障害物の領域と推定し、該推定した範囲と、予め与えられた人の身長と頭部の大きさと位置の相対関係とに基づいて、上記物体における上記接地点から最も離れた部位を人の頭部と仮定した場合の、該頭部が上記画像上で取り得る範囲を計算する頭部範囲計算手段と、上記頭部範囲計算手段で計算した上記頭部の範囲において、上記頭部に対応する形状を有する領域があるか否かを判定する頭部検出手段と、を有するものであってもよい。
　上記の構成によれば、物体を隠蔽した障害物の範囲を考慮して物体の範囲を推定し、その推定範囲内で頭部が取り得る範囲を絞り込むようになっている。したがって、範囲を絞り込んだ分だけ、頭部の判定処理における演算量を削減することができ、処理速度も速くすることができる。
　また、複数のカメラを用いる必要がないので、コスト増大やカメラの設置条件による制約の問題を回避することができる。
　上記の人判定装置において、上記画像の座標上の点と実世界の座標上の点を互いに座標変換できるパラメータを保持するカメラパラメータ記憶部と、上記カメラパラメータ記憶部に保持したパラメータを参照して、上記接地点の推定範囲と上記基準となる面からの上記部位の高さとから決まる、上記画像の座標上で上記物体が取り得る位置およびサイズの範囲を、上記実世界の座標上の位置およびサイズの範囲に返還する位置・サイズ推定手段と、上記実世界の座標における人体の大きさと頭の大きさの統計的な分布に基づいて、上記位置・サイズ推定手段で変換した上記実世界の座標上における上記物体の位置およびサイズの範囲が人としてあり得る範囲であるか否かを判定する人間サイズ適合判定手段とをさらに有し、上記頭部範囲計算手段は、上記人間サイズ適合判定手段にて上記物体の位置およびサイズの範囲が人としてあり得る範囲であると判定された場合に、上記物体の範囲のうちの頭部が存在し得る範囲を予測してもよい。
　また、上記の人判定装置において、上記画像上における上記障害物の領域が矩形形状の領域として定義されており、上記画像の座標上で、上記基準とされる面に垂直な方向において、上記物体の領域が上記障害物の領域の上端と接触するか否かを判定し、それら領域が接触する場合に、上記障害物により上記物体の一部が隠蔽されていると判定する隠蔽可能性診断手段をさらに有していてもよい。
　さらに、上記の人判定装置において、上記隠蔽可能性診断手段にて上記障害物により上記物体の一部が隠蔽されていると判定された場合に、上記画像の座標上で、上記基準とされる面に垂直な方向において、上記障害物の領域の下端から上端までの範囲を上記接地点の範囲として推定する接地点範囲計算手段をさらに有し、上記頭部範囲計算手段は、接地点範囲計算手段で推定した範囲に基づいて、上記頭部の範囲を計算してもよい。
　さらに、上記の人判定装置において、上記頭部検出手段で頭部に対応する形状が検出されなかった場合に、上記画像の座標上で、上記物体の領域の形状が予め与えられた人の形状を示す条件を満たすか否かを判定し、条件を満たす場合に、上記物体が人であると判定する人判定手段を、さらに有していてもよい。
　また、図１に示した構成において、データ処理装置１００としてパーソナルコンピュータを用い、記憶装置２００として半導体メモリを用いることができる。この場合、障害物記憶部２１０、カメラパラメータ記憶部２２０および頭部検出パラメータ記憶部２３０は、半導体メモリ上の一部とみなせる。また、隠蔽可能性診断手段１１０、接地点範囲計算手段１２０、位置・サイズ推定手段１３０、人間サイズ適合判定部１４０、頭部範囲計算手段１５０、頭部検出手段１６０および人物判定手段１７０は、パーソナルコンピュータのＣＰＵが人判定用プログラムを実行することで提供することができる。人判定用プログラムは、図２に示した一連の処理をＣＰＵに実行させるものである。
　また、上述した実施形態では、画像座標における物体の位置およびサイズの推定範囲を地図座標上の範囲に変換し、その変換した範囲が人としてあり得る範囲であるか否かを、実世界の座標における人体の大きさと頭の大きさの統計的な分布に基づいて判定している。これに代えて、地図座標における人体の大きさと頭の大きさの統計的な分布に基づく範囲を画像座標上の範囲に変換して、その変換した範囲に基づいて、画像座標における物体の大きさの推定範囲が人としてあり得る範囲であるか否かを判定してもよい。
　本発明は、監視カメラ全般に適用することができる。
　この出願は、２００８年１２月２２日に出願された日本出願特願２００８－３２５４４７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (7)

  1. 　外部カメラからの映像信号に基づく画像から抽出した障害物の前記画像上の領域を示す情報が格納される障害物記憶部と、
    　前記画像から抽出した物体の一部が前記障害物により隠蔽されている場合に、前記物体が基準となる面に接する接地点が前記画像上で取り得る範囲を、前記障害物記憶部に格納された前記障害物の領域と推定し、該推定した範囲と、予め与えられた人の身長と頭部の大きさと位置の相対関係とに基づいて、前記物体における前記接地点から最も離れた部位を人の頭部と仮定した場合の、該頭部が前記画像上で取り得る範囲を計算する頭部範囲計算手段と、
    　前記頭部範囲計算手段で計算した前記頭部の範囲において、前記頭部に対応する形状を有する領域があるか否かを判定する頭部検出手段と、を有する人判定装置。
  2. 　前記画像の座標上の点と実世界の座標上の点を互いに座標変換できるパラメータを保持するカメラパラメータ記憶部と、
    　前記カメラパラメータ記憶部に保持したパラメータを参照して、前記接地点の推定範囲と前記基準となる面からの前記部位の高さとから決まる、前記画像の座標上で前記物体が取り得る位置およびサイズの範囲を、前記実世界の座標上の位置およびサイズの範囲に返還する位置・サイズ推定手段と、
    　前記実世界の座標における人体の大きさと頭の大きさの統計的な分布に基づいて、前記位置・サイズ推定手段で変換した前記実世界の座標上における前記物体の位置およびサイズの範囲が人としてあり得る範囲であるか否かを判定する人間サイズ適合判定手段とをさらに有し、
    　前記頭部範囲計算手段は、前記人間サイズ適合判定手段にて前記物体の位置およびサイズの範囲が人としてあり得る範囲であると判定された場合に、前記物体の範囲のうちの頭部が存在し得る範囲を計算する、請求の範囲第１項に記載の人判定装置。
  3. 　前記画像上における前記障害物の領域が矩形形状の領域として定義されており、
    　前記画像の座標上で、前記基準とされる面に垂直な方向において、前記物体の領域が前記障害物の領域の上端と接触するか否かを判定し、それら領域が接触する場合に、前記障害物により前記物体の一部が隠蔽されていると判定する隠蔽可能性診断手段をさらに有する、請求の範囲第１項または第２項に記載の人判定装置。
  4. 　前記隠蔽可能性診断手段にて前記障害物により前記物体の一部が隠蔽されていると判定された場合に、前記画像の座標上で、前記基準とされる面に垂直な方向において、前記障害物の領域の下端から上端までの範囲を前記接地点の範囲として推定する接地点範囲計算手段をさらに有し、
    　前記頭部範囲計算手段は、接地点範囲計算手段で推定した範囲に基づいて、前記頭部の範囲を計算する、請求の範囲第３項に記載の人判定装置。
  5. 　前記頭部検出手段で頭部に対応する形状が検出されなかった場合に、前記画像の座標上で、前記物体の領域の形状が予め与えられた人の形状を示す条件を満たすか否かを判定し、条件を満たす場合に、前記物体が人であると判定する人判定手段を、さらに有する、請求の範囲第１項から第４項のいずれか１項に記載の人判定装置。
  6. 　外部カメラからの映像信号に基づく画像中に出現する物体が人であるか否かを判定する人判定方法であって、
    　前記障害物の前記画像上の領域を示す情報が格納された障害物記憶部を参照し、
    　前記画像から抽出した物体の一部が前記障害物により隠蔽されている場合に、前記物体が基準となる面に接する接地点が前記画像上で取り得る範囲を、前記障害物記憶部に格納された前記障害物の領域と推定し、
    　該推定した範囲と、予め与えられた人の身長と頭部の大きさと位置の相対関係とに基づいて、前記物体における前記接地点から最も離れた部位を人の頭部と仮定した場合の、該頭部が前記画像上で取り得る範囲を計算し、
    　該計算した前記頭部の範囲において、前記頭部に対応する形状を有する領域があるか否かを判定する、人判定方法。
  7. 　外部カメラからの映像信号に基づく画像中に出現する物体が人であるか否かを判定するコンピュータに用いるプログラムであって、
    　前記障害物の前記画像上の領域を示す情報が格納された障害物記憶部を参照する処理と、
    　前記画像から抽出した物体の一部が前記障害物により隠蔽されている場合に、前記物体が基準となる面に接する接地点が前記画像上で取り得る範囲を、前記障害物記憶部に格納された前記障害物の領域と推定する処理と、
    　前記推定した範囲と、予め与えられた人の身長と頭部の大きさと位置の相対関係とに基づいて、前記物体における前記接地点から最も離れた部位を人の頭部と仮定した場合の、該頭部が前記画像上で取り得る範囲を計算する処理と、
    　前記計算した前記頭部の範囲において、前記頭部に対応する形状を有する領域があるか否かを判定する処理とを、前記コンピュータに実行させるプログラム。
PCT/JP2009/070822 2008-12-22 2009-12-14 人判定装置、方法およびプログラム WO2010073929A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09834732.1A EP2381415A4 (en) 2008-12-22 2009-12-14 Person-judging device, method, and program
JP2010544009A JP5251987B2 (ja) 2008-12-22 2009-12-14 人判定装置、方法およびプログラム
CN200980151634.4A CN102257529B (zh) 2008-12-22 2009-12-14 判断人的设备、方法
US13/141,446 US8571274B2 (en) 2008-12-22 2009-12-14 Person-judging device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-325447 2008-12-22
JP2008325447 2008-12-22

Publications (1)

Publication Number Publication Date
WO2010073929A1 true WO2010073929A1 (ja) 2010-07-01

Family

ID=42287545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070822 WO2010073929A1 (ja) 2008-12-22 2009-12-14 人判定装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US8571274B2 (ja)
EP (1) EP2381415A4 (ja)
JP (1) JP5251987B2 (ja)
CN (1) CN102257529B (ja)
WO (1) WO2010073929A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159957A (ja) * 2011-01-31 2012-08-23 Secom Co Ltd 移動物体追跡装置
JP2014066634A (ja) * 2012-09-26 2014-04-17 Oki Electric Ind Co Ltd 情報処理装置、プログラム及び情報処理方法
WO2018020715A1 (ja) * 2016-07-27 2018-02-01 株式会社Ｊｖｃケンウッド 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9639747B2 (en) 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
CN103488980A (zh) * 2013-10-10 2014-01-01 广东小天才科技有限公司 一种基于摄像头的坐姿判断方法和装置
CN105096406A (zh) 2014-04-30 2015-11-25 开利公司 用于建筑能耗设备的视频分析系统和智能楼宇管理系统
JP6428144B2 (ja) * 2014-10-17 2018-11-28 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
CN105006089B (zh) * 2015-07-01 2017-11-10 国家电网公司 一种基于图像的安全监控报警方法及系统
JP6525934B2 (ja) * 2016-10-14 2019-06-05 キヤノン株式会社 画像処理装置および制御方法
EP3564900B1 (en) * 2018-05-03 2020-04-01 Axis AB Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image
CN111815674B (zh) * 2020-06-23 2023-02-28 浙江大华技术股份有限公司 一种目标跟踪方法、装置以及计算机可读存储装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132340A (ja) * 2001-10-19 2003-05-09 Toshiba It & Control Systems Corp 人間形状判定方法
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542621B1 (en) * 1998-08-31 2003-04-01 Texas Instruments Incorporated Method of dealing with occlusion when tracking multiple objects and people in video sequences
US7079669B2 (en) 2000-12-27 2006-07-18 Mitsubishi Denki Kabushiki Kaisha Image processing device and elevator mounting it thereon
JP4419543B2 (ja) 2003-12-05 2010-02-24 コニカミノルタホールディングス株式会社 検出装置および検出方法
US8228382B2 (en) * 2005-11-05 2012-07-24 Ram Pattikonda System and method for counting people
JP4516516B2 (ja) 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
JP3962803B2 (ja) 2005-12-16 2007-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 頭部検出装置、頭部検出方法および頭部検出プログラム
JP2007187618A (ja) 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP2007310805A (ja) 2006-05-22 2007-11-29 Matsushita Electric Ind Co Ltd 物体認識装置
JP4984728B2 (ja) * 2006-08-07 2012-07-25 パナソニック株式会社 被写体照合装置および被写体照合方法
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
JP4664878B2 (ja) * 2006-08-11 2011-04-06 株式会社日立国際電気 画像処理装置
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
JP4694589B2 (ja) * 2008-03-17 2011-06-08 株式会社日立国際電気 自動監視システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132340A (ja) * 2001-10-19 2003-05-09 Toshiba It & Control Systems Corp 人間形状判定方法
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2381415A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159957A (ja) * 2011-01-31 2012-08-23 Secom Co Ltd 移動物体追跡装置
JP2014066634A (ja) * 2012-09-26 2014-04-17 Oki Electric Ind Co Ltd 情報処理装置、プログラム及び情報処理方法
WO2018020715A1 (ja) * 2016-07-27 2018-02-01 株式会社Ｊｖｃケンウッド 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム

Also Published As

Publication number Publication date
JPWO2010073929A1 (ja) 2012-06-14
US8571274B2 (en) 2013-10-29
EP2381415A1 (en) 2011-10-26
US20110268321A1 (en) 2011-11-03
CN102257529B (zh) 2014-03-19
JP5251987B2 (ja) 2013-07-31
EP2381415A4 (en) 2018-01-24
CN102257529A (zh) 2011-11-23

Similar Documents

Publication Publication Date Title
JP5251987B2 (ja) 人判定装置、方法およびプログラム
US10638117B2 (en) Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
US9183444B2 (en) Information processing apparatus, information processing method, and computer program
US7308112B2 (en) Sign based human-machine interaction
US9098740B2 (en) Apparatus, method, and medium detecting object pose
US9542003B2 (en) Image processing device, image processing method, and a computer-readable non-transitory medium
KR102285915B1 (ko) 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
US20110091073A1 (en) Moving object detection apparatus and moving object detection method
WO2011080900A1 (ja) 移動体検出装置および移動体検出方法
US10554957B2 (en) Learning-based matching for active stereo systems
US20200005490A1 (en) Normalized metadata generation device, object occlusion detection device and method
JP2019205060A (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
JP2012083855A (ja) 物体認識装置及び物体認識方法
US20130148849A1 (en) Image processing device and method
JP5699697B2 (ja) ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP2017059945A (ja) 画像解析装置及び画像解析方法
KR20190060679A (ko) 이동 객체의 자세 학습 방법 및 장치
CN113129249A (zh) 基于深度视频的空间平面检测方法及其系统和电子设备
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
KR20180051235A (ko) 사용자의 지시 위치 추정 장치 및 방법
CN112711324B (zh) 基于tof相机的手势交互方法及其系统
US20240119620A1 (en) Posture estimation apparatus, posture estimation method, and computer-readable recording medium
WO2022249278A1 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2021255846A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2021229750A1 (ja) 画像選択装置、画像選択方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980151634.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09834732

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010544009

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2009834732

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13141446

Country of ref document: US