WO2006011593A1 - 個体検出器及び共入り検出装置 - Google Patents

個体検出器及び共入り検出装置 Download PDF

Info

Publication number
WO2006011593A1
WO2006011593A1 PCT/JP2005/013928 JP2005013928W WO2006011593A1 WO 2006011593 A1 WO2006011593 A1 WO 2006011593A1 JP 2005013928 W JP2005013928 W JP 2005013928W WO 2006011593 A1 WO2006011593 A1 WO 2006011593A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
distance image
detection stage
area
Prior art date
Application number
PCT/JP2005/013928
Other languages
English (en)
French (fr)
Inventor
Hiroshi Matsuda
Hiroyuki Fujii
Naoya Ruike
Original Assignee
Matsushita Electric Works, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works, Ltd. filed Critical Matsushita Electric Works, Ltd.
Priority to US11/658,869 priority Critical patent/US8330814B2/en
Priority to EP05767175A priority patent/EP1772752A4/en
Priority to CN2005800139668A priority patent/CN1950722B/zh
Publication of WO2006011593A1 publication Critical patent/WO2006011593A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers

Definitions

  • the present invention relates to an individual detector for individually detecting one or more physical objects in a detection area, and a co-incident detection device equipped with the individual detector.
  • the state-of-the-art entry / exit management system uses biometric information to enable accurate identification. There is a simple way to get through even such high-tech security. In other words, when an individual (for example, an employee or a resident) authorized by authentication enters through an unlocked door, the intrusion is caused by the so-called “joint entry” that opens the door. Allowed while.
  • the prior art system described in Japanese Patent Application Laid-Open No. 2004-124497 detects co-entrance by counting the number of three-dimensional silhouettes of a person.
  • the silhouette is virtually realized on a computer by a visual volume intersection method based on the principle that a physical object exists inside a visual hull that corresponds to two or more viewpoints. . That is, the method uses two or more cameras and virtually projects a two-dimensional silhouette obtained from the output of each camera into real space to correspond to the shape of the entire circumference of the physical object. Compose a silhouette.
  • the above system requires the use of two or more cameras for the view volume intersection method.
  • the system requires a human volumetric intersection method in which a human face is taken by one of the two cameras, so that the detection area (one or more physical objects) must be within the field of view of each camera.
  • a 3D silhouette cannot be constructed while the face or its front is in the field of view. This makes it difficult to track the trajectory of the movement of one or more physical objects in the detection area.
  • This problem leads to an increase in the footprint and cost of the force system that can be solved by adding a camera.
  • the number of cameras increases as the number of doors increases.
  • the visual volume intersection method is not a technique for separating overlapping physical objects, and therefore has another problem when a three-dimensional silhouette is formed by overlapping physical objects.
  • the prior art system can detect a state in which two or more physical objects are overlapped according to a reference size corresponding to one physical object, but two or more states in which a person and a bag are overlapping each other. It is indistinguishable from the state of overlapping people. The former need not issue an alarm, while the latter need to issue an alarm.
  • the prior art system removes noise by taking the difference between a pre-recorded background image and the current image, but it does not remove static noise from walls or plants (hereinafter referred to as “static noise”). Even if it can be removed, dynamic physical objects such as luggage and carts (hereinafter “dynamic noise”) cannot be removed.
  • a first object of the present invention is to individually detect one or more physical objects in a detection area without increasing the number of components for detecting the one or more physical objects. There is to do.
  • a second object of the present invention is to distinguish a state in which a person and dynamic noise overlap each other from a state in which two or more persons overlap.
  • the individual detector of the present invention includes a distance image sensor and an object detection stage.
  • the distance image sensor is arranged facing the detection area and generates a distance image.
  • Each image element of the distance image includes each distance value to one or more physical objects when one or more physical objects are in the area.
  • the object detection stage individually detects one or more physical objects in the area based on the distance image generated by the sensor.
  • the distance image sensor is arranged facing downward with respect to the lower detection area.
  • the target detection stage is one or more physical objects to be detected in the area, obtained from the distance image, one or more of the physical objects to be detected. Detecting individual objects based on specific physical objects or data at each altitude
  • the object detection stage includes a sensor force based on a difference between a background distance image that is a distance image obtained in advance and a current distance image obtained from the sensor. Generate a distance image and based on the foreground distance image, individually detect one or more persons as one or more physical objects to be detected in the area. According to the present invention, since the foreground distance image does not include static noise, static noise can be removed.
  • the object detection stage generates a foreground distance image by extracting specific image elements from each image element of the current distance image.
  • the particular image element is extracted when the distance difference obtained by subtracting the image element of the current distance image from the corresponding image element of the background distance image is greater than a predetermined distance threshold.
  • the range image sensor has a camera structure including an optical system and a two-dimensional photosensitive array disposed facing the detection area via the optical system.
  • the object detection stage converts the camera coordinate system of the foreground distance image, which depends on the camera structure, into an orthogonal coordinate system based on the camera 'calibration' data for the distance image sensor recorded in advance. A Cartesian coordinate transformation image showing each non-existing position is generated.
  • the object detection stage converts the orthogonal coordinate system of the orthogonal coordinate conversion image into a world coordinate system that is virtually set in real space, so that the presence of a physical object exists. Generate a world coordinate transformation image that shows each position where Z does not exist in actual position and actual size
  • the orthogonal coordinate system of the orthogonal coordinate conversion image being converted into the world coordinate system by rotation, parallel movement, or the like based on data such as the sensor position and depression angle
  • the world coordinate conversion is performed.
  • Data of one or more physical objects in the image can be handled in actual position and actual size (distance, size).
  • the object detection stage is configured by projecting a world coordinate conversion image onto a predetermined plane by parallel projection and including each image element viewed from the predetermined plane in the world coordinate conversion image.
  • a parallel projection image is generated.
  • the object detection stage extracts sampling data corresponding to one or more physical object portions from the world coordinate transformation image, and the data is Based on the part, whether or not the force corresponds to the reference data recorded in advance is identified, and whether or not the physical object corresponding to the sampled data is a person is determined.
  • the reference data plays the role of almost human characteristic data in the world coordinate transformation image from which static noise and dynamic noise (for example, luggage and cart) are removed. , One or more people in the detection area can be detected individually.
  • the object detection stage extracts sampling data corresponding to one or more parts of the physical object from the parallel projection image, and the data is Identify whether it corresponds to the pre-recorded reference data based on the human part Then, it is determined whether or not the physical object corresponding to the sampling data is a person.
  • the reference data of the human part serves almost as the data of human characteristics in the parallel projection image from which static noise and dynamic noise (for example, luggage and cart) are removed. In doing so, one or more people in the detection area can be detected individually.
  • the sampling 'data is a volume of one or more physical object portions or a ratio of width to depth to height that is virtually represented in a world coordinate transformation image. It is.
  • the reference data is pre-recorded based on one or more parts of a person and is a value or range of values for the volume or the ratio of width, depth and height of that part. According to the present invention, the number of people in the detection area can be detected.
  • the sampling 'data is the area or the ratio of width to depth of one or more physical object portions that are virtually represented in a parallel projection image.
  • the reference data is pre-recorded based on one or more parts of a person and is a value or a range of values for the area of the part or the ratio of width to depth. According to the present invention, the number of people in the detection area can be detected.
  • the sampling 'data is a three-dimensional pattern of one or more portions of the physical object that are virtually represented in the world coordinate transformation image.
  • the reference data is at least one three-dimensional pattern pre-recorded based on one or more human parts.
  • the number of people in the detection area can be detected by selecting, as reference data, a three-dimensional pattern of a person's shoulder strength to the head, and a person's moving hand can be detected.
  • the influence can also be eliminated.
  • selecting the 3D pattern of the person's head as the reference data one or more persons related to each person's physique can be detected individually.
  • the sampling 'data is a two-dimensional pattern of one or more physical object portions that are virtually represented in a parallel projection image.
  • the baseline data is at least one pre-recorded 2 based on one or more person sites. It is a dimensional pattern.
  • the number of persons in the detection area can be detected by selecting at least one two-dimensional contour pattern between the shoulder and the head of the person as reference data. It can also eliminate the effects of human moving hands. By selecting the 2D contour pattern of the person's head as the reference data, one or more persons related to each person's physique can be detected individually.
  • the distance image sensor further includes a light source that emits intensity-modulated light to the detection area, and based on the received light intensity for each image element, the intensity image is displayed in addition to the distance image.
  • the object detection stage extracts sampling 'data corresponding to one or more physical object parts based on the Cartesian transformation image, and extracts the physical object part corresponding to the sampling' data based on the intensity image. It is determined whether or not there is a force that is lower than the predetermined strength. With this configuration, it is possible to detect a portion of a physical object that is lower than a predetermined intensity.
  • the distance image sensor further includes a light source that emits intensity-modulated infrared light to the detection area, and based on the infrared light from the area, the distance image is reddened into the distance image.
  • An intensity image of external light is generated.
  • the object detection stage extracts sampling data corresponding to one or more physical object parts based on the world coordinate transformation image, and based on the intensity image, the physical object part corresponding to the sampling data. It is determined whether or not the average intensity of the infrared light of the force is lower than a predetermined intensity, and whether or not the portion of the physical object corresponding to the sampling data is the human head.
  • the reflectance of the human hair with respect to infrared light is usually lower than that of the person's shoulder side, so that the person's head can be detected.
  • the object detection stage determines the position of the portion of the physical object determined as a person in the parallel projection image based on the number of physical objects determined as a person.
  • the number of physical objects is verified based on the divided areas obtained by the K-average algorithm of clustering assigned to the constituent elements. In this configuration, the number of physical objects identified as a person can be verified, and the position of the person can be estimated.
  • the object detection stage is each image element of the distance image.
  • To generate a foreground distance image by extracting specific image elements, and based on the foreground distance image, individually select one or more persons as one or more physical objects to be detected in the area.
  • the specific image element is extracted when the distance value of the image element of the distance image is smaller than a predetermined distance threshold value.
  • a physical object between the position of the distance image sensor and a front position away from the sensor (a distance corresponding to a predetermined distance threshold) can be detected.
  • the distance threshold is set to an appropriate value
  • the state where people and dynamic noise (eg, luggage and trolley) overlap is distinguished from the state where two or more people overlap. You can do it.
  • the target detection stage includes a feature in which a distance image near an image element having a minimum value of a distance value distribution of a distance image is recorded in advance based on a human part. Whether or not the force corresponds to the size of the fixed shape and the specific shape is identified, and it is determined whether or not the physical object corresponding to the distance image near the image element having the minimum value is a person.
  • the object detection stage generates a distribution image from each distance value of the distance image and, based on the distribution image, detects one or more physical objects in the detection area. Detect individually.
  • a distribution image includes one or more distribution regions when one or more physical objects are in the detection area.
  • the distribution area is formed from each image element having a distance value smaller than a predetermined distance threshold in the distance image.
  • the predetermined distance threshold value is obtained by adding a predetermined distance value to the minimum value of each distance value in the distance image.
  • a state can be distinguished from a state where two or more people overlap.
  • the co-incident detection device of the present invention includes the individual detector and the co-incident detection stage.
  • the distance image sensor continuously generates distance images.
  • the co-entry detection stage is The movement trajectory of one or more people detected by the elephant detection stage is individually tracked, and the occurrence of co-entrance is detected when two or more people move to the detection area in a predetermined direction with Z force. Alarm signal.
  • an alarm signal is output when two or more people move Z force to the detection area in a predetermined direction, so that co-entry can be suppressed. Also, even if multiple people are detected, an alarm signal is not output when two or more people do not move Z force to the detection area in a predetermined direction, so that false alarms can be prevented.
  • Another co-incident detection device of the present invention includes the individual detector and the co-incident detection stage.
  • the distance image sensor continuously generates distance images.
  • the co-entry detection stage monitors the entry and exit of one or more persons detected by the target detection stage and the directions of the entry and exit, and within a specified time set for co-entry warning. When two or more people move to the detection area in the predetermined direction with Z force, the occurrence of co-entrance is detected and an alarm signal is output.
  • an alarm signal is output when two or more people move to the detection area in the predetermined direction with a Z force, so that co-entry can be suppressed. Also, even if multiple people are detected, an alarm signal is not output when two or more people do not move Z force in the detection area in the specified direction, so that false alarms can be prevented.
  • FIG. 1 shows a management system in which the co-entry detection device of the first embodiment according to the present invention is incorporated.
  • FIG. 2 Shows the vicinity of the door of the room to be managed by the management system of FIG.
  • FIG. 3 is a three-dimensional development view of each image element of a distance image or foreground distance image obtained from a distance image sensor of the co-incident detection device.
  • FIG. 4A An example of the detection area status is shown.
  • FIG. 4B shows the distance image of FIG. 4A.
  • FIG. 4C shows a foreground distance image generated from the distance image of FIG. 4B.
  • [5] Shows the orthogonal coordinate transformation image and parallel projection image generated from the foreground distance image.
  • [6] Indicates each part extracted from the parallel projection image.
  • FIG. 7A shows an example of the extracted part in FIG.
  • FIG. 7B shows an example of the extracted part in FIG.
  • FIG. 8A shows an example of the extracted part in FIG.
  • FIG. 8B shows an example of a pre-recorded pattern.
  • FIG. 9 Each horizontal cross-sectional image obtained from a 3D Cartesian coordinate transformation image or a 3D World coordinate transformation image is shown.
  • FIG. 10A shows the position of the head detected based on the cross-sectional area of the head and the hair.
  • FIG. 10B shows the position of the head detected based on the cross-sectional area of the head and the hair.
  • FIG. 12 is a flowchart executed by the CPU.
  • FIG. 14 is an explanatory diagram of the operation of the target detection stage in the co-entry detection device of the third embodiment according to the present invention.
  • FIG. 15 is an operation explanatory diagram of the target detection stage in the co-entrance detection device of the fourth embodiment according to the present invention.
  • FIG. 16 is an operation explanatory diagram of the co-incident detection stage in the co-incident detection device of the fifth embodiment according to the present invention.
  • FIG. 17 is a configuration diagram of a distance image sensor in the co-incidence detection device according to the sixth embodiment of the present invention.
  • FIG. 19A shows an area corresponding to one photosensitive portion in the distance image sensor of FIG.
  • FIG. 19B shows a region corresponding to one photosensitive portion in the distance image sensor of FIG.
  • FIG. 20 is an explanatory diagram of a charge extraction unit in the distance image sensor of FIG.
  • FIG. 21 is an explanatory diagram of the operation of the distance image sensor in the co-incidence detection device according to the seventh embodiment of the present invention.
  • FIG. 22A is an operation explanatory diagram of the distance image sensor in FIG. 21.
  • FIG. 22A is an operation explanatory diagram of the distance image sensor in FIG. 21.
  • FIG. 22B is an operation explanatory diagram of the distance image sensor of FIG.
  • FIG. 23A shows an alternative embodiment of the range image sensor of FIG.
  • FIG. 23B shows an alternative embodiment of the range image sensor of FIG.
  • FIG. 1 shows a management system equipped with the co-entry detection device of the first embodiment according to the present invention.
  • the management system includes at least one co-entry detection device 1, a security device 2, and at least one input device 3 for each door 20 of the room to be managed. And a control device 4 that communicates with each co-detection device 1, each security device 2, and each input device 3.
  • the management system of the present invention is not limited to the entry management system, and may be an entry / exit management system.
  • the security device 2 is an electronic lock that has an automatic lock function and unlocks the door 20 in accordance with an unlock control signal from the control device 4. After locking the door 20, the electronic lock transmits a closing notification signal to the control device 4.
  • the security device 2 is an open / close control device in an automatic door system.
  • the opening / closing control device opens or closes the doors 20 according to the opening or closing control signal from the control device 4, and transmits the closing notification signal to the control device 4 after closing the door 20.
  • the input device 3 is a card reader that is installed on the adjacent wall outside the door 20 and reads information from the ID card and transmits it to the control device 4. If the management system is an entry / exit management system, another input device 3, such as a card reader, is also installed on the wall of the room to be managed inside the door 20.
  • the control device 4 includes a CPU and a storage device that stores each pre-registered I blueprint, a program, and the like, and executes overall system control.
  • the device 4 matches the I information blue recorded in the HD information storage device from the input device 3, the device 4 transmits an unlock control signal to the corresponding security device 2 and responds. You An admission permission signal is transmitted to the co-entry detection device 1. Further, when the device 4 receives the close notification signal from the security device 2, the device 4 transmits an entry prohibition signal to the corresponding co-entry detection device 1.
  • the device 4 responds when the If blueprint from the input device 3 matches the If blueprint recorded in the storage device. An open control signal is transmitted to the open / close control device, and after a predetermined time, the close control signal is transmitted to the corresponding open / close control device. Further, when the device 4 receives the closing notification signal from the opening / closing control device, the device 4 transmits an entry prohibition signal to the corresponding co-entry detection device 1.
  • the device 4 when the device 4 receives an alarm signal from the co-entry detection device 1, for example, it performs predetermined processing such as notification to the administrator and extension of the operating time of the camera (not shown), After a warning signal is received, if a predetermined release operation is performed or a predetermined time elapses, a release signal is transmitted to the corresponding co-entry detection device 1.
  • predetermined processing such as notification to the administrator and extension of the operating time of the camera (not shown)
  • a warning signal After a warning signal is received, if a predetermined release operation is performed or a predetermined time elapses, a release signal is transmitted to the corresponding co-entry detection device 1.
  • the co-entry detection apparatus 1 includes an individual detector composed of a distance image sensor 10 and a target detection stage 16, a co-entry detection stage 17 and an alarm stage 18.
  • the object detection stage 16 and the co-entry detection stage 17 are configured by a storage device that stores a CPU, a program, and the like.
  • the distance image sensor 10 is disposed facing downward with respect to the lower detection area A1, and continuously generates distance images.
  • each image element of the distance image contains each distance value to that one or more physical objects, as shown in FIG.
  • a distance image D1 as shown in FIG. 4B is obtained.
  • the senor 10 includes a light source (not shown) that emits intensity-modulated infrared light to the area A1, and includes an optical system such as a lens and an infrared transmission filter, and the area A1 via the optical system. It has a camera structure (not shown) composed of a two-dimensional photosensitive array placed facing the front. The sensor 10 having a camera structure generates an intensity image of infrared light in addition to the distance image based on the infrared light from the area A1.
  • the object detection stage 16 detects one or more persons as one or more physical objects to be detected in the area A1, obtained from the distance image generated by the sensor 10, Detect individually based on the identification of one or more persons to be identified or parts (sites) at each altitude. For this reason, the target detection stage 16 executes the following processes.
  • the object detection stage 16 performs a background distance image DO, which is a distance image obtained in advance from the sensor 10, and a current distance image D obtained from the sensor 10. Based on the difference from 1, the foreground distance image D2 is generated.
  • the background distance image DO is taken with the door 20 closed. Further, the background distance image may include an average distance value in the time and space directions in order to suppress variation in distance values.
  • the foreground distance image is generated by extracting specific image elements from each image element of the current distance image.
  • the specific image element is extracted when the distance difference obtained by subtracting the image element of the current distance image from the corresponding image element of the background distance image is larger than a predetermined distance threshold.
  • static noise is removed.
  • the position force corresponding to the background distance image One or more physical objects behind the distance forward position corresponding to the predetermined distance threshold can be removed, so the predetermined distance threshold and value
  • the carriage C1 as dynamic noise is removed, as shown in Figure 4C.
  • the physical object behind the door 20 is also removed. Therefore, it is possible to distinguish a state in which people and dynamic noise (such as the trolley C1 and the physical object behind the door 20) overlap each other from a state in which two or more people overlap each other.
  • the object detection stage 16 is based on camera 'calibration' data (for example, pixel pitch and lens distortion, etc.) for the sensor 10 recorded in advance as shown in FIG. Convert the camera coordinate system of the foreground distance image D2, which depends on the camera structure, into a three-dimensional Cartesian coordinate system (X, y, z), Generate. That is, each image element (xi, xj, xk) of the orthogonal coordinate transformation image E1 is represented by “T RUE” or “FALSE”. “TRUE” indicates the presence of a physical object, and “FALSE” indicates its absence.
  • the object detection stage 16 performs rotation and based on pre-recorded camera 'calibration' data (for example, the position of the sensor 10, the depression angle, the actual distance of the pixel pitch, etc.).
  • the object detection stage 16 projects the world coordinate conversion image on a predetermined plane such as a horizontal plane or a vertical plane by parallel projection, and looks at the predetermined plane in the world coordinate conversion image.
  • a parallel projection image constituted by each image element is generated.
  • the parallel projection image F1 is composed of image elements viewed from a horizontal surface on the ceiling surface side, and each image element indicating a physical object to be detected has the highest altitude. It is in position.
  • the object detection stage 16 corresponds to one or more physical object parts (Blob) in the target extraction area A2 from the parallel projection image F1, as shown in FIG.
  • Sampling data is extracted and labeled, and the position of sampling data (physical target part) (for example, the position of the center of gravity) is specified.
  • Sampling 'When data overlaps the boundary of area A2, the data may be processed so that it belongs to the area of the larger area among the areas inside and outside area A2.
  • sampling data corresponding to person B2 outside area A2 is excluded. In this case, only the part of the physical object in the object extraction area A2 can be extracted, so that dynamic noise due to reflection on a glass door, for example, can be removed, and it matches the room to be managed. Individual detection is possible.
  • the sixth process and the seventh process are executed in parallel.
  • the target detection stage 16 determines whether or not the sampling data extracted in the fifth process corresponds to the reference data recorded in advance based on one or more human parts. To determine whether the physical object corresponding to the sampling data is a person.
  • the sampling data is the area S or width of one or more physical object portions that are virtually represented in the parallel projection image. And And the ratio of depth.
  • the ratio is the width w and depth of the circumscribed rectangle that includes the part of the physical object
  • the ratio of D (W: D).
  • the reference data is pre-recorded based on one or more parts of a person and is a value or range of values for the area of that part or the ratio of width and depth. As a result, the number of persons in the target extraction area A2 in the detection area A1 can be detected.
  • the sampling 'data is a two-dimensional pattern of one or more physical object portions that are virtually represented in a parallel projection image.
  • the reference data is at least one two-dimensional pattern prerecorded based on one or more human sites, as shown in FIGS. 8B and 8C.
  • a pattern as shown in FIGS. 8B and 8C is used, and if the correlation value obtained by Noturn 'matching is larger than a predetermined value, the number of people corresponding to the Noturn is added.
  • the number of persons in the detection area can be detected, and the influence of the moving hand of the person can also be detected. Can be eliminated.
  • the 2D contour pattern of a person's head as reference data, one or more persons related to each person's physique can be detected individually.
  • the object detection stage 16 extracts each image element on a predetermined plane from each image element of the three-dimensional orthogonal coordinate transformation image or the three-dimensional world coordinate transformation image.
  • a cross-sectional image is generated.
  • the horizontal slice image Gl-G5 is generated by extracting each image element on the horizontal plane at each altitude (for example, 10 cm) upward from the altitude of the distance threshold in the first processing. Is done.
  • the target detection stage 16 extracts and records sampling data corresponding to one or more physical target portions from the horizontal cross-sectional image.
  • the object detection stage 16 determines whether the sampling data force extracted in the eighth process corresponds to the reference data recorded in advance based on one or more human parts. And determine whether the physical object corresponding to the sampled data is a person.
  • Sampling 'data is the cross-sectional area of one or more physical objects that are virtually represented in a horizontal cross-sectional image.
  • Reference data is a value or range of values for the cross-sectional area of one or more human heads.
  • the object detection stage 16 identifies whether or not the sampling data is smaller than the reference data every time a horizontal cross-sectional image is generated. When the sampling 'data becomes smaller than the reference data (G4 , G5), the sampling data at the maximum altitude is counted as data corresponding to the human head.
  • the target detection stage 16 performs the following based on the intensity image generated by the sensor 10 every time a horizontal cross-sectional image is generated after the altitude of the horizontal cross-sectional image reaches a predetermined altitude. Identifies whether the average intensity of infrared light from the physical object corresponding to the sampling data is lower than the specified intensity, and the physical object corresponding to the sampling data is the human head It is determined whether or not the force is. When the part of the physical object corresponding to the sampling data is a human head, the sampling data is counted as data corresponding to the human head. Since the reflectance of a person's hair to infrared light is usually lower than that of the person's shoulder side, the person's head can be detected when the predetermined intensity is set to an appropriate value.
  • the object detection stage 16 discriminates at the position B31 of the head B31 of the person B3 at the maximum altitude determined in the ninth process and the tenth process. If the position B32 of the head of the person B3 is identical, it is determined that the person B3 is upright and has hair. Otherwise, as shown in FIGS. 10A and 10B, the object detection stage 16 determines that the position B41 of the head of the person B4 that has the maximum altitude only by the ninth process is determined, so that the person B4 is upright. If it is determined that the person has no hair or is wearing a cap, and the position B52 of the head of person B5 is determined only by the tenth process as shown in FIG. Tilt the part and determine that you have hair. The object detection stage 16 then counts the number of people.
  • the co-entry detection stage 17 in FIG. 1 detects whether or not the co-entry has occurred based on the number of persons detected by the target detection stage 16 after receiving the admission permission signal from the control device 4. .
  • the co-entry detection stage 17 detects that co-entry has occurred and receives an alarm signal and a release signal from the device 4. Until Sent to device 4 and alarm stage 18. If the alarm signal is not transmitted to the device 4 and the alarm stage 18, the co-entry detection stage 17 shifts to the standby mode after receiving the input prohibition signal from the control apparatus 4.
  • the alarm stage 18 issues a warning while receiving an alarm signal from the co-entry detection stage 17.
  • the operation of the first embodiment will be described.
  • the device 3 transmits the I card blue information to the control device 4.
  • device 4 authenticates whether the information matches the pre-recorded I blueprint, and when they match each other, sends a permission signal to the corresponding co-entry detection device 1, and Send the unlock control signal to the corresponding security device 2. This allows the ID card holder to open the door 20 and enter the room to be managed.
  • the operation after the co-entry detection device 1 receives an input permission signal from the control device 4 will be described.
  • the co-incident detection device 1 a distance image and an intensity image of infrared light are generated by the distance image sensor 10 (see S10 in FIG. 11).
  • the object detection stage 16 generates a foreground distance image based on the distance image, background distance image, distance threshold, and value! / ⁇ (S11), and performs orthogonal coordinate conversion from the foreground distance image.
  • An image is generated (S 12)
  • a rectangular coordinate conversion image force is also generated as a world coordinate conversion image (S 13)
  • a parallel projection image is generated from the world coordinate conversion image (S 14).
  • the stage 16 extracts the data (sampling 'data) of the part (contour) of the physical object as the parallel projection image force (S15).
  • step S16 the object detection stage 16 uses the sampling data (contour area and ratio) based on the reference data (value or range of values for the area and ratio of the human reference region). It is determined whether or not the corresponding physical object is a person. In step 16, if any physical object is identified as a person (“YES” in S16), the number of persons (N1) in the target extraction area A2 is counted in step S17, and any physical object is identified as a person. If not determined (“NO” in S16), zero is counted as N1 in step SI8.
  • step S19 the object detection stage 16 determines whether or not the physical object corresponding to the sampling data (contour pattern) is a person based on the reference data (human reference region pattern). Determine. In step 16, if any physical object is identified as a person (“YES” in S19), in step S20, the number of persons (N2) in the target extraction area A2 is counted, and which physical object is If the subject is not identified as a person ("NO" in S19), zero is counted as N2 in step S21.
  • the joint entry detection stage 17 determines whether or not N1 and N2 match each other (S22). Step 17 detects whether or not a co-entry has occurred in step S23 if N1 and N2 match each other ("YES” in S22), and otherwise (in other words, if N1 and N2 match each other ("YES" in S22) In S22, “NO”), the process proceeds to step S30 in FIG.
  • the co-entry detection stage 17 sends an alarm signal to the control device 4 and the alarm stage 18 until a release signal is received from the device 4 Send (S24, S25) 0 This causes alarm stage 18 to issue an alarm.
  • the joint entry detection stage 17 receives the release signal from the device 4, the joint entry detection device 1 returns to the standby mode.
  • the co-entry detection device 1 if the co-entry detection stage 17 receives an input prohibition signal from the control device 4 ( If "YES” in S26), the process returns to the standby mode. If not ("NO" in S26), the process returns to step S10.
  • step S30 of FIG. 12 the object detection stage 16 generates a horizontal cross-sectional image from the height of the distance threshold value in the first process.
  • step S31 in step S31, the horizontal cross-sectional image force is also extracted from the physical target portion (cross-sectional contour) data (sampling 'data).
  • step S32 the reference data (about the human head cross-sectional area) The position of the person's head (Ml) by determining whether the part of the physical object corresponding to the sampling data (the area of the contour) is the person's head ) Is detected.
  • Step 16 then proceeds to step S35 if all horizontal slice images have been generated (“YES” in S33), and returns to step S30 otherwise (“NO” in S33).
  • step S34 the object detection stage 16 detects the position (M2) of the human head based on the intensity image and the predetermined intensity, and then proceeds to step S35.
  • step S35 the object detection stage 16 compares Ml with M2, and if they match ("YES” in S36), in step S37, the object detection stage 16 detects a person who stands upright and has hair. Otherwise (“NO” in S36), if only Ml is detected (“YES” in S38), step 16 detects a person who is upright and has no hair in step S39. Otherwise (“NO” in S38), if only M2 is detected (“YES” in S40), step 16 is step S41, the head is tilted and the person with hair Is detected. Otherwise (“NO” in S40), step 16 does not detect a person in step S42.
  • the object detection stage 16 counts the number of people in step S43, and returns to step S23 in FIG.
  • the co-entry detection device 1 is provided outside the door 20.
  • the control device 4 activates the co-entry detection device 1. If the co-entry state occurs outside the door 20, the co-entry detection device 1 transmits an alarm signal to the control device 4 and the alarm stage 18, and the control device 4 starts from the co-entry detection device 1. Based on the alarm signal, the ID card HD information is maintained regardless of the door 20 lock. This can prevent co-entry. If the co-entry state has not occurred outside the door 20, the control device 4 transmits an unlock control signal to the security device 2. This allows ID card carriers to open the door 20 and enter the room to be managed.
  • FIG. 13 is an explanatory diagram of the operation of the target detection stage in the co-incidence detection device according to the second embodiment of the present invention.
  • the object detection stage of the second embodiment executes the first to seventh processes in the same manner as those of the first embodiment.
  • the K—average algorithm clustering process is executed.
  • the object detection stage of the second embodiment uses the number of physical objects determined as a person to determine the position of the part of the physical object determined as a person in the parallel projection image.
  • the number of physical objects identified as the above person is verified by the K-average algorithm of clustering.
  • the target detection stage obtains each divided area by the K-average algorithm, calculates the area of the divided area, and the difference between the area of the divided area and the area of the person recorded in advance is a predetermined value. When equal to or smaller than, the divided area is counted as a human part. When the difference is larger than the predetermined threshold, the target detection stage increases or decreases the initial value of the number of divisions and executes the K-average algorithm again. According to this K-average algorithm, each person's position can be estimated. it can.
  • FIG. 14 is an explanatory diagram of the operation of the object detection stage in the co-incidence detection device according to the third embodiment of the present invention.
  • the object detection stage of the third embodiment replaces each process of the first embodiment with a specific image from each image element of the distance image from the distance image sensor 10.
  • the foreground distance image D20 is generated by extracting the elements.
  • the specific image element is extracted when the distance value of the image element of the distance image is smaller than a predetermined distance threshold value.
  • the object detection stage then individually detects one or more persons as one or more physical objects to be detected in the detection area based on the foreground distance image D20.
  • the black part is formed from image elements having a distance value smaller than the predetermined distance threshold
  • the white part is an image having a distance value larger than the predetermined distance threshold. Formed from elements.
  • the third embodiment it is possible to detect a physical object between the position of the distance image sensor and the sensor force thereof (a distance corresponding to a predetermined distance! And a distance corresponding to the value).
  • a given distance threshold is set to an appropriate value
  • people and dynamic noise eg, luggage and trolley
  • two or more people overlap.
  • the shoulder force of the person B6 in the detection area and the part of the head of the person B7 can be detected individually.
  • FIG. 15 is an explanatory diagram of the operation of the target detection stage in the co-incidence detection device according to the fourth embodiment of the present invention.
  • the object detection stage of the fourth embodiment replaces each process of the first embodiment with a distribution screen from each distance value of the distance image generated by the distance image sensor 10.
  • One or more distribution area forces in the distribution screen are identified based on the human part to determine whether the data corresponds to the pre-recorded data, and one or more distributions in the distribution screen, respectively. It is determined whether or not the physical object corresponding to the area is a person.
  • a distribution image includes one or more distribution regions when one or more physical objects are in the detection area.
  • the distribution area is formed from each image element having a distance value smaller than a predetermined distance threshold in the distance image.
  • the predetermined distance threshold is the distance value of the distance image. It is obtained by adding a predetermined distance value (for example, a value about half of the average face length) to the minimum value of.
  • the distribution screen is a binary image
  • the black portion is a distribution region
  • the white portion is formed from each distance value larger than a specific distance value in the distance image.
  • the pre-recorded data is the area or diameter of the contour of the human part.
  • the shape obtained from the contour of the human head for example, Circle.
  • FIG. 16 is an operation explanatory diagram of the co-incident detection stage in the co-incident detection device according to the fifth embodiment of the present invention.
  • the co-entry detection stage of the fifth embodiment individually tracks the movement trajectories of one or more people detected by the target detection stage at the time of co-arrival warning.
  • the occurrence of co-entrance is detected and an alarm signal is sent to the control device 4 and the alarm stage 18.
  • 20 is an automatic door.
  • the predetermined direction is set to a direction that moves to the detection area A1 across the boundary line of the detection area A1 on the door 20 side.
  • the movement trajectory of one person's Bl, Bl, B1 and the movement trajectory of another person's B2, B2 are both
  • a joint entry warning time (for example, 2 seconds) is established.
  • the specified time can be set to a time from when the automatic door 20 is opened until it is closed.
  • an alarm signal is output. It can be discovered instantly. Even if a plurality of people are detected, an alarm signal is not output unless two or more people move to the detection area in a predetermined direction, so that false alarms can be prevented.
  • the co-entry detection device 1 is provided outside the door 20.
  • the predetermined direction is set to a direction moving from the detection area to the boundary line of the detection area on the door 20 side.
  • FIG. 17 shows the distance image sensor 10 in the co-entry detection device of the sixth embodiment according to the present invention.
  • the distance image sensor 10 of the sixth embodiment includes a light source 11, an optical system 12, a light detection element 13, a sensor control stage 14, and an image generation stage 15, and can be used in each of the above embodiments.
  • the light source 11 is composed of, for example, an infrared LED array or an infrared semiconductor laser and a diverging lens arranged in one plane in order to ensure light intensity, as shown in FIG.
  • the intensity K1 of the infrared light is modulated so as to periodically change at a constant period, and the intensity-modulated infrared light is irradiated to the detection area.
  • the intensity waveform of the intensity-modulated infrared light is not limited to a sine wave, but may be a triangular wave or a sawtooth wave.
  • the optical system 12 is a light receiving optical system, which is composed of, for example, a lens and an infrared transmission filter, and collects infrared light having a detection area force on the light receiving surface (each photosensitive unit 131) of the light detecting element 13. Shine.
  • the optical system 12 is disposed, for example, so that its optical axis is orthogonal to the light receiving surface of the light detection element 13.
  • the light detection element 13 is formed in a semiconductor device, and includes a plurality of photosensitive units 131, a plurality of sensitivity control units 132, a plurality of charge integration units 133, and a charge extraction unit 134.
  • Each photosensitive unit 131, each sensitivity control unit 132, and each charge integration unit 133 constitute a two-dimensional photosensitive array as a light receiving surface disposed facing the detection area via the optical system 12.
  • each photosensitive unit 131 is formed as each photosensitive element of, for example, a 100 ⁇ 100 two-dimensional photosensitive array by a semiconductor layer 13a to which impurities in a semiconductor substrate are added.
  • the photosensitivity controlled by the corresponding sensitivity control unit 132 generates an amount of charge corresponding to the infrared light amount of the detection area force.
  • the semiconductor layer 13a is n-type, and the generated charge is an electron.
  • each photosensitive unit 131 If the origin is set at the center of the optical system 12, each photosensitive unit 131 generates an amount of charge corresponding to the amount of light from the direction represented by the azimuth angle and the elevation angle.
  • the infrared light emitted from the light source 11 is reflected by the physical object and received by the photosensitive unit 131, so that the photosensitive unit 131 is as shown in FIG.
  • the photosensitive unit 131 receives intensity-modulated infrared light delayed by a phase ⁇ corresponding to the back-and-forth distance to the physical object, and generates an amount of charge corresponding to the intensity K2.
  • the intensity-modulated infrared light is
  • ⁇ is the angular frequency and ⁇ is the external light component.
  • the sensitivity control unit 132 is formed by a plurality of control electrodes 13b stacked on the surface of the semiconductor layer 13a via an insulating film (oxide film) 13e, and follows the sensitivity control signal of the sensor control stage 14. Therefore, the sensitivity of the corresponding photosensitive unit 131 is controlled.
  • the width of the control electrode 13b in the left-right direction is set to about 1 ⁇ m.
  • the control electrode 13b and the insulating film 13e are formed of a material that is transparent to the infrared light of the light source 11.
  • the sensitivity control unit 132 includes a plurality of (for example, five) control electrodes for the corresponding photosensitive unit 131. For example, when the generated charge is an electron, a voltage (+ V, OV) is applied to each control electrode 13b as a sensitivity control signal.
  • the charge integration unit 133 is composed of a potential well (depletion layer) 13c that changes in response to a sensitivity control signal applied to each corresponding control electrode 13b.
  • the charge integration unit 133 stores electrons (e) in the vicinity of the potential well 13c. Capture and accumulate. Electrons that are not accumulated in the charge accumulation unit 133 disappear due to recombination with holes. Therefore, the photosensitivity of the photodetecting element 13 can be controlled by changing the size of the potential well 13c by the sensitivity control signal. For example, the sensitivity of the state of FIG. 19A is higher than that of the state of FIG. 19B.
  • the charge extraction unit 134 has a structure similar to a frame “transfer (FT) type CCD image” sensor.
  • the imaging region L1 composed of a plurality of photosensitive units 131 and the light-shielded accumulation region L2 adjacent to the region L1
  • the semiconductor layer 13a integrally continuous in each vertical direction has a charge in the vertical direction.
  • the vertical direction corresponds to the left-right direction in FIGS. 19A and 19B.
  • the charge extraction unit 134 includes an accumulation region L2, each transfer path, and a CCD horizontal transfer unit 13d that receives charges from one end of each transfer path and transfers the charges in the horizontal direction.
  • the charge transfer from the imaging region L1 to the storage region L2 is executed once in the vertical blanking period. That is, after charge is accumulated in the potential well 13c, a voltage pattern different from the voltage pattern of the sensitivity control signal is applied to each control electrode 13b as a vertical transfer signal, and the charge accumulated in the potential well 13c is transferred in the vertical direction. Is done.
  • a horizontal transfer signal is supplied to the horizontal transfer unit 13d, and charges for one horizontal line are transferred in one horizontal period.
  • the horizontal transfer unit transfers charge in a direction normal to the plane of FIGS. 19A and 19B.
  • the sensor control stage 14 is an operation timing control circuit that controls the operation timing of the light source 11, each sensitivity control unit 132, and the charge extraction unit 134. That is, since the propagation time of the light at the above-mentioned round-trip distance is very short and a nanosecond level, the sensor control stage 14 supplies a modulation signal having a predetermined modulation frequency (for example, 20 MHz) to the light source 11. , Intensity Control the intensity change timing of modulated infrared light.
  • a predetermined modulation frequency for example, 20 MHz
  • the sensor control stage 14 applies a voltage (+ V, OV) as a sensitivity control signal to each control electrode 13b, and switches the sensitivity of the light detection element 13 between high sensitivity and low sensitivity.
  • the sensor control stage 14 supplies a vertical transfer signal to each control electrode 13B in the vertical blanking period, and supplies a horizontal transfer signal to the horizontal transfer unit 13d in one horizontal period.
  • the image generation stage 15 is configured by, for example, a CPU, a storage device that stores a program, and the like, and generates a distance image and an intensity image based on a signal from the light detection element 13.
  • the phase (phase difference) ⁇ in Fig. 18 corresponds to the round-trip distance between the light receiving surface of the light detection element 13 and the physical object in the detection area, so the distance to the physical object is calculated by calculating the phase ⁇ . be able to.
  • the phase ⁇ can be calculated by calculating the time integral value (for example, the integral values QO, Ql, Q2, and Q3 of the period Tw) of the curve expressed by (Equation 1) above.
  • Time integration values (light received) QO, Ql, Q2 and Q3 start at 0, 90, 180 and 270 degrees, respectively.
  • QO , Ql, Q2, Q3 instantaneous values q0, ql, q2, q3 are respectively
  • phase ⁇ is given by the following (Equation 2), and the phase ⁇ can be obtained by (Equation 2) even in the case of the time integral value.
  • the sensor control stage 14 controls the sensitivity of the photodetecting element 13 so that a plurality of periods of the intensity-modulated infrared light can be obtained.
  • the charges generated by the photosensitive unit 131 are accumulated in the charge accumulation unit 133. Since the phase ⁇ and the reflectivity of the physical object hardly change during the period of multiple periods of intensity-modulated infrared light, for example, when accumulating charges corresponding to the time integration value QO in the charge integration unit 133, During the period corresponding to QO, the sensitivity of the light detection element 13 is increased, and during the other period, the sensitivity of the light detection element 13 is decreased.
  • the photosensitive unit 131 generates a charge proportional to the amount of light received
  • the charge integration unit 133 accumulates the charge of QO
  • a charge proportional to aQO + ⁇ (Q1 + Q2 + Q3) + j8 Qx is accumulated.
  • ⁇ is the sensitivity during the period corresponding to QO to Q3
  • j8 is the sensitivity during the other periods
  • Qx is the amount of light received outside the period in which QO, Ql, Q2, and Q3 are obtained.
  • the charge accumulation unit 133 accumulates the charge of Q2
  • a charge proportional to aQ2 + ⁇ (QO + Ql + Q3) + ⁇ Qx is accumulated.
  • the sensor control stage 14 After a plurality of periods of intensity-modulated infrared light, the sensor control stage 14 sends a vertical transfer signal to each control electrode 13B in the vertical blanking period in order to take out the charges accumulated in the charge integration unit 133. And a horizontal transfer signal is supplied to the horizontal transfer unit 13d in one horizontal period.
  • the image generation stage 15 can generate a distance image and an intensity image from QO to Q3.
  • the distance value and the intensity value at the same position can be obtained by generating the distance image and the intensity image from QO to Q3.
  • the image generation stage 15 calculates a distance value from QO to Q3 by (Equation 2), and generates a distance image from each distance value.
  • the three-dimensional information of the detection area may be calculated from each distance value and a distance image may be generated from the three-dimensional information. Since the intensity image includes an average value of QO to Q3 as an intensity value, the influence of light from the light source 11 can be removed.
  • FIG. 21 is an explanatory diagram of the operation of the distance image sensor in the co-incidence detection device according to the seventh embodiment of the present invention.
  • the distance image sensor of the seventh embodiment is different from the distance image sensor of the sixth embodiment in that two photosensitive units are used as one pixel, and QO ⁇ within one cycle of the modulation signal. Generate two types of charge corresponding to Q3.
  • the seventh embodiment in order to solve the problem, as shown in FIGS. 22A and 22B, two photosensitive units are used as one pixel.
  • the two control electrodes on both sides in FIGS. 19A and 19B of the sixth embodiment are potential barriers for preventing the charge from flowing out to the adjacent photosensitive unit 131 while the charge is generated by the photosensitive unit 131. Play the role of forming
  • a barrier is formed by any one of the photosensitive units 131. Therefore, three control electrodes are provided for each photosensitive unit, and one unit is provided.
  • FIG. 22A a voltage force of + V (predetermined positive voltage) is applied to each of the control electrodes 13b-1, 1, 13b-2, 13b-3, 13b-5, and the voltage of OV is applied to the control electrode 13b-4 , 13b-6.
  • FIG. 22B + V voltage force is applied to each of the control electrodes 13b-2, 13b-4, 13b-5, 13b-6, and the voltage of OV is applied to each of the control electrodes 13b-1, 13b-3. To be applied.
  • These voltage patterns are alternately switched every time the phase of the modulation signal changes to the opposite phase (180 degrees).
  • + V voltage force is applied to each of the control electrodes 13b-2 and 13b-5, and OV voltage force is applied to the remaining control electrodes.
  • the photodetecting element can generate charges corresponding to QO with the voltage pattern of FIG. 22A, and charges corresponding to Q2 with the voltage pattern of FIG. 22B. Can be generated.
  • the + V voltage is always applied to each of the control electrodes 13b-2 and 13b-5, the charge corresponding to QO and the charge corresponding to Q2 are integrated and held.
  • both voltage patterns in FIGS. 22A and 22B are used and the timing at which both voltage patterns are applied is shifted by 90 degrees, the charge corresponding to Q1 and the charge corresponding to Q3 can be generated and held.
  • Charges are transferred from the imaging region L1 to the storage region L2 between a period for generating charges corresponding to QO and Q2 and a period for generating charges corresponding to Ql and Q3. That is, the charge corresponding to QO is accumulated in the potential well 13c corresponding to the control electrodes 13b-1, 13b-2, 13b-3, and the charge corresponding to Q2 is stored in the control electrodes 13b-4, 13b-5, 13b. — When accumulated in the potential well 13c corresponding to 6, charges corresponding to QO and Q2 are extracted.
  • the charge corresponding to Q1 is accumulated in the potential well 13c corresponding to the control electrodes 13b-1, 13b-2, 13b-3, and the charge corresponding to Q3 is stored in the control electrodes 13b-4, 13b-5,
  • the charges corresponding to Ql and Q3 are extracted.
  • the charges corresponding to QO to Q3 can be taken out by two reading operations, and the phase ⁇ can be obtained using the taken out charges. For example, when an image of 30 frames per second is required, the total period of generating charge corresponding to QO and Q2 and generating charge corresponding to Ql and Q3 is 60 The period is shorter than 1 second.
  • a voltage of + V is applied to the control electrode 13b.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Processing (AREA)

Abstract

　個体検出器は、距離画像センサ及び対象検出段を備える。距離画像センサは、検出エリアに面して配置され、距離画像を生成する。その距離画像の各画像要素は、１又はそれ以上の物理対象が前記エリアにあるとき、その１又はそれ以上の物理対象までの各距離値をそれぞれ含む。対象検出段は、センサによって生成された距離画像に基づいて、エリアにおける１又はそれ以上の物理対象を個々に検出する。従って、検出エリアにおける１又はそれ以上の物理対象を、その１又はそれ以上の物理対象を検出するための構成要素の数を増やすことなく、個々に検出することができる。

Description

明 細 書
個体検出器及び共入り検出装置
技術分野
[0001] 本発明は、検出エリアにおける 1又はそれ以上の物理対象を個々に検出するため の個体検出器、及びその個体検出器を装備する共入り検出装置に関するものである
背景技術
[0002] 最先端の入 Z退管理システムは、バイオメトリック情報を利用することで正確な識別 を可能にする力 そのようなハイテクによるセキュリティでさえもすり抜ける簡単な方法 が存在する。即ち、認証によって正当と認められた個体 (例えば、従業員又は住人等 )が、解錠されたドアを通って入るときに、侵入が、いわるゆる"共入り"によってそのド ァが開いている間、許される。
[0003] 特開 2004— 124497号公報記載の従来技術システムは、人の三次元シルエット の数を計数することによって共入りを検出する。そのシルエットは、 2又はそれ以上の 視点に対応する視体積の共通領域 (visual hull)の内側に物理対象が存在するという 原理に基づく視体積交差法によって、コンピュータ上で仮想的に具現化される。即ち 、その方法は、 2又はそれ以上のカメラを使用し、そして各カメラの出力から得られる 二次元のシルエットを実空間に仮想的に投影して、物理対象全周の形状に対応する 三次元シルエットを構成する。
[0004] し力しながら、上記システムでは、視体積交差法のために 2又はそれ以上のカメラを 使用する必要がある。また、システムは、 2つのカメラの一方によって人の顔をとる力 視体積交差法は検出エリア（1又はそれ以上の物理対象)を各カメラの視界領域に収 めることを要するので、システムは、顔又はその正面が視界領域内にある間、三次元 シルエットを構成することができない。このため、検出エリアにおける 1又はそれ以上 の物理対象の移動の軌跡を追跡することが困難となる。この問題は、カメラを加えるこ とによって解決可能である力 システムの設置面積及びコストの増大につながる。特 に、カメラの数は、ドアの数が増大するにつれて、勢い増大する。 [0005] さらに、視体積交差法は、重なり合う物理対象を分離するための技術ではないので 、重なり合う物理対象で三次元シルエットが構成されるときに別の課題を持つ。従来 技術システムは、一つの物理対象に対応する基準サイズによって、 2又はそれ以上 の物理対象が重なっている状態を検出することができるが、人及び荷物が重なりあつ ている状態を 2又はそれ以上の人が重なりあっている状態と区別することができない 。前者は、警報を発する必要がないが、後者は警報を発する必要がある。また、従来 技術システムは、予め記録された背景画像と現在の画像との差分を取ることによりノ ィズを除去するが、壁又は植物等の静的な物理対象 (以下「静的ノイズ」と！、う）を除 去することができても、荷物及び台車等の動的な物理対象 (以下「動的ノイズ」 、う） を除去することができない。
発明の開示
[0006] そこで、本発明の第 1の目的は、検出エリアにおける 1又はそれ以上の物理対象を 、その 1又はそれ以上の物理対象を検出するための構成要素の数を増やすことなぐ 個々に検出することにある。
[0007] 本発明の第 2の目的は、人及び動的ノイズが重なりあっている状態を 2又はそれ以 上の人が重なりあっている状態と区別することにある。
[0008] 本発明の個体検出器は、距離画像センサ及び対象検出段を備える。距離画像セ ンサは、検出エリアに面して配置され、距離画像を生成する。距離画像の各画像要 素は、 1又はそれ以上の物理対象がエリアにあるとき、その 1又はそれ以上の物理対 象までの各距離値をそれぞれ含む。対象検出段は、センサによって生成された距離 画像に基づいて、エリアにおける 1又はそれ以上の物理対象を個々に検出する。
[0009] この構成では、検出エリアにおける 1又はそれ以上の物理対象力 センサによって 生成された距離画像に基づいて、個々に検出されるので、そのエリアにおける 1又は それ以上の物理対象を、その 1又はそれ以上の物理対象を検出するための構成要 素 (センサ）の数を増やすことなぐ個々に検出することができる。
[0010] 本発明の代替実施形態において、距離画像センサは、下方の検出エリアに対して 下向きに面して配置される。対象検出段は、エリアにおける検出されるべき 1又はそ れ以上の物理対象を、距離画像から得られる、その検出されるべき 1又はそれ以上 の物理対象の特定又は各高度における部分のデータに基づいて、個々に検出する
[0011] この構成では、例えば、動的ノイズが現れないような高度における物理対象の部分 を検出したり、検出されるべき各物理対象の所定部分を検出したりすることができる。 この結果、人及び動的ノイズが重なりあって 、る状態を 2又はそれ以上の人が重なり あっている状態と区別することができる。
[0012] 本発明の別の代替実施形態において、対象検出段は、センサ力 予め得られた距 離画像である背景距離画像とセンサから得られた現在の距離画像との差分に基づい て、前景距離画像を生成し、その前景距離画像に基づいて、エリアにおける検出さ れるべき 1又はそれ以上の物理対象としての 1又はそれ以上の人を個々に検出する 。この発明によれば、前景距離画像が静的ノイズを含まないので、静的ノイズを除去 することができる。
[0013] 本発明の他の代替実施形態において、対象検出段は、現在の距離画像の各画像 要素から特定の画像要素を抽出することによって、前景距離画像を生成する。その 特定の画像要素は、現在の距離画像の画像要素を背景距離画像の対応する画像 要素から引いて得られる距離差分が、所定の距離しきい値よりも大きいときに、抽出 される。
[0014] この構成では、背景距離画像に該当する位置から所定の距離しきい値に該当する 距離前方の位置よりも後方にある 1又はそれ以上の物理対象を除去することができる ので、動的ノイズ (例えば、荷物及び台車等）が、所定の距離しきい値が適切な値に 設定されるときに、除去される。その結果、人及び動的ノイズが重なりあっている状態 を 2又はそれ以上の人が重なりあっている状態と区別することができる。
[0015] 本発明の他の代替実施形態において、距離画像センサは、光学系と、その光学系 を介して検出エリアに面して配置される 2次元感光アレイとで構成されるカメラ構造を 持つ。対象検出段は、予め記録された距離画像センサに対するカメラ'キヤリブレー シヨン'データに基づいて、カメラ構造に依存する前景距離画像のカメラ座標系を直 交座標系に変換して、物理対象の存在 Z不存在の各位置を示す直交座標変換画 像を生成する。 [0016] 本発明の他の代替実施形態において、対象検出段は、直交座標変換画像の直交 座標系を、実空間上に仮想的に設定されるワールド座標系に変換して、物理対象の 存在 Z不存在の各位置を実位置及び実寸で示すワールド座標変換画像を生成する
[0017] この構成では、直交座標変換画像の直交座標系が、例えば、センサの位置及び俯 角等のデータに基づいて、回転及び平行移動等によってワールド座標系に変換され る結果、ワールド座標変換画像における 1又はそれ以上の物理対象のデータを実位 置及び実寸 (距離、大きさ)で取り扱うことができる。
[0018] 本発明の他の代替実施形態において、対象検出段は、ワールド座標変換画像を 平行投影で所定平面上に投影して、ワールド座標変換画像における所定平面から 見た各画像要素から構成される平行投影画像を生成する。
[0019] この構成では、平行投影画像を生成することによって、ワールド座標変換画像のデ 一タ量を削減することができる。また例えば、平面が天井側の水平面であるとき、平 行投影画像から、検出されるべき 1又はそれ以上の人のデータを個々に抽出すること ができる。平面が垂直面であるとき、平行投影画像から人の側面の 2次元シルエット を得ることができ、そのシルエットに対応するパターンを使用すれば、平行投影画像 に基づ!/、て人を検出することができる。
[0020] 本発明の他の代替実施形態において、対象検出段は、ワールド座標変換画像から 1又はそれ以上の物理対象の部分に該当するサンプリング ·データを抽出し、そして 、そのデータが、人の部位に基づいて予め記録された基準データに該当する力否か を識別して、それぞれそのサンプリング 'データに対応する物理対象が人である力否 かを判別する。
[0021] この構成では、基準データは、静的ノイズ及び動的ノイズ (例えば、荷物及び台車 等）が除去されたワールド座標変換画像にぉ ヽてほぼ人特徴のデータの役割を果た すので、検出エリアにおける 1又はそれ以上の人を個々に検出することができる。
[0022] 本発明の他の代替実施形態において、対象検出段は、平行投影画像から 1又はそ れ以上の物理対象の部分に該当するサンプリング ·データを抽出し、そして、そのデ ータが、人の部位に基づいて予め記録された基準データに該当するか否かを識別し て、それぞれそのサンプリング 'データに対応する物理対象が人であるか否かを判別 する。
[0023] この構成では、人の部位 (輪郭）の基準データは、静的ノイズ及び動的ノイズ (例え ば、荷物及び台車等）が除去された平行投影画像においてほぼ人特徴のデータの 役割を果たすので、検出エリアにおける 1又はそれ以上の人を個々に検出することが できる。
[0024] 本発明の他の代替実施形態において、サンプリング 'データは、ワールド座標変換 画像に仮想的に表される 1又はそれ以上の物理対象の部分の体積、又は幅と奥行き と高さとの比である。基準データは、 1又はそれ以上の人の部位に基づいて予め記録 され、その部位の体積、又は幅と奥行きと高さとの比についての値又は値の範囲であ る。この発明によれば、検出エリアにおける人の数を検出することができる。
[0025] 本発明の他の代替実施形態において、サンプリング 'データは、平行投影画像に 仮想的に表される 1又はそれ以上の物理対象の部分の面積、又は幅と奥行きとの比 である。基準データは、 1又はそれ以上の人の部位に基づいて予め記録され、その 部位の面積、又は幅と奥行きとの比についての値又は値の範囲である。この発明に よれば、検出エリアにおける人の数を検出することができる。
[0026] 本発明の他の代替実施形態において、サンプリング 'データは、ワールド座標変換 画像に仮想的に表される 1又はそれ以上の物理対象の部分の 3次元パターンである 。基準データは、 1又はそれ以上の人の部位に基づいて予め記録された少なくとも一 つの 3次元パターンである。
[0027] この構成では、例えば、人の肩力 その頭部までの 3次元パターンを、基準データ に選定することによって、検出エリアにおける人の数を検出することができ、また人の 動く手の影響も排除することができる。しかも、人の頭部の 3次元パターンを、基準デ ータに選定することによって、各人の体格に関係なぐ 1又はそれ以上の人を個々に 検出することができる。
[0028] 本発明の他の代替実施形態において、サンプリング 'データは、平行投影画像に 仮想的に表される 1又はそれ以上の物理対象の部分の 2次元パターンである。基準 データは、 1又はそれ以上の人の部位に基づいて予め記録された少なくとも一つの 2 次元パターンである。
[0029] この構成では、例えば、人の肩とその頭部との間の少なくとも 1つの 2次元輪郭パタ ーンを、基準データに選定することによって、検出エリアにおける人の数を検出する ことができ、また人の動く手の影響も排除することができる。し力も、人の頭部の 2次元 輪郭パターンを、基準データに選定することによって、各人の体格に関係なぐ 1又 はそれ以上の人を個々に検出することができる。
[0030] 本発明の他の代替実施形態において、距離画像センサは、強度変調光を検出エリ ァに発する光源を更に含み、画像要素毎の受光強度に基づいて、距離画像に加え て強度画像を生成する。対象検出段は、直交座標変換画像に基づいて、 1又はそれ 以上の物理対象の部分に該当するサンプリング 'データを抽出し、そして強度画像に 基づいて、サンプリング 'データに該当する物理対象の部分に所定強度よりも低い箇 所がある力否かを判別する。この構成では、所定強度よりも低い物理対象の部分を 検出することができる。
[0031] 本発明の他の代替実施形態において、距離画像センサは、強度変調赤外光を検 出エリアに発する光源を更に含み、エリアからの赤外光に基づいて、距離画像にカロ えて赤外光の強度画像を生成する。対象検出段は、ワールド座標変換画像に基づ いて、 1又はそれ以上の物理対象の部分に該当するサンプリング ·データを抽出し、 そして強度画像に基づいて、サンプリング ·データに該当する物理対象の部分力 の 赤外光の平均強度が所定強度よりも低いか否かを識別して、それぞれそのサンプリ ング ·データに対応する物理対象の部分が人の頭部であるか否かを判別する。この 構成では、赤外光に対する人の頭髪の反射率は、通常、人の肩側のそれよりも低い ので、人の頭部を検出することができる。
[0032] 本発明の他の代替実施形態において、対象検出段は、人として判別された物理対 象の数を基に、平行投影画像における人として判別された物理対象の部分の位置を クラスタの構成要素に割り当て、クラスタリングの K一平均アルゴリズムによって得られ る分割領域に基づいて、物理対象の数を検証する。この構成では、人として判別され た物理対象の数を検証することができる上、その人の位置を推定することができる。
[0033] 本発明の他の代替実施形態において、対象検出段は、距離画像の各画像要素か ら特定の画像要素を抽出することによって、前景距離画像を生成し、その前景距離 画像に基づいて、エリアにおける検出されるべき 1又はそれ以上の物理対象としての 1又はそれ以上の人を個々に検出する。特定の画像要素は、距離画像の画像要素 の距離値が所定の距離しきい値よりも小さいときに、抽出される。
[0034] この構成では、距離画像センサの位置とそのセンサから (所定の距離しきい値に対 応する距離)離れた前方の位置との間の物理対象を検出することができるので、所定 の距離しきい値が適切な値に設定されるとき、人及び動的ノイズ (例えば、荷物及び 台車等）が重なりあっている状態を 2又はそれ以上の人が重なりあっている状態と区 另 Uすることがでさる。
[0035] 本発明の他の代替実施形態において、対象検出段は、距離画像の距離値分布の 極小値を持つ画像要素付近の距離画像が、人の部位に基づ 、て予め記録された特 定形状及びその特定形状の大きさに該当する力否かを識別して、それぞれ前記極 小値を持つ画像要素付近の距離画像に対応する物理対象が人であるか否かを判別 する。
[0036] この構成では、人及び動的ノイズ (例えば、荷物及び台車等）が重なりあっている状 態を 2又はそれ以上の人が重なりあっている状態と区別することができる。
[0037] 本発明の他の代替実施形態において、対象検出段は、距離画像の各距離値から 分布画像を生成し、その分布画像に基づいて、前記検出エリアにおける 1又はそれ 以上の物理対象を個々に検出する。分布画像は、 1又はそれ以上の物理対象が検 出エリアにあるとき、 1又はそれ以上の分布領域を含む。分布領域は、距離画像にお ける所定の距離しきい値よりも小さい距離値を持つ各画像要素から形成される。所定 の距離しき!、値は、距離画像の各距離値の極小値に所定の距離値を加算して得ら れる。
[0038] この構成では、検出エリアにおける検出されるべき 1又はそれ以上の人の頭部を検 出することができるので、人及び動的ノイズ (例えば、荷物及び台車等）が重なりあつ ている状態を 2又はそれ以上の人が重なりあっている状態と区別することができる。
[0039] 本発明の共入り検出装置は、前記個体検出器及び共入り検出段を備える。距離画 像センサは、距離画像を連続的に生成する。共入り検出段は、共入り警戒時に、対 象検出段によって検出された 1又はそれ以上の人の移動軌跡を個々に追跡し、 2又 はそれ以上の人が所定の方向に検出エリアに Z力 移動したときに共入りの発生を 検出して、警報信号を出力する。
[0040] この構成では、 2又はそれ以上の人が所定方向に検出エリアに Z力 移動したとき に警報信号が出力されるので、共入りを抑制することができる。また、複数の人を検 出しても、 2又はそれ以上の人が所定の方向に検出エリアに Z力 移動しないときに は警報信号が出力されないので、誤報を防止することができる。
[0041] 本発明の別の共入り検出装置は、前記個体検出器及び共入り検出段を備える。距 離画像センサは、距離画像を連続的に生成する。共入り検出段は、対象検出段によ つて検出された 1又はそれ以上の人の入及び出とその入及び出の各方向とを監視し 、共入り警戒用に設定された規定時間内に、 2又はそれ以上の人が所定方向に前記 検出エリアに Z力 移動したときに共入りの発生を検出して、警報信号を出力する。
[0042] この構成では、 2又はそれ以上の人が所定方向に検出エリアに Z力 移動したとき に警報信号が出力されるので、共入りを抑制することができる。また、複数の人を検 出しても、 2又はそれ以上の人が所定方向に検出エリアに Z力 移動しないときには 警報信号が出力されないので、誤報を防止することができる。
図面の簡単な説明
[0043] 本発明の好ましい実施形態をさらに詳細に記述する。本発明の他の特徴および利 点は、以下の詳細な記述および添付図面に関連して一層良く理解されることになる であろう。
[図 1]本発明による第 1実施形態の共入り検出装置が組み込まれた管理システムを示 す。
[図 2]図 1の管理システムにより管理されるべき部屋のドア近傍を示す。
[図 3]共入り検出装置の距離画像センサから得られる距離画像又は前景距離画像の 各画像要素の 3次元への展開図である。
[図 4A]検出エリアの状況の例を示す。
[図 4B]図 4Aの距離画像を示す。
[図 4C]図 4Bの距離画像から生成される前景距離画像を示す。 圆 5]前景距離画像カゝら生成される直交座標変換画像及び平行投影画像を示す。 圆 6]平行投影画像カゝら抽出される各部位を示す。
[図 7A]図 6の抽出された部位の例を示す。
[図 7B]図 6の抽出された部位の例を示す。
[図 8A]図 6の抽出された部位の例を示す。
[図 8B]予め記録されたパターンの例を示す。
圆 8C]予め記録されたパターンの別例を示す。
[図 9]3次元の直交座標変換画像又は 3次元のワールド座標変換画像カゝら得られる 各水平断面画像を示す。
[図 10A]頭部の断面積及び頭髪を基に検出された頭部の位置を示す。
[図 10B]頭部の断面積及び頭髪を基に検出された頭部の位置を示す。
圆 11]対象検出段及び共入り検出段を構成する CPUにより実行されるフロー図であ る。
[図 12]その CPUにより実行されるフロー図である。
圆 13]本発明による第 2実施形態の共入り検出装置における対象検出段により実行 されるクラスタリング処理を示す。
圆 14]本発明による第 3実施形態の共入り検出装置における対象検出段の動作説 明図である。
圆 15]本発明による第 4実施形態の共入り検出装置における対象検出段の動作説 明図である。
圆 16]本発明による第 5実施形態の共入り検出装置における共入り検出段の動作説 明図である。
圆 17]本発明による第 6実施形態の共入り検出装置における距離画像センサの構成 図である。
[図 18]図 17の距離画像センサの動作説明図である。
[図 19A]図 17の距離画像センサにおける一感光部に対応する領域を示す。
[図 19B]図 17の距離画像センサにおける一感光部に対応する領域を示す。
[図 20]図 17の距離画像センサにおける電荷取出ユニットの説明図である。 [図 21]本発明による第 7実施形態の共入り検出装置における距離画像センサの動作 説明図である。
[図 22A]図 21の距離画像センサの動作説明図である。
[図 22B]図 21の距離画像センサの動作説明図である。
[図 23A]図 21の距離画像センサの代替実施形態を示す。
[図 23B]図 21の距離画像センサの代替実施形態を示す。
発明を実施するための最良の形態
[0044] 図 1は、本発明による第 1実施形態の共入り検出装置を装備する管理システムを示 す。
[0045] 管理システムは、図 1及び 2に示されるように、少なくとも 1つの共入り検出装置 1、セ キユリティ装置 2及び少なくとも 1つの入力装置 3を、管理されるべき部屋のドア 20毎 に備え、また各共入り検出装置 1、各セキュリティ装置 2及び各入力装置 3と通信する 制御装置 4を備える。なお、入管理システムに限らず、本発明の管理システムは、入 /退管理システムでもよい。
[0046] セキュリティ装置 2は、オート'ロック機能を有し、制御装置 4からの解錠制御信号に 従って、ドア 20を解錠する電子錠である。電子錠は、ドア 20を施錠した後、閉通知信 号を制御装置 4に送信する。
[0047] 一代替例において、セキュリティ装置 2は、自動ドア ·システムにおける開閉制御装 置である。開閉制御装置は、制御装置 4からの開又は閉制御信号に従って、それぞ れドア 20を開き又は閉じ、ドア 20を閉じた後、閉通知信号を制御装置 4に送信する。
[0048] 入力装置 3は、ドア 20外側の隣の壁に設置され、 IDカードの 情報を読み取って 制御装置 4に送信するカード'リーダである。管理システムが入 Z退管理システムで ある場合には、別の入力装置 3、例えばカード'リーダがドア 20内側の管理されるべ き部屋の壁にも設置される。
[0049] 制御装置 4は、 CPU及び予め登録された各 Iひ f青報及びプログラム等を記憶する記 憶装置等により構成され、システム全般の制御を実行する。
[0050] 例えば、装置 4は、入力装置 3からの HD情報力 記憶装置に予め記録された Iひ f青 報と一致したとき、対応するセキュリティ装置 2に解錠制御信号を送信し、また対応す る共入り検出装置 1に入許可信号を送信する。また、装置 4は、セキュリティ装置 2か ら閉通知信号を受信したとき、対応する共入り検出装置 1に入禁止信号を送信する。
[0051] セキュリティ装置 2が開閉制御装置である代替例では、装置 4は、入力装置 3からの Iひ f青報が、記憶装置に記録された Iひ f青報と一致したとき、対応する開閉制御装置に 開制御信号を送信し、一定時間後、対応する開閉制御装置に閉制御信号を送信す る。また、装置 4は、開閉制御装置から閉通知信号を受信したとき、対応する共入り検 出装置 1に入禁止信号を送信する。
[0052] また、装置 4は、共入り検出装置 1から警報信号を受信したとき、例えば、管理者へ の通知及びカメラ（図示せず)の作動時間の延長等の所定の処理を実行し、警報信 号を受信した後、所定の解除操作が行われるか、所定時間が経過すれば、対応する 共入り検出装置 1に解除信号を送信する。
[0053] 共入り検出装置 1は、距離画像センサ 10及び対象検出段 16により構成される個体 検出器、共入り検出段 17及び警報段 18を備える。対象検出段 16及び共入り検出段 17は、 CPU及びプログラム等を記憶する記憶装置等により構成される。
[0054] 距離画像センサ 10は、下方の検出エリア A1に対して下向きに面して配置され、距 離画像を連続的に生成する。 1又はそれ以上の物理対象がエリア A1にあるとき、距 離画像の各画像要素は、図 3に示されるように、その 1又はそれ以上の物理対象まで の各距離値をそれぞれ含む。例えば、図 4Aに示すように、人 B1及び台車 C1が検出 エリアにあるときには、図 4Bに示すような距離画像 D1が得られる。
[0055] 第 1実施形態では、センサ 10は、強度変調赤外光をエリア A1に発する光源（図示 せず)を含み、レンズ及び赤外線透過フィルタ等の光学系と、光学系を介してエリア A1に面して配置される 2次元感光アレイとにより構成されるカメラ構造（図示せず)を 持つ。またカメラ構造を持つセンサ 10は、エリア A1からの赤外光に基づいて、距離 画像に加えて赤外光の強度画像を生成する。
[0056] 対象検出段 16は、エリア A1における検出されるべき 1又はそれ以上の物理対象と しての 1又はそれ以上の人を、センサ 10によって生成された距離画像から得られる、 その検出されるべき 1又はそれ以上の人の特定又は各高度における部分 (部位）に 基づいて、個々に検出する。このため、対象検出段 16は、以下の各処理を実行する [0057] 第 1の処理では、対象検出段 16は、図 4Cに示されるように、センサ 10から予め得 られた距離画像である背景距離画像 DOとセンサ 10から得られた現在の距離画像 D 1との差分に基づいて、前景距離画像 D2を生成する。背景距離画像 DOは、ドア 20 を閉じた状態で取られる。また、背景距離画像は、距離値のばらつきを抑えるため、 時間及び空間方向の平均距離値を含んでもよい。
[0058] 第 1の処理を更に詳述すると、前景距離画像は、現在の距離画像の各画像要素か ら特定の画像要素を抽出することによって、生成される。その特定の画像要素は、現 在の距離画像の画像要素を背景距離画像の対応する画像要素から引いて得られる 距離差分が、所定の距離しきい値よりも大きいときに、抽出される。このとき、前景距 離画像は静的ノイズを含まないので、静的ノイズが除去される。また、背景距離画像 に該当する位置力 所定の距離しきい値に該当する距離前方の位置よりも後方にあ る 1又はそれ以上の物理対象を除去することができるので、所定の距離しき 、値が適 切な値に設定されるとき、図 4Cに示されるように、動的ノイズとしての台車 C1が除去 される。また、ドア 20が開いていたとしても、そのドア 20の後方の物理対象も除去さ れる。従って、人及び動的ノイズ (台車 C1及びドア 20後方の物理対象等）が重なりあ つている状態を 2又はそれ以上の人が重なりあっている状態と区別することができる。
[0059] 第 2の処理では、対象検出段 16は、図 5に示されるように、予め記録されたセンサ 1 0に対するカメラ'キャリブレーション 'データ (例えば、画素ピッチ及びレンズ歪等）に 基づいて、カメラ構造に依存する前景距離画像 D2のカメラ座標系を 3次元直交座標 系 (X, y, z)に変換して、物理対象の存在 Z不存在の各位置を示す直交座標変換 画像 E1を生成する。即ち、直交座標変換画像 E1の各画像要素 (xi, xj, xk)は、 "T RUE"又は" FALSE"で表される。 "TRUE"は、物理対象の存在を示し、 "FALSE" はその不存在を示す。
[0060] 第 2の処理の代替例では、前景距離画像の画像要素力 ' TRUE"に該当するとき、 その画像要素値が可変高度のしきい値よりも小さければ、その画像要素に対応する 直交座標変換画像の画像要素に" FALSE"を格納する。これにより、その可変高度 のしきい値の高度よりも低い動的ノイズを適応的に除去することができる。 [0061] 第 3の処理では、対象検出段 16は、予め記録されたカメラ'キャリブレーション'デ ータ（例えば、センサ 10の位置、俯角及び画素ピッチの実距離等）に基づいて、回転 及び平行移動等によって、直交座標変換画像の直交座標系を、実空間上に仮想的 に設定される 3次元ワールド座標系に変換して、物理対象の存在 Z不存在の各位置 を実位置及び実寸で示すワールド座標変換画像を生成する。この場合、ワールド座 標変換画像における 1又はそれ以上の物理対象のデータを実位置及び実寸 (距離、 大きさ）で取り扱うことができる。
[0062] 第 4の処理では、対象検出段 16は、ワールド座標変換画像を、平行投影で水平面 又は垂直面等の所定平面上に投影して、ワールド座標変換画像における所定平面 カゝら見た各画像要素カゝら構成される平行投影画像を生成する。第 1実施形態では、 図 5に示されるように、平行投影画像 F1は、天井面側の水平面から見た各画像要素 から構成され、検出されるべき物理対象を示す各画像要素は、最高高度の位置にあ る。
[0063] 第 5の処理では、対象検出段 16は、図 6に示されるように、平行投影画像 F1から対 象抽出エリア A2内の 1又はそれ以上の物理対象の部分 (Blob)に該当するサンプリン グ ·データを抽出してラベリング処理を行 、、サンプリング ·データ (物理対象の部分） の位置 (例えば重心位置）を特定する。サンプリング 'データがエリア A2の境界に重 なる場合、そのデータはエリア A2内外の各面積のうち大きい面積のエリアに属するよ うに処理してもよい。図 6の例では、エリア A2外の人 B2に該当するサンプリング 'デ ータは除外される。この場合、対象抽出エリア A2内の物理対象の部分だけを抽出す ることができるので、例えばガラス戸等への映り込みによる動的ノイズを除去すること ができ、また管理されるべき部屋に合った個体検出が可能である。
[0064] 次いで、第 6の処理及び第 7の処理が並列で実行される。第 6,第 7の処理では、対 象検出段 16は、第 5の処理で抽出されたサンプリング 'データ力 1又はそれ以上の 人の部位に基づいて予め記録された基準データに該当するか否かを識別して、それ ぞれそのサンプリング 'データに対応する物理対象が人である力否かを判別する。
[0065] 第 6の処理では、図 7A及び 7Bに示されるように、サンプリング 'データは、平行投 影画像に仮想的に表される 1又はそれ以上の物理対象の部分の面積 S、又は幅及 び奥行きの比である。比は、物理対象の部分を含む外接四角形の幅 w及び奥行き
Dの比 (W: D)である。基準データは、 1又はそれ以上の人の部位に基づいて予め記 録され、その部位の面積、又は幅及び奥行きの比についての値又は値の範囲である 。これにより、検出エリア A1における対象抽出エリア A2内の人の数を検出することが できる。
[0066] 第 7の処理では、図 8Aに示されるように、サンプリング 'データは、平行投影画像に 仮想的に表される 1又はそれ以上の物理対象の部分の 2次元パターンである。基準 データは、図 8B及び 8Cに示されるように、 1又はそれ以上の人の部位に基づいて予 め記録された少なくとも一つの 2次元パターンである。第 1実施形態では、図 8B及び 8Cに示されるようなパターンが使用され、ノターン'マッチングにより得られる相関値 が所定値より大きければ、そのノターンに対応する人数が加算される。これにより、例 えば、人の肩とその頭部との間の各パターンを、基準データに選定することによって 、検出エリアにおける人の数を検出することができ、また人の動く手の影響も排除す ることができる。し力も、人の頭部の 2次元輪郭パターンを、基準データに選定するこ とによって、各人の体格に関係なぐ 1又はそれ以上の人を個々に検出することがで きる。
[0067] 第 1実施形態では、第 6の処理で計数された人数及び第 7の処理で計数された人 数が同一であるとき、次の処理が第 1の処理に戻される一方、それらの双方が異なる とき、第 8から第 11の処理が更に実行される。
[0068] 第 8の処理では、対象検出段 16は、 3次元の直交座標変換画像又は 3次元のヮー ルド座標変換画像の各画像要素から所定平面上の各画像要素を抽出することによ つて、断面画像を生成する。図 9に示されるように、第 1の処理における距離しきい値 の高度から上方に各高度 (例えば、 10cm)毎に水平面の各画像要素を抽出すること によって、水平断面画像 Gl— G5が生成される。そして、対象検出段 16は、水平断 面画像を生成する毎に、水平断面画像から 1又はそれ以上の物理対象の部分に該 当するサンプリング 'データを抽出して記録する。
[0069] 第 9処理では、対象検出段 16は、第 8の処理で抽出されたサンプリング ·データ力 1又はそれ以上の人の部位に基づいて予め記録された基準データに該当する力否 かを識別して、それぞれサンプリング 'データに対応する物理対象が人であるか否か を判別する。サンプリング 'データは、水平断面画像に仮想的に表される 1又はそれ 以上の物理対象の部分の断面積である。基準データは、 1又はそれ以上の人の頭部 の断面積についての値又は値の範囲である。対象検出段 16は、水平断面画像が生 成される毎に、サンプリング ·データが基準データよりも小さくなつた力否かを識別し、 サンプリング 'データが基準データよりも小さくなつたときに（G4, G5)、その極大高度 のサンプリング ·データを人の頭部に該当するデータとして計数する。
[0070] 第 10の処理では、対象検出段 16は、水平断面画像の高度が所定高度に達した後 、水平断面画像が生成される毎に、センサ 10によって生成された強度画像に基づい て、サンプリング ·データに該当する物理対象の部分からの赤外光の平均強度が所 定強度よりも低いか否かを識別して、それぞれそのサンプリング 'データに対応する 物理対象の部分が人の頭部である力否かを判別する。サンプリング ·データに対応 する物理対象の部分が人の頭部であるとき、そのサンプリング ·データが人の頭部に 該当するデータとして計数される。赤外光に対する人の頭髪の反射率は、通常、人 の肩側のそれよりも低いので、所定強度が適切な値に設定されるとき、人の頭部を検 出することができる。
[0071] 第 11の処理では、対象検出段 16は、図 10Aに示されるように、第 9の処理で判別 された極大高度となる人 B3の頭部の位置 B31及び第 10の処理で判別された人 B3 の頭部の位置 B32が、互いに同一であれば、人 B3は直立し、頭髪を有していると判 定する。そうでなければ、対象検出段 16は、図 10A及び 10Bに示されるように、第 9 の処理のみで極大高度となる人 B4の頭部の位置 B41が判別されれば、人 B4は直 立し、頭髪を有していないか着帽していると判定し、図 10Bに示されるように、第 10の 処理のみで人 B5の頭部の位置 B52が判別されれば、人 B5は頭部を傾け、頭髪を 有していると判定する。そして対象検出段 16は人数を集計する。
[0072] 図 1の共入り検出段 17は、制御装置 4から入許可信号を受信した後、対象検出段 1 6により検出された人数に基づいて、共入りが発生した力否かを検出する。第 1実施 形態では、共入り検出段 17は、対象検出段 16により検出された人数が 2以上であれ ば、共入りが発生したと検出して、警報信号を、装置 4から解除信号を受信するまで 装置 4及び警報段 18に送信する。また、共入り検出段 17は、警報信号を装置 4及び 警報段 18に送信していなければ、制御装置 4から入禁止信号を受信した後、待機モ ードに移行する。警報段 18は、共入り検出段 17から警報信号を受信している間、警 報を出す。
[0073] 次に、第 1実施形態の動作を説明する。待機モードにおいて、入力装置 3が IDカー ドの Iひ f青報を読み取ったとき、装置 3は Iひ f青報を制御装置 4に送信する。次いで、装 置 4は、 情報が予め記録された Iひ f青報と一致するか否かを認証し、それら双方が 互いに一致したとき、対応する共入り検出装置 1に入許可信号を、そして対応するセ キユリティ装置 2に解錠制御信号を送信する。これにより、 IDカードの携帯者は、ドア 20を開けて、管理されるべき部屋に入ることができる。
[0074] 図 11及び 12を参照して、共入り検出装置 1が制御装置 4から入許可信号を受信し た後の動作を説明する。共入り検出装置 1において、距離画像及び赤外光の強度画 像が距離画像センサ 10によって生成される（図 11の S10を参照)。
[0075] 次 、で、対象検出段 16は、距離画像、背景距離画像及び距離しき!、値に基づ!/ヽ て前景距離画像を生成し (S 11)、前景距離画像から直交座標変換画像を生成し (S 12)、直交座標変換画像力もワールド座標変換画像を生成し (S 13)、そしてワールド 座標変換画像から平行投影画像を生成する（S 14)。次いで、段 16は、平行投影画 像力も物理対象の部分 (輪郭)のデータ (サンプリング 'データ)を抽出する（S15)。
[0076] 対象検出段 16は、ステップ S 16で、基準データ（人の基準部位の面積及び比につ いての値又は値の範囲）に基づいて、サンプリング 'データ (輪郭の面積及び比）に 対応する物理対象が人であるか否かを判別する。段 16は、いずれかの物理対象が 人として判別されれば（S16で" YES")、ステップ S17で、対象抽出エリア A2内の人 数 (N1)を計数し、またどの物理対象も人として判別されなければ (S 16で" NO")、 ステップ SI 8で、 N1としてゼロを計数する。
[0077] また、対象検出段 16は、ステップ S19で、基準データ (人の基準部位のパターン） に基づいて、サンプリング 'データ (輪郭のパターン）に対応する物理対象が人である か否かを判別する。段 16は、いずれかの物理対象が人として判別されれば（S19で" YES")、ステップ S20で、対象抽出エリア A2内の人数 (N2)を計数し、またどの物理 対象も人として判別されなければ（S19で" NO")、ステップ S21で、 N2としてゼロを 計数する。
[0078] 次いで、共入り検出段 17は、 N1及び N2が互いに一致するか否かを判別する（S2 2)。段 17は、 N1及び N2が互いに一致すれば（S22で" YES")、ステップ S23で、 N 1又は N2に基づいて、共入りが発生した力否かを検出し、またそうでなければ（S22 で" NO")、対象検出段 16による図 12のステップ S 30に進む。
[0079] 共入りが発生しているとして検出されたとき（S23で" YES")、共入り検出段 17は、 警報信号を制御装置 4及び警報段 18に装置 4から解除信号を受信するまで送信す る（S24, S25) 0これにより、警報段 18が警報を出す。共入り検出段 17が装置 4から 解除信号を受信した後、共入り検出装置 1は待機モードに戻る。
[0080] 共入りが発生しているとして検出されな力つたとき（S23で" NO")、共入り検出装置 1は、共入り検出段 17が制御装置 4から入禁止信号を受信すれば (S26で" YES") 、待機モードに戻り、またそうでなければ（S26で" NO")、ステップ S10に戻る。
[0081] 図 12のステップ S30で、対象検出段 16は、第 1の処理における距離しきい値の高 度から水平断面画像を生成する。次いで、段 16は、ステップ S31で、水平断面画像 力も物理対象の部分（断面の輪郭）のデータ（サンプリング 'データ）を抽出し、ステツ プ S32で、基準データ（人の頭部の断面積についての値又は値の範囲）に基づいて 、サンプリング ·データ (輪郭の面積）に対応する物理対象の部分が人の頭部である か否かを判別することによって、人の頭部の位置 (Ml)を検出する。次いで、段 16は 、全ての水平断面画像が生成されれば（S33で" YES")、ステップ S35に進み、また そうでなければ（S33で" NO")、ステップ S30に戻る。
[0082] また、対象検出段 16は、ステップ S34で、強度画像及び所定強度に基づいて、人 の頭部の位置（M2)を検出し、次いでステップ S35に進む。
[0083] ステップ S35で、対象検出段 16は、 Mlを M2と比較し、双方が一致すれば（S36 で" YES")、ステップ S37で、直立し、頭髪を有する人を検出する。そうではなく（S3 6で" NO")、 Mlのみが検出されれば（S38で" YES")、段 16は、ステップ S39で、 直立し、頭髪を有さない人を検出する。そうではなく（S38で" NO")、 M2のみが検出 されれば（S40で" YES")、段 16は、ステップ S41で、頭部を傾け、頭髪を有する人 を検出する。そうでなければ（S40で" NO")、段 16は、ステップ S42で人を検出しな い。
[0084] 次いで、対象検出段 16は、ステップ S43で、人数を集計し、図 11のステップ S23に 戻る。
[0085] 一代替実施形態において、共入り検出装置 1は、ドア 20の外側に設けられる。この 場合、待機モードにおいて、入力装置 3が IDカードの HD情報を読み取って制御装置 4に送信したとき、制御装置 4は、共入り検出装置 1を起動する。ドア 20の外側におい て共入りの状態が発生していれば、共入り検出装置 1は、警報信号を制御装置 4及 び警報段 18に送信し、制御装置 4は、共入り検出装置 1からの警報信号に基づいて 、 IDカードの HD情報に関係なくドア 20のロックを維持する。これにより、共入りを防止 することができる。ドア 20の外側において共入りの状態が発生していなければ、制御 装置 4は、セキュリティ装置 2に解錠制御信号を送信する。これにより、 IDカードの携 帯者は、ドア 20を開けて、管理されるべき部屋に入ることができる。
[0086] 図 13は、本発明による第 2実施形態の共入り検出装置における対象検出段の動作 説明図である。第 2実施形態の対象検出段は、第 1の処理から第 7の処理を第 1実施 形態のそれらと同様に実行し、第 2実施形態の特徴として、第 7の処理の後、第 6の 処理で計数された人数 N1及び第 7の処理で計数された人数 N2が異なるとき、 K— 平均アルゴリズムのクラスタリング処理を実行する。
[0087] 即ち、第 2実施形態の対象検出段は、人として判別された物理対象の数を基に、平 行投影画像における人として判別された物理対象の部分の位置をクラスタの構成要 素に割り当て、クラスタリングの K一平均アルゴリズムによって、上記人として判別され た物理対象の数を検証する。
[0088] クラスタリングの分割数の初期値は、例えば Nl, N2の大きい方が使用される。対 象検出段は、 K一平均アルゴリズムによって、各分割領域を得て、その分割領域の面 積を計算し、その分割領域の面積と予め記録された人の面積との差が所定しき 、値 と等しいか小さいとき、その分割領域を人の部位として計数する。その差が所定しき い値より大きいとき、対象検出段は、分割数の初期値を増減して K—平均アルゴリズ ムを再度実行する。この K一平均アルゴリズムによれば、各人位置を推定することが できる。
[0089] 図 14は、本発明による第 3実施形態の共入り検出装置における対象検出段の動作 説明図である。
[0090] 第 3実施形態の対象検出段は、図 14に示されるように、第 1実施形態の各処理に 代えて、距離画像センサ 10からの距離画像の各画像要素カゝら特定の画像要素を抽 出することによって、前景距離画像 D20を生成する。特定の画像要素は、距離画像 の画像要素の距離値が所定の距離しきい値よりも小さいときに、抽出される。次いで 、対象検出段は、前景距離画像 D20に基づいて、検出エリアにおける検出されるべ き 1又はそれ以上の物理対象としての 1又はそれ以上の人を個々に検出する。図 14 の例において、黒色の部分は、所定の距離しきい値よりも小さい距離値を持つ画像 要素から形成され、白色の部分は、所定の距離しきい値よりも大きい距離値を持つ画 像要素から形成される。
[0091] 第 3実施形態では、距離画像センサの位置とそのセンサ力も (所定の距離しき!、値 に対応する距離)離れた前方の位置との間の物理対象を検出することができる。従つ て、所定の距離しきい値が適切な値に設定されるとき、人及び動的ノイズ (例えば、 荷物及び台車等）が重なりあって 、る状態を 2又はそれ以上の人が重なりあって 、る 状態と区別することができる。図 14の例では、検出エリアにおける人 B6の肩力も上の 部位及び人 B7の頭部の部位を個々に検出することができる。
[0092] 図 15は、本発明による第 4実施形態の共入り検出装置における対象検出段の動作 説明図である。
[0093] 第 4実施形態の対象検出段は、図 15に示されるように、第 1実施形態の各処理に 代えて、距離画像センサ 10によって生成された距離画像の各距離値から分布画銜 を生成し、分布画衞における 1又はそれ以上の分布領域力 人の部位に基づいて 予め記録されたデータに該当するカゝ否かを識別して、それぞれ分布画衞における 1 又はそれ以上の分布領域に対応する物理対象が人であるカゝ否かを判別する。分布 画像は、 1又はそれ以上の物理対象が検出エリアにあるとき、 1又はそれ以上の分布 領域を含む。分布領域は、距離画像における所定の距離しきい値よりも小さい距離 値を持つ各画像要素から形成される。所定の距離しきい値は、距離画像の各距離値 の極小値に所定の距離値 (例えば、平均的な顔の長さの半分程度の値)を加算して 得られる。
[0094] 図 15の例において、分布画衞は 2値画像であり、黒色の部分は、分布領域であり 、白色の部分は、距離画像における特定距離値よりも大きい各距離値から形成され る。予め記録されたデータは、分布画衞が 2値画像であるので、人の部位の輪郭の 面積又は直径であり、パターン 'マッチングを用いる場合は、人の頭部の輪郭から得 られる形状 (例えば円等）のパターンである。
[0095] 第 4実施形態では、検出エリアにおける検出されるべき 1又はそれ以上の人の頭部 が検出されるので、人及び動的ノイズ (例えば、荷物及び台車等）が重なりあっている 状態を 2又はそれ以上の人が重なりあっている状態と区別することができる。図 15の 例では、検出エリアにおける人 B8, B9の各頭部を個々に検出することができる。
[0096] 図 16は、本発明による第 5実施形態の共入り検出装置における共入り検出段の動 作説明図である。
[0097] 第 5実施形態の共入り検出段は、図 16に示されるように、共入り警戒時に、対象検 出段によって検出された 1又はそれ以上の人の移動軌跡を個々に追跡し、 2又はそ れ以上の人が所定の方向に検出エリアに Z力 移動したときに共入りの発生を検出 して、警報信号を制御装置 4及び警報段 18に送信する。図 16において、 20は、自 動ドアである。
[0098] 第 5実施形態では、所定の方向は、ドア 20側における検出エリア A1の境界線を横 切って検出エリア A1に移動する方向に設定される。例えば図 16に示されるように、 1 人の Bl , Bl , B1 の移動軌跡及び他の人の B2 , B2の移動軌跡は、共にその
1 2 3 1 2
所定の方向に該当するので、警報信号が出力される。この際、各人の移動軌跡を B1 及び B2の時点で判断でき、この時点で警報信号が出力されることになる。また、 B
3 2
1の人がドアを横切ってから、 B2の人がドアを横切るまでの時間に基づいて、共入り 警戒用規定時間（例えば、 2秒間）が定められる。この規定時間は、例えば自動ドア 2 0が開いてから閉じるまでの時間に設定することも可能である。
[0099] 第 5実施形態では、 2又はそれ以上の人が、ドア 20側における検出エリア A1の境 界線を横切って検出エリア A1に移動したとき、警報信号が出力されるので、共入りを 即座に発見することができる。また、複数の人を検出しても、 2又はそれ以上の人が 所定の方向に検出エリアに移動しなければ、警報信号が出力されないので、誤報を 防止することができる。
[0100] 一代替実施形態において、共入り検出装置 1は、ドア 20の外側に設けられる。この 場合、所定の方向は、検出エリアから、ドア 20側における検出エリアの境界線に移動 する方向に設定される。
[0101] 図 17は、本発明による第 6実施形態の共入り検出装置における距離画像センサ 10 を示す。第 6実施形態の距離画像センサ 10は、光源 11、光学系 12、光検出素子 13 、センサ制御段 14及び画像生成段 15を備え、上記各実施形態で利用可能である。
[0102] 光源 11は、光の強度を確保するために、例えば、一平面に配列された赤外 LEDァ レイ、又は赤外半導体レーザ及び発散レンズ等で構成され、図 18に示されるように、 センサ制御段 14からの変調信号に応じて赤外光の強度 K1を一定周期で周期的に 変化するように変調して、強度変調赤外光を検出エリアに照射する。なお、強度変調 赤外光の強度波形は、正弦波に限らず、三角波又は鋸歯状波等の形状でもよい。
[0103] 光学系 12は、受光光学系であり、例えば、レンズ及び赤外線透過フィルタ等で構 成され、検出エリア力もの赤外光を光検出素子 13の受光面 (各感光ユニット 131)に 集光する。光学系 12は、例えばその光軸が光検出素子 13の受光面と直交するよう に配置される。
[0104] 光検出素子 13は、半導体装置に形成され、複数の感光ユニット 131、複数の感度 制御ユニット 132、複数の電荷集積ユニット 133及び電荷取出ユニット 134を含む。 各感光ユニット 131、各感度制御ユニット 132及び各電荷集積ユニット 133は、光学 系 12を介して検出エリアに面して配置される受光面としての 2次元感光アレイを構成 する。
[0105] 各感光ユニット 131は、図 19A及び 19Bに示されるように、半導体基板における不 純物が添加された半導体層 13aにより、例えば 100 X 100の 2次元感光アレイの各 感光素子として形成され、対応する感度制御ユニット 132により制御される感光感度 で、検出エリア力 の赤外光量に応じた量の電荷を生成する。例えば、半導体層 13a は n型であり、生成される電荷は電子である。 [0106] 光学系 12の光軸が受光面と直交するとき、受光面の垂直方向（縦方向）及び水平 方向（横方向）の両軸と光軸とを直交座標系の 3軸に設定して、その原点を光学系 1 2の中心に設定すれば、各感光ユニット 131は、方位角及び仰角で表される方向か らの光量に応じた量の電荷を生成する。検出エリアに 1又はそれ以上の物理対象が あるとき、光源 11から照射された赤外光が物理対象で反射して感光ユニット 131で 受光されるので、感光ユニット 131は、図 18に示されるように、物理対象との間の往 復距離に対応する位相 φだけ遅れた強度変調赤外光を受光し、その強度 K2に応じ た量の電荷を生成する。その強度変調赤外光は、
K2' sin ( co t— φ ) +Β (式 1)
で表され、ここで、 ωは角振動数、 Βは外光成分である。
[0107] 感度制御ユニット 132は、半導体層 13aの表面に絶縁膜 (酸ィ匕膜） 13eを介して積 層される複数の制御電極 13bにより形成され、センサ制御段 14の感度制御信号に従 つて、対応する感光ユニット 131の感度を制御する。図 19A及び 19Bにおいて、制 御電極 13bの左右方向の幅寸法は約 1 μ mに設定される。制御電極 13b及び絶縁 膜 13eは、光源 11の赤外光に対して透光性を有する材料により形成される。感度制 御ユニット 132は、図 19A及び 19Bに示されるように、対応する感光ユニット 131に対 し複数 (例えば 5つ）の制御電極により構成される。例えば、生成される電荷が電子で あるとき、電圧（+V, OV)が感度制御信号として各制御電極 13bに印加される。
[0108] 電荷集積ユニット 133は、対応する各制御電極 13bに印加される感度制御信号に 応じて変化するポテンシャル井戸 (空乏層） 13cにより構成され、ポテンシャル井戸 1 3cの近傍の電子 (e)を捕獲して集積する。電荷集積ユニット 133に集積されない電 子は、ホールとの再結合により消滅する。従って、ポテンシャル井戸 13cの領域の大 きさを感度制御信号によって変えることにより、光検出素子 13の感光感度を制御する ことができる。例えば、図 19Aの状態の感度は、図 19Bの状態のそれよりも高い。
[0109] 電荷取出ユニット 134は、例えば図 20に示されるように、フレーム 'トランスファ（FT )方式の CCDイメージ 'センサと類似した構造を持つ。複数の感光ユニット 131により 構成される撮像領域 L1及びその領域 L1の隣の遮光された蓄積領域 L2において、 各垂直方向（縦方向）に一体に連続する半導体層 13aが、垂直方向への電荷の転 送経路として使用される。垂直方向は、図 19A及び 19Bの左右方向に対応する。
[0110] 電荷取出ユニット 134は、蓄積領域 L2と、各転送経路と、各転送経路の一端から 電荷を受け取って電荷を水平方向に転送する CCDの水平転送部 13dとで構成され る。撮像領域 L1から蓄積領域 L2への電荷の転送は、垂直ブランキング期間に 1度 に実行される。即ち、電荷がポテンシャル井戸 13cに集積された後、感度制御信号 の電圧パターンと異なる電圧パターンが垂直転送信号として各制御電極 13bに印加 され、ポテンシャル井戸 13cに集積された電荷が、垂直方向に転送される。水平転送 部 13dから画像生成段 15への転送につ 、ては、水平転送信号が水平転送部 13dに 供給され、 1水平ライン分の電荷が 1水平期間に転送される。一代替例において、水 平転送部は、図 19A及び 19Bの面に対する法線方向に電荷を転送する。
[0111] センサ制御段 14は、動作タイミング制御回路であり、光源 11、各感度制御ユニット 132及び電荷取出ユニット 134の動作タイミングを制御する。即ち、上記往復距離の 光の伝播時間がナノ秒レベルの非常に短 、時間であるので、センサ制御段 14は、 所定の変調周波数 (例えば、 20MHz)である変調信号を光源 11に供給して、強度 変調赤外光の強度の変化タイミングを制御する。
[0112] また、センサ制御段 14は、感度制御信号として電圧（+V, OV)を各制御電極 13b に印加して、光検出素子 13の感度を高感度又は低感度に切り替える。
[0113] さらに、センサ制御段 14は、垂直ブランキング期間に垂直転送信号を各制御電極 13Bに供給し、 1水平期間に水平転送信号を水平転送部 13dに供給する。
[0114] 画像生成段 15は、例えば CPU及びプログラム等を記憶する記憶装置等により構 成され、光検出素子 13からの信号に基づいて、距離画像及び強度画像を生成する
[0115] 以下、センサ制御段 14及び画像生成段 15の動作原理を説明する。図 18の位相 ( 位相差） φは、光検出素子 13の受光面と検出エリアにおける物理対象との間の往復 距離に対応するので、位相 φを算出することで物理対象までの距離を算出すること ができる。位相 φは、上記 (式 1)で表される曲線の時間積分値 (例えば、期間 Twの 積分値 QO、 Ql、 Q2及び Q3)力 計算することができる。時間積分値 (受光量) QO、 Ql、 Q2及び Q3は、それぞれ位相 0度、 90度、 180度及び 270度を始点とする。 QO 、 Ql、 Q2、 Q3の瞬時値 q0、 ql、 q2、 q3は、それぞれ
qO=K2-sin(- )+Β
= -K2-sin((^)+B
ql=K2'sin Z2— φ)+Β
=K2-cos((^)+B
q2=K2'sin( 7c— φ)+Β
=K2-sin((^)+B
q3=K2'sin(3wZ2— φ)+Β
= -K2-cos((^)+B
により与えられる。従って、位相 φは以下の（式 2)で与えられ、時間積分値の場合も 、（式 2)により位相 φを求めることができる。
[0116] φ =tan_1{ (q2-qO)/(ql-q3) } (式 2)
強度変調赤外光の 1周期の間に感光ユニット 131で発生される電荷量は少ないの で、センサ制御段 14は、光検出素子 13の感度を制御して、強度変調赤外光の複数 周期の間に感光ユニット 131で発生された電荷を電荷集積ユニット 133に集積する。 強度変調赤外光の複数周期の期間において、位相 φ及び物理対象の反射率はほと んど変化しないので、例えば、時間積分値 QOに対応する電荷を電荷集積ユニット 1 33に集積するとき、 QOに対応する期間の間、光検出素子 13の感度を上げ、それ以 外の期間の間、光検出素子 13の感度を下げる。
[0117] 感光ユニット 131が受光量に比例する電荷を生成するとすれば、電荷集積ユニット 133が QOの電荷を集積するとき、 aQO+ β (Q1 + Q2 + Q3) + j8 Qxに比例する 電荷が集積され、ここで、 αは QO〜Q3に対応する期間の感度、 j8はそれ以外の期 間の感度、 Qxは QO、 Ql、 Q2、 Q3が得られる期間以外の受光量である。同様に、 電荷集積ユニット 133が Q2の電荷を集積するとき、 aQ2+ β (QO + Ql + Q3) + β Qxに比例する電荷が集積される。
Figure imgf000026_0001
(Q2— QO)及び Ql— Q
Figure imgf000026_0002
により、（式 2)から（Q2— Q0) / (Q1-Q3)が不要な電荷 の混入の有無によらず理論上同じ値になるので、不要な電荷が混入しても求める位 相 φは同じ値になる。 [0118] 強度変調赤外光の複数周期の期間の後、センサ制御段 14は、電荷集積ユニット 1 33に集積された電荷を取り出すために、垂直ブランキング期間に垂直転送信号を各 制御電極 13Bに供給し、 1水平期間に水平転送信号を水平転送部 13dに供給する
[0119] また、 QO〜Q3は物理対象の明るさを反映するので、 QO〜Q3の加算値又は平均 値は赤外線の強度画像 (濃淡画像）における強度 (濃度)値に相当する。従って、画 像生成段 15は、 QO〜Q3から距離画像及び強度画像を生成することができる。しか も、 QO〜Q3から距離画像及び強度画像を生成することにより、同じ位置の距離値及 び強度値を得ることができる。画像生成段 15は、（式 2)により QO〜Q3から距離値を 算出し、各距離値から距離画像を生成する。このとき、各距離値カゝら検出エリアの三 次元情報を算出し、三次元情報から距離画像を生成してもよい。強度画像は QO〜Q 3の平均値を強度値として含むので、光源 11からの光の影響を除去できる。
[0120] 図 21は、本発明による第 7実施形態の共入り検出装置における距離画像センサの 動作説明図である。
[0121] 第 7実施形態の距離画像センサは、第 6実施形態の距離画像センサとの相違点と して、 2個の感光ユニットを 1画素として使用し、変調信号の 1周期内で QO〜Q3に対 応する電荷を 2種類ずつ生成する。
[0122] QO〜Q3に対応する電荷を 1つの感光ユニット 131で生成すれば、視線方向に関 する分解能は高くなるが、時間差の問題が生じるのに対し、 QO〜Q3に対応する電 荷を 4つの感光ユニットで生成すれば、時間差は小さくなるが、視線方向に関する分 解能が低下する。
[0123] 第 7実施形態は、その問題を解決するため、図 22A及び 22Bに示されるように、 2 つの感光ユニットが 1画素として使用される。第 6実施形態の図 19A及び 19Bにおけ る両側の 2つの制御電極は、電荷が感光ユニット 131で生成される間、隣接する感光 ユニット 131に電荷が流出するのを防止するためのポテンシャルの障壁を形成する 役割を担う。第 7実施形態では、隣接する感光ユニット 131のポテンシャル井戸の間 には 、ずれかの感光ユニット 131で障壁が形成されるから、各感光ユニットに対して 3つの制御電極が設けられ、 1単位に対して 6つの制御電極 13b— 1、 13b— 2、 13b —3、 13b— 4、 13b— 5、 13b— 6力待設けられる。
[0124] 次に、第 7実施形態の動作を説明する。図 22Aにおいては、 +V (所定の正電圧） の電圧力 制御電極 13b— 1、 13b— 2、 13b— 3, 13b— 5の各々に印カロされ、 OVの 電圧が、制御電極 13b— 4、 13b— 6の各々に印加される。図 22Bにおいては、 +V の電圧力 制御電極 13b— 2、 13b— 4、 13b— 5, 13b— 6の各々に印カロされ、 OVの 電圧が、制御電極 13b— 1、 13b— 3の各々に印加される。これら電圧パターンは、 変調信号の位相が逆位相（180度）に変わる毎に、交互に切り替えられる。また、他 の期間においては、 +Vの電圧力 制御電極 13b— 2、 13b— 5の各々に印加され、 OVの電圧力 残りの各制御電極に印加される。これにより、光検出素子は、例えば 図 21に示されるように、図 22Aの電圧パターンで、 QOに対応する電荷を生成するこ とができ、図 22Bの電圧パターンで、 Q2に対応する電荷を生成することができる。ま た、 +Vの電圧が、制御電極 13b— 2、 13b— 5の各々に常に印加されので、 QOに 対応する電荷及び Q2に対応する電荷が集積されて保持されることになる。同様に、 図 22A及び 22Bの両電圧パターンを使用し、両電圧パターンが印加するタイミング を 90度シフトすれば、 Q1に対応する電荷及び Q3に対応する電荷を生成し保持する ことができる。
[0125] QO, Q2に対応する電荷を生成する期間と、 Ql, Q3に対応する電荷を生成する期 間との間で撮像領域 L1から蓄積領域 L2に電荷が転送される。即ち、 QOに対応する 電荷が制御電極 13b— 1、 13b— 2、 13b— 3に対応するポテンシャル井戸 13cに蓄 積され、また Q2に対応する電荷が制御電極 13b— 4、 13b— 5, 13b— 6に対応する ポテンシャル井戸 13cに蓄積されると、 QO, Q2に対応する電荷が取り出される。次 いで、 Q1に対応する電荷が制御電極 13b— 1、 13b— 2、 13b— 3に対応するポテン シャル井戸 13cに蓄積され、また Q3に対応する電荷が制御電極 13b— 4、 13b— 5, 13b— 6に対応するポテンシャル井戸 13cに蓄積されると、 Ql, Q3に対応する電荷 が取り出される。このような動作を繰り返すことによって、 QO〜Q3に対応する電荷を 2回の読出動作で取り出すことができ、取り出した電荷を用いて位相 φを求めること ができる。例えば 30フレーム毎秒の画像が必要とされるとき、 QO, Q2に対応する電 荷を生成する期間及び Ql, Q3に対応する電荷を生成する期間の合計期間は、 60 分の 1秒よりも短い期間となる。
[0126] 一代替実施形態において、図 23Aに示されるように、 +Vの電圧が、制御電極 13b
1、 13b— 2、 13b— 3の各々に印加され、 +V〜OVの間の電圧力 制御電極 13b 5に印加され、 OVの電圧力 制御電極 13b— 4、 13b— 6の各々に印加される一方 、図 23Bに示されるように、 +V〜0Vの間の電圧力 制御電極 13b— 2に印加され、 +Vの電圧が、 13b— 4、 13b— 5, 13b— 6の各々に印加され、 OVの電圧が、制御 電極 13b— 1、 13b— 3の各々に印加される。このように、主として電荷を生成するポ テンシャル井戸を、主として電荷を保持するポテンシャル井戸よりも深くすることにより 、 OVの電圧を印加する各制御電極に対応する領域で生じた電荷が、深い方のポテ ンシャル井戸に流れ込みやすくなるので、電荷を保持するポテンシャル井戸に流れ 込む雑音成分を低減することができる。
[0127] 本発明を幾つかの好ましい実施形態について記述した力 この発明の本来の精神 および範囲を逸脱することなぐ当業者によって様々な修正および変形が可能である
[0128] 例えば、第 6及び第 7実施形態にぉ 、て、 FT方式の CCDイメージセンサと類似す る構成に代えて、インターライン'トランスファ (IT)方式、フレーム 'インターライン'トラ ンスファ (FIT)方式と類似する構成を使用してもよ!、。

Claims

請求の範囲
[1] 検出エリアに面して配置され、距離画像を生成するものであって、その距離画像の 各画像要素は、 1又はそれ以上の物理対象が前記エリアにあるとき、その 1又はそれ 以上の物理対象までの各距離値をそれぞれ含む、距離画像センサと、
前記センサによって生成された距離画像に基づいて、前記エリアにおける 1又はそ れ以上の物理対象を個々に検出する対象検出段と
を備えることを特徴とする個体検出器。
[2] 前記距離画像センサは、下方の前記検出エリアに対して下向きに面して配置され、 前記対象検出段は、前記エリアにおける検出されるべき 1又はそれ以上の物理対 象を、前記距離画像から得られる、その検出されるべき 1又はそれ以上の物理対象 の特定又は各高度における部分のデータに基づいて、個々に検出する
ことを特徴とする請求項 1記載の個体検出器。
[3] 前記対象検出段は、前記センサから予め得られた距離画像である背景距離画像と 前記センサから得られた現在の距離画像との差分に基づ!/、て、前景距離画像を生 成し、その前景距離画像に基づいて、前記エリアにおける検出されるべき 1又はそれ 以上の物理対象としての 1又はそれ以上の人を個々に検出する
ことを特徴とする請求項 2記載の個体検出器。
[4] 前記対象検出段は、前記現在の距離画像の各画像要素から特定の画像要素を抽 出することによって、前記前景距離画像を生成し、
その特定の画像要素は、前記現在の距離画像の画像要素を前記背景距離画像の 対応する画像要素力も引いて得られる距離差分が、所定の距離しきい値よりも大きい ときに、抽出される
ことを特徴とする請求項 3記載の個体検出器。
[5] 前記距離画像センサは、光学系と、その光学系を介して前記検出エリアに面して配 置される 2次元感光アレイとで構成されるカメラ構造を持ち、
前記対象検出段は、予め記録された前記距離画像センサに対するカメラ'キヤリブ レーシヨン'データに基づいて、前記カメラ構造に依存する前記前景距離画像のカメ ラ座標系を直交座標系に変換して、前記物理対象の存在 Z不存在の各位置を示す 直交座標変換画像を生成する
ことを特徴とする請求項 4記載の個体検出器。
[6] 前記対象検出段は、前記直交座標変換画像の直交座標系を、実空間上に仮想的 に設定されるワールド座標系に変換して、前記物理対象の存在 Z不存在の各位置 を実位置及び実寸で示すワールド座標変換画像を生成することを特徴とする請求項 5記載の個体検出器。
[7] 前記対象検出段は、前記ワールド座標変換画像を平行投影で所定平面上に投影 して、前記ワールド座標変換画像における前記平面から見た各画像要素から構成さ れる平行投影画像を生成することを特徴とする請求項 6記載の個体検出器。
[8] 前記対象検出段は、前記ワールド座標変換画像から 1又はそれ以上の物理対象の 部分に該当するサンプリング 'データを抽出し、そして、そのデータが、人の部位に基 づいて予め記録された基準データに該当するか否かを識別して、それぞれそのサン プリング 'データに対応する物理対象が人である力否かを判別することを特徴とする 請求項 6記載の個体検出器。
[9] 前記対象検出段は、前記平行投影画像から 1又はそれ以上の物理対象の部分に 該当するサンプリング ·データを抽出し、そして、そのデータが、人の部位に基づいて 予め記録された基準データに該当するカゝ否かを識別して、それぞれそのサンプリン グ 'データに対応する物理対象が人であるか否かを判別することを特徴とする請求項 7記載の個体検出器。
[10] 前記サンプリング 'データは、前記ワールド座標変換画像に仮想的に表される 1又 はそれ以上の物理対象の部分の体積、又は幅と奥行きと高さとの比であり、 前記基準データは、 1又はそれ以上の人の部位に基づいて予め記録され、その部 位の体積、又は幅と奥行きと高さとの比についての値又は値の範囲である
ことを特徴とする請求項 8記載の個体検出器。
[11] 前記サンプリング 'データは、前記平行投影画像に仮想的に表される 1又はそれ以 上の物理対象の部分の面積、又は幅と奥行きとの比であり、
前記基準データは、 1又はそれ以上の人の部位に基づいて予め記録され、その部 位の面積、又は幅と奥行きとの比についての値又は値の範囲である ことを特徴とする請求項 9記載の個体検出器。
[12] 前記サンプリング 'データは、前記ワールド座標変換画像に仮想的に表される 1又 はそれ以上の物理対象の部分の 3次元パターンであり、
前記基準データは、 1又はそれ以上の人の部位に基づ 、て予め記録された少なく とも一つの 3次元パターンである
ことを特徴とする請求項 8記載の個体検出器。
[13] 前記サンプリング 'データは、前記平行投影画像に仮想的に表される 1又はそれ以 上の物理対象の部分の 2次元パターンであり、
前記基準データは、 1又はそれ以上の人の部位に基づ 、て予め記録された少なく とも一つの 2次元パターンである
ことを特徴とする請求項 9記載の個体検出器。
[14] 前記距離画像センサは、強度変調光を前記検出エリアに発する光源を更に含み、 画像要素毎の受光強度に基づいて、前記距離画像に加えて強度画像を生成し、 前記対象検出段は、前記直交座標変換画像に基づいて、 1又はそれ以上の物理 対象の部分に該当するサンプリング 'データを抽出し、そして前記強度画像に基づい て、前記サンプリング 'データに該当する物理対象の部分に所定強度よりも低い箇所 力 Sあるカゝ否かを判別する
ことを特徴とする請求項 5記載の個体検出器。
[15] 前記距離画像センサは、強度変調赤外光を前記検出エリアに発する光源を更に含 み、前記エリアからの前記赤外光に基づいて、前記距離画像に加えて前記赤外光の 強度画像を生成し、
前記対象検出段は、前記ワールド座標変換画像に基づいて、 1又はそれ以上の物 理対象の部分に該当するサンプリング 'データを抽出し、そして前記強度画像に基づ V、て、前記サンプリング ·データに該当する物理対象の部分からの前記赤外光の平 均強度が所定強度よりも低いか否かを識別して、それぞれそのサンプリング 'データ に対応する物理対象の部分が人の頭部である力否かを判別する
ことを特徴とする請求項 6記載の個体検出器。
[16] 前記対象検出段は、人として判別された物理対象の数を基に、前記平行投影画像 における人として判別された物理対象の部分の位置をクラスタの構成要素に割り当 て、クラスタリングの K一平均アルゴリズムによって得られる分割領域に基づいて、前 記物理対象の数を検証することを特徴とする請求項 8記載の個体検出器。
[17] 前記対象検出段は、人として判別された物理対象の数を基に、前記平行投影画像 における人として判別された物理対象の部分の位置をクラスタの構成要素に割り当 て、クラスタリングの K一平均アルゴリズムによって得られる分割領域に基づいて、前 記物理対象の数を検証することを特徴とする請求項 9記載の個体検出器。
[18] 前記対象検出段は、前記距離画像の各画像要素から特定の画像要素を抽出する こと〖こよって、前景距離画像を生成し、その前景距離画像に基づいて、前記エリアに おける検出されるべき 1又はそれ以上の物理対象としての 1又はそれ以上の人を個 々に検出し、
前記特定の画像要素は、前記距離画像の画像要素の距離値が所定の距離しき!、 値よりも小さいときに、抽出される
ことを特徴とする請求項 2記載の個体検出器。
[19] 前記対象検出段は、前記距離画像の距離値分布の極小値を持つ画像要素付近 の距離画像が、人の部位に基づ 、て予め記録された特定形状及びその特定形状の 大きさに該当する力否かを識別して、それぞれ前記極小値を持つ画像要素付近の 距離画像に対応する物理対象が人であるか否かを判別することを特徴とする請求項 2記載の個体検出器。
[20] 前記対象検出段は、前記距離画像の各距離値から分布画像を生成し、その分布 画像に基づいて、前記検出エリアにおける 1又はそれ以上の物理対象を個々に検出 し、
前記分布画像は、 1又はそれ以上の物理対象が前記検出エリアにあるとき、 1又は それ以上の分布領域を含み、
前記分布領域は、前記距離画像における所定の距離しき!ヽ値よりも小さ！ヽ距離値 を持つ各画像要素から形成され、
前記所定の距離しき!、値は、前記距離画像の各距離値の極小値に所定の距離値 を加算して得られる ことを特徴とする請求項 2記載の個体検出器。
[21] 請求項 2記載の個体検出器と、
共入り検出段とを備え、
前記距離画像センサは、前記距離画像を連続的に生成し、
前記共入り検出段は、共入り警戒時に、前記対象検出段によって検出された 1又は それ以上の人の移動軌跡を個々に追跡し、 2又はそれ以上の人が所定の方向に前 記検出エリアに Z力 移動したときに共入りの発生を検出して、警報信号を出力する ことを特徴とする共入り検出装置。
[22] 請求項 2記載の個体検出器と、
共入り検出段とを備え、
前記距離画像センサは、前記距離画像を連続的に生成し、
前記共入り検出段は、前記対象検出段によって検出された 1又はそれ以上の人の 入及び出とその入及び出の各方向とを監視し、共入り警戒用に設定された規定時間 内に、 2又はそれ以上の人が所定方向に前記検出エリアに Z力 移動したときに共 入りの発生を検出して、警報信号を出力する
ことを特徴とする共入り検出装置。
PCT/JP2005/013928 2004-07-30 2005-07-29 個体検出器及び共入り検出装置 WO2006011593A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/658,869 US8330814B2 (en) 2004-07-30 2005-07-29 Individual detector and a tailgate detection device
EP05767175A EP1772752A4 (en) 2004-07-30 2005-07-29 Single detector and additional detector
CN2005800139668A CN1950722B (zh) 2004-07-30 2005-07-29 个体检测器和共入检测设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004224485 2004-07-30
JP2004-224485 2004-07-30

Publications (1)

Publication Number Publication Date
WO2006011593A1 true WO2006011593A1 (ja) 2006-02-02

Family

ID=35786339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/013928 WO2006011593A1 (ja) 2004-07-30 2005-07-29 個体検出器及び共入り検出装置

Country Status (6)

Country Link
US (1) US8330814B2 (ja)
EP (1) EP1772752A4 (ja)
JP (1) JP4400527B2 (ja)
KR (1) KR101072950B1 (ja)
CN (1) CN1950722B (ja)
WO (1) WO2006011593A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006064695A (ja) * 2004-07-30 2006-03-09 Matsushita Electric Works Ltd 個体検出器及び共入り検出装置
JP2009294755A (ja) * 2008-06-03 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> 混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体
JP2017539114A (ja) * 2014-10-30 2017-12-28 日本電気株式会社 監視システム、監視方法およびプログラム

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5000928B2 (ja) * 2006-05-26 2012-08-15 綜合警備保障株式会社 物体検知装置および方法
JP4857974B2 (ja) * 2006-07-13 2012-01-18 トヨタ自動車株式会社 車両周辺監視装置
JP5118335B2 (ja) * 2006-11-27 2013-01-16 パナソニック株式会社 通過管理システム
JP5016299B2 (ja) * 2006-11-27 2012-09-05 パナソニック株式会社 通過管理システム
JP5170731B2 (ja) * 2007-02-01 2013-03-27 株式会社メガチップス 通行監視システム
JP5065744B2 (ja) * 2007-04-20 2012-11-07 パナソニック株式会社 個体検出器
JP5133614B2 (ja) * 2007-06-22 2013-01-30 株式会社ブリヂストン ３次元形状測定システム
JP5014241B2 (ja) * 2007-08-10 2012-08-29 キヤノン株式会社 撮像装置、およびその制御方法
US9131140B2 (en) 2007-08-10 2015-09-08 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
DE102008016516B3 (de) * 2008-01-24 2009-05-20 Kaba Gallenschütz GmbH Zugangskontrollvorrichtung
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
CN101937563B (zh) * 2009-07-03 2012-05-30 深圳泰山在线科技有限公司 一种目标检测方法和设备及其使用的图像采集装置
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
DE102010011225B3 (de) * 2010-03-12 2011-02-24 Mühlbauer Ag Personendurchgangskontrolle mit Kamerasystem
JP5369036B2 (ja) * 2010-03-26 2013-12-18 パナソニック株式会社 通過者検出装置、通過者検出方法
US9355556B2 (en) 2010-04-15 2016-05-31 Iee International Electronics & Engineering S.A. Configurable access control sensing device
EP2395451A1 (en) * 2010-06-09 2011-12-14 Iee International Electronics & Engineering S.A. Configurable access control sensing device
WO2011139734A2 (en) * 2010-04-27 2011-11-10 Sanjay Nichani Method for moving object detection using an image sensor and structured light
WO2012023639A1 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 다수의 센서를 이용하는 객체 계수 방법 및 장치
JP5845582B2 (ja) * 2011-01-19 2016-01-20 セイコーエプソン株式会社 位置検出システム、表示システム及び情報処理システム
JP5845581B2 (ja) * 2011-01-19 2016-01-20 セイコーエプソン株式会社 投写型表示装置
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
JP5177461B2 (ja) 2011-07-11 2013-04-03 オプテックス株式会社 通行監視装置
TW201322048A (zh) * 2011-11-25 2013-06-01 Cheng-Xuan Wang 景深變化偵測系統、接收裝置、景深變化偵測及連動系統
CN103164894A (zh) * 2011-12-08 2013-06-19 鸿富锦精密工业（深圳）有限公司 票闸控制装置及方法
EP2704107A3 (en) * 2012-08-27 2017-08-23 Accenture Global Services Limited Virtual Access Control
EP2893521A1 (en) * 2012-09-07 2015-07-15 Siemens Schweiz AG Methods and apparatus for establishing exit/entry criteria for a secure location
TWI448990B (zh) * 2012-09-07 2014-08-11 Univ Nat Chiao Tung 以分層掃描法實現即時人數計數
JP2014092998A (ja) * 2012-11-05 2014-05-19 Nippon Signal Co Ltd:The 乗降客数カウントシステム
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction
CN103268654A (zh) * 2013-05-30 2013-08-28 苏州福丰科技有限公司 一种基于三维面部识别的电子锁
CN103345792B (zh) * 2013-07-04 2016-03-02 南京理工大学 基于传感器景深图像的客流统计装置及其方法
US9199576B2 (en) 2013-08-23 2015-12-01 Ford Global Technologies, Llc Tailgate position detection
JP6134641B2 (ja) * 2013-12-24 2017-05-24 株式会社日立製作所 画像認識機能を備えたエレベータ
JP6300571B2 (ja) * 2014-02-27 2018-03-28 日鉄住金テクノロジー株式会社 収穫補助装置
US9823350B2 (en) * 2014-07-31 2017-11-21 Raytheon Company Linear mode computational sensing LADAR
US9311802B1 (en) 2014-10-16 2016-04-12 Elwha Llc Systems and methods for avoiding collisions with mobile hazards
US9582976B2 (en) 2014-10-16 2017-02-28 Elwha Llc Systems and methods for detecting and reporting hazards on a pathway
CN104809794B (zh) * 2015-05-18 2017-04-12 苏州科达科技股份有限公司 门禁控制方法及系统
JP6481537B2 (ja) * 2015-07-14 2019-03-13 コニカミノルタ株式会社 被監視者監視装置および被監視者監視方法
CN105054936B (zh) * 2015-07-16 2017-07-14 河海大学常州校区 基于Kinect景深图像的快速身高和体重测量方法
JP6512034B2 (ja) * 2015-08-26 2019-05-15 富士通株式会社 測定装置、測定方法及び測定プログラム
ES2751364T3 (es) * 2016-02-04 2020-03-31 Holding Assessoria I Lideratge S L Hal Sl Detección de acceso fraudulento en puertas de acceso controlado
CN106157412A (zh) * 2016-07-07 2016-11-23 浪潮电子信息产业股份有限公司 一种人员准入系统及方法
EP3598175B1 (en) * 2017-03-14 2023-06-21 Konica Minolta, Inc. Object detection system
JP6713619B2 (ja) * 2017-03-30 2020-06-24 株式会社エクォス・リサーチ 身体向推定装置および身体向推定プログラム
CN108280802A (zh) * 2018-01-12 2018-07-13 盎锐（上海）信息科技有限公司 基于3d成像的图像获取方法及装置
CN108184108A (zh) * 2018-01-12 2018-06-19 盎锐（上海）信息科技有限公司 基于3d成像的图像生成方法及装置
CN108268842A (zh) * 2018-01-12 2018-07-10 盎锐（上海）信息科技有限公司 图像识别方法及装置
CN108089773B (zh) * 2018-01-23 2021-04-30 歌尔科技有限公司 一种基于景深投影的触控识别方法、装置及投影部件
WO2019161562A1 (en) * 2018-02-26 2019-08-29 Intel Corporation Object detection with image background subtracted
CN110008802B (zh) 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
EP3680814A1 (de) * 2019-01-14 2020-07-15 Kaba Gallenschütz GmbH Verfahren zur erkennung von bewegungsabläufen und passiererkennungssystem
CN109867186B (zh) * 2019-03-18 2020-11-10 浙江新再灵科技股份有限公司 一种基于智能视频分析技术的电梯困人检测方法及系统
JP7311299B2 (ja) * 2019-04-10 2023-07-19 株式会社国際電気通信基礎技術研究所 人認識システムおよび人認識プログラム
US10850709B1 (en) * 2019-08-27 2020-12-01 Toyota Motor Engineering & Manufacturing North America, Inc. Facial recognition and object detection for vehicle unlocking scenarios
WO2021050753A1 (en) * 2019-09-10 2021-03-18 Orion Entrance Control, Inc. Method and system for providing access control
CA3181167A1 (en) * 2020-04-24 2021-10-28 Alarm.Com Incorporated Enhanced property access with video analytics
CN112050944B (zh) * 2020-08-31 2023-12-08 深圳数联天下智能科技有限公司 门口位置确定方法及相关装置
CN117916781A (zh) * 2021-08-31 2024-04-19 亚萨合莱自动门系统有限公司 用于操作人员分离装置的方法以及人员分离装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
JP2002277239A (ja) * 2001-03-19 2002-09-25 Matsushita Electric Works Ltd 距離測定装置
JP2003057007A (ja) 2001-08-10 2003-02-26 Matsushita Electric Works Ltd 距離画像を用いた人体検知方法
JP2003196656A (ja) * 2001-12-28 2003-07-11 Matsushita Electric Works Ltd 距離画像処理装置
JP2004124497A (ja) * 2002-10-02 2004-04-22 Tokai Riken Kk 本人確認と連れ込み防止の機能を備えた入退室管理システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1057626C (zh) 1994-01-07 2000-10-18 中国大恒公司 区域移动物体监视控制管理系统
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JP3233584B2 (ja) * 1996-09-04 2001-11-26 松下電器産業株式会社 通過人数検知装置
AU2003221893A1 (en) 2002-04-08 2003-10-27 Newton Security Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
JP2004062980A (ja) * 2002-07-29 2004-02-26 Toyota Gakuen 磁性合金、磁気記録媒体、および磁気記録再生装置
US20040260513A1 (en) * 2003-02-26 2004-12-23 Fitzpatrick Kerien W. Real-time prediction and management of food product demand
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
WO2006011593A1 (ja) * 2004-07-30 2006-02-02 Matsushita Electric Works, Ltd. 個体検出器及び共入り検出装置
JP4122384B2 (ja) * 2005-01-31 2008-07-23 オプテックス株式会社 通行監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
JP2002277239A (ja) * 2001-03-19 2002-09-25 Matsushita Electric Works Ltd 距離測定装置
JP2003057007A (ja) 2001-08-10 2003-02-26 Matsushita Electric Works Ltd 距離画像を用いた人体検知方法
JP2003196656A (ja) * 2001-12-28 2003-07-11 Matsushita Electric Works Ltd 距離画像処理装置
JP2004124497A (ja) * 2002-10-02 2004-04-22 Tokai Riken Kk 本人確認と連れ込み防止の機能を備えた入退室管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1772752A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006064695A (ja) * 2004-07-30 2006-03-09 Matsushita Electric Works Ltd 個体検出器及び共入り検出装置
JP2009294755A (ja) * 2008-06-03 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> 混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体
JP2017539114A (ja) * 2014-10-30 2017-12-28 日本電気株式会社 監視システム、監視方法およびプログラム
US10735693B2 (en) 2014-10-30 2020-08-04 Nec Corporation Sensor actuation based on sensor data and coverage information relating to imaging range of each sensor
US10893240B2 (en) 2014-10-30 2021-01-12 Nec Corporation Camera listing based on comparison of imaging range coverage information to event-related data generated based on captured image
US11800063B2 (en) 2014-10-30 2023-10-24 Nec Corporation Camera listing based on comparison of imaging range coverage information to event-related data generated based on captured image

Also Published As

Publication number Publication date
US8330814B2 (en) 2012-12-11
KR20080047485A (ko) 2008-05-28
JP2006064695A (ja) 2006-03-09
JP4400527B2 (ja) 2010-01-20
CN1950722B (zh) 2010-05-05
EP1772752A1 (en) 2007-04-11
US20090167857A1 (en) 2009-07-02
EP1772752A4 (en) 2009-07-08
CN1950722A (zh) 2007-04-18
KR101072950B1 (ko) 2011-10-17

Similar Documents

Publication Publication Date Title
JP4400527B2 (ja) 共入り検出装置
JP6764547B1 (ja) カメラを用いた追跡及び許可延長システム
US7397929B2 (en) Method and apparatus for monitoring a passageway using 3D images
US7400744B2 (en) Stereo door sensor
US20210272086A1 (en) Automated vending case with an integrated credential reader
CN106144795B (zh) 通过识别用户操作用于乘客运输控制和安全的系统和方法
CN106144797B (zh) 用于乘客运输的通行列表产生
CN106144862B (zh) 用于乘客运输门控制的基于深度传感器的乘客感测
Ko A survey on behavior analysis in video surveillance for homeland security applications
JP5155553B2 (ja) 入退室管理装置
US20050249382A1 (en) System and Method for Restricting Access through a Mantrap Portal
CN101552910B (zh) 基于全方位计算机视觉的遗留物检测装置
CN102833478B (zh) 容错背景模型化
MX2007016406A (es) Deteccion y rastreo de objetivo a partir de flujos de video aereos.
WO2011139734A2 (en) Method for moving object detection using an image sensor and structured light
EP1771749A1 (en) Image processing device
JP2013250856A (ja) 監視システム
CN108701211A (zh) 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统
KR20070031896A (ko) 개체 검출기 및 동반입장 검출 디바이스
Zou et al. Occupancy detection in elevator car by fusing analysis of dual videos
WO2007138025A1 (en) Electro-optical device for counting persons, or other, based on processing three-dimensional images, and relative method
WO2019156599A1 (en) System and method of people&#39;s movement control
US20230410545A1 (en) Lidar-based Alert System
Bianchi et al. Evaluation of a foreground segmentation algorithm for 3d camera sensors
Jia et al. Anti-Tailing AB-Door Detection Based on Motion Template Algorithm

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005767175

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020067022873

Country of ref document: KR

Ref document number: 200580013966.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 1020067022873

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005767175

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11658869

Country of ref document: US