WO2004012142A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2004012142A1
WO2004012142A1 PCT/JP2002/007632 JP0207632W WO2004012142A1 WO 2004012142 A1 WO2004012142 A1 WO 2004012142A1 JP 0207632 W JP0207632 W JP 0207632W WO 2004012142 A1 WO2004012142 A1 WO 2004012142A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
area
unit
image capturing
Prior art date
Application number
PCT/JP2002/007632
Other languages
English (en)
French (fr)
Inventor
Manabu Hashimoto
Kentaro Hayashi
Kazuhiko Sumi
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to PCT/JP2002/007632 priority Critical patent/WO2004012142A1/ja
Priority to JP2004524082A priority patent/JP4127545B2/ja
Priority to EP02751738A priority patent/EP1526477B1/en
Priority to US10/493,434 priority patent/US7142694B2/en
Priority to DE60236461T priority patent/DE60236461D1/de
Priority to CNB028251091A priority patent/CN1321394C/zh
Publication of WO2004012142A1 publication Critical patent/WO2004012142A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Definitions

  • the present invention relates to an image processing apparatus capable of automatically recognizing the state of a passenger such as an elevator, specifically, whether or not there is a passenger in a wheelchair among the passengers.
  • the elevator speed of the car is lower than in the normal operation mode, and the landing accuracy between the car and the floor of the hall when the floor is stopped is more precise than in the normal operation mode.
  • the elevator speed is not reduced by lowering the elevator speed and the landing accuracy is not particularly increased. Can be improved.
  • the switching of the operation mode for the elevator system due to the getting on and off of the wheelchair passengers is performed by pushing the wheelchair passenger's own push button when the wheelchair passenger calls the car, or by getting in the car.
  • the operation was performed by operating a push button exclusively for wheelchair passengers.
  • the operation mode of the elevator system for such wheelchair passengers It is desirable that switching be performed by automatically detecting wheelchair passengers in consideration of the convenience of wheelchair passengers. Also, when young children get into the elevator, they may accidentally or unknowingly press the button dedicated to wheelchair passengers, which will reduce the efficiency of the elevator operation. From this point as well, it is desirable to automatically detect passengers in wheelchairs and automatically switch the operation mode of the elevator.
  • an image processing device for automatically recognizing whether or not the passenger in the wheelchair is going to enter the elevator is required.
  • it is not an image processing device for recognizing passengers in wheelchairs as a conventional technology relating to image recognition and recognition of passengers in an elevator, for example, Japanese Patent Application Laid-Open No. 6-92563 discloses an elevator person counting device. ing.
  • FIG. 14 is a block diagram showing the configuration of this conventional elevator counting device.
  • the elevator number-of-people measuring device includes an imaging unit 901, an image processing unit 902, a neural network 903, and a number-of-heads determining unit 904.
  • the imaging means 901 is installed in the ceiling of the elevator car or in the elevator hall, which is located above the passenger's head, and is installed so as to image vertically below.
  • the state of the elevator car or the state of the elevator wheel is imaged by the imaging means 901, and is input to the image processing means 902.
  • FIG. 15 is an image captured by the imaging means 901, and shows a state in which three people 906 to 908 are captured.
  • the image processing means 902 is a binary image based on the absolute value of the difference between each pixel value of the captured image and the background image of the elevator car or elevator hall in the absence of a human being. By performing the difference processing, the difference image is generated, and the human region is clarified. Further, the image processing means 902 divides the binary-differentiated difference image into a plurality of blocks having different areas, calculates a ratio of a human region for each block, and outputs the calculated result as input data. Into the dual network 903. Next, the input data is processed by a previously trained dual-node network 903, and the output signal is input to the number-of-people determination means 904. In the number-of-people determination means 904, the number of people is determined from the output signal from the neural network 903, and the result is transmitted and output to another control device or the like according to the purpose.
  • this conventional elevator person counting device is applied to the above-described image processing device for recognizing a passenger in a wheelchair in an elevator, when an image of a person is taken from above, an image is taken from the side or obliquely from above. Because the image is extremely small compared to the case where the image is taken, it is not possible to stably determine whether the imaged person is a normal standing pedestrian or a person in a wheelchair. There was a title.
  • each person when a plurality of people are present adjacent to each other, each person can be separated, and a pedestrian standing on a wheelchair or a wheelchair is taken from a captured image. It is an object of the present invention to provide an image processing device capable of determining whether a person is a human. Disclosure of the invention
  • An image processing apparatus includes: an image capturing unit that captures an image in a target region to be monitored; and a face region extracting unit that extracts a human face region from an image captured by the image capturing unit.
  • a distance measuring unit that measures a distance from the image capturing unit for each position of the image captured by the image capturing unit; and a distance measuring area that is a predetermined distance below the extracted human face region.
  • Distance distribution calculating means for calculating a distance distribution from the image capturing means in the distance measuring area using the distance measured by the distance measuring means; and A wheelchair presence determining whether or not a person having the face region is in a wheelchair by comparing the measured distance of the face region from the image capturing means with the distance distribution in the distance measurement area. And determining means.
  • the image in the target area to be monitored is captured by the image capturing means, and the human face area is extracted from the image captured by the image capturing means by the face area extracting means. Further, the distance from the image pickup means is measured for each position of the image picked up by the image pickup means by the distance measurement means. Further, the distance distribution calculation means sets a distance measurement area below the extracted human face area by a predetermined distance, and uses the distance measured by the distance measurement means from the image pickup means in the distance measurement area. Is calculated. Then, the wheelchair presence determination unit compares the distance of the face area measured by the distance measurement unit from the image capturing unit with the distance distribution of the distance measurement area, and the person having the face area is in the wheelchair. It is determined whether or not.
  • the image processing apparatus is the image processing apparatus according to the above invention, wherein a difference image is generated from an image captured by the image capturing unit and a background image in which no object in the target area exists. Extracting a region that has changed based on the change region detection unit, wherein the face region extraction unit extracts a face region only in the changed region extracted by the change region detection unit.
  • a difference image is generated by the change region detection unit from the image captured by the image imaging unit and a background image in which no object in the target region exists, and based on the generated difference image Then, the changed area is extracted. Then, the face area is extracted by the face area extracting means only in the changed area extracted by the changing area detecting means.
  • An image processing apparatus is characterized in that, in the above invention, the distance measuring means is a scanning laser range finder.
  • a scanning laser range finder is used as the distance measuring means. I am trying to be.
  • the image processing apparatus is the image processing apparatus according to the above invention, wherein a difference image is generated from an image captured by the image capturing unit and a background image in which no object in the target area exists. Extracting a region that has changed based on the change region detection unit, wherein the face region extraction unit extracts a face region only in the changed region extracted by the change region detection unit.
  • a difference image is generated by the change region detection unit from the image captured by the image imaging unit and a background image in which no object in the target region exists, and based on the generated difference image Then, the changed area is extracted. Then, a face area is extracted by the face area extracting means only in the changed area extracted by the change area detecting means.
  • the image processing apparatus captures an image of the target area to be monitored.
  • the first image capturing means captures an image of the target area, which is arranged at a distance in the horizontal direction.
  • Second and third image capturing means; face area extracting means for extracting a human face area from the image captured by the first image capturing means; and the second and third images A stereo that measures a distance from the first image capturing unit for each position of the image captured by the first image capturing unit by a stereo method using two images captured by the image capturing unit.
  • Calculating means for setting a distance measurement area below the extracted human face area by a predetermined distance, and using the distance measured by the stereo calculation means to calculate the distance in the distance measurement area.
  • Image capturing means A distance distribution calculating means for calculating a distance distribution from the image data; anda distance between the face area measured by the stereo calculating means from the first image capturing means and a distance distribution in the distance measuring area. And a wheelchair presence determining means for determining whether or not the person having the face region is in a wheelchair.
  • the image in the target area to be monitored is provided by the first image capturing means.
  • An image is captured, and a human face area is extracted from the image captured by the first image capturing means by the face area extracting means.
  • the image of the target area is captured by the second and third image capturing means arranged at a distance in the horizontal direction, and is captured by the second and third image capturing means by the stereo calculation means.
  • the distance from the first image capturing unit is measured for each position of the image captured by the first image capturing unit by the stereo method using the images.
  • a distance measurement area is set below the extracted human face area by a predetermined distance by the distance distribution calculation means, and the distance measurement area in the distance measurement area is set using the distance measured by the stereo calculation means.
  • the distance distribution from the first image pickup means is calculated. Then, the distance of the face area measured by the stereo calculation means from the first image capturing means and the distance distribution in the distance measurement area are compared by the wheelchair presence determination means, and the person having the face area is placed on the wheelchair. It is determined whether or not the person is riding. '
  • the image processing apparatus is the image processing apparatus according to the above invention, wherein the difference image is generated from an image captured by the first image capturing unit and a background image in which no object in the target area exists.
  • the image processing apparatus further includes a change area detection unit that extracts a region that has changed based on the generated difference image, wherein the face region extraction unit includes a face only in the change region extracted by the change region detection unit. It is characterized by extracting a region.
  • a difference image is generated by the change region detection unit from the image captured by the first image capturing unit and a background image in which no object in the target region exists, and the generated difference image is generated.
  • the changed area is extracted on the basis of this. Further, the face area is extracted only by the face of the change extracted by the change area detecting means by the face area extracting means.
  • An image processing apparatus comprises: a first image capturing means for capturing an image in a target area to be monitored; a first image capturing means arranged horizontally apart from the first image capturing means; Second image capturing means for capturing an image of the subject; and face area extracting means for extracting a human face area from the image captured by the first image capturing means; Using the two images captured by the first and second image capturing means, each position of the image captured by the first image capturing means by the stereo method is described.
  • a stereo calculation means for measuring a distance from the first image pickup means; and a distance measurement area set a predetermined distance below the extracted human face area, and the distance is measured by the stereo calculation means.
  • a distance distribution calculating means for calculating a distance distribution from the first image capturing means in the distance measuring area by using the measured distance; and a calculation of the face area measured by the stereo calculating means.
  • the first image capturing unit compares the distance between the force and the distance with the distance distribution in the distance measurement area, and determines whether or not the force of the person having the face region is in a wheelchair.
  • Judgment means and And butterflies are used to calculate a distance distribution from the first image capturing means in the distance measuring area by using the measured distance; and a calculation of the face area measured by the stereo calculating means.
  • an image in the target area to be monitored is captured by the first image capturing means, and the second image capturing means is disposed at a distance from the first image capturing means in the horizontal direction.
  • the face area extracting means extracts a human face area from the image captured by the first image capturing means, and the two images captured by the first and second image capturing means by the stereo calculation means. Using this image, the distance from the first image capturing unit is measured for each position of the image captured by the first image capturing unit by the stereo method.
  • a distance measurement area is set by a predetermined distance below the extracted human face region by the distance distribution calculation means, and the distance measurement area in the distance measurement area is set using the distance measured by the stereo calculation means.
  • a distance distribution from one image capturing unit is calculated. Then, the distance of the face area measured by the stereo calculation means from the first image capturing means and the distance distribution in the distance measurement area are compared by the wheelchair presence determination means, and the person having the face area is It is determined whether or not the vehicle is riding.
  • the image processing apparatus is the image processing apparatus according to the invention described above, wherein a difference image is generated from an image captured by the first image capturing unit and a background image in which no object in the target area exists. And a change area detecting means for extracting a changed area based on the generated difference image.
  • the method is characterized in that a face area is extracted only in a changed area extracted by the outputting means.
  • a change image is generated by the change area detecting means from the image captured by the first image capturing means and the ray background image in which no object in the target area exists, and the generated difference is generated.
  • the changed area is extracted based on the image.
  • the face area extracting means extracts the face area only in the changed area extracted by the changing area detecting means.
  • FIG. 1 is a block diagram showing Embodiment 1 of the image processing apparatus of the present invention
  • FIG. 2 is a diagram showing a method for roughly calculating the height of a person in a target area
  • the figure is a diagram for explaining a method of determining whether a person in the target area is in a wheelchair
  • FIG. 3 (a) schematically shows a state in which a passenger is standing.
  • FIG. 3 (b) is a front view showing the distance measurement area set for the passenger (a)
  • FIG. 4 is a diagram showing whether a person in the target area is in a wheelchair.
  • Fig. 4 (a) schematically shows a state in which a passenger is in a wheelchair
  • FIG. 4 (b) is a diagram for explaining a method of making a determination of (a).
  • FIG. 5 is a front view showing a distance measurement area set for a passenger, and FIG. 5 shows a distance measurement within the distance measurement area.
  • Fig. 6 (a) is a schematic diagram for explaining the method of Fig. 6.
  • Fig. 6 (a) shows the horizontal position of each section in the distance measurement area and each section in the distance measurement area.
  • Fig. 6 (b) is a distribution map of the passenger compartment when the passenger is in a standing position, created using the horizontal distance from the image pickup unit of Fig. 6 as a parameter.
  • FIG. 7 (a) is a diagram in which the horizontal distance of a representative point of the face area from the image pickup unit is plotted, and FIG. Fig.
  • FIG. 7 (b) is a distribution map of the partitions when the passenger is in a wheelchair, created using the horizontal position and the horizontal distance of each partition from the image capturing unit as parameters.
  • FIG. 8 is a diagram in which the horizontal distance of the table point from the image pickup unit is plotted.
  • FIG. 8 is a flowchart showing the processing procedure of the image processing apparatus shown in FIG. 1, and
  • FIG. 9 is an image of this invention.
  • FIG. 10 is a block diagram showing a second embodiment of the processing apparatus.
  • FIG. 10 is a diagram for explaining the principle of the twin-lens stereo method
  • FIG. 11 is a diagram showing the image processing shown in FIG.
  • FIG. 12 is a flowchart showing a processing procedure of the image processing device.
  • FIG. 10 is a block diagram showing a second embodiment of the processing apparatus.
  • FIG. 10 is a diagram for explaining the principle of the twin-lens stereo method
  • FIG. 11 is a diagram showing the image processing shown in FIG.
  • FIG. 12 is a block diagram showing Embodiment 3 of the image processing device of the present invention.
  • FIG. 13 is a block diagram showing the image processing device shown in FIG.
  • FIG. 14 is a flowchart showing a processing procedure of the processing device,
  • FIG. 14 is a block diagram of a conventional example of an image processing device, and
  • FIG. 15 is an image processing device shown in FIG.
  • FIG. 4 is a diagram showing an image taken by an image pickup means.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention.
  • the image processing apparatus includes an image capturing unit 1 that captures an image of a monitoring area, a distance measuring unit 2 that measures a distance at each position in a field of view, and an image capturing unit that captures an image captured by an image capturing unit 1.
  • a face area extraction unit 3 for extracting a face area
  • a distance measurement area calculation unit 4 for setting a distance measurement area for obtaining a distance from an image
  • a distance distribution calculation unit 5 for calculating a distance distribution in the distance measurement area
  • It has a wheelchair presence determination unit 6 that determines whether a person is in a wheelchair based on the distance distribution.
  • the distance distribution calculation means in the claims corresponds to the distance measurement area calculation unit 4 and the distance distribution calculation unit 5.
  • the image capturing unit 1 is configured by a device realized by a CCD camera or the like, and is installed near the ceiling of an elevator hall in a car of an elevator so that a human face to be imaged can be imaged and monitored.
  • the target area is imaged. That is, in the present invention, the image capturing unit 1 does not capture an image vertically below the target area, but It is installed so as to capture images from obliquely above or from the side.
  • the I® image capturing section 1 is connected to the face area extracting section 3 and outputs image data to the face area extracting section 3.
  • the distance measurement unit 2 is implemented by a scanning laser range finder or the like that irradiates the target area with a pulsed laser while scanning it, and measures the distance to the object by reflecting the laser light from an object present in the target area.
  • the laser light generating section 21 is configured by a device realized by a semiconductor laser or the like that emits a pulse laser, and is mounted at substantially the same position as the image capturing section 1. Then, by changing the manner in which the laser light blinks, the laser light has a light emission pattern for associating the emitted laser light with a point of the reflected laser light imaged by the laser light detection unit 23. Control is performed by switching the pulse laser on and off according to the light emission pattern.
  • the laser beam scanning unit 22 scans the pulse laser so as to scan the pulse laser emitted from the laser beam generating unit 21 according to the light emission pattern in synchronization with the image capturing timing by the laser beam detection unit 23. Control speed and scanning range.
  • the laser light detection unit 23 is configured by a device realized by a CCD camera or the like, and sets a state in which the pulse laser emitted from the laser light generation unit 21 is reflected by the object as a laser light reflection image, and sets the laser light reflection image as a laser light reflection image.
  • the image is captured in synchronization with the scanning of the scanning unit 22, and the image storage unit 24 stores the laser light reflection image captured by the laser light detection unit 23 together with time information.
  • the distance calculation unit 25 reads the laser light reflection image stored in the image storage unit 24, and calculates the distance from the laser light generation unit 21 to the laser light reflection position by image processing. Since the time at which the image was captured is associated with the scanning angle (and emission pattern) of the laser light generation unit 21 at that time, the scanning angle, the laser light generation unit 21 and the laser light detection unit 2 From the distance between 3, based on the principle of triangulation, the three-dimensional position on the object irradiated by the pulsed laser, The distance from the laser light generator 21 (image pickup unit 1) is measured. The distance data storage unit 26 stores the measured distance data.
  • the face area extraction unit 3 extracts a human face area from the input image from the image capturing unit 1 by using a human face area extraction algorithm, and calculates the position of the extracted face area, for example, the center of gravity of the face area. . Then, the face area is stored together with the position of the face area.
  • a human face region extraction algorithm for example, a method of extracting a face region based on the extraction of a skin color portion in a color image, a specific human face image is prepared as a template, and a captured image is most often used for this template.
  • Known methods such as a method of extracting an overlapping portion as a face region (template matching) and a method of extracting a face region by detecting a face part such as an eye, a nose, a mouth, and an ear from a captured image are used.
  • a face part such as an eye, a nose, a mouth, and an ear from a captured image
  • the distance measurement area calculation unit 4 which stores the extracted face regions together with the calculated positions of the face regions, stores the extracted face regions.
  • Set the distance measurement area based on the position.
  • the distance measurement area is a part of the target area set to determine whether the passenger of the elevator is a standing passenger or a wheelchair passenger.
  • the distance measurement area is set as an area near the knee of the passenger in the wheelchair (area below the knee) with reference to the position of the human face.
  • FIG. 2 is a diagram showing a method of setting a distance measurement error by the distance measurement error calculating section 4.
  • the position of the wheelchair of the passenger in the wheelchair (the position of the knee when the user is in the wheelchair) is located a predetermined distance below the face of the passenger 100 in the wheelchair.
  • the distance measurement area is set from the statistical data that Specifically, first, when calculating the distance measurement area, the distance measurement area calculation unit 4 holds reference data on the width of a general human face, and the reference data is extracted by the face area extraction unit 3. By comparing the width of the obtained face area 111 with the reference data, the distance L from the image capturing unit 1 to the person having the face area 111 is calculated.
  • the installation depression angle of the imaging unit 1, that is, the angle 0 at which the optical axis of the lens of the imaging unit 1 forms a horizontal line, and the installation height H from the floor of the imaging unit 1 are determined when the imaging unit 1 is installed. Using the distance L, the installation depression angle 0, and the installation height H, the approximate height h of the passenger 100 from the floor can be measured,
  • the distance measurement area 1 is located at a position located a predetermined distance s below the center of the face of the target passenger 100. 1 2 is set. This distance measurement area 112 has a predetermined range so that a portion below the target knee can be extracted even if the size of the passenger 100 is different.
  • the distance distribution calculation unit 5 extracts only the distance data within the distance measurement area set by the distance measurement area calculation unit 4 from the distance data measured by the distance measurement unit 2, and Calculate the distance distribution. Then, the result of the distance distribution is output to the wheelchair presence determination unit 6. Since the distance distribution calculation unit 5 calculates the distance distribution only for the distance data in the set distance measurement area, it is possible to save the calculation time of the distance distribution in other areas.
  • the wheelchair presence determination unit 6 determines the force of the target person on the wheelchair. Judgment is made, and the judgment result is output to the outside.
  • FIG. 3 (a) schematically shows a state in which the passenger is in a standing position
  • FIG. 3 (b) is a front view showing a distance measurement area set for the passenger in (a).
  • Fig. 4 (a) schematically shows a passenger in a wheelchair
  • Fig. 4 (b) shows a front view to show the distance measurement area set for the passenger in (a).
  • FIG. 5 is a schematic diagram for explaining a method of distance measurement in the distance measurement area.
  • Fig. 6 (a) shows that all the blocks that compose the distance measurement area Fig.
  • FIG. 6 (b) is a distribution diagram of the partitions when the passenger is in a standing position, in which the horizontal position in the distance measurement area and the horizontal distance of each partition from the image pickup unit are created as parameters.
  • () Is a diagram in which the horizontal distance of the representative point of the face area of the passenger from the image capturing unit is plotted in the distribution diagram of (a).
  • Fig. 7 (a) shows the parameters of the horizontal position in the distance measurement area of each section and the horizontal distance of each section from the image pickup unit for all the sections constituting the distance measurement area.
  • Fig. 7 (b) shows the distribution map of (a) when the passenger is in a wheelchair. This is a plot of the horizontal distance.
  • P1 indicates a representative point of the face area, for example, the center of gravity (the two-dimensional center of gravity of the face area when viewed from the front).
  • P2 indicates a point from the representative point P1 of the face area. Indicates the position in the distance measurement area 1 1 2 set below the fixed distance, and T 1 and T 2 are distance meters subtracted from the center of the lens of the image pickup unit 1 to the positions P 1 and P 2.
  • L1 and L2 indicate the distances from the center of the lens of the image pickup unit to the positions P1 and P2, respectively.
  • the distance measurement area 112 set in FIGS. 3 (b) and 4 (b) includes other than the target passenger 100 except for the target passenger 100. It is assumed that there is no moving object, and the background is sufficiently far away from the passenger's horizontal distance from the image pickup unit.
  • the distance distribution calculation unit 5 causes the distance distribution calculation unit 5 to execute FIG.
  • the horizontal distance L 2 -cos (T 2) from the image capturing unit 1 at the position P 2 in the distance measurement area 1 12 set as shown in FIG. 4 (b) is calculated.
  • a distance measurement area 112 as shown in FIG. 5 is used.
  • the upper right end of the distance measurement area 1 1 2 is taken as the origin
  • the X axis is taken horizontally and rightward from this origin
  • the y axis is taken downward and perpendicular to the X axis through the origin.
  • M in X direction Aliquoted (m is a natural number) each string obtained by, in order from the side closer to the origin, Xl, x 2,.
  • the distance measurement area 1 12 on the X-axis and the horizontal distance from the image pickup unit 1 are used as parameters to obtain the distance measurement area. 1 Create a distribution map of all plots in 12.
  • the X-axis is the “position of the distance measurement area on the X-axis”, and the X-axis of the distance measurement area 112 shown in FIG. It has the same axis.
  • the y-axis is “horizontal distance from image pickup unit”, which is the horizontal distance from image pickup unit 1 calculated for each section.
  • the z-axis is the “number of sections at the same position”, and the position on the X-y plane indicated by a combination of the above (position of the distance measurement area on the X-axis, horizontal distance from the image pickup unit)
  • ⁇ and ⁇ indicate whether the shoes overlap.
  • a distribution map as shown in (a) is obtained, but the distribution graph in which the horizontal distance from the image pickup unit 1 is drawn in the portion of R1 is within the distance measurement area 112 in FIG. 4 (b).
  • the distribution graph which represents the area near the feet (knees) of the existing passenger 100 and whose horizontal distance from the image pickup unit 1 is drawn at R 2, is included in the upper part of the distance measurement area 112. It shows the part near the abdomen.
  • the distribution graph in which the horizontal distance from the image capturing unit 1 is R3 is a ray background portion where the feet of the passenger 100 do not exist in the distance measurement area 112.
  • the horizontal distance L1-of the center of gravity P1 of the face area from the image capturing unit 1 is determined. cos (T1) is longer than the horizontal distance L2-cos (T2) of the position P2 of the foot in the distance measurement area 112 from the image capturing unit 1. Then, when the horizontal distance of the center of gravity P1 of the face area from the image pickup unit 1 is plotted in FIG. 7 (a), the position is represented by the image pickup unit 1 as shown in FIG. 7 (b). Is equal to the horizontal distance R 2 from.
  • the wheelchair presence determination unit 6 determines the center of gravity position P 1 of the face area measured by the distance measurement unit 2 and the distance measurement area 1 12 calculated by the distance distribution calculation unit 5. Are compared with each other, and if both are located linearly in the vertical direction, the target passenger 100 is determined to be in a standing position, and both are positioned in the vertical direction. When there is no linear positional relationship, it is determined that the target passenger 100 is in a wheelchair. The result is output to an external device such as an elevator control device.
  • the wheelchair presence determination unit 6 determines whether the passenger 100 is standing or in a wheelchair by determining the center of gravity position P 1 of the face area and the distance measurement area 1. As described above, the case where the determination is made by comparing the distance distribution within the area 2 is described as an example. It is also possible to compare with the distance distribution in 1 1 2. For example, in this case, the entire face area is divided into a plurality of sections, and the horizontal position of each section in the face area and the image pickup unit 1 of each section are determined for all the divided sections. By creating a distribution map of the parcels using the horizontal distance as a parameter and comparing them with Figs. 6 (a) and 7 (a), it is checked whether the passenger 100 is standing or in a wheelchair. It can be determined whether or not the vehicle is in a state of being in the vehicle.
  • a target area such as an elevator car or an elevator hall is imaged by the image imaging unit 1, and the image is input to the face area extraction unit 3 (step S1).
  • the face area extraction unit 3 extracts a target human face area from the input image and calculates the position of the center of gravity (step S2).
  • the distance measurement area calculation unit 4 calculates the distance of the target person from the image pickup unit 1 from the extracted face area, and sets the distance measurement area a predetermined distance below the center of gravity of the face area. (Step S3).
  • the laser light generating unit 21 and the laser light scanning unit 22 scan the target area while irradiating the pulsed laser, and synchronize with the laser light scanning unit 22.
  • the laser light detection unit 23 captures an image of the laser light reflected by the object in the target area, and the captured laser light reflection image is stored in the image storage unit 24. Be stacked.
  • the distance calculation unit 25 calculates the distance from the laser light generation unit 21 (image imaging unit 1) to the target object from the accumulated laser light reflection image and the scanning angle of the laser light scanning unit 22.
  • the obtained distance data is stored in the distance data storage unit 26 (step S4).
  • the distance distribution calculation unit 5 extracts the distance data in the distance measurement area from the distance data storage unit 26, and calculates the distance distribution (step S5). Then, the wheelchair presence determination unit 6 compares the center of gravity of the face area stored in the distance data storage unit 26 with the calculated distance distribution of the distance data in the distance measurement area, and determines the center of gravity of the face area. If it is determined that the distribution position of the distance data within the distance measurement result is on the vertical line, the target person is determined to be in the standing position, and the center of gravity of the face area is determined. If it is determined that the position and the distribution position of the distance data in the distance measurement area are not on a vertical line, it is determined that the target person is in a wheelchair (step S 6). Then, the judgment result is output to the outside (step S7), and the process is terminated.
  • the result output by the wheelchair presence determination unit 6 is used, for example, to change the operation mode of the elevator by the elevator control unit.
  • the wheelchair presence determination unit 6 determines that there is a passenger in a wheelchair in the target area, for example, the elevator speed is lower than usual, and when the floor stops, the car and the hall floor surface Set the wheelchair operation mode in the elevator control section, such as adjusting the landing accuracy of the vehicle more precisely than usual.
  • the wheelchair presence determination unit 6 determines that there is only a standing passenger in the target area, normal operation such as not lowering the power and speed of lifting / lowering and not particularly increasing the landing accuracy is required. Set the mode to the elevator control.
  • the image capturing unit 1 and the laser beam detecting unit 23 of the distance measuring unit 2 are forces that are respectively installed at different positions. 3 may be installed at substantially the same position.
  • the laser light generator 21 needs to be mounted at a different position from the image pickup unit 1. It is also possible to use, as the laser light generator 21, a pulse laser that is deformed into a slit shape by a cylindrical lens / lens and is long in the vertical (longitudinal) direction. In this case, the distance distribution of one line in the vertical direction can be measured by one image pickup by the laser light detection unit 23, and therefore, there is an advantage that the scanning direction may be only the horizontal direction.
  • the position of the center of gravity of the human face region from the image captured by the image capturing unit 1 and the distance distribution in the region below the face region by a predetermined distance, specifically, the region below the knee are calculated. are compared to determine whether or not the imaged person is in a wheelchair. This has the effect that the presence of a passenger in a wheelchair can be recognized with a high probability.
  • FIG. 9 is a block diagram showing a configuration of Embodiment 2 of the image processing apparatus according to the present invention.
  • the image processing apparatus according to the second embodiment is different from the first embodiment in that the distance measurement unit 2 of the image processing apparatus shown in FIG.
  • Other configurations are the same as those of the first embodiment, and the same components are denoted by the same reference numerals and description thereof will be omitted.
  • the first image capturing unit 1 of the second embodiment corresponds to the image capturing unit 1 of FIG.
  • the distance distribution calculation means in the claims corresponds to the distance measurement area calculation unit 4 and the distance distribution calculation unit 5.
  • the second image capturing section 31 and the third image capturing section 32 are configured by devices realized by a CCD camera or the like, and are arranged at a distance from each other in the horizontal direction.
  • the imaging regions of the second image capturing unit 31 and the third image capturing unit 32 are designed so that the first image capturing unit 1 can capture a target region. The distance from the imaging unit 1 to the target existing in the target area can be calculated.
  • the second image capturing unit 31 and the third image capturing unit 32 are arranged at substantially the same position as the position of the first image capturing unit 1.
  • the stereo calculation unit 33 obtains the parallax between the pixels of the two images input from the second image capturing unit 31 and the third image capturing unit 32 whose geometrical positional relationship is known in advance, and calculates the parallax. It detects the distance to the object by detecting and converting the parallax into a distance, and has a distance calculation unit 34 and a distance data storage unit 35.
  • Two image pickup units 31, 32 realized by a CCD camera or the like having optical lenses 201A and 201B that are parallel to each other and have the same focal length ⁇ and have a ⁇ lens are arranged at a predetermined interval D in the horizontal direction.
  • the horizontal axis on which the two image pickup units 31 and 32 are arranged is defined as the X axis
  • the axis orthogonal to the X axis and extending in the height direction is defined as the Y axis
  • both the X axis and the Y axis are used.
  • the orthogonal axis be the Z axis.
  • an image captured by the (second) image capturing unit 31 is referred to as an image A
  • an image captured by the (third) image capturing unit 32 is referred to as an image B.
  • XA—XB S is the parallax, and this parallax S is one of the two image capturing units 31 and 32 in which the optical axes 201 A and 201 B are parallel and set at a predetermined distance D.
  • D the difference between the positions of the images captured by the respective image capturing units 31 and 32 is shown. In this manner, the distance from the two images A and B captured by the second image capturing unit 31 and the third image capturing unit 32 to the object on the image can be obtained.
  • the distance calculation unit 34 of the stereo calculation unit 33 converts the two images A and B input by the second image pickup unit 31 and the third image pickup unit 32 into the first
  • the distance from the image capturing unit 1 to the target is calculated.
  • the distance data storage unit 35 stores the distance data calculated by the distance calculation unit 34.
  • the second image capturing section 31 captures the image of the target area.
  • the captured image is stored in the stereo calculation unit 33 (step S14).
  • the third image capturing unit 32 captures an image of the target area, and the captured image is stored in the stereo calculation unit 33 (step S15). Note that in steps S14 to S15, the imaging of the target area by the second image capturing unit 31 and the third image capturing unit 32 may be performed at the same time, or may be performed at a predetermined time interval. Good.
  • the distance calculation unit 34 of the stereo calculation unit 33 calculates and calculates the distance from the first image pickup unit 1 for each position in the image by performing stereo image processing from the two stored images.
  • the distance data is stored in the distance data storage unit 35 (step S16).
  • step S5 the same processing as in steps S5 to S7 described in FIG. 8 of the first embodiment is performed to determine whether or not the human having the extracted face region is in a wheelchair or not.
  • step S17 to S19 the distance distribution of the distance data in the distance measurement area by a predetermined distance below the center of gravity of the face area in the image captured by the first image capturing unit 1 was calculated, and the center of gravity of the face area was calculated. Compare the distance distribution with the distance data in the distance measurement area. As a result of the comparison, if the center of gravity of the face area and the distance distribution of the distance data in the distance meter are on a vertical line, the person having the face area is determined to be a standing passenger, and the face area is determined. Center of gravity and distance measurement area If the distance distribution of the distance data in the area does not exist on the vertical line, the person having the face area is determined to be a passenger in a wheelchair, and the result of the determination is output to the outside. The process ends.
  • the determination result by the wheelchair presence determination unit 6 can be used, for example, to change the operation mode of the elevator by the elevator control unit, as in the first embodiment.
  • the first image capturing unit 1 for extracting a face region, the second image capturing unit 31 for performing stereo image processing, and the third image capturing unit The case where three image capturing units of 3 2 are installed has been described.However, the first image capturing unit 1 and the second image capturing unit 32 are shared, and the two image capturing units described above are used. It is also possible to perform the following processing. That is, the first image capturing unit 1 captures an image of the target region, obtains an image for extracting a face region, obtains an image for performing stereo image processing, and obtains an image for performing stereo image processing. May be configured to obtain another image for performing stereo image processing. This is because in the second embodiment, the two images required for performing the stereo image processing need not be simultaneously captured by the second image capturing unit 31 and the third image capturing unit 32. It depends on the good.
  • the wheelchair presence determination unit 6 determines whether the passenger is in a standing position or in a wheelchair, based on the position of the center of gravity of the face area and the distance measurement area. As an example, the determination was made by comparing the distance distribution with the distance distribution of the face area. The distance distribution may be compared with the distance distribution.
  • stereo image processing is used as a method for measuring the distance from the first image capturing unit 1 to the object, so that the device configuration for measuring the distance can be made more compact. It has the effect of being able to.
  • FIG. 12 is a block diagram showing a configuration of an image processing apparatus according to a third embodiment of the present invention.
  • the image processing device described in the first embodiment is provided with a changed region detecting unit 41 that extracts only a changed region from an image captured by the image capturing unit 1.
  • Other configurations are the same as those of the first embodiment, and the same components are denoted by the same reference characters and description thereof is omitted.
  • the change area detection unit 41 has a background image captured in a state where an object such as a human does not exist in a target area captured by the image capturing unit 1, and an image captured by the image capturing unit 1 is
  • the difference image processing is performed to binarize the absolute value of the difference between each pixel value in the two images of the captured image and the background image based on a predetermined threshold, and the difference image is calculated. Generate.
  • a changed portion that does not exist in the background image is recorded as a candidate for the object.
  • the position information of the changed portion in the difference image is output to the face area extracting unit 3.
  • the distance distribution calculation means in the claims corresponds to the distance measurement area calculation section 4 and the distance distribution calculation section 5.
  • the face area extraction section 3 uses this position information to select the human input from the image input from the image pickup section 1.
  • the human face area is extracted according to the face area extraction algorithm, and the position of the face area, for example, the center of gravity is calculated.
  • the face area is stored together with the position of the face area.
  • the inside of the elevator car or the elevator hall is imaged by the image imaging unit 1, and the captured image is input to the face area extraction unit 3 and the change area detection unit 41 (step S21).
  • the change area detection unit 41 generates a difference image from the input image and the background image, detects a changed area from the obtained difference image, and outputs the position information to the face area extraction unit 3 (step S22).
  • the face area extraction unit 3 extracts a target human face area from the change areas in the image input from the image imaging unit 1 based on the position information of the change area input from the change area detection unit 41. It is extracted and its center of gravity is calculated (step S23).
  • the same processing as in steps S3 to S7 described in FIG. 8 of Embodiment 1 is performed, and it is determined whether or not a passenger in a wheelchair exists in the target area.
  • the result is output to the outside (steps 324 to 328). That is, when an image is captured, the distance to the target at each position in the image is measured.
  • a distance measurement area is set for a human image having the extracted face region, and a distance distribution is calculated based on distance data of each position measured in the distance measurement area. Then, the center of gravity of the face area is compared with the calculated distance distribution of the distance data in the distance measurement area.
  • the person having the face area is determined to be a standing passenger, and the face area is determined. If the position of the center of gravity and the distance distribution of the distance data in the distance measurement area do not exist on a vertical line, the person having the face area is determined to be a passenger in a wheelchair, and the determination result is sent to the outside. Output and end processing.
  • the determination result by the wheelchair presence determination unit 6 can be used, for example, to change the operation mode of the elevator by the elevator control unit, as in the first embodiment.
  • the distance measuring unit 2 is constituted by a device realized by the same scanning laser range finder as in the first embodiment is exemplified.
  • Stereo image processing by the binocular stereo method described in the second embodiment may be used. That is, instead of the distance measuring unit 2 in FIG. 12, the second image capturing unit 31, the third image capturing unit 32 and the stereo calculation unit 33, or the second image capturing unit 31 and (4) It may be configured to have the stereo calculation unit 33.
  • the wheelchair presence determination unit 6 determines whether the passenger is in a standing position or in a wheelchair, based on the position of the center of gravity of the face area and the distance measurement area.
  • the distance distribution from the image pickup unit 1 is not the center of gravity of the face area but the entire face area as the representative point of the face area. It may be compared with the distance distribution in the distance measurement area.
  • a changed area is extracted by generating a difference image from the image of the captured target area and the background image prepared in advance by the changed area detection unit 41. Since the face area is extracted by the face area extraction unit 3 in the changed area, the time required to extract the face area can be reduced. In addition, it is possible to suppress an erroneous determination in which an image pattern resembling a human face existing in the target area is determined to be a human face, thereby enabling more accurate extraction of a face area. Having.
  • a face region is extracted from an image obtained by capturing a target region, and a distance distribution from an image capturing unit in a distance measurement error set below the face region by a predetermined distance. And the distance of the face area from the image capturing means is compared to determine whether a person having the face area is in a wheelchair, so that the presence of a wheelchair passenger can be recognized with a high probability. It has the effect of being able to.
  • a difference image is generated from an image captured by the image capturing unit and a background image in which no object is present in the target area, and an area having a change based on the generated difference image is determined.
  • the face area extracting means Since it is configured to further include the change area detecting means for extracting, there is an effect that the time for extracting the face area by the face area extracting means can be reduced. In addition, it is possible to suppress an erroneous determination that an image pattern resembling a human face existing in the target area is determined to be a human face, thereby enabling more accurate extraction of a face area. Having.
  • a scanning laser range finder is used as the distance measuring means, so that the distance from the image pickup means to the target existing in the target area can be accurately measured.
  • a difference image is generated from an image captured by the image capturing unit and a background image in which no object is present in the target area, and an area having a change based on the generated difference image is determined. Since it is configured so as to further include a change area detecting means for extracting, it is possible to reduce a time for extracting a face area by the face area extracting means. This has the effect. In addition, it is possible to suppress an erroneous determination that an image pattern resembling a human face existing in the target area is determined to be a human face, thereby enabling more accurate extraction of a face area. Having.
  • the two images in the target area imaged by the second and third image imaging means are imaged by the first image imaging means by the stereo calculation means. Since the distance from the first image pickup means at each position of the image to the object present at that position is measured, the distance from the first image pickup means to the target object can be determined with a simple device configuration. It has the effect of being able to measure.
  • a difference image is generated from an image captured by the first image capturing unit and a ray background image in which no object in the target area exists, and a difference image is generated based on the generated difference image. Since it is configured to further include a change area detecting unit that extracts a region that has been located, it is possible to reduce the time required to extract a face area by the face area extracting unit. In addition, it is possible to suppress erroneous determination that an image pattern resembling a human face existing in the target area is determined to be a human face, and it is possible to extract a more accurate face area. This has the effect.
  • the image of the target region imaged by the first image imaging means and the second image imaging means arranged at a distance from the first image imaging means in the horizontal direction.
  • the first image capturing means includes an image for extracting a face area in the target area, and an image for measuring a distance between the first image capturing means and the target in the target area by a stereo method.
  • a difference image is generated from an image captured by the first image capturing unit and a ray background image in which no object in the target area exists, and a difference image is generated based on the generated difference image. Since it is configured to further include a change area detecting unit that extracts a region that has been located, it is possible to reduce the time required to extract a face area by the face area extracting unit. In addition, it is possible to suppress erroneous determination that an image pattern resembling a human face existing in the target area is determined to be a human face, and it is possible to extract a more accurate face area. This has the effect. Industrial applicability
  • the image processing apparatus automatically switches the operation mode of the elevator when there is a passenger in a wheelchair in an elevator car, an elevator hall, or the like. It is suitable for passenger detection systems for elevators used in automobiles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

監視すべき対象領域内の画像を撮像する画像撮像手段と、画像撮像手段で撮像された画像から人間の顔領域を抽出する顔領域抽出手段と、画像撮像手段で撮像された画像の各位置について、画像撮像手段からの距離を計測する距離計測手段と、抽出された人間の顔領域から所定の距離だけ下方に距離計測エリアを設定し、距離計測手段で計測された距離を用いて距離計測エリア内における画像撮像手段からの距離分布を計算する距離分布計算手段と、距離計測手段で計測された顔領域の画像撮像手段からの距離と距離計測エリア内の距離分布とを比較して、顔領域を有する人間が車椅子に乗車しているか否かを判定する車椅子存在判定手段とを備える。

Description

技術分野
この発明は、 エレベータなどの乗客の状態、 具体的には乗客の中に車椅子に乗 車している乗客がいるか否かを自動的に認識することができる画像処理装置に関 明
するものである。
田 背景技術 ，
エレベータの運行において、 かご内に乗車する乗客が車椅子に乗車している障 害者であるかまたは健常者であるかを判別することは重要である。 なぜならば、 健常者がェレベータを利用するときには通常運行モードに、 車椅子の乗客が利用 する場合には車椅子の乗客に配慮した特別な車椅子運行モードにと、 ェレベータ の運行の形態を変更することによって、 車椅子の乗客に対して安全で快適なェレ ベータの利用を提供することが可能になるからである。
この車椅子運行モードとしては、 例えば、 かごの昇降速度を通常運行モードに 比して低くし、 また階床停止時にかごとホール床面との着床精度を通常運行モー ドに比して精密に合わせるなどの運行形態がある。 また、 健常者が乗車している 場合には、 かごの昇降速度を低くせず、 また着床精度を特に高めないことによつ て、 エレベータの移動時間を低減し、 ひいてはエレベータの運行効率を向上させ ることができる。
従来では、 このような車椅子の乗客の乗降によるエレベータシステムに対する 運行モードの切り替えは、 車椅子の乗客がかごを呼ぶ際に車椅子乗客専用の押し ボタンを自分で操作するか、 またはかご内に乗車してから同様に車椅子乗客専用 の押しボタンを操作することによって、 行われていた。
しかし、 このような車椅子の乗客に対するエレベータシステムの運行モードの 切り替えは、 車椅子の乗客の利便性を考慮して車椅子の乗客を自動的に検知して 行うことが望ましい。 また、 年齢の低い子供達がエレベータに乗る際に、 間違え てまたは気がつかないで車椅子乗客専用のボタンを押してしまうこともあり、 こ の場合にはエレベータの運行効率を損ねる結果になってしまうので、 この点から も車椅子の乗客を自動的に検知してェレベータの運行モードを自動的に切り替え ることが望ましい。
このように、 乗客の種類によってエレベータの運行モードを自動的に変更する ためには、 車椅子の乗客がエレベータに乗車しようとしているか否かを自動的に 認識するための画像処理装置が必要となる。 車椅子の乗客を認識する画像処理装 置ではないが、 エレベータにおける乗客の画像認、識に関する従来技術として、 例 えば、 特開平 6— 9 2 5 6 3号公報にエレベータの人数計測装置が開示されてい る。
第 1 4図は、 この従来のェレベータの人数計測装置の構成を示すプロック図で ある。 このエレベータの人数計測装置は、 撮像手段 9 0 1、 画像処理手段 9 0 2 、 ニューラルネットワーク 9 0 3および人数判定手段 9 0 4を有している。 ここ で、 撮像手段 9 0 1は、 エレベータのかご内やエレベータホールで、 乗客の頭上 に位置する天井部に設置され、 鉛直下方を撮像するように設置されている。 まず、 最初に撮像手段 9 0 1によってエレベータのかご内またはエレベータホ ールの状態が撮像され、 画像処理手段 9 0 2に入力される。 第 1 5図は、 撮像手 段 9 0 1によって撮像された画像であり、 3人の人間 9 0 6〜9 0 8が写ってい る様子を示している。 画像処理手段 9 0 2は、 撮像された画像と、 予め人間の存 在しない状態で'ェレベータのかご内またはェレベータホールを撮像した背景画像 における各画素値の差の絶対値を基準に二値化する差分処理を行うことによって 、 差分画像を生成し、 人間領域を明確化する。 また、 画像処理手段 9 0 2は、 二 値ィ匕された差分画像を面積の異なる複数のプロックに分割して、 各プロックにつ いて人間領域の占める割合を算出し、 算出した結果を入力データとして二ユーラ ルネットワーク 9 0 3に入力する。 つぎに、 予め学習させておいた二ユーラノレネットワーク 9 0 3によって、 入力 データが処理され、 その出力信号が人数判定手段 9 0 4に入力される。 人数判定 手段 9 0 4では、 ニューラルネットワーク 9 0 3からの出力信号から人数が判定 され、 目的に応じてこの結果が他の制御装置などに伝送、 出力される。
しかしながら、 この従来のエレベータの人数計測装置を上述したエレベータに おける車椅子の乗客を認識する画像処理装置に適用した場合を想定すると、 上方 から人間を撮像した場合には、 横からまたは斜め上方から撮像した場合に比して 極端に小さく撮像されるので、 撮像された人間が通常の立位の歩行者か、 または 車椅子に乗車している人間であるかを安定的に判別することができないという問 題点があった。
また、 複数の人間が隣接して存在する場合に、 隣接する個々の乗客を分離する ことができないので、 得られた画像が通常の立位の歩行者であるのか、 または車 椅子に乗車している人間であるかを判別することができないという問題点があつ た。
従って、 この発明は、 複数の人間が隣接して存在する場合に、 個々の人間を分 離することができ、 また、 撮像された画像から立位の歩行者かまたは車椅子に乗 車している人間であるかを判別することが可能な画像処理装置を提供することを 目的としている。 発明の開示
この発明にかかる画像処理装置は、 監視すべき対象領域内の画像を撮像する画 像撮像手段と、 前記画像撮像手段によつて撮像された画像から人間の顔領域を抽 出する顔領域抽出手段と、 前記画像撮像手段によって撮像された画像の各位置に ついて、 前記画像撮像手段からの距離を計測する距離計測手段と、 前記抽出され た人間の顔領域から所定の距離だけ下方に距離計測エリアを設定し、 前記距離計 測手段によって計測された距離を用いて前記距離計測エリア内における前記画像 撮像手段からの距離分布を計算する距離分布計算手段と、 前記距離計測手段によ つて計測された前記顔領域の前記画像撮像手段からの距離と前記距離計測ェリァ 内の距離分布とを比較して、 前記顔領域を有する人間が車椅子に乗車しているか 否かを判定する車椅子存在判定手段と、 を備えることを特徴とする。
この発明によれば、 画像撮像手段によって、 監視すべき対象領域内の画像が撮 像され、 顔領域抽出手段によって、 画像撮像手段で撮像された画像から人間の顔 領域が抽出される。 また、 距離計測手段によって、 画像撮像手段で撮像された画 像の各位置について、 画像撮像手段からの距離が計測される。 さらに、 距離分布 計算手段によって、 抽出された人間の顔領域から所定の距離だけ下方に距離計測 ェリァが設定され、 距離計測手段で計測された距離を用いて距離計測ェリア内に おける画像撮像手段からの距離分布が計算される。 そして、 車椅子存在判定手段 によって、 距離計測手段で計測された顔領域の画像撮像手段からの距離と距離計 測ェリァ內の距離分布とが比較され、 顔領域を有する人間が車椅子に乗車してい るか否かが判定される。
つぎの発明にかかる画像処理装置は、 上記の発明において、 前記画像撮像手段 によって撮像された画像と、 前記対象領域内の物体が存在しない背景画像とから 差分画像を生成して、 生成した差分画像に基づいて変化のあった領域を抽出する 変化領域検出手段をさらに備え、 前記顔領域抽出手段は、 前記変化領域検出手段 によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする この発明によれば、 変化領域検出手段によって、 画像撮像手段で撮像された画 像と、 対象領域内の物体が存在しない背景画像とから差分画像が生成され、 生成 された差分画像に基づいて変化のあった領域が抽出される。 そして、 顔領域抽出 手段によって、 変化領域検出手段で抽出された変化のあつた領域でのみ顔領域が 抽出される。
つぎの発明にかかる画像処理装置は、 上記の発明において、 前記距離計測手段 は、 走査型レーザレンジフアインダであることを特徴とする。
この発明によれば、 距離計測手段として、 走査型レーザレンジファインダを用 いるようにしている。
つぎの発明にかかる画像処理装置は、 上記の発明において、 前記画像撮像手段 によって撮像された画像と、 前記対象領域内の物体が存在しない背景画像とから 差分画像を生成して、 生成した差分画像に基づいて変化のあった領域を抽出する 変化領域検出手段をさらに備え、 前記顔領域抽出手段は、 前記変化領域検出手段 によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする この発明によれば、 変化領域検出手段によって、 画像撮像手段で撮像された画 像と、 対象領域内の物体が存在しない背景画像とから差分画像が生成され、 生成 された差分画像に基づいて変化のあった領域が抽出される。 そして、 顔領域抽出 手段によって、 変化領域検出手段で抽出された変化のあった領域でのみ顔領域が 抽出される。
つぎの発明にかかる画像処理装置は、 監視すべき対象領域内の画像を撮像する •第 1の画像撮像手段と、 水平方向に距離をおいて配置された、 前記対象領域の画 像を撮像する第 2および第 3の画像撮像手段と、 前記第 1の画像撮像手段によつ て撮像された画像から人間の顔領域を抽出する顔領域抽出手段と、 前記第 2およ び第 3の画像撮像手段によって撮像された 2枚の画像を用いて、 ステレオ法によ つて前記第 1の画像撮像手段によって撮像された画像の各位置について、 前記第 1の画像撮像手段からの距離を計測するステレオ演算手段と、 前記抽出された人 間の顔領域から所定の距離だけ下方に距離計測ェリァを設定し、 前記ステレオ演 算手段によつて計測された距離を用いて前記距離計測ェリア内における前記第 1 の画像撮像手段からの距離分布を計算する距離分布計算手段と、 前記ステレオ演 算手段によつて計測された前記顔領域の前記第 1の画像撮像手段からの距離と前 記距離計測エリア内の距離分布とを比較して、 前記顔領域を有する人間が車椅子 に乗車しているカゝ否かを判定する車椅子存在判定手段と、 を備えることを特徴と する。
この発明によれば、 第 1の画像撮像手段によって、 監視すべき対象領域内の画 像が撮像され、 顔領域抽出手段によって、 第 1の画像撮像手段で撮像された画像 力 ら人間の顔領域が抽出される。 また、 水平方向に距離をおいて配置された第 2 および第 3の画像撮像手段によって、 対象領域の画像が撮像され、 ステレオ演算 手段によって、 第 2および第 3の画像撮像手段で撮像された 2枚の画像を用いて 、 ステレオ法によって第 1の画像撮像手段で撮像された画像の各位置について、 第 1の画像撮像手段からの距離が計測される。 さらに、 距離分布計算手段によつ て、 抽出された人間の顔領域から所定の距離だけ下方に距離計測エリアが設定さ れ、 ステレオ演算手段で計測された距離を用いて距離計測ェリア内における第 1 の画像撮像手段からの距離分布が計算される。 そして、 車椅子存在判定手段によ つて、 ステレオ演算手段で計測された顔領域の第 1の画像撮像手段からの距離と 距離計測エリア内の距離分布とが比較され、 顔領域を有する人間が車椅子に乗車 している力否かが判定される。 '
つぎの発明にかかる画像処理装置は、 上記の発明において、'前記第 1の画像撮 像手段によって撮像された画像と、 前記対象領域内の物体が存在しない背景画像 とから差分画像を生成して、 生成した差分画像に基づいて変化のあった領域を抽 出する変化領域検出手段をさらに備え、 前記顔領域抽出手段は、 前記変化領域検 出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴 とする。
この発明によれば、 変化領域検出手段によって、 第 1の画像撮像手段で撮像さ れた画像と、 対象領域内の物体が存在しない背景画像とから差分画像が生成され 、 生成された差分画像に基づいて変化のあった領域が抽出される。 また、 顔領域 抽出手段によつて、 変化領域検出手段で抽出された変化のあつた領域でのみ顔領 域が抽出される。
つぎの発明にかかる画像処理装置は、 監視すべき対象領域内の画像を撮像する 第 1の画像撮像手段と、 前記第 1の画像撮像手段と水平方向に距離をおいて配置 され、 前記対象領域の画像を撮像する第 2の画像撮像手段と、 前記第 1の画像撮 像手段によって撮像された画像から人間の顔領域を抽出する顔領域抽出手段と、 前記第 1および第 2の画像撮像手段によつて撮像された 2枚の画像を用いて、 ス テレオ法によつて前記第 1の画像撮像手段によつて撮像された画像の各位置につ いて、 前記第 1の画像撮像手段からの距離を計測するステレオ演算手段と、 前記 抽出された人間の顔領域から所定の距離だけ下方に距離計測エリアを設定し、 前 記ステレオ演算手段によつて計測された距離を用レ、て、 前記距離計測ェリア内に おける前記第 1の画像撮像手段からの距離分布を計算する距離分布計算手段と、 前記ステレオ演算手段によつて計測された前記顔領域の前記第 1の画像撮像手段 力、らの距離と前記距離計測エリア内の距離分布とを比較して、 前記顔領域を有す る人間が車椅子に乗車している力否かを判定する車椅子存在判定手段と、 を備え ることを特徴とする。
この発明によれば、 第 1の画像撮像手段によって、 監視すべき対象領域内の画 像が撮像され、 第 1の画像撮像手段と水平方向に距離をおいて配置された第 2の 画像撮像手段によって、 対象領域の画像が撮像される。 また、 顔領域抽出手段に よって、 第 1の画像撮像手段で撮像された画像から人間の顔領域が抽出され、 ス テレオ演算手段によって、 第 1および第 2の画像撮像手段によって撮像された 2 枚の画像を用いて、 ステレオ法によって第 1の画像撮像手段で撮像された画像の 各位置について、 第 1の画像撮像手段からの距離が計測される。 さらに、 距離分 布計算手段によって、 抽出された人間の顔領域から所定の距離だけ下方に距離計 測エリアが設定され、 ステレオ演算手段で計測された距離を用いて、 距離計測ェ リア内における第 1の画像撮像手段からの距離分布が計算される。 そして、 車椅 子存在判定手段によって、 ステレオ演算手段で計測された顔領域の第 1の画像撮 像手段からの距離と距離計測エリァ内の距離分布とが比較され、 顔領域を有する 人間が車椅子に乗車している力否かが判定される。
つぎの発明にかかる画像処理装置は、 上記の発明において、 前記第 1の画像撮 像手段によつて撮像された画像と、 前記対象領域内の物体が存在しない背景画像 とから差分画像を生成して、 生成した差分画像に基づいて変化のあった領域を抽 出する変化領域検出手段をさらに備え、 前記顔領域抽出手段は、 前記変化領域検 出手段によって抽出された変化のあつた領域でのみ顔領域を抽出することを特徴 とする。
この発明によれば、 変化領域検出手段によって、 第 1の画像撮像手段で撮像さ れた画像と、 対象領域内の物体が存在しなレヽ背景画像とから差分画像が生成され 、 生成された差分画像に基づいて変化のあった領域が抽出される。 また、 顔領域 抽出手段によって、 変化領域検出手段で抽出された変化のあつた領域でのみ顔領 域が抽出される。 図面の簡単な説明
第 1図は、 この発明の画像処理装置の実施の形態 1を示すブロック図であり、 第 2図は、 対象領域内の人間の高さを概略的に求める方法を示す図であり、 第 3 図は、 対象領域内の人間が車椅子に乗車しているかの判定を行う方法を説明する ための図であり、 第 3図 （a ) は、 乗客が立位にある状態を模式的に示しており 、 第 3図 （b ) は、 （a ) の乗客に対して設定された距離計測エリアを示すため の正面図であり、 第 4図は、 対象領域内の人間が車椅子に乗車しているかの判定 を行う方法を説明するための図であり、 第 4図 （a ) は、 乗客が車椅子に乗車し ている状態を模式的に示しており、 第 4図 （b ) は、 （a ) の乗客に対して設定 された距離計測エリアを示すための正面図であり、 第 5図は、 距離計測エリア内 における距離計測の方法を説明するための模式図であり、 第 6図 （a ) は、 距離 計測エリアを構成するすべての区画に対して、 各区画の距離計測エリア内での水 平方向の位置と各区画の画像撮像部からの水平距離とをパラメータとして作成し た、 乗客が立位の状態にある場合の区画の分布図であり、 第 6図 （b ) は、 （a ) の分布図に乗客の顔領域の代表点の画像撮像部からの水平距離をプロットした 図であり、 第 7図 （a ) は、 距離計測エリアを構成するすべての区画に対して、 各区画の距離計測エリア内での水平方向の位置と各区画の画像撮像部からの水平 距離とをパラメータとして作成した、 乗客が車椅子に乗車している状態にある場 合の区画の分布図であり、 第 7図 （b ) は、 （a ) の分布図に乗客の顔領域の代 表点の画像撮像部からの水平距離をプロットした図であり、 第 8図は、 第 1図に 示した画像処理装置の処理手順を示すフローチャートであり、 第 9図は、 この発 明の画像処理装置の実施の形態 2を示すプロック図であり、 第 1 0図は、 2眼ス テレオ法の原理を説明するための図であり、 第 1 1図は、 第 9図に示した画像処 理装置の処理手順を示すフローチャートであり、 第 1 2図は、 この発明の画像処 理装置の実施の形態 3を示すプロック図であり、 第 1 3図は、 第 1 2図に示した 画像処理装置の処理手順を示すフローチャートであり、 第 1 4図は、 画像処理装 置の従来例のブロック図を示すものであり、 第 1 5図は、 第 1 4図に示される画 像処理装置の撮像手段によつて撮像された画像を示す図である。 発明を実施するための最良の形態
以下、 添付図面を参照して、 この発明にかかる画像処理装置の好適な実施の形 態を詳細に説明する。
実施の形態 1 .
第 1図は、 この発明にかかる画像処理装置の実施の形態 1の構成を示すブロッ ク図である。 この第 1図において、 画像処理装置は、 監視領域内を撮像する画像 撮像部 1、 視野内の各位置で距離を計測する距離計測部 2、 画像撮像部 1によつ て撮像された画像から顔領域を抽出する顔領域抽出部 3、 画像から距離を求める ための距離計測ェリァを設定する距離計測ェリァ計算部 4、 '距離計測ェリァ内で の距離分布を計算する距離分布計算部 5、 および距離分布から人間が車椅子に乗 車しているかを判定する車椅子存在判定部 6を有する。 なお、 請求の範囲におけ る距離分布計算手段は、 距離計測ェリァ計算部 4と距離分布計算部 5に対応して いる。
画像撮像部 1は、 C C Dカメラなどによって実現される装置から構成され、 ェ レベータのかご内ゃェレベータホールの天井付近に撮像対象である人間の顔を撮 像できるように設置され、 監視すべき対象領域を撮像する。 すなわち、 この発明 では、 画像撮像部 1は、 対象領域の鉛直下方を撮像するのではなく、 対象領域を 斜め上方または横から撮像するように設置される。 I®像撮像部 1は、 顔領域抽出 部 3と接続され、 撮像データを顔領域抽出部 3に出力する。
距離計測部 2は、 対象領域内にパルスレーザを走査しながら照射し、 対象領域 内に存在する物体によるレーザ光の反射によって、 その物体までの距離を計測す る走査型レーザレンジファインダなどによって実現される装置から構成され、 レ 一ザ光発生部 2 1、 レーザ光走査部 2 2、 レーザ光検出部 2 3、 画像記憶部 2 4
、 距離算出部 2 5および距離データ格納部 2 6を有する。
。レーザ光発生部 2 1は、 パルスレーザを出射する半導体レーザなどによって実 現される装置から構成され、 画像撮像部 1とほぼ同じ位置に取り付けられる。 そ して、 レーザ光の点滅の仕方を変えて、 出射するレーザ光とレーザ光検出部 2 3 によつて撮像される反射レーザ光の点とを対応付けるための発光パターンを有し ており、 この発光パターンにしたがって、 パルスレーザのオン Zオフを切り替え て制御を行う。 レーザ光走查部 2 2は、 レーザ光検出部 2 3による画像取り込み タイミングと同期してレーザ光発生部 2 1から発光パターンにしたがって出射さ れるパルスレーザを走查するように、 パルスレーザの走査速度および走査範囲を 制御する。
レーザ光検出部 2 3は、 C C Dカメラなどによって実現される装置から構成さ れ、 レーザ光発生部 2 1から照射されたパルスレーザが対象物によって反射され る状態をレーザ光反射画像として、 レーザ光走査部 2 2の走査と同期して撮像す るものであり、 画像記憶部 2 4は、 このレーザ光検出部 2 3で撮像されたレーザ 光反射画像を時刻情報とともに記憶する。
距離算出部 2 5は、 画像記憶部 2 4に蓄積されたレーザ光反射画像を読み出し 、 画像処理によってレ^ "ザ光発生部 2 1からレーザ光反射位置までの距離を算出 する。 算出にあたって、 画像が撮像された時刻とそのときのレーザ光発生部 2 1 の走査角度 （および発光パターン） とは対応付けされているので、 この走査角度 と、 レーザ光発生部 2 1とレーザ光検出部 2 3の間の距離とから、 三角測量の原 理に基づいて、 そのパルスレーザが照射された対象物上の 3次元位置、 すなわち 、 レーザ光発生部 2 1 (画像撮像部 1 ) からの距離が計測される。 距離データ格 納部 2 6は、 この計測された距離デ一タを格納する。
顔領域抽出部 3は、 画像撮像部 1からの入力画像から、 人間の顔領域抽出アル ゴリズムによって人間の顔領域を抽出し、 この抽出した顔領域の位置、 例えば顔 領域の重心位置を算出する。 そして、 顔領域は、 顔領域の位置とともに記憶され る。 人間の顔領域抽出アルゴリズムとしては、 例えばカラー画像における肌色部 分の抽出に基づいて顔領域を抽出する手法、 特定の人間の顔画像をテンプレート として用意し、 撮像された画像がこのテンプレートに最もよく重なる部分を顔領 域として抽出する手法 (テンプレートマッチング) 、 撮像された画像から目や鼻 、 口、 耳などの顔部品を検出することによって顔領域を抽出する手法などの公知 の手法が用いられる。 なお、 画像中に複数の人間が存在する場合には、 複数の顔 領域が抽出され、 それぞれについて算出された顔領域の位置とともに記憶される 距離計測エリア計算部 4は、 抽出された顔領域の位置に基づいて、 距離計測ェ リアを設定する。 距離計測エリアとは、 エレベータの乗客が立位の乗客であるの か、 車椅子の乗客であるのかの判別を行うために設定される対象領域中の一部の 領域であり、 この発明においては、 人間の顔の位置を基準とし、 これに対して車 椅子に乗車している乗客の膝近辺の領域 （膝以下の領域） として距離計測エリア が設定される。
第 2図は、 距離計測ェリァ計算部 4による距離計測ェリァの設定の方法を示す 図である。 基本的には、 車椅子に乗車している乗客の車椅子の位置 （車椅子に乗 車したときの膝の位置） は乗車している乗客 1 0 0の顔を中心にして所定の距離 だけ下方に存在するという統計的データから、 距離計測エリアが設定される。 具 体的には、 まず、 この距離計測エリアを算出するにあたって、 距離計測エリア計 算部 4は、 人間の一般的な顔の横幅に関する基準データを保持しており、 顔領域 抽出部 3で抽出された顔領域 1 1 1の横幅を基準デ タと比較することによって 、 画像撮像部 1から顔領域 1 1 1を有する人間までの距離 Lが算出される。 また 、 画像撮像部 1の設置俯角、 すなわち画像撮像部 1のレンズの光軸が水平線とな す角度 0と、 画像撮像部 1の床面からの設置高さ Hは、 画像撮像部 1の設置時に 計測することができるので、 これらの距離 L、 設置俯角 0、 設置高さ Hを用いて 、 概略的な乗客 1 0 0の床面からの高さ hが、
h =H- 1 - s i n 0
として算出される。 そして、 画像中の車椅子の位置 （車椅子に乗車したときの膝 の位置） として、 対象となっている乗客 1 0 0の顔の中心から所定の距離 sだけ 下方に位置する部分に距離計測エリア 1 1 2が設定される。 この距離計測エリア 1 1 2は、 乗客 1 0 0の大きさが異なっても目標とする膝以下の部分が抽出され るように所定の範囲を有するものである。
距離分布計算部 5は、 距離計測部 2によつて計測された距離データの中から、 距離計測エリア計算部 4で設定された距離計測エリア内の距離データのみを抽出 し、 距離計測エリア内における距離分布を計算する。 そして、 この距離分布の結 果を車椅子存在判定部 6に出力する。 なお、 この距離分布計算部 5では、 設定さ れた距離計測ェリァ内の距離データのみについて距離分布を計算するようにして いるので、 その他の領域の距離分布の計算時間を節約することができる。
車椅子存在判定部 6は、 顔領域の重心位置における画像撮像部 1からの距離と 、 距離分布計算部 5から入力された距離分布に基づいて、 対象となる人間が車椅 子に乗っている力否かを判定し、 その判定結果を外部に出力する。
ここで、 第 3図〜第 7図を参照し、 対象となる人間 （乗客） が立位状態にある のか、 または車椅子に乗車しているのかを判定する方法について説明する。 第 3 図 （a ) は乗客が立位にある状態を模式的に示しており、 第 3図 （b ) は （a ) の乗客に対して設定された距離計測エリアを示すための正面図である。 第 4図 （ a ) は乗客が車椅子に乗車している状態を模式的に示しており、 第 4図 （b ) は ( a ) の乗客に対して設定された距離計測エリアを示すための正面図である。 第 5図は距離計測ェリァ内における距離計測の方法を説明するための模式図である 。 第 6図 （a ) は、 距離計測エリアを構成するすべての区画に対して、 各区画の 距離計測ェリァ内での水平方向の位置と各区画の画像撮像部からの水平距離とを パラメータとして作成した、 乗客が立位の状態にある場合の区画の分布図であり 、 第 6図 （b ) は （a ) の分布図に乗客の顔領域の代表点の画像撮像部からの水 平距離をプロットした図である。 また、 第 7図 （a ) は、 距離計測エリアを構成 するすべての区画に対して、 各区画の距離計測エリア内での水平方向の位置と各 区画の画像撮像部からの水平距離とをパラメータとして作成した、 乗客が車椅子 に乗車している状態にある場合の区画の分布図であり、 第 7図 （b ) は （a ) の 分布図に乗客の顔領域の代表点の画像撮像部からの水平距離をプロッ.トした図で あ ό。
これらの図において、 P 1は顔領域の代表点、 例えば重心位置 （正面から見た 場合の顔領域の 2次元的な重心位置） .を示し、 P 2は顔領域の代表点 P 1から所 定の距離だけ下方の位置に設定された距離計測エリア 1 1 2内の位置.を示し、 T 1 , T 2は画像撮像部 1のレンズの中心から位置 P 1 , P 2に引いた距離計側線 の水平線からの角度をそれぞれ示し、 L 1， L 2は画像撮像部のレンズの中心か ら位置 P 1 , P 2までの距離をそれぞれ示している。
また、 以下では、 説明を簡略化するために、 第 3図 （b ) および第 4図 （b ) に設定された距離計測エリア 1 1 2内には、 対象の乗客 1 0 0以外には他の動き のある物体は存在せず、 背景は乗客の画像撮像部からの水平距離に比して十分遠 方に存在するものとする。
第 3図 （a ) または第 4図 （a ) のように画像撮像部 1の対象領域内に乗客 1 0 0が存在する場合には、 距離分布計算部 5によって、 第 3図 （b ) または第 4 図 （b ) のように設定された距離計測エリア 1 1 2内の位置 P 2の画像撮像部 1 からの水平方向の距離 L 2 - c o s (T 2 ) が計算される。
この距離分布計算部 5で距離計測ェリア 1 1 2内の各位置 P 2についての距離 を算出するにあたって、 第 5図に示されるような距離計測エリア 1 1 2が使用さ れる。 ここでは、 距離計測エリア 1 1 2の右上端を原点とし、 この原点から水平 右向きに X軸をとり、 原点を通り X軸に垂直下向きに y軸をとる。 X軸方向に m 等分 （mは自然数） して得られたそれぞれの列を、 原点に近い方から順に、 Xl , x2， . · ·， xmとし、 y軸方向に n等分 （nは自然数） して得られたそれ ぞれの行を、 原点に近い方から順に、 yi, y2, · ■ ·， ymとすると、 距離計 測エリア 11 2內には、 mXn個の区画ができる。 列 Xiと行 yjとが交わる部分 に作成される区画を、 区画 112 'とする （ i , jはともに自然数で、 i≤m、 j n) 。
距離分布計算部 5では、 まず、 行 yiに存在する区画 112U〜1121>mにつ いて得られた画像撮像部 1からの距離 L 2と第 3図 （a) に示す関係から、 画像 撮像部 1から行 yiの各区画 112W〜1121>mまでの水平距離 L 2 ■ c o s ( T2) を計算する。 これにより、 行 yiの距離計測エリア 1 1 2の X軸上の位置 と画像撮像部 1からの水平距離との組み合わせが得られる。 同様にして、 行 y2 〜行 yaのそれぞれに存在する各区画ついて、 距離計測ェリア 112の X軸上の 位置と画像撮像部 1からの水平距離との組合せを得る。
そして、 第 6図 （a) および第 7図 （a) に示されるように、 距離計測エリア 1 12の X軸上の位置と画像撮像部 1からの水平距離とをパラメータとして、 距 離計測エリア 1 12内のすべての区画の分布図を作成する。 これらの第 6図 （a ) および第 7図 （b) において、 X軸は 「距離計測エリアの X軸上の位置」 であ り、 第 5図に示される距離計測エリア 1 12の X軸と同じ軸となる。 また、 y軸 は 「画像撮像部からの水平距離」 であり、 各区画について求められた画像撮像部 1からの水平距離である。 そして、 z軸は 「同一位置での区画数」 であり、 上記 の （距離計測エリアの X軸上の位置， 画像撮像部からの水平距離） の,組合せで示 される X y平面上の位置に、 レ、くつの区画が重なっているかを示すものである。 乗客 100が立位の状態にある場合では第 6図 （a) に示されるような分布図 が得られるが、 画像撮像部 1からの水平距離が R 1の部分に描カ^ている分布グ ラフは、 第 3図 （ b ) の距離計測ェリア 1 12内に存在する乗客 100の足 （膝 ) 近辺の部分を表している。 また、 画像撮像部 1からの水平距離が R 3の部分に 描かれている分布グラフは、 第 3図 （b) の距離計測エリア 112内の乗客 10 0の足の存在しない背景部分である。
第 3図 （a) に示されるように、 乗客 100が立位の状態である場合には、 顔 領域の位置 P 1の画像撮像部 1からの水平距離 L 1 ■ c o s (T 1) と、 距離計 測ェリァ內における足の位置 P 2の画像撮像部 1からの水平距離 L 2 · c o s ( T 2 ) とは等しく、 顔領域の重心位置 P 1の画像撮像部 1からの水平距離は、 第 6図 （b) に示されるように、 R1と等しくなる。 すなわち、 顔領域の重心位置 P 1と距離計測エリア 112内の足の位置とは鉛直方向に直線的に位置している 一方、 乗客 100が車椅子に乗車している状態にある場合では第 7図 （a) に 示されるような分布図が得られるが、 画像撮像部 1からの水平距離が R 1の部分 に描かれている分布グラフは、 第 4図 （b) の距離計測エリア 112内に存在す る乗客 100の足 （膝） 近辺の部分を表し、 画像撮像部 1からの水平距離が R 2 の部分に描力れている分布グラフは、 距離計測エリア 112内の上部に含まれて いる腹部付近の部分を表している。 また、 画像撮像部 1からの水平距離が R 3の 部分に描かれている分布グラフは、 距離計測ェリア 112内における乗客 100 の足の存在しなレヽ背景部分である。
第 4図 （a) に示されるように、 乗客 100が車椅子に乗車している状態にあ る場合には、 顔領域の重心位置 P 1の画像撮像部 1からの水平方向の距離 L 1 - c o s (T1) は、 距離計測エリア 1 12内における足の位置 P 2の画像撮像部 1からの水平方向の距離 L 2 - c o s (T 2) よりも長い。 そして、 顔領域の重 心位置 P 1の画像撮像部 1からの水平距離を第 7図 （a) にプロットすると、 第 7図 （b) に示されるように、 その位置は、 画像撮像部 1からの水平距離 R 2と 等しくなる。 すなわち、 顔領域の重心位置 P 1 (画像撮像部からの水平距離 =R 2) と距離計測エリア 112内における足 （膝） の部分の分布位置 （画像撮像部 からの水平距離 =R 1) とは鉛直線上には位置しない。
したがって、 車椅子存在判定部 6は、 距離計測部 2によって計測された顔領域 の重心位置 P 1と距離分布計算部 5によって計算された距離計測ェリア 1 12内 の距離分布とを比較し、 両者が鉛直方向に直線的に位置している場合にはその対 象となっている乗客 1 0 0は立位の状態にあると判断し、 両者が鉛直方向の直線 的な位置関係にない場合には対象となっている乗客 1 0 0は車椅子に乗車してい ると判定する。 そして、 この結果が、 エレベータの制御装置などの外部装置に出 力される。
なお、 上述した説明では、 車椅子存在判定部 6で乗客 1 0 0が立位の状態にあ るか車椅子に乗車している状態にあるかについて、 顔領域の重心位置 P 1と距離 計測エリア 1 1 2内の距離分布とを比較して判断する場合を例に挙げて説明した 、顔領域の代表点として重心位置 P 1でなく顔領域全体の画像撮像部 1からの 水平距離と距離計測ェリア 1 1 2内の距離分布とを比較することも可能である。 例えば、 この場合には、 顔領域全体を複数の区画に分割し、 分割したすべての区 画に対して、 各区画の顔領域内での水平方向の位置と、 各区画の画像撮像部 1か らの水平距離をパラメータとして区画の分布図を作成し、 第 6図 （a ) と第 7図 ( a ) に当てはめて比較することによって、 乗客 1 0 0が立位の状態にあるか車 椅子に乗車している状態にあるかについて判断することができる。
つぎに、 第 8図に示すフローチャートを参照して、 画像処理装置の動作手順を 説明する。 まず、 画像撮像部 1によって、 エレベータのかご内またはエレベータ ホールなどの対象領域が撮像され、 撮像された画像が顔領域抽出部 3に入力され る （ステップ S 1 ) 。 顔領域抽出部 3は、 入力された画像から対象となる人間の 顔領域を抽出し、 その重心位置を算出する （ステップ S 2 ) 。 距離計測エリア計 算部 4は、 抽出された顔領域からその対象となっている人間の画像撮像部 1から の距離を求め、 顔領域の重心位置から所定距離だけ下方に距離計測エリアを設定 する （ステップ S 3 ) 。
一方、 画像撮像部 1による撮像が行われると、 レーザ光発生部 2 1とレーザ光 走査部 2 2が対象領域内についてパルスレーザを照射しながら走査し、 レーザ光 走査部 2 2に同期してレーザ光検出部 2 3が対象領域内で対象物によって反射さ れるレーザ光の画像を撮像し、 撮像したレーザ光反射画像が画像記憶部 2 4に蓄 積される。 そして、 距離算出部 2 5は、 蓄積されたレーザ光反射画像とレーザ光 走査部 2 2の走査角度からレーザ光発生部 2 1 (画像撮像部 1 ) から対象物まで の距離を算出し、 算出された距離データが距離データ格納部 2 6に格納される （ ステップ S 4 ) 。
距離分布計算部 5は、 距離計測ェリァ内における距離データを距離データ格納 部 2 6から抽出し、 その距離分布を計算する （ステップ S 5 ) 。 その後、 車椅子 存在判定部 6は、 距離データ格納部 2 6に格納された顔領域の重心位置と、 計算 された距離計測エリア内における距離データの距離分布とを比較し、 顔領域の重 心位置と距離計測ェリ了内の距離データの分布位置とが鉛直線上に位置するもの と判断される場合には対象となっている人間は立位の状態にあると判定し、 顔領 域の重心位置と距離計測ェリァ内の距離データの分布位置とが鉛直線上に位置し ないものと判断される場合には、 対象となっている人間は車椅子に乗車している 状態にあると判定する （ステップ S 6 ) 。 そして、 外部に判定結果を出力して （ ステップ S 7 ) 、 処理を終了する。
車椅子存在判定部 6によって出力された結果は、 例えば、 エレベータの制御部 によるエレベータの運行モードを変更するために使用される。 すなわち、 車椅子 存在判定部 6によって、 対象領域に車椅子に乗車している乗客が存在すると判定 された場合には、 例えばかごの昇降速度を通常より低く、 また階床停止時にかご とホール床面との着床精度を通常より精密に合わせるなどの車椅子運行モードを エレベータ制御部に設定する。 一方、 車椅子存在判定部 6によって、 対象領域に 立位の乗客しか存在しないと判定された場合には、 力、ごの昇降速度を低くせず、 また着床精度を特に高めないなどの通常運行モードをエレベータ制御部に設定す る。
なお、 上述した実施の形態 1では、 画像撮像部 1と距離計測部 2のレーザ光検 出部 2 3とはそれぞれ別々の位置に設置している力 画像撮像部 1とレーザ光検 出部 2 3とをほぼ同じ位置に設置するようにしてもよい。 この場合には、 レーザ 光発生部 2 1は画像撮像部 1とは異なる位置に取り付ける必要がある。 また、 レーザ光発生部 2 1としてシリンドリカ/レレンズによってスリット状に 変形された鉛直 . (縦） 方向に長いパルスレーザを用いることも可能である。 この 場合には、 レーザ光検出部 2 3による 1枚の撮像によって、 縦方向の 1ライン分 の距離分布を計測することができ、 そのため、 走査方向も水平方向のみでいいと いう長所がある。
この実施の形態 1によれば、 画像撮像部 1によって撮像された画像から人間の 顔領域の重心位置と顔領域から所定の距離だけ下方の領域、 具体的には膝以下の 領域における距離分布とを比較して、 撮像された人間が車椅子に乗車.しているか 否かを判定するようにしたので、 車椅子の乗客の存在を高い確率で認識すること ができるという効果を有する。
実施の形態 2 .
つぎに、 この発明の実施の形態 2について説明する。 第 9図は、 この発明にか 力る画像処理装置の実施の形態 2の構成を示すプロック図である。 この実施の形 態 2における画像処理装置は、 実施の形態 1に示した第 1図の画像処理装置の距 離計測部 2に代えて、 異なる位置から対象領域の画像を撮像するための第 2の画 像撮像部 3 1、 第 3の画像撮像部 3 2、 および第 2の画像撮像部 3 1と第 3の画 像撮像部 3 2によって撮像された画像から 2眼ステレオ法を用いて対象物の距離 を算出するステレオ演算部 3 3を有する。 その他の構成は、 実施の形態 1と同一 であり、 同一の構成要素には同一の符号を付してその説明を省略している。 なお 、 実施の形態 2の第 1の画像撮像部 1は、 第 1図の画像撮像部 1に対応している 。 なお、 請求の範囲における距離分布計算手段は、 距離計測エリア計算部 4と距 離分布計算部 5に対応している。
第 2の画像撮像部 3 1およぴ第 3の画像撮像部 3 2は、 C C Dカメラなどによ つて実現される装置から構成され、 互いに水平方向に距離をおいて配置される。 また第 2の画像撮像部 3 1および第 3の画像撮像部 3 2の撮像領域は、 第 1の画 像撮像部 1が撮像する対象領域を撮像することができるように、 また第 1の画像 撮像部 1から対象領域に存在する対象物までの距離を算出することができるよう に、 第 2の画像撮像部 31および第 3の画像撮像部 32は、 第 1の画像撮像部 1 の位置とほぼ同じ位置に配置される。
ステレオ演算部 33は、 予め幾何学的位置関係が既知の第 2の画像撮像部 31 と第 3の画像撮像部 32から入力された 2枚の画像の各画素間の対応関係を求め て視差を検出し、 視差を距離に変換することによって対象物までの距離を計測す るものであり、 距離算出部 34、 距離データ格納部 35を有する。
ここで、 第 10図を参照しながら、 2眼ステレオ法を用いたステレオ画像処理 の原理を説明する。 光軸 201 A, 201 Bが互いに平行で、 焦点距離 ίが等し ヽレンズを有する CCDカメラなどによって実現される 2台の画像撮像部 31， 32が、 水平方向に所定間隔 Dをおいて配置される。 ここで、 2台の画像撮像部 31, 32が配置される水平軸を X軸とし、 この X軸と直交し高さ方向に伸びる 軸を Y軸とし、 これらの X軸および Y軸の両者に直交する軸を Z軸とする。 また 、 （第 2の） 画像撮像部 31で撮像した画像を画像 Aとし、 （第 3の） 画像撮像 部 32で撮像した画像を画像 Bとし、 これらの 2つの画像 A, Bでの対応点を求 め、 これらの画像 A, B上での対応点の座標をそれぞれ PA (XA, y) , ΡΒ ( ΧΒ, y) とする。 これらより、 画像撮像部 1から対象物 Ρまでの距離 ζは、 z = f · D/ (XA-XB) = f - D/S
として求められる。 ただし、 XA— XB=Sは視差であり、 この視差 Sは、 光軸 2 01 A, 201 Bが平行で所定の間隔 Dを隔てて設置された 2つの画像撮像部 3 1, 32で一つの物体を撮像した場合に、 それぞれの画像撮像部 31, 32に撮 像された画像の位置の差を示している。 このようにして、 第 2の画像撮像部 31 と第 3の画像撮像部 32によつて撮像された 2枚の画像 A, Bから画像上の対象 物までの距離を求めることができる。
ステレオ演算部 33の距離算出部 34は、 第 2の画像撮像部 31と第 3の画像 撮像部 32によって入力された 2枚の画像 A, Bから、 上述したステレオ画像処 理によって、 第 1の画像撮像部 1から対象物までの距離を算出する。 また、 距離 データ格納部 35は、 距離算出部 34によって算出された距離データを格納する つぎに、 第 1 1図に示すフローチャートを参照して、 画像処理装置の動作処理 手順を説明する。 まず、 実施の形態 1の第 8図で説明したステップ S 1〜S 3と 同じ処理を行って、 画像上の距離計測エリアを設定する （ステップ S I 1〜S 1 3 ) 。 すなわち、 第 1の画像撮像部 1によつて撮像された対象領域の画像から人 間の顔領域の重心位置と、 その対象となっている人間の第 1の画像撮像部 1から の距離が算出され、 顔領域の重心位置から所定距離だけ下方に距離計測ェリアが 設定される。
一方、 ステップ S 1 1〜S 1 3の工程とは別に、 第 1の画像撮像部 1によって 対象領域の画像が撮像されると、 第 2の画像撮像部 3 1が対象領域の画像を撮像 し、 撮像された画像がステレオ演算部 3 3に記憶される （ステップ S 1 4 ) 。 つ づいて、 第 3の画像撮像部 3 2が対象領域の画像を撮像し、 撮像された画像がス テレオ演算部 3 3に記憶される （ステップ S 1 5 ) 。 なお、 ステップ S 1 4〜S 1 5において、 第 2の画像撮像部 3 1と第 3の画像撮像部 3 2による対象領域の 撮像は、 同時に行ってもよいし、 所定時間ずらして行ってもよい。
そして、 ステレオ演算部 3 3の距離算出部 3 4は、 記憶された 2枚の画像から ステレオ画像処理によって、 画像中の各位置について第 1の画像撮像部 1からの 距離を算出し、 算出した距離データを距離データ格納部 3 5に格納する （ステツ プ S 1 6 ) 。
その後、 実施の形態 1の第 8図で説明したステップ S 5〜S 7と同じ処理を行 つて、 抽出された顔領域を有する人間が車椅子に乗車している乗客力否かを判定 する （ステップ S 1 7〜S 1 9 ) 。 すなわち、 第 1の画像撮像部 1によって撮像 された画像中の顔領域の重心位置から所定の距離だけ下方の距離計測ェリァ内の 距離データの距離分布を計算し、 顔領域の重心位置と計算した距離計測ェリア内 の距離データの距離分布とを比較する。 比較の結果、 顔領域の重心位置と距離計 測ェリァ内の距離データの距離分布とが鉛直線上に存在する場合にはその顔領域 を有する人間は立位の乗客であると判定し、 顔領域の重心位置と距離計測エリア 内の距離データの距離分布とが鉛直線上に存在しない場合にはその顔領域を有す る人間は車椅子に乗車している乗客であると判定し、 その判定結果を外部に出ガ して、 処理を終了する。
車椅子存在判定部 6による判定結果は、 実施の形態 1と同様に、 例えば、 エレ ベータの制御部によるエレベータの運行モードを変更するために使用することが できる。
なお、 上述した実施の形態 2では、 顔領域を抽出するための第 1の画像撮像部 1と、 ステレオ画像処理を行うための第 2の画像撮像部 3 1および第.3の画像撮 像部 3 2の 3台の画像撮像部を設置する場合について説明を行ったが、 第 1の画 像撮像部 1と第 2の画像撮像部 3 2を共用させて、 2台の画像撮像部で上述した 処理を行うことも可能である。 すなわち、 第 1の画像撮像部 1で対象領域を撮像 して、 顔領域を抽出するための画像を得るとともに、 ステレオ画像処理を行うた めの画像を得て、 第 3の画像撮像部 3 2でステレオ画像処理を行うためのもう 1 枚の画像を得るように構成してもよい。 これは、 この実施の形態 2では、 ステレ ォ画像処理を行うために要する 2枚の画像を、 第 2の画像撮像部 3 1および第 3 の画像撮像部 3 2で必ずしも同時に撮像しなくてもよいことによる。
また、 上述した説明では、 車椅子存在判定部 6で乗客が立位の状態にあるか車 椅子に乗車している状態にあるかの判定を行うについて、 顔領域の重心位置と距 離計測ェリァ内の距離分布とを比較して判断する場合を例に挙げて説明したが、 顔領域の代表点として重心位置でなく顔領域全体の第 1の画像撮像部 1からの水 平距離と距離計測ェリァ内の距離分布とを比較するようにしてもよい。
この実施の形態 2によれば、 第 1の画像撮像部 1から対象物までの距離を計測 する方法としてステレオ画像処理を用いたので、 距離を計測するための装置構成 を一層コンパクトにすることができるという効果を有する。
実施の形態 3 .
つぎに、 この発明の実施の形態 3について説明する。 第 1 2図は、 この発明に 力かる画像処理装置の実施の形態 3の構成を示すプロック図である。 この実施の 形態 3における画像処理装置は、 実施の形態 1に示した画像処理装置に、 画像撮 像部 1によって撮像された画像から変化領域のみを抽出する変化領域検出部 4 1 を設けている。 その他の構成は、 実施の形態 1と同一であり、 同一の構成要素に は同一の符号を付してその説明を省略している。
変化領域検出部 4 1は、 画像撮像部 1が撮像する対象領域において、 人間など の対象物が存在しない状態で撮像した背景画像を有しており、 画像撮像部 1で撮 像された画像が入力されると、 この撮像された画像と背景画像の 2枚の画像にお ける各画素値の差の絶対値を所定の閾値を基準に二値ィヒする差分演算処理を行い 、 差分画像を生成する。 この差分画像には、 背景画像には存在しない変化のあつ た部分が、 対象物の候補として記録される。 そして、 この差分画像において、 変 化のあった部分の位置情報が顔領域抽出部 3に出力される。 なお、 請求の範囲に おける距離分布計算手段は、 距離計測ェリァ計算部 4と距離分布計算部 5に対応 している。
顔領域抽出部 3は、 変化領域検出部 4 1から変化のあった部分の位置情報を受 けると、 この位置情報を利用して画像撮像部 1から入力された画像の中から、 人 間の顔領域抽出アルゴリズムにしたがって人間の顔領域を抽出し、 この顔領域の 位置、 例えば重心位置を算出する。 そして、 顔領域は、 顔領域の位置とともに記 憶される。
つぎに、 第 1 3図に示すフローチャートを参照して、 画像処理装置の動作処理 手順を説明する。 まず、 画像撮像部 1によって、 エレベータのかご内またはエレ ベータホールが撮像され、 撮像された画像が顔領域抽出部 3と変化領域検出部 4 1に入力される （ステップ S 2 1 ) 。 変化領域検出部 4 1は、 入力された画像と 背景画像とから差分画像を生成し、 得られた差分画像から変化した領域を検出し 、 その位置情報を顔領域抽出部 3に出力する （ステップ S 2 2 ) 。 顔領域抽出部 3は、 変化領域検出部 4 1から入力された変化領域の位置情報に基づいて、 画像 撮像部 1から入力された画像中の変化領域の中から対象となる人間の顔領域を抽 出し、 その重心位置を計算する （ステップ S 2 3 ) 。 その後の処理は、 実施の形態 1の第 8図で説明したステップ S 3〜 S 7と同じ 処理を行って、 対象領域中に車椅子に乗車した乗客が存在するか否かを判定し、 その判定結果を外部に出力する （ステップ3 2 4〜3 2 8 ) 。 すなわち、 画像が 撮像されると、 画像内の各位置での対象物までの距離が計測される。 また、 抽出 された顔領域を有する人間の画像に対して距離計測エリアを設定し、 この距離計 測エリア内において計測された各位置の距離データに基づいて、 距離分布が計算 される。 そして、 顔領域の重心位置と計算した距離計測エリア内の距離データの 距離分布とを比較する。 比較の結果、 顔領域の重心位置と距離計測エリア内の距 離データの距離分布とが鉛直線上に存在する場合にはその顔領域を有する人間は 立位の乗客であると判定し、 顔領域の重心位置と距離計測エリア内の距離データ の距離分布とが鉛直線上に存在しない場合にはその顔領域を有する人間は車椅子 に乗車している乗客であると判定し、 その判定結果を外部に出力して、 処理を終 了する。
車椅子存在判定部 6による判定結果は、 実施の形態 1と同様に、 例えば、 エレ ベータの制御部によるエレベータの運行モードを変更するために使用することが できる。
上述した実施の形態 3では、 距離計測部 2として実施の形態 1と同じ走査型レ 一ザレンジファインダなどによって実現される装置から構成される場合を例示し たが、 距離計測部 2として実施の形態 2で説明した 2眼ステレオ法によるステレ ォ画像処理を用いるようにしてもよい。 すなわち、 第 1 2図の距離計測部 2に代 えて、 第 2の画像撮像部 3 1、 第 3の画像撮像部 3 2およびステレオ演算部 3 3 、 または第 2の画像撮像部 3 1およぴステレオ演算部 3 3を有するように構成し てもよい。
また、 上述した説明では、 車椅子存在判定部 6で乗客が立位の状態にあるか車 椅子に乗車している状態にあるかの判定を行うについて、 顔領域の重心位置と距 離計測ェリァ内の距離分布とを比較して判断する場合を例に挙げて説明したが、 顔領域の代表点として重心位置でなく顔領域全体の画像撮像部 1からの水平距離 と距離計測ェリァ内の距離分布とを比較するようにしてもよレ、。
この実施の形態 3によれば、 変化領域検出部 4 1が撮像された対象領域の画像 と予め用意された背景画像とから差分画像を生成することによって、 変化のある 領域が抽出され、 この抽出された変化のある領域で顔領域抽出部 3による顔領域 の抽出が行われるので、 顔領域の抽出を行う時間を短縮することができるという 効果を有する。 また、 対象領域内に存在する人間の顔に似た画像パターンを人間 の顔であると判定してしまう誤判定を抑制することができ、 一層正確な顔領域の 抽出を行うことができるという効果を有する。
以上説明したように、 この発明によれば、 対象領域を撮像した画像から顔領域 を抽出し、 この顔領域から所定の距離だけ下方に設定された距離計測ェリァ内の 画像撮像手段からの距離分布と、 画像撮像手段からの顔領域の距離とを比較して 、 顔領域を有する人間が車椅子に乗車しているかを判定するように構成したので 、 車椅子の乗客の存在を高い確率で認識することができるという効果を有する。 つぎの発明によれば、 画像撮像手段によって撮像された画像と、 対象領域内の 物体が存在しない背景画像とから差分画像を生成して、 生成した差分画像に基づ いて変化のあった領域を抽出する変化領域検出手段をさらに備えるように構成し たので、 顔領域抽出手段による顔領域の抽出を行う時間を短縮することができる という効果を有する。 また、 対象領域内に存在する人間の顔に似た画像パターン を人間の顔であると判定してしまう誤判定を抑制することができ、 一層正確な顔 領域の抽出を行うことができるという効果を有する。
つぎの発明によれば、 距離計測手段として走査型レーザレンジファィンダを用 いるようにしたので、 画像撮像手段から対象領域に存在する対象物までの距離を 正確に測定することができるという効果を有する。
つぎの発明によれば、 画像撮像手段によって撮像された画像と、 対象領域内の 物体が存在しない背景画像とから差分画像を生成して、 生成した差分画像に基づ いて変化のあった領域を抽出する変化領域検出手段をさらに備えるように構成し たので、 顔領域抽出手段による顔領域の抽出を行う時間を短縮することができる という効果を有する。 また、 対象領域内に存在する人間の顔に似た画像パターン を人間の顔であると判定してしまう誤判定を抑制することができ、 一層正確な顔 領域の抽出を行うことができるという効果を有する。
つぎの発明によれば、 第 2のおよび第 3の画像撮像手段によつて撮像された対 象領域内の 2枚の画像から、 ステレオ演算手段によって第 1の画像撮像手段によ つて撮像された画像の各位置における第 1の画像撮像手段からその位置に存在す る対象物までの距離を計測するようにしたので、 簡易な装置構成によって、 第 1 の画像撮像手段から対象物までの距離を計測することができるという効果を有す る。
つぎの発明によれば、 第 1の画像撮像手段によって撮像された画像と、 対象領 域内の物体が存在しなレヽ背景画像とから差分画像を生成して、 生成した差分画像 に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備えるように 構成したので、 顔領域抽出手段による顔領域の抽出を行う時間を短縮することが できるという効果を有する。 また、 対象領域内に存在する人間の顔に似た画像パ ターンを人間の顔であると判定してしまう誤判定を抑制することができ、 一層正 確な顔領域の抽出を行うことができるという効果を有する。
つぎの発明によれば、 第 1の画像撮像手段によって撮像された対象領域の画像 と、 この第 1の画像撮像手段と水平方向に距離をおいて配置された第 2の画像撮 像手段によつて撮像された対象領域の画像とから、 ステレオ演算手段によって第 1の画像撮像手段によって撮像された画像の各位置における第 1の画像撮像手段 力 らその位置に存在する対象物までの距離を計測するようにしたので、 簡易な装 置構成によって、 第 1の画像撮像手段から対象物までの距離を計測することがで きるという効果を有する。 また、 第 1の画像撮像手段は、 対象領域内の顔領域を 抽出するための画像と、 ステレオ法によって第 1の画像撮像手段と対象領域内の 対象物との距離を計測するための画像とを撮像する役割を担うように構成したの で、 必要な撮像手段の数を最小限にした画像処理装置を作成することができると いう効果を有する。 つぎの発明によれば、 第 1の画像撮像手段によって撮像された画像と、 対象領 域内の物体が存在しなレヽ背景画像とから差分画像を生成して、 生成した差分画像 に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備えるように 構成したので、 顔領域抽出手段による顔領域の抽出を行う時間を短縮することが できるという効果を有する。 また、 対象領域内に存在する人間の顔に似た画像パ ターンを人間の顔であると判定してしまう誤判定を抑制することができ、 一層正 確な顔領域の抽出を行うことができるという効果を有する。 産業上の利用可能性
以上のように、 本発明にかかる画像処理装置は、 エレベータのかご内やエレべ ータホールなどにおいて、 車椅子に乗車している乗客が存在する場合にエレべ一 タの運行モードを自動的に切り替えるために使用されるエレベータの乗客検知シ ステムなどに適している。

Claims

請 求 の 範 囲
1 · 監視すべき対象領域内の画像を撮像する画像撮像手段と、
前記画像撮像手段によつて撮像された画像から人間の顔領域を抽出する顔領域 抽出手段と、
前記画像撮像手段によって撮像された画像の各位置について、 前記画像撮像手 段からの距離を計測する距離計測手段と、
前記抽出された人間の顔領域から所定の距離だけ下方に距離計測ェリァを設定 し、 前記距離計測手段によって計測された距離を用いて前記距離計測エリア内に おける前記画像撮像手段からの距離分布を計算する距離分布計算手段と、 前記距離計測手段によつて計測された前記顔領域の前記画像撮像手段からの距 離と前記距離計測エリア内の距離分布とを比較して、 前記顔領域を有する人間が 車椅子に乗車しているか否かを判定する車椅子存在判定手段と、
を備えることを特徴とする画像処理装置。
2. 前記画像撮像手段によつて撮像された画像と、 前記対象領域内の物体が存 在しない背景画像とから差分画像を生成して、 生成した差分画像に基づいて変化 のあった領域を抽出する変化領域検出手段をさらに備え、
前記顔領域抽出手段は、 前記変化領域検出手段によって抽出された変化のあつ た領域でのみ顔領域を抽出することを特徴とする請求の範囲第 1項に記載の画像
3 . 前記距離計測手段は、 走査型レーザレンジファインダであることを特^ [と する請求の範囲第 1項に記載の画像処理装置。
4 . 前記画像撮像手段によって撮像された画像と、 前記対象領域内の物体が存 在しない背景画像とから差分画像を生成して、 生成した差分画像に基づいて変化 のあった領域を抽出する変化領域検出手段をさらに備え、
前記顔領域抽出手段は、 前記変化領域検出手段によって抽出された変化のあつ た領域でのみ顔領域を抽出することを特徴とする請求の範囲第 3項に記載の画像
5 . 監視すべき対象領域内の画像を撮像する第 1の画像撮像手段と、
水平方向に距離をおいて配置された、 前記対象領域の画像を撮像する第 2およ び第 3の画像撮像手段と、
前記第 1の画像撮像手段によって撮像された画像から人間の顔領域を抽出する 顔領域抽出手段と、
前記第 2および第 3の画像撮像手段によつて撮像された 2枚の画像を用いて、 ステレオ法によって前記第 1の画像撮像手段によって撮像された画像の各位置に ついて、 前記第 1の画像撮像手段からの距離を計測するステレオ演算手段と、 前記抽出された人間の顔領域から所定の距離だけ下方に距離計測エリアを設定 し、 前記ステレオ演算手段によつて計測された距離を用レ、て前記距離計測ェリァ 内における前記第 1の画像撮像手段からの距離分布を計算する距離分布計算手段 と、
前記ステレオ演算手段によつて計測された前記顔領域の前記第 1の画像撮像手 段からの距離と前記距離計測ェリァ内の距離分布とを比較して、 前記顔領域を有 する人間が車椅子に乗車している力否かを判定する車椅子存在判定手段と、 を備えることを特徴とする画像処理装置。
6 . 前記第 1の画像撮像手段によって撮像された画像と、 前記対象領域内の物 体が存在しない背景画像とから差分画像を生成して、 生成した差分画像に基づレヽ て変化のあった領域を抽出する変化領域検出手段をさらに備え、
前記顔領域抽出手段は、 前記 ¾化領域検出手段によつて抽出された変化のあつ た領域でのみ顔領域を抽出することを特徴とする請求の範囲第 5項に記載の画像
7 . 監視すべき対象領域内の画像を撮像する第 1の画像撮像手段と、 前記第 1の画像撮像手段と水平方向に距離をおいて配置され、 前記対象領域の 画像を撮像する第 2の画像撮像手段と、
前記第 1の画像撮像手段によって撮像された画像から人間の顔領域を抽出する 顔領域抽出手段と、
前記第 1および第 2の画像撮像手段によつて撮像された 2枚の面像を用レ、て、 ステレオ法によつて前記第 1の画像撮像手段によつて撮像された画像の各位置に ついて、 前記第 1の画像撮像手段からの距離を計測するステレオ演算手段と、 前記抽出された人間の顔領域から所定の距離だけ下方に距離計測ェリァを設定 し、 前記ステレオ演算手段によって計測された距離を用いて、 前記距離計測エリ ァ内における前記第 1の画像撮像手段からの距離分布を計算する距離分布計算手 段と、
前記ステレオ演算手段によって計測された前記顔領域の前記第 1の画像撮像手 段からの距離と前記距離計測ェリァ内の距離分布とを比較して、 前記顔領域を有 する人間が車椅子に乗車している力否かを判定する車椅子存在判定手段と、 を備えることを特徴とする画像処理装置。
8 . 前記第 1の画像撮像手段によって撮像された画像と、 前記対象領域内の物 体が存在しない背景画像とから差分画像を生成して、 生成した差分画像に基づレヽ て変化のあった領域を抽出する変化領域検出手段をさらに備え、'
前記顔領域抽出手段は、 前記変化領域検出手段によって抽出された変化のあつ た領域でのみ顔領域を抽出することを特徴とする請求の範囲第 7項に記載の画像
PCT/JP2002/007632 2002-07-26 2002-07-26 画像処理装置 WO2004012142A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2002/007632 WO2004012142A1 (ja) 2002-07-26 2002-07-26 画像処理装置
JP2004524082A JP4127545B2 (ja) 2002-07-26 2002-07-26 画像処理装置
EP02751738A EP1526477B1 (en) 2002-07-26 2002-07-26 Image processing apparatus
US10/493,434 US7142694B2 (en) 2002-07-26 2002-07-26 Image processing apparatus
DE60236461T DE60236461D1 (de) 2002-07-26 2002-07-26 Bildverarbeitungsvorrichtung
CNB028251091A CN1321394C (zh) 2002-07-26 2002-07-26 图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2002/007632 WO2004012142A1 (ja) 2002-07-26 2002-07-26 画像処理装置

Publications (1)

Publication Number Publication Date
WO2004012142A1 true WO2004012142A1 (ja) 2004-02-05

Family

ID=30795867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/007632 WO2004012142A1 (ja) 2002-07-26 2002-07-26 画像処理装置

Country Status (6)

Country Link
US (1) US7142694B2 (ja)
EP (1) EP1526477B1 (ja)
JP (1) JP4127545B2 (ja)
CN (1) CN1321394C (ja)
DE (1) DE60236461D1 (ja)
WO (1) WO2004012142A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020033A (ja) * 2005-07-11 2007-01-25 Nikon Corp 電子カメラおよび画像処理プログラム
JP2007272474A (ja) * 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology ステレオカメラを用いた車椅子使用者検出システム
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
JP2008102781A (ja) * 2006-10-19 2008-05-01 Fuji Electric Fa Components & Systems Co Ltd 情報案内システムおよび情報案内プログラム
JP2013073459A (ja) * 2011-09-28 2013-04-22 Oki Electric Ind Co Ltd 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2013245096A (ja) * 2012-05-29 2013-12-09 Toshiba Elevator Co Ltd エレベータの呼び登録装置
DE112015007051T5 (de) 2015-10-21 2018-06-28 Mitsubishi Electric Corporation Drahtlose informationsverteilungsvorrichtung, steuerverfahren für eine drahtlose informationsverteilungsvorrichtung und steuerprogramm
JP7367174B1 (ja) 2022-12-20 2023-10-23 東芝エレベータ株式会社 エレベータシステム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533824B2 (ja) * 2005-08-30 2010-09-01 株式会社日立製作所 画像入力装置及び校正方法
US8259995B1 (en) 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US7813526B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
US7636450B1 (en) 2006-01-26 2009-12-22 Adobe Systems Incorporated Displaying detected objects to indicate grouping
US7716157B1 (en) 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US7706577B1 (en) * 2006-01-26 2010-04-27 Adobe Systems Incorporated Exporting extracted faces
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US7720258B1 (en) 2006-01-26 2010-05-18 Adobe Systems Incorporated Structured comparison of objects from similar images
US7694885B1 (en) 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US7978936B1 (en) 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
JP5140256B2 (ja) * 2006-09-12 2013-02-06 株式会社ユニバーサルエンターテインメント サンド装置、入金残高精算機及び遊技システム
JP5140257B2 (ja) * 2006-09-12 2013-02-06 株式会社ユニバーサルエンターテインメント サンド装置、入金残高精算機、管理サーバ及び遊技システム
EP2196425A1 (de) * 2008-12-11 2010-06-16 Inventio Ag Verfahren zur Benachteiligungsgerechten Benutzung einer Aufzugsanlage
US20120175192A1 (en) * 2011-01-11 2012-07-12 Utechzone Co., Ltd. Elevator Control System
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
JP5733614B2 (ja) * 2011-03-29 2015-06-10 リコーイメージング株式会社 撮影情報管理方法、及び撮影情報管理装置
EP3227828B1 (en) * 2014-12-03 2023-10-04 Inventio Ag System and method for alternatively interacting with elevators
US10254402B2 (en) * 2016-02-04 2019-04-09 Goodrich Corporation Stereo range with lidar correction
JP6513594B2 (ja) * 2016-03-30 2019-05-15 株式会社日立製作所 エレベータ装置及びエレベータ制御方法
KR101774692B1 (ko) * 2016-05-16 2017-09-04 현대자동차주식회사 에어백 제어 장치 및 방법
TWI719409B (zh) * 2019-02-23 2021-02-21 和碩聯合科技股份有限公司 追蹤系統及其方法
CN109948494B (zh) * 2019-03-11 2020-12-29 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110338800A (zh) * 2019-07-17 2019-10-18 成都泰盟软件有限公司 自动测量身高体重的躺椅
CN111932596B (zh) * 2020-09-27 2021-01-22 深圳佑驾创新科技有限公司 摄像头遮挡区域的检测方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04286596A (ja) * 1991-03-13 1992-10-12 Toshiba Corp エスカレータ
JPH09145362A (ja) * 1995-11-29 1997-06-06 Ikegami Tsushinki Co Ltd ステレオ画像による物体の高さ測定方法
JPH10232985A (ja) * 1997-02-19 1998-09-02 Risou Kagaku Kenkyusho:Kk 室内監視装置
JP2001351190A (ja) * 2000-06-05 2001-12-21 Oki Electric Ind Co Ltd 歩行支援システム
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05147835A (ja) * 1991-11-25 1993-06-15 Hitachi Ltd 身体障害者対応エレベータの乗場呼び登録装置
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
JPH061546A (ja) * 1992-06-17 1994-01-11 Hitachi Ltd 車椅子運転仕様付エレベータの制御方法
JPH0692563A (ja) 1992-09-17 1994-04-05 Hitachi Ltd エレベータの人数計測装置
US6027138A (en) * 1996-09-19 2000-02-22 Fuji Electric Co., Ltd. Control method for inflating air bag for an automobile
JPH11268879A (ja) * 1998-03-20 1999-10-05 Mitsubishi Electric Corp エレベータの運転制御装置
JP4377472B2 (ja) * 1999-03-08 2009-12-02 株式会社東芝 顔画像処理装置
JP2001302121A (ja) * 2000-04-19 2001-10-31 Mitsubishi Electric Corp エレベータ装置
US7079669B2 (en) * 2000-12-27 2006-07-18 Mitsubishi Denki Kabushiki Kaisha Image processing device and elevator mounting it thereon

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04286596A (ja) * 1991-03-13 1992-10-12 Toshiba Corp エスカレータ
JPH09145362A (ja) * 1995-11-29 1997-06-06 Ikegami Tsushinki Co Ltd ステレオ画像による物体の高さ測定方法
JPH10232985A (ja) * 1997-02-19 1998-09-02 Risou Kagaku Kenkyusho:Kk 室内監視装置
JP2001351190A (ja) * 2000-06-05 2001-12-21 Oki Electric Ind Co Ltd 歩行支援システム
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1526477A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020033A (ja) * 2005-07-11 2007-01-25 Nikon Corp 電子カメラおよび画像処理プログラム
JP2007272474A (ja) * 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology ステレオカメラを用いた車椅子使用者検出システム
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
JP2008102781A (ja) * 2006-10-19 2008-05-01 Fuji Electric Fa Components & Systems Co Ltd 情報案内システムおよび情報案内プログラム
JP2013073459A (ja) * 2011-09-28 2013-04-22 Oki Electric Ind Co Ltd 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2013245096A (ja) * 2012-05-29 2013-12-09 Toshiba Elevator Co Ltd エレベータの呼び登録装置
DE112015007051T5 (de) 2015-10-21 2018-06-28 Mitsubishi Electric Corporation Drahtlose informationsverteilungsvorrichtung, steuerverfahren für eine drahtlose informationsverteilungsvorrichtung und steuerprogramm
US10244487B2 (en) 2015-10-21 2019-03-26 Mitsubishi Electric Corporation Wireless information distribution apparatus, control method for wireless information distribution apparatus, and non-transitory computer readable medium storing control program
JP7367174B1 (ja) 2022-12-20 2023-10-23 東芝エレベータ株式会社 エレベータシステム

Also Published As

Publication number Publication date
US20050013488A1 (en) 2005-01-20
EP1526477A4 (en) 2008-09-10
CN1605086A (zh) 2005-04-06
CN1321394C (zh) 2007-06-13
JP4127545B2 (ja) 2008-07-30
EP1526477B1 (en) 2010-05-19
EP1526477A1 (en) 2005-04-27
US7142694B2 (en) 2006-11-28
DE60236461D1 (de) 2010-07-01
JPWO2004012142A1 (ja) 2005-11-24

Similar Documents

Publication Publication Date Title
WO2004012142A1 (ja) 画像処理装置
US7079669B2 (en) Image processing device and elevator mounting it thereon
CN1324529C (zh) 对场景中的物体进行分类的系统及其方法
US8929608B2 (en) Device and method for recognizing three-dimensional position and orientation of article
US20190156557A1 (en) 3d geometric modeling and 3d video content creation
US6445814B2 (en) Three-dimensional information processing apparatus and method
JPH10334207A (ja) 人流計測装置
CN108592886B (zh) 图像采集设备和图像采集方法
JP5300694B2 (ja) 検出装置
JP4431749B2 (ja) 顔姿勢検出方法
JP2002122416A (ja) 三次元形状測定装置
JP5336325B2 (ja) 画像処理方法
KR101733657B1 (ko) 거리영상 기반 카메라를 이용한 객체 카운터 시스템 및 그 카운트 방법
JP4476546B2 (ja) 画像処理装置及びそれを搭載したエレベータ
JP4238042B2 (ja) 監視装置および監視方法
JP2004110804A (ja) ３次元画像撮影装置及び方法
JP2012181757A (ja) 光学情報読み取り装置
KR102458582B1 (ko) Tof 센서를 이용한 동물 사람 구별 시스템
JP2001241927A (ja) 形状測定装置
Grosse et al. Space-time multiplexing in a stereo-photogrammetry setup
JP5279459B2 (ja) 混雑検知装置
JP2002013918A (ja) ３次元画像生成装置および３次元画像生成方法
JP6837880B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2002015306A (ja) ３次元画像生成装置および３次元画像生成方法
JP2004101215A (ja) 軌道間隔測定方法および軌道間隔測定装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2004524082

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10493434

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2002751738

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20028251091

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2002751738

Country of ref document: EP