WO2006054598A1 - 顔特徴照合装置、顔特徴照合方法、及びプログラム - Google Patents

顔特徴照合装置、顔特徴照合方法、及びプログラム Download PDF

Info

Publication number
WO2006054598A1
WO2006054598A1 PCT/JP2005/021036 JP2005021036W WO2006054598A1 WO 2006054598 A1 WO2006054598 A1 WO 2006054598A1 JP 2005021036 W JP2005021036 W JP 2005021036W WO 2006054598 A1 WO2006054598 A1 WO 2006054598A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
image
imaging
imaging means
person
Prior art date
Application number
PCT/JP2005/021036
Other languages
English (en)
French (fr)
Inventor
Hirotaka Kamiyama
Hitoshi Yashio
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US11/718,738 priority Critical patent/US8073206B2/en
Publication of WO2006054598A1 publication Critical patent/WO2006054598A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • Facial feature matching device Facial feature matching device, facial feature matching method, and program
  • the present invention relates to a facial feature matching device that can collate with a face registered in advance when, for example, a suspicious person is monitored using a plurality of surveillance cameras.
  • Facial feature matching device capable of synthesizing and collating facial images when performing facial matching to identify humans, facial feature matching method used therefor, and execution to a computer to perform facial feature matching This is related to the program to be executed.
  • a surveillance staff selects any one of the installed cameras using a controller or the like.
  • the desired point was monitored.
  • the surveillance camera designated by the supervisor may not always be able to capture the most appropriate image.
  • Patent Document 1 As a method for improving the above point, for example, the method described in Patent Document 1 is known.
  • this is a configuration in which cameras are installed at a plurality of positions, and the camera closest to the position instructed by the observer is automatically selected and displayed for the medium power of the plurality of cameras that can be turned. It is.
  • Patent Document 1 JP 2002-77889 A
  • the optimal video is that a video necessary for specifying (collating) a target person is displayed.
  • the present invention has been made in view of the above circumstances, and a facial feature matching device capable of synthesizing an appropriate image necessary for identifying (matching) a person to be monitored that a monitor wants to see, It is an object to provide a face feature matching method and program.
  • the face feature collating device of the present invention includes a plurality of imaging means, an imaging control means for controlling the plurality of imaging means, a display means for displaying images taken by the plurality of imaging means, and the imaging
  • a collation unit that collates image data that has been registered in advance with image data, and the collation unit includes a person detection unit that detects a person from both the captured images, and a captured image of the detected person
  • a facial feature extraction unit that determines a facial region from a facial image and extracts a facial image; a facial feature synthesis unit that synthesizes the extracted facial feature; and the combined facial feature and facial image database that are pre-registered It is characterized by having a collation unit that collates with face images.
  • the imaging control unit is configured to specify an external IZF unit that is an interface with an external device that performs control of an external force, and image coordinates input from the external device.
  • a coordinate conversion unit for converting to the world coordinates, and an imaging device control unit for calculating a turning angle for operating the imaging means.
  • the collating unit includes a position detecting imaging unit that detects the position of the detected person and the tracking of the detected person among the plurality of imaging units. And an image pickup means selection section for selecting an image pickup means for tracking.
  • the face feature matching method of the present invention includes a plurality of imaging means, an imaging control means for controlling the plurality of imaging means, a display means for displaying images taken by the plurality of imaging means, and the captured image.
  • a collation unit that collates an image with pre-registered image data, detects a person from the captured image, determines a face area from the captured image of the detected person, and extracts a face image
  • the facial features are extracted from the extracted facial images, the extracted facial features are synthesized, and the synthesized facial features are collated with the facial images in the registered facial image database.
  • the program of the present invention includes a plurality of imaging units, an imaging control unit that controls the plurality of imaging units, a display unit that displays images captured by the plurality of imaging units, and a pre-registration of the captured images.
  • a step of detecting a person from the captured image, and a step of determining a face area from the captured image of the detected person and extracting the face image Extracting a facial feature from the extracted facial image; synthesizing the extracted facial feature; and comparing the synthesized facial feature with a facial image in a facial image database registered in advance. It is characterized by performing a facial feature matching operation that causes a computer to execute.
  • a recording medium storing a program for realizing a facial image synthesis method for synthesizing a plurality of facial features in a computer can be incorporated into any device.
  • the image pickup control means that can control all the image pickup means that can select and image the person to be monitored in the display means can be provided, and a face image taken from a plurality of image pickup hands.
  • FIG. 1 is a block diagram showing the configuration of a face feature matching device according to a first embodiment of the present invention.
  • FIG. 2 (A) and (B) are explanatory diagrams showing an endpoint extraction method for facial feature synthesis according to the first embodiment of the present invention.
  • FIG. 3 (A), (B), and (C) are explanatory diagrams showing facial feature synthesis according to the first embodiment of the present invention, respectively.
  • FIG. 4 is a flowchart explaining the operation of the imaging control means according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart for explaining the operation of the collating means according to the first embodiment of the present invention.
  • FIG. 6 is a configuration block diagram of a face feature matching system according to a second embodiment of the present invention.
  • FIG. 7 A flow chart for explaining the operation of the imaging control means according to the second embodiment of the present invention.
  • FIG. 8 is a flowchart for explaining the operation of the matching means according to the second embodiment of the present invention.
  • FIG. 1 shows a system configuration of a facial feature matching apparatus according to the present invention.
  • a display means 3 for displaying the person, detecting a person from the captured image, determining the face area of the person, extracting the face image, and extracting the facial features from the extracted face image powers.
  • a collating means 4 for synthesizing these face features and collating with the facial features registered in the face image database 5 is prepared.
  • the imaging means 1 is configured with a general surveillance camera (hereinafter referred to as a camera) 1A to 1: LE, which sets an imaging area in advance and images the imaging area, such as a fixed camera rotating camera. is there
  • the imaging control means 2 converts the external I ZF unit 21 that is an interface with the external device 6 such as a controller, and the image coordinates input from the external device 6 into world coordinates that are recognized by the entire face feature matching system.
  • the collating means 4 determines a force video input unit 41, which will be described later in detail, a person detection unit 42 that detects a person from the captured image, a face detection unit 43, and a face area of the person Then, a face extraction unit 44 that extracts a face image and a face feature from a plurality of extracted face images A face feature extraction unit 45, a face feature synthesis unit 46 that synthesizes a plurality of extracted face features, and a collation unit 47 that collates the face features with pre-registered face features.
  • the image coordinates are output to the external IZF 21, and then the image coordinates are converted into a coordinate conversion unit.
  • the data is output to 22 and converted into world coordinates from the image coordinates.
  • the world coordinates are, for example, coordinates when the position of the camera is represented as the origin (0, 0, 0) and the space is expressed as coordinates.
  • the field coordinates are uniquely determined by the following equation.
  • the coefficients Rl 1, R 12, R 13, R 21, R 22, R 23, R 31, R 32, R 33, tx, ty, and tz expressed by the equation (1) may be obtained and converted into world coordinates.
  • these factors can be calculated by calculating the formula (1) by placing a mark on the installation site of the surveillance camera, preparing multiple sets of image coordinates and field coordinates of the installation site mark, It is possible to obtain power equations such as simultaneous equations.
  • each camera 1A-: LE determines whether or not the region including the world coordinates where the monitoring target exists can be imaged. This method can be determined by holding in advance the area where each imaging means 1 can shoot at the time of installation. If the result of the determination is that shooting is possible, the pan angle and tilt angle of the imaging unit 1 are calculated from the positional relationship between the preset position, which is the shooting angle of the imaging unit 1 in the initial state, and the target world coordinates. Then move the imaging means. In this way, the person to be monitored is photographed by all the imaging means 1 that can photograph the person to be monitored selected by the monitor.
  • An image captured by the imaging unit 1 is input to the imaging input unit 41.
  • the input video of each imaging means is output to the person detection unit 42, and a person is detected from the video of each imaging means.
  • human detection is performed by, for example, capturing the movement and change of the image for each frame, which is the smallest unit captured by the imaging means 1, and detecting the person and the object by having an elliptical object above the movement and change. judge.
  • the face detection unit 43 detects a face area from the detected person.
  • the face detection is performed by, for example, registering and learning a plurality of bullying face images, creating an average face, and whether there is an area similar to the gray image of the average face ( Whether the degree of correlation is high).
  • the facial feature extraction unit 44 extracts facial features such as eyes, nose, and mouth that are facial features. This facial feature extraction is similar to, for example, creating a mean feature by registering and learning multiple facial features such as right eye, left eye, nose, mouth, etc. Whether there is an area or not and whether the degree of involvement is high).
  • the face orientation determination is performed by, for example, registering and learning multiple front faces, faces inclined 45 degrees to the right, faces inclined 45 degrees to the left, faces inclined 45 degrees upward, faces inclined 45 degrees downward, etc. Then, an average face at each angle is created, and it is determined which direction it faces depending on whether it is similar to the gray image of the average face (whether the degree of correlation is high). If it is determined that it is facing the front, then it is output to the collation unit 47, and if it is determined that it is not the front, it is output to the next face feature holding unit 45 and face feature synthesis unit 46.
  • the matching method is performed, for example, by matching with features such as the positional relationship of face parts such as eyes, nose, mouth, eyebrows, and face contour, information such as thickness and length, and facial shading information.
  • a registered image having a high degree of matching that is, a matching degree of a certain level or higher is output to the external IZF unit 21. Thereafter, the result is displayed on the display means 3.
  • the end points of the facial part extracted by the face feature extraction method are detected (marked by X in FIG. 2 (B)).
  • This method is, for example, extracted This is done by extracting the contour line of the facial part and using both ends as the end points.
  • an inquiry is made to the face feature holding unit 45 as to whether there is an image tilted to the right that is the opposite direction. If features in the reverse direction have been extracted, then both images are combined.
  • enlargement and reduction are performed so that two face images facing in opposite directions have the same magnification.
  • conversion and translation are performed so that the feature end points such as the right eye, left eye, right nose, left nose, right mouth, and left mouth corresponding to both images overlap, and the images are combined.
  • This conversion and parallel movement are performed by, for example, a well-known affine transformation.
  • affine transformation is a type of transformation method that maintains geometric properties, such as points that are aligned on a straight line in the original figure are aligned on the straight line after conversion, and parallel lines are parallel lines after conversion. It is.
  • the coordinates (x, y) corresponding to each coordinate (u, v) are calculated by obtaining the coefficients a, b, c, d, e, f shown in (2) and (3).
  • the coordinates of the image in Fig. 3 (B) may be transformed.
  • the force shown in the example of linear transformation such as affine transformation is not limited to this, and other linear transformation or non-linear transformation may be used.
  • the composite image is output to the collation unit 47 and collated with the face image registered in the face image data base 5 in advance.
  • the matching method is performed by matching with features such as positional information of face parts such as eyes, nose, mouth, eyebrows, and face outline, information such as thickness and length, and facial shading information.
  • a registered image having a high degree of coincidence that is, a certain degree of matching is output to the external IZF unit 21. Thereafter, the result is displayed on the display means 3.
  • FIG. 4 is a flowchart for explaining the operation of the imaging control means 2.
  • image coordinates are input. This image coordinate is converted into world coordinates common to all imaging means 1.
  • the coefficients shown in Equation (1), Rl l, R12, R13, R21, R22, R23, R31, R32, R33, tx, ty, tz Then, convert it to the field coordinates.
  • processing is performed for each camera 1A to: LE as the imaging means 1.
  • each imaging means 1 it is determined whether or not each imaging means 1 can capture the specified world coordinates (step S13). This can be determined by presetting the range that each camera 1A to 1E can shoot. Subsequently, if it is determined that each camera 1A to LE can be photographed, each camera 1A to IE calculates a turning angle for each camera 1A to IE so as to photograph the specified world coordinates. Each camera 1A-: If it is determined that the LE cannot shoot, the process returns to step S12 to perform the next imaging means 1 processing.
  • FIG. 5 is a flow for explaining the operation of the matching means 4.
  • a process of detecting a person is performed on the input video (step S21).
  • human detection is performed by, for example, capturing a change in the motion of each frame, which is the smallest unit photographed by the imaging means, and determining that the person is an ellipse object above the motion change. To do.
  • a face area is detected from the detected person (step S22).
  • face detection is performed by registering a plurality of face images in advance to create an average face, and similar to the gray image of the average face, whether or not there is a region is highly related! Or not).
  • facial features such as eyes, nose, and mouth, which are facial features, are extracted from the detected facial region (step S23).
  • This facial feature extraction is performed by, for example, registering and learning multiple facial features such as the right eye, left eye, nose, mouth, etc., and creating an average feature, similar to the gray image of the average feature. Whether there is a certain area or not).
  • step S24 a process of determining whether the face direction is the front is performed (step S24).
  • the direction of the front face force for example, multiple front faces, 45 degrees to the right, 45 degrees to the left, 45 degrees to the top, 45 degrees to the bottom, etc.
  • an average face at each angle is created, and it is determined which direction it is oriented according to whether it is similar to the gray image of the average face or whether the degree of relation is high.
  • the process is performed to read out the face data with the registered face database power (step S28).
  • the facial feature extracted in step S23 is collated with the facial feature whose facial database power is also read (step S29).
  • this matching method is performed by, for example, matching with facial features such as eyes, nose, mouth, eyebrows, facial contours such as positional relationship, thickness and length, and features such as facial shading information. Do by. If it is determined that the front face is not the front as a result of the front face determination, the facial feature extracted in step S23 is stored (step S25).
  • step S26 the medium feature of the facial feature in which the facial feature in the opposite direction to the facial feature extracted in step S23 is stored is also searched (step S26). If there is no face feature in the opposite direction to the face feature extracted in step S23, the collation process ends. If the facial features in the opposite direction to the facial features extracted in step S23 are present in the stored facial features, then the facial features extracted in step S23 and the read facial features are synthesized (step S27). 0 this method of synthesis is carried out by the method described above. That is, first, enlargement / reduction is performed so that two face images facing in opposite directions have the same magnification.
  • the image is rotated and translated so that the feature end points such as the right eye, left eye, right nose, left nose, right mouth and left mouth corresponding to both images overlap.
  • This rotation and parallel movement are performed by, for example, a well-known affine transformation as described above.
  • the process of reading out the face data is also performed for the face database power registered in advance (step S28).
  • the synthesized face feature is collated with the face feature read from the face database (step S29).
  • this matching method is performed by, for example, matching with features such as information on the positional relationship, thickness, and length of the facial part such as the eyes, nose, mouth, eyebrows, and facial contours, and information on the facial shading. To do.
  • the collated result is output to the display means (step S30).
  • the face feature matching apparatus of the first embodiment of the present invention since a person to be monitored is photographed by a plurality of imaging means 1, a person who wants to watch is selected. Images with various angular forces can be seen by the imaging means 1 that can shoot. Also, if it is determined that an image captured by a certain imaging device 1 is suitable for collation, the image is synthesized into an image suitable for collation. Even if it failed, Since collation with another imaging means 1 is possible, the accuracy of collation can be improved.
  • FIG. 6 illustrates a system configuration of a face feature matching apparatus according to the second embodiment of the present invention.
  • the difference between the face feature collating unit of the present embodiment and the face feature collating unit according to the first embodiment shown in FIG. 1 is that the collating unit 4 between the person detecting unit 42 and the coordinate converting unit 22 includes an imaging unit selecting unit. It is a point having 48.
  • the input of the imaging means selection unit 48 is connected to the output of the person detection unit 42.
  • the person detection unit 42 is also connected to the coordinate conversion unit 22.
  • an image taken from the image pickup means 1 (each camera 1A to LE: LE) is input to the image input unit 41.
  • the person detection unit 42 detects a person from the input video. As described above, this person detection, for example, captures a change in the motion of the image for each frame, which is the smallest unit photographed by the imaging means 1, and has an elliptical object above the motion change. It is determined as a person.
  • the moving direction of the person and the image coordinates where the person exists are also detected.
  • the result of the person detection is output to the imaging means selection unit 48.
  • the imaging means selection unit 48 selects the imaging means 1 that can be photographed from the imaging means 1 from the image coordinates that are the input person detection results.
  • the imaging means 1 that has detected the person is the imaging means 1 that performs only the position detection function, and the imaging means 1 that automatically tracks the other of the previously selected imaging means 1 that can be captured.
  • the instruction is output to the next coordinate conversion unit 22 to convert the image coordinates to the world coordinates for the imaging unit 1 that performs automatic tracking, and the world coordinates are output to the next imaging unit control unit 23.
  • the turning angle is calculated so that each imaging means 1 captures the world coordinates, and each imaging means 1 is operated.
  • image coordinates are output to the external IZF unit 21.
  • the image coordinates are output to the coordinate conversion unit 22, and processing for converting the image coordinate power into the coordinate coordinates that the entire face feature matching system has is performed. This conversion method is performed using the above-described equation (1).
  • the image pickup means 1 capable of shooting the coordinates indicating the position of the person selected by the image pickup means selection unit 48 is selected, and one of them is set as an image pickup means of the position detection function, and other image pickup means. 1 is the imaging means of the automatic tracking function.
  • the instruction is output to the next coordinate conversion unit 22, and the image coordinate force is also converted into a world coordinate for the imaging unit 1 that performs automatic tracking, and the world coordinates are output to the next imaging unit control unit 23. Thereafter, the turning angle is calculated so that the world coordinates are photographed for each imaging means 1, and each imaging means 1 is operated.
  • FIG. 7 is a flow for explaining the operation of the imaging means 1.
  • the operation flow in this embodiment differs from the operation flow of the imaging control means 2 in the first embodiment shown in FIG. 4 in that an automatic tracking setting request is sent to the imaging means selection unit 48 in FIG. 7 (step S1A). It is a point which has.
  • step S11 when a person displayed on the display means 3 is selected by a controller or the like as the external device 6, image coordinates are input. Subsequently, the image coordinates to which the controller equal force as the external device 6 is also input are output to the imaging device selection unit 48 of FIG. 6 (step S1A). After that, the imaging means 1 that performs automatic tracking is selected and returned. This operation will be described in the description of the operation flow of collation means 4 below. After that, the input image coordinates of the controller 6 as the external device 6 are converted into world coordinates common to the imaging means 1 that performs automatic tracking (step S11).
  • the flow operation of the verification unit 4 according to the present embodiment is different from the flow operation of the verification unit 4 shown in FIG. 5 in that it has the selection of the imaging unit 1 (step S2A) and a coordinate conversion request (step S2B). Is a point.
  • an image is input to the image input unit 41 from each imaging means 1.
  • the person detection unit 2 performs a process of detecting a person on the video input from the image input unit 41 (step S21).
  • this person detection is performed by, for example, capturing the motion change of the image for each frame, which is the minimum unit photographed by the imaging means 1, and an elliptical object above the motion change. It is determined that the person is a person.
  • the moving direction of the person and the image coordinates where the person exists are also detected.
  • the imaging means 1 is selected (step S2A).
  • an imaging means capable of photographing from a plurality of imaging means 1 is selected from the image coordinates that are the input person detection results.
  • the imaging means 1 that has detected the person is an imaging means that performs only the position detection function
  • the other of the previously selected imaging means 1 that can be captured is an imaging means that performs automatic tracking.
  • the person detection unit 42 outputs a coordinate conversion request signal to the coordinate conversion unit 22 via the imaging means selection unit 48 (step S2B).
  • This coordinate conversion unit 22 is a part that performs coordinate conversion in accordance with [Equation 1] shown above.
  • the image pickup means 1 that performs automatic tracking it converts the image coordinates into world coordinates, and performs the coordinate coordinates. Is output to the next imaging means control unit 23.
  • the imaging means control unit 23 calculates the turning angle so as to capture the world coordinates for each imaging means 1 and operates each imaging means 1. Subsequent face detection processing (step S22) and subsequent processing are the same as in FIG.
  • the face feature collation apparatus since the person to be monitored is continuously photographed by the plurality of imaging means 1, the person the monitor wants to see When is selected, it is possible to continuously view images with various angular forces from the imaging means 1 that can shoot. However, if it is determined that an image captured by a certain imaging means 1 is not suitable for collation, the image is unsuccessfully matched by combining the captured image with an image suitable for collation.
  • the facial features have the effect of improving the accuracy of matching even if A verification system can be provided.
  • the present invention is not limited to the above-described embodiment, and can be carried out in various forms within the scope without departing from the gist thereof.
  • the face feature matching apparatus of the present invention includes an imaging control unit capable of controlling all imaging units capable of selecting and imaging a monitoring target person in the display unit, and is further photographed from a plurality of imaging units. It is equipped with a compositing means that synthesizes face images. Even if only one image capturing means fails to collate, accuracy can be improved by enabling collation. A camera monitoring system can be realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　監視員が見たい監視対象の人物を特定するための照合に適切な画像を合成することのできる顔特徴照合装置を提供する。 　複数の撮像手段１と、この撮像手段１を制御する撮像制御手段２と、撮像手段１によって撮影されている画像を表示する表示手段３と、撮像した画像中から人物を検出し、人物の顔領域を判定して顔画像を抽出して、複数の撮像手段１で撮影された画像中から顔画像を抽出し、抽出した複数の顔画像から顔特徴を抽出してそれら複数の顔特徴を合成し、あらかじめ顔画像データベース５に登録されている顔特徴との照合を行う照合手段４とを備えている。

Description

明 細 書
顔特徴照合装置、顔特徴照合方法、及びプログラム
技術分野
[0001] 本発明は、例えば、複数の監視カメラを用いて不審人物などを監視する際に、あら 力じめ登録されていた顔との照合を行うことができる顔特徴照合装置に係り、特に人 物を特定するための顔照合を行う際の顔画像を合成して照合することができる顔特 徴照合装置及びこれに用いる顔特徴照合方法、及び顔特徴照合を行うためにコンビ ユータに実行させるプログラムに関するものである。
背景技術
[0002] 従来、監視カメラによる監視システムでは、複数の場所に設置された監視カメラから の画像に基づき、設置している複数のカメラから、監視員がコントローラ等により任意 の 1台を選択して所望の地点の監視を行っていた。しかしながら、所望の地点の監視 を行う場合に、監視員が指定した監視カメラが最も適切な画像を撮影できるとは限ら なかった。
そこで、上記点を改善する方法として、例えば、特許文献 1に記載のものが知られ ている。即ち、これは、複数の位置にカメラを設置しておき、旋回可能な複数のカメラ の中力も監視員が指示する位置に最も近いカメラを自動的に選択して表示させる、と いう構成のものである。
特許文献 1：特開 2002— 77889号公報
発明の開示
発明が解決しょうとする課題
[0003] し力しながら、従来のように、上記した複数のカメラの中から監視員が選択するカメ ラとして、例えば監視対象となる人物の最も近くに設置のカメラを選択しても、このカメ ラが、必ずしも最適な映像を表示するかどうかは分力もない。すなわち、最適な映像 とは、対象とする人物を特定 (照合)するのに必要な映像が表示されることである。
[0004] 従って、監視対象である人物を撮影するのに最適なカメラが、監視員が指示した位 置に最も近いカメラである否かは、その状況によって変わってくる。このため、監視員 は、見たい人物をすぐに撮影できない場合もあり、さらに、人物を特定するための照 合に適切な画像が高 、確度で取得できるかどうかは分力もな 、、 t 、う欠点がある。
[0005] 本発明は、上記事情に鑑みてなされたもので、監視員が見たい監視対象の人物を 特定 (照合)するために必要な適切な画像を合成することができる顔特徴照合装置、 顔特徴照合方法、及びプログラムを提供することを目的とする。
課題を解決するための手段
[0006] 本発明の顔特徴照合装置は、複数の撮像手段と、前記複数の撮像手段を制御す る撮像制御手段と、前記複数の撮像手段によって撮像した画像を表示する表示手段 と、前記撮像した画像とあらかじめ登録されて 、る画像データとを照合する照合手段 と、を備え、前記照合手段は、前記撮像した両画像中から人物を検出する人物検出 部と、前記検出した人物の撮像画像から顔領域を判定して顔画像を抽出する顔特徴 抽出部と、前記抽出した顔特徴を合成する顔特徴合成部と、前記合成した顔特徴と 顔画像データベースにあら力じめ登録されている顔画像との照合を行う照合部とを備 えたことを特徴としている。
この構成により、複数の撮像手段により監視対象の人物を撮影するため、監視員が 見たい人物を選択すると、撮影可能な撮像手段による様々な角度力 の映像を見る ことができる。また、ある撮像手段により撮像した画像が照合に適さないと判定されれ ば、照合に適した画像へと合成することによって、 1台の撮像手段では照合に失敗し ていた場合でも、照合の精度を向上させることができる。
[0007] また、本発明の顔特徴照合装置は、前記撮像制御手段は、外部力もの制御を行う 外部装置とのインターフェースである外部 IZF部と、前記外部装置から入力される画 像座標を所定のワールド座標に変換する座標変換部と、前記撮像手段を動作させる ための旋回角を算出する撮像装置制御部とを有することを特徴としている。
この構成により、複数の撮像手段により監視対象の人物を連続的に撮影するため、 監視員が見た!/ヽ人物を外部装置で選択すると、撮影可能な撮像手段による様々な 角度からの映像を連続的に見ることができる。
[0008] 本発明の顔特徴照合装置は、前記照合手段は、前記複数の撮像手段のうち、前記 検出した人物の位置検出を行う位置検出用の撮像手段と前記検出した人物の追尾 を行う追尾用の撮像手段とを選択する撮像手段選択部と、を有することを特徴として いる。
この構成により、複数の撮像手段により監視対象の人物を連続的に撮影するため、 監視員が見たい人物を選択すると撮影可能な撮像手段による様々な角度力 の映 像を連続的に見ることができる。し力も、ある撮像手段により撮像した画像が照合に 適さないと判定されれば、照合に適した画像へと合成することによって、 1台の撮像手 段では照合に失敗していた場合でも、照合の精度を向上させることができる。
また、本発明の顔特徴照合方法は、複数の撮像手段と、前記複数の撮像手段を制 御する撮像制御手段と、前記複数の撮像手段によって撮像した画像を表示する表示 手段と、前記撮像した画像とあらかじめ登録されて ヽる画像データとを照合する照合 手段と、を用い、前記撮像した画像中から人物を検出し、前記検出した人物の撮像 画像から顔領域を判定して顔画像を抽出し、抽出した顔画像から顔特徴を抽出し、 抽出された顔特徴を合成し、合成した顔特徴とあらかじめ登録されて ヽる顔画像デ ータベースの顔画像とを照合することを特徴として 、る。
この方法により、ある撮像手段により撮像した画像が照合に適さないと判定されれ ば、照合に適した画像へと合成することによって、 1台の撮像手段では照合に失敗し ていた場合でも、照合の精度を向上させることができる。
また、本発明のプログラムは、複数の撮像手段と、前記複数の撮像手段を制御する 撮像制御手段と、前記複数の撮像手段によって撮像した画像を表示する表示手段と 、前記撮像した画像とあらかじめ登録されて 、る画像データとを照合する照合手段と 、を用い、前記撮像した画像中から人物を検出するステップと、前記検出した人物の 撮像画像から顔領域を判定して顔画像を抽出するステップと、前記抽出した顔画像 から顔特徴を抽出するステップと、前記抽出した顔特徴を合成するステップと、前記 合成した顔特徴とあらかじめ登録されている顔画像データベースの顔画像との照合 を行うステップとをコンピュータに実行させるための顔特徴照合動作を行うことを特徴 としている。
この構成により、複数の顔特徴を合成する顔画像合成方法をコンピュータに実現す るためのプログラムを格納した記録媒体とすると、あらゆる機器に組み込み可能となる 発明の効果
[0010] 本発明によれば、表示手段中の監視対象人物を選択して撮影できる全ての撮像手 段を制御可能な撮像制御手段を備え、さらに、複数の撮像手 から撮影された顔画 像を合成する合成手段を備えることにより、 1台の撮像手段のみでは照合に失敗して いた場合でも、照合を可能にすることにより、精度を向上させることができる。
図面の簡単な 明 '
[0011] [図 1]本発明の第 1の実施形態に係る顔特徴照合装置の構成ブロック図
[図 2] (A)、（B)は、それぞれ、本発明の第 1の実施形態に係る顔特徴合成のための 端点抽出の方法を示す説明図
[図 3] (A)、（B)、（C)は、それぞれ、本発明の第 1の実施形態に係る顔特徴合成を 示す説明図
[図 4]本発明の第 1の実施形態に係る撮像制御手段の動作を説明するフローチヤ一 ト図
[図 5]本発明の第 1の実施形態に係る照合手段の動作を説明するフローチャート図
[図 6]本発明の第 2の実施形態に係る顔特徴照合システムの構成ブロック図
[図' 7]本発明の第 2の実施形態に係る撮像制御手段の動作を説明するフローチヤ一 ト図
, [図 8]本発明の第 2の実施形態に係る照合手段の動作を説明するフローチャート図 符号め説明
[0012] 1A〜： IE 撮像手段
2 撮像制御手段
21 外部 I,F部
22、座標変換部
23 撮像手段制御部
3 表示手段
4 照合手段
41 映像入力部 差替え用紙（規則.2 42 人物検出部
43 顔検出部
44 顔特徴抽出部
45 顔特徴保持部
46 顔特徴合成部
47 照合部
48 撮像手段選択部
5 顔画像データベース
6 外部装置
発明を実施するための最良の形態
[0013] 以下、本発明の実施形態について、添付図面を参照しながら詳細に説明する。
[第 1の実施形態]
図 1は、本発明の顔特徴照合装置のシステム構成を示すものであり、複数の撮像手 段 1と、この撮像手段 1を制御する撮像制御手段 2と、撮像手段 1によって撮影されて いる画像を表示する表示手段 3と、撮像した画像中から人物を検出し、この人物の顔 領域を判定して顔画像を抽出し、抽出した複数の顔画像力ゝら顔特徴を抽出を行 ヽそ れら複数の顔特徴を合成して、あら力じめ顔画像データベース 5に登録されている顔 特徴との照合を行う照合手段 4とを備える。
[0014] 撮像手段 1は、あらかじめ撮像領域を設定して、その撮像領域を撮像する固定カメ ラゃ回転カメラ等の一般的な監視カメラ（以下、カメラとよぶ） 1A〜： LEで構成してある
[0015] 撮像制御手段 2は、コントローラなどの外部装置 6とのインターフェースである外部 I ZF部 21と、外部装置 6から入力される画像座標を顔特徴照合システム全体で分か るワールド座標に変換する座標変換部 22と、撮像手段 1を動作させるための旋回角 を算出する撮像制御部 23とを有する。
[0016] 照合手段 4は、各部の詳細については後述する力 映像入力部 41と、撮像した画 像中から人物を検出する人物検出部 42と、顔検出部 43と、人物の顔領域を判定し て顔画像を抽出する顔抽出部 44と、抽出した複数の顔画像から顔特徴を抽出する 顔特徴抽出部 45と、抽出された複数の顔特徴を合成する顔特徴合成部 46と、顔特 徴とあらかじめ登録されている顔特徴との照合を行う照合部 47とを有する。
[0017] 次に、本実施形態の作用について説明する。
監視員は、コントローラ等の外部装置 6を用いて表示手段 3に表示されている監視 対象の中で人物を選択すると、外部 IZF21に画像座標が出力され、次に、画像座 標が座標変換部 22に出力され、画像座標カゝらワールド座標に変換する処理が行わ れる。なお、このワールド座標とは、例えば、カメラの位置を原点（0, 0, 0)として空間 内を座標表現するときの座標のことをいう。
[0018] ここで、画像座標を (Xc, Yc, Zc)、ワールド座標を (Xm, Ym, Zm)とすると、ヮー ルド座標は、次式で一義的に決定される。
[0019] [数 1]
Figure imgf000008_0001
[0020] すなわち、（1)式で示される係数、 Rl l、 R12、 R13、 R21、 R22、 R23、 R31、 R32 、 R33、 tx、 ty、 tzを求め、ワールド座標に変換すればよい。ただし、これらの係数は 、あら力じめ、監視カメラの設置現場に目印を立て、画像座標と設置現場目印のヮー ルド座標の組みを複数用意して（1)式を計算することで、多元連立方程式など力ゝら求 めることができる。
[0021] 監視員が監視対象を指定した人物のワールド座標が算出されれば、撮像手段制御 部 23にワールド座標を出力する。撮像手段制御部 23では、各カメラ 1A〜： LEが監視 対象が存在するワールド座標を含む領域を撮影できるかどうかを判定する。この方法 は、各撮像手段 1が撮影できる領域をあらかじめ設置時に保持しておくことで判定で きる。判定の結果、撮影できる場合には、初期状態の撮像手段 1の撮影角度である プリセット時の位置と対象のワールド座標の位置関係から、撮像手段 1のパン角、チ ルト角の旋回角度を計算して撮像手段を動かす。このようにして、監視員が選択した 監視対象人物を撮影できる全ての撮像手段 1で監視対象人物を撮影する。 [0022] 撮像手段 1により撮影された映像が撮像入力部 41に入力される。入力された各撮 像手段の映像を人物検出部 42に出力して、各撮像手段の映像から人物を検出する 。ここで、人物の検出は、例えば、撮像手段 1で撮影される最小単位である 1フレーム 毎の映像の動きや変化を捉え、その動きや変化の上部に楕円形の物体があることで 人物と判定する。次に、顔検出部 43において、検出された人物の中から顔領域を検 出する。ここで、顔検出は、例えば、あら力じめ顔画像を複数登録して学習させてお V、て平均顔を作成し、その平均顔の濃淡画像と似て 、る領域があるかどうか (相関度 が高いかどうか)で判定する。次に、顔特徴抽出部 44にて、顔の特徴となる目、鼻、 口といった顔特徴を抽出する。この顔特徴の抽出は、例えば、あら力じめ右目、左目 、鼻、口等の顔の特徴を複数登録して学習させておき平均特徴を作成し、その平均 特徴の濃淡画像と似ている領域があるかどうか湘関度が高いかどうか)で判定する。
[0023] 顔特徴を検出した結果、顔が正面を向いているかを判定する。この顔向き判定は、 例えば、あら力じめ正面顔、右 45度傾いた顔、左 45度傾いた顔、上 45度傾いた顔、 下 45度傾いた顔等を複数登録して学習させておき、各角度における平均顔を作成 し、その平均顔の濃淡画像と似ているかどうか (相関度が高いかどうか)でどの方向を 向いているかを判定する。もし、正面を向いていると判定されれば、次に、照合部 47 に出力し、正面以外と判定されれば、次の顔特徴保持部 45、顔特徴合成部 46に出 力する。
[0024] まず、正面を向いていると判定された場合について説明する。
正面を向いている場合は、次に照合部 47に出力され、あらかじめ顔画像データべ ース 5に登録してある顔画像と照合する。照合の方法は、例えば、目、鼻、口、眉、顔 の輪郭といった顔部位の位置関係、太さ、長さといった情報や顔の濃淡情報といった 特徴とのマッチングによって行う。照合した結果、一致度合いの高い、すなわち、一 定以上のマッチング度が出た登録画像を、外部 IZF部 21に出力する。その後、表示 手段 3に結果を表示する。
[0025] 次に、顔特徴合成のための端点抽出の方法について、図 2を用いて説明する。
図 2の (A)のように、左に傾いた顔画像の場合、前記の顔特徴抽出方法で抽出さ れた顔部位の端点を検出する (図 2 (B)の X印)。この方法は、例えば、前記抽出した 顔部位の輪郭線を抽出してその両端を端点とするような方法で行う。そして、左に傾 V、た画像であれば、その逆方向である右に傾 、た画像があるかどうかを顔特徴保持 部 45に問い合わせる。逆方向の特徴が抽出されていれば、次に両画像を合成する。
[0026] 次に、顔特徴合成の方法について、図 3を用いて説明する。
まず、図 3の (A)、（B)のように、お互いに逆方向を向いた顔画像 2枚が同じ倍率と なるように拡大、縮小を行う。その後、両画像の対応する右目、左目、右鼻、左鼻、右 口、左口等の特徴端点が重なるように変換、及び、平行移動を行い、合成する。この 変換、平行移動は、例えば、周知のァフィン変換等により行う。ここで、ァフィン変換と は、元の図形で直線上に並ぶ点は変換後も直線上に並び、平行線は変換後も平行 線であるなど、幾何学的性質が保たれる変換方式の一種である。
[0027] なお、図 3 (A)の座標を (u, V)として、図 3 (B)の座標を (X, y)とすると、以下の関 係が成立する。
u = ax+by+c …（2)
v = dx + ey+f …（3)
すなわち、（2)、（3)式で示される係数、 a、 b、 c、 d、 e、 fを求めることにより、各座標 (u, v)に対応する座標 (x、 y)を算出し、これにより、図 3 (B)の画像を座標変換すれ ばよい。なお、ここでは、ァフィン変換等の線形変換の例を示した力 これに限定する ものではなぐ他の線形変換や非線形変換でもよい。
[0028] 合成を行った後、合成画像を照合部 47に出力して、あらかじめ顔画像データべ一 ス 5に登録してある顔画像と照合する。照合の方法は、例えば、目、鼻、口、眉、顔の 輪郭といった顔部位の位置関係、太さ、長さといった情報や顔の濃淡情報といった 特徴とのマッチングによって行う。照合した結果、一致度合いの高い、すなわち、一 定以上のマッチング度が出た登録画像を外部 IZF部 21に出力する。その後、表示 手段 3に結果を表示する。
[0029] 次に撮像制御手段 2の動作について、図 4を用いて説明する。
図 4は、撮像制御手段 2の動作を説明するフローである。まず、外部装置 6であるコ ントローラ等により表示手段 3に表示されている人物を選択すると、画像座標が入力 されてくる。この画像座標を全ての撮像手段 1に共通なワールド座標に変換する (ス テツプ SI 1)。この変換処理は、先に説明した（1)式で示される係数、 Rl l、 R12、 R 13、 R21、 R22、 R23、 R31、 R32、 R33、 tx、 ty、 tzをあら力じめ求めておき、ヮー ルド座標に変換すればょ 、。続 、てステップ S 12からステップ S 15のループ処理に おいて、撮像手段 1である各カメラ 1A〜： LEの台数分の処理を行う。まず、各撮像手 段 1が指定されたワールド座標を撮影できるかどうかを判定する (ステップ S13)。これ は、あら力じめ各カメラ 1A〜1Eが撮影できる範囲をプリセットで設定しておくことによ り判定できる。続いて、各カメラ 1 A〜： LEが撮影できると判定されれば、各カメラ 1A〜 IEが指定されたワールド座標を撮影するように各カメラ 1 A〜： LE毎の旋回角を計算 する。各カメラ 1A〜： LEが撮影できないと判定されれば、次の撮像手段 1の処理を行 うためにステップ S12に戻る。
[0030] 次に、照合手段 4の動作について、図 5を用いて説明する。
図 5は、照合手段 4の動作を説明するフローである。まず、各カメラ 1A〜1Eから映 像が入力される。入力されてくる映像に対して、人物を検出する処理を行う (ステップ S21)。ここで、人物の検出は、例えば、撮像手段で撮影される最小単位である 1フレ ーム毎の映像の動き変化を捉え、その動き変化の上部に楕円形の物体があることで 人物と判定する。続いて、検出された人物の中から顔領域を検出する (ステップ S22) 。ここで、顔検出は、例えば、あらかじめ顔画像を複数登録して学習させておき平均 顔を作成し、その平均顔の濃淡画像と似て 、る領域があるかどうか湘関度が高!、か どうか)で判定する。
次に、検出された顔領域から顔の特徴となる目、鼻、口といった顔特徴を抽出する（ ステップ S23)。この顔特徴の抽出は、例えば、あら力じめ右目、左目、鼻、口等の顔 の特徴を複数登録して学習させておき平均特徴を作成し、その平均特徴の濃淡画 像と似ている領域があるかどうか湘関度が高いかどうか)で判定する。
[0031] その後で、顔向きが正面であるかを判定する処理を行う (ステップ S24)。この正面顔 力どうかの向き判定は、例えば、あら力じめ正面顔、右 45度傾いた顔、左 45度傾い た顔、上 45度傾いた顔、下 45度傾いた顔等を複数登録して学習させておき、各角 度における平均顔を作成し、その平均顔の濃淡画像と似ているかどうか湘関度が高 いかどうか)でどの方向を向いているかを判定する。判定の結果、正面を向いていると 判定されれば、あら力じめ登録されて 、る顔データベース力も顔データを読み出す 処理を行う (ステップ S28)。その後、ステップ S23で抽出していた顔特徴と、顔データ ベース力も読み出した顔特徴とを照合させる (ステップ S29)。この照合の方法は、先 に説明したように、例えば、目、鼻、口、眉、顔の輪郭といった顔部位の位置関係、太 さ、長さといった情報や顔の濃淡情報といった特徴とのマッチングによって行う。また 、正面顔の判定の結果正面ではないと判定されれば、次にステップ S23で抽出した 顔特徴を保存しておく (ステップ S25)。
[0032] 次に、ステップ S23で抽出された顔特徴と逆方向の顔特徴を保存されている顔特 徴の中力も探しだす (ステップ S26)。保存されて!、る顔特徴中にステップ S23で抽出 された顔特徴と逆方向の顔特徴が存在しなければ、照合処理は終了する。保存され ている顔特徴中にステップ S23で抽出された顔特徴と逆方向の顔特徴が存在すれ ば、次に、ステップ S23で抽出された顔特徴と読み出した顔特徴を合成する (ステップ S27)0この合成の方法は、先に説明した方法により行う。すなわち、まず、逆方向を 向いた顔画像 2枚が同じ倍率となるように拡大、縮小を行う。その後、両画像の対応 する右目、左目、右鼻、左鼻、右口、左口等の特徴端点が重なるように回転、及び、 平行移動を行い合成する。この回転、平行移動は、例えば前述したように、周知のァ フィン変換等により行う。
[0033] その後、あら力じめ登録されている顔データベース力も顔データを読み出す処理を 行う (ステップ S28)。続いて、合成した顔特徴と顔データベースから読み出した顔特 徴とを照合させる (ステップ S29)。この照合の方法は、先に説明したように、例えば、 目、鼻、口、眉、顔の輪郭といった顔部位の位置関係、太さ、長さといった情報や顔 の濃淡情報といった特徴とのマッチングによって行う。最後に、照合した結果を表示 手段に出力する (ステップ S30)。
[0034] このように、本発明の第 1の実施形態の顔特徴照合装置によれば、複数の撮像手 段 1により監視対象の人物を撮影するため、監視員が見たい人物を選択すると、撮影 可能な撮像手段 1による様々な角度力もの映像を見ることができる。また、ある撮像手 段 1により撮像した画像が照合に適さな 、と判定されれば、照合に適した画像へと合 成すること〖こよって、 1台の撮像手段 1だけであれば照合に失敗していた場合でも、 別の撮像手段 1での照合が可能であるので、照合の精度を向上させることができる。
[0035] [第 2の実施形態]
次に、本発明の第 2の実施の形態の顔特徴照合システムについて図 6を用いて説 明する。なお、この実施形態において、第 1の実施形態と同一部分には、同一符号を 付して重複説明を避ける。
図 6は、本発明の第 2の実施形態に係る顔特徴照合装置のシステム構成を説明す るものである。本実施形態の顔特徴照合手段が図 1に示す第 1の実施形態に係る顔 特徴照合手段と異なる点は、人物検出部 42と座標変換部 22の間の照合手段 4に、 撮像手段選択部 48を有する点である。
[0036] この撮像手段選択部 48は、入力が人物検出部 42の出力に接続されている。また、 この人物検出部 42は、座標変換部 22にも接続されている。この撮像手段選択部 48 を備えることによって、監視員が選択した人物を複数の撮像手段による自動追尾を 可能にする。
[0037] 以下、本実施形態の動作について、主に図 1と異なる部分を中心に説明する。
まず、撮像手段 1 (の各カメラ 1A〜： LE)から撮影されている映像が映像入力部 41に 入力される。続いて、人物検出部 42において、入力された映像中から人物を検出す る。この人物検出は、先に説明したように、例えば、撮像手段 1で撮影される最小単 位である 1フレーム毎の映像の動き変化を捉え、その動き変化の上部に楕円形の物 体があることで人物と判定する。また、この時同時に人物の移動方向、人物が存在す る画像座標も合わせて検出する。次ぎに、この人物検出の結果を撮像手段選択部 4 8に出力する。この撮像手段選択部 48は、入力された人物検出結果である画像座標 から、撮像手段 1の中から撮影可能な撮像手段 1を選択する。また、同時に、人物検 出を行った撮像手段 1は、位置検出機能のみを行う撮像手段 1とし、先に選択した撮 影可能な撮像手段 1のうちのその他を、自動追尾を行う撮像手段 1とする。その指示 を次の座標変換部 22に出力して、自動追尾を行う撮像手段 1に対して、画像座標か らワールド座標に変換し、ワールド座標を次の撮像手段制御部 23に出力する。その 後、各撮像手段 1に対してワールド座標を撮影するように旋回角を算出して、各撮像 手段 1を動作させる。 [0038] 上記で説明した動作は、撮像手段 1で検出した人物を自動追尾する方法にっ 、て 説明したが、以下に、コントローラ等の外部装置 6により選択した人物を自動追尾す る方法について説明する。
まず、コントローラ等の外部装置 6を用いて表示手段 3に表示されている監視対象 の中で人物を選択すると、外部 IZF部 21に画像座標が出力される。次に、画像座標 が座標変換部 22に出力され、画像座標力ゝら顔特徴照合システム全体が分力ゝるヮ一 ルド座標に変換する処理が行われる。この変換方法については、先に説明した（1) 式を用いて行う。続いて、撮像手段選択部 48にて選択された人物の位置を表すヮー ルド座標を撮影可能な撮像手段 1を選び、その中から 1台を位置検出機能の撮像手 段とし、他の撮像手段 1を自動追尾機能の撮像手段とする。その指示を次の座標変 換部 22に出力して、自動追尾を行う撮像手段 1に対して、画像座標力もワールド座 標に変換し、ワールド座標を次の撮像手段制御部 23に出力する。その後、各撮像手 段 1に対してワールド座標を撮影するように旋回角を算出して、各撮像手段 1を動作 させる。
[0039] 次に、撮像制御手段 2の動作について、撮像手段 1の動作を説明するフローである 図 7を用いて説明する。本実施形態における動作フローが図 4に示す第 1の実施形 態の撮像制御手段 2の動作フローと異なる点は、図 7にお 、て撮像手段選択部 48へ 自動追尾設定依頼 (ステップ S1A)を有する点である。
以下、主に図 4と異なる部分のみ説明する。まず、外部装置 6であるコントローラ等 により表示手段 3に表示されている人物を選択すると、画像座標が入力されてくる。 続いて、外部装置 6であるコントローラ等力も入力された画像座標を、図 6の撮像手 段選択部 48へ出力する (ステップ S1A)。その後、自動追尾を行う撮像手段 1が選択 されて戻ってくる。この動作に関する説明は、以下の照合手段 4の動作フローの説明 の中で行う。その後、外部装置 6であるコントローラ等力も入力された画像座標を自動 追尾を行う撮像手段 1に共通なワールド座標に変換する (ステップ S11)。この変換処 理は、先に説明した（1)式で示される係数、 Rl l、 R12、 R13、 R21、 R22、 R23、 R 31、 R32、 R33、 tx、 ty、 tzをあらかじめ求めておき、ワールド座標に変換すればよ い。以下、図 4と同様の処理内容である。 [0040] 次に、照合手段 4について、この照合手段 4の動作を説明するフローである図 8を 用いて説明する。なお、ここでは、主に図 5と異なる部分について説明する。
本実施形態に係る照合手段 4のフロー動作が、図 5に示した照合手段 4のフロー動 作と異なる点は、撮像手段 1の選択 (ステップ S2A)と座標変換依頼 (ステップ S 2B)を 有する点である。
まず、各撮像手段 1からは映像が画像入力部 41に入力される。人物検出部 2では 、画像入力部 41から入力されてくる映像に対して、人物を検出する処理を行う (ステツ プ S21)。ここで、この人物検出は、先に説明したように、例えば、撮像手段 1で撮影さ れる最小単位である 1フレーム毎の映像の動き変化を捉え、その動き変化の上部に 楕円形の物体があることで、人物と判定する。また、このとき同時に、人物の移動方向 、人物が存在する画像座標も合わせて検出する。次に、撮像手段 1の選択を行う (ス テツプ S2A)。ここでは、入力された人物検出結果である画像座標から複数の撮像手 段 1の中から撮影可能な撮像手段を選択する。また、同時に、人物検出を行った撮 像手段 1は、位置検出機能のみを行う撮像手段とし、先に選択した撮影可能な撮像 手段 1のうちのその他を、自動追尾を行う撮像手段とする。次に、人物検出部 42では 、撮像手段選択部 48を介して、座標変換依頼信号を座標変換部 22へ出力する (ス テツプ S2B)。この座標変換部 22は、先に示した [数 1]に従って座標変換を行う部分 であり、自動追尾を行う撮像手段 1に対して、画像座標カゝらワールド座標に変換し、ヮ 一ルド座標を次の撮像手段制御部 23に出力する。その後、撮像手段制御部 23は、 各撮像手段 1に対してワールド座標を撮影するように旋回角を算出して、各撮像手段 1を動作させる。続く顔検出処理 (ステップ S22)以降は、図 5と同様の処理内容である
[0041] このように、本発明の第 2の実施形態に係る顔特徴照合装置によれば、複数の撮 像手段 1により監視対象の人物を連続的に撮影するため、監視員が見たい人物を選 択すると、撮影可能な撮像手段 1による様々な角度力 の映像を連続的に見ることが できる。し力も、ある撮像手段 1により撮像した画像が照合に適さないと判定されれば 、その撮影画像を照合に適した画像へと合成することにより、 1台の撮像手段では照 合に失敗していた場合でも照合の精度を向上させることができる効果を有し、顔特徴 照合システムを提供することができる。
[0042] また、本発明は、上述した実施形態に何ら限定されるものではなぐその要旨を逸 脱しな 、範囲にぉ 、て種々の形態で実施し得るものである。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲 を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明ら かである。
本出願は、 2004年 11月 16日出願の日本特許出願 No.2004-331894に基づくもので あり、その内容はここに参照として取り込まれる。
産業上の利用可能性
[0043] 本発明の顔特徴照合装置は、表示手段中の監視対象人物を選択して撮影できる 全ての撮像手段を制御可能な撮像制御手段を備えるとともに、さらに、複数の撮像 手段から撮影された顔画像を合成する合成手段を備えており、 1台の撮像手段のみ では照合に失敗していた場合でも照合を可能にすることにより、精度を向上させるこ とができるので、信頼度の高 、カメラ監視システムを実現できる。

Claims

請求の範囲
[1] 複数の撮像手段と、
前記複数の撮像手段を制御する撮像制御手段と、
前記複数の撮像手段によって撮像した画像を表示する表示手段と、
前記撮像した画像とあらかじめ登録されている画像データとを照合する照合手段と を備え、
前記照合手段は、
前記撮像した両画像中から人物を検出する人物検出部と、
前記検出した人物の撮像画像から顔領域を判定して顔画像を抽出する顔特徴抽 出部と、
前記抽出した顔特徴を合成する顔特徴合成部と、
前記合成した顔特徴と顔画像データベースにあらかじめ登録されている顔画像と の照合を行う照合部と
を備えた顔特徴照合装置。
[2] 前記撮像制御手段は、
外部力 の制御を行う外部装置とのインターフェースである外部 IZF部と、 前記外部装置カゝら入力される画像座標を所定のワールド座標に変換する座標変換 部と、
前記撮像手段を動作させるための旋回角を算出する撮像装置制御部と を有する請求項 1に記載の顔特徴照合装置。
[3] 前記照合手段は、
前記複数の撮像手段のうち、前記検出した人物の位置検出を行う位置検出用の撮 像手段と前記検出した人物の追尾を行う追尾用の撮像手段とを選択する撮像手段 選択部と、
を有する請求項 1又は 2に記載の顔特徴照合装置。
[4] 複数の撮像手段と、
前記複数の撮像手段を制御する撮像制御手段と、 前記複数の撮像手段によって撮像した画像を表示する表示手段と、
前記撮像した画像とあらかじめ登録されている画像データとを照合する照合手段と を用い、
前記撮像した画像中から人物を検出し、
前記検出した人物の撮像画像から顔領域を判定して顔画像を抽出し、
抽出した顔画像から顔特徴を抽出し、
抽出された顔特徴を合成し、
合成した顔特徴とあら力じめ登録されている顔画像データベースの顔画像とを照合 する顔特徴照合方法。
複数の撮像手段と、
前記複数の撮像手段を制御する撮像制御手段と、
前記複数の撮像手段によって撮像した画像を表示する表示手段と、
前記撮像した画像とあらかじめ登録されている画像データとを照合する照合手段と を用い、
前記撮像した画像中から人物を検出するステップと、
前記検出した人物の撮像画像から顔領域を判定して顔画像を抽出するステップと、 前記抽出した顔画像から顔特徴を抽出するステップと、
前記抽出した顔特徴を合成するステップと、
前記合成した顔特徴とあらかじめ登録されている顔画像データベースの顔画像と の照合を行うステップと
をコンピュータに実行させるための顔特徴照合動作を行うプログラム。
PCT/JP2005/021036 2004-11-16 2005-11-16 顔特徴照合装置、顔特徴照合方法、及びプログラム WO2006054598A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/718,738 US8073206B2 (en) 2004-11-16 2005-11-16 Face feature collator, face feature collating method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-331894 2004-11-16
JP2004331894A JP4459788B2 (ja) 2004-11-16 2004-11-16 顔特徴照合装置、顔特徴照合方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2006054598A1 true WO2006054598A1 (ja) 2006-05-26

Family

ID=36407139

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/021036 WO2006054598A1 (ja) 2004-11-16 2005-11-16 顔特徴照合装置、顔特徴照合方法、及びプログラム

Country Status (4)

Country Link
US (1) US8073206B2 (ja)
JP (1) JP4459788B2 (ja)
CN (1) CN100583150C (ja)
WO (1) WO2006054598A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049333B2 (en) * 2014-01-29 2018-08-14 Panasonic Intellectual Property Management Co., Ltd. Sales clerk operation management apparatus, sales clerk operation management system, and sales clerk operation management method
JP2020141427A (ja) * 2020-06-15 2020-09-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4459788B2 (ja) * 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
US7995802B2 (en) * 2007-01-22 2011-08-09 International Business Machines Corporation Apparatus and methods for verifying identity using biometric information collected during a pre-enrollment phase
JP2009027393A (ja) * 2007-07-19 2009-02-05 Hitachi Ltd 映像検索システムおよび人物検索方法
JP2009055443A (ja) * 2007-08-28 2009-03-12 Toshiba Corp 画像検索システム
JP4937043B2 (ja) * 2007-08-28 2012-05-23 株式会社東芝 映像検索システム及び映像検索装置
JP4569670B2 (ja) * 2008-06-11 2010-10-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5642410B2 (ja) 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
US20140093142A1 (en) * 2011-05-24 2014-04-03 Nec Corporation Information processing apparatus, information processing method, and information processing program
US9195883B2 (en) 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system
US20130314523A1 (en) * 2012-05-24 2013-11-28 Joe Russ Inverted interactive communication system
CN103248867A (zh) * 2012-08-20 2013-08-14 苏州大学 基于多摄像头数据融合的智能视频监控系统的监控方法
CN102946514B (zh) * 2012-11-08 2014-12-17 广东欧珀移动通信有限公司 移动终端的自拍方法和装置
JP6128468B2 (ja) * 2015-01-08 2017-05-17 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
JP6592940B2 (ja) * 2015-04-07 2019-10-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
TWI574047B (zh) * 2015-06-16 2017-03-11 緯創資通股份有限公司 立體影像顯示裝置、方法以及系統
US10497014B2 (en) * 2016-04-22 2019-12-03 Inreality Limited Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
CN106780662B (zh) 2016-11-16 2020-09-18 北京旷视科技有限公司 人脸图像生成方法、装置及设备
CN106780658B (zh) * 2016-11-16 2021-03-09 北京旷视科技有限公司 人脸特征添加方法、装置及设备
CN106846564A (zh) * 2016-12-29 2017-06-13 湖南拓视觉信息技术有限公司 一种智能门禁系统及控制方法
KR102380426B1 (ko) * 2017-03-23 2022-03-31 삼성전자주식회사 얼굴 인증 방법 및 장치
US11010595B2 (en) 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
JP2000331207A (ja) * 1999-05-21 2000-11-30 Omron Corp ゲート装置
JP2002077889A (ja) * 2000-08-29 2002-03-15 Toshiba Corp 監視カメラ制御システム及び監視カメラ制御装置
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5331544A (en) * 1992-04-23 1994-07-19 A. C. Nielsen Company Market research method and system for collecting retail store and shopper market research data
JPH07264452A (ja) * 1994-02-03 1995-10-13 Samsung Electron Co Ltd カメラ一体型の磁気記録再生装置およびその方法
JP2002504785A (ja) * 1998-02-18 2002-02-12 ゲーエムデー−フォルシュングスチェントルム インフォマーションズテクニク ゲーエムベーハー 仮想テレビ・ビデオスタジオのためのカメラ追跡システム
WO2001045004A1 (en) * 1999-12-17 2001-06-21 Promo Vu Interactive promotional information communicating system
JP2002024905A (ja) * 2000-07-06 2002-01-25 Nec Kofu Ltd 電子ジャーナル作成方式及び電子ジャーナル作成方法
US6963659B2 (en) * 2000-09-15 2005-11-08 Facekey Corp. Fingerprint verification system utilizing a facial image-based heuristic search method
JP4675492B2 (ja) * 2001-03-22 2011-04-20 本田技研工業株式会社 顔画像を使用した個人認証装置
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
US20020175997A1 (en) * 2001-05-22 2002-11-28 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
JP4778158B2 (ja) * 2001-05-31 2011-09-21 オリンパス株式会社 画像選出支援装置
US6793128B2 (en) * 2001-06-18 2004-09-21 Hewlett-Packard Development Company, L.P. Face photo storage system
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
US6725383B2 (en) * 2002-05-15 2004-04-20 Biocom, Llc Data and image capture, compression and verification system
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
KR100547992B1 (ko) * 2003-01-16 2006-02-01 삼성테크윈 주식회사 디지털 카메라와 그의 제어 방법
US7359529B2 (en) * 2003-03-06 2008-04-15 Samsung Electronics Co., Ltd. Image-detectable monitoring system and method for using the same
US7184602B2 (en) * 2003-05-02 2007-02-27 Microsoft Corp. System and method for low bandwidth video streaming for face-to-face teleconferencing
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US7218760B2 (en) * 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
DE602004025940D1 (de) * 2003-07-11 2010-04-22 Toyota Motor Co Ltd Bildverarbeitungseinrichtung, bildverarbeitungsverfahren, bildverarbeitungsprogramm und aufzeichnungsmedium
WO2005034025A1 (en) * 2003-10-08 2005-04-14 Xid Technologies Pte Ltd Individual identity authentication systems
EP1566788A3 (en) * 2004-01-23 2017-11-22 Sony United Kingdom Limited Display
JP2005242567A (ja) * 2004-02-25 2005-09-08 Canon Inc 動作評価装置及び方法
JP4388905B2 (ja) * 2004-02-27 2009-12-24 富士フイルム株式会社 カード発行システム、カード発行方法、及びカード発行プログラム
JP2005242775A (ja) * 2004-02-27 2005-09-08 Omron Corp ゲートシステム
EP1748390A4 (en) * 2004-04-15 2014-01-01 Panasonic Corp DEVICE AND METHOD FOR CREATING IMAGES OF THE FACE
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
JP4459788B2 (ja) * 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP4685465B2 (ja) * 2005-02-01 2011-05-18 パナソニック株式会社 監視記録装置
JP2006259930A (ja) * 2005-03-15 2006-09-28 Omron Corp 表示装置およびその制御方法、表示装置を備えた電子機器、表示装置制御プログラム、ならびに該プログラムを記録した記録媒体
GB2430736A (en) * 2005-09-30 2007-04-04 Sony Uk Ltd Image processing
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
JP2007148872A (ja) * 2005-11-29 2007-06-14 Mitsubishi Electric Corp 画像認証装置
JP5239126B2 (ja) * 2006-04-11 2013-07-17 株式会社ニコン 電子カメラ
JP2008243093A (ja) * 2007-03-29 2008-10-09 Toshiba Corp 辞書データの登録装置及び辞書データの登録方法
JP2009087232A (ja) * 2007-10-02 2009-04-23 Toshiba Corp 人物認証装置および人物認証方法
JP5187139B2 (ja) * 2008-10-30 2013-04-24 セイコーエプソン株式会社 画像処理装置およびプログラム
KR101108835B1 (ko) * 2009-04-28 2012-02-06 삼성전기주식회사 얼굴 인증 시스템 및 그 인증 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
JP2000331207A (ja) * 1999-05-21 2000-11-30 Omron Corp ゲート装置
JP2002077889A (ja) * 2000-08-29 2002-03-15 Toshiba Corp 監視カメラ制御システム及び監視カメラ制御装置
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049333B2 (en) * 2014-01-29 2018-08-14 Panasonic Intellectual Property Management Co., Ltd. Sales clerk operation management apparatus, sales clerk operation management system, and sales clerk operation management method
JP2020141427A (ja) * 2020-06-15 2020-09-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP7036153B2 (ja) 2020-06-15 2022-03-15 日本電気株式会社 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2006146323A (ja) 2006-06-08
US8073206B2 (en) 2011-12-06
US20090052747A1 (en) 2009-02-26
CN101057256A (zh) 2007-10-17
CN100583150C (zh) 2010-01-20
JP4459788B2 (ja) 2010-04-28

Similar Documents

Publication Publication Date Title
WO2006054598A1 (ja) 顔特徴照合装置、顔特徴照合方法、及びプログラム
US6243103B1 (en) Panoramic image generation in digital photography
US8791983B2 (en) Image pickup apparatus and associated methodology for generating panoramic images based on location and orientation information
US7643066B2 (en) Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
CN101796474B (zh) 图像投影设备及其控制方法
WO2017049816A1 (zh) 一种控制无人机随脸转动的方法和装置
JP4579980B2 (ja) 一続きの画像の撮像
US11210796B2 (en) Imaging method and imaging control apparatus
US20080180550A1 (en) Methods For Capturing a Sequence of Images and Related Devices
US20120275648A1 (en) Imaging device and imaging method and program
US20050185058A1 (en) Image stabilization system and method for a video camera
JP2008204384A (ja) 撮像装置、物体検出方法及び姿勢パラメータの算出方法
JP2004318823A (ja) 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
JP5959923B2 (ja) 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
TWI509466B (zh) 物件辨識方法與裝置
US6563528B2 (en) Video conference system
KR101718081B1 (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
KR101715781B1 (ko) 물체 인식 시스템 및 그 물체 인식 방법
JP5376403B2 (ja) 映像表示装置及びプログラム
JP2001057652A (ja) 画像入力装置および画像入力方法
JP2008211534A (ja) 顔検知装置
JP4812099B2 (ja) カメラ位置検出方法
JP2006238362A (ja) 画像天地判定装置および方法並びにプログラム
JP2003288595A (ja) 物体認識装置及び方法、並びにコンピュータ読み取り可能な記録媒体
JP2005309992A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11718738

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200580039026.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05807039

Country of ref document: EP

Kind code of ref document: A1