WO2017046838A1 - 特定人物検知システムおよび特定人物検知方法 - Google Patents
特定人物検知システムおよび特定人物検知方法 Download PDFInfo
- Publication number
- WO2017046838A1 WO2017046838A1 PCT/JP2015/075978 JP2015075978W WO2017046838A1 WO 2017046838 A1 WO2017046838 A1 WO 2017046838A1 JP 2015075978 W JP2015075978 W JP 2015075978W WO 2017046838 A1 WO2017046838 A1 WO 2017046838A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- person
- image
- detection
- specific
- specific person
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to a specific person detection system, and can be applied to, for example, a specific person detection system that detects a specific person using a degree of coincidence obtained from an image feature amount.
- the specific person detection system has a function to automatically detect a person who has registered an image as a detection target (hereinafter referred to as a specific person) in the surveillance video and notify the system operator.
- System. Detection is performed by calculating the degree of coincidence between the images of a specific person and the image features of the person appearing in the monitoring video (character), and the degree of coincidence is within a certain range. If it is, it is regarded as the same person, that is, it is carried out by determining that it is a specific person.
- the character detection system Due to the nature of surveillance cameras, the character detection system often does not recognize the presence of the camera, and the characters do not always face the camera. There is a case not to do. This leads to deterioration in detection accuracy in the specific person detection system, and specifically appears in the form of oversight or false detection.
- a method has been proposed in which accuracy is improved by preparing and registering images of various angles in advance for the person image to be registered with respect to orientation fluctuations (for example, JP-A-2014-106816 (Patent Document 1)). ). However, it may be difficult to prepare various angle images in advance.
- An object of the present invention is to provide a specific person detection system that reduces deterioration in detection accuracy.
- the specific person detection system acquires the person recorded in the specific person part most similar to the feature amount extracted from the image data, and calculates the similarity between the feature amount extracted from other image data and the person Then, a person whose angle information is most similar to the person is output as a collation result from persons having a high degree of similarity.
- the figure which shows the function structure of the detection apparatus of FIG. The figure which shows the aspect of the recording data in the specific person recording part of FIG.
- the figure which shows the flow of a process in the detection apparatus of FIG. The figure which shows the flow of a process in the detection apparatus of FIG.
- the figure which shows the flow of a process in the detection apparatus of FIG. The figure which shows the aspect of the storage data in the determination result storage part of FIG.
- the figure explaining timing The figure explaining the content of the process in the time T.
- FIG. The figure explaining the content of the process in the time T.
- FIG. The figure explaining the content of the process in steps 411-420.
- the figure which shows the flow of a process in the detection apparatus of FIG. The figure which shows the flow of a process in the detection apparatus of FIG.
- the figure which shows the flow of a process in the detection apparatus of FIG. The figure explaining the content of the process in the time T.
- FIG. The figure which shows the apparatus structure of the specific person detection system which concerns on a 3rd Example.
- FIG. The figure which shows the flow of a process in the detection apparatus of FIG.
- the figure which shows the flow of a process in the detection apparatus of FIG. The figure explaining the content of the process in the time T.
- FIG. The figure explaining the content of the process in the time T.
- FIG. The figure explaining the content of the process in time T + 18.
- the specific person detection system acquires a person recorded in the specific person part most similar to the feature amount extracted from the image data, and the degree of similarity between the feature amount extracted from other image data and the person And the person whose angle information is most similar to the person among the persons having a high degree of similarity is output as a matching result. According to the specific person detection system according to the embodiment, higher detection accuracy can be obtained.
- the apparatus configuration of the specific person detection system according to the first embodiment will be described with reference to FIG.
- the specific person detection system 10 is configured such that an imaging device 101, a recording device 102, a detection device 103, and a terminal device 104 are connected to a network 100 and can communicate with each other.
- the network 100 is a dedicated line that connects devices to each other and performs data communication, or a communication line such as an intranet, the Internet, or a wireless LAN.
- the image pickup apparatus 101 includes a zoom lens capable of perspective control and focus control, an image pickup device such as a CCD or a CMOS, an A / D conversion circuit for digitally converting an analog signal, a temporary storage memory such as a RAM, a data transmission bus, and a timing circuit.
- a device such as an external input / output interface, a power supply circuit, a pan head for panning and tilting, a surveillance camera equipped with illumination such as a visible light or a near infrared LED.
- the imaging apparatus 101 converts the light passing through the lens into an electrical signal by the imaging device, converts the converted electrical signal into a digital value by the A / D conversion circuit, and converts the converted digital value as image data in the temporary storage memory. Store.
- the stored image data is output from the external input / output interface to the network 100 in response to an external video request input to the external input / output interface or an instruction from the timing circuit. Similarly, in accordance with an external control command input to the external input / output interface, the direction of shooting, the perspective of the lens, the focus, the amount of illumination, and the like are changed.
- the recording device 102 is a device such as a network digital recorder including a temporary storage memory such as a RAM, a recording medium such as an HDD, a data transmission bus, a timing circuit, an external input / output interface, a power supply circuit, and the like.
- the recording apparatus 102 records the image data from the imaging apparatus 101 input to the external input / output interface from the network 100 together with the image time on a recording medium such as an HDD.
- the recorded image data is output from the external input / output interface to the network 100 in response to an external video request input to the external input / output interface or an instruction from the timing circuit.
- the video request includes an image time, and the recording apparatus 102 outputs image data at the image time included in the video request.
- the recording device 102 is constantly recording the video of the imaging device 101.
- the detection device 103 is a device such as a computer including an arithmetic circuit such as a CPU, a temporary storage memory such as a RAM, a recording medium such as an HDD, a data transmission bus, an external input / output interface, a power supply circuit, and the like.
- the detection device 103 stores the image data from the imaging device 101 input to the external input / output interface from the network 100 in the temporary storage memory.
- Various operations related to specific person detection are performed on the stored image data using an arithmetic circuit.
- the recording medium stores a set of software, an OS (operation system), a set of images of a specific person (person feature amount), and the like. The result of the specific person detection is output to the network 100 from the external input / output interface.
- the terminal device 104 is an arithmetic circuit such as a CPU, a temporary storage memory such as a RAM, a recording medium such as an HDD, a data transmission bus, an external input / output interface, a power circuit, a screen such as a liquid crystal display, and a user input such as a keyboard and a mouse. It is a device such as a computer provided with a device. Further, the terminal device 104 may be configured by adding, for example, a buzzer, a voice announcement device, an LED light emitting device, or the like. The terminal device 104 stores the image data from the imaging device 101 input to the external input / output interface from the network 100 and the specific person detection result from the detection device 103 in a temporary storage memory.
- the stored image data and the specific person detection result are converted into a form suitable for display using an arithmetic circuit and displayed on the screen.
- the recording medium stores a set of software, an OS, and the like.
- a user operation on the terminal device 104 is performed on a user input device.
- the detection device 103 includes a specific person recording unit 200, an image reception unit 201, a person detection unit 202, a person angle calculation unit 203, a person feature amount calculation unit 204, a specific person determination unit 205, and a determination result storage.
- the specific person recording unit 200 is a processing unit that records an image of a specific person, a person feature amount, a person ID (first and last name, identification information given to the person), and the like on a recording medium when registering the image of the specific person.
- a recording medium For example, a database.
- the data shall be given in advance, and the way of giving it may be whatever. The mode of recorded data in the specific person recording unit will be described later.
- the image receiving unit 201 is a processing unit that inputs and outputs images from the outside of the apparatus. In this embodiment, the image receiving unit 201 receives input image data from the imaging apparatus 101 and the recording apparatus 102.
- the person detection unit 202 performs person detection using image recognition technology on the input image data to the image reception unit 201, determines the presence of a character, and outputs a region coordinate when the person exists in the image. Is a processing unit.
- the person angle calculation unit 203 is a processing unit that calculates an angle by using an image recognition technique for a person region in an image detected by the person detection unit 202.
- the person feature amount calculation unit 204 is a processing unit that performs feature amount calculation using an image recognition technique on a person region in the image detected by the person detection unit 202.
- the specific person determination unit 205 is a processing unit that primarily determines, using the feature amount obtained by the person feature amount calculation unit 204, whether or not a specific person has been detected by the person detection unit 202.
- the determination result storage unit 206 is a processing unit that stores and stores the result determined by the specific person determination unit 205 in the temporary storage memory. A mode of stored data in the determination result storage unit will be described later.
- the specific person integration determination unit 207 is a processing unit that performs determination in the specific person determination unit 205 and performs secondary determination on the determination results stored in the determination result storage unit 206 from a plurality of determination results.
- the detection notification unit 208 is a processing unit that inputs and outputs a result notification when a specific person is detected by the specific person integration determination unit 207, and transmits specific person detection result data to the terminal device 104. .
- the control instruction unit 209 is a processing unit that instructs each processing unit.
- the record data 320 in the specific person recording unit 201 records, for example, information on one person as one record, and records information on five specific persons, that is, five records. It is composed of 300-304.
- Each of the records 300 to 304 includes a record number cell 310, a person ID cell 311, a feature cell 312, an angle cell 313, and a person image cell 314.
- the record number cell 310 is an area for storing a record number.
- the record number is a number used for managing records, and is, for example, a continuous integer value uniquely assigned to each record.
- the person ID cell 311 is an area for storing a person ID of a specific person.
- a character string as a person name is stored is shown.
- an integer value or the like may be used as long as it is identification information given to a person.
- the feature quantity cell 312 is an area for storing a person feature quantity of a specific person.
- a decimal value as a one-dimensional value is stored is shown for ease of explanation, but a multidimensional value may be used.
- the angle cell 313 is an area for storing the shooting angle of a specific person.
- the person image cell 314 is an area for storing an image of a specific person.
- an example in which a person image itself is stored is shown, but instead, an address of an area in which an image is separately stored may be stored in hexadecimal.
- Step 400 The control instruction unit 209 calculates the time (T) of the next image to be acquired. When specific person detection is performed every several frames, a time several frames ahead of the current time is calculated and used as the image time (T). Then, the image receiving unit 201 requests the imaging apparatus 101 to output an image (T).
- Step 401 The image receiving unit 201 waits for image reception. If an incoming image from the imaging apparatus 101 is detected, the process proceeds to step 402.
- Step 402 The image receiving unit 201 receives an image from the imaging apparatus 101. This received image at time (T) is defined as image (T).
- Step 403 The person detection unit 202 performs person detection on the received image data.
- the person detection is performed by detecting a moving object based on a difference from the background image, and further determining a person based on the area, shape, moving speed, etc. of the moving object region, or an image feature of a person learned and prepared in advance. This is performed by a method of searching for the presence or absence of an area having a pattern using an in-image search.
- the person detection may be any method, and even if the person detection is detection for the whole person, a partial region such as a face that is a representative part of the person is targeted. May be detected.
- the process proceeds to step 404. If not detected, the process returns to step 400.
- Step 404 The person detection unit 202 calculates the person area coordinates of the person detected in step 403.
- Step 405 The person angle calculation unit 203 calculates a shooting angle for the person area image calculated in step 404.
- a person's shooting angle is calculated by detecting each organ such as the eyes, nose, and mouth from the region image, and preparing a method for obtaining the position and the angle from the arrangement relationship in advance and similar to the image. This is done by the method determined from the nature. Any method may be used in the present invention.
- Step 406 The person feature amount extraction unit 204 calculates the person feature amount of the person region image calculated in step 404.
- the human feature amount calculated here includes, for example, the shape and direction of the outline of the person, the color of the hair and skin, the gait, the shape and direction of the outline of the face, the size of the main components such as eyes, nose, and mouth.
- Examples of the image feature amount include the size, shape, and arrangement relationship. In the present embodiment, any type and number of feature amounts may be used.
- Step 407 The specific person determination unit 205 performs all verification of person feature amounts. Specifically, the person feature amount calculated in step 406 is collated in order (matching degree calculation) for all the person feature amounts of each specific person recorded in advance in the specific person recording unit 200, Find the feature with the highest match. The person having this feature amount is set as the most similar person.
- the degree of coincidence is a numerical value indicating the closeness between images (image feature amounts), and the calculation method is, for example, “Representation model for large-scale image collection” (Aoi Tsujiike et al., Japan) Reference can be made to a paper such as the Journal of the Photographic Society of Japan, Vol. 66, No. 1, P93-P101).
- the degree of coincidence in this embodiment is assumed to be higher as the value is smaller. In the present embodiment, any method for determining the collation order and calculating the degree of coincidence may be used.
- Step 408 The specific person determination unit 205 performs detection determination (primary detection) of the specific person.
- the detection determination is that the person is detected as a specific person when the degree of coincidence is equal to or less than the threshold in the relationship between the degree of coincidence of the most similar person obtained in step 407 and a certain value (first threshold). judge. If it is determined to be detected, the process proceeds to step 409; otherwise, the process returns to step 400.
- Step 409 The determination result storage unit 206 stores the result obtained for the image (T) and stores it.
- the data to be stored includes the matching degree and person ID of the most similar person obtained at step 408, the angle obtained at step 405, and the coordinates of the person area calculated at step 404.
- the mode of the stored data will be described later.
- Step 410 The control instruction unit 209 resets the counter (L) to 1.
- Step 411 The control instruction unit 209 compares the magnitude relationship between the counter (L) and the preset limit value (M). If L is less than M, the process proceeds to step 412; if L is equal to or greater than M, the process proceeds to step 421.
- M is, for example, 4.
- Step 412 The image receiving unit 201 requests the recording apparatus 102 to output the image (TL) before the L frame of the image (T).
- Step 413 The image receiving unit 201 receives an image (TL) from the recording device 102.
- Step 414 The person detection unit 202 detects the same person as the person detected in step 403 for the received image data. At that time, if the counter (L) is 1, only the region near the person region image calculated in step 404 is detected as the detection target.
- the person detection method is the same as in step 403.
- the person detected in step 403 and the person detected in this step are identified by, for example, obtaining an overlapping area between the person region obtained in step 403 and the person region obtained in this step, and the value is a constant value. If this is the case, the same method is used.
- the above-mentioned fixed value is given in advance in consideration of the apparent movement amount in the person image. As a result, if the same person is detected, the process proceeds to step 415. If not detected, the process proceeds to step 421.
- Step 415 The person detection unit 202 calculates the person area coordinates of the person detected in step 414.
- Step 416 The person angle calculation unit 203 calculates the shooting angle for the person area image calculated in step 415.
- the angle calculation method is the same as step 405.
- Step 417 The person feature amount extraction unit 204 calculates the person feature amount of the person region image calculated in step 415.
- the method for calculating the human feature quantity is the same as in step 406.
- Step 418 The specific person determination unit 205 performs person feature amount collation. Specifically, the feature quantity of the most similar person obtained in step 407 is extracted from the person feature quantities of each particular person recorded in advance in the particular person recording unit 200, and the person feature quantity calculated in step 417 is obtained. And the degree of coincidence is calculated. The method for calculating the coincidence is the same as in step 407.
- Step 419 The determination result storage unit 206 stores the result obtained for the image (TL) and stores it.
- the data to be stored includes the degree of coincidence obtained in step 418, the angle obtained in step 416, and the coordinates of the person area calculated in step 415.
- Step 420 The control instruction unit 209 adds 1 to the counter L and returns the control to step 411.
- the addition amount is 1, that is, an example in which continuous frames are used.
- the addition amount May be 2 or more, and a discrete frame may be used. The same applies thereafter.
- Step 421 The control instruction unit 209 resets the counter (L) to 1.
- Step 422 The control instruction unit 209 compares the magnitude relationship between the counter (L) and the preset limit value (N). If L is less than N, the process proceeds to step 423, and if L is equal to or greater than N, the process proceeds to step 432.
- N is set to 4, for example.
- Step 423 The image receiving unit 201 requests the recording apparatus 102 to output an image (T + L) next to the L frame of the image (T).
- Step 424 The image receiving unit 201 receives an image (T + L) from the recording device 102.
- Step 425 The person detection unit 202 detects the same person as the person detected in step 403 for the received image data. At that time, if the counter (L) is 1, only the region near the person region image calculated in step 404 is detected as the detection target.
- the person detection method is the same as in step 403. Identification of the person detected in step 403 and the person detected in this step is the same as in step 414. As a result, if the same person is detected, the process proceeds to step 426, and if not detected, the process proceeds to step 432.
- Step 426 The person detection unit 202 calculates the person area coordinates of the person detected in step 425.
- Step 427 The person angle calculation unit 203 calculates a shooting angle with respect to the person area image calculated in step 426.
- the angle calculation method is the same as step 405.
- Step 428 The person feature amount extraction unit 204 calculates the person feature amount of the person region image calculated in step 426.
- the method for calculating the human feature quantity is the same as in step 406.
- Step 429 The specific person determination unit 205 collates person feature amounts. Specifically, the feature quantity of the most similar person obtained in step 407 is extracted from the person feature quantities of each particular person recorded in advance in the particular person recording unit 200, and the person feature quantity calculated in step 428 is extracted. And the degree of coincidence is calculated. The method for calculating the coincidence is the same as in step 407.
- Step 430 The determination result storage unit 206 stores the result obtained for the image (T + L) and stores it.
- the data to be stored includes the degree of coincidence obtained in step 429, the angle obtained in step 425, and the coordinates of the person area calculated in step 426.
- Step 431 The control instruction unit 209 adds 1 to the counter (L) and returns the control to Step 422.
- Step 432 The specific person integration determination unit 207 performs integration determination using the results stored in the determination result storage unit 206 in steps 409, 419, and 430.
- the shooting angle of the most similar person obtained in step 407 is extracted from the shooting angles of each specific person recorded in advance in the specific person recording unit 200 and stored in the angle and determination result storage unit 206.
- the result of the closest angle is searched, and if the degree of coincidence is equal to or less than the threshold in the relationship between the degree of coincidence of the result and a certain fixed value (second threshold), the person is determined as a specific person It is determined to be integrated when detected.
- the second threshold value is set smaller than the first threshold value. If it is determined to be detected, the process proceeds to step 433; otherwise, the process proceeds to step 434.
- Step 433 The detection notification unit 208 transmits a specific person notification to the terminal device 104.
- the transmission data includes a specific person ID, a person image thereof, and the like.
- Step 434 The determination result storage unit 206 deletes all the stored results.
- the stored result may be overwritten without being deleted. After the deletion is completed, the process returns to step 400.
- the storage data 520 in the determination result storage unit 206 is stored, for example, as a collation result as one record, and can store a maximum of seven records, that is, seven collation results. It consists of records 500 to 506.
- FIG. 5 shows a state in which every record is empty.
- Each of the records 500 to 506 includes a record number cell 510, a person ID cell 511, a coincidence cell 512, an angle cell 513, and a person area coordinate cell 514.
- the record number cell 510 is an area for storing a record number.
- the record number is a number used for managing records, and is, for example, a continuous integer value uniquely assigned to each record.
- Person ID cell 511 is an area for storing the person ID of the most similar person.
- the person ID is information used to identify a person, and is, for example, a character string representing a person name, an integer value string uniquely assigned to a person, a symbol string, a combination thereof, or the like.
- the coincidence cell 512 is an area for storing the coincidence.
- the angle cell 513 is an area for storing the shooting angle of the character.
- the person area coordinate cell 514 is an area for storing the coordinates of the image area of the character.
- this character is a detection target, that is, a person E of a specific person.
- the data shown in FIG. 3 is recorded in the specific person recording unit 200 in advance. Further, for the sake of simplicity, it is assumed that no person other than the person E appears from the appearance of the person E to the exit. It is assumed that the imaging apparatus 101 captures images at 10 frames / second, and the recording apparatus 102 records images from the imaging apparatus 101 at 10 frames / second. The detection device 103 performs processing while sampling the video of the imaging device 101 at 1 frame / second.
- timings 610 to 630 expressed in vertical lines on the horizontal axis 600 represent timings of images captured by the imaging apparatus 101 and recorded by the recording apparatus 102. Among them, timings 610, 620, and 630 in which ⁇ marks are shown below the horizontal axis 600 also represent timings of images that are being processed by the detection apparatus 103 while being regularly sampled.
- timing 620 is time (T). Further, it is assumed that the person E appears at the timing 614 and leaves at the timing 627, that is, the appearance section is the timings 614 to 626.
- FIGS. 7A and 7B Details of processing at time (T) will be described with reference to FIGS. 7A and 7B.
- the image 700 is an image (T) at time (T), that is, timing 620.
- the detection device 103 acquires an image (T) from the imaging device 101 (steps 400 to 402). Then, person detection or the like is performed on the entire area of the image (steps 403 to 404).
- a detection area 701 indicates the person area obtained in step 404.
- An area coordinate 702 indicates a coordinate value in the image of the detection area 701. In this embodiment, an example using the upper left coordinates and the lower right coordinates of the detection area 701 is shown. The origin is located at the upper left of the detection area 701 in the figure.
- the detection device 103 calculates a shooting angle with respect to the detection area 701 (step 405).
- An angle 703 indicates the value calculated here.
- the detection device 103 calculates a person feature amount for the detection area 701 (step 406).
- the person feature amount 704 indicates a value calculated here.
- a multidimensional quantity is used as the human feature quantity.
- an example using a one-dimensional decimal value is shown for the sake of simplicity of explanation. The same applies thereafter.
- the detection apparatus 103 performs full verification on the recording data 320 of the specific person recording unit 200 using the person feature 704 (step 407).
- the collations 710 to 714 indicate a state in which each record of the recording data 320 is collated, and the matching degrees 720 to 724 indicate the matching degrees calculated in each collation.
- the smaller the value of the degree of coincidence the higher the degree of similarity.
- the matching degree 724 it is determined that the most similar person is the person E recorded in the record 304.
- a vector scalar value in a human feature space which is a multidimensional quantity, is often used.
- the absolute value of the difference between human feature quantities is used for simplicity of explanation.
- the detection apparatus 103 compares the degree of matching 724 of the person E who is the most similar person obtained above with a first threshold value set in advance.
- the first threshold is set to 1.00. Since the degree of coincidence 724 is 0.90, which is equal to or less than the threshold value, it is primarily determined that this character is one of the specific persons and person E (step 408).
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the matching degree cell 512 for the record 500 of the storage data 520 of the determination result storage unit 206.
- E the person ID detected in the cell corresponding to the person ID cell 511
- the stored data 520 in FIG. 7B indicates the state of the stored data at this time.
- Image 800 is an image (T-1) at time (T-1), that is, timing 619.
- the detection device 103 acquires the image (T-1) from the recording device 102 (steps 412 to 413). Then, person detection or the like is performed on this image (T-1). In that case, it implements only to the vicinity area
- the vicinity region is a region that includes the detection region 701 and expands the region vertically and horizontally with respect to the detection region 701. It is assumed that the amount of expansion is given in advance an appropriate value in accordance with the apparent movement speed of the person shown in the image. In this embodiment, an example in which the same region as the detection region 702 is given as the neighborhood region 801 is shown.
- a detection area 802 indicates the person area obtained in step 415.
- An area coordinate 803 indicates a coordinate value in the image of the detection area 802.
- the detection device 103 calculates a person angle with respect to the detection area 802 (step 416).
- the angle 804 indicates the value calculated here.
- the detection device 103 calculates a person feature amount for the detection area 802 (step 417).
- the person feature amount 805 indicates the value calculated here.
- the detection apparatus 103 uses the person feature 805 to collate the recording data 320 of the specific person recording unit 200 (step 418). At this time, only the record of person E is collated as shown in collation 810.
- the degree of coincidence 820 is the degree of coincidence calculated by the collation 810.
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the matching degree cell 512 for the record 501 of the storage data 520 of the determination result storage unit 206.
- E the person ID detected in the cell corresponding to the person ID cell 511
- the stored data 520 in FIG. 8B indicates the state of the stored data at this time.
- the detection apparatus 103 performs the above-described processing retroactively until the image at timing 617 (T-3) or until no person is detected in step 414.
- the image 900 is an image (T + 3) at time (T + 3), that is, timing 623.
- the detection device 103 acquires an image (T + 3) from the recording device 102 (steps 423 to 424). Then, person detection or the like is performed on this image. In that case, it implements only to the vicinity area
- FIG. A detection area 902 indicates the person area obtained in step 426.
- An area coordinate 903 indicates a coordinate value in the image of the detection area 902.
- the detection device 103 calculates a person angle with respect to the detection area 902 (step 427).
- An angle 904 indicates the value calculated here.
- the detection device 103 calculates a person feature amount for the detection area 902 (step 428).
- the person feature 905 indicates a value calculated here.
- the detection device 103 uses the person feature 905 to collate the recording data 320 of the specific person recording unit 200 (step 429). At this time, only the record of person E is collated as shown in collation 910.
- the degree of coincidence 920 is the degree of coincidence calculated by the collation 910.
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the coincidence cell 512.
- the value of the coincidence 920 is stored, the value of the angle 904 is stored in the cell corresponding to the angle cell 513, and the value of the area coordinate 903 is stored in the cell corresponding to the person area coordinate cell 514 (step 419).
- the stored data 520 in FIG. 9B indicates the state of the stored data at this time.
- the detection device 103 retrieves the angle value of the person E recorded in advance in the specific person recording unit 200 and searches for the result of the closest angle from the results stored in the storage data 520.
- the record 501 is obtained.
- the degree of coincidence stored in the record 501 is extracted.
- the degree of coincidence taken out is compared with a second threshold value set in advance.
- the second threshold value is 0.60. Since the degree of coincidence taken out is 0.20, which is equal to or less than the threshold value, it is determined that the character is one of the specific persons and the person E (step 432).
- collation is performed with an image closest to the angle recorded in advance in the specific person recording unit 200.
- the closer the angle the higher the accuracy. Therefore, according to this embodiment, it is possible to obtain higher detection accuracy in the specific person detection system. Further, in the present embodiment, higher detection accuracy can be obtained even when person images of various angles cannot be registered in advance. Further, in the present embodiment, higher detection accuracy can be obtained even when regular verification is not performed at a high frame rate.
- the imaging device, the detection device, the recording device, and the terminal device are each shown as a single unit, but a plurality of these devices can be connected to the network. .
- the imaging device and the detection device, or the recording device and the detection device are shown to operate one by one, but a plurality of imaging devices and recording devices should be supported by one detection device. On the contrary, it is also possible to correspond to one imaging device or recording device with a plurality of detection devices.
- each of the detection device and the terminal device is shown to operate in the opposite direction, but it is also possible to correspond to a plurality of detection devices with one terminal device, and conversely, one A plurality of terminal devices can correspond to the detection device.
- the image pickup device, the recording device, and the detection device are shown as separate devices, the same device may be used.
- the configuration is shown in which the detection device and the terminal device are separate devices, but the same device may be used.
- the specific person detection system is shown as a target, the detection may be performed not only on a specific person but also on a detection system such as a specific vehicle or another specific object.
- the specific person detection system 20 is configured such that the imaging devices 1001 to 1003, the recording device 102, the detection device 103, and the terminal device 104 are connected to the network 100 and can communicate with each other.
- the imaging devices 1001 to 1003 are the same devices as the imaging device 101. In this embodiment, it is assumed that three imaging devices are connected to the system. The imaging devices 1001 to 1003 are installed so as to photograph the same point from different angles.
- the detection device 103 stores correspondence information of the imaging devices 1001 to 1003 that are photographing the same spot in the storage device. Thereby, the detection apparatus 103 can grasp
- the recording device 102 is constantly recording the images of the imaging devices 1001 to 1003.
- FIGS. 11A to 11C A processing flow in the detection apparatus 103 will be described with reference to FIGS. 11A to 11C.
- Step 1100 The control instruction unit 209 calculates an image time (T) to be acquired next. When specific person detection is performed every several frames, a time several frames ahead of the current time is calculated and set as an image time (T). Then, the image receiving unit 201 requests the imaging apparatus 1001 to output an image (T).
- Step 1101 The image receiving unit 201 waits for image reception. If an incoming image from the imaging apparatus 1001 is detected, the process proceeds to step 1102.
- Step 1102 The image receiving unit 201 receives an image from the imaging device 1001. This received image at time (T) is defined as image (T).
- Step 1103 The person detection unit 202 performs person detection on the received image data.
- the person detection is the same as in step 403.
- the process proceeds to step 1104. If not detected, the process returns to step 1100.
- Step 1104 The person detection unit 202 calculates the person area coordinates of the person detected in step 1103.
- Step 1105 The person angle calculation unit 203 calculates an angle for the person area image calculated in step 1104. The calculation of the angle of the person is the same as in step 405.
- Step 1106 The person feature amount extraction unit 204 calculates the person feature amount of the person region image calculated in step 1104.
- the person feature amount is the same as in step 406.
- Step 1107 The specific person determination unit 205 performs all verification of person feature amounts. Specifically, the person feature values calculated in step 1106 are collated in order (matching degree calculation) in order for all the person feature values of each specific person recorded in advance in the specific person recording unit 200, Find the feature with the lowest degree of matching. The person having this feature amount is set as the most similar person. The degree of coincidence is the same as in step 407.
- Step 1108 The specific person determination unit 205 performs detection determination of the specific person. The detection determination is the same as in step 408. If it is determined to be detected, the process proceeds to step 1109; otherwise, the process returns to step 1100.
- Step 1109 The determination result storage unit 206 stores the result obtained for the image (T) and stores it.
- the data to be stored includes the matching degree and person ID of the most similar person obtained at step 1108, the angle obtained at step 1105, and the coordinates of the person area calculated at step 1104.
- the mode of the stored data is the same as in FIG.
- Step 1110 The image receiving unit 201 requests the recording apparatus 102 to output an image (T) of the imaging apparatus 1002.
- Step 1111 The image receiving unit 201 receives an image (T) of the imaging device 1002 from the recording device 102.
- Step 1112 The person detection unit 202 detects the same person as the person detected in step 1103 for the received image data.
- the person detection method is the same as in step 1103. Identification of the person detected in step 1103 and the person detected in this step is the same as in step 414.
- the imaging positions of the imaging apparatus 1001 and the imaging apparatus 1002 are different, the respective installation position relations are obtained, and the correspondence between the respective image coordinates is obtained in advance by geometric calculation. And As a result, if the same person is detected, the process proceeds to step 1113; otherwise, the process proceeds to step 1108.
- the person detection unit 202 calculates the person area coordinates of the person detected in step 1112.
- Step 1114 The person angle calculation unit 203 calculates an angle for the person area image calculated in step 1113.
- the angle calculation method is the same as step 405.
- Step 1115 The person feature amount extraction unit 204 calculates the person feature amount of the person region image calculated in step 1113.
- the method for calculating the human feature quantity is the same as in step 406.
- Step 1116 The specific person determination unit 205 collates person feature amounts. Specifically, the feature quantity of the most similar person obtained in step 1107 is extracted from the person feature quantities of each particular person recorded in advance in the particular person recording unit 200, and the person feature quantity calculated in step 1115 is extracted. And the degree of coincidence is calculated. The method for calculating the coincidence is the same as in step 407.
- Step 1117 The determination result storage unit 206 stores and stores the result obtained for the image (T) of the imaging device 1002.
- the data to be stored includes the degree of coincidence obtained in step 1116, the angle obtained in step 1114, and the coordinates of the person area calculated in step 1113.
- Step 1118 The image receiving unit 201 requests the recording apparatus 102 to output the image (T) of the imaging apparatus 1003.
- Step 1119 The image receiving unit 201 receives the image (T) of the imaging device 1003 from the recording device 102.
- Step 1120 The person detection unit 202 detects the same person as the person detected in step 1103 for the received image data.
- the person detection method is the same as in step 1103. Identification of the person detected in step 1103 and the person detected in this step is the same as in step 414.
- the imaging positions of the imaging device 1001 and the imaging device 1003 are different, the respective installation position relationships are obtained, and the correspondence between the respective image coordinates is obtained in advance by geometric calculation. And As a result, if the same person is detected, the process proceeds to step 1121. If not detected, the process proceeds to step 1126.
- Step 1121 The person detection unit 202 calculates the person area coordinates of the person detected in Step 1120.
- Step 1122 The person angle calculation unit 203 calculates an angle with respect to the person area image calculated in step 1121.
- the angle calculation method is the same as step 405.
- Step 1123 The person feature amount extraction unit 204 calculates the person feature amount of the person region image calculated in Step 1121.
- the method for calculating the human feature quantity is the same as in step 406.
- Step 1124 The specific person determination unit 205 collates the person feature amount. Specifically, the feature quantity of the most similar person obtained in step 1107 is extracted from the person feature quantities of each particular person recorded in advance in the particular person recording unit 200, and the person feature quantity calculated in step 1123 is extracted. And the degree of coincidence is calculated. The method for calculating the coincidence is the same as in step 407.
- Step 1125 The determination result storage unit 206 stores and stores the result obtained for the image (T) of the imaging device 1003.
- the data to be stored includes the degree of coincidence obtained in step 1124, the angle obtained in step 1122, and the coordinates of the person area calculated in step 1121.
- Step 1126 The specific person integration determination unit 207 performs integration determination using the results stored in the determination result storage unit 206 in steps 1109, 1117, and 1125.
- the angle of the most similar person obtained in step 1107 is extracted from the person angles of each specific person recorded in advance in the specific person recording unit 200 and stored in the angle and determination result storage unit 206.
- the result of the closest angle is found, and when the degree of coincidence is equal to or less than the threshold in the relationship between the degree of coincidence of the result and a certain fixed value (second threshold), the person is detected as a specific person It is determined to be integrated.
- the second threshold value is set smaller than the first threshold value. If it is determined that the detection is detected, the process proceeds to step 1127; otherwise, the process proceeds to step 1128.
- Step 1127 The detection notification unit 208 transmits a specific person notification to the terminal device 104.
- the transmission data includes a specific person ID, a person image thereof, and the like.
- Step 1128 The determination result storage unit 206 deletes all the stored results.
- the stored result may be overwritten without being deleted. After the deletion is completed, the process returns to step 1100.
- the image 1200 is an image (T) of the imaging device 1001 at time (T).
- the detection device 103 acquires an image (T) from the imaging device 1001 (steps 1100 to 1102). Then, person detection or the like is performed on the entire area of the image (steps 1103 to 1104).
- a detection area 1201 indicates the person area obtained in step 1104.
- An area coordinate 1202 indicates a coordinate value in the image of the detection area 1201. In this embodiment, an example using the upper left coordinates and lower right coordinates of the detection area 1201 is shown.
- the detection apparatus 103 calculates a person angle with respect to the detection area 1201 (step 1105).
- the angle 1203 indicates the value calculated here.
- the detection device 103 calculates a person feature amount for the detection area 1201 (step 1106).
- the person feature 1204 indicates the value calculated here.
- the detection apparatus 103 performs full verification on the recording data 320 of the specific person recording unit 200 using the person feature 1204 (step 1107).
- Collations 1210 to 1214 indicate a state in which each record of the recording data is collated, and the matching degrees 1220 to 1224 indicate the matching degrees calculated in each matching. The smaller the value of the degree of coincidence, the higher the degree of similarity. As a result of all the collations, the smallest matching degree is the matching degree 1224. Therefore, it is determined that the most similar person is the person E recorded in the record 304.
- the detection apparatus 103 compares the degree of matching 1224 of the person E who is the most similar person obtained above with a first threshold value set in advance.
- the first threshold is set to 1.00. Since the degree of coincidence 1224 is 0.90, which is equal to or less than the threshold value, it is primarily determined that this character is one of the specific persons and the person E (step 1108).
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the matching degree cell 512 for the record 500 of the storage data 520 of the determination result storage unit 206.
- E the person ID detected in the cell corresponding to the person ID cell 511
- the stored data 520 in FIG. 12B indicates the state of the stored data at this time.
- the image 1300 is an image (T) of the imaging device 1002 at time (T).
- the detection device 103 acquires the image (T) of the imaging device 1002 from the recording device 102 (steps 1110 to 1111). Person detection or the like is performed on the entire area of the image (steps 1112 to 1113).
- a detection area 1301 indicates the person area obtained in step 1113.
- An area coordinate 1302 indicates a coordinate value in the image of the detection area 1301.
- the detection device 103 calculates a person angle with respect to the detection area 1301 (step 1114).
- the angle 1303 indicates the value calculated here.
- the detection device 103 calculates a person feature amount for the detection area 1301 (step 1115).
- the person feature quantity 1304 indicates the value calculated here.
- the detection device 103 uses the person feature 1304 to collate the recording data 320 of the specific person recording unit 200 (step 1116). At this time, only the record of person E is collated as shown in collation 1310.
- the degree of coincidence 1320 is the degree of coincidence calculated by the collation 1310.
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the matching degree cell 512 for the record 501 of the storage data 520 of the determination result storage unit 206.
- E the person ID detected in the cell corresponding to the person ID cell 511
- the storage data 1330 in FIG. 13B indicates the state of the stored data at this time.
- the image 1400 is an image (T) of the imaging device 1003 at time (T).
- the detection device 103 acquires the image (T) of the imaging device 1003 from the recording device 102 (steps 1118 to 1119). Person detection or the like is performed on the entire area of the image (steps 1120 to 1121).
- a detection area 1401 indicates the person area obtained in step 1121.
- An area coordinate 1402 indicates a coordinate value in the image of the detection area 1401.
- the detection device 103 calculates a person angle with respect to the detection area 1401 (step 1122).
- the angle 1403 indicates the value calculated here.
- the detection device 103 calculates a person feature amount for the detection area 1401 (step 1123).
- the person feature quantity 1404 indicates the value calculated here.
- the detection apparatus 103 uses the person feature 1404 to collate the recording data 320 of the specific person recording unit 200 (step 1124). At this time, only the record of person E is collated, as indicated by collation 1410.
- the coincidence degree 1420 is the coincidence degree calculated by the collation 1410.
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the matching degree cell 512 for the record 502 of the storage data 520 of the determination result storage unit 206.
- E the person ID detected in the cell corresponding to the person ID cell 511
- the stored data 520 in FIG. 14B indicates the state of the stored data at this time.
- the detection apparatus 103 retrieves the angle of the person E recorded in advance in the specific person recording unit 200 and searches for the result of the closest angle from the results stored in the storage data 1430.
- the record 501 is obtained.
- the degree of coincidence stored in the record 501 is extracted.
- the degree of coincidence taken out is compared with a second threshold value set in advance.
- the second threshold value is 0.60. Since the degree of coincidence taken out is 0.20, which is equal to or less than the threshold value, it is determined that the character is one of the specific persons and the person E (step 1126).
- collation is performed with an image closest to the angle recorded in advance in the specific person recording unit 200.
- the closer the angle the higher the accuracy. Therefore, according to this embodiment, it is possible to obtain higher detection accuracy in the specific person detection system.
- higher detection accuracy can be obtained, and the difference in shooting angle between a plurality of imaging devices is determined from the variation width of the walking person's direction. By installing the imaging device so as to be larger, an effect greater than that of the first embodiment can be obtained. Further, in the present embodiment, higher detection accuracy can be obtained even when regular verification is not performed at a high frame rate.
- the imaging device at the same point is shown in the configuration of three units, but may be implemented in a configuration of a plurality of units other than three.
- the image pickup device, the recording device, and the detection device are shown as separate devices, the same device may be used.
- the configuration is shown in which the detection device and the terminal device are separate devices, but the same device may be used.
- the specific person detection system is shown as a target, the detection may be performed not only on a specific person but also on a detection system such as a specific vehicle or another specific object.
- the specific person detection system 30 is configured such that the imaging devices 1501 to 1504, the recording device 102, the detection device 103, the terminal device 104, and the search device 1505 are connected to the network 100 and can communicate with each other.
- the imaging devices 1501 to 1504 are the same devices as the imaging device 101. In this example, it is assumed that four imaging devices are connected to the system.
- the search device 1505 is a device such as a computer that includes an arithmetic circuit such as a CPU, a temporary storage memory such as a RAM, a recording medium such as an HDD, a data transmission bus, an external input / output interface, and a power supply circuit.
- the search device 1505 stores the image data from the recording device 102 input to the external input / output interface from the network in the temporary storage memory. Various operations related to similar image retrieval are performed on the stored image data using an arithmetic circuit.
- the recording medium stores a set of software for searching for similar images, an OS (operation system), a database for storing feature amounts for searching for similar images, and the like.
- the similar image search result is output to the network 100 from the external input / output interface.
- the recording device 102 is constantly recording the images of the imaging devices 1501 to 1504. Further, it is assumed that the search device 1505 always collects videos of the imaging devices 1501 to 1504 recorded in the recording device 102, creates a database, and makes a similar image search possible. Details of the search device 1505 will be described later.
- FIG. 16 shows an example of the positional relationship of the installation of the four imaging devices.
- a passage 1600 indicates a passage through which a person can walk
- a route 1601 indicates a route along which the person E has walked.
- Points 1611 to 1614 indicate positions where the imaging devices 1501 to 1504 are installed, respectively, and shooting areas 1621 to 1624 indicate ranges where the imaging devices 1501 to 1504 are shooting, respectively. It is assumed that the person E walks on the route 1601 in the order of the imaging areas 1621, 1622, and 1623.
- the distance between the imaging areas is measured in advance when the imaging apparatus is installed, and is stored in the control instruction unit 209 of the detection apparatus 103.
- a mode of the distance data between shooting areas in the control instruction unit 209 will be described with reference to FIG.
- the distance data 1700 stores the distance between shooting areas as a brute force.
- This embodiment shows an example in which distances between four imaging areas are stored.
- the row 1701 stores the distance between the other shooting areas for the shooting area 1621
- the row 1702 stores the distance between the other shooting areas for the shooting area 1622.
- the cell 1711 stores the distance between the shooting areas 1621 and 1622.
- the second is used as the time required for walking between areas as the distance value.
- the cell 1712 stores the distance between the shooting areas 1621 and 1623
- the cell 1713 stores the distance between the shooting areas 1621 and 1624, respectively.
- the required time is used for the distance value to be stored is shown, but a road (length) may be used.
- step 1800 the control instruction unit 209 of the detection apparatus 103 calculates an image time (T) to be acquired next from the imaging apparatus 1501.
- T image time
- the image receiving unit 201 requests the imaging device 1501 to output an image (T).
- Step 1801 The image receiving unit 201 waits for image reception. If an incoming image from the imaging device 1501 is detected, the process proceeds to step 1802.
- Step 1802 The image receiving unit 201 receives an image from the imaging device 1501. This received image at time (T) is defined as image (T).
- Step 1803 The person detection unit 202 performs person detection on the received image data.
- the person detection is the same as in step 403.
- the process proceeds to step 1804. If not detected, the process returns to step 1800.
- Step 1804 The person detection unit 202 calculates the person area coordinates of the person detected in Step 1803.
- Step 1805 The person angle calculation unit 203 calculates the shooting angle for the person area image calculated in step 1804. The calculation of the photographing angle of the person is the same as in step 405.
- Step 1806 The person feature amount extraction unit 204 calculates the person feature amount for the person region image calculated in Step 1804.
- the person feature amount is the same as in step 406.
- Step 1807 The specific person determination unit 205 performs all verification of person feature amounts. Specifically, the person feature amount calculated in step 1806 is sequentially collated (calculation of matching degree) for all the person feature amounts of each specific person recorded in advance in the specific person recording unit 200, Find the feature with the lowest degree of matching. The person having this feature amount is set as the most similar person. The degree of coincidence is the same as in step 407.
- Step 1808 The specific person determination unit 205 performs detection determination of the specific person. The detection determination is the same as in step 408. If it is determined to be detected, the process proceeds to step 1809; otherwise, the process returns to step 1800.
- Step 1809 The determination result storage unit 206 stores the result obtained for the image (T) and stores it.
- the data to be stored includes the degree of coincidence and person ID of the most similar person obtained in step 1808, the angle obtained in step 1805, and the coordinates of the person area calculated in step 1804.
- the mode of the stored data is the same as in FIG.
- Step 1810 The control instruction unit 209 refers to the distance data 1700 and calculates the close-up shooting area of the imaging device 1501 that acquired the image (T).
- the close-up shooting area is a shooting area having a short-distance relationship of a certain value or less with respect to the imaging device 1501 that acquired the image (T).
- Step 1811 The estimated arrival time (TF) of the person detected in Step 1803 to the shooting area farthest from the close-up shooting areas obtained in Step 1810 is calculated.
- the farthest expected arrival time is calculated from the distance value stored in the distance data 1700.
- Step 1812 The control instruction unit 209 waits until time (TF). After the time (TF) is reached, the process proceeds to 1813.
- Step 1813 The control instruction unit 209 requests the search device 1505 to perform a similar image search for the person region calculated in Step 1804 of the image (T).
- the conditions relating to the shooting time are after the time (T) and before the time (TF), the conditions relating to the imaging area are the close-up shooting area obtained in step 1810, and the similarity is predetermined. That it is above a certain value is given as a narrowing condition for similar image search.
- Step 1814 The control instruction unit 209 receives the search result from the search device 1505.
- the search result includes the image (R) and the coordinates of the person area in the image.
- Step 1815 The control instruction unit 209 resets the counter (R) to 0.
- Step 1816 The control instruction unit 209 compares the magnitude relationship between the counter (R) and the number of search results (S). If R is less than S, the process proceeds to step 1817. If R is equal to or greater than S, the process proceeds to 1822.
- Step 1817 The person angle calculation unit 203 calculates the shooting angle for the person area obtained from the image (R) acquired in step 1814 and the person area coordinates.
- the angle calculation method is the same as step 405.
- Step 1818 The person feature quantity extraction unit 204 calculates the person feature quantity for the person area obtained from the image (R) obtained in step 1814 and the person area coordinates.
- the method for calculating the human feature quantity is the same as in step 406.
- Step 1819 The specific person determination unit 205 collates the person feature amount. Specifically, the feature quantity of the most similar person obtained in step 1807 is extracted from the person feature quantities of each particular person recorded in advance in the particular person recording unit 200, and the person feature quantity calculated in step 1818 is extracted. And the degree of coincidence is calculated. The method for calculating the coincidence is the same as in step 407.
- Step 1820 The determination result storage unit 206 stores the result obtained for the image (R) and stores it.
- the data to be stored includes the degree of coincidence obtained in step 1819 and the photographing angle obtained in step 1817.
- Step 1821 The control instruction unit 209 adds 1 to the counter (R) L and returns the control to step 1816.
- Step 1822 The specific person integration determination unit 207 performs integration determination using the results stored in the determination result storage unit 206 in steps 1809 and 1820.
- the shooting angle of the most similar person obtained in step 1807 is extracted from the shooting angles of each specific person recorded in advance in the specific person recording unit 200, and the shooting angle and the determination result storage unit 206 are extracted.
- the stored results find the result of the closest shooting angle, and identify the person when the degree of coincidence is below the threshold in the relationship between the degree of coincidence of the result and a certain fixed value (second threshold) It is determined that the detected person is integrated.
- the second threshold value is set smaller than the first threshold value. If it is determined to be detected, the process proceeds to step 1823; otherwise, the process proceeds to step 1824.
- Step 1823 The detection notification unit 208 transmits a specific person notification to the terminal device 104.
- the transmission data includes a specific person ID, a person image thereof, and the like.
- Step 1824 The determination result storage unit 206 deletes all the stored results.
- the stored result may be overwritten without being deleted. After the completion of deletion, the process returns to step 1800.
- the operation when the detection target, that is, the person E of the specific person walks along the path 1600 along the path 1601 will be described more specifically.
- the person E appears in the shooting area 1621 at time (T).
- the data shown in FIG. 3 is recorded in the specific person recording unit 200 in advance.
- no person other than the person E appears from the appearance of the person E to the exit.
- FIGS. 19A and 19B Details of processing at time (T) will be described with reference to FIGS. 19A and 19B.
- the image 1900 is an image (T) obtained by shooting the shooting area 1621 by the imaging device 1501 at time (T).
- the detection device 103 acquires an image (T) from the imaging device 1501 (steps 1800 to 1802). Then, person detection or the like is performed on the entire area of the image (steps 1803 to 1804).
- a detection area 1901 indicates the person area obtained in step 1804.
- An area coordinate 1902 indicates a coordinate value in the image of the detection area 1901. In this embodiment, an example using the upper left coordinates and lower right coordinates of the detection area 1901 is shown.
- the detection device 103 calculates a shooting angle with respect to the detection area 1901 (step 1805).
- the shooting angle 1903 indicates the value calculated here.
- the detection device 103 calculates a person feature amount for the detection area 1901 (step 1806).
- the person feature 1904 indicates the value calculated here.
- the detection apparatus 103 performs full verification on the recording data 320 of the specific person recording unit 200 using the person feature 1904 (step 1807).
- Collations 1910 to 1914 indicate a state in which each record of the recording data is collated, and the matching degrees 1920 to 1924 indicate the matching degrees calculated in each collation. The smaller the value of the degree of coincidence, the higher the degree of similarity. As a result of all the collations, since the smallest matching degree is the matching degree 1924, it is determined that the most similar person is the person E recorded in the record 304.
- the detection apparatus 103 compares the degree of matching 1924 of the person E who is the most similar person obtained above with a first threshold value set in advance.
- the first threshold is set to 1.00. Since the degree of coincidence 1924 is 0.90, which is equal to or less than the threshold value, it is primarily determined that this character is one of the specific persons and the person E (step 1808).
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the matching degree cell 512 for the record 500 of the storage data 520 of the determination result storage unit 206. Is stored in the cell corresponding to the angle cell 513 (step 1809).
- the stored data 520 in FIG. 19B indicates the state of the stored data at this time.
- the detection device 103 calculates a close-up shooting area of the shooting area 1621.
- a row 1701 storing the distance to the imaging area 1621 is referred to in the order of cells 1711 to 1713, and the stored value is acquired.
- the acquired stored value is compared with a threshold value determined in advance, and a close-up shooting area that is equal to or less than the threshold value, that is, at a short distance is obtained.
- the threshold value is set to 20, and as a result, shooting areas 1622, 1623, and 1624 are selected as the close-up shooting areas (step 1810).
- (T + 18) which is the sum of the stored value of the shooting area 1624 that is the farthest shooting area among the selected three shooting areas and the time (T), is the expected arrival time (TF) (step). 1811).
- TF expected arrival time
- the detection apparatus 103 waits until time (T + 18) (step 1812).
- the detection device 103 requests the search device 1505 to perform a similar image search.
- the search key at that time is a detection area 1901.
- a time after time (T) and before time (T + 18) is given.
- the shooting areas 1622, 1623, and 1624 selected in step 1810 are given as the narrowing conditions related to the shooting area (step 1813).
- Search result 2000 indicates the search result received in step 1814.
- the search result includes two images and the coordinates of the person area in each image.
- the image 2010 is the first image of the search result
- the image 2020 is the second image of the search result.
- a person area 2011 represents a person area in the image 2010, and a person area 2021 represents a person area in the image 2020.
- the detection apparatus 103 calculates a shooting angle with respect to the person region 2011 (step 1817).
- the shooting angle 2012 indicates a value calculated here.
- the detection apparatus 103 calculates a person feature amount for the person area 2011 (step 1818).
- the person feature amount 2013 indicates a value calculated here.
- the detection device 103 uses the person feature amount 2013 to collate the recording data 320 of the specific person recording unit 200 (step 1819). At this time, only the record of person E is collated as shown in collation 2030.
- the coincidence degree 2040 is the coincidence degree calculated by the collation 2030.
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the matching degree cell 512 for the record 501 of the storage data 520 of the determination result storage unit 206. Is stored in the cell corresponding to the angle cell 513 (step 1820).
- the stored data 520 in FIG. 20B indicates the state of the stored data at this time.
- the detection device 103 calculates a shooting angle with respect to the person area 2021 (step 1817).
- the shooting angle 2022 indicates a value calculated here.
- the detection apparatus 103 calculates a person feature amount for the person area 2021 (step 1818).
- the person feature 2023 indicates a value calculated here.
- the detection device 103 uses the person feature 2023 to collate the recorded data of the specific person recording unit 200 (step 1819). At this time, only the record of person E is collated as shown in collation 2060.
- the coincidence degree 2070 is the coincidence degree calculated by the collation 2060.
- the detection apparatus 103 detects “E”, which is the person ID detected in the cell corresponding to the person ID cell 511, and the cell corresponding to the matching degree cell 512 for the record 502 of the storage data 520 of the determination result storage unit 206. Is stored in the cell corresponding to the angle cell 513 (step 1820).
- the stored data 520 in FIG. 20C indicates the state of the stored data at this time.
- the detection apparatus 103 extracts the angle of the person E recorded in advance in the specific person recording unit 200, and searches for the result of the closest angle from the results stored in the storage data 5200 of FIG. 20C.
- the record 501 is obtained.
- the degree of coincidence stored in the record 501 is extracted.
- the degree of coincidence taken out is compared with a second threshold value set in advance.
- the second threshold value is 0.60. Since the degree of coincidence taken out is 0.20, which is equal to or less than the threshold value, it is determined that the character is one of the specific persons and the person E (step 1822).
- the search device 1505 includes an image recording unit 2101, an image feature amount recording unit 2102, an image feature amount extraction unit 2103, an image similarity determination unit 2104, and a face search unit 2105.
- the image recording unit 2101 is a part that records image data input from the imaging devices 1501 to 1504 or the recording device 102 on a recording medium such as an HDD (not shown).
- the image recording unit 2101 simultaneously records information for later retrieving the image data, for example, the frame numbers sequentially assigned in units of frames from the start of recording so as to be unique within the recording apparatus.
- the frame number is a number that is assigned in order when images are continuously stored every predetermined period, such as a moving image such as a video.
- the image recording unit 2101 also records information for identifying when the image was taken, for example, the image time.
- the image time at this time is, for example, a device time output from a clock built in the recording device 102 or a device time output from a clock built in each of the imaging devices 1501 to 1504.
- the image recording unit 2101 also records information for identifying which imaging device the image was captured by, for example, the IP address of the imaging device.
- the image feature amount recording unit 2102 is a part that records image feature amounts on a recording medium.
- the image feature amount recording unit 2102 first obtains face image data by outputting the image data recorded by the image recording unit 2101 to the face search unit 2105. Then, the image feature quantity recording unit 2102 obtains the image feature quantity by outputting the face image data to the image feature quantity extraction unit 2103.
- the image feature amount recording unit 2102 simultaneously records a frame number corresponding to the image data input to the face search unit 2105 when recording the image feature amount.
- the list data composed of the frame number and the image feature amount generated by this recording is hereinafter referred to as “image feature amount list data”.
- the image feature amount extraction unit 2103 is a part that calculates the feature amount of the face image data input from the face search unit 2105 using an image recognition technique.
- the image feature amount uses, for example, an image color distribution, an edge pattern composition distribution, or a combination thereof.
- the image similarity determination unit 2104 is a part that performs an image search and outputs a search result.
- the image similarity determination unit 2104 calculates the similarity from the image feature amount of the search image described below and the image feature amount of the face image of the image data recorded on the recording medium of the image recording unit 2101.
- a search result is generated based on the degree of similarity.
- the search image is an image designated by the control instruction unit 209 of the detection apparatus 103 as an input template image that is referred to in order to determine the degree of similarity.
- This search image is input as data included in the search request signal. Specifically, it can be designated by the frame number of the image.
- the image feature amount of the search image is acquired by the image similarity determination unit 2104 outputting it to the face search unit 2105.
- the image feature amount of the face image data recorded on the recording medium is acquired from the above-described image feature amount list data recorded in the image feature amount recording unit 2102.
- images such as “Representation model for large-scale image collection” (Satoshi Tsunoike et al., Japanese Society of Photography, Vol. 66, No. 1, P93-P101). Can be built.
- the control unit of the search device 1505 When receiving the search request signal from the control instruction unit 209 of the detection device 103, the control unit of the search device 1505 inputs the search image designated by the control instruction unit 209 of the detection device 103 to the face search unit 2105 to search for a face. To do. When a face is detected, the image feature amount extraction unit 2103 extracts the image feature amount of the face area included in the search image.
- the image similarity determination unit 2104 compares the image feature amount on the right with the feature amount of the image feature amount list data extracted in advance by the registration process, and determines the similarity of the image based on the image feature amount Then, using the frame information included in the image feature amount list data, the image of the person that the user wants to search is searched from the recorded image of the recording device every time the search process is executed. By such a conventional registration process, a similar face image search for a monitoring image can be realized.
- collation is performed with an image closest to the angle recorded in advance in the specific person recording unit 200.
- the closer the angle the higher the accuracy. Therefore, according to this embodiment, it is possible to obtain higher detection accuracy in the specific person detection system.
- higher detection accuracy can be obtained, and the same spot cannot be photographed by a plurality of imaging devices as in the second embodiment. In this case, a large effect substantially equivalent to that of the second embodiment can be obtained by using a combination of multi-point imaging devices.
- the imaging apparatus is shown as having four configurations, but may be implemented in a configuration other than four.
- the image pickup device, the recording device, and the detection device are shown as separate devices, the same device may be used.
- the detection device and the search device are shown as separate devices, but the same device may be used.
- the configuration is shown in which the detection device and the terminal device are separate devices, but the same device may be used.
- the specific person detection system is shown as a target, the detection may be performed not only on a specific person but also on a detection system such as a specific vehicle or another specific object.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
特定人物検知システムは、画像データから抽出した特徴量に最も類似した特定人物部に記録されている人物を取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する。
Description
本発明は特定人物検知システムに関し、例えば、画像特徴量から求める一致度を使って、特定人物を検知する特定人物検知システムに適用可能である。
画像認識技術を用いて映像中の特定の事象(イベント)の発生をリアルタイムに自動検知するシステムや技術の開発が行われている。その中の代表的な一つに特定人物検知システムがある。特定人物検知システムとは、検知対象として事前に画像登録しておいた人物(以降、特定人物)が、監視映像中に登場した場合、それを自動検知し、システム運用者に通報する機能を有したシステムである。検知は、特定人物の画像と、監視映像中に登場した人物(登場人物)の画像との画像特徴量の照合により、両人物画像間の一致度を算出し、一致度がある一定範囲の値であった場合に同一人物とみなす、すなわち、特定人物であると判定することで、実施される。
特定人物検知システムは、監視カメラの性格上、登場人物はカメラの存在を意識しない場合が多く、登場人物がカメラに正対するとは限らないため、人物の向き変動などにより、画像特徴量が安定しないケースがある。これは、特定人物検知システムにおける検知精度の悪化につながり、具体的には、見逃しや誤検知といった形で現れる。
向き変動に対して、登録しておく人物画像について予め様々な角度の画像を用意し登録することで精度を高める方法が提案されている(例えば、特開2014-106816号公報(特許文献1))。しかし、様々な角度画像を事前に用意することが困難な場合がある。
本発明の課題は、検知精度の悪化を低減する特定人物検知システムを提供することにある。
本開示のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
すなわち、特定人物検知システムは、画像データから抽出した特徴量に最も類似した特定人物部に記録されている人物を取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する。
すなわち、特定人物検知システムは、画像データから抽出した特徴量に最も類似した特定人物部に記録されている人物を取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する。
本発明によれば、特定人物検知システムにおいて、より高い検知精度を得ることが可能となる。
実施形態に係る特定人物検知システムは、画像データから抽出した特徴量に最も類似した特定人物部に記録されている人物を取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する。
実施形態に係る特定人物検知システムによれば、より高い検知精度を得ることが可能となる。
実施形態に係る特定人物検知システムによれば、より高い検知精度を得ることが可能となる。
以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。
第1の実施例に係る特定人物検知システムの装置構成について図1を用いて説明する。特定人物検知システム10は、ネットワーク100に、撮像装置101、録画装置102、検知装置103、端末装置104が接続され、互いに通信可能な状態で構成される。
ネットワーク100は、各装置を相互に接続しデータ通信を行う専用線やイントラネット、インターネット、無線LAN等の通信線である。
撮像装置101は、遠近制御やピント制御が可能なズームレンズや、CCDやCMOS等の撮像素子、アナログ信号をデジタル変換するA/D変換回路、RAM等の一時記憶メモリ、データ伝送バス、タイミング回路、外部入出力インタフェース、電源回路、パンやチルト等を行う雲台、可視光ライトや近赤外LED等の照明等を備える監視カメラ等の装置である。
撮像装置101は、レンズを通った光を、撮像素子で電気信号に変換し、変換した電気信号をA/D変換回路でデジタル値に変換し、変換したデジタル値を一時記憶メモリに画像データとして格納する。格納された画像データは、外部入出力インタフェースに入力された外部からの映像要求やタイミング回路からの指示等に応じて、外部入出力インタフェースからネットワーク100に出力される。また、同様に外部入出力インタフェースに入力された外部からの制御命令に応じて、撮影の向きやレンズの遠近やピント、照明の量等を変える。
撮像装置101は、レンズを通った光を、撮像素子で電気信号に変換し、変換した電気信号をA/D変換回路でデジタル値に変換し、変換したデジタル値を一時記憶メモリに画像データとして格納する。格納された画像データは、外部入出力インタフェースに入力された外部からの映像要求やタイミング回路からの指示等に応じて、外部入出力インタフェースからネットワーク100に出力される。また、同様に外部入出力インタフェースに入力された外部からの制御命令に応じて、撮影の向きやレンズの遠近やピント、照明の量等を変える。
録画装置102は、RAM等の一時記憶メモリ、HDD等の記録媒体、データ伝送バス、タイミング回路、外部入出力インタフェース、電源回路等を備えるネットワークデジタルレコーダ等の装置である。
録画装置102は、ネットワーク100から外部入出力インタフェースに入力された撮像装置101からの画像データをHDD等の記録媒体にその画像時刻とともに記録する。記録された画像データは、外部入出力インタフェースに入力された外部からの映像要求やタイミング回路からの指示等に応じて、外部入出力インタフェースからネットワーク100に出力される。映像要求は画像時刻を含んで構成され、録画装置102は映像要求に含まれる画像時刻の画像データを出力する。
本実施例において、録画装置102は、撮像装置101の映像を常時録画しているものとする。
録画装置102は、ネットワーク100から外部入出力インタフェースに入力された撮像装置101からの画像データをHDD等の記録媒体にその画像時刻とともに記録する。記録された画像データは、外部入出力インタフェースに入力された外部からの映像要求やタイミング回路からの指示等に応じて、外部入出力インタフェースからネットワーク100に出力される。映像要求は画像時刻を含んで構成され、録画装置102は映像要求に含まれる画像時刻の画像データを出力する。
本実施例において、録画装置102は、撮像装置101の映像を常時録画しているものとする。
検知装置103は、CPU等の演算回路や、RAM等の一時記憶メモリ、HDD等の記録媒体、データ伝送バス、外部入出力インタフェース、電源回路等を備える、コンピュータ等の装置である。
検知装置103は、ネットワーク100から外部入出力インタフェースに入力された撮像装置101からの画像データを一時記憶メモリに格納する。格納された画像データに対し、演算回路を使い特定人物検知に関わる各種演算を行う。記録媒体には、ソフトウェア一式や、OS(オペレーションシステム)、特定人物の画像(人物特徴量)一式等が格納されている。特定人物検知の結果は、外部入出力インタフェースからネットワーク100に出力される。
検知装置103は、ネットワーク100から外部入出力インタフェースに入力された撮像装置101からの画像データを一時記憶メモリに格納する。格納された画像データに対し、演算回路を使い特定人物検知に関わる各種演算を行う。記録媒体には、ソフトウェア一式や、OS(オペレーションシステム)、特定人物の画像(人物特徴量)一式等が格納されている。特定人物検知の結果は、外部入出力インタフェースからネットワーク100に出力される。
端末装置104は、CPU等の演算回路や、RAM等の一時記憶メモリ、HDD等の記録媒体、データ伝送バス、外部入出力インタフェース、電源回路、液晶ディスプレイ等の画面、キーボードやマウス等のユーザ入力機器を備える、コンピュータ等の装置である。また、端末装置104には、例えば、ブザーや音声アナウンス機器、LED発光機器等を加えて構成されてもよい。
端末装置104は、ネットワーク100から外部入出力インタフェースに入力された撮像装置101からの画像データや、検知装置103からの特定人物検知結果を一時記憶メモリに格納する。格納された画像データや特定人物検知結果に対し、演算回路を使い、表示に適した形態に変換を加え、画面表示する。記録媒体には、ソフトウェア一式や、OS等が格納されている。また、端末装置104に対するユーザ操作は、ユーザ入力機器に対して行われる。
端末装置104は、ネットワーク100から外部入出力インタフェースに入力された撮像装置101からの画像データや、検知装置103からの特定人物検知結果を一時記憶メモリに格納する。格納された画像データや特定人物検知結果に対し、演算回路を使い、表示に適した形態に変換を加え、画面表示する。記録媒体には、ソフトウェア一式や、OS等が格納されている。また、端末装置104に対するユーザ操作は、ユーザ入力機器に対して行われる。
図2に示すように、検知装置103は、特定人物記録部200、画像受信部201、人物検出部202、人物角度算出部203、人物特徴量算出部204、特定人物判定部205、判定結果保管部206、特定人物統合判定部207、検知通知部208、制御指示部209の各処理部にて構成される。
特定人物記録部200は、特定人物の画像登録の際に、その人物の画像や人物特徴量、その人物ID(姓名や人物固有に与えた識別情報)等を記録媒体に記録しておく処理部であり、例えば、データベースである。データは、事前に与えられておくものとし、その与え方はどのようであってもよい。特定人物記録部における記録データの態様については、後述する。
画像受信部201は、装置外部からの画像入出力を行う処理部であり、本実施例では、撮像装置101や録画装置102からの入力画像データの受信を行う。
人物検出部202は、画像受信部201への入力画像データに対し画像認識技術を用いた人物検出を行い、登場人物の存在判定をし、画像中に人物が存在する場合にはその領域座標出力を行う処理部である。
人物角度算出部203は、人物検出部202で検出した画像中の人物領域に対して画像認識技術を用いて角度算出を行う処理部である。
人物特徴量算出部204は、人物検出部202で検出した画像中の人物領域に対して画像認識技術を用いて特徴量算出を行う処理部である。
特定人物判定部205は、人物検出部202で検出した登場人物に対する特定人物該非を、人物特徴量算出部204で求めた特徴量を用いて1次判定する処理部である。
判定結果保管部206は、特定人物判定部205で判定した結果等を一時記憶メモリに格納し、保管する処理部である。判定結果保管部における保管データの態様については、後述する。
特定人物統合判定部207は、特定人物判定部205にて判定を行い、判定結果保管部206に保管された判定結果について、複数の判定結果から2次判定を行う処理部である。
検知通知部208は、特定人物統合判定部207にて、特定人物を検知した際に、その結果通知の入出力を行う処理部であり、端末装置104への特定人物検知結果データの送信を行う。
制御指示部209は、各処理部への指示を行う処理部である。
図3に示すように、特定人物記録部201における記録データ320は、例えば人物1名の情報を1個のレコードとして記録し、特定人物5名の情報、すなわち5個のレコードが記録され、レコード300~304で構成される。
レコード300~304のそれぞれは、レコード番号セル310、人物IDセル311、特徴量セル312、角度セル313、人物画像セル314で構成される。
レコード番号セル310は、レコード番号を格納する領域である。レコード番号は、レコードの管理をするために用いる番号であり、例えば、レコード毎にユニークに振られる連続整数値である。
人物IDセル311は、特定人物の人物IDを格納する領域である。本実施例では、人物名称としての文字列が格納された例を示すが、人物固有に与えた識別情報であれば、整数値等を用いるようにしてもよい。
特徴量セル312は、特定人物の人物特徴量を格納する領域である。本実施例では、説明の容易さのため、1次元値としての小数値が格納された例を示すが、多次元値を用いるようにしてもよい。
角度セル313は、特定人物の撮影角度を格納する領域である。
人物画像セル314は、特定人物の画像を格納する領域である。本実施例では、人物画像そのものを格納した例を示すが、代わりに画像を別途格納した領域のアドレスを16進数で格納するようにしてもよい。
本実施例では、人物1名あたりに特徴量、角度、画像を1組ずつ格納する構成を示したが、人物1名あたりに特徴量、角度、画像を複数組ずつ格納する構成であってもよい。
検知装置103における処理の流れについて図4A~4Cを用いて説明する。
ステップ400:制御指示部209は、次に取得する画像の時刻(T)を算出する。特定人物検知を数フレームおきに実施する場合、現在時刻から数フレーム先の時刻を算出し画像の時刻(T)とする。そして、画像受信部201は、撮像装置101に対し、画像(T)の出力を要求する。
ステップ401:画像受信部201は、画像受信待機を行う。撮像装置101からの画像着信を検知すると処理はステップ402に進む。
ステップ402:画像受信部201は、撮像装置101からの画像を受信する。この受信した時刻(T)の画像を画像(T)とする。
ステップ403:人物検出部202は、受信した画像データに対して人物検出を行う。人物検出は、例えば、背景画像との差分により動体検出を行い、さらにその動体領域の面積や形状、移動速度等にて人物判定をする方法や、予め学習させ用意しておいた人物の画像特徴パターンを有する領域の有無を画像内探索を使って探す方法等により行う。本実施例では人物検出はいずれの方法であってもよく、また人物検出が人物全体を対象とした検出であっても、人物特定の代表的な部位である顔のような部分領域を対象とした検出であってもよい。上記の結果、人物が検出された場合、処理をステップ404に進め、検出されなかった場合には、処理をステップ400に戻す。
ステップ404:人物検出部202は、ステップ403で検出された人物の人物領域座標を算出する。
ステップ405:人物角度算出部203は、ステップ404で算出した人物の領域画像に対して、撮影角度を算出する。人物の撮影角度の算出は、例えば、領域画像中から目や鼻、口などの各器官を検出し、それらの配置関係から求める方法や角度が既知である画像を予め用意しその画像との類似性から求める方法等により行う。本実施例発明ではいずれの方法であってもよい。
ステップ406:人物特徴量抽出部204は、ステップ404で算出した人物の領域画像に対して、その人物特徴量を算出する。ここで算出する人物特徴量には、例えば、人物の輪郭の形状や方向、頭髪や皮膚の色、歩容、あるいは、顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々の画像特徴量が挙げられるが、本実施例においては使用する特徴量の種類や数はいずれであってもよい。
ステップ407:特定人物判定部205は、人物特徴量の全照合を行う。具体的には、ステップ406で算出した人物特徴量を、特定人物記録部200に予め記録しておいた各特定人物の人物特徴量全てを対象に順番に照合(一致度算出)していき、最も一致性の高い特徴量を探し出す。この特徴量を持つ人物を最類似人物とする。ここで、一致度とは、画像(画像特徴量)同士の近さを示す数値であり、その算出方法については、例えば、「大規模な画像集合のための表現モデル」(廣池敦他、日本写真学会誌2003年66巻1号P93-P101)のような論文を参照することができる。本実施例における一致度は、値が小さいほど一致性が高いものとする。本実施例において、照合順番の決定方法や、一致度の算出方法はどのようであってもよい。
ステップ408:特定人物判定部205は、特定人物の検知判定(1次検知)を行う。検知判定は、ステップ407で求めた最類似人物についてその一致度とある一定値(第1の閾値)との関係において、一致度が閾値以下であった場合にその人物を特定人物として検知したと判定する。検知と判定された場合には、処理をステップ409に進め、それ以外の場合には、処理をステップ400に戻す。
ステップ409:判定結果保管部206は、画像(T)に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ408で求めた最類似人物の一致度と人物ID、ステップ405で求めた角度、ステップ404で算出した人物領域の座標を含む。保管データの態様については後述する。
ステップ410:制御指示部209はカウンタ(L)を1にリセットする。
ステップ411:制御指示部209はカウンタ(L)と予め設定した制限値(M)の大小関係を比較する。LがM未満の場合には、処理をステップ412に進め、LがM以上となった場合、処理をステップ421に進める。ここで、Mは、例えば4とする。
ステップ412:画像受信部201は、録画装置102に対し、画像(T)のLフレーム前の画像(T-L)の出力を要求する。
ステップ413:画像受信部201は、録画装置102からの画像(T-L)を受信する。
ステップ414:人物検出部202は、受信した画像データに対して、ステップ403にて検出した人物と同一人物の検出を行う。その際、カウンタ(L)が1の場合にはステップ404、それ以外の場合には前回のステップ414にて算出された人物の領域画像の近傍領域のみを検出対象として行う。人物の検出の方法については、ステップ403と同様である。ステップ403にて検出した人物と本ステップにて検出した人物との同定は、例えば、ステップ403で求めた人物領域と、本ステップで求めた人物領域との重なり面積を求め、その値が一定値以上であった場合に同一とする方法等により行う。上述の一定値は、人物の画像中での見かけの移動量を勘案し、事前に与えておくものとする。上記の結果、同一人物が検出された場合、処理をステップ415に進め、検出されなかった場合には、処理をステップ421に進める。
ステップ415:人物検出部202は、ステップ414で検出された人物の人物領域座標を算出する。
ステップ416:人物角度算出部203は、ステップ415で算出した人物の領域画像に対して、撮影角度を算出する。角度算出の方法については、ステップ405と同様である。
ステップ417:人物特徴量抽出部204は、ステップ415で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ406と同様である。
ステップ418:特定人物判定部205は、人物特徴量の照合を行う。具体的には、特定人物記録部200に予め記録しておいた各特定人物の人物特徴量の中からステップ407にて求めた最類似人物の特徴量を取り出し、ステップ417で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ407と同様である。
ステップ419:判定結果保管部206は、画像(T-L)に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ418で求めた一致度、ステップ416で求めた角度、ステップ415で算出した人物領域の座標を含む。
ステップ420:制御指示部209はカウンタLを1加算し、制御をステップ411に戻す。本例においては、加算量を1、すなわち、連続するフレームを利用する事例を示したが、画像内における人物の移動速度に対して撮像装置101の撮影フレームレートが高い場合などについては、加算量を2以上とし、離散なフレームを利用してもよい。以降も同様である。
ステップ421:制御指示部209はカウンタ(L)を1にリセットする。
ステップ422:制御指示部209はカウンタ(L)と予め設定した制限値(N)の大小関係を比較する。LがN未満の場合には、処理をステップ423に進め、LがN以上となった場合、処理をステップ432に進める。ここで、Nは、例えば4とする。
ステップ423:画像受信部201は、録画装置102に対し、画像(T)のLフレーム次の画像(T+L)の出力を要求する。
ステップ424:画像受信部201は、録画装置102からの画像(T+L)を受信する。
ステップ425:人物検出部202は、受信した画像データに対して、ステップ403にて検出した人物と同一人物の人物検出を行う。その際、カウンタ(L)が1の場合にはステップ404、それ以外の場合には前回のステップ425にて算出された人物の領域画像の近傍領域のみを検出対象として行う。人物の検出の方法については、ステップ403と同様である。ステップ403にて検出した人物と本ステップにて検出した人物との同定については、ステップ414と同様である。上記の結果、同一人物が検出された場合、処理をステップ426に進め、検出されなかった場合には、処理をステップ432に進める。
ステップ426:人物検出部202は、ステップ425で検出された人物の人物領域座標を算出する。
ステップ427:人物角度算出部203は、ステップ426で算出した人物の領域画像に対して、撮影角度を算出する。角度算出の方法については、ステップ405と同様である。
ステップ428:人物特徴量抽出部204は、ステップ426で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ406と同様である。
ステップ429特定人物判定部205は、人物特徴量の照合を行う。具体的には、特定人物記録部200に予め記録しておいた各特定人物の人物特徴量の中からステップ407にて求めた最類似人物の特徴量を取り出し、ステップ428で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ407と同様である。
ステップ430:判定結果保管部206は、画像(T+L)に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ429で求めた一致度、ステップ425で求めた角度、ステップ426で算出した人物領域の座標を含む。
ステップ431:制御指示部209はカウンタ(L)を1加算し、制御をステップ422に戻す。
ステップ432:特定人物統合判定部207は、ステップ409、419、430で判定結果保管部206に保管した結果を用いて、統合判定を行う。統合判定は、特定人物記録部200に予め記録しておいた各特定人物の撮影角度の中からステップ407にて求めた最類似人物の撮影角度を取り出し、その角度と判定結果保管部206に保管した結果の中で、最も近い角度の結果を探し出し、その結果の一致度とある一定値(第2の閾値)との関係において、一致度が閾値以下であった場合にその人物を特定人物として検知したと統合判定する。第2の閾値は第1の閾値より小さな値を設定する。検知と判定された場合には、処理をステップ433に進め、それ以外の場合には、処理をステップ434に進める。
ステップ433:検知通知部208は、特定人物通知を端末装置104に送信する。送信データは、特定人物のIDやその人物画像等を含んで構成される。
ステップ434:判定結果保管部206は、保管していた結果を全て削除する。保管していた結果を削除せず、上書きをしてもよい。削除完了後、処理をステップ400に戻す。
図5に示すように、判定結果保管部206における保管データ520は、例えば照合結果を1レコードとして保管され、最大で7個のレコード、すなわち7回分の照合結果が保管できるようになっており、レコード500~506で構成される。図5はどのレコードも空である状態を示している。
レコード500~506のそれぞれは、レコード番号セル510、人物IDセル511、一致度セル512、角度セル513、人物領域座標セル514で構成される。
レコード番号セル510は、レコード番号を格納する領域である。レコード番号は、レコードの管理をするために用いる番号であり、例えば、レコード毎にユニークに振られる連続整数値である。
人物IDセル511は、最類似人物の人物IDを格納する領域である。人物IDは、人物を識別するために用いる情報であり、例えば、人物名称を表す文字列や、人物固有に割り振られた整数値列、記号列、それらの組合せ等である。
一致度セル512は、一致度を格納する領域である。
角度セル513は、登場人物の撮影角度を格納する領域である。
人物領域座標セル514は、登場人物の画像領域の座標を格納する領域である。
ここで、一人の人物の登場から退場までの動作について、より具体的に説明する。ここでこの登場人物は検知対象、すなわち特定人物の人物Eであるとする。
特定人物記録部200には、図3に示したデータが予め記録されているものとする。また、説明の簡略化のため、人物Eの登場から退場まで人物E以外の人物は現れないものとする。撮像装置101は10フレーム/秒で撮像し、録画装置102は撮像装置101の映像を10フレーム/秒で録画しているものとする。また、検知装置103は、撮像装置101の映像を1フレーム/秒でサンプリングしながら処理を実施するものとする。
図6のタイミング図は、横軸600が時系列を表し、右が未来側である。横軸600上に縦線にて刻み表記するタイミング610~630は、撮像装置101が撮像し、録画装置102が録画している画像のタイミングを表す。そのうち、横軸600下に△印を表記するタイミング610、620、630は、検知装置103が定常的にサンプリングしながら処理を実施している画像のタイミングも表す。ここで、タイミング620を時刻(T)とする。また、人物Eは、タイミング614に登場し、タイミング627に退場する、すなわち、登場区間はタイミング614~626であるとする。
時刻(T)における処理の内容について図7A、7Bを用いて説明する。図3や図5と同一の符号は、それぞれ同一であることを示す。
画像700は、時刻(T)、すなわちタイミング620の画像(T)である。
検知装置103は、撮像装置101から、画像(T)を取得する(ステップ400~402)。そして、この画像の全領域に対し、人物検出などを行う(ステップ403~404)。検出領域701は、ステップ404で得られた人物領域を示す。また領域座標702は、検出領域701の画像中における座標値を示す。本実施例においては、検出領域701の左上座標と右下座標を用いた例を示す。原点は図において検出領域701の左上に位置する。
次に、検知装置103は、検出領域701に対して撮影角度を算出する(ステップ405)。角度703は、ここで算出された値を示す。
次に、検知装置103は、検出領域701に対して人物特徴量を算出する(ステップ406)。人物特徴量704は、ここで算出された値を示す。人物特徴量には、多次元量が用いられるのが通常であるが、本実施例においては、説明の簡略化のため、1次元の小数値を用いた例を示す。以降も同様である。
次に、検知装置103は、人物特徴量704を用いて、特定人物記録部200の記録データ320に対して、全照合を行う(ステップ407)。照合710~714は、記録データ320の各レコードと照合を行っている様子を示し、一致度720~724は、各照合において算出した一致度を示す。一致度は値が小さいほど、似ている度合が高いとされる値である。全照合の結果、最も小さな一致度は、一致度724であることから、最類似人物は、レコード304に記録されている、人物Eであると判定される。一致度には、多次元量である人物特徴量空間におけるベクトルのスカラー値が使われることが多いが、本実施例においては、説明の簡略化のため、人物特徴量の差分の絶対値を用いた例を示す。以降も同様である。
次に、検知装置103は、上記で求めた最類似人物である人物Eの一致度724と予め設定しておいた第1の閾値との大小比較を行う。本実施例では第1の閾値を1.00とする。一致度724は、0.90であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Eであると一次判定される(ステップ408)。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード500に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度724の値を、角度セル513に該当するセルに角度703の値を、人物領域座標セル514に該当するセルに領域座標702の値をそれぞれ格納する(ステップ409)。図7Bの保管データ520は、本時点での格納データの状態を示す。
画像700における一連の処理は、以上である。
時刻(T-1)における処理の内容について図8A、8Bを用いて説明する。
画像800は、時刻(T-1)、すなわち、タイミング619の画像(T-1)である。
検知装置103は、録画装置102から、画像(T-1)を取得する(ステップ412~413)。そしてこの画像(T-1)に対し、人物検出などを行う。その際、検出領域701の近傍領域801のみに対して実施する。ここで近傍領域とは、検出領域701を含み、検出領域701の上下左右に領域を拡げた領域である。拡げる量は、画像に映る人物の見かけの移動速度に合わせて適切な値を予め与えるものとする。本実施例では検出領域702と同一の領域を近傍領域801として与える例を示す。検出領域802は、ステップ415にて得られた人物領域を示す。また、領域座標803は、検出領域802の画像中における座標値を示す。
次に、検知装置103は、検出領域802に対して人物角度を算出する(ステップ416)。角度804は、ここで算出された値を示す。
次に、検知装置103は、検出領域802に対して人物特徴量を算出する(ステップ417)。人物特徴量805は、ここで算出された値を示す。
次に、検知装置103は、人物特徴量805を用いて、特定人物記録部200の記録データ320に対して、照合を行う(ステップ418)。この際、照合を行うのは、照合810に示すように、人物Eのレコードのみである。一致度820は、照合810により算出された一致度である。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード501に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度820の値を、角度セル513に該当するセルに角度804の値を、人物領域座標セル514に該当するセルに領域座標803の値をそれぞれ格納する(ステップ419)。図8Bの保管データ520は、本時点での格納データの状態を示す。
画像800に関わる一連の処理は、以上である。
検知装置103は、上記の処理をタイミング617の画像(T-3)まで、または、ステップ414で人物が非検出となるまで、遡って実施する。
ステップ422~432における処理の内容について図9A、9Bを用いて説明する。
画像900は、時刻(T+3)、すなわち、タイミング623の画像(T+3)である。
検知装置103は、録画装置102から、画像(T+3)を取得する(ステップ423~424)。そしてこの画像に対し、人物検出などを行う。その際、近傍領域901のみに対して実施する。検出領域902は、ステップ426にて得られた人物領域を示す。また、領域座標903は、検出領域902の画像中における座標値を示す。
次に、検知装置103は、検出領域902に対して人物角度を算出する(ステップ427)。角度904は、ここで算出された値を示す。
次に、検知装置103は、検出領域902に対して人物特徴量を算出する(ステップ428)。人物特徴量905は、ここで算出された値を示す。
次に、検知装置103は、人物特徴量905を用いて、特定人物記録部200の記録データ320に対して、照合を行う(ステップ429)。この際、照合を行うのは、照合910に示すように、人物Eのレコードのみである。一致度920は、照合910により算出された一致度である。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード506に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度920の値を、角度セル513に該当するセルに角度904の値を、人物領域座標セル514に該当するセルに領域座標903の値をそれぞれ格納する(ステップ419)。図9Bの保管データ520は、本時点での格納データの状態を示す。
画像900に関わる一連の処理は、以上である。
次に、検知装置103は、特定人物記録部200に予め記録しておいた人物Eの角度の値を取り出し、保管データ520に格納された結果の中から、最も近い角度の結果を探す。本実施例では、レコード501となる。そして、レコード501に格納された一致度を取り出す。取り出した一致度と、予め設定しておいた第2の閾値との大小比較を行う。本実施例では第2の閾値を0.60とする。取り出した一致度は0.20であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Eであると統合判定される(ステップ432)。
以上が、検知に至る一連の処理の説明となる。
ここまでに示したように、本実施例では、特定人物記録部200に予め記録しておいた角度に最も近い画像にて照合を行う。一般的に角度が近い画像ほど、精度が高い。従って、本実施例により、特定人物検知システムにおいて、より高い検知精度を得ることを可能とした。また、本実施例では事前に様々な角度の人物画像を登録できなかった場合にもより高い検知精度を得ることができる。また、本実施例では常時の照合を高フレームレートにしない場合においても、より高い検知精度を得ることができる。
ここまでの説明においては、説明の簡略化のため、撮像装置や検知装置、録画装置、端末装置は各1台の構成で示したが、これらはネットワークに対し、複数台の接続が可能である。
また同様に、撮像装置と検知装置、あるいは録画装置と検知装置は、各1台が対向で動作するように示したが、複数の撮像装置や録画装置に対し1台の検知装置で対応させることも可能であり、また逆に1台の撮像装置や録画装置に対し複数台の検知装置で対応させることも可能である。
また同様に、検知装置と端末装置は各1台が対向で動作するように示したが、複数の検知装置に対し1台の端末装置で対応させることも可能であり、また逆に1台の検知装置に対し複数台の端末装置で対応させることも可能である。
また同様に、撮像装置や録画装置と検知装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。
また同様に、検知装置と端末装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。
また同様に、特定人物検知システムを対象に示したが、特定人物だけでなく特定車両や他の特定物体などの検知システムを対象に実施するようにしてもよい。
次に、第2の実施例に係る特定人物検知システムの装置構成について図10を用いて説明する。図1と同一の符号は、同一の装置であることを示す。
特定人物検知システム20は、ネットワーク100に、撮像装置1001~1003、録画装置102、検知装置103、端末装置104が接続され、互いに通信可能な状態で構成される。
撮像装置1001~1003は、撮像装置101と同一の装置である。本実施例ではシステムに撮像装置が3台接続されているものとする。撮像装置1001~1003は、同一地点を別の角度から撮影するように設置する。検知装置103は同一地点を撮影している撮像装置1001~1003の対応情報を記憶装置に記憶させている。これにより、検知装置103は同一地点を撮影している撮像装置はどれかを把握することができる。
本実施例において、録画装置102は、撮像装置1001~1003の映像を常時録画しているものとする。
検知装置103における処理の流れについて図11A~11Cを用いて説明する。
ステップ1100:制御指示部209は、次に取得する画像時刻(T)を算出する。特定人物検知を数フレームおきに実施する場合、現在時刻から数フレーム先の時刻を算出し画像時刻(T)とする。そして、画像受信部201は、撮像装置1001に対し、画像(T)の出力を要求する。
ステップ1101:画像受信部201は、画像受信待機を行う。撮像装置1001からの画像着信を検知すると処理はステップ1102に進む。
ステップ1102:画像受信部201は、撮像装置1001からの画像を受信する。この受信した時刻(T)の画像を画像(T)とする。
ステップ1103:人物検出部202は、受信した画像データに対して人物検出を行う。人物検出については、ステップ403と同様である。上記の結果、人物が検出された場合、処理をステップ1104に進め、検出されなかった場合には、処理をステップ1100に戻す。
ステップ1104:人物検出部202は、ステップ1103で検出された人物の人物領域座標を算出する。
ステップ1105:人物角度算出部203は、ステップ1104で算出した人物の領域画像に対して、角度を算出する。人物の角度の算出は、ステップ405と同様である。
ステップ1106:人物特徴量抽出部204は、ステップ1104で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量については、ステップ406と同様である。
ステップ1107:特定人物判定部205は、人物特徴量の全照合を行う。具体的には、ステップ1106で算出した人物特徴量を、特定人物記録部200に予め記録しておいた各特定人物の人物特徴量全てを対象に順番に照合(一致度算出)していき、最も一致度の小さい特徴量を探し出す。この特徴量を持つ人物を最類似人物とする。一致度については、ステップ407と同様である。
ステップ1108:特定人物判定部205は、特定人物の検知判定を行う。検知判定については、ステップ408と同様である。検知と判定された場合には、処理をステップ1109に進め、それ以外の場合には、処理をステップ1100に戻す。
ステップ1109:判定結果保管部206は、画像(T)に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ1108で求めた最類似人物の一致度と人物ID、ステップ1105で求めた角度、ステップ1104で算出した人物領域の座標を含む。保管データの態様については図5と同様である。
ステップ1110:画像受信部201は、録画装置102に対し、撮像装置1002の画像(T)の出力を要求する。
ステップ1111:画像受信部201は、録画装置102から、撮像装置1002の画像(T)を受信する。
ステップ1112:人物検出部202は、受信した画像データに対して、ステップ1103にて検出した人物と同一人物の検出を行う。人物の検出の方法については、ステップ1103と同様である。ステップ1103にて検出した人物と本ステップにて検出した人物との同定は、ステップ414と同様である。但し、本実施例においては、撮像装置1001と撮像装置1002の撮影位置が異なるので、それぞれの設置位置関係を求めておき、幾何計算にて、それぞれの画像座標間の対応を事前求めておくこととする。上記の結果、同一人物が検出された場合、処理をステップ1113に進め、検出されなかった場合には、処理をステップ1108に進める。人物検出部202は、ステップ1112で検出された人物の人物領域座標を算出する。
ステップ1114:人物角度算出部203は、ステップ1113で算出した人物の領域画像に対して、角度を算出する。角度算出の方法については、ステップ405と同様である。
ステップ1115:人物特徴量抽出部204は、ステップ1113で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ406と同様である。
ステップ1116:特定人物判定部205は、人物特徴量の照合を行う。具体的には、特定人物記録部200に予め記録しておいた各特定人物の人物特徴量の中からステップ1107にて求めた最類似人物の特徴量を取り出し、ステップ1115で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ407と同様である。
ステップ1117:判定結果保管部206は、撮像装置1002の画像(T)に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ1116で求めた一致度、ステップ1114で求めた角度、ステップ1113で算出した人物領域の座標を含む。
ステップ1118:画像受信部201は、録画装置102に対し、撮像装置1003の画像(T)の出力を要求する。
ステップ1119:画像受信部201は、録画装置102から、撮像装置1003の画像(T)を受信する。
ステップ1120:人物検出部202は、受信した画像データに対して、ステップ1103にて検出した人物と同一人物の検出を行う。人物の検出の方法については、ステップ1103と同様である。ステップ1103にて検出した人物と本ステップにて検出した人物との同定は、ステップ414と同様である。但し、本実施例においては、撮像装置1001と撮像装置1003の撮影位置が異なるので、それぞれの設置位置関係を求めておき、幾何計算にて、それぞれの画像座標間の対応を事前求めておくこととする。上記の結果、同一人物が検出された場合、処理をステップ1121に進め、検出されなかった場合には、処理をステップ1126に進める。
ステップ1121:人物検出部202は、ステップ1120で検出された人物の人物領域座標を算出する。
ステップ1122:人物角度算出部203は、ステップ1121で算出した人物の領域画像に対して、角度を算出する。角度算出の方法については、ステップ405と同様である。
ステップ1123:人物特徴量抽出部204は、ステップ1121で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ406と同様である。
ステップ1124:特定人物判定部205は、人物特徴量の照合を行う。具体的には、特定人物記録部200に予め記録しておいた各特定人物の人物特徴量の中からステップ1107にて求めた最類似人物の特徴量を取り出し、ステップ1123で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ407と同様である。
ステップ1125:判定結果保管部206は、撮像装置1003の画像(T)に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ1124で求めた一致度、ステップ1122で求めた角度、ステップ1121で算出した人物領域の座標を含む。
ステップ1126:特定人物統合判定部207は、ステップ1109、や1117、1125で判定結果保管部206に保管した結果を用いて、統合判定を行う。統合判定は、特定人物記録部200に予め記録しておいた各特定人物の人物角度の中からステップ1107にて求めた最類似人物の角度を取り出し、その角度と判定結果保管部206に保管した結果の中で、最も近い角度の結果を探し出し、その結果の一致度とある一定値(第2の閾値)との関係において、一致度が閾値以下であった場合にその人物を特定人物として検知したと統合判定する。第2の閾値は第1の閾値より小さな値を設定する。検知と判定された場合には、処理をステップ1127に進め、それ以外の場合には、処理をステップ1128に進める。
ステップ1127:検知通知部208は、特定人物通知を端末装置104に送信する。送信データは、特定人物のIDやその人物画像等を含んで構成される。
ステップ1128:判定結果保管部206は、保管していた結果を全て削除する。保管していた結果を削除せず、上書きをしてもよい。削除完了後、処理をステップ1100に戻す。
時刻(T)における処理の内容について図12A、12Bを用いて説明する。図3や図5と同一の符号は、それぞれ同一であることを示す。
画像1200は、時刻(T)の撮像装置1001の画像(T)である。
検知装置103は、撮像装置1001から、画像(T)を取得する(ステップ1100~1102)。そして、この画像の全領域に対し、人物検出などを行う(ステップ1103~1104)。検出領域1201は、ステップ1104で得られた人物領域を示す。また領域座標1202は、検出領域1201の画像中における座標値を示す。本実施例においては、検出領域1201の左上座標と右下座標を用いた例を示す。
次に、検知装置103は、検出領域1201に対して人物角度を算出する(ステップ1105)。角度1203は、ここで算出された値を示す。
次に、検知装置103は、検出領域1201に対して人物特徴量を算出する(ステップ1106)。人物特徴量1204は、ここで算出された値を示す。
次に、検知装置103は、人物特徴量1204を用いて、特定人物記録部200の記録データ320に対して、全照合を行う(ステップ1107)。照合1210~1214は、記録データの各レコードと照合を行っている様子を示し、一致度1220~1224は、各照合において算出した一致度を示す。一致度は値が小さいほど、似ている度合が高いとされる値である。全照合の結果、最も小さな一致度は、一致度1224であることから、最類似人物は、レコード304に記録されている、人物Eであると判定される。
次に、検知装置103は、上記で求めた最類似人物である人物Eの一致度1224と予め設定しておいた第1の閾値との大小比較を行う。本実施例では第1の閾値を1.00とする。一致度1224は、0.90であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Eであると一次判定される(ステップ1108)。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード500に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度1224の値を、角度セル513に該当するセルに角度1203を、人物領域座標セル514に該当するセルに領域座標1202の値をそれぞれ格納する(ステップ1109)。図12Bの保管データ520は、本時点での格納データの状態を示す。
ステップ1100~1109における一連の処理は、以上である。
ステップ1110~1117における処理の内容について図13A、13Bを用いて説明する。
画像1300は、時刻(T)の撮像装置1002の画像(T)である。
検知装置103は、録画装置102から、撮像装置1002の画像(T)を取得する(ステップ1110~1111)。この画像の全領域に対し、人物検出などを行う(ステップ1112~1113)。検出領域1301は、ステップ1113にて得られた人物領域を示す。また、領域座標1302は、検出領域1301の画像中における座標値を示す。
次に、検知装置103は、検出領域1301に対して人物角度を算出する(ステップ1114)。角度1303は、ここで算出された値を示す。
次に、検知装置103は、検出領域1301に対して人物特徴量を算出する(ステップ1115)。人物特徴量1304は、ここで算出された値を示す。
次に、検知装置103は、人物特徴量1304を用いて、特定人物記録部200の記録データ320に対して、照合を行う(ステップ1116)。この際、照合を行うのは、照合1310に示すように、人物Eのレコードのみである。一致度1320は、照合1310により算出された一致度である。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード501に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度1320の値を、角度セル513に該当するセルに角度1303を、人物領域座標セル514に該当するセルに領域座標1302の値をそれぞれ格納する(ステップ1117)。図13Bの保管データ1330は、本時点での格納データの状態を示す。
ステップ1110~1117における一連の処理は、以上である。
ステップ1118~1126における処理の内容について図14A、14Bを用いて説明する。
画像1400は、時刻(T)の撮像装置1003の画像(T)である。
検知装置103は、録画装置102から、撮像装置1003の画像(T)を取得する(ステップ1118~1119)。この画像の全領域に対し、人物検出などを行う(ステップ1120~1121)。検出領域1401は、ステップ1121にて得られた人物領域を示す。また、領域座標1402は、検出領域1401の画像中における座標値を示す。
次に、検知装置103は、検出領域1401に対して人物角度を算出する(ステップ1122)。角度1403は、ここで算出された値を示す。
次に、検知装置103は、検出領域1401に対して人物特徴量を算出する(ステップ1123)。人物特徴量1404は、ここで算出された値を示す。
次に、検知装置103は、人物特徴量1404を用いて、特定人物記録部200の記録データ320に対して、照合を行う(ステップ1124)。この際、照合を行うのは、照合1410に示すように、人物Eのレコードのみである。一致度1420は、照合1410により算出された一致度である。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード502に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度1420の値を、角度セル513に該当するセルに角度1403を、人物領域座標セル514に該当するセルに領域座標1402の値をそれぞれ格納する(ステップ1125)。図14Bの保管データ520は、本時点での格納データの状態を示す。
次に、検知装置103は、特定人物記録部200に予め記録しておいた人物Eの角度を取り出し、保管データ1430に格納された結果の中から、最も近い角度の結果を探す。本実施例では、レコード501となる。そして、レコード501に格納された一致度を取り出す。取り出した一致度と、予め設定しておいた第2の閾値との大小比較を行う。本実施例では第2の閾値を0.60とする。取り出した一致度は0.20であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Eであると統合判定される(ステップ1126)。
以上が、検知に至る一連の処理の説明となる。
ここまでに示したように、本実施例では、特定人物記録部200に予め記録しておいた角度に最も近い画像にて照合を行う。一般的に角度が近い画像ほど、精度が高い。従って、本実施例により、特定人物検知システムにおいて、より高い検知精度を得ることを可能とした。また、本実施例では事前に様々な角度の人物画像を登録できなかった場合にもより高い検知精度を得ることができ、複数の撮像装置間の撮影角度の差異を歩行人物の向き変動幅よりも大きくなるように撮像装置を設置することにより、実施例1よりも大きな効果が得られる。また、本実施例では常時の照合を高フレームレートにしない場合においても、より高い検知精度を得ることができる。
ここまでの説明においては、説明の簡略化のため、同一地点における撮像装置について3台の構成で示したが、3台以外の複数台構成にて実施するようにしてもよい。
また同様に、撮像装置や録画装置と検知装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。
また同様に、検知装置と端末装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。
また同様に、特定人物検知システムを対象に示したが、特定人物だけでなく特定車両や他の特定物体などの検知システムを対象に実施するようにしてもよい。
次に、第3の実施例に係る特定人物検知システムの装置構成について図15を用いて説明する。図1と同一の符号は、同一の装置であることを示す。
特定人物検知システム30は、ネットワーク100に、撮像装置1501~1504、録画装置102、検知装置103、端末装置104、検索装置1505が接続され、互いに通信可能な状態で構成される。
撮像装置1501~1504は、撮像装置101と同一の装置である。本例ではシステムに撮像装置が4台接続されているものとする。
検索装置1505は、CPU等の演算回路や、RAM等の一時記憶メモリ、HDD等の記録媒体、データ伝送バス、外部入出力インタフェース、電源回路等を備える、コンピュータ等の装置である。
検索装置1505は、ネットワークから外部入出力インタフェースに入力された録画装置102からの画像データを一時記憶メモリに格納する。格納された画像データに対し、演算回路を使い類似画像検索に関わる各種演算を行う。記録媒体には、類似画像検索を行うソフトウェア一式や、OS(オペレーションシステム)、類似画像検索を行うための特徴量を格納するためのデータベース等が格納されている。類似画像検索の結果は、外部入出力インタフェースからネットワーク100に出力される。
本実施例において、録画装置102は、撮像装置1501~1504の映像を常時録画しているものとする。また、検索装置1505は、録画装置102に録画された、撮像装置1501~1504の映像を常時収集し、データベース化を行い、類似画像検索を実施可能な状態にしているものとする。検索装置1505の詳細については後述する。
上記4台の撮像装置の設置の位置関係について一例を図16に示す。
図16に示すように、通路1600は、人物が歩行できる通路を示し、経路1601は人物Eが歩行した経路を示す。地点1611~1614は、それぞれ撮像装置1501~1504が設置されている位置を示し、撮影エリア1621~1624はそれぞれ撮像装置1501~1504が撮影している範囲を示す。人物Eは、経路1601を撮影エリア1621、1622、1623の順に歩行したとする。
撮影エリア間の距離は、撮像装置の設置時に予め測定されて、検知装置103の制御指示部209にて保管されている。
制御指示部209における撮影エリア間距離データの態様について図17を用いて説明する。
距離データ1700は、撮影エリア間の距離を総当たりで格納する。本実施例は、4つの撮像エリア間の距離を格納した例を示す。行1701には撮影エリア1621についての他の撮影エリア間との距離を、行1702には撮影エリア1622についての他の撮影エリア間との距離を格納する。行1703や1704についても同様である。セル1711には、撮影エリア1621と1622間の距離を格納する。本実施例では、距離値にエリア間を歩行する所要時間としての秒を用いた例を示す。以降も同様である。セル1712には、撮影エリア1621と1623間の距離を、セル1713には、撮影エリア1621と1624間の距離をそれぞれ格納する。本実施例では、格納する距離値に所要時間を用いた例を示したが、道のり(長さ)を用いる等をしてもよい。
検知装置103における処理の流れについて図18A、18Bを用いて説明する。
ステップ1800において、検知装置103の制御指示部209は、撮像装置1501から次に取得する画像時刻(T)を算出する。特定人物検知を数フレームおきに実施する場合、現在時刻から数フレーム先の時刻を算出し画像時刻(T)とする。そして、画像受信部201は、撮像装置1501に対し、画像(T)の出力を要求する。
ステップ1801:画像受信部201は、画像受信待機を行う。撮像装置1501からの画像着信を検知すると処理はステップ1802に進む。
ステップ1802:画像受信部201は、撮像装置1501からの画像を受信する。この受信した時刻(T)の画像を画像(T)とする。
ステップ1803:人物検出部202は、受信した画像データに対して人物検出を行う。人物検出については、ステップ403と同様である。上記の結果、人物が検出された場合、処理をステップ1804に進め、検出されなかった場合には、処理をステップ1800に戻す。
ステップ1804:人物検出部202は、ステップ1803で検出された人物の人物領域座標を算出する。
ステップ1805:人物角度算出部203は、ステップ1804で算出した人物の領域画像に対して、撮影角度を算出する。人物の撮影角度の算出は、ステップ405と同様である。
ステップ1806:人物特徴量抽出部204は、ステップ1804で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量については、ステップ406と同様である。
ステップ1807:特定人物判定部205は、人物特徴量の全照合を行う。具体的には、ステップ1806で算出した人物特徴量を、特定人物記録部200に予め記録しておいた各特定人物の人物特徴量全てを対象に順番に照合(一致度算出)していき、最も一致度の小さい特徴量を探し出す。この特徴量を持つ人物を最類似人物とする。一致度については、ステップ407と同様である。
ステップ1808:特定人物判定部205は、特定人物の検知判定を行う。検知判定については、ステップ408と同様である。検知と判定された場合には、処理をステップ1809に進め、それ以外の場合には、処理をステップ1800に戻す。
ステップ1809:判定結果保管部206は、画像(T)に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ1808で求めた最類似人物の一致度と人物ID、ステップ1805で求めた角度、ステップ1804で算出した人物領域の座標を含む。保管データの態様については図5と同様である。
ステップ1810:制御指示部209は距離データ1700を参照し、画像(T)を取得した撮像装置1501の近接撮影エリアを算出する。ここで近接撮影エリアとは、画像(T)を取得した撮像装置1501との距離がある一定値以下の近距離関係にある撮影エリアとする。近接撮影エリアは、複数個存在する場合もある。また、図18には図示しないが、ステップ1810で近接撮影エリアが存在しなかった場合には、処理をステップ1822に進める。
ステップ1811:ステップ1803にて検出した人物のステップ1810で求めた近接撮影エリアの中から最も距離の遠い撮影エリアへの到達予想時刻(TF)を算出する。最遠到達予想時刻は、距離データ1700に格納された距離値から計算で求める。
ステップ1812:制御指示部209は、時刻(TF)まで待機する。時刻(TF)到達後、処理を1813に進める。
ステップ1813:制御指示部209は、検索装置1505に対し、画像(T)のステップ1804で算出した人物領域に対する類似画像検索の実施を要求する。その際、撮影時刻に関する条件として、時刻(T)以降、かつ、時刻(TF)以前であること、撮像エリアに関する条件として、ステップ1810で求めた近接撮影エリアであること、類似度が予め定めた一定値以上であることを類似画像検索の絞込条件として与える。
ステップ1814:制御指示部209は、検索装置1505からの検索結果を受信する。検索結果は、画像(R)とその画像における人物領域の座標を含んで構成される。ここでRは、例えば、検索結果に含まれる画像数が5つである場合にはR=1~5となるような整数値であるとする。また、Rの最大値である5を検索結果数Sとして保管する。
ステップ1815:制御指示部209は、カウンタ(R)を0にリセットする。
ステップ1816:制御指示部209はカウンタ(R)と検索結果数(S)の大小関係を比較する。RがS未満の場合には、処理をステップ1817に進め、RがS以上となった場合、処理を1822に進める。
ステップ1817:人物角度算出部203は、ステップ1814で取得した画像(R)とその人物領域座標から得られる人物領域に対して、撮影角度を算出する。角度算出の方法については、ステップ405と同様である。
ステップ1818:人物特徴量抽出部204は、ステップ1814で取得した画像(R)とその人物領域座標から得られる人物領域に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ406と同様である。
ステップ1819:特定人物判定部205は、人物特徴量の照合を行う。具体的には、特定人物記録部200に予め記録しておいた各特定人物の人物特徴量の中からステップ1807にて求めた最類似人物の特徴量を取り出し、ステップ1818で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ407と同様である。
ステップ1820:判定結果保管部206は、画像(R)に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ1819で求めた一致度、ステップ1817で求めた撮影角度を含む。
ステップ1821:制御指示部209はカウンタ(R)Lを1加算し、制御をステップ1816に戻す。
ステップ1822:特定人物統合判定部207は、ステップ1809、1820で判定結果保管部206に保管した結果を用いて、統合判定を行う。統合判定は、特定人物記録部200に予め記録しておいた各特定人物の撮影角度の中からステップ1807にて求めた最類似人物の撮影角度を取り出し、その撮影角度と判定結果保管部206に保管した結果の中で、最も近い撮影角度の結果を探し出し、その結果の一致度とある一定値(第2の閾値)との関係において、一致度が閾値以下であった場合にその人物を特定人物として検知したと統合判定する。第2の閾値は第1の閾値より小さな値を設定する。検知と判定された場合には、処理をステップ1823に進め、それ以外の場合には、処理をステップ1824に進める。
ステップ1823:検知通知部208は、特定人物通知を端末装置104に送信する。送信データは、特定人物のIDやその人物画像等を含んで構成される。
ステップ1824:判定結果保管部206は、保管していた結果を全て削除する。保管していた結果を削除せず、上書きをしてもよい。削除完了後、処理をステップ1800に戻す。
ここで、検知対象、すなわち特定人物の人物Eが、通路1600を経路1601にて、歩行した際の動作について、より具体的に説明する。ここで、人物Eは、撮影エリア1621に時刻(T)に登場したものとする。また、特定人物記録部200には、図3に示したデータが予め記録されているものとする。また、説明の簡略化のため、人物Eの登場から退場まで人物E以外の人物は現れないものとする。
時刻(T)における処理の内容について図19A、19Bを用いて説明する。図3や図5と同一の符号は、それぞれ同一であることを示す。
画像1900は、時刻(T)における撮像装置1501が撮影エリア1621を撮影した画像(T)である。
検知装置103は、撮像装置1501から、画像(T)を取得する(ステップ1800~1802)。そして、この画像の全領域に対し、人物検出などを行う(ステップ1803~1804)。検出領域1901は、ステップ1804で得られた人物領域を示す。また領域座標1902は、検出領域1901の画像中における座標値を示す。本実施例においては、検出領域1901の左上座標と右下座標を用いた例を示す。
次に、検知装置103は、検出領域1901に対して撮影角度を算出する(ステップ1805)。撮影角度1903は、ここで算出された値を示す。
次に、検知装置103は、検出領域1901に対して人物特徴量を算出する(ステップ1806)。人物特徴量1904は、ここで算出された値を示す。
次に、検知装置103は、人物特徴量1904を用いて、特定人物記録部200の記録データ320に対して、全照合を行う(ステップ1807)。照合1910~1914は、記録データの各レコードと照合を行っている様子を示し、一致度1920~1924は、各照合において算出した一致度を示す。一致度は値が小さいほど、似ている度合が高いとされる値である。全照合の結果、最も小さな一致度は、一致度1924であることから、最類似人物は、レコード304に記録されている、人物Eであると判定される。
次に、検知装置103は、上記で求めた最類似人物である人物Eの一致度1924と予め設定しておいた第1の閾値との大小比較を行う。本実施例では第1の閾値を1.00とする。一致度1924は、0.90であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Eであると一次判定される(ステップ1808)。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード500に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度1924の値を、角度セル513に該当するセルに角度1903をそれぞれ格納する(ステップ1809)。図19Bの保管データ520は、本時点での格納データの状態を示す。
ステップ1800~1809における一連の処理は、以上である。
次に、検知装置103は、撮影エリア1621の近接撮影エリアを算出する。ここでは、距離データ1700のうち、撮影エリア1621との距離を格納した行1701を、セル1711~1713の順に参照し、格納値を取得する。取得した格納値を予め決めておく閾値と比較して、閾値以下、すなわち、近距離に存在する近接撮影エリアを求める。近接撮影エリアは複数になることもある。本実施例では閾値を20とし、結果、近接撮影エリアとして、撮影エリア1622、1623、1624が選ばれる(ステップ1810)。そして、選ばれた3つの撮影エリアの中で最も距離の遠い撮影エリアである撮影エリア1624の格納値と時刻(T)との合計である(T+18)が到達予想時刻(TF)となる(ステップ1811)。本実施例では、単純に撮影エリア1624の格納値を加算した例を示したが、さらに余裕度を加算する等してもよい。
次に、検知装置103は、時刻(T+18)まで待機する(ステップ1812)。
時刻(T+18)における処理の内容について図20Aから20Cを用いて説明する。図3や図5と同一の符号は、それぞれ同一であることを示す。
検知装置103は、検索装置1505に対し、類似画像検索の実施を要求する。その際の検索キーは、検出領域1901である。撮影時刻に関する絞込条件として、時刻(T)以降、時刻(T+18)以前を与える。また、撮影エリアに関する絞込条件として、ステップ1810で選んだ撮影エリア1622、1623、1624を与える(ステップ1813)。
検索結果2000は、ステップ1814で受信した検索結果を示す。本実施例では、検索結果が2つの画像とそれぞれの画像における人物領域の座標を含んで構成される場合を示す。画像2010は、検索結果の1つ目の画像であり、画像2020は、検索結果の2つ目の画像である。また、人物領域2011は、画像2010における人物領域、人物領域2021は、画像2020における人物領域を表す。
次に、検知装置103は、人物領域2011に対して撮影角度を算出する(ステップ1817)。撮影角度2012は、ここで算出された値を示す。
次に、検知装置103は、人物領域2011に対して人物特徴量を算出する(ステップ1818)。人物特徴量2013は、ここで算出された値を示す。
次に、検知装置103は、人物特徴量2013を用いて、特定人物記録部200の記録データ320に対して、照合を行う(ステップ1819)。この際、照合を行うのは、照合2030に示すように、人物Eのレコードのみである。一致度2040は、照合2030により算出された一致度である。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード501に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度2040の値を、角度セル513に該当するセルに角度2012をそれぞれ格納する(ステップ1820)。図20Bの保管データ520は、本時点での格納データの状態を示す。
次に、検知装置103は、人物領域2021に対して撮影角度を算出する(ステップ1817)。撮影角度2022は、ここで算出された値を示す。
次に、検知装置103は、人物領域2021に対して人物特徴量を算出する(ステップ1818)。人物特徴量2023は、ここで算出された値を示す。
次に、検知装置103は、人物特徴量2023を用いて、特定人物記録部200の記録データに対して、照合を行う(ステップ1819)。この際、照合を行うのは、照合2060に示すように、人物Eのレコードのみである。一致度2070は、照合2060により算出された一致度である。
次に、検知装置103は、判定結果保管部206の保管データ520のレコード502に対し、人物IDセル511に該当するセルに検知した人物IDである「E」、一致度セル512に該当するセルに一致度2070の値を、角度セル513に該当するセルに角度2022をそれぞれ格納する(ステップ1820)。図20Cの保管データ520は、本時点での格納データの状態を示す。
次に、検知装置103は、特定人物記録部200に予め記録しておいた人物Eの角度を取り出し、図20Cの保管データ5200に格納された結果の中から、最も近い角度の結果を探す。本実施例では、レコード501となる。そして、レコード501に格納された一致度を取り出す。取り出した一致度と、予め設定しておいた第2の閾値との大小比較を行う。本実施例では第2の閾値を0.60とする。取り出した一致度は0.20であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Eであると統合判定される(ステップ1822)。
以上が、検知に至る一連の処理の説明となる。
図21に示すように、検索装置1505は、画像記録部2101、画像特徴量記録部2102、画像特徴量抽出部2103、画像類似度判定部2104、顔探索部2105の部位を備えている。
画像記録部2101は、撮像装置1501~1504または録画装置102から入力された画像データを、図示しないHDD等の記録媒体へ記録する部位である。画像記録部2101は、画像データを記録する際には、後で画像データを取り出すための情報、例えば、録画装置内でユニークになるように録画開始からフレーム単位で順に割り振ったフレーム番号を同時に記録する。このフレーム番号とは、映像等の動画像のように、所定の期間毎に画像が連続的に記憶される際に、順番に割り振られるような番号のことをいう。また、画像記録部2101は、画像が何時に撮像されたものであるか識別するための情報、例えば、画像時刻も同時に記録する。この際の、画像時刻は、例えば、録画装置102に内蔵している時計から出力される装置時刻や、撮像装置1501~1504にそれぞれ内蔵している時計から出力される装置時刻である。また、画像記録部2101は、画像がどの撮像装置で撮像されたかものであるか識別するための情報、例えば、撮像装置のIPアドレスも同時に記録する。
画像特徴量記録部2102は、画像特徴量を記録媒体へ記録する部位である。画像特徴量記録部2102は、まず、画像記録部2101により記録された画像データを顔探索部2105に出力することにより、顔画像データを取得する。そして、画像特徴量記録部2102は、この顔画像データを画像特徴量抽出部2103に出力することにより、画像特徴量を取得する。画像特徴量記録部2102は、画像特徴量を記録する際には、顔探索部2105に入力された画像データに対応するフレーム番号も同時に記録する。この記録により生成されるフレーム番号と画像特徴量で構成されるリストデータを、以下で「画像特徴量リストデータ」と呼ぶ。
画像特徴量抽出部2103は、顔探索部2105から入力された顔画像データの特徴量を画像認識技術を用いて算出する部位である。ここで画像特徴量とは、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せを用いる。
画像類似度判定部2104は、画像検索を行い、検索結果を出力する部位である。画像類似度判定部2104は、以下で説明する検索画像の画像特徴量と、画像記録部2101の記録媒体に記録されている画像データの顔画像の画像特徴量とから類似度を算出し、算出された類似度の大小から検索結果を生成する。ここで、検索画像は、入力された、類似度を判定するために参照される雛形の画像として検知装置103の制御指示部209が指定した画像である。この検索画像は、検索要求信号の中に含まれているデータとして入力する。具体的には、画像のフレーム番号等により指定することができる。なお、検索画像の画像特徴量は、画像類似度判定部2104が、顔探索部2105に出力することで取得する。また、記録媒体に記録されている顔画像データの画像特徴量は、画像特徴量記録部2102に記録された上述の画像特徴量リストデータから取得する。また、画像、類似度の算出方法については、「大規模な画像集合のための表現モデル」(廣池敦他、日本写真学会誌2003年66巻1号P93-P101)のような論文を参照して構築することができる。
検索装置1505の制御部は、検知装置103の制御指示部209からの検索要求信号を受信すると、検知装置103の制御指示部209が指定した検索画像を顔探索部2105に入力し、顔を探索する。顔が検出された場合、画像特徴量抽出部2103にてその検索画像に含まれる顔領域の画像特徴量を抽出する。そして、画像類似度判定部2104にて、右記の画像特徴量と、予め登録処理により抽出された画像特徴量リストデータの特徴量とを比較し、画像特徴量を基に画像の類似性を判定し、画像特徴量リストデータに含まれるフレーム情報等を用いて、録画装置の記録画像からユーザが探したい人物の画像を検索処理の実行ごとに探し出す。このような従来の登録処理により、監視画像を対象とした類似顔画像検索を実現することができる。
ここまでに示したように、本実施例では、特定人物記録部200に予め記録しておいた角度に最も近い画像にて照合を行う。一般的に角度が近い画像ほど、精度が高い。従って、本実施例により、特定人物検知システムにおいて、より高い検知精度を得ることを可能とした。また、本実施例では事前に様々な角度の人物画像を登録できなかった場合にもより高い検知精度を得ることができ、実施例2のように、同一地点を複数の撮像装置で撮影できなかった場合にも、多地点の撮像装置を組み合わせて利用することにより、実施例2とほぼ同等の大きな効果が得られる。
ここまでの説明においては、説明の簡略化のため、撮像装置について4台の構成で示したが、4台以外の複数台構成にて実施するようにしてもよい。
また同様に、撮像装置や録画装置と検知装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。
また同様に、検知装置と検索装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。
また同様に、検知装置と端末装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。
また同様に、特定人物検知システムを対象に示したが、特定人物だけでなく特定車両や他の特定物体などの検知システムを対象に実施するようにしてもよい。
以上、本発明者によってなされた発明を実施形態および実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。
10,20,30:特定人物検知システム、100:ネットワーク、101:撮像装置、102:検知装置、103:録画装置、104:端末装置、200:特定人物記録部、201:画像受信部、202:人物検出部、203:人物角度算出部、204:人物特徴量算出部、205:特定人物判定部、206:判定結果保管部、207:特定人物統合判定部、208:検知通知部、209:制御指示部、300~304:レコード、310:レコード番号セル310、311:人物IDセル、312:特徴量セル、313:角度セル、314:人物画像セル、320:記録データ、400~434:ステップ、500~506:レコード、510:レコード番号セル、511:人物IDセル、512:一致度セル、513:角度セル、514:人物領域座標セル、520:保管データ、600:横軸、610~630:タイミング、700:画像、701:検出領域、702:領域座標、703:角度、704:人物特徴量、710~714:照合、720~724:一致度、800:画像、801:近傍領域、802:検出領域、803:領域座標、804:角度、805:人物特徴量、810:照合、820:一致度、900:画像、901:近傍領域、902:検出領域、903:領域座標、904:角度、905:人物特徴量、910:照合、920:一致度、1001~1003:撮像装置、1110~1127:ステップ、1200:画像、1201:検出領域、1202:領域座標、1203:角度、1204:人物特徴量、1210~1214:照合、1220~1224:一致度、1300:画像、1301:検出領域、1302:領域座標、1303:角度、1304:人物特徴量、1310:照合、1320:一致度、1400:画像、1401:検出領域、1402:領域座標、1403:角度、1404:人物特徴量、1410:照合、1420:一致度、1501~1504:撮像装置、1505:検索装置、1600:通路、1601:経路、1611~1614:地点、1621~1624:撮影エリア、1700:距離データ、1701~1704:行、1711~1713:セル、1800~1824:ステップ、1900:画像、1901:検出領域、1902:領域座標、1903:角度、1904:人物特徴量、1910~1914:照合、1920~1924:一致度、2000:検索結果、2010:画像、2011:人物領域、2012:角度、2013:人物特徴量、2020:画像、2021:人物領域、2022:角度、2023:人物特徴量、2030:照合、2040:一致度、2060:照合、2070:一致度、
Claims (13)
- 特定人物を記録した特定人物記録部を備え、
画像データから抽出した特徴量に最も類似した人物を前記特定人物記録部から取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する
特定人物検知システム。 - 請求項1において、
撮像装置と録画装置と検知装置とを備え、
前記画像データは前記撮像装置で撮影され、
前記別の画像データは前記録画装置で録画される
特定人物検知システム。 - 請求項2において、
前記検知装置は、
特定人物の一覧にその人物の撮影角度を保管し、
前記撮像装置で撮影された画像中から任意の登場人物をその撮影角度とともに検出し、
前記特定人物の一覧と前記検出した登場人物との特徴全照合から一致度を求め、特定人物の一次検知を行い、
前記一次検知された画像とは別の画像を前記録画装置から取得し、
前記取得した別の画像から一次検知人物と同一の人物をその撮影角度とともに検出し、照合を行い、
前記一次検知された結果を含む一連の照合による一致度と撮影角度を用いて、特定人物の統合判定を行う
特定人物検知システム。 - 請求項3において、
前記別の画像は一次検知の時間近傍の同一撮像装置の画像である
特定人物検知システム。 - 請求項2において、
前記検知装置は、
特定人物の一覧を保管し、
撮影画像中から任意の登場人物を検出し、
特定人物の一覧と登場人物との特徴照合から一致度を求め、特定人物検知を行う
特定人物検知システム。 - 請求項1において、
複数の撮像装置と検知装置とを備え、
前記画像データは前記複数の撮像装置の1つの撮像装置で撮影され、
前記別の画像データは前記複数の撮像装置の他の撮像装置で撮像される
特定人物検知システム。 - 請求項6において、
前記検知装置は、
特定人物の一覧にその人物の撮影角度を保管し、
前記1つの撮像装置で撮影された画像中から任意の登場人物をその撮影角度とともに検出し、
前記特定人物の一覧と前記検出した登場人物との特徴全照合から一致度を求め、特定人物の一次検知を行い、
前記一次検知された画像とは別の画像を前記他の撮像装置から取得し、
前記取得した別の画像から一次検知人物と同一の人物をその撮影角度とともに検出し、照合を行い、
前記一次検知された結果を含む一連の照合による一致度と撮影角度を用いて、特定人物の統合判定を行う
特定人物検知システム。 - 請求項7において、
前記別の画像は一次検知された撮像装置とは別の撮像装置による同時刻画像である
特定人物検知システム。 - 請求項6において、
前記検知装置は、
特定人物の一覧を保管し、
撮影画像中から任意の登場人物を検出し、
特定人物の一覧と登場人物との特徴照合から一致度を求め、特定人物検知を行う
特定人物検知システム。 - 請求項6において、
検知装置は、さらに、一次検知された撮像装置に近接する撮像装置を求め、
前記別の画像は一次検知された撮影画像をキーに類似画像検索を行い、時間近傍、地点近傍の条件下で、同一の人物の登場する画像である
特定人物検知システム。 - 請求項10において、
さらに、検索装置を備え、
前記検索装置は前記別の画像を検索する特定人物検知システム。 - 請求項10において、
前記検知装置は、
特定人物の一覧を保管し、
撮影画像中から任意の登場人物を検出し、
特定人物の一覧と登場人物との特徴照合から一致度を求め、特定人物検知を行う
特定人物検知システム。 - 特定人物記録部に特定人物を記録し、
画像データから抽出した特徴量に最も類似した人物を前記特定人物記録部から取得し、
他の画像データから抽出した特徴量と当該人物との類似度を算出し、
類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する
特定人物検知方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/759,531 US10657365B2 (en) | 2015-09-14 | 2015-09-14 | Specific person detection system and specific person detection method |
JP2017540351A JP6503079B2 (ja) | 2015-09-14 | 2015-09-14 | 特定人物検知システム、特定人物検知方法および検知装置 |
EP15904027.8A EP3355269B1 (en) | 2015-09-14 | 2015-09-14 | Specific person detection system and specific person detection method |
PCT/JP2015/075978 WO2017046838A1 (ja) | 2015-09-14 | 2015-09-14 | 特定人物検知システムおよび特定人物検知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/075978 WO2017046838A1 (ja) | 2015-09-14 | 2015-09-14 | 特定人物検知システムおよび特定人物検知方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017046838A1 true WO2017046838A1 (ja) | 2017-03-23 |
Family
ID=58288275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/075978 WO2017046838A1 (ja) | 2015-09-14 | 2015-09-14 | 特定人物検知システムおよび特定人物検知方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10657365B2 (ja) |
EP (1) | EP3355269B1 (ja) |
JP (1) | JP6503079B2 (ja) |
WO (1) | WO2017046838A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273833A (zh) * | 2017-06-06 | 2017-10-20 | 深圳市至壹科技开发有限公司 | 用于监测流动人口的方法及其系统 |
JPWO2018173948A1 (ja) * | 2017-03-24 | 2020-01-16 | 株式会社日立国際電気 | サービス提供システム |
WO2020100664A1 (ja) * | 2018-11-13 | 2020-05-22 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2023281559A1 (ja) * | 2021-07-05 | 2023-01-12 | 三菱電機株式会社 | 人物同定装置、及び人物同定方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112019789B (zh) * | 2019-05-31 | 2022-05-31 | 杭州海康威视数字技术股份有限公司 | 录像回放方法及装置 |
CN113160508B (zh) * | 2021-02-28 | 2022-06-21 | 宁波工程学院 | 一种基于人工智能的房车夜间安防系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146413A (ja) * | 2004-11-17 | 2006-06-08 | Mitsubishi Electric Corp | 対象追従装置 |
JP2011215896A (ja) * | 2010-03-31 | 2011-10-27 | Secom Co Ltd | 顔画像照合装置 |
JP2014048722A (ja) * | 2012-08-29 | 2014-03-17 | Ntt Docomo Inc | 画像分類装置、画像分類方法 |
JP2014128003A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 画像認識装置、その制御方法及びプログラム |
WO2014132841A1 (ja) * | 2013-02-28 | 2014-09-04 | 株式会社日立国際電気 | 人物検索方法及びホーム滞留人物検索装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7421097B2 (en) * | 2003-05-27 | 2008-09-02 | Honeywell International Inc. | Face identification verification using 3 dimensional modeling |
JP5227911B2 (ja) * | 2009-07-22 | 2013-07-03 | 株式会社日立国際電気 | 監視映像検索装置及び監視システム |
JP5434708B2 (ja) * | 2010-03-15 | 2014-03-05 | オムロン株式会社 | 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法 |
JP5730518B2 (ja) * | 2010-08-27 | 2015-06-10 | 株式会社日立国際電気 | 特定人物検知システムおよび特定人物検知方法 |
JP4893855B1 (ja) * | 2010-12-21 | 2012-03-07 | オムロン株式会社 | 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法 |
JP5768265B2 (ja) | 2012-05-24 | 2015-08-26 | 株式会社日立国際電気 | 類似画像検索システム |
EP2704052A1 (en) * | 2012-08-28 | 2014-03-05 | Solink Corporation | Transaction verification system |
JP2014106816A (ja) | 2012-11-28 | 2014-06-09 | Glory Ltd | 入退管理装置及び入退管理方法 |
JP6410450B2 (ja) * | 2014-03-31 | 2018-10-24 | キヤノン株式会社 | オブジェクト識別装置、オブジェクト識別方法及びプログラム |
-
2015
- 2015-09-14 JP JP2017540351A patent/JP6503079B2/ja active Active
- 2015-09-14 WO PCT/JP2015/075978 patent/WO2017046838A1/ja active Application Filing
- 2015-09-14 EP EP15904027.8A patent/EP3355269B1/en active Active
- 2015-09-14 US US15/759,531 patent/US10657365B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146413A (ja) * | 2004-11-17 | 2006-06-08 | Mitsubishi Electric Corp | 対象追従装置 |
JP2011215896A (ja) * | 2010-03-31 | 2011-10-27 | Secom Co Ltd | 顔画像照合装置 |
JP2014048722A (ja) * | 2012-08-29 | 2014-03-17 | Ntt Docomo Inc | 画像分類装置、画像分類方法 |
JP2014128003A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 画像認識装置、その制御方法及びプログラム |
WO2014132841A1 (ja) * | 2013-02-28 | 2014-09-04 | 株式会社日立国際電気 | 人物検索方法及びホーム滞留人物検索装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3355269A4 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018173948A1 (ja) * | 2017-03-24 | 2020-01-16 | 株式会社日立国際電気 | サービス提供システム |
JP7026105B2 (ja) | 2017-03-24 | 2022-02-25 | 株式会社日立国際電気 | サービス提供システム |
CN107273833A (zh) * | 2017-06-06 | 2017-10-20 | 深圳市至壹科技开发有限公司 | 用于监测流动人口的方法及其系统 |
CN107273833B (zh) * | 2017-06-06 | 2020-10-09 | 深圳市至壹科技开发有限公司 | 用于监测流动人口的方法及其系统 |
WO2020100664A1 (ja) * | 2018-11-13 | 2020-05-22 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JPWO2020100664A1 (ja) * | 2018-11-13 | 2021-09-30 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP7248037B2 (ja) | 2018-11-13 | 2023-03-29 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2023281559A1 (ja) * | 2021-07-05 | 2023-01-12 | 三菱電機株式会社 | 人物同定装置、及び人物同定方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017046838A1 (ja) | 2018-06-28 |
US10657365B2 (en) | 2020-05-19 |
EP3355269B1 (en) | 2023-08-02 |
EP3355269A4 (en) | 2019-05-08 |
JP6503079B2 (ja) | 2019-04-17 |
US20190147236A1 (en) | 2019-05-16 |
EP3355269A1 (en) | 2018-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017046838A1 (ja) | 特定人物検知システムおよび特定人物検知方法 | |
JP5567853B2 (ja) | 画像認識装置および方法 | |
US9141184B2 (en) | Person detection system | |
CN110428449B (zh) | 目标检测跟踪方法、装置、设备及存储介质 | |
KR101337060B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP6428266B2 (ja) | 色補正装置、色補正方法および色補正用プログラム | |
JP6172551B1 (ja) | 画像検索装置、画像検索システム及び画像検索方法 | |
CN107545256B (zh) | 一种结合时空和网络一致性的摄像机网络行人重识别方法 | |
CN110796074B (zh) | 一种基于时空数据融合的行人再识别方法 | |
JP2018148399A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2008219570A (ja) | カメラ間連結関係情報生成装置 | |
JP6789421B2 (ja) | 情報処理装置、追跡方法、及び追跡プログラム | |
JP2010140425A (ja) | 画像処理システム | |
CN112541403A (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
JP5865584B2 (ja) | 特定人物検知システムおよび検知方法 | |
JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11227007B2 (en) | System, method, and computer-readable medium for managing image | |
US20230259549A1 (en) | Extraction of feature point of object from image and image search system and method using same | |
JP7102383B2 (ja) | 路面画像管理システム及びその路面画像管理方法 | |
US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
TWI730795B (zh) | 多目標人體體溫追蹤方法及系統 | |
JP2021012631A (ja) | 映像処理システム、情報処理装置、情報処理方法及びプログラム | |
JP2021022783A (ja) | 制御装置、追尾システム、制御方法、及びプログラム | |
JP2018195872A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP6923011B2 (ja) | 移動時間記憶システム、移動時間記憶方法および移動時間記憶プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15904027 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017540351 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2015904027 Country of ref document: EP |