WO2023281559A1 - 人物同定装置、及び人物同定方法 - Google Patents

人物同定装置、及び人物同定方法 Download PDF

Info

Publication number
WO2023281559A1
WO2023281559A1 PCT/JP2021/025259 JP2021025259W WO2023281559A1 WO 2023281559 A1 WO2023281559 A1 WO 2023281559A1 JP 2021025259 W JP2021025259 W JP 2021025259W WO 2023281559 A1 WO2023281559 A1 WO 2023281559A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
unit
feature amount
image
area
Prior art date
Application number
PCT/JP2021/025259
Other languages
English (en)
French (fr)
Inventor
祐貴 大西
庭育 李
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/025259 priority Critical patent/WO2023281559A1/ja
Publication of WO2023281559A1 publication Critical patent/WO2023281559A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a person identification device.
  • Non-Patent Document 1 describes a technique for determining whether or not a person appearing in each moving image captured by a plurality of cameras with non-overlapping fields of view is the same person.
  • a plurality of consecutive frames are extracted from the current frame and the previous frame of each moving image, the extracted human feature amount of a person is extracted for each moving image using the extracted plurality of frames, and the extracted human feature amount is obtained for each moving image.
  • the identity of a person is determined by comparing the .
  • Non-Patent Document 1 With the technique of Non-Patent Document 1, the direction of a person observed in temporally continuous frames tends to be biased in one direction, so that only a limited aspect of the person can be extracted. Therefore, for example, if the orientation of a person in each image taken by a plurality of cameras is different, the person feature amounts of different sides of the person will be compared, and the determination accuracy of determining the identity of the person will decrease. There is a problem that The present disclosure has been made to solve the above-described problems, and provides a technology that prevents a decrease in accuracy of person identity determination due to the orientation of a person in an image.
  • a person identification device is a person identification device that determines whether or not a person reflected in images captured by a plurality of cameras is the same person, and detects a person based on images taken by each camera.
  • a person detection unit that divides an area surrounding the person detected by the person detection unit into each image; The person detected by the person detection unit for each image is the same by comparing the area feature amount extraction unit that extracts the feature amount for each image with the partial person feature amount extracted for each image by the area feature amount extraction unit.
  • the area feature amount extraction unit a person feature amount integration unit that integrates partial person feature amounts extracted for each image.
  • FIG. 1 is a block diagram showing the configuration of a person identification system according to Embodiment 1;
  • FIG. 4 is a flow chart showing a person identification method by the person identification device according to Embodiment 1;
  • FIG. 4 is a diagram showing a dividing method by a region dividing unit according to Embodiment 1;
  • FIG. 4 is a diagram showing a method of extracting a person feature quantity by an area feature quantity extraction unit according to Embodiment 1;
  • 4 is a flowchart showing a person search method by the person identification device according to Embodiment 1;
  • 6A is a block diagram showing a hardware configuration that implements the functions of the person identification device according to Embodiment 1.
  • FIG. 6B is a block diagram showing a hardware configuration for executing software realizing functions of the person identification device according to Embodiment 1.
  • FIG. 1 is a block diagram showing the configuration of a person identification system 110 according to Embodiment 1.
  • the person identification system 110 includes a person identification device 1 , a surveillance camera 2 , an image recording device 3 and a surveillance terminal 4 .
  • the person identification device 1 includes a person feature amount generation unit 10, an image reading unit 11, a person detection unit 12, a person feature amount extraction unit 13, a storage unit 14, a person feature reading unit 15, and a person feature amount comparison unit 16.
  • the person feature amount generation unit 10 includes a people counting unit 101 , an area division unit 102 , an area feature amount extraction unit 103 , an area feature amount comparison unit 104 , and a person feature amount integration unit 105 .
  • the surveillance camera 2 acquires an image by photographing a person.
  • An image here means a still image, a moving image, or a video.
  • the surveillance camera 2 outputs the acquired image to the image recording device 3 and the person identification device 1 .
  • the person identification system 110 is provided with a plurality of surveillance cameras 2, and the plurality of surveillance cameras 2 record acquired images respectively. Assume that the data is output to the person identification device 1 . Also, in Embodiment 1, the fields of view of the plurality of monitoring cameras 2 are assumed to overlap. In Embodiment 1, the configuration using the monitoring camera 2 will be described, but instead of the monitoring camera 2, another type of camera having the same functions as the monitoring camera 2 may be used.
  • the image recording device 3 records images acquired by the plurality of surveillance cameras 2 .
  • the image recording device 3 outputs the recorded image to the person identification device 1 and the monitoring terminal 4 .
  • the monitoring terminal 4 receives from the user a designation of a specific person appearing in the image. For example, the user refers to the image and designates the specific person to the monitoring terminal 4 .
  • the monitoring terminal 4 requests the person identification device 1 to perform the person identification process based on the designation of the person by the user.
  • the monitoring terminal 4 displays the result of the person identification processing by the person identification device 1 as an image.
  • the person identification device 1 acquires images captured by the plurality of monitoring cameras 2 from the plurality of monitoring cameras 2 or the image recording device 3 .
  • the person identification apparatus 1 detects a person for each acquired image, executes a person feature amount extraction process for each image, and stores the extracted person feature amount in the person feature amount database of the storage unit 14. store in The details of the person feature quantity extraction process will be described later.
  • the person identification device 1 extracts the first person feature amount extracted from the image showing the person specified by the user from the person feature amount database of the storage unit 14 based on the person identification processing instruction from the monitoring terminal 4. , and an arbitrary second person feature amount.
  • the person identification device 1 compares the read first person feature amount and the second person feature amount to search for an image showing the same person as the person specified by the user, and finds images corresponding to the same person. present a person who
  • the image reading unit 11 reads an image captured by each of the plurality of monitoring cameras 2 or an image of each monitoring camera 2 recorded in the image recording device 3 , and outputs the read image of each monitoring camera 2 to the person detection unit 12 . do.
  • the person detection unit 12 detects a person based on the image of each surveillance camera 2. More specifically, in Embodiment 1, the person detection unit 12 detects a person based on the image of each surveillance camera 2 read by the image reading unit 11 . For example, the person detection unit 12 learns to detect a person from each image by machine learning using a CNN (Convolutional Neural Network). In the first embodiment, the person detection unit 12 detects a person based on each image, and extracts a person feature amount using position information of a rectangle surrounding the detected person and RGB information of the person image included in the rectangle. Output to the unit 13 .
  • CNN Convolutional Neural Network
  • the person feature quantity extraction unit 13 extracts the person feature quantity of the person detected by the person detection unit 12 for each image. More specifically, in Embodiment 1, the person feature amount is extracted for each image based on the position information and the RGB information output by the person detection unit 12 . For example, the person feature quantity extraction unit 13 learns to extract a person feature quantity by machine learning technology using CNN. The person feature amount extraction unit 13 outputs the extracted person feature amount to the person feature amount generation unit 10 .
  • a person feature amount generation unit 10 generates an integrated person feature amount. More specifically, in Embodiment 1, the human feature amount generation unit 10 receives as input the position information and RGB information output by the human detection unit 12 and the human feature amount extracted by the human feature amount extraction unit 13, and integrates them. Generate a person feature amount that has been processed. The people counting unit 101 of the person feature amount generating unit 10 counts the number of people detected by the person detecting unit 12 for each image.
  • the area division unit 102 of the person feature amount generation unit 10 divides the area surrounding the person detected by the person detection unit 12 for each image. More specifically, in the first embodiment, the area division unit 102 divides the rectangular area surrounding the person detected by the person detection unit 12 for each image. More specifically, in the first embodiment, the area division unit 102 divides the area surrounding the person detected by the person detection unit 12 into a plurality of horizontally aligned areas for each image.
  • the region dividing unit 102 determines whether or not the fields of view of the plurality of monitoring cameras 2 overlap, and determines whether the fields of view of the plurality of monitoring cameras 2 overlap. If determined, the area surrounding the person detected by the person detection unit 12 is divided for each image.
  • the region dividing unit 102 divides each image into a rectangular region surrounding the person detected by the person detecting unit 12 as follows: The image is divided into a predetermined number of regions aligned in the horizontal direction, and the position information of each divided region is calculated for each image. Region dividing section 102 outputs the calculated position information to region feature quantity extracting section 103 .
  • the area feature amount extraction unit 103 of the person feature amount generation unit 10 extracts a partial person feature amount of the person detected by the person detection unit 12 based on the area divided by the area division unit 102 for each image. More specifically, in the first embodiment, the area feature amount extraction unit 103 extracts a partial person feature amount of the person detected by the person detection unit 12 for each image based on the position information output by the area division unit 102. Extract to The area feature amount extraction unit 103 outputs the extracted partial person feature amount to the area feature amount comparison unit 104 .
  • the area feature amount comparison unit 104 of the person feature amount generation unit 10 compares the partial person feature amount extracted for each image by the area feature amount extraction unit 103, thereby determining the person detected by the person detection unit 12 for each image. are the same person. More specifically, in Embodiment 1, the region feature amount comparison unit 104 further compares the person feature amounts extracted by the person feature amount extraction unit 13 for each image, thereby allowing the person detection unit 12 to detect the person for each image. It is determined whether or not the person who has done so is the same person. The area feature quantity comparison unit 104 outputs the determination result to the person feature quantity integration unit 105 .
  • the person feature amount integration unit 105 of the person feature amount generation unit 10 performs the area feature amount extraction unit 103 integrates the partial person feature amounts extracted for each image. More specifically, in the first embodiment, when the region feature amount comparison unit 104 determines that the person detected by the person detection unit 12 for each image is the same person, the person feature amount integration unit 105 The person feature amount extracted for each image by the feature amount extraction unit 13 is further integrated. The person feature amount integration unit 105 stores the integrated person feature amounts in the person feature amount database of the storage unit 14 for each person.
  • the storage unit 14 stores the person feature amount integrated by the person feature amount integration unit 105 . More specifically, the storage unit 14 stores the human feature amount integrated by the human feature amount integration unit 105 in the human feature amount database. Examples of the storage unit 14 include non-volatile or volatile semiconductor memories such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically-EPROM), Or a hard disk etc. are mentioned.
  • the person feature reading unit 15 reads the person feature amount stored in the storage unit 14 and outputs the read person feature amount to the person feature amount comparing unit 16 .
  • the person feature amount comparison unit 16 searches for the same person as the person specified by the user by comparing the person feature amounts stored in the storage unit 14 . More specifically, the person feature amount comparison unit 16 searches for the same person as the person specified by the user using the monitoring terminal 4 by comparing the person feature amounts stored in the storage unit 14 .
  • the monitoring terminal 4 outputs the search result obtained by the person feature amount comparison unit 16 as an image.
  • FIG. 2 is a flow chart showing the person identification method by the person identification device 1 according to the first embodiment. Note that, before the following steps are executed, the plurality of monitoring cameras 2 obtain images by photographing persons, and output the obtained images to the image recording device 3 and the person identification device 1. and
  • the image reading unit 11 reads an image captured by each of the plurality of monitoring cameras 2 or an image recorded by each monitoring camera 2 in the image recording device 3 (step ST1).
  • the image reading unit 11 outputs the read image of each surveillance camera 2 to the person detection unit 12 .
  • Examples of the metadata of the image that the image reading unit 11 outputs to the person detecting unit 12 include the monitoring camera number, presence or absence of overlap in the field of view of the monitoring camera 2, shooting time, RGB information of the image, and the like.
  • the person detection unit 12 detects a person in each image based on the RGB information of the image read by the image reading unit 11 (step ST2).
  • the person detection unit 12 outputs position information of the detected person and RGB information included in a rectangular area surrounding the detected person to the person feature amount extraction unit 13 as a person detection result.
  • the person feature quantity extraction unit 13 extracts the person feature quantity for each image based on the RGB information output by the person detection unit 12 (step ST3).
  • the person feature amount extraction unit 13 outputs the extracted person feature amount to the person feature amount generation unit 10 .
  • the area division unit 102 determines whether or not the fields of view of the plurality of surveillance cameras 2 overlap (step ST4). When the area division unit 102 determines that the fields of view of the plurality of monitoring cameras 2 overlap (YES in step ST4), the person identification device 1 proceeds to the process of step ST5. When the area division unit 102 determines that the fields of view of the plurality of surveillance cameras 2 do not overlap (NO in step ST4), the person identification device 1 proceeds to the process of step ST11.
  • step ST5 the people counting unit 101 counts the number of persons detected by the person detecting unit 12 for each image.
  • the people counting unit 101 outputs the counted number of people to the region dividing unit 102 .
  • the region dividing unit 102 determines whether or not the number of people counted by the people counting unit 101 is plural (step ST6).
  • step ST6 determines that the number of people counted by the people counting unit 101 is plural (YES in step ST6)
  • the person identification device 1 proceeds to the process of step ST7.
  • the region dividing unit 102 determines that the number of people counted by the people counting unit 101 is not plural (NO in step ST6)
  • the person identification device 1 proceeds to the process of step ST10.
  • step ST7 the area dividing unit 102 divides the area surrounding the person detected by the person detecting unit 12 into a plurality of horizontally aligned areas for each image.
  • Region dividing section 102 outputs the position information of each divided region to region feature quantity extracting section 103 .
  • FIG. 3 is a diagram showing a dividing method by the region dividing unit 102. As shown in FIG. As shown in FIG. 3, the area dividing unit 102 divides a rectangular area surrounding a person into a plurality of horizontally aligned areas using vertical lines.
  • the area feature amount extraction unit 103 extracts a partial person feature amount of the person detected by the person detection unit 12 from each area divided by the area division unit 102 (step ST8).
  • the region feature quantity extraction unit 103 outputs the extracted person feature quantity to the region feature quantity comparison unit 104 .
  • FIG. 4 is a diagram showing a method of extracting a person feature quantity by the area feature quantity extraction unit 103. As shown in FIG. As shown in FIG. 4, the area feature amount extraction unit 103 extracts a partial person feature amount for each area divided by the area division unit 102 .
  • the region feature quantity comparison unit 104 compares the partial human feature quantity extracted for each image by the region feature quantity extraction unit 103, and further compares the human feature quantity extracted for each image by the person feature quantity extraction unit 13. Then, it is determined whether or not the person detected by the person detection unit 12 for each image is the same person (step ST9).
  • the region feature amount comparison unit 104 determines that the person detected by the person detection unit 12 for each image is the same person.
  • the person feature amount integration unit 105 combines the person feature amount extracted for each image by the person feature amount extraction unit 13 with respect to the person determined to be the same person by the area feature amount comparison unit 104 and the area feature amount extraction unit 103 integrates the partial person feature amounts extracted for each image (step ST10).
  • the person feature quantity integration unit 105 outputs the integrated person feature quantity to the storage unit 14 .
  • the human feature amount integration unit 105 outputs the human feature amount extracted for each image by the human feature amount extraction unit 13 in step ST3 to the storage unit 14 as it is. .
  • the storage unit 14 registers the person feature amount integrated by the person feature amount integration unit 105 in the person feature amount database (step ST11).
  • step ST4 the configuration for determining whether or not the fields of view of the plurality of surveillance cameras 2 overlap in step ST4 was described, but the person identification device 1 Step ST4 may not be performed.
  • the person identification device 1 Step ST4 may not be performed.
  • FIG. 5 is a flow chart showing a person search method by the person identification device 1 according to the first embodiment.
  • the person identification device 1 receives a request for person identification processing for a person specified by the user from the monitoring terminal 4 (step ST12).
  • a person to be subjected to the person identification process by the person identification apparatus 1 may be a person registered in the person feature amount database of the storage unit 14, and the method of requesting the person identification process by the monitoring terminal 4 is not particularly limited.
  • the monitoring terminal 4 designates the person to be subjected to the person identification process to the person identification device 1 based on the ID of the surveillance camera 2, the shooting time, and the person's position.
  • the monitoring terminal 4 may specify to the person identification device 1 a search range of an image for searching for a person to be subjected to person identification processing.
  • the person feature reading unit 15 reads the person feature amount of the person corresponding to the person specified by the monitoring terminal 4 from the storage unit 14 (step ST13).
  • the person feature reading unit 15 reads the person feature amount from the storage unit 14 based on the search range specified by the monitoring terminal 4 .
  • the person feature amount comparison unit 16 compares the person feature amount read by the person feature reading unit 15 with another person feature amount stored in the storage unit 14, thereby identifying the same person as the person specified by the user. Search (step ST14). It should be noted that the other person feature amounts here are obtained by trials different from the above-described trials of the processes from step ST1 to step ST11 performed to obtain the person feature amounts read by the person feature reading unit 15. It means a person feature amount.
  • the person feature amount comparison unit 16 outputs to the monitoring terminal 4 the position information of the person corresponding to the person feature amount similar to the person feature amount read by the person feature reading unit 15 .
  • the monitoring terminal 4 displays an image showing the person specified by the user, based on the position information output by the person feature amount comparison unit 16 .
  • the person feature amount generation unit 10 (the number counting unit 101, the area division unit 102, the area feature amount extraction unit 103, the area feature amount comparison unit 104, and the person feature amount integration unit 105), the image reading unit 11,
  • Each function of the person detection unit 12, the person feature amount extraction unit 13, the person feature reading unit 15, and the person feature amount comparison unit 16 is realized by a processing circuit. That is, the person identification device 1 includes a processing circuit for executing the processing of each step shown in FIGS. 2 and 5.
  • FIG. This processing circuit may be dedicated hardware, or may be a CPU (Central Processing Unit) that executes a program stored in memory.
  • CPU Central Processing Unit
  • FIG. 6A is a block diagram showing the hardware configuration that implements the functions of the person identification device 1.
  • FIG. 6B is a block diagram showing a hardware configuration for executing software realizing the functions of the person identification device 1. As shown in FIG.
  • processing circuit is the dedicated hardware processing circuit 111 shown in FIG. Circuit), FPGA (Field-Programmable Gate Array), or a combination thereof.
  • the person feature amount generation unit 10 (the number counting unit 101, the area division unit 102, the area feature amount extraction unit 103, the area feature amount comparison unit 104, and the person feature amount integration unit 105), the image reading unit 11,
  • the functions of the person detection unit 12, the person feature amount extraction unit 13, the person feature reading unit 15, and the person feature amount comparison unit 16 may be realized by separate processing circuits, or these functions may be integrated into one processing circuit. can be realized with
  • image reading unit 11 When the above processing circuit is the processor 112 shown in FIG. and human feature amount integrating unit 105), image reading unit 11, person detecting unit 12, human feature amount extracting unit 13, human feature reading unit 15, and human feature amount comparing unit 16) are implemented by software, firmware, or software and firmware. realized by a combination of Software or firmware is written as a program and stored in the memory 72 .
  • the processor 112 reads out and executes a program stored in the memory 113 to generate the person feature amount generation unit 10 (the people counting unit 101, the area division unit 102, the area feature amount extraction unit 103, the area The functions of the feature amount comparison unit 104 and the person feature amount integration unit 105), the image reading unit 11, the person detection unit 12, the person feature amount extraction unit 13, the person feature reading unit 15, and the person feature amount comparison unit 16 are realized. That is, the person identification device 1 has a memory 113 for storing a program that results in executing the processing of each step shown in FIGS. 2 and 5 when these functions are executed by the processor 112. Prepare.
  • These programs are the person feature amount generation unit 10 (the number counting unit 101, the area division unit 102, the area feature amount extraction unit 103, the area feature amount comparison unit 104, and the person feature amount integration unit 105) in the person identification device 1,
  • Each procedure or method of the image reading unit 11, the person detection unit 12, the person feature amount extraction unit 13, the person feature reading unit 15, and the person feature amount comparison unit 16 is executed by a computer.
  • the memory 113 stores the computer in the person identification apparatus 1 as the person feature amount generation unit 10 (the number counting unit 101, the area division unit 102, the area feature amount extraction unit 103, the area feature amount comparison unit 104, and the person feature amount integration unit 105). ), the image reading unit 11, the person detection unit 12, the person feature amount extraction unit 13, the person feature reading unit 15, and the person feature amount comparison unit 16. .
  • the processor 112 corresponds to, for example, a CPU (Central Processing Unit), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • a CPU Central Processing Unit
  • a processing device for example, a CPU (Central Processing Unit), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • DSP Digital Signal Processor
  • the memory 113 includes, for example, non-volatile or volatile semiconductor memories such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically-EPROM), Magnetic discs such as hard disks and flexible discs, flexible discs, optical discs, compact discs, mini discs, DVDs (Digital Versatile Discs) and the like are applicable.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory)
  • EEPROM Electrically-EPROM
  • Magnetic discs such as hard disks and flexible discs, flexible discs, optical discs, compact discs, mini discs, DVDs (Digital Versatile Discs) and the like are applicable.
  • the person feature amount generation unit 10 (the number counting unit 101, the area division unit 102, the area feature amount extraction unit 103, the area feature amount comparison unit 104, and the person feature amount integration unit 105), the image reading unit 11,
  • the person detection unit 12 the person feature amount extraction unit 13, the person feature reading unit 15, and the person feature amount comparison unit 16 may be implemented by dedicated hardware, and some may be implemented by software or firmware. good.
  • the functions of the person feature amount generation unit 10 are implemented as dedicated hardware.
  • a function is realized by a processing circuit.
  • the image reading unit 11, the person detecting unit 12, the person feature amount extracting unit 13, the person feature reading unit 15, and the person feature amount comparing unit 16 function when the processor 112 reads and executes programs stored in the memory 113. may be realized.
  • the processing circuitry may implement each of the above functions in hardware, software, firmware, or a combination thereof.
  • the person identification device 1 is a person identification device 1 that determines whether or not the persons appearing in the images captured by the plurality of monitoring cameras 2 are the same person. Based on the image of each camera, a person detection unit 12 that detects a person, an area division unit 102 that divides an area surrounding the person detected by the person detection unit 12 for each image, and the area divided by the area division unit 102 Based on this, a region feature amount extraction unit 103 extracts a partial person feature amount of a person detected by the person detection unit 12 for each image, and a partial person feature amount extracted for each image by the area feature amount extraction unit 103.
  • the person detection unit 12 determines whether or not the person detected by the person detection unit 12 for each image is the same person by comparing a person feature amount integration unit 105 for integrating partial person feature amounts extracted for each image by the area feature amount extraction unit 103 when it is determined that the person detected in each image is the same person.
  • the conventional technology calculates position information or outline shape information of the person. Therefore, it is necessary to perform camera calibration for calibrating different fields of view for each monitoring camera 2 .
  • the person identification device 1 according to Embodiment 1 it is possible to determine the identity of a person by comparing partial person feature amounts without performing camera calibration. is.
  • the person captured in each image captured by the plurality of surveillance cameras 2 may be the same person. Even in a situation where the orientation of the person is different, the above configuration of the person identification device 1 according to the first embodiment can determine the identity of the person by comparing partial person feature amounts. is possible.
  • the region division unit 102 of the person identification device 1 divides the region surrounding the person detected by the person detection unit 12 into a plurality of horizontally aligned regions for each image. According to the above configuration, even in a situation where the orientation of the person in each image captured by the plurality of surveillance cameras 2 is different, the partial image extracted from at least one of the plurality of horizontally aligned regions It is possible to determine the identity of a person by comparing such person feature amounts.
  • Embodiment 1 a configuration has been described in which the area dividing unit 102 divides the area surrounding the person detected by the person detecting unit 12 into a plurality of horizontally aligned areas.
  • the division method by is not limited to this configuration.
  • the division of the regions by the region division unit 102 is sufficient to obtain similar partial human feature amounts between the images, and the division method is not particularly limited.
  • the person identification device can prevent a decrease in the accuracy of determination of person identity due to the orientation of the person in the image, it is possible to detect whether the person in each image captured by a plurality of cameras is the same person. It can be used for a technique for determining whether or not there is.
  • Person identification device 1 Person identification device, 2 Surveillance camera, 3 Image recording device, 4 Monitoring terminal, 10 Person feature amount generation unit, 11 Image reading unit, 12 Person detection unit, 13 Person feature amount extraction unit, 14 Storage unit, 15 Person feature reading Section 16 Person feature amount comparison section 101 People counting section 102 Area division section 103 Area feature amount extraction section 104 Area feature amount comparison section 105 Person feature amount integration section 110 Person identification system 111 Processing circuit 112 Processor, 113 memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

人物同定装置（１）は、人物検出部（１２）が検出した人物を囲う領域を画像毎に分割する領域分割部（１０２）と、領域分割部（１０２）が分割した領域に基づいて、人物検出部（１２）が検出した人物の部分的な人物特徴量を画像毎に抽出する領域特徴量抽出部（１０３）と、領域特徴量抽出部（１０３）が画像毎に抽出した部分的な人物特徴量を比較することにより、人物検出部（１２）が画像毎に検出した人物が同一人物であるか否かを判定する領域特徴量比較部（１０４）と、を備えている。

Description

人物同定装置、及び人物同定方法
　本開示は、人物同定装置に関する。
　従来、複数のカメラが撮影した各動画に映った人物が同一人物であるか否かを判定することにより、例えば、人物の移動経路の自動取得、又は不審者の追跡等を行う人物同定技術が提案されている。
　非特許文献１には、視野が重複していない複数のカメラが撮影した各動画に映った人物が同一人物であるか否かを判定する技術が記載されている。当該技術では、当該各動画の現フレーム及び前フレームから連続する複数のフレームを抜き出し、抜き出した複数のフレームを用いて人物の人物特徴量を動画毎に抽出し、動画毎に抽出した人物特徴量を比較することにより、人物の同一性を判定する。
Jones, M.J., Rambhatla, S., "Body Part Alignment and Temporal Attention for Video-Based Person Re-Identification", British Machine Vision Conference (BMVC), September 2019.
　非特許文献１の技術では、時間的に連続したフレームの中で観測される人物の向きは、一方向に偏りやすいため、人物の限られた側面の人物特徴量しか抽出できない。よって、例えば、複数のカメラが撮影した各画像に映った人物の向きが異なる場合には、人物の異なる側面の人物特徴量を比較することになり、人物の同一性を判定する判定精度が低下してしまうという問題がある。
　本開示は、上記のような問題点を解決するためになされたものであり、画像に映った人物の向きに起因した人物同一性の判定精度の低下を防ぐ技術を提供する。
　本開示に係る人物同定装置は、複数のカメラがそれぞれ撮影した画像に映った人物が同一人物であるか否かを判定する人物同定装置であって、カメラ毎の画像に基づいて、人物を検出する人物検出部と、人物検出部が検出した人物を囲う領域を画像毎に分割する領域分割部と、領域分割部が分割した領域に基づいて、人物検出部が検出した人物の部分的な人物特徴量を画像毎に抽出する領域特徴量抽出部と、領域特徴量抽出部が画像毎に抽出した部分的な人物特徴量を比較することにより、人物検出部が画像毎に検出した人物が同一人物であるか否かを判定する領域特徴量比較部と、領域特徴量比較部によって、人物検出部が画像毎に検出した人物が同一人物であると判定された場合、領域特徴量抽出部が画像毎に抽出した部分的な人物特徴量を統合する人物特徴量統合部と、を備えている。
　本開示によれば、画像に映った人物の向きに起因した人物同一性の判定精度の低下を防ぐことができる。
実施の形態１に係る人物同定システムの構成を示すブロック図である。 実施の形態１に係る人物同定装置による人物同定方法を示すフローチャートである。 実施の形態１に係る領域分割部による分割方法を示す図である。 実施の形態１に係る領域特徴量抽出部による人物特徴量抽出方法を示す図である。 実施の形態１に係る人物同定装置による人物検索方法を示すフローチャートである。 図６Ａは、実施の形態１に係る人物同定装置の機能を実現するハードウェア構成を示すブロック図である。図６Ｂは、実施の形態１に係る人物同定装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
　以下、本開示をより詳細に説明するため、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る人物同定システム１１０の構成を示すブロック図である。図１が示すように、人物同定システム１１０は、人物同定装置１、監視カメラ２、画像記録装置３、及び監視端末４を備えている。人物同定装置１は、人物特徴量生成部１０、画像読込部１１、人物検出部１２、人物特徴量抽出部１３、記憶部１４、人物特徴読込部１５、及び人物特徴量比較部１６を備えている。人物特徴量生成部１０は、人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４、及び人物特徴量統合部１０５を備えている。
　監視カメラ２は、人物を撮影することにより画像を取得する。ここにおける画像は、静止画像、動画像、又は映像を意味する。監視カメラ２は、取得した画像を画像記録装置３及び人物同定装置１に出力する。
　なお、図１では、１台の監視カメラ２のみを示すが、人物同定システム１１０は、複数の監視カメラ２を備え、当該複数の監視カメラ２は、それぞれ、取得した画像を画像記録装置３及び人物同定装置１に出力するものとする。また、実施の形態１では、複数の監視カメラ２の各視野は、重複しているものとする。
　実施の形態１では、監視カメラ２を用いた構成について説明するが、監視カメラ２の代わりに、監視カメラ２の上記の機能と同様の機能を有する別の種類のカメラを用いてもよい。
　画像記録装置３は、複数の監視カメラ２が取得した画像を記録する。画像記録装置３は、記録した画像を人物同定装置１及び監視端末４に出力する。
　監視端末４は、画像に映った特定の人物に対する指定をユーザから受け付ける。例えば、ユーザは、画像を参照して、監視端末４に当該特定の人物を指定する。監視端末４は、ユーザによる人物の指定に基づいて、人物同定装置１に人物同定処理を要求する。また、監視端末４は、人物同定装置１による人物同定処理の結果を画像で表示する。
　人物同定装置１は、複数の監視カメラ２又は画像記録装置３から、複数の監視カメラ２がそれぞれ撮影した画像を取得する。人物同定装置１は、取得した画像毎に、人物を検出し、検出した人物に対して、人物特徴量抽出処理を画像毎に実行し、抽出した人物特徴量を記憶部１４の人物特徴量データベースに格納する。人物特徴量抽出処理の詳細については後述する。
　人物同定装置１は、監視端末４からの人物同定処理の指示に基づいて、記憶部１４の人物特徴量データベースから、ユーザによって指定された人物が映った画像から抽出された第１の人物特徴量、及び任意の第２の人物特徴量を読み込む。人物同定装置１は、読み込んだ第１の人物特徴量と第２の人物特徴量とを比較することにより、ユーザによって指定された人物と同一の人物が映った画像を検索し、同一人物に該当する人物を提示する。
　以下で、人物同定装置１の構成について、より詳細に説明する。
　画像読込部１１は、複数の監視カメラ２がそれぞれ撮影した画像、又は画像記録装置３に記録された監視カメラ２毎の画像を読込み、読み込んだ監視カメラ２毎の画像を人物検出部１２に出力する。
　人物検出部１２は、監視カメラ２毎の画像に基づいて、人物を検出する。より詳細には、実施の形態１では、人物検出部１２は、画像読込部１１が読み込んだ監視カメラ２毎の画像に基づいて、人物を検出する。例えば、人物検出部１２は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を利用した機械学習により、当該各画像からの人物の検出を学習する。実施の形態１では、人物検出部１２は、当該各画像に基づいて、人物を検出し、検出した人物を囲う矩形の位置情報と、当該矩形に含まれる人物画像のＲＧＢ情報を人物特徴量抽出部１３に出力する。
　人物特徴量抽出部１３は、人物検出部１２が検出した人物の人物特徴量を画像毎に抽出する。より詳細には、実施の形態１では、人物検出部１２が出力した位置情報及びＲＧＢ情報に基づいて、人物特徴量を画像毎に抽出する。例えば、人物特徴量抽出部１３は、ＣＮＮを利用した機械学習技術によって、人物特徴量の抽出を学習する。人物特徴量抽出部１３は、抽出した人物特徴量を人物特徴量生成部１０に出力する。
　人物特徴量生成部１０は、統合された人物特徴量を生成する。より詳細には、実施の形態１では、人物特徴量生成部１０は、人物検出部１２が出力した位置情報及びＲＧＢ情報、及び人物特徴量抽出部１３が抽出した人物特徴量を入力として、統合された人物特徴量を生成する。
　人物特徴量生成部１０の人数計測部１０１は、人物検出部１２が検出した人物の人数を画像毎に計測する。
　人物特徴量生成部１０の領域分割部１０２は、人物検出部１２が検出した人物を囲う領域を画像毎に分割する。より詳細には、実施の形態１では、領域分割部１０２は、人物検出部１２が検出した人物を囲う矩形の領域を画像毎に分割する。さらに詳細には、実施の形態１では、領域分割部１０２は、画像毎に、人物検出部１２が検出した人物を囲う領域を、水平方向に並ぶ複数の領域に分割する。
　さらに詳細には、実施の形態１では、領域分割部１０２は、複数の監視カメラ２の各視野が重複しているか否かを判定し、複数の監視カメラ２の各視野が重複していると判定した場合に、人物検出部１２が検出した人物を囲う領域を画像毎に分割する。
　さらに詳細には、実施の形態１では、領域分割部１０２は、人数計測部１０１が計測した人数が複数の場合に、画像毎に、人物検出部１２が検出した人物を囲う矩形の領域を、水平方向に並ぶ所定の数の領域に分割し、分割した各領域の位置情報を画像毎に算出する。領域分割部１０２は、算出した位置情報を領域特徴量抽出部１０３に出力する。
　人物特徴量生成部１０の領域特徴量抽出部１０３は、領域分割部１０２が分割した領域に基づいて、人物検出部１２が検出した人物の部分的な人物特徴量を画像毎に抽出する。より詳細には、実施の形態１では、領域特徴量抽出部１０３は、領域分割部１０２が出力した位置情報に基づいて、人物検出部１２が検出した人物の部分的な人物特徴量を画像毎に抽出する。領域特徴量抽出部１０３は、抽出した部分的な人物特徴量を領域特徴量比較部１０４に出力する。
　人物特徴量生成部１０の領域特徴量比較部１０４は、領域特徴量抽出部１０３が画像毎に抽出した部分的な人物特徴量を比較することにより、人物検出部１２が画像毎に検出した人物が同一人物であるか否かを判定する。より詳細には、実施の形態１では、領域特徴量比較部１０４は、人物特徴量抽出部１３が画像毎に抽出した人物特徴量をさらに比較することにより、人物検出部１２が画像毎に検出した人物が同一人物であるか否かを判定する。領域特徴量比較部１０４は、判定結果を人物特徴量統合部１０５に出力する。
　人物特徴量生成部１０の人物特徴量統合部１０５は、領域特徴量比較部１０４によって、人物検出部１２が画像毎に検出した人物が同一人物であると判定された場合、領域特徴量抽出部１０３が画像毎に抽出した部分的な人物特徴量を統合する。より詳細には、実施の形態１では、人物特徴量統合部１０５は、領域特徴量比較部１０４によって、人物検出部１２が画像毎に検出した人物が同一人物であると判定された場合、人物特徴量抽出部１３が画像毎に抽出した人物特徴量をさらに統合する。人物特徴量統合部１０５は、統合した人物特徴量を人物毎に記憶部１４の人物特徴量データベースに格納する。
　記憶部１４は、人物特徴量統合部１０５が統合した人物特徴量を記憶する。より詳細には、記憶部１４は、人物特徴量統合部１０５が統合した人物特徴量を人物特徴量データベースに格納する。記憶部１４の例として、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、又はハードディスク等が挙げられる。
　人物特徴読込部１５は、記憶部１４が記憶する人物特徴量を読み込み、読み込んだ人物特徴量を人物特徴量比較部１６に出力する。
　人物特徴量比較部１６は、記憶部１４が記憶する人物特徴量を比較することにより、ユーザによって指定された人物と同一の人物を検索する。より詳細には、人物特徴量比較部１６は、記憶部１４が記憶する人物特徴量を比較することにより、ユーザが監視端末４を用いて指定した人物と同一の人物を検索する。監視端末４は、人物特徴量比較部１６による検索結果を画像として出力する。
　以下で、実施の形態１に係る人物同定装置１の動作について図面を参照して説明する。図２は、実施の形態１に係る人物同定装置１による人物同定方法を示すフローチャートである。なお、以下の各ステップが実行される前に、複数の監視カメラ２は、それぞれ、人物を撮影することにより画像を取得し、取得した画像を画像記録装置３及び人物同定装置１に出力したものとする。
　図２が示すように、画像読込部１１は、複数の監視カメラ２がそれぞれ撮影した画像、又は画像記録装置３に記録された監視カメラ２毎の画像を読込む（ステップＳＴ１）。画像読込部１１は、読み込んだ監視カメラ２毎の画像を人物検出部１２に出力する。画像読込部１１が人物検出部１２に出力する画像のメタデータの例として、監視カメラ番号、監視カメラ２の視野の重複の有無、撮影時間、又は画像のRGB情報等が挙げられる。
　人物検出部１２は、画像読込部１１が読み込んだ画像のＲＧＢ情報に基づいて、画像に映った人物を画像毎に検出する（ステップＳＴ２）。人物検出部１２は、人物検出結果として、検出した人物の位置情報、及び検出した人物を囲む矩形の領域に含まれるＲＧＢ情報を人物特徴量抽出部１３に出力する。
　人物特徴量抽出部１３は、人物検出部１２が出力したＲＧＢ情報に基づいて、人物特徴量を画像毎に抽出する（ステップＳＴ３）。人物特徴量抽出部１３は、抽出した人物特徴量を人物特徴量生成部１０に出力する。
　領域分割部１０２は、複数の監視カメラ２の各視野が重複しているか否かを判定する（ステップＳＴ４）。領域分割部１０２によって、複数の監視カメラ２の各視野が重複していると判定された場合（ステップＳＴ４のＹＥＳ）、人物同定装置１は、ステップＳＴ５の処理に進む。領域分割部１０２によって、複数の監視カメラ２の各視野が重複していないと判定された場合（ステップＳＴ４のＮＯ）、人物同定装置１は、ステップＳＴ１１の処理に進む。
　ステップＳＴ５において、人数計測部１０１は、人物検出部１２が検出した人物の人数を画像毎に計測する。人数計測部１０１は、計測した人数を領域分割部１０２に出力する。
　領域分割部１０２は、人数計測部１０１が計測した人数が複数であるか否かを判定する（ステップＳＴ６）。
　領域分割部１０２によって、人数計測部１０１が計測した人数が複数であると判定された場合（ステップＳＴ６のＹＥＳ）、人物同定装置１は、ステップＳＴ７の処理に進む。領域分割部１０２によって、人数計測部１０１が計測した人数が複数ではないと判定された場合（ステップＳＴ６のＮＯ）、人物同定装置１は、ステップＳＴ１０の処理に進む。
　ステップＳＴ７において、領域分割部１０２は、画像毎に、人物検出部１２が検出した人物を囲う領域を、水平方向に並ぶ複数の領域に分割する。領域分割部１０２は、分割した各領域の位置情報を領域特徴量抽出部１０３に出力する。図３は、領域分割部１０２による分割方法を示す図である。図３が示すように、領域分割部１０２は、垂直方向の線によって、人物を囲う矩形の領域を、水平方向に並ぶ複数の領域に分割する。
　領域特徴量抽出部１０３は、領域分割部１０２が分割した各領域から、人物検出部１２が検出した人物の部分的な人物特徴量を画像毎に抽出する（ステップＳＴ８）。領域特徴量抽出部１０３は、抽出した人物特徴量を領域特徴量比較部１０４に出力する。図４は、領域特徴量抽出部１０３による人物特徴量抽出方法を示す図である。図４が示すように、領域特徴量抽出部１０３は、領域分割部１０２が分割した領域毎に、部分的な人物特徴量を抽出する。
　領域特徴量比較部１０４は、領域特徴量抽出部１０３が画像毎に抽出した部分的な人物特徴量を比較し、人物特徴量抽出部１３が画像毎に抽出した人物特徴量をさらに比較することにより、人物検出部１２が画像毎に検出した人物が同一人物であるか否かを判定する（ステップＳＴ９）。なお、ここでは、領域特徴量比較部１０４は、人物検出部１２が画像毎に検出した人物が同一人物であると判定したものとする。
　人物特徴量統合部１０５は、領域特徴量比較部１０４によって、同一人物であると判定された人物に関して、人物特徴量抽出部１３が画像毎に抽出した人物特徴量、及び領域特徴量抽出部１０３が画像毎に抽出した部分的な人物特徴量を統合する（ステップＳＴ１０）。人物特徴量統合部１０５は、統合した人物特徴量を記憶部１４に出力する。なお、人物特徴量統合部１０５は、ステップＳＴ６の次のステップとしてステップＳＴ１０を行う場合は、ステップＳＴ３において人物特徴量抽出部１３が画像毎に抽出した人物特徴量をそのまま記憶部１４に出力する。
　記憶部１４は、人物特徴量統合部１０５が統合した人物特徴量を人物特徴量データベースに登録する（ステップＳＴ１１）。
　なお、上記の人物同定装置１による人物同定方法の例では、ステップＳＴ４において、複数の監視カメラ２の各視野が重複しているか否かを判定する構成を説明したが、人物同定装置１は、ステップＳＴ４を行わなくてもよい。つまり、複数の監視カメラ２の各視野が重複しているか否かにかかわらず、上記の各ステップを行うことにより、複数の監視カメラ２がそれぞれ撮影した画像に映った人物が同一人物であるか否かを判定することができる。
　以下で、実施の形態１に係る人物同定装置１による人物検索方法について図面を参照して説明する。図５は、実施の形態１に係る人物同定装置１による人物検索方法を示すフローチャートである。
　図５が示すように、人物同定装置１は、監視端末４から、ユーザによって指定された人物に関する人物同定処理の要求を受け付ける（ステップＳＴ１２）。人物同定装置１による人物同定処理の対象となる人物は、記憶部１４の人物特徴量データベースに登録されている人物であればよく、監視端末４が人物同定処理を要求する方法は特に限定されない。例えば、監視端末４は、監視カメラ２のＩＤ、撮影時間及び人物位置により、人物同定処理の対象となる人物を人物同定装置１に指定する。監視端末４は、人物同定処理の対象となる人物を検索する画像の検索範囲を人物同定装置１に指定してもよい。
　人物特徴読込部１５は、記憶部１４から、監視端末４が指定した人物に該当する人物の人物特徴量を読み込む（ステップＳＴ１３）。監視端末４が検索範囲を指定した場合、人物特徴読込部１５は、監視端末４が指定した検索範囲に基づいて、記憶部１４から人物特徴量を読み込む。
　人物特徴量比較部１６は、人物特徴読込部１５が読み込んだ人物特徴量と、記憶部１４が記憶する別の人物特徴量とを比較することにより、ユーザによって指定された人物と同一の人物を検索する（ステップＳＴ１４）。なお、ここにおける別の人物特徴量は、人物特徴読込部１５が読み込んだ人物特徴量を得るために行われた上述のステップＳＴ１からステップＳＴ１１の各処理の試行とは別の試行によって得られた人物特徴量を意味する。
　人物特徴量比較部１６は、人物特徴読込部１５が読み込んだ人物特徴量と類似する人物特徴量に対応する人物の位置情報を監視端末４に出力する。監視端末４は、人物特徴量比較部１６が出力した位置情報に基づいて、ユーザによって指定された人物が映った画像を表示する。
　人物同定装置１における、人物特徴量生成部１０（人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４及び人物特徴量統合部１０５）、画像読込部１１、人物検出部１２、人物特徴量抽出部１３、人物特徴読込部１５及び人物特徴量比較部１６の各機能は、処理回路により実現される。すなわち、人物同定装置１は、図２及び図５に示した各ステップの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。
　図６Ａは、人物同定装置１の機能を実現するハードウェア構成を示すブロック図である。図６Ｂは、人物同定装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
　上記処理回路が図６Ａに示す専用のハードウェアの処理回路１１１である場合、処理回路１１１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はこれらを組み合わせたものが該当する。
　人物同定装置１における、人物特徴量生成部１０（人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４及び人物特徴量統合部１０５）、画像読込部１１、人物検出部１２、人物特徴量抽出部１３、人物特徴読込部１５及び人物特徴量比較部１６の各機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
　上記処理回路が図６Ｂに示すプロセッサ１１２である場合、人物同定装置１における、人物特徴量生成部１０（人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４及び人物特徴量統合部１０５）、画像読込部１１、人物検出部１２、人物特徴量抽出部１３、人物特徴読込部１５及び人物特徴量比較部１６の各機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
　なお、ソフトウェア又はファームウェアは、プログラムとして記述されてメモリ７２に記憶される。
　プロセッサ１１２は、メモリ１１３に記憶されたプログラムを読み出して実行することにより、人物同定装置１における、人物特徴量生成部１０（人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４及び人物特徴量統合部１０５）、画像読込部１１、人物検出部１２、人物特徴量抽出部１３、人物特徴読込部１５及び人物特徴量比較部１６の各機能を実現する。すなわち、人物同定装置１は、これらの各機能がプロセッサ１１２によって実行されるときに、図２及び図５に示した各ステップの処理が結果的に実行されるプログラムを記憶するためのメモリ１１３を備える。
　これらのプログラムは、人物同定装置１における、人物特徴量生成部１０（人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４及び人物特徴量統合部１０５）、画像読込部１１、人物検出部１２、人物特徴量抽出部１３、人物特徴読込部１５及び人物特徴量比較部１６の各手順又は方法をコンピュータに実行させる。メモリ１１３は、コンピュータを、人物同定装置１における、人物特徴量生成部１０（人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４及び人物特徴量統合部１０５）、画像読込部１１、人物検出部１２、人物特徴量抽出部１３、人物特徴読込部１５及び人物特徴量比較部１６として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
　プロセッサ１１２には、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などが該当する。
　メモリ１１３には、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、ハードディスク、フレキシブルディスク等の磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などが該当する。
　人物同定装置１における、人物特徴量生成部１０（人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４及び人物特徴量統合部１０５）、画像読込部１１、人物検出部１２、人物特徴量抽出部１３、人物特徴読込部１５及び人物特徴量比較部１６の各機能について一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現してもよい。
　例えば、人物特徴量生成部１０（人数計測部１０１、領域分割部１０２、領域特徴量抽出部１０３、領域特徴量比較部１０４及び人物特徴量統合部１０５）の機能は、専用のハードウェアとしての処理回路で機能を実現する。画像読込部１１、人物検出部１２、人物特徴量抽出部１３、人物特徴読込部１５及び人物特徴量比較部１６については、プロセッサ１１２がメモリ１１３に記憶されたプログラムを読み出して実行することにより機能を実現してもよい。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより上記機能のそれぞれを実現することができる。
　以上のように、実施の形態１に係る人物同定装置１は、複数の監視カメラ２がそれぞれ撮影した画像に映った人物が同一人物であるか否かを判定する人物同定装置１であって、カメラ毎の画像に基づいて、人物を検出する人物検出部１２と、人物検出部１２が検出した人物を囲う領域を画像毎に分割する領域分割部１０２と、領域分割部１０２が分割した領域に基づいて、人物検出部１２が検出した人物の部分的な人物特徴量を画像毎に抽出する領域特徴量抽出部１０３と、領域特徴量抽出部１０３が画像毎に抽出した部分的な人物特徴量を比較することにより、人物検出部１２が画像毎に検出した人物が同一人物であるか否かを判定する領域特徴量比較部１０４と、領域特徴量比較部１０４によって、人物検出部１２が画像毎に検出した人物が同一人物であると判定された場合、領域特徴量抽出部１０３が画像毎に抽出した部分的な人物特徴量を統合する人物特徴量統合部１０５と、を備えている。
　例えば、視野が重複している複数の監視カメラ２が撮影した各画像に映った人物が同一人物であるか否かを判定する場合、従来技術では、人物の位置情報又は輪郭形状情報を算出するために、監視カメラ２毎に異なる視野を較正するためのカメラキャリブレーションを行う必要がある。しかし、実施の形態１に係る人物同定装置１の上記の構成によれば、部分的な人物特徴量を比較することにより、カメラキャリブレーションを行うことなく、人物の同一性を判定することが可能である。
　または、例えば、視野が重複していない複数の監視カメラ２が撮影した各画像に映った人物が同一人物であるか否かを判定する場合に、複数の監視カメラ２が撮影した各画像に映った人物の向きが異っている状況でも、実施の形態１に係る人物同定装置１の上記の構成によれば、部分的な人物特徴量を比較することにより、人物の同一性を判定することが可能である。
　つまり、実施の形態１に係る人物同定装置１の上記の構成によれば、画像に映った人物の向きに起因した人物同一性の判定精度の低下を防ぐことができる。
　なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　より詳細には、実施の形態１に係る人物同定装置１の領域分割部１０２は、画像毎に、人物検出部１２が検出した人物を囲う領域を、水平方向に並ぶ複数の領域に分割する。
　上記の構成によれば、複数の監視カメラ２が撮影した各画像に映った人物の向きが異っている状況でも、水平方向に並ぶ複数の領域のうちの少なくとも１つの領域から抽出した部分的な人物特徴量を比較することにより、人物の同一性を判定することが可能である。
　なお、実施の形態１では、上記のように領域分割部１０２が、人物検出部１２が検出した人物を囲う領域を水平方向に並ぶ複数の領域に分割する構成について説明したが、領域分割部１０２による分割方法は、当該構成に限定されない。領域分割部１０２による領域の分割によって、各画像間で類似した部分的な人物特徴量を得られればよく、その分割方法は、特に限定されない。
　本開示に係る人物同定装置は、画像に映った人物の向きに起因した人物同一性の判定精度の低下を防ぐことができるため、複数のカメラが撮影した各画像に映った人物が同一人物であるか否かを判定する技術に利用可能である。
　１　人物同定装置、２　監視カメラ、３　画像記録装置、４　監視端末、１０　人物特徴量生成部、１１　画像読込部、１２　人物検出部、１３　人物特徴量抽出部、１４　記憶部、１５　人物特徴読込部、１６　人物特徴量比較部、１０１　人数計測部、１０２　領域分割部、１０３　領域特徴量抽出部、１０４　領域特徴量比較部、１０５　人物特徴量統合部、１１０　人物同定システム、１１１　処理回路、１１２　プロセッサ、１１３　メモリ。

Claims (6)

  1. 　複数のカメラがそれぞれ撮影した画像に映った人物が同一人物であるか否かを判定する人物同定装置であって、
    　前記カメラ毎の画像に基づいて、人物を検出する人物検出部と、
    　前記人物検出部が検出した人物を囲う領域を画像毎に分割する領域分割部と、
    　前記領域分割部が分割した領域に基づいて、前記人物検出部が検出した人物の部分的な人物特徴量を画像毎に抽出する領域特徴量抽出部と、
    　前記領域特徴量抽出部が画像毎に抽出した部分的な人物特徴量を比較することにより、前記人物検出部が画像毎に検出した人物が同一人物であるか否かを判定する領域特徴量比較部と、
    　前記領域特徴量比較部によって、前記人物検出部が画像毎に検出した人物が同一人物であると判定された場合、前記領域特徴量抽出部が画像毎に抽出した部分的な人物特徴量を統合する人物特徴量統合部と、を備えていることを特徴とする、人物同定装置。
  2. 　前記人物検出部が検出した人物の人物特徴量を画像毎に抽出する人物特徴量抽出部をさらに備え、
    　前記領域特徴量比較部は、前記人物特徴量抽出部が画像毎に抽出した人物特徴量をさらに比較することにより、前記人物検出部が画像毎に検出した人物が同一人物であるか否かを判定し、
    　前記人物特徴量統合部は、前記領域特徴量比較部によって、前記人物検出部が画像毎に検出した人物が同一人物であると判定された場合、前記人物特徴量抽出部が画像毎に抽出した人物特徴量をさらに統合することを特徴とする、請求項１に記載の人物同定装置。
  3. 　前記領域分割部は、前記複数のカメラの各視野が重複しているか否かを判定し、前記複数のカメラの各視野が重複していると判定した場合に、前記人物検出部が検出した人物を囲う領域を画像毎に分割することを特徴とする、請求項１に記載の人物同定装置。
  4. 　前記領域分割部は、画像毎に、前記人物検出部が検出した人物を囲う領域を、水平方向に並ぶ複数の領域に分割することを特徴とする、請求項１に記載の人物同定装置。
  5. 　前記人物特徴量統合部が統合した人物特徴量を記憶する記憶部と、
    　前記記憶部が記憶する人物特徴量を比較することにより、ユーザによって指定された人物と同一の人物を検索する人物特徴量比較部をさらに備えていることを特徴とする、請求項１に記載の人物同定装置。
  6. 　複数のカメラがそれぞれ撮影した画像に映った人物が同一人物であるか否かを判定する人物同定装置による人物同定方法であって、
    　人物検出部が、前記カメラ毎の画像に基づいて、人物を検出する人物検出ステップと、
    　領域分割部が、前記人物検出部が検出した人物を囲う領域を画像毎に分割する領域分割ステップと、
    　領域特徴量抽出部が、前記領域分割部が分割した領域に基づいて、前記人物検出部が検出した人物の部分的な人物特徴量を画像毎に抽出する領域特徴量抽出ステップと、
    　領域特徴量比較部が、前記領域特徴量抽出部が画像毎に抽出した部分的な人物特徴量を比較することにより、前記人物検出部が画像毎に検出した人物が同一人物であるか否かを判定する領域特徴量比較ステップと、
    　人物特徴量統合部が、前記領域特徴量比較部によって、前記人物検出部が画像毎に検出した人物が同一人物であると判定された場合、前記領域特徴量抽出部が画像毎に抽出した部分的な人物特徴量を統合する人物特徴量統合ステップと、を含むことを特徴とする、人物同定方法。
PCT/JP2021/025259 2021-07-05 2021-07-05 人物同定装置、及び人物同定方法 WO2023281559A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/025259 WO2023281559A1 (ja) 2021-07-05 2021-07-05 人物同定装置、及び人物同定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/025259 WO2023281559A1 (ja) 2021-07-05 2021-07-05 人物同定装置、及び人物同定方法

Publications (1)

Publication Number Publication Date
WO2023281559A1 true WO2023281559A1 (ja) 2023-01-12

Family

ID=84800391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025259 WO2023281559A1 (ja) 2021-07-05 2021-07-05 人物同定装置、及び人物同定方法

Country Status (1)

Country Link
WO (1) WO2023281559A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015002547A (ja) * 2013-06-18 2015-01-05 富士通株式会社 画像処理装置、プログラム、および画像処理方法
JP2017016344A (ja) * 2015-06-30 2017-01-19 セコム株式会社 画像監視装置
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2017046838A1 (ja) * 2015-09-14 2017-03-23 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
WO2020115910A1 (ja) * 2018-12-07 2020-06-11 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015002547A (ja) * 2013-06-18 2015-01-05 富士通株式会社 画像処理装置、プログラム、および画像処理方法
JP2017016344A (ja) * 2015-06-30 2017-01-19 セコム株式会社 画像監視装置
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2017046838A1 (ja) * 2015-09-14 2017-03-23 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
WO2020115910A1 (ja) * 2018-12-07 2020-06-11 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
KR101971866B1 (ko) 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체
US10212324B2 (en) Position detection device, position detection method, and storage medium
KR101492180B1 (ko) 비디오 분석
US9823331B2 (en) Object detecting apparatus, image capturing apparatus, method for controlling object detecting apparatus, and storage medium
JP3801137B2 (ja) 侵入物体検出装置
US20160019426A1 (en) Method of video analysis
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
US9727585B2 (en) Image processing apparatus and method for controlling the same
US10664523B2 (en) Information processing apparatus, information processing method, and storage medium
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9721153B2 (en) Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type
JP2019186955A (ja) 情報処理システム、情報処理方法及びプログラム
US10467461B2 (en) Apparatus for searching for object and control method thereof
US20160078323A1 (en) Method and apparatus for counting person
JP6292540B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20130083965A1 (en) Apparatus and method for detecting object in image
TWI798815B (zh) 目標重識別方法、裝置及電腦可讀存儲介質
JP2007328572A (ja) 顔認証装置および顔認証方法
JP2017174343A (ja) 入店者属性抽出装置及び入店者属性抽出プログラム
KR20190047748A (ko) 영상의 객체 처리 방법 및 장치
JP2007179224A (ja) 情報処理装置および方法、並びにプログラム
JP2007072789A (ja) 映像構造化方法及び装置及びプログラム
WO2023281559A1 (ja) 人物同定装置、及び人物同定方法
JP2018133042A (ja) 放置物検出装置
JP2006270137A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21949196

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE