WO2012026147A1 - 人物検知システム - Google Patents

人物検知システム Download PDF

Info

Publication number
WO2012026147A1
WO2012026147A1 PCT/JP2011/055737 JP2011055737W WO2012026147A1 WO 2012026147 A1 WO2012026147 A1 WO 2012026147A1 JP 2011055737 W JP2011055737 W JP 2011055737W WO 2012026147 A1 WO2012026147 A1 WO 2012026147A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
specific person
person
list
person detection
Prior art date
Application number
PCT/JP2011/055737
Other languages
English (en)
French (fr)
Inventor
秀昭 打越
平井　誠一
崇 三戸
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to US13/819,494 priority Critical patent/US9141184B2/en
Publication of WO2012026147A1 publication Critical patent/WO2012026147A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Definitions

  • the present invention relates to an image search system for searching image data stored in a database, and more particularly to a system for searching for a specific person from a face image.
  • FIG. 9 is a block diagram showing a configuration of a conventional person detection system.
  • Reference numeral 900 denotes a network
  • 901-1 to 901-n are imaging devices
  • 902 is a monitoring terminal
  • 903 is a specific person detection server.
  • 921 is an image display unit
  • 922 is a detection display unit.
  • 931 is a pre-registration unit
  • 932 is a specific person detection unit.
  • n is a natural number.
  • the specific person detection system includes an imaging device 901-1 to 901-n, a monitoring terminal 902, and a specific person detection server 903 connected via a network 900.
  • the imaging devices 901-1 to 901-n are imaging devices such as network cameras.
  • the monitoring terminal 902 is a device such as a personal computer (PC) that includes a display monitor such as a liquid crystal display or a CRT, and a user input unit such as a keyboard and a mouse.
  • the network 900 is a communication network such as a dedicated line, an intranet, the Internet, a wireless LAN (local area network), etc., for connecting the devices to each other and performing data communication.
  • imaging devices 901-1 to 901-n perform digital conversion processing on captured images and output the converted image data to the monitoring terminal 902 and the specific person detection server 903 via the network 900. .
  • the monitoring terminal 902 includes an image display unit 921 and a detection display unit 922.
  • the monitoring terminal 902 displays images input from the imaging devices 901-1 to 901-n via the network 900 and the network 900 from the specific person detection server 903.
  • a user interface for displaying a message or the like based on a detection signal input via the network is provided.
  • the image display unit 921 processes images input from the imaging devices 901-1 and 901-n via the network 900, and outputs and displays them on a display screen of a display monitor (not shown) of the monitoring terminal 902.
  • the detection display unit 922 displays a detection signal input from the specific person detection server 903 via the network 900 and a message indicating that the specific person is detected on the display screen of the display monitor.
  • the detection display unit 922 outputs an alarm sound indicating that a specific person has been detected through a speaker (not shown) and notifies the user.
  • the specific person detection server 903 includes a pre-registration unit 931 and a specific person detection unit 932.
  • the specific person detection server 903 includes a control unit such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit: Microcomputer). And a storage medium such as a hard disk drive (HDD) and an internal memory such as a RAM (Random Access Memory) and a flash memory.
  • the pre-registration unit 931 performs a pre-registration process on the face image of the person to be specified. This face image is a face image that is a collation target image prepared in advance, and is input to the pre-registration unit 931.
  • the input includes a method of specifying a file, a method of passing through the imaging devices 901-1 to 901-n, and a method of inputting from a digital camera or a scanner device.
  • the pre-registration unit 931 performs a process of extracting an image feature amount from the input face image and registering it in the specific person list.
  • the image feature amount is, for example, an image color distribution, an edge pattern composition distribution, or a combination thereof.
  • the specific person list is, for example, a database, and information such as names and affiliations related to persons can be registered in addition to image feature amounts.
  • the specific person list is stored in a storage medium (not shown) such as an HDD.
  • the specific person detection unit 932 searches for the presence of an arbitrary person in the image input from the imaging devices 901-1 to 901-n via the network 900, and whether the person is the person to be specified as described above. A process for determining whether or not is executed.
  • Patent Document 1 discloses a technique for extracting a feature value from a captured image and displaying the matched image when the feature value matches a predetermined condition.
  • JP 2009-171296 A Japanese Patent Laid-Open No. 2007-190076
  • Patent Document 2 discloses a technique for comparing a face image captured at a predetermined location of a store such as a game hall for each captured location and outputting a candidate for an unauthorized person.
  • the imaging angle, image resolution, lighting environment, etc. can be implemented under advantageous conditions.
  • this specific person detection system cannot be applied to places where doors and gates cannot be installed, and when a face is imaged at an arbitrary timing, the imaging angle, image resolution, lighting environment, etc. There is a problem that the identification accuracy for identifying a person cannot be sufficiently obtained depending on the conditions.
  • FIG. 10 is a graph showing an example of the difference in detection accuracy depending on the angle of the captured face.
  • the vertical axis represents the detection accuracy of the face image
  • the horizontal axis represents the orientation of the face of the person A. That is, the horizontal axis indicates that the image 1013 facing the front of the person A is the median value, and the distance from the center increases as the face faces left and right from the front ((face image 1013 ⁇ face image 1012 ⁇ face image 1011 ⁇ face image 1010). ) Or (face image 1013 ⁇ face image 1014 ⁇ face image 1015 ⁇ face image 1016)).
  • the image of the person A captured at an angle close to them has higher detection accuracy, and generally the detection accuracy increases as the angle difference increases. It tends to go down. Accordingly, if not only the front-facing image (or only one orientation image) but also other orientation images are registered, the detection accuracy is improved. This is true not only for the imaging angle but also for other conditions such as image resolution and illumination environment. However, if face images are prepared in advance for each of these many conditions, the number of combinations increases in series, and it takes time to collect image data, and much time is required for prior registration.
  • an object of the present invention is to provide a specific person detection system capable of improving the accuracy of specific person detection during system operation. It is another object of the present invention to provide a specific person detection system that does not require preparation of a large amount of images to be collated before system operation and can be easily introduced.
  • a specific person detection system includes an image pickup apparatus that picks up an image, receives the picked-up image, extracts an image feature amount, and extracts an image feature amount of an unspecified person in real time.
  • an update-type specific person detection server that stores temporary person information and its reliability and an image search-compatible monitoring terminal that can perform image search after the fact are connected via a network.
  • the update type specific person detection server adds person information to the specific person list during system operation based on the updated unspecified person list.
  • the specific person detection system of the present invention includes an image pickup apparatus that picks up an image, a specific person detection server, a database that stores personal information, and a specific person detection system that includes a monitoring terminal.
  • the specific person detection server has an unspecified person list, and the specific person detection server acquires an image captured by the imaging device and uses the image feature amount extracted from the acquired image to specify a person of the acquired image Update the database by storing image data of the acquired image in the unspecified person list based on the calculated reliability, and an image captured by the imaging device, or
  • person information of the unspecified person list is additionally registered in the specified person list.
  • the monitoring terminal further outputs an additional registration screen to a display monitor, and displays a screen portion and an unspecified person list of search conditions of the additional registration screen displayed on the display monitor.
  • the present invention it is possible to increase the image data of each person in the specific person list automatically or more easily than in the past during operation of the specific person detection system. Thereby, the detection accuracy of a specific person can be improved.
  • the specific person list can be increased more easily than in the past, it is not necessary to prepare a large amount of images to be collated before system operation, and the introduction of the system is facilitated.
  • the present invention detects a person during system operation. The same can be said for not only the angle of the face but also the difference in the face image caused by the illumination position, makeup, aging of the face, and ornaments such as glasses, which cause the face image to change. It is difficult to predict a face image due to various factors in advance. Therefore, a person can be detected more accurately by sequentially adding and registering face images during operation. That is, the present invention has a function of automatically detecting a specific person by image processing, and improves the specific person detection accuracy.
  • FIG. 1 is a block diagram showing the configuration of an embodiment of the specific person detection system of the present invention.
  • 102 monitor terminal 103 is a specific person detecting server.
  • 121 is a search request generation unit
  • 122 is an additional registration operation unit.
  • the conventional pre-registration unit 931 is a pre-registration unit and the specific person detection unit 932
  • 131 is a real-time registration unit
  • 132 is an image search unit.
  • the monitoring terminal 102 includes an image display unit 921, a detection display unit 922, a search request generation unit 121, and an additional registration operation unit 122, and images input from the imaging devices 901-1 to 901-n via the network 900. And a user interface for displaying a message based on a detection signal input from the specific person detection server 903 via the network 900 is provided. Similar to the monitoring terminal 902, the monitoring terminal 102 includes a display monitor such as a liquid crystal display or a CRT, a user input unit for operating a GUI (graphical user interface) with a keyboard, a mouse, or the like. A device such as a computer.
  • the specific person detection server 103 includes a pre-registration unit 931, a specific person detection unit 932, a real-time registration unit 131, and an image search unit 132, and includes a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • a device such as a computer comprising a control unit such as a unit (microcomputer), a calculation unit, an internal memory such as a RAM (random access memory) or a flash memory, and a storage medium such as an HDD (hard disk drive) It is.
  • the monitoring terminal 102 is an image search compatible monitoring terminal
  • the specific person detection server 103 is an update type specific person detection server.
  • the specific person detection server 103 includes a control unit such as a CPU or MPU, a calculation unit, an internal memory such as a RAM or a flash memory, and a storage medium such as an HDD, as in the conventional specific person detection server 903.
  • a device such as a computer.
  • the real-time registration unit 131 of the specific person detection server 103 applies to one or a plurality of arbitrary persons found from images input from the imaging devices 901-1 to 901-n via the network 900.
  • Processing for registering a person in an unspecified person list or a specified person list is executed. This process is performed in real time.
  • the unspecified person list is, for example, a database, like the specified person list.
  • the unspecified person list is stored in a storage medium (not shown) such as an HDD.
  • the reliability calculated from the image similarity is registered for each registered person.
  • the reliability for example, in the specific person detection process, the highest image similarity may be used by referring to the calculated image similarity.
  • a storage medium such as an HDD may be directly connected to the specific person detection server 103 or may be connected via the network 900.
  • the image search unit 132 of the specific person detection server 103 executes processing for searching mainly similar images for an unspecified person list using an image of an arbitrary person.
  • An image search for the person specified by the search key image is performed from the unspecified person list.
  • an image of a person to be searched for that is, an image serving as a search key
  • the image search unit 132 calculates the image similarity by comparing the image feature amount extracted from the search key image with the image feature amount of the unspecified person list, and the calculated image similarity is equal to or greater than a predetermined threshold value. Extract images of the person list.
  • the search key image of the corresponding person is designated by an image input to the real-time registration unit 131, that is, an image included in the specific person list or the unspecified person list, or the additional registration operation unit 122 of the monitoring terminal 102 described later. Images. Further, the search key image may be an image feature amount extracted from the image instead of the image itself. In this embodiment, the image and the image feature amount of the specific person list are used as a search key image.
  • the image search unit 132 not only provides a function for searching for similar images, but also provides data corresponding to the unspecified person list, that is, a person image, depending on conditions such as an imaging time range, an imaging camera, and person information. It also includes a processing function for searching.
  • the search request generation unit 121 of the monitoring terminal 102 generates an image search request signal to be transmitted to the update specific person detection server in order to search for similar images of the person from the unspecified person list. Specifically, by operating a keyboard or mouse that is a user input unit of the monitoring terminal 102, at least one of the search key image or the image feature amount designated by the user, and a screen part 511 in FIG. 5 described later. A search request signal is generated based on the search condition specified in. An image feature amount is extracted from the search key image included in the search request signal and designated by the user in the image search unit of the specific person detection server. Further, the image feature amount itself may be designated as the search key image.
  • the additional registration operation unit 122 of the monitoring terminal 102 adds data to which the confirmed person information is added to the specific person list based on the user's judgment from the unspecified person list or automatically.
  • an operation of selecting data to be added to the specific person list from the unspecified person list can be efficiently performed in a short time by image search.
  • the image search is executed by the search request generation unit 121 of the monitoring terminal 102 that supports image search and the image search unit 132 of the update type specific person detection server.
  • the reliability of each image obtained by the image search is equal to or higher than a predetermined threshold, and for an image that has a high similarity and can be clearly determined to be an image of the corresponding person, the specific person list from the unspecified person list Automatically add to
  • the image is configured such that the user makes a determination on an image having a reliability less than a threshold value.
  • a recording device may be added to the system configuration.
  • a recording device is connected to the network 900, and images input from the imaging devices 901-1 to 901-n via the network 900 are always stored in the recording device.
  • a database such as a specific person list and an unspecified person list may be stored in a recording apparatus instead of a storage medium such as an HDD.
  • the monitoring terminal 102 and the specific person detection server 103 are connected to the recording device via the network 900 and read image data from the recording device.
  • an image and additional information for detecting a specific person via the recording device are acquired.
  • Other operations are the same as those in the embodiment of FIG.
  • FIG. 2 is a diagram showing an embodiment of a communication sequence between devices in the embodiment of the specific person detection system of the present invention shown in FIG.
  • a time axis 211 is an axis indicating a time-series direction in the imaging devices 901-1 to 901-n, and indicates that time advances from the upper part to the lower part in FIG.
  • a time axis 213 indicates a time axis in the update-type specific person detection server 103
  • a time axis 212 indicates a time axis in the image search-compatible monitoring terminal 102.
  • communication is performed in the direction of the arrow.
  • Communication 201 and communication 202 indicate communication (image distribution) processing for transmitting an image captured by the imaging apparatus 901-1 to the specific person detection server 103.
  • a communication 203 indicates a communication (reporting) process for transmitting the content detected by the specific person detection server 103 to the monitoring terminal 102.
  • the communication 204 indicates a communication (additional registration) process in which the monitoring terminal 102 transmits the content instructed by the user operation to the specific person detection server 103.
  • a communication 205 indicates a communication process for transmitting the result additionally registered in the specific person detection server 103 to the monitoring terminal 102.
  • An event 206 indicates that the specific person detection server 103 has detected a specific person.
  • An event 207 indicates that the specific person detection server 303 has registered in real time.
  • Communications 201 and 202 at any given interval is performed repeatedly at all times.
  • the communication 201 to 203 and the communication 204 to 205 may be in a synchronous relationship or in an asynchronous relationship.
  • FIG. 3 is a flowchart illustrating an example of processing operations that are repeatedly performed at all times by the specific person detection server 103. 3 is controlled and executed by the specific person detection unit 932. For this reason, the processing device name is not particularly described in the processing controlled or executed by the specific person detection unit 932.
  • step S301 standby for incoming image data is performed.
  • the process proceeds to step S302.
  • step S302 an image of any of the imaging devices 901-1 to 901-n in which the incoming call transmitted by the communication 201 or 202 is detected is received.
  • step S302 when the image is data-compressed, data expansion processing is performed.
  • step S303 face detection is performed on the received image. Further, the number of simultaneously detected faces is temporarily stored as the number of detected faces, and the face counter Ct is initialized.
  • the face counter Ct is used to perform the processing of the subsequent steps for each person when a plurality of persons are detected from the same image.
  • the face detection processing includes, for example, a method of detecting a moving object based on a difference from a background image, and further determining a face based on the shape of the moving object region, arrangement of main components such as eyes, nose, and mouth, And a known image recognition technique such as a method for performing an intra-image search using facial characteristics such as a difference in contrast of eyes and the like. Any method may be used in the present invention.
  • step S304 if one or more faces are detected in the previous step S303 (Ct> 0), the process proceeds to step S305, and if not detected, the process returns to step S301.
  • step S305 image feature amount extraction processing is performed on the face detected in the previous step S303.
  • the image feature amount is a value indicating the tendency of an image calculated using an image recognition technique.
  • the image feature amount for example, an image color distribution, an edge pattern composition distribution, an arrangement of main components such as an eye, a nose, and a mouth, a combination thereof, or the like is used. Any of the above may be used in the present invention.
  • the image feature amount extracted in the previous step S305 is compared with the image feature amount of each person registered in advance in the specific person list. Then, the face (candidate face) having the closest feature amount in the specific person list is searched.
  • This closeness of feature quantity is generally called image similarity, and is a numerical value indicating the so-called similarity between images, and is calculated by a scalar quantity between both feature quantities in a multidimensional space of image feature quantities.
  • image similarity is a numerical value indicating the so-called similarity between images, and is calculated by a scalar quantity between both feature quantities in a multidimensional space of image feature quantities.
  • the calculation method for example, refer to a paper such as “Representation model for large-scale image collection” (Satoshi Tsunoike et al., Journal of the Japan Photography Society, Vol. 66, No. 1, P93-P101). it can.
  • step S307 it is determined (specific person detection) whether or not the image similarity of the candidate face found in step S306 is a specific person. This determination is made based on whether or not the image similarity calculated in step S306 is greater than or equal to a predetermined threshold value. In addition, the reliability of specific person detection is calculated using the image similarity calculated in step S306. If the reliability is equal to or greater than the threshold, the process proceeds to step S308 because a specific person has been detected, and otherwise, the process proceeds to step S309 because no specific person has been detected. In step S308, the specific person detection is transmitted to the monitoring terminal 102 as the communication 403. After the notification is completed, the process proceeds to step S309. In step S309, the image feature amount extracted in step S305, the information on the candidate face found in step S306 and its reliability are output to the real-time registration unit 131.
  • step S310 the detection result is output to the real-time registration unit 131.
  • the real-time registration unit 131 evaluates the reliability of the input candidate face and determines whether it is less than a predetermined threshold value. If it is less than the threshold, the process proceeds to step S311 in order to register the candidate face in the specific person list, and otherwise the process proceeds to step S312 in order to register in the unspecified person list.
  • step S311 the real-time registration unit additionally registers the image feature amount in the specific person list.
  • candidate face information that is, information related to a person such as name and affiliation is additionally registered in the specific person list. After registration is completed, the face counter Ct is counted up, and the process proceeds to step S313.
  • step S312 the real-time registration unit additionally registers the image feature amount in the unspecified person list.
  • candidate face information that is, information relating to a person such as name and affiliation, and the reliability of the candidate face are additionally registered in the unspecified person list.
  • the face counter Ct is counted up, and the process proceeds to step S313.
  • step S313 the specific person detection unit 932 compares the face counter Ct with the number of detected faces temporarily stored in step S303. If the face counter Ct is less than the detected number of faces, the process proceeds to step S305. Otherwise, that is, if all faces detected from the same image have been processed, the process proceeds to step S301. return.
  • FIG. 4 is a flowchart showing the flow of processing in the specific person detection server 303 when an instruction for additional registration is given to the specific person detection server 103 of the unspecified person detection system of the present invention.
  • the image retrieval unit 132 to control and execute. For this reason, in the case of processing executed by the image search unit 132, the processing device name is not particularly described.
  • step S401 instruction data incoming standby is performed. If an incoming call is detected, the process proceeds to step S402.
  • step S402 the instruction from the monitoring terminal 302 sent through the communication 204 is received (see FIG. 2).
  • step S403 the instruction content received in step S402 is analyzed. If the instruction content is a search request, the process proceeds to step S404. If the instruction content is a confirmation request, the process proceeds to step S409.
  • step S404 a search method for the instruction content received in step S402 is determined.
  • the process proceeds to step S405, and is performed according to the image or image feature amount conditions. If it is an image search request, the process proceeds to step S406.
  • step S405 data for searching for additional registration from the unspecified person list is searched from the unspecified person list according to the conditions of the normal search request received in step S402.
  • This search is a process of searching for an image by sequentially processing whether or not the condition matches for each data of the unspecified person list.
  • step S406 an image search is performed for data for which additional registration is determined from the unspecified person list according to the image search request condition received in step S402.
  • This search is, for example, a process of comparing an image feature amount extracted from an image included in a condition with an image feature amount for each data of the unspecified person list, and searching for an image with high similarity based on the calculated image similarity. is there.
  • step S407 the target data of the unspecified person list selected in step S405 or step S406 is extracted. Thereafter, the process proceeds to step S408.
  • step S408 the data extracted in step S407 is transmitted to the monitoring terminal 102 as the communication 205. Thereafter, the process returns to step S401.
  • step S409 person information, image feature amounts, imaging time, and the like are added to the specific person list for the corresponding image in the unspecified person list included in the confirmation request. Thereafter, the process returns to step S401.
  • FIG. 5 shows an example of a display screen on the display monitor of the monitoring terminal 102 when the user instructs the specific person detection server 103 in the specific person detection system of the present invention to perform additional registration by an operation such as a GUI operation.
  • FIG. Reference numeral 500 denotes an additional registration screen displayed on the display monitor screen of the monitoring terminal 102.
  • this additional registration screen 500 each screen part described below is displayed.
  • the search condition (screen part 511) is input, and the screen part 524 for the unconfirmed data image search of the screen part 501 is selected, or the screen part 502 is not selected.
  • the confirmation data normal search screen portion 524 is displayed after the selection operation, and is updated each time these operations are performed.
  • Reference numeral 511 denotes a screen part for specifying a search condition for the unspecified person list.
  • Reference numerals 512 and 513 denote screen parts for designating an imaged camera in search conditions for the unspecified person list.
  • Reference numerals 514 and 515 denote screen parts for designating an imaging time, in particular, a search condition for the unspecified person list.
  • the same line on the right side of the screen part 514 has a start time designation input field for the imaging time to be searched, and the search start time can be changed by changing the date and time displayed in this field.
  • Reference numeral 516 denotes a screen part for designating the reliability of the search condition for the unspecified person list.
  • a check box for selecting the screen part. For example, when the reliability “high” is 80%, the reliability “medium” is 50%, the reliability “low” is 30%, and the “high” is checked, the reliability is 80% or more. If “medium” is checked, images with a reliability of 50% or more and less than 80% are searched. If “low” is checked, the reliability is 30%. Search for images less than 50%. If “high” and “medium” are checked, all images with a reliability of 50% or more are searched. If “medium” and “low” are checked, the images are trusted.
  • An image with a degree of 30% or more and less than 80% is searched, and when all of “high”, “medium”, and “low” are checked, all images with a degree of reliability of 30% or more are searched. If the left side of the screen part 516 is not a check box but a radio button, the reliability “high” is 80%, the reliability “medium” is 50%, and the reliability “low” is 30%. If “High” is checked, all images with a reliability of 80% or higher are searched. If “Medium” is checked, all images with a reliability of 50% or higher are searched. When “low” is checked, all images having a reliability of 30% or more are searched.
  • reference numeral 517 denotes a screen part for classifying and displaying the specific person list by the person information.
  • Reference numeral 518 denotes a screen part where the user selects a classified person. A screen portion of the slider is attached to the screen portion 518 when not all persons can be displayed at once.
  • Reference numeral 519 denotes a screen part that is stored in the specific person list and displays one image of the person selected in the screen part 518.
  • Reference numeral 520 denotes a screen part for switching the image of the person designated in the screen part 519 to another image. Switching is performed by selecting and pressing one of the left and right button figures.
  • Reference numeral 521 denotes a screen part of a button graphic for performing an image search on the unspecified person list.
  • Reference numeral 571 denotes a screen portion for selecting where to read the image to be referenced. For example, it can be selected when reading from a storage medium such as an HDD, or when reading from an external storage medium or a removable storage medium via a USB connection or the like.
  • the search condition is determined by the screen part 511, the search is performed using the screen part 501 for image search, and the user confirms the image displayed on the screen part 519 as a specific person. By doing so, it is possible to add unconfirmed data to the specific person list by image search.
  • reference numeral 522 denotes a screen part for classifying and displaying an unspecified person list based on person information.
  • Reference numeral 523 denotes a screen part where the user selects a classified person. A screen part of the slider is attached to the screen part 523 when not all persons can be displayed at once.
  • Reference numeral 524 denotes a screen part of a button graphic for performing a normal search for the unspecified person list.
  • Reference numeral 550 denotes a screen portion for selecting, as confirmation information, which person in the specific person list is image data when the images 531 to 540 are determined to be predetermined persons. The screen portion 550 is accompanied by a slider screen portion when not all the persons can be displayed at once.
  • the search condition is determined by the screen part 511, and the search is performed using the screen part 502 for normal search.
  • the screen portion 503 is displayed.
  • the screen part 503 is updated.
  • a screen part of the slider is attached to the screen part 503 when not all images can be displayed at once.
  • the user confirms any of the images of the screen parts 531 to 540 of the screen part 503, and selects the confirmation buttons 551 to 560 related to the image (in the present embodiment, on the lower side of the image).
  • the unconfirmed data can be added to the specific person list by the image search.
  • the data of any of the images of the related screen parts 531 to 540 are selected as the specific person. It can be additionally registered as image data of the person in the list.
  • FIG. 6 is a flowchart for explaining an embodiment of the definite operation procedure in the specific person detection system of the present invention. Additional registration is performed from the monitoring terminal 102 corresponding to the image search to the update type specific person detection server 103. when instructing describes an interface operation of the image search corresponding monitor terminal 302 by the user.
  • the operation is performed by a user operation, and operations such as a screen part and an image GUI operation on the additional registration screen 500 in FIG. 5 are mainly performed. That is, the following processing steps are user action (operation).
  • step S601 the user designates a search condition for data determined by the user in the unspecified person list in the screen part 511. For example, when the check box of the screen part 512 is selected, the data of the camera 1 is set as a search target at the time of search. Conversely, if the check box of the screen part 512 is not selected, the data of the camera 1 is excluded from the search target. Thereafter, the user moves to step S602. In step S602, the user selects a search method. If the user desires an image search, the process proceeds to step S603. Alternatively, if a normal search is desired, the process proceeds to step S608.
  • step S603 the user selects a search key image acquisition method in the image search. If an image in which a person has already been specified, that is, if a search key image is selected from the specified person list, the process proceeds to step S604. Alternatively, if the search key image is selected from images held by the user, that is, images stored in an externally connected storage medium such as a USB memory, the process proceeds to step S605. In step S604, a person is selected on the screen part 517 from the specific person list in which persons have been specified so far. Thereafter, the user proceeds to step S606. In step S606, the user selects an image of the person specified in step S604 of the specific person list.
  • step S604 When there are a plurality of images of the person specified in step S604, the user selects one of them using the screen part 520. Thereafter, the user proceeds to step S607.
  • step 607 the user presses an image search button that is the screen part 521.
  • the monitoring terminal 102 detects this button press, generates an image search request, and transmits the image search request to the specific person detection server 103.
  • the image search unit 132 in the specific person detection server 103 performs an image search, and the result is returned to the monitoring terminal 102.
  • the images of the screen parts 531 to 540 in FIG. 5 are displayed. Thereafter, the user proceeds to step S610.
  • step S610 the user selects personal information to be added on screen portion 550.
  • the person A is selected, and “A” is added as person information to each image in the confirmation process described later.
  • step S611 the user selects an image of the person selected in step S610 based on the user's judgment. If the user is the person selected in step S610, the user presses the screen parts 551 to 560 of the button graphic of each image according to his / her own judgment.
  • the monitoring terminal 102 detects the pressing of the button graphic, generates a confirmation request for each image, and transmits the confirmation request to the specific person detection server 103.
  • step S605 the user selects an image that can be referred to by the monitoring terminal 102. For example, an image is selected from an external storage medium or a removable storage medium by USB connection or the like connected to the monitoring terminal 102. Thereafter, the user proceeds to step S607.
  • step S608 the user selects a person to be confirmed from the unspecified person list using the screen part 523.
  • the person “A” is selected, and the data of the person “A” is extracted from the unspecified person list in the normal search described later under the conditions specified by the screen part 511.
  • the user proceeds to step S609.
  • step S609 the user presses the screen part 524 of the normal search button.
  • the monitoring terminal 102 detects a button press, generates a normal search request, and transmits the normal search request to the specific person detection server 103.
  • the image search unit 132 in the specific person detection server 103 performs a search, and the result is returned to the monitoring terminal 102. Examples of the results are the screen parts 531 to 540.
  • the user proceeds to step S610.
  • FIG. 7A and FIG. 7B show an embodiment of the specific person list and the unspecified person list in the specific person detection system of the present invention.
  • FIG. 7A is a diagram for explaining an embodiment of the specific person list of the specific person detection server in the specific person detection system of the present invention
  • FIG. 7B is a diagram of the specific person detection server in the specific person detection system of the present invention. It is a figure for demonstrating one Example of an unspecified person list.
  • Items 711 and 721 represent registration IDs, and a unique value is assigned to each data for each list.
  • Items 712, 713, 722, and 723 are information about the time when an image was captured and camera information.
  • Items 714 and 724 are addresses of a storage medium such as an HDD that indicates a location where an image feature amount extracted from the corresponding image is stored.
  • Items 716 and 727 are addresses of a storage medium such as an HDD indicating the location where the image is stored.
  • the item 715 of the specific person list is personal information given to each image, and is, for example, the name or identification number of the person.
  • the item 725 is person information given by the specified person detection process, and is, for example, the name or identification number of the person automatically and temporarily assigned by the system.
  • An item 726 is the reliability of the person information given to the item 725.
  • a person who is not in the specific person list is displayed as “person W” as a gray person.
  • 7A and 7B can be output as a display screen of the display monitor of the monitoring terminal 102 in accordance with a user operation. In this case, a color display that highlights a gray person column Etc. can be displayed.
  • the reliability values may be displayed in different colors by setting values of reliability “high”, reliability “medium”, and reliability “low”.
  • FIG. 8 is a diagram conceptually illustrating the relationship between image feature amounts in specific person detection and image search in the metric space of image feature amounts.
  • image feature amounts 811 to 813 extracted from face images of the same person are registered in the specific person list for detecting the specific person.
  • image feature amounts 814 and 817 of a person's face image newly captured by the imaging device are obtained.
  • the image of the image feature amount 814 is specified as a predetermined person, and the specified A new addition can be registered in the person list.
  • the image feature quantity 817 of a similar image obtained by image search can be newly registered in the specific person list at the user's discretion. Thereafter, when another image feature quantity 815 or 816 having a distance close to that of the image feature quantity 814 becomes the target image for the specific person detection, the image feature quantity 815, 816, or 818 can be determined as a corresponding person.
  • the difference in image feature values stored in the specific person list increases depending on conditions such as the imaging angle, image resolution, and lighting environment, and the persons who should originally be the same are defined as different persons. I was judging.
  • the specific person list or the unspecified person list is automatically determined according to the distance of the image feature amount in real time during system operation, or according to the user's determination. Can be registered together.
  • the improvement of the person identification accuracy has greatly eased conditional constraints such as imaging angle, image resolution, lighting environment, etc., and the person identification system should be used even in places where doors and gates cannot be installed.
  • the application range of the specific person detection system can be expanded.
  • the configuration and operation of the above-described embodiment are examples, and it is needless to say that the configuration and operation can be appropriately changed and executed without departing from the gist of the present invention.
  • the apparatus constituting the system is described as one unit. However, a plurality of these can be connected to the network.
  • the pre-registration unit 931, the specific person detection unit 932, the real-time registration unit 131, and the image search unit 132 are integrally provided in the update type specific person detection server 103. It is good also as a structure which equips a separate apparatus with the process part of a part.
  • the image display unit 921, the detection display unit 922, the search operation unit 121, and the additional registration operation unit 122 are integrally provided in the image search-compatible monitoring terminal 102.
  • the processing unit may be provided in a separate device.
  • the specific person list and the unspecified person list are shown as separate configurations, but they may be integrated and managed as an integrated configuration.
  • 102 Monitoring terminal
  • 103 Specific person detection server
  • 121 Search request generation unit
  • 122 Additional registration operation unit
  • 131 Real time registration unit
  • 132 Image search unit
  • 500 Additional registration screen
  • 900 a network
  • 901-1 to 901-n an imaging device
  • 902 a monitoring terminal
  • 903 a specific person detection server.
  • 922 Detection display unit
  • 931 Pre-registration unit
  • 932 Specific person detection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

　特定人物検知システムにおいて、様々な環境に設置される監視カメラを用いると特定人物検知で十分な精度が得られなかった。　本発明の監視システムは、画像を撮像する撮像装置と、撮像された画像を受信して画像特徴量を抽出し、リアルタイムに不特定人物の画像特徴量および仮の人物情報およびその信頼度を記憶する更新型特定人物検知サーバと事後に画像検索が可能な画像検索対応監視端末がネットワークを介して接続されている。更新型特定人物検知サーバにて、更新される不特定人物リストをもとに、システム運用中に特定人物リストへ人物情報を追加する。

Description

人物検知システム
　本発明は、データベースに蓄積された画像データを検索する画像検索システムに関わり、特に、顔画像から特定の人物を検索するシステムに関する。
　近年、犯罪事件発生数の増加や発生した犯罪事件の凶悪化が進み、犯罪抑止効果としての監視カメラ等の撮像装置による映像監視システムのニーズが高まっている。また、監視カメラ等の撮像装置が汎用性を得たことにより、撮像装置を多地点に設置し、多地点で取得した映像を扱う監視カメラシステムが普及している。このような監視カメラシステムは、繁華街、空港、港湾、発電所など、いろいろなところで運用されている。
　また一方で、撮像装置が安価で、設置が容易となってきたことから、設置される地点数が多くなっている。この反面、多地点の映像を同時に監視する監視システムの運用業務は、ユーザにとって、これまで以上に負担となっている。そこで、監視業務の負担軽減を目的に、監視カメラで撮像された人物に対して、画像処理により、人物の特定を自動的に行う特定人物検知や、監視カメラで撮像された録画映像内から特定の人物を検索する画像検索技術などが開発されている。
　ここで、図９を参照して、従来の人物検知システムの装置と処理部の構成を説明する。図９は、従来の人物検知システムの構成を示すブロック図である。９００はネットワーク、９０１－１～９０１－ｎは撮像装置、９０２は監視端末、９０３は特定人物検知サーバである。また、監視端末９０２において、９２１は画像表示部、９２２は検知表示部である。さらに特定人物検知サーバ９０３において、９３１は事前登録部、９３２は特定人物検知部である。ここで、ｎは自然数である。
　特定人物検知システムは、撮像装置９０１－１～９０１－ｎと監視端末９０２と特定人物検知サーバ９０３がネットワーク９００にて接続されて構成されている。
　なお、撮像装置９０１－１～９０１－ｎは、ネットワークカメラ等の撮像装置である。また、監視端末９０２は、液晶ディスプレイやＣＲＴ等のディスプレイモニタ、キーボードやマウス等のユーザ入力部などを備える、ＰＣ（パーソナル・コンピュータ）等の装置である。さらに、ネットワーク９００は、各装置を相互に接続しデータ通信を行う専用線、イントラネット、インターネット、無線ＬＡＮ（ローカル・エリア・ネットワーク）等の通信網である。
　図９において、撮像装置９０１－１～９０１－ｎは、撮像した画像に対してデジタル変換処理を行い、変換された画像データをネットワーク９００を介して監視端末９０２や特定人物検知サーバ９０３へ出力する。
　監視端末９０２は、画像表示部９２１と検知表示部９２２から構成され、撮像装置９０１－１～９０１－ｎからネットワーク９００を介して入力された画像の表示や、特定人物検知サーバ９０３からネットワーク９００を介して入力された検知信号によるメッセージ等を表示するユーザインタフェースを提供する。
　画像表示部９２１は、撮像装置９０１－１、９０１－ｎからネットワーク９００を介して入力された画像を処理し、監視端末９０２の図示しないディスプレイモニタの表示画面上に出力表示する。
　検知表示部９２２は、特定人物検知サーバ９０３からネットワーク９００を介して入力された検知信号を、特定人物が検知されたことを示すメッセージをディスプレイモニタの表示画面上に表示する。また検知表示部９２２は、特定人物が検知されたことを示す警報音を、図示していないスピーカ等で出力し、ユーザに通報する。
　特定人物検知サーバ９０３は、事前登録部９３１と特定人物検知部９３２から構成され、ＣＰＵ（セントラル・プロセッシング・ユニット：中央処理装置）やＭＰＵ（マイクロ・プロセッシング・ユニット：マイコン）などの制御部や演算部と、ＲＡＭ（ランダム・アクセス・メモリ）やフラッシュメモリ等の内部メモリと、ＨＤＤ（ハード・ディスク・ドライブ）等の記憶媒体を備える、コンピュータ等の装置である。
　事前登録部９３１は、特定したい人物の顔画像を事前に登録処理する。この顔画像は、事前に準備した照合対象画像である顔画像で、これを事前登録部９３１に入力する。入力は、ファイル指定する方法、撮像装置９０１－１～９０１－ｎを経由する方法、デジタルカメラやスキャナ装置から入力する方法等がある。
　事前登録部９３１は、入力された当該顔画像から、画像特徴量を抽出し、特定人物リストに登録する処理を行う。画像特徴量は、例えば、画像の色分布やエッジパターンの構図分布等、またはそれらの組み合わせである。特定人物リストは、例えば、データベースであり、画像特徴量の他に人物に関する名前や所属等の情報も登録可能とする。特定人物リストは、ＨＤＤ等の記憶媒体（図示しない）に格納される。
　特定人物検知部９３２は、撮像装置９０１－１～９０１－ｎからネットワーク９００を介して入力された画像中に、任意の人物の存在を探し出し、さらにその人物が、上述の特定したい人物であるかどうかを判断する処理を実行する。
　撮像された画像から特徴量を抽出し、特徴量があらかじめ定めた所定の条件と合致した場合に、合致した画像を表示する技術が、例えば、特許文献１に記載されている。
特開２００９－１７１２９６号公報 特開２００７－１９００７６号公報
　従来の顔画像を用いて個人識別を行う特定人物検知システムは、その適用先がドアやゲートの開閉を制御する入退制御等であったため、顔を撮像する際に、撮像角度や画像解像度、照明環境等について、有利な条件のもとで実施することができた。
　例えば、特許文献２は、遊技場等の店舗の定められた場所において撮像した顔画像を撮像した場所毎に比較し、不正者の候補を出力する技術について開示しており、顔を撮像する際の撮像角度、画像解像度、照明環境等について、有利な条件のもとで実施可能である。
　しかしながら、この特定人物検知システムは、ドアやゲートが設置できないような場所には適用することができず、また、任意のタイミングで顔を撮像した場合に、撮像角度や画像解像度、照明環境等の条件により人物特定の識別精度が十分得られないという問題があった。
　図１０は、撮像された顔の角度による検知精度の違いの一例を表したグラフである。縦軸は、顔画像の検知精度を示し、横軸は、人物Ａの顔の向きを示す。即ち、横軸は、人物Ａの正面向きの画像１０１３を中央値とし、正面から左右に顔が向く程中央から離れることを示す（（顔画像１０１３→顔画像１０１２→顔画像１０１１→顔画像１０１０）または（顔画像１０１３→顔画像１０１４→顔画像１０１５→顔画像１０１６））。
　人物Ａが、予め正面向きの画像で登録されている場合において、それらに近い角度で撮像された人物Ａの画像は、検知精度が高く、角度の違いが大きくなるに従い、一般的に検知精度が下がる傾向にある。従って、正面向きの画像だけ（あるいは、１つの向きの画像だけ）ではなく、他の向きの画像も登録しておけば、検知精度が向上する。このことは、撮像角度だけではなく、画像解像度、照明環境等、他の条件についてもいえる。しかし、これら多くの条件ごとに顔画像をあらかじめ用意するとすれば、それらの組み合わせは級数的に増大し、かつ画像データの収集にも時間がかかり、事前の登録に多大な時間を要する。
　本発明は、上記の問題に鑑み、システムの運用中に、特定人物検知の精度向上させることができる特定人物検知システムを提供することにある。
　また、システム運用前に大量の照合対象画像を準備する必要がなく、システムの導入が容易な特定人物検知システムを提供することにある。
　上記の課題を達成するために、本発明の特定人物検知システムは、画像を撮像する撮像装置と、撮像された画像を受信して画像特徴量を抽出し、リアルタイムに不特定人物の画像特徴量および仮の人物情報およびその信頼度を記憶する更新型の特定人物検知サーバと事後に画像検索が可能な画像検索対応の監視端末がネットワークを介して接続されている。更新型の特定人物検知サーバにて、更新される不特定人物リストをもとに、システム運用中に特定人物リストへ人物情報を追加する。
　即ち、本発明の特定人物検知システムは、画像を撮像する撮像装置と、特定人物検知サーバ、人物情報を記憶するデータベース、監視端末を備えた特定人物検知システムにおいて、前記データベースは、特定人物リストと不特定人物リストを有し、前記特定人物検知サーバは、前記撮像装置により撮像された画像を取得して、取得した画像から抽出した画像特徴量を用い、前記取得した画像の人物を特定するための信頼度を算出し、算出された信頼度に基づいて前記取得した画像の画像データを前記不特定人物リストに記憶することによって前記データベースを更新し、前記撮像装置により撮像された画像、若しくは、前記監視端末からの要求に応じて前記不特定人物リストの人物情報を前記特定人物リストに追加登録するものである。
　また上記発明の特定人物検知システムにおいて、さらに、前記監視端末は、追加登録画面をディスプレイモニタに出力し、前記ディスプレイモニタに表示された前記追加登録画面の検索条件の画面部位および不特定人物リストを検索する画面部位を有し、ユーザが入力する前記検索条件の画面部位および前記不特定人物リストを検索する画面部位の条件に基づいて、前記追加登録画面に前記特定人物リストに追加登録する候補顔を表示し、ユーザの指示に基づいて、追加登録することを特徴とする。
　本発明によれば、特定人物検知システムの運用中に、自動または、従来よりも容易に特定人物リストのそれぞれの人物の画像データを増やすことができる。これにより、特定人物の検知精度を向上させることができる。
　また、従来よりも容易に特定人物リストを増やすことができることにより、システム運用前に大量の照合対象画像を準備する必要がなくなり、システムの導入が容易になる。
本発明の特定人物検知システムの一実施例の構成を示すブロック図である。 本発明の特定人物検知システムの一実施例での各装置間における、通信シーケンスの一実施例を示す図である。 本発明の特定人物検知システムの一実施例のリアルタイム登録処理を説明するためのフローチャート図である。 本発明の不特定人物検知システムの一実施例の追加登録の指示がなされた場合の処理を説明するためのフローチャートである。 本発明の特定人物検知システムにおいて、特定人物検知サーバに対して、追加登録を指示する場合の監視端末のディスプレイモニタの表示画面の一実施例を示す図である。 本発明の特定人物検知システムにおける確定動作手順の一実施例を説明するためのフローチャートである。 本発明の特定人物検知システムにおける特定人物検知サーバの特定人物リストの一実施例を説明するための図である。 本発明の特定人物検知システムにおける特定人物検知サーバの不特定人物リストの一実施例を説明するための図である。 本発明の実施の形態に係る特定人物検知システムにおける、画像特徴量の距離空間を概念的に表した図である。 従来の実施の形態に係る特定人物検知システムの構成図である。 撮像された顔の角度による検知精度の違いの一例を表したグラフである。
　従来例の図１０で説明したように、事前登録時に想定される人物の顔画像を収集することは、人物検知の精度を向上させることには効果があるが、きわめて多大な時間を要する。そこで、本発明では、人物の様々な角度の画像を、システム運用中に追加することで、検知精度の向上を行う。これは、顔の角度にのみについてでなく、顔画像の変化を招く、照明位置、化粧、顔の経年変化、眼鏡等の装飾具による顔画像の違いによっても同様なことが言える。このような様々な要因による顔画像を予め事前に予測することは、困難である。そのため、運用中に顔画像を順次追加、登録することでより正確に人物の検知が可能とする。
　即ち、本発明は、画像処理により特定の人物を自動検知する機能を有し、特定人物検知精度の向上する。
　以下、本発明を一実施例を図１～図８によって説明する。なお、各図の説明において、従来の技術を説明した図９と図１０を含め、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため説明を省略する。
　図１は、本発明の特定人物検知システムの一実施例の構成を示すブロック図である。１０２は監視端末、１０３は特定人物検知サーバである。また、監視端末１０２において、従来の画像表示部９２１と検知表示部９２２に加え、１２１は検索要求生成部、１２２は追加登録操作部である。さらに特定人物検知サーバ１０３において、従来の事前登録部９３１とは事前登録部と特定人物検知部９３２に加え、１３１はリアルタイム登録部、１３２は画像検索部である。
　監視端末１０２は、画像表示部９２１、検知表示部９２２、検索要求生成部１２１、および追加登録操作部１２２から構成され、撮像装置９０１－１～９０１－ｎからネットワーク９００を介して入力された画像の表示や、特定人物検知サーバ９０３からネットワーク９００を介して入力された検知信号によるメッセージ等を表示するユーザインタフェースを提供する。なお、監視端末１０２は、監視端末９０２と同様に、液晶ディスプレイやＣＲＴ等のディスプレイモニタ、キーボードやマウス等でＧＵＩ（グラフィカル・ユーザ・インタフェース）操作するためのユーザ入力部などを備える、ＰＣ（パーソナル・コンピュータ）等の装置である。
　特定人物検知サーバ１０３は、事前登録部９３１、特定人物検知部９３２、リアルタイム登録部１３１、および画像検索部１３２から構成され、ＣＰＵ（セントラル・プロセッシング・ユニット：中央処理装置）やＭＰＵ（マイクロ・プロセッシング・ユニット：マイコン）などの制御部や演算部と、ＲＡＭ（ランダム・アクセス・メモリ）やフラッシュメモリ等の内部メモリと、ＨＤＤ（ハード・ディスク・ドライブ）等の記憶媒体を備える、コンピュータ等の装置である。
　図１において、監視端末１０２は、画像検索対応監視端末であり、特定人物検知サーバ１０３は、更新型の特定人物検知サーバである。本発明の特定人物検知サーバ１０３は、従来の特定人物検知サーバ９０３と同様に、ＣＰＵやＭＰＵなどの制御部や演算部と、ＲＡＭやフラッシュメモリ等の内部メモリと、ＨＤＤ等の記憶媒体を備える、コンピュータ等の装置である。
　特定人物検知サーバ１０３のリアルタイム登録部１３１は、撮像装置９０１－１～９０１－ｎからネットワーク９００を介して入力された画像中から見つけ出された１個もしくは複数個の任意の人物に対し、その人物を不特定人物リスト、若しくは特定人物リストに登録する処理を実行する。この処理は、リアルタイムに実施される。
　不特定人物リストは、特定人物リストと同様に、例えば、データベースである。不特定人物リストは、ＨＤＤ等の記憶媒体（図示しない）に格納される。不特定人物リストには、特定人物リストのデータと同じデータに加え、例えば、画像類似度から算出する信頼度を登録人物毎に登録する。信頼度は、例えば、特定人物検知処理において、算出される画像類似度を参照して、最も高い値の画像類似度を用いれば良い。また、ＨＤＤ等の記憶媒体は、特定人物検知サーバ１０３に直接接続されても良く、ネットワーク９００を介して接続されても良い。
　特定人物検知サーバ１０３の画像検索部１３２は、任意の人物の画像を用いて、不特定人物リストを対象に、主に、類似する画像を検索する処理を実行する。不特定人物リストから、検索キー画像で指定された人物の画像検索を行う。なお本書では、以降、探し出したい人物の画像、つまり、検索のキーとなる画像を検索キー画像と呼ぶ。
　画像検索部１３２は、具体的には、検索キー画像から抽出した画像特徴量と不特定人物リストの画像特徴量との比較によって画像類似度を算出し、算出した画像類似度が所定の閾値以上の人物リストの画像を抽出する。
　該当人物の検索キー画像は、リアルタイム登録部１３１に入力された画像、つまり、特定人物リストまたは、不特定人物リストに含まれる画像や、後述する監視端末１０２の追加登録操作部１２２で指定される画像などである。また、検索キー画像は、画像そのものではなく、その画像から抽出した画像特徴量でも良い。本実施例では、画像と特定人物リストの画像特徴量とを検索キー画像として利用する。
　また、画像検索部１３２は、類似する画像を検索する機能の提供だけでなく、撮像時刻範囲や撮像カメラ、人物情報等のみの条件によって、不特定人物リストから該当するデータ、つまり、人物の画像を検索する処理機能も含む。
　監視端末１０２の検索要求生成部１２１は、不特定人物リストから該当人物の類似画像を検索するため、更新型特定人物検知サーバに送信する画像検索要求信号を生成する。具体的には、監視端末１０２のユーザ入力部であるキーボードやマウスなどを操作して、ユーザによって指定された少なくとも検索キー画像または画像特徴量のいずれか、および、後述する図５の画面部位５１１で指定される検索条件、をもとに検索要求信号を生成する。
　検索要求信号に含まれ、ユーザに指定された検索キー画像は、特定人物検知サーバの画像検索部において、画像特徴量が抽出される。また、検索キー画像として、画像特徴量そのものを指定しても良い。
　監視端末１０２の追加登録操作部１２２は、不特定人物リストからユーザの判断で、または自動的に、確定された人物情報が付加されたデータを特定人物リストへ追加する。追加登録操作部１２２の処理によって、不特定人物リストから特定人物リストに追加するべきデータを選び出す作業が画像検索によって効率良く、かつ、短時間で可能となる。
　画像検索は、画像検索対応の監視端末１０２の検索要求生成部１２１および更新型の特定人物検知サーバの画像検索部１３２によって実行される。
　具体的には、画像検索によって得られた画像毎の信頼度で、所定の閾値以上であり、類似性が高く明らかに該当人物の画像と判断できる画像については、不特定人物リストから特定人物リストへ自動的に追加する。また、信頼度が閾値未満の画像に対しては、ユーザが判断するように構成する。
　図１の実施例に、さらに、上記図１の実施例には示さなかったが、システム構成に録画装置を加えても良い。
　例えば、ネットワーク９００に録画装置を接続し、撮像装置９０１－１～９０１－ｎからネットワーク９００を介して入力された画像を録画装置に常時記憶する。
　さらに、特定人物リストおよび不特定人物リスト等のデータベースを、ＨＤＤ等の記憶媒体ではなく、録画装置に記憶するようにしても良い。
　監視端末１０２および特定人物検知サーバ１０３は、ネットワーク９００を介して録画装置に接続し、録画装置から画像データを読み込む。録画装置を備えた本実施例は、ネットワーク９００を介して直接撮像装置９０１－１～９０１－ｎからの画像を取得する替わりに、録画装置を介して特定人物検知のための画像および付加情報（撮像装置のＩＤ、撮像年月日、等）を取得する。その他の動作は、図１の実施例と同じであるので、説明を省略する。
　次に、本発明の特定人物検知システムを構成する各装置および各処理部の処理の流れの一実施例について、以下、説明する。
　図２は、図１に示した本発明の特定人物検知システムの一実施例での各装置間における、通信シーケンスの一実施例を示す図である。
　時間軸２１１は、撮像装置９０１－１から９０１－ｎにおける時系列方向を示す軸で、図２上部から下部に向けて時間が進むことを示している。同様に、時間軸２１３は、更新型の特定人物検知サーバ１０３における時間軸を示し、時間軸２１２は、画像検索対応の監視端末１０２における時間軸を示す。また、矢印の方向に通信がなされる。
　通信２０１および通信２０２は、撮像装置９０１－１が撮像した画像を、特定人物検知サーバ１０３に伝送する通信（画像配信）処理を示す。
　通信２０３は、特定人物検知サーバ１０３が検知した内容を、監視端末１０２に伝送する通信（発報）処理を示す。
　通信２０４は、監視端末１０２にて、ユーザ操作により指示された内容を、特定人物検知サーバ１０３に伝送する通信（追加登録）処理を示す。
　通信２０５は、特定人物検知サーバ１０３にて追加登録した結果を、監視端末１０２に伝送する通信処理を示す。
　イベント２０６は、特定人物検知サーバ１０３が、特定人物を検知したことを示す。また、イベント２０７は、特定人物検知サーバ３０３が、リアルタイム登録したことを示す。
　通信２０１、２０２は、任意の所定間隔にて、常時繰り返して実施される。通信２０１～２０３と通信２０４～２０５は、同期関係であっても良いが、非同期関係にあっても良い。
　図３によって、本発明の不特定人物検知システムの一実施例における、特定人物検知サーバ１０３におけるリアルタイム登録処理の一実施例を説明する。図３は、特定人物検知サーバ１０３にて常時、繰り返し実施される処理動作の一実施例を示すフローチャートである。なお、図３の処理のほとんどは、特定人物検知部９３２が制御および実行する。このため、特定人物検知部９３２が制御する処理若しくは実行する処理には、特に処理装置名を記載しない。
　図３において、ステップＳ３０１では、画像データ着信待機を行う。撮像装置９０１－１～９０１－ｎのいずれかからの画像データの着信を検知するとステップＳ３０２の処理に進む。
　ステップＳ３０２では、通信２０１や２０２によって送信された着信が検知された撮像装置９０１－１～９０１－ｎのいずれかの画像を受信する。図３には記載しないが、画像がデータ圧縮されていた場合には、データ伸張処理を行う。
　ステップＳ３０３では、受信した画像に対して顔検出を行う。また、同時に検出した顔の数を検出顔数として一時記憶し、顔カウンタＣｔを初期化する。顔カウンタＣｔは、複数の人物が同一画像から検出された場合に、人物毎に以降のステップの処理を実施するために用いる。
　顔検出の処理は、例えば、背景画像との差分により動体検出を行い、さらにその動体領域の形状等にて顔判定をする方法や、眼、鼻、口等の主要構成要素の配置や、額と眼の濃淡差等の顔の特性を使って画像内探索を行う方法、等の周知の画像認識技術により行う。本発明では、いずれの方法であっても良い。
　ステップＳ３０４では、前のステップＳ３０３で顔が１つ以上検出された（Ｃｔ＞０）場合には、ステップＳ３０５に処理を進め、検出されなかった場合には、ステップＳ３０１に処理を戻す。
　ステップＳ３０５では、前のステップＳ３０３で検出した顔に対して画像特徴量抽出処理を行う。画像特徴量とは、画像認識技術を用いて算出される画像の傾向を示す値である。画像特徴量には、例えば、画像の色分布やエッジパターンの構図分布、眼、鼻、口等の主要構成要素の配置、それらの組合せ等を用いる。本発明では上記のいずれを使用しても良い。
　ステップＳ３０６では、前のステップＳ３０５で抽出した画像特徴量を、特定人物リストに事前登録されている各人物の画像特徴量と比較する。そして、特定人物リストの中で最も近い特徴量を有する顔（候補顔）を探し出す。この特徴量の近さは、一般に画像類似度と呼ばれ、画像同士の近さ、いわゆる類似性を示す数値であり、画像特徴量の多次元空間における両特徴量間のスカラー量にて算出する。その算出方法の詳細については、例えば、「大規模な画像集合のための表現モデル」（廣池敦他、日本写真学会誌２００３年６６巻１号Ｐ９３－Ｐ１０１）のような論文を参照することができる。
　ステップＳ３０７では、ステップＳ３０６で探し出した候補顔の画像類似度が、特定人物であるかどうかを判断（特定人物検知）する。この判断は、ステップＳ３０６で算出した画像類似度が予め与えた閾値以上であるか否かで行う。また、ステップＳ３０６で算出した画像類似度等を用いて特定人物検知の信頼度を算出する。信頼度が閾値以上であった場合には、特定人物を検知したとしてステップＳ３０８に処理を進め、それ以外の場合には、特定人物を検知しなかったとしてステップＳ３０９に処理を進める。
　ステップＳ３０８では、特定人物検知を監視端末１０２へ通信４０３として送信する。通報完了後、ステップＳ３０９へ処理を進める。
　ステップＳ３０９では、ステップＳ３０５で抽出した画像特徴量と、ステップＳ３０６で探し出した候補顔の情報とその信頼度を、リアルタイム登録部１３１に出力する。
　ステップＳ３１０では、リアルタイム登録部１３１に検知結果を出力する。リアルタイム登録部１３１は、入力された候補顔の信頼度を評価し、予め与えた閾値未満であるかどうかを判定する。閾値未満であった場合には、候補顔を特定人物リストに登録するためステップＳ３１１に処理を進め、それ以外の場合には、不特定人物リストに登録するためステップＳ３１２に処理を進める。
　ステップＳ３１１では、リアルタイム登録部は、画像特徴量を特定人物リストに追加登録する。また同時に、候補顔の情報、すなわち、名前や所属等の人物に関わる情報も併せて特定人物リストに追加登録する。登録完了後、顔カウンタＣｔをカウントアップし、ステップＳ３１３に処理を進める。
　ステップＳ３１２では、リアルタイム登録部は、画像特徴量を不特定人物リストに追加登録する。また同時に、候補顔の情報、すなわち、名前や所属等の人物に関わる情報と、候補顔との信頼度も併せて不特定人物リストに追加登録する。登録完了後、顔カウンタＣｔをカウントアップし、ステップＳ３１３に処理を進める。
　ステップＳ３１３では、特定人物検知部９３２は、顔カウンタＣｔとステップＳ３０３にて一時記憶した検出顔数を比較する。顔カウンタＣｔが検出顔数未満の場合には、ステップＳ３０５に処理を進め、それ以外の場合、即ち、同一画像から検出されたすべての顔を処理し終えた場合には、ステップＳ３０１に処理を戻す。
　図４によって、本発明の不特定人物検知システムの一実施例における、監視端末から特定人物検知サーバに対して、追加登録の指示がなされた場合の特定人物検知サーバの処理の一実施例を説明する。図４は、本発明の不特定人物検知システムの特定人物検知サーバ１０３に対して、追加登録の指示がなされた場合の特定人物検知サーバ３０３における処理の流れを示すフローチャートである。なお、図４の処理のほとんどは画像検索部１３２が制御および実行する。このため、画像検索部１３２が実行する処理の場合には、特に処理装置名を記載しない。
　図４において、ステップＳ４０１では、指示データ着信待機を行う。着信を検知するとステップＳ４０２の処理に進む。
　ステップＳ４０２では、、通信２０４にて送られてきた監視端末３０２からの指示を受信する（図２参照）。
　ステップＳ４０３では、ステップＳ４０２で受信した指示内容を解析する。指示内容が検索要求である場合は、ステップＳ４０４に処理を進め、確定要求であった場合は、ステップＳ４０９に処理を進める。
　ステップＳ４０４では、ステップＳ４０２で受信した指示内容の検索方法を判定する。検索方法が、例えば、撮像時刻範囲や撮像時刻、候補顔の人物情報等の条件によって行われる通常検索要求であった場合にはステップＳ４０５に処理を進め、画像または、画像特徴量の条件によって行われる画像検索の要求であった場合にはステップＳ４０６に処理を進める。
　ステップＳ４０５では、ステップＳ４０２で受信した通常検索要求の条件によって不特定人物リストから追加登録の判断をユーザに仰ぐデータを検索する。この検索は、不特定人物リストのデータ毎に条件と合致するか逐次的に処理し、画像を探し出す処理である。
　ステップＳ４０６では、ステップＳ４０２で受信した画像検索要求の条件によって不特定人物リストから追加登録の判断を仰ぐデータを画像検索する。この検索は、例えば、条件に含まれる画像から抽出した画像特徴量と不特定人物リストのデータ毎の画像特徴量を比較し、算出した画像類似度を元に類似性の高い画像を探し出す処理である。
　ステップＳ４０７では、ステップＳ４０５またはステップＳ４０６において選択された、不特定人物リストの対象のデータを抽出する。その後、ステップＳ４０８に処理を進める。
　ステップＳ４０８では、ステップＳ４０７で抽出したデータを、監視端末１０２へ通信２０５として送信する。その後、ステップＳ４０１に処理を戻す。
　ステップＳ４０９では、確定要求に含まれる、不特定人物リストの該当の画像に対して、人物情報および画像特徴量、撮像時刻等を特定人物リストへ追加する。その後、ステップＳ４０１に処理を戻す。
　本発明の特定人物検知システムの一実施例における追加登録を指示する場合の操作を、図５のユーザインターフェースを用いて説明する。図５は、本発明の特定人物検知システムにおける特定人物検知サーバ１０３に対して、ユーザがＧＵＩ操作等の操作によって、追加登録を指示する際の監視端末１０２のディスプレイモニタの表示画面の一実施例を示す図である。
　５００は、監視端末１０２のディスプレイモニタの画面上に表示される追加登録画面である。この追加登録画面５００内に、以降で説明する画面部位それぞれが表示される。ただし、検索された画像を表示する画面部位５０３は、検索条件（画面部位５１１）が入力され、かつ、画面部位５０１の未確定データ画像検索の画面部位５２４が選択操作、または画面部位５０２の未確定データ通常検索の画面部位５２４が選択操作された後に表示され、これらの操作の都度更新される。
　５１１は、不特定人物リストに対する検索条件を指定する画面部位である。５１２、５１３は、不特定人物リストに対する検索条件の、特に撮像されたカメラを指定する画面部位である。
　５１４、５１５は、不特定人物リストに対する検索条件の、特に撮像時刻を指定する画面部位である。画面部位５１４の右側の同じ行には、検索する撮像時刻の先頭時刻指定入力欄があり、この欄に表示される年月日および時刻を変更することによって検索開始時刻が変更可能である。同様に、画面部位５１５の右側の同じ行には、検索する撮像時刻の末尾時刻指定入力欄があり、この欄に表示される年月日および時刻を変更することによって検索終了時刻が変更可能である。
　画面部位５１２～５１５の左には、当該画面部位を選択するためのチェックボックスがある。
　５１６は、不特定人物リストに対する検索条件の、信頼度を指定する画面部位である。
　画面部位５１６の左には、当該画面部位を選択するためのチェックボックスがある。例えば、信頼度“高”を８０％、信頼度“中”を５０％、信頼度“低”を３０％とした場合に、“高”がチェックされている場合には、信頼度８０％以上のすべての画像を検索し、“中”がチェックされている場合には、信頼度５０％以上８０％未満の画像を検索し、“低”がチェックされている場合には、信頼度３０％以上５０％未満の画像を検索する。また、“高”と“中”とがチェックされている場合には、信頼度５０％以上のすべての画像を検索し、“中”と“低”とがチェックされている場合には、信頼度３０％以上８０％未満の画像を検索し、“高”、“中”、“低”すべてがチェックされている場合には、信頼度３０％以上のすべての画像を検索する。
　また、画面部位５１６の左がチェックボックスではなく、ラジオボタンである場合には、信頼度“高”を８０％、信頼度“中”を５０％、信頼度“低”を３０％とした場合に、“高”がチェックされている場合には、信頼度８０％以上のすべての画像を検索し、“中”がチェックされている場合には、信頼度５０％以上のすべての画像を検索し、“低”がチェックされている場合には、信頼度３０％以上のすべての画像を検索する。
　次に、画面部位５０１において、５１７は、特定人物リストを人物情報で分類し、表示する画面部位である。５１８は、分類された人物をユーザが選択する画面部位である。画面部位５１８には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
　また、５１９は、特定人物リストにおいて保持され、画面部位５１８で選択された人物の画像を１つ表示する画面部位である。５２０は、画面部位５１９で指定された人物の画像を他の画像へ切り替える画面部位である。左右のボタン図形のいずれかを選択押下することによって切り替える。
　５２１は、不特定人物リストに対して、画像検索を実施するためのボタン図形の画面部位である。
　なお５７１は、参照する画像をどこから読み込むかを選択するための画面部位である。例えば、ＨＤＤ等の記憶媒体から読み込む場合や、ＵＳＢ接続等により外部記憶媒体またはリムーバル記憶媒体から読み込む場合等、選択可能である。
　以上述べたように、図５において、画面部位５１１によって検索条件を決め、画像検索のための画面部位５０１を使用して検索し、画面部位５１９に表示された画像を、ユーザが特定人物として確定することによって、画像検索による未確定データの特定人物リストへの追加操作ができる。
　さて、画面部位５０２において、５２２は、不特定人物リストを人物情報で分類し、表示する画面部位である。また５２３は、分類された人物をユーザが選択する画面部位である。画面部位５２３には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
　５２４は、不特定人物リストに対して、通常検索を実施するためのボタン図形の画面部位である。
　５５０は、画像５３１～５４０を所定の人物であると確定する時に、特定人物リストのどの人物の画像データであるかを、確定情報として選択する画面部位である。
　なお、画面部位５５０には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
　図５において、画面部位５１１によって検索条件を決め、通常検索のための画面部位５０２を使用して検索する。このユーザ操作によって、画面部位５０３が表示される。若しくは、すでに図５において、画面部位５０３が表示されている場合には、画面部位５０３が更新される。画面部位５０３には、画像すべてを一度に表示できない時には、スライダの画面部位が付属している。
　次に、画面部位５０３の画面部位５３１～５４０の画像のいずれかをユーザが確認し、当該画像に関連する（本実施例では、画像の下側に）確定ボタン５５１～５６０を選択することによって、ユーザが特定人物として確定することによって、画像検索による未確定データの特定人物リストへの追加操作ができる。
　画面部位５５０でユーザが必要な人物を選択してから、確定ボタンの画面部位５５１～５６０のいずれかを選択することによって、関連する画面部位５３１～５４０の画像のいずれかのデータを、特定人物リストの当該人物の画像データとして追加登録することができる。また例えば、１つの画面部位５３１の画像に複数の人物が撮像されている（図示しない）場合には、マウス等でどちらかの人物を指定して画面部位５５０で人物を変更することによって、容易に特定人物リストに追加することができる。
　図６によって、本発明の特定人物検知システムにおける、監視端末１０２から特定人物検知サーバ１０３に対して追加登録を行う場合の、監視端末の具体的な操作手順をさらに説明する（図１～図５参照）。図６は、本発明の特定人物検知システムにおける確定動作手順の一実施例を説明するためのフローチャートで、画像検索対応の監視端末１０２から更新型の特定人物検知サーバ１０３に対して、追加登録を指示する際、ユーザによる画像検索対応監視端末３０２のインターフェース操作を説明している。図６のフローチャートでは、ユーザ操作による動作であり、図５の追加登録画面５００での画面部位や画像ＧＵＩ操作等の操作が主体である。即ち、以下の処理ステップは、ユーザの動作（操作）である。
　ステップＳ６０１では、画面部位５１１にて、ユーザは、不特定人物リストの内、ユーザが確定するデータの検索条件を指定する。例えば、画面部位５１２のチェックボックスを選択すると、検索時においてカメラ１のデータを検索対象とする。逆に画面部位５１２のチェックボックスが選択されていなければ、カメラ１のデータを検索対象外とする。その後、ユーザは、ステップＳ６０２に移る。
　ステップＳ６０２では、ユーザは、検索方法を選択する。ユーザが画像検索を望む場合は、ステップＳ６０３に進む。または、通常検索を望む場合は、ステップＳ６０８に進む。
　ステップＳ６０３では、ユーザは、画像検索における検索キー画像の取得方法を選択する。既に人物が特定されている画像、つまり、特定人物リストから検索キー画像を選択する場合は、ステップＳ６０４に進む。または、ユーザが保持する画像、つまり、ＵＳＢメモリ等の外部接続の記憶媒体に保存されている画像等から検索キー画像を選択する場合は、ステップＳ６０５に進む。
　ステップＳ６０４では、画面部位５１７にて、これまでに人物が特定されている特定人物リストから人物を選択する。その後、ユーザは、ステップＳ６０６に進む。
　ステップＳ６０６では、ユーザは、特定人物リストのステップＳ６０４で指定した人物の画像を選択する。ステップＳ６０４で指定された人物の画像が複数ある場合は、ユーザは、画面部位５２０を用いて、その１つを選択する。その後、ユーザは、ステップＳ６０７に進む。
　ステップ６０７では、ユーザは、画面部位５２１である画像検索ボタンを押下する。監視端末１０２は、このボタン押下を検知することで、画像検索要求を生成し、特定人物検知サーバ１０３に画像検索要求を送信する。ここで、特定人物検知サーバ１０３における画像検索部１３２において、画像検索がなされ、監視端末１０２に結果が返信される。その結果、図５の画面部位５３１～５４０の画像が表示される。その後、ユーザは、ステップＳ６１０に進む。
　ステップＳ６１０では、ユーザは、付加する人物情報を画面部位５５０にて選択する。図５においては、人物Ａが選択されており、後述する確定処理において、各画像には人物情報として「Ａ」が付加される。その後、ユーザは、ステップＳ６１１に進む。
　ステップＳ６１１では、ユーザは、ステップＳ６１０において、選択した人物の画像をユーザの判断にて選択する。ユーザは、ステップＳ６１０において選択した人物であれば、自身の判断によって各画像のボタン図形の画面部位５５１～５６０それぞれを押下する。監視端末１０２は、ボタン図形の押下を検知することで、画像毎の確定要求を生成し、特定人検知サーバ１０３に確定要求を送信する。
　ステップＳ６０５では、ユーザは、監視端末１０２が参照可能な画像を選択する。例えば、監視端末１０２に接続されたＵＳＢ接続等により外部記憶媒体またはリムーバル記憶媒体から画像を選択する。その後、ユーザは、ステップＳ６０７に進む。
　ステップＳ６０８では、ユーザは、不特定人物リストから確定させたい人物を画面部位５２３を用いて選択する。図５においては、人物「Ａ」が選択されており、不特定人物リストから画面部位５１１で指定された条件で人物「Ａ」のデータが後述する通常検索にて、抽出される。その後、ユーザは、ステップＳ６０９に進む。
　ステップＳ６０９では、ユーザは、通常検索ボタンの画面部位５２４を押下する。監視端末１０２は、ボタンの押下を検知することで、通常検索要求を生成し、特定人物検知サーバ１０３に通常検索要求を送信する。ここで、特定人物検知サーバ１０３における画像検索部１３２において、検索がなされ、監視端末１０２に結果が返信される。その結果の例を表したのが、画面部位５３１～５４０である。その後、ユーザは、ステップＳ６１０に進む。
　次に、本発明の特定人物検知システムにおける特定人物リストおよび不特定人物リストの一実施例を図７Ａおよび図７Ｂに示す。図７Ａは、本発明の特定人物検知システムにおける特定人物検知サーバの特定人物リストの一実施例を説明するための図であり、図７Ｂは、本発明の特定人物検知システムにおける特定人物検知サーバの不特定人物リストの一実施例を説明するための図である。
　項目７１１、７２１は、登録ＩＤを表し、リスト毎に固有の値がデータ毎に割り振られている。項目７１２、７１３、７２２、７２３は、画像が撮像された時刻やカメラの情報である。項目７１４、７２４は、該当画像から抽出された画像特徴量が記憶された場所を示すＨＤＤ等の記憶媒体のアドレスである。項目７１６、７２７は、画像が記憶された場所を示すＨＤＤ等の記憶媒体のアドレスである。
　図７Ａの特定人物リストにおいて、特定人物リストの項目７１５は、画像毎に付与された人物情報であり、例えば人物の名前や識別番号である。
　図７Ｂの不特定人物リストにおいて、項目７２５は、特定人物検知処理により付与された人物情報であり、システムが自動で仮に付与した、例えば、人物の名前や識別番号である。また項目７２６は、項目７２５に付与された人物情報の信頼度である。
　図７Ｂの項目７２５の人物情報において、特定人物リストにない人物がグレイな人物として、“人物Ｗ”と表示されている。
　なお、図７Ａ、Ｂのリストは、ユーザの操作に応じて、監視端末１０２のディスプレイモニタの表示画面として出力することも可能であり、その場合には、グレイな人物の欄を強調する色表示等のデコレーション表示が可能である。同様に、信頼度の値を、信頼度“高”、信頼度“中”、信頼度“低”の設定値で色分け表示するようにしても良い。
　上記記載の特定人物検知システムＸの動作を、特定人物リストないしは不特定人物リストに登録されている情報を画像特徴量の関係を示す図８によって説明する。図８は、画像特徴量の距離空間での特定人物検知や画像検索における画像特徴量間の関係を概念的に表した図である。
　ここで、同一人物の顔画像から抽出した画像特徴量８１１から８１３が特定人物検知用として特定人物リストに登録されているとする。ここで、例えば、新たに撮像装置で撮像された人物の顔画像の画像特徴量８１４，８１７を得たとする。その場合に、画像特徴量８１３と８１４の距離（差）が予め設定した距離の閾値より近ければ（閾値未満であれば）、画像特徴量８１４の画像は、所定の人物と特定し、当該特定人物リストに新たに追加登録することができる。または、画像検索によって得られた、類似する画像の画像特徴量８１７をユーザの判断によって新たに特定人物リストに追加登録することができる。
　その後、画像特徴量８１４と距離が近い別の画像特徴量８１５や８１６が特定人物検知の対象画像となった場合に、画像特徴量８１５や８１６、８１８を該当人物と判断することができる。
　即ち、従来の特定人物検知システムでは、撮像角度、画像解像度、照明環境等の条件により、特定人物リストに記憶する画像特徴量の差が大きくなり、本来同一であるはずの人物を別々の人物として判断していた。しかし、本発明の特定人物検知システムによれば、システム運用中に、リアルタイムに、画像特徴量の距離に応じて自動的に判断するか、あるいはユーザの判断によって、特定人物リストまたは不特定人物リストに、まとめて登録することができる。この結果、人物特定検知の精度を飛躍的に向上させることができる。
　さらには、人物特定検知精度が向上したことにより、撮像角度、画像解像度、照明環境等の条件的制約が大幅に緩和され、ドアやゲートを設置できないような場所でも特定人物検知システムを使用することが可能となり、特定人物検知システムの適用範囲を広げることができる。
　なお、上記実施の形態の構成および動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
　また、説明の簡略化のため、上記図１の実施例では、システムを構成する装置は、各１台で説明した。しかし、これらはネットワークに対し、複数台の接続が可能である。
　また同様に、上記実施例においては、事前登録部９３１と特定人物検知部９３２、リアルタイム登録部１３１、画像検索部１３２を、更新型の特定人物検知サーバ１０３に一体に備える構成としたが、一部の処理部を別個の装置に備える構成としても良い。
　また同様に、上記実施例においては、画像表示部９２１と検知表示部９２２、検索操作部１２１、追加登録操作部１２２を、画像検索対応の監視端末１０２に一体に備える構成としたが、一部の処理部を別個の装置に備える構成としても良い。
　また同様に、上記実施例においては、特定人物リストと不特定人物リストを別個の構成として示したが、これらを統合した構成として、一元管理するようにしても良い。
　１０２：監視端末、　１０３：特定人物検知サーバ、　１２１：検索要求生成部、　１２２：追加登録操作部、　１３１：リアルタイム登録部、　１３２：画像検索部、　５００：追加登録画面、　５０２、５０３、５１１～５２４、５３１～５４０、５５０～５６０：画面部位、　９００：ネットワーク、　９０１－１～９０１－ｎ：撮像装置、　９０２：監視端末、　９０３：特定人物検知サーバである。　９２１：画像表示部、　９２２：検知表示部、　９３１：事前登録部、　９３２：特定人物検知部。

Claims (2)

  1. 　画像を撮像する撮像装置と、特定人物検知サーバ、人物情報を記憶するデータベース、監視端末を備えた特定人物検知システムにおいて、
    　前記データベースは、特定人物リストと不特定人物リストを有し、
    　前記特定人物検知サーバは、前記撮像装置により撮像された画像を取得して、取得した画像から抽出した画像特徴量を用い、前記取得した画像の人物を特定するための信頼度を算出し、算出された信頼度に基づいて前記取得した画像の画像データを前記不特定人物リストに記憶することによって前記データベースを更新し、
    　前記撮像装置により撮像された画像、若しくは、前記監視端末からの要求に応じて前記不特定人物リストの人物情報を前記特定人物リストに追加登録することを特徴とする特定人物検知システム。
  2. 　請求項１記載の特定人物検知システムにおいて、前記監視端末は、追加登録画面をディスプレイモニタに出力し、前記ディスプレイモニタに表示された前記追加登録画面の検索条件の画面部位および不特定人物リストを検索する画面部位を有し、ユーザが入力する前記検索条件の画面部位および前記不特定人物リストを検索する画面部位の条件に基づいて、前記追加登録画面に前記特定人物リストに追加登録する候補顔を表示し、ユーザの指示に基づいて、追加登録することを特徴とする特定人物検知システム。
PCT/JP2011/055737 2010-08-27 2011-03-11 人物検知システム WO2012026147A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/819,494 US9141184B2 (en) 2010-08-27 2011-03-11 Person detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010190862A JP5730518B2 (ja) 2010-08-27 2010-08-27 特定人物検知システムおよび特定人物検知方法
JP2010-190862 2010-08-27

Publications (1)

Publication Number Publication Date
WO2012026147A1 true WO2012026147A1 (ja) 2012-03-01

Family

ID=45723167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/055737 WO2012026147A1 (ja) 2010-08-27 2011-03-11 人物検知システム

Country Status (3)

Country Link
US (1) US9141184B2 (ja)
JP (1) JP5730518B2 (ja)
WO (1) WO2012026147A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519316A (zh) * 2013-10-08 2015-04-15 欧姆龙株式会社 监视系统、监视方法、监视程序、及记录介质
US9141184B2 (en) 2010-08-27 2015-09-22 Hitachi Kokusai Electric Inc. Person detection system

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7383332B2 (en) 2002-04-08 2008-06-03 International Business Machines Corporation Method for problem determination in distributed enterprise applications
EP1527395A4 (en) * 2002-06-25 2006-03-01 Ibm METHOD AND SYSTEM FOR CONTROLLING THE PERFORMANCE OF AN APPLICATION IN A DISTRIBUTED ENVIRONMENT
US9721388B2 (en) * 2011-04-20 2017-08-01 Nec Corporation Individual identification character display system, terminal device, individual identification character display method, and computer program
JP5977498B2 (ja) * 2011-10-14 2016-08-24 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP2013196043A (ja) * 2012-03-15 2013-09-30 Glory Ltd 特定人物監視システム
US9135273B2 (en) 2012-05-24 2015-09-15 Hitachi Kokusai Electric Inc. Similar image search system
TWI510082B (zh) * 2012-06-06 2015-11-21 Etron Technology Inc 用於影像辨識之影像擷取方法及其系統
US20140184803A1 (en) * 2012-12-31 2014-07-03 Microsoft Corporation Secure and Private Tracking Across Multiple Cameras
KR101440274B1 (ko) * 2013-04-25 2014-09-17 주식회사 슈프리마 얼굴 인식 서비스 제공 장치 및 방법
KR102126868B1 (ko) * 2013-11-15 2020-06-25 한화테크윈 주식회사 영상 처리 장치 및 방법
EP3099061A4 (en) * 2014-01-23 2017-08-23 Hitachi Kokusai Electric Inc. Image search system and image search method
JP6396682B2 (ja) * 2014-05-30 2018-09-26 株式会社日立国際電気 監視カメラシステム
JP6609999B2 (ja) * 2015-05-26 2019-11-27 株式会社リコー 情報処理装置、情報処理システム、情報提供方法、及びプログラム
WO2017006749A1 (ja) * 2015-07-03 2017-01-12 株式会社日立国際電気 画像処理装置および画像処理システム
US10657365B2 (en) * 2015-09-14 2020-05-19 Hitachi Kokusai Electric Inc. Specific person detection system and specific person detection method
WO2017077902A1 (ja) * 2015-11-06 2017-05-11 日本電気株式会社 データ処理装置、データ処理方法、及び、プログラム
US9977950B2 (en) * 2016-01-27 2018-05-22 Intel Corporation Decoy-based matching system for facial recognition
US10732643B2 (en) * 2016-04-07 2020-08-04 Hitachi, Ltd. Control system, moving object, and control apparatus
JP7083809B2 (ja) 2016-08-02 2022-06-13 アトラス５ディー， インコーポレイテッド プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
US10579741B2 (en) 2016-08-17 2020-03-03 International Business Machines Corporation Proactive input selection for improved machine translation
US10311330B2 (en) * 2016-08-17 2019-06-04 International Business Machines Corporation Proactive input selection for improved image analysis and/or processing workflows
CN110084089A (zh) * 2016-10-26 2019-08-02 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法
US10311288B1 (en) * 2017-03-24 2019-06-04 Stripe, Inc. Determining identity of a person in a digital image
KR102476756B1 (ko) * 2017-06-20 2022-12-09 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
WO2019026996A1 (ja) 2017-08-04 2019-02-07 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7024396B2 (ja) * 2017-12-26 2022-02-24 トヨタ自動車株式会社 人物探索システム
JP2019185384A (ja) * 2018-04-10 2019-10-24 キヤノン株式会社 画像認証装置、画像認証方法、コンピュータプログラムおよび記憶媒体
CN108764061A (zh) * 2018-05-07 2018-11-06 天津科技大学 一种具有监控及安全警示功能的用户认证方法及装置
JP7248097B2 (ja) * 2019-03-01 2023-03-29 日本電気株式会社 辞書生成装置、生体認証装置、辞書生成方法、およびプログラム
CN114092881A (zh) * 2021-11-17 2022-02-25 北京市博汇科技股份有限公司 一种人物重识别方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176653A (ja) * 2007-01-19 2008-07-31 Omron Corp 監視装置および方法、並びにプログラム
JP2008305400A (ja) * 2001-05-25 2008-12-18 Toshiba Corp 顔画像記録装置、及び顔画像記録方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954859B1 (en) * 1999-10-08 2005-10-11 Axcess, Inc. Networked digital security system and methods
JP4177598B2 (ja) 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
US6975346B2 (en) * 2002-06-27 2005-12-13 International Business Machines Corporation Method for suspect identification using scanning of surveillance media
JP4772379B2 (ja) * 2005-05-26 2011-09-14 株式会社東芝 人物検索装置、人物検索方法および入退場管理システム
JP2007190076A (ja) 2006-01-17 2007-08-02 Mitsubishi Electric Corp 監視支援システム
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
JP5109564B2 (ja) * 2007-10-02 2012-12-26 ソニー株式会社 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
JP5213105B2 (ja) 2008-01-17 2013-06-19 株式会社日立製作所 映像ネットワークシステム及び映像データ管理方法
US8325999B2 (en) * 2009-06-08 2012-12-04 Microsoft Corporation Assisted face recognition tagging
JP5730518B2 (ja) 2010-08-27 2015-06-10 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305400A (ja) * 2001-05-25 2008-12-18 Toshiba Corp 顔画像記録装置、及び顔画像記録方法
JP2008176653A (ja) * 2007-01-19 2008-07-31 Omron Corp 監視装置および方法、並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141184B2 (en) 2010-08-27 2015-09-22 Hitachi Kokusai Electric Inc. Person detection system
CN104519316A (zh) * 2013-10-08 2015-04-15 欧姆龙株式会社 监视系统、监视方法、监视程序、及记录介质
EP2860662A3 (en) * 2013-10-08 2015-04-22 Omron Corporation Monitoring system, monitoring method, monitoring program, and recording medium in wich monitoring program is recorded
CN104519316B (zh) * 2013-10-08 2017-10-20 欧姆龙株式会社 监视系统、监视方法、及记录介质

Also Published As

Publication number Publication date
JP5730518B2 (ja) 2015-06-10
US9141184B2 (en) 2015-09-22
US20130329059A1 (en) 2013-12-12
JP2012048550A (ja) 2012-03-08

Similar Documents

Publication Publication Date Title
JP5730518B2 (ja) 特定人物検知システムおよび特定人物検知方法
JP5570176B2 (ja) 画像処理システム及び情報処理方法
KR20200098875A (ko) 3ｄ 얼굴인식 시스템 및 방법
WO2017212813A1 (ja) 画像検索装置、画像検索システム及び画像検索方法
US11704934B2 (en) Information processing apparatus, information processing method, and program
JP2006093955A (ja) 映像処理装置
JP6396682B2 (ja) 監視カメラシステム
US20180197000A1 (en) Image processing device and image processing system
US20230359699A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
JP2012049774A (ja) 映像監視装置
WO2022044637A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP4408355B2 (ja) 画像処理装置及び画像処理プログラム
JP2019185349A (ja) 検索装置、検索方法及びプログラム
JP7357649B2 (ja) 識別を容易にするための方法および装置
JP6112346B2 (ja) 情報収集システム、プログラムおよび情報収集方法
JP2022048818A (ja) 撮影装置、撮影装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11819623

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13819494

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11819623

Country of ref document: EP

Kind code of ref document: A1