WO2021152836A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2021152836A1
WO2021152836A1 PCT/JP2020/003741 JP2020003741W WO2021152836A1 WO 2021152836 A1 WO2021152836 A1 WO 2021152836A1 JP 2020003741 W JP2020003741 W JP 2020003741W WO 2021152836 A1 WO2021152836 A1 WO 2021152836A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
person
image
surveillance
search
Prior art date
Application number
PCT/JP2020/003741
Other languages
English (en)
French (fr)
Inventor
純一 福田
統 山下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/794,376 priority Critical patent/US20230052278A1/en
Priority to PCT/JP2020/003741 priority patent/WO2021152836A1/ja
Priority to JP2021574415A priority patent/JP7389955B2/ja
Publication of WO2021152836A1 publication Critical patent/WO2021152836A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Definitions

  • the present invention relates to an information processing device, an information processing method, and a recording medium.
  • Patent Document 1 displays an image list of detected persons related to images of cameras selected from a plurality of cameras by user operation, and excludes the camera from which the person image of the target person selected from the image list is acquired.
  • a person search system for searching a target person by image matching with a person image is disclosed, in which images related to other cameras are searched.
  • a map of the search target area a camera icon indicating the installation position of the surveillance camera on the map, and a display control unit for displaying a person image of the search target person on the same screen.
  • An operation reception unit that accepts an operation of superimposing one of the person image and the camera icon on the screen, the person image, and a surveillance image taken by the surveillance camera related to the camera icon based on the operation.
  • An information processing apparatus including a processing request unit that requests collation processing with and is provided.
  • An information processing method is provided that comprises a step of requesting.
  • a recording medium in which a step for requesting a collation process with and a program for executing the operation is recorded is provided.
  • an information processing device an information processing method, and a recording medium that allow a user to easily search for a target person from surveillance images in a desired surveillance camera.
  • FIG. 1 is a block diagram showing an example of the overall configuration of the person search system 1 according to the present embodiment.
  • the person search system 1 is included in the surveillance video by collating the person designated as the search target on the user terminal 10 (hereinafter referred to as "target person") with the video stored in the management server 20. It is a computer system that searches for the target person from.
  • the person search system 1 includes a user terminal 10, a management server 20, and a surveillance camera 30.
  • the user terminal 10, the management server 20, and the surveillance camera 30 are connected via a network NW1 and a network NW2 such as the Internet or a LAN (Local Area Network).
  • NW1 and the network NW2 are different networks, but they may be configured as the same network.
  • the user terminal 10 is a terminal used when a user of this system performs various input operations such as designation of a target person, designation of a surveillance camera 30 corresponding to a video to be searched, and designation of search conditions.
  • a laptop computer, a desktop computer, a tablet terminal, a smartphone, or the like is preferably used as the user terminal 10.
  • the user terminal 10 requests the management server 20 to execute a predetermined process based on the input information.
  • the management server 20 is a device that manages the video captured by the surveillance camera 30, analyzes the video, collates the image, and manages the biometric information of the registrant and the detected person.
  • a server computer is preferably used as the management server 20.
  • the surveillance camera 30 is a photographing device such as a digital video camera or an infrared camera.
  • the type of the surveillance camera 30 can be appropriately selected according to the monitoring target and the installation environment. Further, the surveillance camera 30 can be installed at any place such as a residential area, a downtown area, a transportation facility, a financial institution, a factory, an office building, a theme park, an event venue, or the like.
  • the management server 20 includes a registrant information DB 21, a video information DB 22, a camera information DB 23, and a detection history information DB 24.
  • the database provided in the management server 20 is not limited to these.
  • FIG. 2 is a diagram showing an example of information stored in the registrant information DB 21 in the present embodiment.
  • Data items of registrant information include registrant ID, registered face image, facial feature amount, name, gender, age, registration date and time, and registration reason. However, the data items are not limited to these.
  • the "registrant" in the present embodiment is a person registered in various lists such as a VIP list, a blacklist, and a customer list.
  • the reason for registration is the reason why the person is registered in the registrant information DB 21. For example, when the registrant information is a blacklist for registering a person requiring attention, the detailed reason is recorded.
  • FIG. 3 is a diagram showing an example of information stored in the video information DB 22 in the present embodiment.
  • the data items of the video information include a video ID unique to each video data, a file name, a file save destination, a camera ID of the surveillance camera 30 that shot the video, a shooting location, a shooting start date and time, a shooting end date and time, a DB registration date and time, and The frame rate can be mentioned.
  • the data items are not limited to these.
  • FIG. 4 is a diagram showing an example of information stored in the camera information DB 23 in the present embodiment.
  • the data items of the camera information include a camera ID unique to each surveillance camera 30, position information indicating the installation location of the surveillance camera 30, a shooting direction of the surveillance camera 30, and a camera type.
  • the data items are not limited to these.
  • FIG. 5 is a diagram showing an example of information stored in the detection history information DB 24 in the present embodiment.
  • Examples of the data items of the detection history information include a detection SEQ, a detected face image, a face feature amount, a video ID that identifies the image of the detection source, a camera ID, a detection time, and a registrant ID.
  • the data items are not limited to these.
  • the detection SEQ is a unique number that is newly issued each time a person is detected.
  • the detection time is a time stamp of the display frame of the detection destination of the face image.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of the user terminal 10 in the present embodiment.
  • the user terminal 10 is a computer that performs calculation, control, and storage, and includes a CPU (Central Processing Unit) 101, a RAM (Random Access Memory) 102, a ROM (Read Only Memory) 103, and a storage. It includes 104, a communication I / F (Interface) 105, a display device 106, an input device 107, and a medium reading device 108.
  • the devices are connected to each other via buses, wiring, drive devices, and the like.
  • the CPU 101 is a processor having a function of performing a predetermined operation according to a program stored in the ROM 103 or the storage 104 and controlling each part of the user terminal 10.
  • the RAM 102 is composed of a volatile storage medium and provides a temporary memory area necessary for the operation of the CPU 101.
  • the ROM 103 is composed of a non-volatile storage medium and stores necessary information such as a program used for the operation of the user terminal 10.
  • the storage 104 is composed of a non-volatile storage medium and stores operation programs and data of the user terminal 10.
  • the storage 104 is composed of, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • Communication I / F105 is a communication interface based on standards such as Ethernet (registered trademark), Wi-Fi (registered trademark), and 4G, and is a module for communicating with other devices.
  • the display device 106 is a liquid crystal display for displaying moving images, still images, characters, etc., an OLED (Organic Light Emitting Diode) display, and the like, and is used for presenting information to a user.
  • OLED Organic Light Emitting Diode
  • the input device 107 is a keyboard, a pointing device, a button, or the like, and accepts operations by the user.
  • the display device 106 and the input device 107 may be integrally formed as a touch panel.
  • the medium reading device 108 is a device that reads video data and still image data recorded on a recording medium.
  • Examples of the recording medium include a DVD disc, a Blu-Ray (registered trademark) disc, a magnetic tape, a flash memory, a smartphone, and the like.
  • the medium reader 108 is composed of, for example, a disk drive, a card reader, an image scanner, and the like.
  • FIG. 7 is a block diagram showing an example of the hardware configuration of the management server 20 in this embodiment.
  • the management server 20 includes a CPU 201, a RAM 202, a ROM 203, a storage 204, a communication I / F (Interface) 205, a display device 206, and the like as a computer that performs calculation, control, and storage. It includes an input device 207 and a medium reading device 208. The devices are connected to each other via buses, wiring, drive devices, and the like.
  • FIGS. 6 and 7 The hardware configuration shown in FIGS. 6 and 7 is an example, and devices other than these may be added or some devices may not be provided. Further, some devices may be replaced with another device having the same function. Further, some functions of the present embodiment may be provided by other devices via a network, or the functions of the present embodiment may be distributed and realized by a plurality of devices. As described above, the hardware configuration shown in FIGS. 6 and 7 can be changed as appropriate.
  • FIG. 8 is a flowchart showing an example of processing of the management server 20 in the present embodiment. This process is executed when the management server 20 detects a person appearing in the image captured by the surveillance camera 30 and registers the face image of the detected person in the detection history information DB 24 in a searchable state.
  • step S101 the management server 20 determines whether or not the video data has been acquired from the surveillance camera 30 or the medium reader 208.
  • step S101 the management server 20 determines that the video data has been acquired (step S101: YES)
  • step S102 the process proceeds to step S102.
  • step S101 determines that the video data has not been acquired (step S101: NO)
  • the process proceeds to step S103.
  • step S102 the management server 20 stores video data in the storage 204.
  • the management server 20 issues a unique video ID to the video data, and registers the video information including the video ID in the video information DB 22.
  • step S103 the management server 20 determines whether or not to execute the person detection process for the video data stored in the storage 204.
  • the management server 20 determines that the person detection process is to be executed (step S103: YES)
  • the process proceeds to step S104.
  • step S103: NO the process of FIG. 8 ends.
  • step S104 the management server 20 reads the video data stored in the storage 204 into the RAM 202, which has not yet been subjected to the person detection process.
  • step S105 the management server 20 determines whether or not a person's face has been detected from the video data. Here, if it is determined that the management server 20 has detected the face of a person (step S105: YES), the process proceeds to step S106.
  • step S105 when it is determined that the management server 20 has not detected the face of a person (step S105: NO), the process proceeds to step S115.
  • step S106 the management server 20 issues a detection SEQ when the face image is detected.
  • the management server 20 acquires a face image from the video data (step S107)
  • the management server 20 calculates the face feature amount from the face image (step S108).
  • step S109 the management server 20 determines whether or not the detected face image is an image of the first detected person. For example, the management server 20 can determine whether or not a face image is registered by searching the detection history information DB 24 based on the face feature amount.
  • step S109: YES when the management server 20 determines that the face image of the person is detected for the first time (step S109: YES), the process proceeds to step S110. On the other hand, when the management server 20 determines that the face image of the person has already been detected (step S109: NO), the process proceeds to step S111.
  • step S110 the management server 20 issues a unique detected person ID to the detected person (hereinafter, referred to as "detected person").
  • the detected person ID is common among a plurality of images.
  • step S111 the management server 20 acquires the detected person ID from the detection history information DB 24 using, for example, the face feature amount as a key.
  • the management server 20 determines whether or not the detection person is a registrant in the registrant information DB 21. For example, when the registrant ID is associated with the detected person ID in the detection history information DB 24, the management server 20 can determine that the detected person is the registrant. Further, the management server 20 may determine whether or not the detected person is a registrant by searching the registrant information DB 21 based on the face feature amount.
  • step S112 determines that the detected person is a registrant
  • step S112: NO determines that the detected person is not a registrant
  • step S113 the management server 20 acquires the registrant ID related to the detected person from the registrant information DB 21.
  • step S114 the management server 20 creates detection history information regarding the detected person and registers this in the detection history information DB 24.
  • step S115 the management server 20 determines whether or not the video data has been completed.
  • the management server 20 determines that the video data has ended (step S115: YES)
  • the process of FIG. 8 ends.
  • step S115: NO the process returns to step S104.
  • search process for target person Subsequently, the search process of the target person in the person search system 1 will be described.
  • four types of methods for a user to specify a target person for tracking work are illustrated.
  • the search method for the target person is not limited to only four types.
  • FIG. 9 is a sequence diagram showing an example of the processing of the person search system 1 in the present embodiment. This process relates to a first search method executed by a user selecting an image of a target person from a list of detected persons.
  • step S201 the user terminal 10 displays the search screen on the display device 106.
  • FIG. 10 is a diagram showing an example of a search screen according to the first search method.
  • an input field for the search target period in order from the top, an input field for searching and specifying the search target area, and a display field for the map M1 indicating the search target area are provided. ing.
  • tab T1 of "Detected person list” is selected, and guidance information on the search method ("Please select the camera icon on the map. The people photographed by the specified camera within the search target period are listed in the list format.” ”) Is displayed in tab T1.
  • step S202 the user terminal 10 determines whether or not the camera icon is selected on the map.
  • step S202 the process proceeds to step S203.
  • step S202 determines that the camera icon is not selected on the map (step S202: NO)
  • the process of step S202 is repeated.
  • step S203 the user terminal 10 identifies the surveillance camera 30 corresponding to the camera icon specified by the user, and acquires the camera ID.
  • the camera icon selected by operating the mouse pointer P is the camera icon C1.
  • the reference numerals attached to the camera icons will be described as being the same as the camera ID of the surveillance camera 30 corresponding to the camera icons.
  • step S204 the user terminal 10 makes a request for transmission of the detected person list in the specified surveillance camera 30 to the management server 20.
  • the transmission request includes the camera ID of the identified surveillance camera 30.
  • step S205 the management server 20 refers to the detection history information DB 24 using the camera ID included in the transmission request received from the user terminal 10 as a key, and acquires the detection history information related to the specified surveillance camera 30.
  • the search target period is specified on the search screen, only the detection history information whose detection time is included in the search target period can be extracted.
  • step S206 the management server 20 transmits the detected person list created based on the detection history information about the specified surveillance camera 30 to the user terminal 10.
  • step S207 the user terminal 10 displays the detected person list received from the management server 20 on the search screen.
  • FIG. 11 is a diagram showing an example of a search screen according to the first search method.
  • the detected person list LS1 related to the image taken by the surveillance camera 30 whose camera ID is “C1” is displayed.
  • the data items of the detected person list LS1 include a face image of the detected person, a detection date and time, a registered face image, detailed information, and an alert.
  • the data items of the detected person list LS1 are not limited to these.
  • the registered face image is displayed when the detected person is registered in the registrant information DB 21 as a registrant. Further, for example, when the reason for registration regarding the registrant is "person requiring attention" or the like, it is preferable that a figure or the like for calling attention is displayed in the data column of the alert.
  • the broken line arrow A1 in FIG. 11 is an operation in which the user superimposes the face image in the detected person list LS1 on the other surveillance camera 30 (camera ID: C2) displayed on the map M1 by the mouse pointer P (hereinafter, It indicates that a "drag operation” or "drag”) has been performed.
  • step S208 the user terminal 10 determines whether or not the face image in the detected person list has been dragged to the camera icon on the map.
  • step S208: YES the process proceeds to step S209.
  • step S208: NO when the user terminal 10 determines that the face image is not dragged to the camera icon on the map (step S208: NO), the process returns to step S202.
  • step S209 the user terminal 10 identifies the drag destination of the face image, that is, the surveillance camera 30 corresponding to the camera icon to be searched, and acquires the camera ID.
  • the camera ID of the surveillance camera 30 corresponding to the camera icon of the drag destination is “C2”.
  • step S210 the user terminal 10 acquires the search target period specified on the search screen by the user.
  • “2019/12/31 12:00” to “2019/12/31 14:00” are specified as the search target period.
  • step S211 the user terminal 10 transmits a search request for the target person to the management server 20.
  • the search request includes information such as a face image of the target person, a detected person ID, a search target period, and a camera ID of the surveillance camera 30 to be searched.
  • step S212 the management server 20 searches for the detection history information related to the surveillance camera 30 to be searched based on the face image included in the search request received from the user terminal 10.
  • the management server 20 transmits the search result to the user terminal 10.
  • the search result includes, for example, a video ID that identifies the video data in which the target person is shown, information on the shooting date and time of the target person, and the like.
  • step S214 the user terminal 10 displays the search result on the display device 106.
  • FIG. 12 is a diagram showing an example of a search result according to the first search method.
  • the search execution condition face image (IMG-1) of the target person / camera (C2) to be searched / search target period
  • the search result video / shooting
  • the date and time (2019/12/31 13:15:20-2019/12/31 13:15:30) / collation score (95.2)) R1 is displayed.
  • 13 and 14 are diagrams showing an example of search results according to the first search method.
  • a screen for reproducing the extracted video MV showing the target person P-1 is superimposed and displayed on the search screen.
  • the icon I- is used as a sign indicating the direction of the installation position of the surveillance camera 30 different from the surveillance camera 30 that captured the extracted video MV and the camera ID around the target person P-1. 1 to I-3 are superimposed and displayed.
  • the user specifies the face portion of the target person P-1 on the same screen, and by performing a drag operation of superimposing this on the icon in the extracted video MV, the face image of the target person P-1 and the extracted video are performed. It is preferable to be able to request a collation process with an image captured by a camera (camera ID: C1 / C4 / C7) other than the surveillance camera 30 related to the MV. As a result, the user can efficiently track the target person P-1.
  • a camera camera ID: C1 / C4 / C7
  • FIG. 14 unlike the case of FIG. 13, only the icon (camera ID: C7) indicating the surveillance camera 30 installed in the moving direction is based on the moving direction of the target person P-1 obtained from the extracted video MV. Is displayed. Further, on the map M1, the camera icon C7 indicating the surveillance camera 30 (camera ID: C7) installed in the moving direction of the target person P-1 is highlighted by being surrounded by a circular broken line B.
  • the user specifies the face part of the target person P-1 on the same screen, and by performing a drag operation of superimposing this on the camera icon C7 highlighted on the map M1, the face image of the target person P-1 is performed. It is preferable that the collation process with the image captured by a camera (camera ID: C7) other than the surveillance camera 30 related to the extracted image MV can be requested. As a result, the user can efficiently track the target person P-1.
  • the method of highlighting the camera icon is not limited to these.
  • the display style such as color, size, and shape may be changed according to the collation score.
  • FIG. 15 is a sequence diagram showing an example of processing of the person search system 1. This process relates to a second search method executed by the user designating a target person from the images displayed on the search screen.
  • step S301 the user terminal 10 displays the search screen on the display device 106.
  • FIG. 16 is a diagram showing an example of a search screen according to the second search method.
  • the map display field of the search screen the map M1 of the search target area designated by the user operation is displayed. Further, in the right area of the search screen, the tab T2 of the "video list" is selected.
  • the broken line arrow A2 in FIG. 16 specifies the face portion of the target person P-2 displayed on the selected video MV by the mouse pointer P, and the face portion of the target person P-2 is displayed on the map M1. It indicates that the drag operation has been performed so that it is superimposed on the existing camera icon C3.
  • step S302 the user terminal 10 identifies the surveillance camera 30 included in the displayed map.
  • each camera ID (C1 to C15) of the plurality of surveillance cameras 30 corresponding to the camera icons C1 to C15 displayed on the map M1 is specified.
  • step S303 the user terminal 10 transmits the video list transmission request to the management server 20.
  • the transmission request includes all camera IDs identified in step S302.
  • step S304 the management server 20 refers to the detection history information DB 24 using the camera ID included in the transmission request received from the user terminal 10 as a key, and when the detection history information regarding the specified surveillance camera 30 is acquired, the detection history is obtained.
  • the video list created based on the information is transmitted to the user terminal 10.
  • the search target period is specified on the search screen, only the detection history information whose detection time is included in the search target period can be extracted.
  • step S305 the user terminal 10 displays the video list received from the management server 20 on the display device 106.
  • the video list LS2 of the plurality of surveillance cameras 30 corresponding to the camera icons C1 to C15 displayed on the map M1 is displayed.
  • step S306 the user terminal 10 determines whether or not any video is selected from the video list.
  • step S306: YES the process proceeds to step S307.
  • step S306 NO
  • the process of step S306 is repeated.
  • step S307 the user terminal 10 transmits a video data distribution request to the management server 20.
  • the distribution request includes a video ID of a video selected from the video list.
  • step S308 the management server 20 acquires video data from the storage 204 based on the distribution request received from the user terminal 10, and distributes the video data to the user terminal 10.
  • step S309 the user terminal 10 reproduces the video received from the management server 20.
  • the image MV is enlarged and displayed in the display column of the selected image located below the image list LS2. Has been done.
  • step S310 the user terminal 10 determines whether or not the video being played is dragged to the camera icon on the map.
  • the process proceeds to step S311.
  • step S310 NO
  • the process returns to step S306.
  • step S311 the user terminal 10 acquires the information of the image display frame at the time of the drag operation and the information of the position coordinates of the mouse pointer in the display frame at the time of the drag operation.
  • the position coordinates of the mouse pointer indicate the position of the user's face in the image.
  • step S312 the user terminal 10 specifies the surveillance camera 30 to be searched (drag destination).
  • the surveillance camera 30 having the camera ID “C3” is specified.
  • the user terminal 10 acquires the search target period (step S313).
  • “2019/12/31 12:00” to “2019/12/31 14:00” are acquired as the search target period.
  • step S314 the user terminal 10 transmits a search request for the target person to the management server 20.
  • the search request includes information such as the camera ID of the surveillance camera 30, the video ID, the display frame, and the position coordinates of the target person.
  • the face detection frame that detects the face of each person is superimposed and displayed in the video distributed from the management server 20, the ID of the face detection frame of the target person specified by the user is displayed. May be included in the search request. In this case, the information on the position coordinates of the target person can be omitted.
  • step S315 the management server 20 acquires a display frame at the time of drag operation from the video data corresponding to the video ID based on the information included in the search request.
  • the management server 20 detects the face image displayed at the position coordinates of the target person from the display frame (step S316).
  • the management server 20 If the face of a person does not exist at the position coordinates in the image specified on the user terminal 10, it is preferable that the management server 20 returns the error information to the user terminal 10. However, when there is only one person in the image, the face image of the person can be detected without considering the position coordinates.
  • step S317 the management server 20 calculates the facial feature amount of the detected facial image. If the person detection process has already been executed in the selected video, the facial feature amount of the target person can be acquired from the detection history information DB 24.
  • step S318 the management server 20 searches the detection history information DB 24 for the detection history information related to the surveillance camera 30 of the search target (drag destination) based on the calculated face feature amount. Specifically, the management server 20 sequentially collates the face feature amount calculated from the face image with the face feature amount of the detected person included in the detection history information, and the similarity (collation score) is equal to or higher than a predetermined threshold value. Extract the person of.
  • the result of the collation process is regarded as a collation match. Further, when the collation score is less than a predetermined threshold value, the result of the collation process is regarded as a collation mismatch.
  • step S319 the management server 20 transmits the search result to the user terminal 10.
  • the search result includes, for example, information for reading a surveillance image showing the target person, information on the shooting date and time of the target person, and the like.
  • step S320 the user terminal 10 displays the search result received from the management server 20 on the display device 106.
  • FIG. 17 is a diagram showing an example of search results according to the second search method.
  • the search execution condition face image (IMG-2) of the target person / camera (C3) to be searched / search target period
  • the search result video / shooting
  • the date and time (2019/12/31 13:15:20-2019/12/31 13:15:29) / collation score (96.3)) R2 is displayed.
  • FIG. 18 is a sequence diagram showing an example of processing of the person search system 1. This process relates to a third search method executed by designating a target person from an image file arbitrarily designated by the user.
  • step S401 the user terminal 10 displays the search screen on the display device 106.
  • FIG. 19 is a diagram showing an example of a search screen according to the third search method.
  • the tab T3 of the "image file" is selected in the right area of the search screen.
  • the image IMG-3 of the file read by the user operation is displayed.
  • the image files that can be read are preferably still image files and moving image files.
  • the broken line arrow A3 in FIG. 19 specifies the face portion of the target person P-4 included in the image IMG-3 loaded on the search screen by the mouse pointer P, and the face portion of the target person P-4 is the map M1. It indicates that the drag operation of superimposing on the camera icon C2 displayed above is performed.
  • step S402 the user terminal 10 reads the image file specified by the user operation and displays the image on the search screen.
  • step S403 the user terminal 10 determines whether or not the image of the person being displayed is dragged to the camera icon on the map.
  • step S403: YES the process proceeds to step S404.
  • step S403 NO
  • the process of step S403 is repeated.
  • step S404 the user terminal 10 identifies the drag destination of the image file, that is, the surveillance camera 30 corresponding to the camera icon to be searched, and acquires the camera ID.
  • the camera ID of the surveillance camera 30 corresponding to the camera icon of the drag destination is “C2”.
  • step S405 the user terminal 10 acquires the position coordinates of the mouse pointer at the time of the drag operation in the image.
  • step S406 the user terminal 10 acquires the search target period specified by the user on the search screen.
  • step S407 the user terminal 10 transmits a search request for the target person to the management server 20.
  • the search request includes information such as the read image file, the position coordinates of the face specified in the image, the search target period, and the camera ID of the surveillance camera 30 to be dragged.
  • step S408 the management server 20 detects the face image of the target person from the images in the image file based on the position coordinates of the face included in the search request.
  • the management server 20 detects the face image of the target person P-4 from the image IMG-3.
  • the management server 20 If the face of a person does not exist at the position coordinates in the image specified on the user terminal 10, it is preferable that the management server 20 returns the error information to the user terminal 10. However, when there is only one person in the image, the face image of the person can be detected without considering the position coordinates.
  • the management server 20 calculates the facial feature amount from the detected facial image of the target person (step S409).
  • step S410 the management server 20 searches for detection history information related to the drag-destination surveillance camera 30 based on the calculated facial feature amount. Specifically, the management server 20 sequentially collates the face feature amount calculated from the face image with the face feature amount of the detected person included in the detection history information, and extracts a person whose similarity is equal to or higher than a predetermined threshold value. do.
  • step S411 the management server 20 transmits the search result to the user terminal 10.
  • the search result includes, for example, information for reading a surveillance image showing the target person, information on the shooting date and time of the target person, and the like.
  • step S412 the user terminal 10 displays the search result on the display device 106.
  • FIG. 20 is a diagram showing an example of search results according to the third search method.
  • the search execution condition face image (IMG-4) of the target person / camera (C2) to be searched / search target period
  • the search result video / shooting
  • the date and time (2019/12/31 13:15:20-2019/12/31 13:15:30) / collation score (93.4)) R3 is displayed.
  • FIG. 21 is a sequence diagram showing an example of processing of the person search system 1. This process relates to a fourth search method executed by the user designating a target person from the video of the search result.
  • the fourth search method is a search method in which the user specifies an arbitrary person from the images of the search results obtained by executing any of the above-mentioned first to third search methods.
  • step S501 the user terminal 10 reproduces the image of the search result received from the management server 20 on the display device 106.
  • FIG. 22 is a diagram showing an example of a search screen according to the fourth search method.
  • the video MV-2 which is the previous search result, is superimposed and displayed on the search screen.
  • the target person of the face image IMG-6 included in the search execution condition is a person of reference numeral P-6 in the video MV-2.
  • the broken line arrow A4 in FIG. 22 indicates that the user designates a person P-7 different from the target person P-6 in the video MV-2 as a new target person by the mouse pointer P, and the video MV-2 is designated by another surveillance camera. It indicates that the drag operation of superimposing on the camera icon C13 according to 30 is performed.
  • step S502 the user terminal 10 determines whether or not the video being played is dragged to the camera icon on the map.
  • the process proceeds to step S503.
  • step S502 determines that the video being played is not dragged to the camera icon on the map (step S502: NO), the process of step S502 is repeated.
  • step S503 the user terminal 10 acquires the information of the display frame of the image at the time of the drag operation and the position coordinates of the designated person in the display frame.
  • step S504 the user terminal 10 specifies the surveillance camera 30 to be searched (drag destination).
  • the camera ID of the surveillance camera 30 corresponding to the camera icon of the drag destination is “C13”.
  • the user terminal 10 acquires the search target period (step S505).
  • “2019/12/31 12:00” to “2019/12/31 14:00” are specified as the search target period.
  • step S506 the user terminal 10 transmits a search request for the designated person to the management server 20.
  • the search request includes information such as the video ID of the video of the drag source, the display frame, the position coordinates of the face of the designated person, the camera ID of the surveillance camera 30 of the drag destination (search target), and the like.
  • step S507 the management server 20 acquires the display frame at the time of the drag operation based on the information included in the search request.
  • step S508 the management server 20 detects the face image of the designated person existing at the designated position coordinates from the display frame.
  • the management server 20 detects the face image of the target person P-7 from the display frame at the time of the drag operation.
  • the management server 20 If the face of a person does not exist at the position coordinates specified on the user terminal 10, it is preferable that the management server 20 returns error information to the user terminal 10. However, when there is only one person in the video, the face image of the person may be automatically detected without considering the designated position coordinates.
  • step S509 the management server 20 calculates the facial feature amount of the detected facial image. If the person detection process has already been executed in the selected video, the face feature amount of the designated person can be acquired from the detection history information DB 24.
  • step S510 the management server 20 searches the detection history information DB 24 for the detection history information related to the drag-destination surveillance camera 30 based on the calculated face feature amount. Specifically, the management server 20 sequentially collates the face feature amount calculated from the face image of the designated person with the face feature amount of the detected person included in the detection history information, and the similarity is equal to or higher than a predetermined threshold value. Extract a person.
  • step S511 the management server 20 transmits the search result to the user terminal 10.
  • the search result includes, for example, information for reading a surveillance image showing a designated person, information on the shooting date and time of the target person, and the like.
  • step S512 the user terminal 10 displays the search result received from the management server 20 on the display device 106.
  • FIG. 23 is a diagram showing an example of search results according to the fourth search method.
  • the search execution conditions face image (IMG-7) of the target person / camera (C13) to be searched / search target period
  • search results video / shooting
  • the date and time (2019/12/31 13:15:20-2019/12/31 13:15:30) / collation score (95.0)) R4 is displayed.
  • the user performs a drag operation of superimposing the face portion (or the entire image showing the target person) of the target person displayed on the screen on the camera icon on the map, thereby performing the drag operation of the drag destination.
  • the target person can be searched from the surveillance images taken by the surveillance camera 30 corresponding to the camera icon. That is, the user can easily search for the target person from the surveillance video of the desired surveillance camera 30.
  • the present embodiment is different from the first embodiment in that the face image of only one target person designated on the screen by the user is collectively collated with the images of the plurality of surveillance cameras 30 designated on the map. ..
  • FIG. 24 is a diagram showing an example of a search screen according to the present embodiment.
  • the search target area shown on the map M2 is wider than the search target area of the map M1 such as FIG. 10 described above. Further, the scale of the map M2 is different from that of the map M1. Therefore, adjacent camera icons are superimposed and displayed on a part of the map M2.
  • the broken line arrow A5 in FIG. 24 specifies the face portion of the target person P-8 with the mouse pointer P in the image IMG-8 read by the user on the search screen, and the image IMG-8 is superimposed and displayed on the map M2. It indicates that a drag operation is performed so as to superimpose on a plurality of camera icons.
  • the method of specifying multiple camera icons at once is not limited to this.
  • the mouse pointer P may be operated so as to pass over a plurality of camera icons while being dragged and superimpose them. That is, even when a plurality of camera icons are not superimposed and displayed, a plurality of camera icons can be specified.
  • FIG. 25 is a diagram showing an example of search results in this embodiment.
  • the search execution conditions face image (IMG-8) of the target person / camera (C7 / C8 / C9) / search target period) specified by the user and the search result are displayed in the tab T3 of the search screen.
  • (Image / shooting date / time / shooting camera (C7 / C8 / C9) / collation score (95.3 / 94.6 / 97.8)) R5 is displayed.
  • the search result R5 the user can see that the target person is shown in all the surveillance cameras 30 whose camera IDs are "C7", "C8", and "C9".
  • the search result R5 since the images are displayed in chronological order, the user can easily grasp the flow line of the target person.
  • the user does not have to specify the camera icons related to the surveillance cameras 30 to be searched one by one. Since the user can collectively request the collation processing of the face image of the target person and the images of the plurality of surveillance cameras 30, the user can perform the search operation more efficiently.
  • FIG. 26 is a diagram showing an example of a search screen according to the present embodiment.
  • the dashed arrow A6 in FIG. 26 indicates that one camera icon designated by the user on the map is dragged to one face image displayed on the detected person list LS1. That is, the direction of the user's drag operation in FIG. 26 is opposite to that in FIG.
  • the search process common to the first embodiment is executed.
  • the same effect as that of the first embodiment is obtained.
  • the present embodiment is different from the above-described embodiment in that the user can perform a drag operation of superimposing a plurality of camera icons designated on the map on the face image of the target person displayed on the same screen.
  • FIG. 27 is a diagram showing an example of a search screen in the present embodiment.
  • the broken line arrow A7 in FIG. 27 indicates that the plurality of camera icons designated by the user on the map M1 are collectively dragged onto one face image displayed on the detected person list LS1. That is, the direction of the user's drag operation in FIG. 27 is opposite to that in the cases of FIGS. 19 and 24 and the like.
  • the present embodiment is different from the above-described embodiment in that the fifth search method of performing a drag operation of superimposing one selected camera icon on the map on another camera icon can be executed.
  • the sixth search method in which a drag operation is performed by superimposing a part or all of the search results obtained by executing the fifth search method on the camera icon on the map.
  • FIG. 28 is a sequence diagram showing an example of the processing of the person search system 1 in the present embodiment. This process relates to a fifth search method.
  • step S601 the user terminal 10 displays the search screen on the display device 106.
  • FIG. 29 is a diagram showing an example of a search screen according to the fifth search method.
  • the check box CB is included in the display field of the search option.
  • the user switches the search method by turning on / off the check box CB.
  • step S602 the user terminal 10 determines whether or not the camera icon selected on the map has been dragged to another camera icon.
  • step S602 determines that the selected camera icon has been dragged to another camera icon.
  • step S602 when the user terminal 10 determines that the selected camera icon is not dragged to another camera icon (step S602: NO), the process of step S602 is repeated.
  • step S603 the user terminal 10 identifies the surveillance cameras 30 corresponding to the camera icons of the drag source and the drag destination, respectively.
  • the camera ID of the surveillance camera 30 corresponding to the camera icon C1 of the drag source is “C1”.
  • the camera ID of the surveillance camera 30 corresponding to the drag-destination camera icon C2 is “C2”.
  • step S604 the user terminal 10 acquires the designated information of the person to be searched designated on the search screen.
  • step S605 the user terminal 10 acquires the search target period designated on the search screen by the user operation (step S605).
  • step S606 the user terminal 10 transmits a search request for a common character to the management server 20.
  • the search request includes information such as the camera IDs of the two surveillance cameras 30 of the drag source and the drag destination, the search target period, and the designated information of the search target.
  • step S607 the management server 20 determines whether or not the search target is a "common character".
  • step S607: YES the process proceeds to step S608.
  • step S607 NO
  • the process proceeds to step S609.
  • step S608 the management server 20 searches for a person (common character) that is commonly seen in the surveillance cameras 30 of both the drag source and the drag destination, based on the search conditions included in the search request.
  • step S609 the management server 20 sets a combination of persons (common characters) that are commonly displayed in both the surveillance cameras 30 of the drag source and the drag destination at the same time based on the search conditions included in the search request. search for.
  • step S610 the management server 20 transmits the search result to the user terminal 10.
  • the search result includes, for example, information for reading a surveillance image showing a common character, information on the shooting date and time of the common character, and the like.
  • step S611 the user terminal 10 displays the search result on the display device 106.
  • 30 and 31 are diagrams showing an example of search results according to the fifth search method.
  • the search execution condition includes not performing "combination detection" of common characters. That is, in the example of FIG. 29 described above, it corresponds to the case where the check box CB is set to OFF. Therefore, as the search result R6, the list information of the persons reflected in both of the two surveillance cameras 30 (camera ID: C1 / C2) to be searched is displayed.
  • the search execution condition includes "combination detection" of common characters. Therefore, as the search result R7, the list information of the combination of the persons who are shown together in both of the two surveillance cameras 30 (camera ID: C1 / C2) to be searched is displayed. The video included in the search result R7 may be extracted only from the video scenes that are displayed at the same time.
  • FIG. 32 is a sequence diagram showing an example of the processing of the person search system 1 in the present embodiment. This process may be performed after FIG. 28 described above with respect to the sixth search method.
  • step S612 the user terminal 10 determines whether or not the search result has been dragged to the camera icon displayed on the map.
  • step S612 determines that the search result has been dragged to the camera icon (step S612: YES)
  • the process proceeds to step S613.
  • step S612 NO
  • the process of FIG. 32 ends.
  • step S613 the user terminal 10 identifies the camera ID of the new search target surveillance camera 30 based on the user operation.
  • FIG. 33 is a diagram showing an example of a search screen according to the sixth search method.
  • the dashed arrow A8 in FIG. 33 indicates that the user specifies a part of the search result of the search process executed earlier by the mouse pointer P, and performs a drag operation of superimposing the search result on the camera icon on the map. ing.
  • the management server 20 searches for the image of the surveillance camera 30 related to the drag-destination camera icon C3 based on the combination of the face images of the designated person.
  • step S614 the user terminal 10 transmits a search request for a common character to the management server 20.
  • the search request includes information such as identification information for identifying the search result of the search process executed earlier, a search target period, a camera ID of the surveillance camera 30 to be searched, and designated information of a person to be searched.
  • step S615 the management server 20 detects a person who is also reflected in the specified surveillance camera 30 among the common characters included in the search result based on the search condition included in the search request in the detection history information DB 24. Search from.
  • the person to be searched depends on the designated information on the search screen.
  • search target is "common characters”, among the common characters shown in both the first camera and the second camera, the person also shown in the third camera is searched.
  • search target is "combination of common characters" among the combinations of common characters that are simultaneously reflected in the first and second cameras, the combination of characters that are also simultaneously reflected in the third camera. Is searched.
  • FIG. 34 is a diagram showing an example of search results according to the sixth search method.
  • the search result R8 indicates that the combination of persons specified in FIG. 33 is extracted from the video of the surveillance camera 30 (camera ID: C3) of the drag destination (search target).
  • the user performs a drag operation of superimposing the camera icons on the map to display the list information of the person commonly shown in the plurality of surveillance cameras 30 and common to the plurality of surveillance cameras 30. And you can get the list information of the combination of people who are shown at the same time. As a result, the user can efficiently perform the work of narrowing down the target person and the work of narrowing down the persons concerned with the target person.
  • the search result itself can be dragged by superimposing it on the camera icon on the map, the result of the previously executed search process can be further narrowed down.
  • a surveillance camera 30 (hereinafter, referred to as “first camera”) that captures a target person and another surveillance camera 30 (hereinafter, referred to as “second camera”) corresponding to the camera icon of the drag destination are used. It differs from the above-described embodiment in that the required time of the target person is estimated from the distance between the two and the target person, and the search target period is automatically determined based on the shooting time and the required time of the first camera.
  • the "required time” is the time required for the target person to move from the location of the first camera to the location of the second camera.
  • FIG. 35 is a flowchart showing an example of the processing of the person search system 1 in the present embodiment. This process can be performed, for example, between step S209 and step S210 shown in FIG.
  • step S701 the user terminal 10 acquires the shooting time of the display frame displayed on the screen when the face image of the target person is dragged.
  • step S702 the user terminal 10 acquires the distance between the surveillance camera 30 that captured the target person and the surveillance camera 30 that corresponds to the camera icon of the drag destination.
  • the distance between the two surveillance cameras 30 can be calculated from, for example, the position information stored in the camera information DB 23. If there is a table that records the distance between cameras, it can be obtained by referring to the table based on the two camera IDs.
  • step S703 the user terminal 10 estimates the range of required time based on the predetermined speed and the distance between the cameras.
  • the predetermined speed it is preferable that the range of the average walking speed of a human being is set, for example, 3 to 5 km / sec.
  • step S704 the user terminal 10 determines the search target period in the drag-destination surveillance camera 30 based on the shooting time and the range of the required time. After that, the process proceeds to step S210 shown in FIG.
  • the drag destination is based on the distance between the surveillance camera 30 that captured the image of the target person and the surveillance camera 30 corresponding to the camera icon of the drag destination of the face image of the target person.
  • the search target period in the surveillance camera 30 can be automatically narrowed down. As a result, the speed of the search process in the person search system 1 is improved.
  • the moving speed of the target person is calculated by analyzing the image used for designating the target person, and the surveillance camera 30 to be searched is based on the moving speed and the distance between the two surveillance cameras 30. It differs from the above-described sixth embodiment in that the search target period for is automatically determined.
  • FIG. 36 is a flowchart showing an example of the processing of the person search system 1 in the present embodiment. This process can be performed between step S312 and step S314 shown in FIG.
  • step S801 the user terminal 10 acquires the shooting time of the display frame displayed on the screen when the face image of the target person is dragged.
  • step S802 the user terminal 10 calculates the moving speed of the target person in the video.
  • the moving speed of the target person is calculated based on the length of time that the target person is actually reflected on the surveillance camera 30 and the moving distance of the target person obtained from video information (for example, magnification, shooting angle, etc.). Will be done.
  • step S803 the user terminal 10 acquires the distance between the surveillance camera 30 that captured the target person and the surveillance camera 30 that corresponds to the camera icon of the drag destination.
  • step S805 the user terminal 10 determines the search target period in the drag-destination surveillance camera 30 based on the shooting time and the range of the required time. After that, the process proceeds to step S314 shown in FIG.
  • the search target period in the drag-destination surveillance camera 30 can be automatically narrowed down based on the moving speed of the target person obtained by the video analysis and the distance between the two surveillance cameras 30. .. As a result, the speed of the search process in the person search system 1 is improved.
  • FIG. 37 is a block diagram showing the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing device 100 includes a display control unit 100A, an operation reception unit 100B, and a processing request unit 100C.
  • the display control unit 100A displays a map of the search target area, a camera icon indicating the installation position of the surveillance camera on the map, and a person image of the search target person on the same screen.
  • the operation reception unit 100B accepts an operation of superimposing one of the person image and the camera icon on the other on the screen.
  • the processing requesting unit 100C requests a collation process of the person image and the surveillance image captured by the surveillance camera related to the camera icon. According to the present embodiment, the user can easily search for the target person from the surveillance video of the desired surveillance camera.
  • the management server 20 may perform collation processing using other biological information such as an iris image or an auricle image instead of the face image. Further, the management server 20 may perform collation processing based on a combination of different types of biometric information.
  • information about the belongings may be detected and stored in the database in association with the face image.
  • carry-on items include clothes, hats, shoes, bags, eyeglasses, and various accessories.
  • the age and gender of a person may be estimated by image analysis, associated with a face image, and stored in a database.
  • the user terminal 10 may be configured to be able to request the management server 20 for collation processing based on the combination of the face image (personal image) of the target person and the designated information.
  • the user can search for the target person by designating at least one of the information about the personal belongings of the target person and the attribute information such as the age and gender of the target person on the screen.
  • the configuration of the present invention can also be applied to the search for articles.
  • attribute information such as the license plate, shape, size, and color of the vehicle may be detected from the video captured by the surveillance camera 30 using image analysis technology, and the attribute information may be stored in the database.
  • the user can easily search for the target vehicle from the images of the desired surveillance camera 30.
  • the image taken by each surveillance camera 30 may be analyzed, and the characteristics such as the walking method of each person obtained by the analysis may be stored in the database.
  • the target person can be searched by analyzing the walking method of the target person and collating the analysis result with the walking method of the detected person in the database. ..
  • the gait authentication technology there is an advantage that the target person can be searched even when the target person is wearing a mask or sunglasses.
  • the user terminal 10 may further include a function capable of performing a drag operation of superimposing a plurality of face images selected by the user from the detected person list on one camera icon.
  • the management server 20 can extract a desired video scene and output it to the user terminal 10. For example, when a person X and a person Y are specified, it is possible to search for a video in which the two people are shown at the same time.
  • the management server 20 can extract a video scene related to the person and output it to the user terminal 10. ..
  • the management server 20 may further include a configuration in which a face image suitable for search (face matching) is automatically selected from the surveillance video and output to the user terminal 10 as, for example, a list of detected persons. Specifically, it is preferable to select a face image in which the detected person faces the surveillance camera 30 and include it in the detected person list. As a result, the accuracy of the subsequent collation processing executed for the target person can be improved.
  • the search target area is not limited to the outdoors.
  • indoor facilities such as transportation facilities and commercial facilities can be set as search target areas.
  • the search target area may display a guide map for each floor.
  • the positional relationship between the target person and the surveillance camera 30 and the guide map are displayed not only in two dimensions but also in three dimensions on a search screen or the like. It may be displayable.
  • each of the surveillance cameras 30 may be configured to play a part in the processing of the management server 20.
  • FIG. 38 is a block diagram showing an example of the overall configuration of the person search system 2 in the modified embodiment.
  • the user terminal 10, the management server 20, and the plurality of surveillance cameras 30 are connected via a network NW3 such as the Internet.
  • NW3 such as the Internet.
  • each of the plurality of surveillance cameras 30 includes a search program 31 and an in-camera DB 32.
  • the search program 31 is a program that searches for a person who matches a face image designated by the user terminal 10 from among the captured images taken by the own machine in response to a search request from the user terminal 10.
  • the in-camera DB 32 is, for example, a database that stores data synchronized with the video information DB 22 and the detection history information DB 24 of the management server 20.
  • the in-camera DB 32 stores and stores the captured video captured by the own machine.
  • the user terminal 10 When the user performs an operation of dragging a person image or a face image onto the camera icon on the map, the user terminal 10 directly or manages the management server 20 with respect to the surveillance camera 30 corresponding to the camera icon. Send search requests indirectly via.
  • the search request is search instruction information including a person image or the like dragged by the user.
  • the surveillance camera 30 receives the search request from the user terminal 10, it executes a search process on the in-camera DB 32 and returns the search result to the user terminal 10. In this case, since the plurality of surveillance cameras 30 execute the search process in a distributed manner, there is an advantage that the processing load of the management server 20 can be reduced.
  • the drag operation using the mouse pointer is only an example of the designation operation.
  • the user may perform a designated operation by swiping or tapping with a finger instead of the mouse pointer.
  • the first camera icon corresponding to the first camera is used as the second camera.
  • the case of dragging to the corresponding second camera icon has been described.
  • the method of specifying a plurality of camera icons is not limited to this.
  • the dashed arrow A9 in FIG. 39 surrounds the locus of the mouse pointer P so that the user specifies the camera icon C1 (first camera icon) and the camera icon C2 (second camera icon) so as to include the two camera icons. Indicates that the operation surrounding is performed. Further, the broken line arrow A10 indicates an operation in which the user drags the camera icon group (or the area near the camera icon group) designated by the operation of the broken line arrow A9 to the face image of the detected person list LS1. ..
  • the dashed arrow A11 in FIG. 40 indicates an operation in which the user specifies the surveillance camera 30 to be searched by tracing the periphery of the plurality of camera icons (C1, C2, C4, C7 to C9) with the finger F.
  • the broken line arrow A12 indicates an operation of dragging the face image of the detected person list LS1 to the camera icon group designated by the operation of the broken line arrow A11.
  • the number of camera icons specified as search targets is not limited, and may be three or more.
  • Each embodiment also has a processing method in which a program for operating the configuration of the embodiment is recorded on a recording medium so as to realize the functions of the above-described embodiment, the program recorded on the recording medium is read out as a code, and the program is executed by a computer. It is included in the category of. That is, a computer-readable recording medium is also included in the scope of each embodiment. Further, not only the recording medium on which the above-mentioned program is recorded but also the program itself is included in each embodiment.
  • the recording medium for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, or the like can be used.
  • a floppy (registered trademark) disk for example, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, or the like
  • the program that executes the processing by the program recorded on the recording medium alone, but also the one that operates on the OS and executes the processing in cooperation with the functions of other software and the expansion board is also in each embodiment. It is included in the category of.
  • Appendix 1 A map of the search target area, a camera icon indicating the installation position of the surveillance camera on the map, and a display control unit for displaying a person image of the search target person on the same screen.
  • An operation reception unit that accepts an operation of superimposing one of the person image and the camera icon on the other on the screen.
  • a processing request unit that requests collation processing between the person image and the surveillance image captured by the surveillance camera related to the camera icon, and Information processing device equipped with.
  • the display control unit displays an extracted video showing a character whose matching result with the person image is a matching match among the monitoring images.
  • the information processing device according to Appendix 1.
  • the operation reception unit accepts an operation of superimposing a designated person image relating to a designated person in the extracted video on the camera icon on the map.
  • the processing requesting unit requests other collation processing between the designated person image and the surveillance video captured by the surveillance camera related to the camera icon.
  • the information processing device according to Appendix 2.
  • the operation reception unit receives an operation of simultaneously superimposing the person image on a plurality of the camera icons superimposed and displayed on the map.
  • the processing requesting unit collectively requests collation processing between the person image and the surveillance video captured by the surveillance camera related to each of the plurality of camera icons.
  • the information processing device according to Appendix 2 or 3.
  • the display control unit changes the display format of the camera icon according to the result of the collation process related to each of the surveillance cameras.
  • the information processing device according to Appendix 4.
  • the operation reception unit accepts an operation of superimposing the person image of a plurality of designated search target persons on one of the camera icons on the map.
  • the processing requesting unit collectively requests the collation processing of each of the plurality of the person images and the surveillance video captured by the surveillance camera related to the camera icon.
  • the information processing device according to any one of Supplementary note 2 to 5.
  • the display control unit displays the extracted video showing at least one of a plurality of designated search target persons among the surveillance images related to the camera icon on which the person images are superimposed.
  • the information processing device according to Appendix 6.
  • the display control unit displays the extracted video in which all of the designated search target persons are simultaneously displayed among the monitoring images related to the camera icon on which the person images are superimposed.
  • the information processing device according to Appendix 6.
  • the processing requesting unit is based on the shooting time of the person image, the position information of the first camera that shot the person image, and the position information of the second camera related to the camera icon on which the person image is superimposed.
  • the time range for executing the collation process between the person image and the surveillance image captured by the second camera is determined.
  • the information processing device according to any one of Appendix 1 to 8.
  • Appendix 10 In the processing request unit, the shooting time of the person image, the moving speed of the search target person obtained from the person image, the position information of the first camera that captured the person image, and the person image are superimposed. Based on the position information of the second camera related to the camera icon, the time range for executing the collation process between the person image and the surveillance image captured by the second camera is determined.
  • the information processing device according to any one of Appendix 1 to 8.
  • the display control unit superimposes and displays a sign indicating the direction of the installation location of the surveillance camera different from the surveillance camera related to the extracted video in the extracted video.
  • the information processing device according to any one of Supplementary note 2 to 8.
  • the display control unit superimposes and displays the identification information of the surveillance camera located in the direction in which the person whose collation processing result is collation match advances in the extracted video.
  • the information processing device according to Appendix 11.
  • the display control unit highlights the camera icon related to the surveillance camera located in the direction in which the person whose collation processing result is collation match.
  • the information processing device according to any one of Supplementary note 1 to 12.
  • the operation reception unit receives at least one designated information regarding the clothes, personal belongings, age, gender, and gait of the person to be searched.
  • the processing requesting unit requests the collation processing based on the combination of the person image and the designated information.
  • the information processing device according to any one of Supplementary note 1 to 13.
  • the display control unit displays the surveillance image taken by the surveillance camera related to the camera icon displayed on the map on the screen.
  • the operation reception unit receives an operation of superimposing the person image of the search target person included in the surveillance image and the camera icon on the map.
  • the information processing device according to any one of Supplementary note 1 to 14.
  • the display control unit displays the image file requested to be read on the screen, and displays the image file.
  • the operation reception unit accepts an operation of superimposing the person image of the search target person included in the displayed image file and the camera icon on the map.
  • the information processing device according to any one of Appendix 1 to 15.
  • the display control unit displays a person image list of a person appearing in the surveillance image taken by the surveillance camera related to the camera icon designated on the map.
  • the operation reception unit receives an operation of superimposing a designated person image designated from the person image list and the camera icon on the map.
  • the information processing device according to any one of Supplementary note 1 to 16.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明における情報処理装置は、検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させる表示制御部と、前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付ける操作受付部と、前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求する処理要求部と、を備える。

Description

情報処理装置、情報処理方法及び記録媒体
 本発明は、情報処理装置、情報処理方法及び記録媒体に関する。
 特許文献1には、ユーザ操作によって複数のカメラの中から選択されたカメラの映像に関する検出人物の画像リストを表示し、当該画像リストから選択された対象人物の人物画像の取得元のカメラを除いた他のカメラに係る映像を検索対象として、人物画像との画像照合によって対象人物を検索する人物検索システムが開示されている。
特許第6573346号
 しかし、特許文献1に例示されている人物検索システムでは、ユーザは画像リストの中から対象人物の人物画像を選択した際に、検索対象とするカメラを任意に指定することはできなかった。
 そこで、本発明は、上述の問題に鑑み、ユーザが所望の監視カメラにおける監視映像の中から対象人物を容易に検索できる情報処理装置、情報処理方法及び記録媒体を提供することを目的とする。
 本発明の一つの観点によれば、検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させる表示制御部と、前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付ける操作受付部と、前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求する処理要求部と、を備える情報処理装置が提供される。
 本発明の他の観点によれば、検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させるステップと、前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付けるステップと、前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求するステップと、を備える情報処理方法が提供される。
 本発明のさらに他の観点によれば、コンピュータに、検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させるステップと、前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付けるステップと、前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求するステップと、を実行させるためのプログラムが記録された記録媒体が提供される。
 本発明によれば、ユーザが所望の監視カメラにおける監視映像の中から対象人物を容易に検索できる情報処理装置、情報処理方法及び記録媒体を提供することができる。
第1実施形態における人物検索システムの全体構成の一例を示すブロック図である。 第1実施形態における登録者情報DBが記憶する情報の一例を示す図である。 第1実施形態における映像情報DBが記憶する情報の一例を示す図である。 第1実施形態におけるカメラ情報DBが記憶する情報の一例を示す図である。 第1実施形態における検出履歴情報DBが記憶する情報の一例を示す図である。 第1実施形態におけるユーザ端末のハードウェア構成の一例を示すブロック図である。 第1実施形態における管理サーバのハードウェア構成の一例を示すブロック図である。 第1実施形態における管理サーバの処理の一例を示すフローチャートである。 第1実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第1の検索方法に係る検索画面の一例を示す図である。 第1の検索方法に係る検索画面の一例を示す図である。 第1の検索方法に係る検索結果の一例を示す図である。 第1の検索方法に係る検索結果の一例を示す図である。 第1の検索方法に係る検索結果の一例を示す図である。 第1実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第2の検索方法に係る検索画面の一例を示す図である。 第2の検索方法に係る検索結果の一例を示す図である。 第1実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第3の検索方法に係る検索画面の一例を示す図である。 第3の検索方法に係る検索結果の一例を示す図である。 第1実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第4の検索方法に係る検索画面の一例を示す図である。 第4の検索方法に係る検索結果の一例を示す図である。 第2実施形態における検索画面の一例を示す図である。 第2実施形態における検索結果の一例を示す図である。 第3実施形態における検索画面の一例を示す図である。 第4実施形態における検索画面の一例を示す図である。 第5実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第5の検索方法に係る検索画面の一例を示す図である。 第5の検索方法に係る検索結果の一例を示す図である。 第5の検索方法に係る検索結果の一例を示す図である。 第5実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第6の検索方法に係る検索画面の一例を示す図である。 第6の検索方法に係る検索結果の一例を示す図である。 第6実施形態における人物検索システムの処理の一例を示すフローチャートである。 第7実施形態における人物検索システムの処理の一例を示すフローチャートである。 第8実施形態における情報処理装置の構成を示すブロック図である。 変形実施形態における人物検索システムの全体構成の一例を示すブロック図である。 変形実施形態における検索画面の一例を示す図である。 変形実施形態における検索画面の一例を示す図である。
 以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
[第1実施形態]
 図1は、本実施形態における人物検索システム1の全体構成の一例を示すブロック図である。人物検索システム1は、ユーザがユーザ端末10において検索対象に指定した人物(以下、「対象人物」という。)と管理サーバ20内に蓄積されている映像とを照合することによって、監視映像の中から対象人物を検索するコンピュータシステムである。
 図1に示すように、人物検索システム1は、ユーザ端末10と、管理サーバ20と、監視カメラ30とを備える。ユーザ端末10、管理サーバ20及び監視カメラ30は、インターネットやLAN(Local Area Network)等のネットワークNW1及びネットワークNW2を介して接続されている。本実施形態においては、ネットワークNW1及びネットワークNW2は異なるネットワークであるが、同一のネットワークとして構成してもよい。
 ユーザ端末10は、本システムのユーザが、対象人物の指定、検索対象の映像に対応する監視カメラ30の指定、検索条件の指定等の各種の入力操作を行う際に利用する端末である。ユーザ端末10としては、例えばラップトップ型コンピュータ、デスクトップ型コンピュータ、タブレット端末、スマートフォン等が好適に用いられる。ユーザ端末10は、ユーザからの入力操作を受け付けると、入力情報に基づいて管理サーバ20に所定の処理の実行を要求する。
 管理サーバ20は、監視カメラ30において撮影された映像の管理、映像の解析処理、画像照合処理、登録者及び検出人物の生体情報の管理等を行う装置である。管理サーバ20としては、例えばサーバコンピュータが好適に用いられる。
 監視カメラ30は、例えばデジタルビデオカメラ、赤外線カメラ等の撮影装置である。監視カメラ30の種類は、監視対象や設置環境に応じて適宜選択され得る。また、監視カメラ30は、住宅地、繁華街、交通機関、金融機関、工場、オフィスビル、テーマパーク、イベント会場等の任意の場所に設置され得る。
 また、図1に示すように、管理サーバ20は、登録者情報DB21と、映像情報DB22と、カメラ情報DB23と、検出履歴情報DB24とを備える。ただし、管理サーバ20が備えるデータベースは、これらに限られない。
 図2は、本実施形態における登録者情報DB21が記憶する情報の一例を示す図である。登録者情報のデータ項目としては、登録者ID、登録顔画像、顔特徴量、氏名、性別、年齢、登録日時及び登録事由が挙げられる。ただし、データ項目は、これらに限られない。本実施形態における“登録者”とは、VIPリスト、ブラックリスト、顧客名簿等の各種のリストに登録されている人物とする。登録事由は、人物が登録者情報DB21に登録された理由である。例えば、登録者情報が、要注意人物を登録するブラックリストである場合には、その詳細な理由が記録される。
 図3は、本実施形態における映像情報DB22が記憶する情報の一例を示す図である。映像情報のデータ項目としては、映像データごとに固有な映像ID、ファイル名、ファイル保存先、映像を撮影した監視カメラ30のカメラID、撮影場所、撮影開始日時、撮影終了日時、DB登録日時及びフレームレートが挙げられる。ただし、データ項目は、これらに限られない。
 図4は、本実施形態におけるカメラ情報DB23が記憶する情報の一例を示す図である。カメラ情報のデータ項目としては、監視カメラ30ごとに固有なカメラID、監視カメラ30の設置場所を示す位置情報、監視カメラ30の撮影方向及びカメラ種別が挙げられる。ただし、データ項目は、これらに限られない。
 図5は、本実施形態における検出履歴情報DB24が記憶する情報の一例を示す図である。検出履歴情報のデータ項目としては、検出SEQ、検出顔画像、顔特徴量、検出元の映像を識別する映像ID、カメラID、検出時間及び登録者IDが挙げられる。ただし、データ項目は、これらに限られない。検出SEQは、人物を検出するごとに新たに発行される固有の番号である。検出時間は、顔画像の検出先の表示フレームのタイムスタンプである。
 図6は、本実施形態におけるユーザ端末10のハードウェア構成の一例を示すブロック図である。図6に示すように、ユーザ端末10は、演算、制御及び記憶を行うコンピュータとして、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、ストレージ104と、通信I/F(Interface)105と、表示装置106と、入力装置107と、媒体読取装置108とを備える。各装置は、バス、配線、駆動装置等を介して相互に接続される。
 CPU101は、ROM103又はストレージ104に記憶されたプログラムに従って所定の動作を行うとともに、ユーザ端末10の各部を制御する機能を有するプロセッサである。RAM102は、揮発性記憶媒体から構成され、CPU101の動作に必要な一時的なメモリ領域を提供する。
 ROM103は、不揮発性記憶媒体から構成され、ユーザ端末10の動作に用いられるプログラム等の必要な情報を記憶する。ストレージ104は、不揮発性記憶媒体から構成され、ユーザ端末10の動作用プログラムやデータを記憶する。ストレージ104は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)により構成される。
 通信I/F105は、イーサネット(登録商標)、Wi-Fi(登録商標)、4G等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。
 表示装置106は、動画、静止画、文字等を表示する液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ等であって、ユーザへの情報の提示に用いられる。
 入力装置107は、キーボード、ポインティングデバイス、ボタン等であって、ユーザによる操作を受け付ける。表示装置106及び入力装置107は、タッチパネルとして一体に形成されていてもよい。
 媒体読取装置108は、記録媒体に記録された映像データ及び静止画像データを読取る装置である。記録媒体としては、例えば、DVDディスク、Blu-Ray(登録商標)ディスク、磁気テープ、フラッシュメモリ、スマートフォン等が挙げられる。媒体読取装置108は、例えば、ディスクドライブ、カードリーダ、イメージスキャナ等により構成される。
 図7は、本実施形態における管理サーバ20のハードウェア構成の一例を示すブロック図である。図7に示すように、管理サーバ20は、演算、制御及び記憶を行うコンピュータとして、CPU201と、RAM202と、ROM203と、ストレージ204と、通信I/F(Interface)205と、表示装置206と、入力装置207と、媒体読取装置208とを備える。各装置は、バス、配線、駆動装置等を介して相互に接続される。
 なお、図6及び図7に示されているハードウェア構成は一例であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。また、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されてもよい。このように、図6及び図7に示されているハードウェア構成は適宜変更可能である。
 続いて、図8乃至図23を参照しながら、本実施形態における人物検索システム1の動作について説明する。
<人物の検出処理>
 図8は、本実施形態における管理サーバ20の処理の一例を示すフローチャートである。この処理は、管理サーバ20が監視カメラ30において撮影された映像内に登場する人物を検出し、検出した人物の顔画像を検索可能な状態で検出履歴情報DB24に登録する際に実行される。
 ステップS101において、管理サーバ20は、監視カメラ30又は媒体読取装置208から映像データを取得したか否かを判定する。ここで、管理サーバ20は、映像データを取得したと判定した場合(ステップS101:YES)には、処理はステップS102へ移行する。
 これに対し、管理サーバ20は、映像データを取得していないと判定した場合(ステップS101:NO)には、処理はステップS103へ移行する。
 ステップS102において、管理サーバ20は、ストレージ204に映像データを記憶する。このとき、管理サーバ20は、映像データに対して固有の映像IDを発行し、映像情報DB22に映像IDを含む映像情報を登録するものとする。
 ステップS103において、管理サーバ20は、ストレージ204に記憶されている映像データに対して人物の検出処理を実行するか否かを判定する。ここで、管理サーバ20は、人物の検出処理を実行すると判定した場合(ステップS103:YES)には、処理はステップS104に移行する。
 これに対し、管理サーバ20は、人物の検出処理を実行しないと判定した場合(ステップS103:NO)には、図8の処理は終了する。
 ステップS104において、管理サーバ20は、ストレージ204に記憶されている映像データのうち、人物の検出処理が未だ行われていない映像データをRAM202に読み込む。
 ステップS105において、管理サーバ20は、映像データの中から人物の顔を検出したか否かを判定する。ここで、管理サーバ20が人物の顔を検出したと判定した場合(ステップS105:YES)には、処理はステップS106へ移行する。
 これに対し、管理サーバ20が人物の顔を検出していないと判定した場合(ステップS105:NO)には、処理はステップS115へ移行する。
 ステップS106において、管理サーバ20は、顔画像の検出に伴って、検出SEQを発行する。次に、管理サーバ20は、映像データの中から顔画像を取得すると(ステップS107)、顔画像から顔特徴量を算出する(ステップS108)。
 ステップS109において、管理サーバ20は、検出した顔画像が初めて検出された人物の画像であるか否かを判定する。例えば、管理サーバ20は、顔特徴量に基づいて検出履歴情報DB24を検索することで顔画像の登録の有無を判定できる。
 ここで、管理サーバ20は、初めて検出された人物の顔画像であると判定した場合(ステップS109:YES)には、処理はステップS110へ移行する。これに対し、管理サーバ20は、既に検出されている人物の顔画像であると判定した場合(ステップS109:NO)には、処理はステップS111へ移行する。
 ステップS110において、管理サーバ20は、検出された人物(以下、「検出人物」という。)に対して固有の検出人物IDを発行する。なお、本実施形態において、検出人物IDは、複数の映像の間で共通であるものとする。一方、ステップS111において、管理サーバ20は、例えば顔特徴量をキーとして検出履歴情報DB24から検出人物IDを取得する。
 ステップS112において、管理サーバ20は、検出人物が登録者情報DB21における登録者であるか否かを判定する。例えば、管理サーバ20は、検出履歴情報DB24において検出人物IDに登録者IDが関連付けられている場合には、検出人物が登録者であると判定できる。また、管理サーバ20は、顔特徴量に基づいて登録者情報DB21を検索することで検出人物が登録者か否かを判定してもよい。
 ここで、管理サーバ20が、検出人物は登録者であると判定した場合(ステップS112:YES)には、処理はステップS113へ移行する。これに対し、管理サーバ20が、検出人物は登録者ではないと判定した場合(ステップS112:NO)には、処理はステップS114に移行する。
 ステップS113において、管理サーバ20は、登録者情報DB21から検出人物に関する登録者IDを取得する。
 ステップS114において、管理サーバ20は、検出人物に関する検出履歴情報を作成し、これを検出履歴情報DB24に登録する。
 ステップS115において、管理サーバ20は、映像データが終了したか否かを判定する。ここで、管理サーバ20は、映像データが終了したと判定した場合(ステップS115:YES)には、図8の処理は終了する。
 これに対し、管理サーバ20は、映像データが終了していないと判定した場合(ステップS115:NO)には、処理はステップS104に戻る。
<対象人物の検索処理>
 続いて、人物検索システム1における対象人物の検索処理について説明する。本実施形態では、ユーザが追跡作業の対象人物を指定するための4種類の方法を例示する。ただし、対象人物の検索方法は4種類のみに限られない。
(第1の検索方法)
 図9は、本実施形態における人物検索システム1の処理の一例を示すシーケンス図である。この処理は、ユーザが検出人物リストの中から対象人物の画像を選択することで実行される第1の検索方法に関する。
 ステップS201において、ユーザ端末10は、表示装置106に検索画面を表示する。図10は、第1の検索方法に係る検索画面の一例を示す図である。ここでは、検索画面の左側領域には、上から順に、検索対象期間の入力欄と、検索対象エリアの検索及び指定を行う入力欄と、検索対象領域を示す地図M1の表示欄とが設けられている。
 また、検索画面の右側領域には、検索方法を選択するための3つのタブT1~T3が設けられている。画面内では、“検出人物リスト”のタブT1が選択されており、検索方法に関する案内情報(「地図上のカメラアイコンを選択してください。指定カメラが検索対象期間内に撮影した人物をリスト形式で表示します。」)がタブT1の中に表示されている。
 ステップS202において、ユーザ端末10は、地図上においてカメラアイコンが選択されたか否かを判定する。ここで、ユーザ端末10が、カメラアイコンが選択されたと判定した場合(ステップS202:YES)には、処理はステップS203へ移行する。
 これに対し、ユーザ端末10が、地図上においてカメラアイコンが選択されていないと判定した場合(ステップS202:NO)には、ステップS202の処理は繰り返される。
 ステップS203において、ユーザ端末10は、ユーザにより指定されたカメラアイコンに対応する監視カメラ30を特定し、そのカメラIDを取得する。図10の例では、マウスポインタPの操作によって選択されたカメラアイコンは、カメラアイコンC1である。以下、カメラアイコンに付された符号は、カメラアイコンに対応する監視カメラ30のカメラIDと同一であるものとして説明する。
 ステップS204において、ユーザ端末10は、特定された監視カメラ30における検出人物リストの送信要求を管理サーバ20に対して行う。送信要求には、特定された監視カメラ30のカメラIDが含まれる。
 ステップS205において、管理サーバ20は、ユーザ端末10から受信した送信要求に含まれるカメラIDをキーとして検出履歴情報DB24を参照し、特定された監視カメラ30に関する検出履歴情報を取得する。検索画面において検索対象期間が指定されている場合には、検出時間が検索対象期間に含まれる検出履歴情報のみが抽出され得る。
 ステップS206において、管理サーバ20は、特定された監視カメラ30に関する検出履歴情報に基づいて作成した検出人物リストをユーザ端末10に送信する。次に、ユーザ端末10は、管理サーバ20から受信した検出人物リストを検索画面に表示する(ステップS207)。
 図11は、第1の検索方法に係る検索画面の一例を示す図である。ここでは、検索画面のタブT1の中に、カメラIDが“C1”である監視カメラ30が撮影した映像に係る検出人物リストLS1が表示されている。検出人物リストLS1のデータ項目としては、検出人物の顔画像、検出日時、登録顔画像、詳細情報、アラートが挙げられている。ただし、検出人物リストLS1のデータ項目は、これらに限られない。登録顔画像は、検出人物が登録者として登録者情報DB21に登録されている場合に表示される。また、例えば登録者に関する登録事由が“要注意人物”等である場合、アラートのデータ欄には、注意喚起のための図形等が表示されると好適である。
 図11における破線矢印A1は、ユーザがマウスポインタPによって検出人物リストLS1内の顔画像を、地図M1上に表示されている他の監視カメラ30(カメラID:C2)に重ね合わせる操作(以下、「ドラッグ操作」又は「ドラッグ」という。)を行ったことを示している。
 ステップS208において、ユーザ端末10は、検出人物リスト中の顔画像が地図上のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10は、顔画像が地図上のカメラアイコンにドラッグされたと判定した場合(ステップS208:YES)には、処理はステップS209に移行する。
 これに対し、ユーザ端末10は、顔画像が地図上のカメラアイコンにドラッグされていないと判定した場合(ステップS208:NO)には、処理はステップS202へ戻る。
 ステップS209において、ユーザ端末10は、顔画像のドラッグ先、すなわち、検索対象のカメラアイコンに対応する監視カメラ30を特定し、そのカメラIDを取得する。図11の例では、ドラッグ先のカメラアイコンに対応する監視カメラ30のカメラIDは、“C2”である。
 ステップS210において、ユーザ端末10は、ユーザにより検索画面において指定された検索対象期間を取得する。図11の例では、検索対象期間として“2019/12/31 12:00”~“2019/12/31 14:00”が指定されている。
 ステップS211において、ユーザ端末10は、管理サーバ20に対して対象人物の検索要求を送信する。検索要求には、対象人物の顔画像、検出人物ID、検索対象期間、検索対象の監視カメラ30のカメラID等の情報が含まれる。
 ステップS212において、管理サーバ20は、ユーザ端末10から受信した検索要求に含まれる顔画像に基づいて、検索対象の監視カメラ30に係る検出履歴情報を検索する。
 ステップS213において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば対象人物が映っている映像データを識別する映像IDや対象人物の撮影日時の情報等が含まれる。
 ステップS214において、ユーザ端末10は、表示装置106に検索結果を表示する。図12は、第1の検索方法に係る検索結果の一例を示す図である。図12では、検索画面のタブT1の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-1)/検索対象カメラ(C2)/検索対象期間)と検索結果(映像/撮影日時(2019/12/31 13:15:20 ― 2019/12/31 13:15:30)/照合スコア(95.2))R1が表示されている。
 なお、検索結果として表示される情報には、様々なバリエーションが考えられる。図13及び図14は、第1の検索方法に係る検索結果の一例を示す図である。図13の例では、対象人物P-1が映っている抽出映像MVを再生するための画面が検索画面に重畳表示されている。また、抽出映像MVの中には、対象人物P-1の周りに、抽出映像MVを撮影した監視カメラ30とは別の監視カメラ30の設置位置の方角及びカメラIDを示す標識としてアイコンI―1~I-3が重畳表示されている。
 また、ユーザは、同画面において対象人物P-1の顔部分を指定し、これを抽出映像MV内のアイコンに重ね合わせるドラッグ操作を行うことで、対象人物P-1の顔画像と、抽出映像MVに係る監視カメラ30以外のカメラ(カメラID:C1/C4/C7)において撮影された映像との照合処理を要求できると好適である。これにより、ユーザは対象人物P-1を効率的に追跡できる。
 図14においては、図13の場合と異なり、抽出映像MVから得られる対象人物P-1の移動方向に基づいて、移動方向に設置されている監視カメラ30を示すアイコン(カメラID:C7)のみが表示されている。さらに、地図M1上では、対象人物P-1の移動方向に設置されている監視カメラ30(カメラID:C7)を示すカメラアイコンC7が円形の破線Bに囲まれることで強調表示されている。
 ユーザは、同画面において対象人物P-1の顔部分を指定し、これを地図M1上で強調表示されているカメラアイコンC7に重ね合わせるドラッグ操作を行うことで、対象人物P-1の顔画像と、抽出映像MVに係る監視カメラ30以外のカメラ(カメラID:C7)において撮影された映像との照合処理を要求できると好適である。これにより、ユーザは対象人物P-1を効率的に追跡できる。
 なお、カメラアイコンの強調表示の方法は、これらに限られない。例えば、照合スコアに応じて色、大きさ、形状等の表示様式を変更してもよい。
(第2の検索方法)
 図15は、人物検索システム1の処理の一例を示すシーケンス図である。この処理は、ユーザが検索画面に表示されている映像の中から対象人物を指定することで実行される第2の検索方法に関する。
 ステップS301において、ユーザ端末10は、表示装置106に検索画面を表示する。図16は、第2の検索方法に係る検索画面の一例を示す図である。検索画面の地図表示欄には、ユーザ操作により指定された検索対象領域の地図M1が表示されている。また、検索画面の右側領域では、“映像リスト”のタブT2が選択されている。
 図16における破線矢印A2は、ユーザが選択映像MVに表示されている対象人物P-2の顔部分をマウスポインタPによって指定し、対象人物P-2の顔部分を地図M1上に表示されているカメラアイコンC3に重ね合わせるドラッグ操作を行ったことを示している。
 ステップS302において、ユーザ端末10は、表示中の地図に含まれる監視カメラ30を特定する。図16の例では、地図M1上に表示されているカメラアイコンC1~C15に対応する複数の監視カメラ30の各々のカメラID(C1~C15)が特定される。
 ステップS303において、ユーザ端末10は、映像リストの送信要求を管理サーバ20に送信する。送信要求には、ステップS302において特定された全てのカメラIDが含まれる。
 ステップS304において、管理サーバ20は、ユーザ端末10から受信した送信要求に含まれるカメラIDをキーとして検出履歴情報DB24を参照し、特定された監視カメラ30に関する検出履歴情報を取得すると、その検出履歴情報に基づいて作成した映像リストをユーザ端末10に送信する。検索画面において検索対象期間が指定されている場合には、検出時間が検索対象期間に含まれる検出履歴情報のみが抽出され得る。
 ステップS305において、ユーザ端末10は、管理サーバ20から受信した映像リストを表示装置106に表示する。図16の例では、地図M1上に表示されているカメラアイコンC1~C15に対応する複数の監視カメラ30の映像リストLS2が表示されている。
 ステップS306において、ユーザ端末10は、映像リストの中から何れかの映像が選択されたか否かを判定する。ここで、ユーザ端末10が、映像が選択されたと判定した場合(ステップS306:YES)には、処理はステップS307へ移行する。
 これに対し、ユーザ端末10が、映像が選択されていないと判定した場合(ステップS306:NO)には、ステップS306の処理は繰り返される。
 ステップS307において、ユーザ端末10は、映像データの配信要求を管理サーバ20に送信する。配信要求には、映像リストの中から選択された映像の映像IDが含まれる。
 ステップS308において、管理サーバ20は、ユーザ端末10から受信した配信要求に基づいてストレージ204から映像データを取得し、その映像データをユーザ端末10に配信する。
 ステップS309において、ユーザ端末10は、管理サーバ20から受信した映像を再生する。図16の例では、カメラIDが“C1”である監視カメラ30の映像のサムネイル画像が選択されていることから、映像リストLS2よりも下方に位置する選択映像の表示欄において映像MVが拡大表示されている。
 ステップS310において、ユーザ端末10は、再生中の映像が地図上のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10が、再生中の映像が地図上のカメラアイコンにドラッグされたと判定した場合(ステップS310:YES)には、処理はステップS311へ移行する。
 これに対し、ユーザ端末10が、再生中の映像が地図上のカメラアイコンにドラッグされていないと判定した場合(ステップS310:NO)には、処理はステップS306へ戻る。
 ステップS311において、ユーザ端末10は、ドラッグ操作時における映像の表示フレームの情報と、ドラッグ操作時における表示フレーム内でのマウスポインタの位置座標の情報を取得する。マウスポインタの位置座標は、映像内におけるユーザの顔の位置を示す。
 ステップS312において、ユーザ端末10は、検索対象(ドラッグ先)の監視カメラ30を特定する。図16の例では、カメラIDが“C3”の監視カメラ30が特定される。
 次に、ユーザ端末10は、検索対象期間を取得する(ステップS313)。図16の例では、検索対象期間として“2019/12/31 12:00”~“2019/12/31 14:00”が取得される。
 ステップS314において、ユーザ端末10は、対象人物の検索要求を管理サーバ20に送信する。検索要求には、監視カメラ30のカメラID、映像ID、表示フレーム、対象人物の位置座標等の情報が含まれる。
 なお、管理サーバ20から配信された映像中に、各人物の顔を検出した顔検出枠が指定可能な状態で重畳表示されている場合には、ユーザが指定した対象人物の顔検出枠のIDを検索要求に含めてもよい。この場合には、対象人物の位置座標の情報は省略可能になる。
 ステップS315において、管理サーバ20は、検索要求に含まれる情報に基づいて、映像IDに対応する映像データの中からドラッグ操作時の表示フレームを取得する。次に、管理サーバ20は、表示フレームの中から対象人物の位置座標に表示されている顔画像を検出する(ステップS316)。
 なお、ユーザ端末10側で指定された映像内の位置座標に人物の顔が存在しない場合には、管理サーバ20は、ユーザ端末10にエラー情報を返すと好適である。ただし、映像内に人物が一人しか存在しない場合には、位置座標を考慮せずに、該当人物の顔画像を検出できる。
 ステップS317において、管理サーバ20は、検出された顔画像の顔特徴量を算出する。なお、選択映像において人物の検出処理が実行済みの場合には、検出履歴情報DB24から対象人物の顔特徴量を取得できる。
 ステップS318において、管理サーバ20は、算出した顔特徴量に基づいて検出履歴情報DB24の中から、検索対象(ドラッグ先)の監視カメラ30に係る検出履歴情報を検索する。具体的には、管理サーバ20は、顔画像から算出した顔特徴量と、検出履歴情報に含まれる検出人物の顔特徴量とを順次照合し、その類似度(照合スコア)が所定の閾値以上の人物を抽出する。
 本実施形態では、照合処理によって算出された照合スコアが所定の閾値以上であるとき、照合処理の結果は照合一致であるとみなす。また、照合スコアが所定の閾値未満であるとき、照合処理の結果は照合不一致であるとみなす。
 ステップS319において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば対象人物が映っている監視映像を読み出すための情報や対象人物の撮影日時の情報等が含まれる。
 ステップS320において、ユーザ端末10は、管理サーバ20から受信した検索結果を表示装置106に表示する。図17は、第2の検索方法に係る検索結果の一例を示す図である。図17では、検索画面のタブT2の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-2)/検索対象カメラ(C3)/検索対象期間)と検索結果(映像/撮影日時(2019/12/31 13:15:20 ― 2019/12/31 13:15:29)/照合スコア(96.3))R2が表示されている。
(第3の検索方法)
 図18は、人物検索システム1の処理の一例を示すシーケンス図である。この処理は、ユーザが任意に指定した画像ファイルの中から対象人物を指定することで実行される第3の検索方法に関する。
 ステップS401において、ユーザ端末10は、表示装置106に検索画面を表示する。図19は、第3の検索方法に係る検索画面の一例を示す図である。ここでは、検索画面の右側領域において、“画像ファイル”のタブT3が選択されている。タブT3の中には、ユーザ操作によって読み込まれたファイルの画像IMG-3が表示されている。読み込み可能な画像ファイルは、静止画像ファイル及び動画像ファイルであると好適である。
 図19における破線矢印A3は、ユーザが検索画面に読み込まれた画像IMG-3に含まれる対象人物P-4の顔部分をマウスポインタPによって指定し、対象人物P-4の顔部分を地図M1上に表示されているカメラアイコンC2に重ね合わせるドラッグ操作を行うことを示している。
 ステップS402において、ユーザ端末10は、ユーザ操作により指定された画像ファイルを読み込み、検索画面に画像を表示する。
 ステップS403において、ユーザ端末10は、表示中の人物の画像が地図上のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10が、画像が地図上のカメラアイコンにドラッグされたと判定した場合(ステップS403:YES)には、処理はステップS404へ移行する。
 これに対し、ユーザ端末10が、画像が地図上のカメラアイコンにドラッグされていないと判定した場合(ステップS403:NO)には、ステップS403の処理は繰り返される。
 ステップS404において、ユーザ端末10は、画像ファイルのドラッグ先、すなわち、検索対象のカメラアイコンに対応する監視カメラ30を特定し、そのカメラIDを取得する。図19の例では、ドラッグ先のカメラアイコンに対応する監視カメラ30のカメラIDは、“C2”である。
 ステップS405において、ユーザ端末10は、画像内におけるドラッグ操作時のマウスポインタの位置座標を取得する。次に、ユーザ端末10は、検索画面においてユーザにより指定された検索対象期間を取得する(ステップS406)。
 ステップS407において、ユーザ端末10は、管理サーバ20に対して対象人物の検索要求を送信する。検索要求には、読み込まれた画像ファイル、画像内で指定された顔の位置座標、検索対象期間、ドラッグ先の監視カメラ30のカメラID等の情報が含まれる。
 ステップS408において、管理サーバ20は、検索要求に含まれる顔の位置座標に基づいて、画像ファイルの画像の中から対象人物の顔画像を検出する。図19の例では、管理サーバ20は、画像IMG-3の中から、対象人物P-4の顔画像を検出する。
 なお、ユーザ端末10側で指定された画像内の位置座標に人物の顔が存在しない場合には、管理サーバ20は、ユーザ端末10にエラー情報を返すと好適である。ただし、画像内に人物が一人しか存在しない場合には、位置座標を考慮せずに、該当人物の顔画像を検出できる。
 次に、管理サーバ20は、検出された対象人物の顔画像から顔特徴量を算出する(ステップS409)。
 ステップS410において、管理サーバ20は、算出した顔特徴量に基づいて、ドラッグ先の監視カメラ30に係る検出履歴情報を検索する。具体的には、管理サーバ20は、顔画像から算出した顔特徴量と、検出履歴情報に含まれる検出人物の顔特徴量とを順次照合し、その類似度が所定の閾値以上の人物を抽出する。
 ステップS411において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば対象人物が映っている監視映像を読み出すための情報や対象人物の撮影日時の情報等が含まれる。
 ステップS412において、ユーザ端末10は、検索結果を表示装置106に表示する。図20は、第3の検索方法に係る検索結果の一例を示す図である。図20では、検索画面のタブT3の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-4)/検索対象カメラ(C2)/検索対象期間)と検索結果(映像/撮影日時(2019/12/31 13:15:20 ― 2019/12/31 13:15:30)/照合スコア(93.4))R3が表示されている。
(第4の検索方法)
 図21は、人物検索システム1の処理の一例を示すシーケンス図である。この処理は、ユーザが検索結果の映像の中から対象人物を指定することで実行される第4の検索方法に関する。第4の検索方法は、上述の第1~第3の検索方法のいずれかを実行することで得られた検索結果の映像の中から、ユーザが任意の人物を指定する検索方法である。
 ステップS501において、ユーザ端末10は、管理サーバ20から受信した検索結果の映像を表示装置106において再生する。
 図22は、第4の検索方法に係る検索画面の一例を示す図である。ここでは、先の検索結果である映像MV-2が検索画面に重畳表示されている。また、検索実行条件に含まれる顔画像IMG-6の対象人物は、映像MV-2内では符号P-6の人物とする。
 図22における破線矢印A4は、ユーザが、映像MV-2において対象人物P-6とは異なる人物P-7を新たな対象人物としてマウスポインタPによって指定し、映像MV-2を他の監視カメラ30に係るカメラアイコンC13に重ね合わせるドラッグ操作を行うことを示している。
 ステップS502において、ユーザ端末10は、再生中の映像が地図上のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10が、再生中の映像が地図上のカメラアイコンにドラッグされたと判定した場合(ステップS502:YES)には、処理はステップS503へ移行する。
 これに対し、ユーザ端末10が、再生中の映像が地図上のカメラアイコンにドラッグされていないと判定した場合(ステップS502:NO)には、ステップS502の処理は繰り返される。
 ステップS503において、ユーザ端末10は、ドラッグ操作時における映像の表示フレームの情報と、表示フレーム内での指定人物の位置座標を取得する。
 ステップS504において、ユーザ端末10は、検索対象(ドラッグ先)の監視カメラ30を特定する。図22の例では、ドラッグ先のカメラアイコンに対応する監視カメラ30のカメラIDは、“C13”である。
 次に、ユーザ端末10は、検索対象期間を取得する(ステップS505)。図22の例では、検索対象期間として“2019/12/31 12:00”~“2019/12/31 14:00”が指定されている。
 ステップS506において、ユーザ端末10は、指定人物の検索要求を管理サーバ20に送信する。検索要求には、ドラッグ元の映像の映像ID、表示フレーム、指定人物の顔の位置座標、ドラッグ先(検索対象)の監視カメラ30のカメラID等の情報が含まれる。
 ステップS507において、管理サーバ20は、検索要求に含まれる情報に基づいて、ドラッグ操作時の表示フレームを取得する。
 ステップS508において、管理サーバ20は、表示フレームの中から指定された位置座標に存在している指定人物の顔画像を検出する。図22の例では、管理サーバ20は、ドラッグ操作時における表示フレームの中から対象人物P-7の顔画像を検出する。
 なお、ユーザ端末10側で指定された位置座標に人物の顔が存在しない場合には、管理サーバ20はユーザ端末10に対してエラー情報を返すと好適である。ただし、映像内に人物が一人しか存在しない場合には、指定された位置座標を考慮せずに、該当人物の顔画像を自動的に検出してもよい。
 ステップS509において、管理サーバ20は、検出された顔画像の顔特徴量を算出する。なお、選択映像において人物の検出処理が実行済みの場合には、検出履歴情報DB24から指定人物の顔特徴量を取得できる。
 ステップS510において、管理サーバ20は、算出した顔特徴量に基づいて検出履歴情報DB24の中から、ドラッグ先の監視カメラ30に係る検出履歴情報を検索する。具体的には、管理サーバ20は、指定人物の顔画像から算出した顔特徴量と、検出履歴情報に含まれる検出人物の顔特徴量とを順次照合し、その類似度が所定の閾値以上の人物を抽出する。
 ステップS511において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば指定人物が映っている監視映像を読み出すための情報や対象人物の撮影日時の情報等が含まれる。
 ステップS512において、ユーザ端末10は、管理サーバ20から受信した検索結果を表示装置106に表示する。図23は、第4の検索方法に係る検索結果の一例を示す図である。図23では、検索画面のタブT2の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-7)/検索対象カメラ(C13)/検索対象期間)と検索結果(映像/撮影日時(2019/12/31 13:15:20 ― 2019/12/31 13:15:30)/照合スコア(95.0))R4が表示されている。
 本実施形態によれば、ユーザは画面に表示されている対象人物の顔部分(又は対象人物が映っている画像全体)を地図上のカメラアイコンに重ね合わせるドラッグ操作を行うことにより、ドラッグ先のカメラアイコンに対応する監視カメラ30が撮影した監視映像の中から対象人物を検索できる。すなわち、ユーザが所望の監視カメラ30における監視映像の中から対象人物を容易に検索できる。
[第2実施形態]
 本実施形態は、ユーザにより画面上で一人だけ指定された対象人物の顔画像を、地図上で指定された複数の監視カメラ30における映像と一括照合する点で第1実施形態とは異なっている。
 図24は、本実施形態における検索画面の一例を示す図である。地図M2に示される検索対象エリアは、上述した図10等の地図M1の検索対象エリアよりも広い。また、地図M2の縮尺は、地図M1と異なっている。このため、地図M2の一部には、隣接するカメラアイコン同士が重畳して表示されている。
 図24における破線矢印A5は、ユーザが検索画面に読み込まれた画像IMG-8の中で対象人物P-8の顔部分をマウスポインタPで指定し、画像IMG-8を地図M2上において重畳表示されている複数のカメラアイコンに重ね合わせるドラッグ操作を行うことを示している。
 なお、複数のカメラアイコンを一括で指定する方法はこれに限られない。例えば、マウスポインタPをドラッグ状態のまま複数のカメラアイコンの上を通過させて重ね合わせるように操作してもよい。すなわち、複数のカメラアイコンが重畳表示されていない場合でも、複数のカメラアイコンを指定可能である。
 図25は、本実施形態における検索結果の一例を示す図である。図25では、検索画面のタブT3の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-8)/検索対象カメラ(C7/C8/C9)/検索対象期間)と検索結果(映像/撮影日時/撮影カメラ(C7/C8/C9)/照合スコア(95.3/94.6/97.8))R5が表示されている。ユーザは検索結果R5を参照することにより、カメラIDが“C7”、“C8”、“C9”の全ての監視カメラ30に対象人物が映っていたことが分かる。また、検索結果R5においては、映像が時系列で表示されているため、ユーザは対象人物の動線を容易に把握できる。
 本実施形態によれば、ユーザは検索対象の監視カメラ30に係るカメラアイコンを一つずつ指定しなくてもよい。ユーザは対象人物の顔画像と複数の監視カメラ30における映像との照合処理を一括して要求できるため、ユーザは検索作業をさらに効率的に行える。
[第3実施形態]
 本実施形態は、ユーザにより地図上で指定された1つのカメラアイコンを、同一画面に表示中の対象人物の顔画像に重ね合わせるドラッグ操作によって対象人物の検索処理を要求できる点で上述した実施形態とは異なっている。
 図26は、本実施形態における検索画面の一例を示す図である。図26における破線矢印A6はユーザが地図上で指定した1つのカメラアイコンを、検出人物リストLS1に表示されている1つの顔画像にドラッグすることを示している。すなわち、図26におけるユーザのドラッグ操作の方向は、図11の場合とは逆である。
 本実施形態では、ユーザが第1実施形態とは逆方向のドラッグ操作を行った場合でも、第1実施形態と共通の検索処理を実行する。これにより、本実施形態によれば、第1実施形態と同様の効果を奏する。
[第4実施形態]
 本実施形態は、ユーザは地図上で指定した複数のカメラアイコンを同一画面に表示中の対象人物の顔画像に重ね合わせるドラッグ操作を行える点で上述した実施形態とは異なっている。
 図27は、本実施形態における検索画面の一例を示す図である。図27における破線矢印A7は、ユーザが地図M1上で指定した複数のカメラアイコンを、検出人物リストLS1に表示されている1つの顔画像に纏めてドラッグすることを示している。すなわち、図27におけるユーザのドラッグ操作の方向は、図19や図24等の場合とは逆である。
 本実施形態では、ユーザが第1実施形態や第2実施形態とは逆方向のドラッグ操作を行った場合でも、上述した各実施形態と共通の検索処理を実行する。これにより、本実施形態によれば、各実施形態と同様の効果を奏する。
[第5実施形態]
 本実施形態は、地図上で1つ選択したカメラアイコンを他のカメラアイコンに重ね合わせるドラッグ操作を行う第5の検索方法を実行できる点で上述した実施形態とは異なっている。
 さらに、本実施形態では、第5の検索方法の実行により得られた検索結果の一部又は全部を地図上のカメラアイコンに重ね合わせるドラッグ操作を行う第6の検索方法も実行できる。
(第5の検索方法)
 図28は、本実施形態における人物検索システム1の処理の一例を示すシーケンス図である。この処理は、第5の検索方法に関する。
 ステップS601において、ユーザ端末10は、表示装置106に検索画面を表示する。図29は、第5の検索方法に係る検索画面の一例を示す図である。ここでは、検索オプションの表示欄にチェックボックスCBが含まれている。本実施形態において、ユーザは、チェックボックスCBのON/OFF操作により検索方法を切り替えるものとする。
 具体的には、チェックボックスCBがOFFの場合には、2つの監視カメラ30に共通して映っている共通登場人物が検索対象となる。一方、チェックボックスがONの場合には、共通登場人物のうち、同時に(一緒に)映っている複数の人物の組み合わせが検索対象となる。
 ステップS602において、ユーザ端末10は、地図上において選択されたカメラアイコンが他のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10は、選択されたカメラアイコンが他のカメラアイコンにドラッグされたと判定した場合(ステップS602:YES)には、処理はステップS603へ移行する。
 これに対し、ユーザ端末10が、選択されたカメラアイコンが他のカメラアイコンにドラッグされていないと判定した場合(ステップS602:NO)には、ステップS602の処理は繰り返される。
 ステップS603において、ユーザ端末10は、ドラッグ元とドラッグ先のカメラアイコンに対応する監視カメラ30をそれぞれ特定する。図29の例では、ドラッグ元のカメラアイコンC1に対応する監視カメラ30のカメラIDは、“C1”である。そして、ドラッグ先のカメラアイコンC2に対応する監視カメラ30のカメラIDは、“C2”である。
 ステップS604において、ユーザ端末10は、検索画面において指定された検索対象の人物の指定情報を取得する。次に、ユーザ端末10は、ユーザ操作により検索画面において指定された検索対象期間を取得する(ステップS605)。
 ステップS606において、ユーザ端末10は、管理サーバ20に共通登場人物の検索要求を送信する。検索要求には、ドラッグ元及びドラッグ先の2つの監視カメラ30のカメラID、検索対象期間、検索対象の指定情報等の情報が含まれる。
 ステップS607において、管理サーバ20は、検索対象が“共通登場人物”であるか否かを判定する。ここで、管理サーバ20が、検索対象が“共通登場人物”であると判定した場合(ステップS607:YES)には、処理はステップS608へ移行する。
 これに対し、管理サーバ20が、検索対象が“共通登場人物”ではなく、“共通登場人物の組み合わせ”であると判定した場合(ステップS607:NO)には、処理はステップS609へ移行する。
 ステップS608において、管理サーバ20は、検索要求に含まれる検索条件に基づいて、ドラッグ元とドラッグ先の両方の監視カメラ30に共通して映っている人物(共通登場人物)を検索する。
 一方、ステップS609において、管理サーバ20は、検索要求に含まれる検索条件に基づいて、ドラッグ元とドラッグ先の両方の監視カメラ30に共通して同時に映っている人物(共通登場人物)の組み合わせを検索する。
 ステップS610において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば共通登場人物が映っている監視映像を読み出すための情報や共通登場人物の撮影日時の情報等が含まれる。
 ステップS611において、ユーザ端末10は、表示装置106に検索結果を表示する。図30及び図31は、第5の検索方法に係る検索結果の一例を示す図である。
 図30では、共通登場人物の“組み合わせ検出”をしないことが検索実行条件に含まれている。すなわち、上述した図29の例では、チェックボックスCBがOFFに設定された場合に相当する。このため、検索結果R6として、検索対象の2つの監視カメラ30(カメラID:C1/C2)の両方に映っていた人物のリスト情報が表示されている。
 一方、図31では、共通登場人物の“組み合わせ検出”をすることが検索実行条件に含まれている。このため、検索結果R7として、検索対象の2つの監視カメラ30(カメラID:C1/C2)の両方において一緒に映っていた人物の組み合わせのリスト情報が表示されている。検索結果R7に含まれる映像は、同時に映っている映像シーンのみが抽出したものでよい。
(第6の検索方法)
 図32は、本実施形態における人物検索システム1の処理の一例を示すシーケンス図である。この処理は、第6の検索方法に関し、上述した図28の後に実行され得る。
 ステップS612において、ユーザ端末10は、検索結果が地図上に表示されたカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10が、検索結果がカメラアイコンにドラッグされたと判定した場合(ステップS612:YES)には、処理はステップS613へ移行する。
 これに対し、ユーザ端末10が、検索結果がカメラアイコンにドラッグされていないと判定した場合(ステップS612:NO)には、図32の処理は終了する。
 ステップS613において、ユーザ端末10は、ユーザ操作に基づいて新たな検索対象の監視カメラ30のカメラIDを特定する。図33は、第6の検索方法に係る検索画面の一例を示す図である。図33における破線矢印A8は、ユーザが先に実行された検索処理の検索結果の一部をマウスポインタPによって指定し、その検索結果を地図上のカメラアイコンに重ね合わせるドラッグ操作を行うことを示している。
 図33の例では、検索結果R7のリスト情報の最上部の人物の組み合わせが指定されている。管理サーバ20は、指定された人物の顔画像の組み合わせに基づいて、ドラッグ先のカメラアイコンC3に係る監視カメラ30の映像を検索する。
 ステップS614において、ユーザ端末10は、管理サーバ20に共通登場人物の検索要求を送信する。検索要求には、先に実行された検索処理の検索結果を特定する識別情報、検索対象期間、検索対象の監視カメラ30のカメラID、検索対象とする人物の指定情報等の情報が含まれる。
 ステップS615において、管理サーバ20は、検索要求に含まれる検索条件に基づいて、検索結果に含まれる共通登場人物のうち、特定された監視カメラ30にも映っている人物を検出履歴情報DB24の中から検索する。ここで、検索対象とする人物は、検索画面における指定情報によって異なるものとする。
 例えば、検索対象が“共通登場人物”である場合には、第1カメラ及び第2カメラの両方に映っていた共通登場人物のうち、第3カメラにも映っている人物が検索される。
 一方、検索対象が“共通登場人物の組み合わせ”である場合には、第1カメラ及び第2カメラに同時に映っていた共通登場人物の組み合わせのうち、第3カメラにおいても同時に映っている人物の組み合わせが検索される。
 図34は、第6の検索方法に係る検索結果の一例を示す図である。検索結果R8は、図33において指定された人物の組み合わせが、ドラッグ先(検索対象)の監視カメラ30(カメラID:C3)の映像の中から抽出されたことを示している。
 本実施形態によれば、ユーザは地図上のカメラアイコン同士を重ね合わせるドラッグ操作を行うことにより、複数の監視カメラ30に共通して映っている人物のリスト情報と、複数の監視カメラ30に共通して同時に映っている人物の組み合わせのリスト情報とをそれぞれ取得できる。これにより、ユーザは、対象人物の絞り込み作業及び対象人物の関係者の絞り込み作業を効率的に行うことができる。
 さらに、本実施形態によれば、検索結果自体を地図上のカメラアイコンに重ね合わせるドラッグ操作を行うことができるため、先に実行された検索処理の結果をさらに絞り込める。
[第6実施形態]
 本実施形態は、対象人物を撮影した監視カメラ30(以下、「第1カメラ」という。)と、ドラッグ先のカメラアイコンに対応する他の監視カメラ30(以下、「第2カメラ」という。)との間の距離から対象人物の所要時間を推定し、第1カメラにおける撮影時刻と所要時間に基づいて検索対象期間を自動的に決定する点で上述の実施形態とは異なっている。なお、「所要時間」は、対象人物が第1カメラの場所から第2カメラの場所まで移動するために要する時間である。
 図35は、本実施形態における人物検索システム1の処理の一例を示すフローチャートである。この処理は、例えば図9に示すステップS209とステップS210の間に実行され得る。
 ステップS701において、ユーザ端末10は、対象人物の顔画像をドラッグした時に画面に表示されていた表示フレームの撮影時刻を取得する。
 ステップS702において、ユーザ端末10は、対象人物を撮影した監視カメラ30と、ドラッグ先のカメラアイコンに対応する監視カメラ30との間の距離を取得する。2つの監視カメラ30の間の距離は、例えばカメラ情報DB23に記憶されている位置情報から算出可能である。また、カメラ間の距離を記録しているテーブルがある場合には、2つのカメラIDに基づいて当該テーブルを参照することで取得できる。
 ステップS703において、ユーザ端末10は、所定速度とカメラ間の距離とに基づいて所要時間の範囲を推定する。「所定速度」としては、例えば時速3~5km/秒のように、人間の平均的な歩行速度の範囲が設定されると好適である。
 ステップS704において、ユーザ端末10は、撮影時刻と所要時間の範囲とに基づいてドラッグ先の監視カメラ30における検索対象期間を決定する。その後、処理は図9に示すステップS210へ移行する。
 本実施形態によれば、対象人物を指定した映像を撮影した監視カメラ30と、対象人物の顔画像のドラッグ先のカメラアイコンに対応する監視カメラ30との間の距離に基づいて、ドラッグ先の監視カメラ30における検索対象期間を自動で絞り込むことができる。これにより、人物検索システム1における検索処理の速度が向上する。
[第7実施形態]
 本実施形態は、対象人物の指定に用いた映像を解析して対象人物の移動速度を算出し、当該移動速度と2つの監視カメラ30の間の距離とに基づいて、検索対象の監視カメラ30に関する検索対象期間を自動的に決定する点で上述した第6実施形態とは異なっている。
 図36は、本実施形態における人物検索システム1の処理の一例を示すフローチャートである。この処理は、図15に示すステップS312とステップS314の間に実行され得る。
 ステップS801において、ユーザ端末10は、対象人物の顔画像をドラッグした時に画面に表示されていた表示フレームの撮影時刻を取得する。
 ステップS802において、ユーザ端末10は、映像内における対象人物の移動速度を算出する。例えば、対象人物の移動速度は、対象人物が監視カメラ30に実際に映っている時間の長さと、映像の情報(例えば倍率や撮影角度など)から得られる対象人物の移動距離とに基づいて算出される。
 ステップS803において、ユーザ端末10は、対象人物を撮影した監視カメラ30と、ドラッグ先のカメラアイコンに対応する監視カメラ30との間の距離を取得する。
 ステップS804において、ユーザ端末10は、移動速度とカメラ間の距離とに基づいて所要時間の範囲を推定する。例えば、ステップS802において算出された対象人物の移動速度が時速4.5km/秒であり、カメラ間の距離が0.4kmの場合を説明する。この場合、例えば対象人物の移動速度の範囲を時速4~5km/秒と仮定することで、所要時間の範囲は4.8分(=(0.4/5)×60)~6分(=(0.4/4)×60)と算出できる。
 ステップS805において、ユーザ端末10は、撮影時刻と所要時間の範囲とに基づいてドラッグ先の監視カメラ30における検索対象期間を決定する。その後、処理は図15に示すステップS314へ移行する。
 本実施形態によれば、映像解析により得られた対象人物の移動速度と2つの監視カメラ30の間の距離とに基づいて、ドラッグ先の監視カメラ30における検索対象期間を自動で絞り込むことができる。これにより、人物検索システム1における検索処理の速度が向上する。
[第8実施形態]
 図37は、本実施形態における情報処理装置100の構成を示すブロック図である。情報処理装置100は、表示制御部100Aと、操作受付部100Bと、処理要求部100Cとを備える。表示制御部100Aは、検索対象領域の地図と、地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させる。操作受付部100Bは、画面において人物画像及びカメラアイコンの一方を他方に重ね合わせる操作を受け付ける。処理要求部100Cは、前記操作に基づいて、人物画像と、カメラアイコンに係る監視カメラにおいて撮影された監視映像との照合処理を要求する。本実施形態によれば、ユーザは所望の監視カメラにおける監視映像の中から対象人物を容易に検索できる。
[変形実施形態]
 以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。
 上述した実施形態では、生体情報として顔画像を用いる場合について説明したが、本発明に用いる生体情報は顔画像のみに限られない。例えば、管理サーバ20は、顔画像の代わりに虹彩画像や耳介画像等の他の生体情報を用いて照合処理を行ってもよい。また、管理サーバ20は、異なる種類の生体情報の組み合わせに基づいて照合処理を行ってもよい。
 また、顔画像だけでなく、映像から人物を検索する際に、携行品に関する情報を検出し、顔画像に関連付けてデータベース内に記憶しておいてもよい。携行品の具体例としては、服装、帽子、靴、鞄、眼鏡及び各種のアクセサリー等が挙げられる。同様に、映像解析によって人物の年齢や性別を推定し、顔画像に関連付けてデータベース内に記憶しておいてもよい。ユーザ端末10は、対象人物の顔画像(人物画像)と指定情報との組み合わせに基づいて照合処理を管理サーバ20へ要求できる構成にしてもよい。この場合、ユーザは、対象人物の携行品に関する情報及び対象人物の年齢や性別等の属性情報のうち、少なくとも1つを画面上で指定することで、対象人物を検索できる。
 また、本発明の構成は、物品の検索にも適用できる。例えば、監視カメラ30が撮影した映像から画像解析技術を用いて車両のナンバープレート、形状、大きさ、色等の属性情報を検出し、その属性情報をデータベース内に記憶しておいてもよい。これにより、ユーザは所望の監視カメラ30の映像の中から対象車両を容易に検索できる。
 また、各監視カメラ30が撮影した映像を解析し、解析によって得られた各人物の歩き方等の特徴をデータベース内に記憶する構成にしてもよい。ユーザ操作により表示映像の中で対象人物が指定された場合には、対象人物の歩き方を解析し、その解析結果とデータベース内の検出人物の歩き方とを照合することで対象人物を検索できる。このように、歩容認証技術を用いることで、対象人物がマスクやサングラスを装着しているような場合でも対象人物を検索できる利点がある。
 上述した第1実施形態では、ユーザが検出人物リストから1つの顔画像を選択する場合について説明した。しかし、ユーザ端末10は、ユーザが検出人物リストの中から選択した複数の顔画像を1つのカメラアイコンに重ね合わせるドラッグ操作を行える機能をさらに備えてもよい。
 ユーザ操作により指定された複数の対象人物が、ドラッグ先の監視カメラ30において同時に映っていた場合には、管理サーバ20は所望の映像シーンを抽出し、ユーザ端末10に出力できる。例えば、人物Xと人物Yを指定したときに、二人が同時に映っている映像を検索できる。
 同様に、ユーザ操作により指定された複数の対象人物が、ドラッグ先の監視カメラ30において少なくとも一人映っていた場合には、管理サーバ20は該当人物に関する映像シーンを抽出し、ユーザ端末10に出力できる。
 上述した第1実施形態では、ユーザ端末10が管理サーバ20から配信された検出人物リストをユーザに提示する構成について説明した。管理サーバ20は、監視映像の中から検索(顔照合)に適する顔画像を自動的に選定して、例えば検出人物リストとしてユーザ端末10に出力する構成をさらに備えてもよい。具体的には、検出人物が監視カメラ30に対して正面を向いている顔画像を選定して、検出人物リストの中に含めるとよい。これにより、対象人物について実行する後続の照合処理の精度を向上できる。
 上述した実施形態では、屋外の検索対象エリアに配置された監視カメラ30の映像を収集し、その映像の中から対象人物を検索する場合について説明した。しかし、検索対象エリアは屋外のみに限られない。例えば、交通機関や商業施設等の屋内施設を検索対象エリアに設定できる。この場合、検索対象エリアは、階ごとの案内地図を表示すればよい。例えば、複数階からなる建物内での人物の追跡作業に本発明を適用する場合に、検索画面等において対象人物と監視カメラ30との位置関係や案内地図を2次元だけでなく、3次元で表示可能にしてもよい。
 また、上述実施形態では、管理サーバ20が映像情報DB22等のデータベースを備え、サーバ内で照合処理及び検索処理が実行される場合について説明した。しかし、監視カメラ30の各々が、管理サーバ20の処理の一部を担う構成でもよい。
 図38は、変形実施形態における人物検索システム2の全体構成の一例を示すブロック図である。ここでは、ユーザ端末10と、管理サーバ20と、複数の監視カメラ30とがインターネット等のネットワークNW3を介して接続されている。また、複数の監視カメラ30の各々は、検索プログラム31と、カメラ内DB32とを備えている。検索プログラム31は、ユーザ端末10からの検索要求に応じて、自機において撮影された撮影画像の中から、ユーザ端末10で指定された顔画像と一致する人物を検索するプログラムである。カメラ内DB32は、例えば管理サーバ20の映像情報DB22及び検出履歴情報DB24と同期したデータを記憶するデータベースである。カメラ内DB32は、自機において撮影した撮影映像を記憶・蓄積している。
 ユーザが地図上のカメラアイコン上に人物画像や顔画像をドラッグする操作を行った場合には、ユーザ端末10は、当該カメラアイコンに対応する監視カメラ30に対して直接的にあるいは管理サーバ20を介して間接的に検索要求を送信する。検索要求は、ユーザがドラッグした人物画像等を含んだ検索指示情報である。監視カメラ30は、ユーザ端末10から検索要求を受信すると、カメラ内DB32に対して検索処理を実行し、その検索結果をユーザ端末10に返す。この場合、複数の監視カメラ30が検索処理を分散して実行するため、管理サーバ20の処理負荷を低減できる利点がある。
 上述した各実施形態では、マウスポインタを用いたドラッグ操作によってカメラアイコン等を指定する場合について説明したが、マウスポインタを用いたドラッグ操作は指定操作の一例に過ぎない。例えば、ユーザが、マウスポインタの代わりに、指によるスワイプやタップ等によって指定操作を行える構成にしてもよい。
 上述した第5実施形態においては、例えば第1カメラ及び第2カメラに共通して登場する人物(共通登場人物)を検索するために、第1カメラに対応する第1カメラアイコンを第2カメラに対応する第2カメラアイコンにドラックする場合について説明した。しかし、複数のカメラアイコンを指定する方法は、これに限られない。
 図39及び図40は、変形実施形態における検索画面の一例を示す図である。図39における破線矢印A9は、ユーザがカメラアイコンC1(第1カメラアイコン)及びカメラアイコンC2(第2カメラアイコン)を指定するために、2つのカメラアイコンを含むようにマウスポインタPの軌跡で周囲を囲む操作を行うことを示している。また、破線矢印A10は、ユーザが、破線矢印A9の操作によって指定されたカメラアイコン群(あるいはカメラアイコン群の近傍領域)を、検出人物リストLS1の顔画像に対してドラッグする操作を示している。
 図40における破線矢印A11は、ユーザが複数のカメラアイコン(C1、C2、C4、C7~C9)の周囲を指Fでなぞることで検索対象の監視カメラ30を指定する操作を示している。また、破線矢印A12は、破線矢印A11の操作によって指定されたカメラアイコン群に対して、検出人物リストLS1の顔画像をドラッグする操作を示している。同様に、ユーザが複数のカメラアイコンをマウスポインタPでクリックあるいは指Fでタップして検索対象の監視カメラ30を指定し、当該指定後にカメラアイコン群(あるいはカメラアイコン群の近傍領域)に対して人物画像をドラッグする操作を行ってもよい。いずれの場合にも、第5実施形態の場合と同様に、検索対象の監視カメラ30の全てに共通して映っている人物を検索可能である。なお、検索対象として指定するカメラアイコンの数は限定されず、3つ以上であってもよい。
 上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
 該記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード等を用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。
 上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させる表示制御部と、
 前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付ける操作受付部と、
 前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求する処理要求部と、
 を備える情報処理装置。
(付記2)
 前記表示制御部は、前記監視映像のうち、前記人物画像との照合の結果が照合一致である登場人物が映っている抽出映像を表示させる、
 付記1に記載の情報処理装置。
(付記3)
 前記操作受付部は、前記抽出映像の中で指定された人物に関する指定人物画像を、前記地図上の前記カメラアイコンに重ね合わせる操作を受け付け、
 前記処理要求部は、前記指定人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された前記監視映像との他の照合処理を要求する、
 付記2に記載の情報処理装置。
(付記4)
 前記操作受付部は、前記人物画像を、前記地図上に重畳表示された複数の前記カメラアイコンに同時に重ね合わせる操作を受け付け、
 前記処理要求部は、前記人物画像と、複数の前記カメラアイコンの各々に係る前記監視カメラにおいて撮影された前記監視映像との照合処理を一括して要求する、
 付記2又は3に記載の情報処理装置。
(付記5)
 前記表示制御部は、前記監視カメラの各々に係る前記照合処理の結果に応じて前記カメラアイコンの表示形式を変更する、
 付記4に記載の情報処理装置。
(付記6)
 前記操作受付部は、指定された複数の前記検索対象人物の前記人物画像を、前記地図上の1つの前記カメラアイコンに重ね合わせる操作を受け付け、
 前記処理要求部は、複数の前記人物画像の各々と、前記カメラアイコンに係る前記監視カメラにおいて撮影された前記監視映像との前記照合処理を一括して要求する、
 付記2乃至5のいずれかに記載の情報処理装置。
(付記7)
 前記表示制御部は、前記人物画像が重ね合わされた前記カメラアイコンに係る前記監視映像のうち、指定された複数の前記検索対象人物の少なくとも一人が映っている前記抽出映像を表示させる、
 付記6に記載の情報処理装置。
(付記8)
 前記表示制御部は、前記人物画像が重ね合わされた前記カメラアイコンに係る前記監視映像のうち、指定された前記検索対象人物の全てが同時に映っている前記抽出映像を表示させる、
 付記6に記載の情報処理装置。
(付記9)
 前記処理要求部は、前記人物画像の撮影時刻と、前記人物画像を撮影した第1カメラの位置情報と、前記人物画像が重ね合わされた前記カメラアイコンに係る第2カメラの位置情報とに基づいて、前記人物画像と前記第2カメラが撮影した前記監視映像との前記照合処理を実行する時間範囲を決定する、
 付記1乃至8のいずれかに記載の情報処理装置。
(付記10)
 前記処理要求部は、前記人物画像の撮影時刻と、前記人物画像から得られた前記検索対象人物の移動速度と、前記人物画像を撮影した第1カメラの位置情報と、前記人物画像が重ね合わされた前記カメラアイコンに係る第2カメラの位置情報とに基づいて、前記人物画像と前記第2カメラが撮影した前記監視映像との前記照合処理を実行する時間範囲を決定する、
 付記1乃至8のいずれかに記載の情報処理装置。
(付記11)
 前記表示制御部は、前記抽出映像に係る前記監視カメラとは異なる他の前記監視カメラの設置場所の方角を示す標識を、前記抽出映像において重畳して表示させる、
 付記2乃至8のいずれかに記載の情報処理装置。
(付記12)
 前記表示制御部は、前記照合処理の結果が照合一致であった人物が進む方角に位置する前記監視カメラの識別情報を、前記抽出映像において重畳して表示させる、
 付記11に記載の情報処理装置。
(付記13)
 前記表示制御部は、前記照合処理の結果が照合一致であった人物が進む方角に位置する前記監視カメラに係る前記カメラアイコンを強調表示させる、
 付記1乃至12のいずれかに記載の情報処理装置。
(付記14)
 前記操作受付部は、前記検索対象人物の服装、携行品、年齢、性別及び歩容に関する少なくとも1つの指定情報を受け付け、
 前記処理要求部は、前記人物画像と前記指定情報との組み合わせに基づいて前記照合処理を要求する、
 付記1乃至13のいずれかに記載の情報処理装置。
(付記15)
 前記表示制御部は、前記地図に表示されている前記カメラアイコンに係る前記監視カメラが撮影した前記監視映像を前記画面に表示し、
 前記操作受付部は、前記監視映像の中に含まれる前記検索対象人物の前記人物画像と、前記地図上の前記カメラアイコンとを重ね合わせる操作を受け付ける、
 付記1乃至14のいずれかに記載の情報処理装置。
(付記16)
 前記表示制御部は、読み込みが要求された画像ファイルを前記画面に表示し、
 前記操作受付部は、表示された前記画像ファイルの中に含まれる前記検索対象人物の前記人物画像と、前記地図上の前記カメラアイコンとを重ね合わせる操作を受け付ける、
 付記1乃至15のいずれかに記載の情報処理装置。
(付記17)
 前記表示制御部は、前記地図上において指定された前記カメラアイコンに係る前記監視カメラが撮影した前記監視映像に登場する人物の人物画像リストを表示し、
 前記操作受付部は、前記人物画像リストの中から指定された指定人物画像と、前記地図上の前記カメラアイコンとを重ね合わせる操作を受け付ける、
 付記1乃至16のいずれかに記載の情報処理装置。
(付記18)
 検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させるステップと、
 前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付けるステップと、
 前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求するステップと、
 を備える情報処理方法。
(付記19)
 コンピュータに、
 検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させるステップと、
 前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付けるステップと、
 前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求するステップと、
 を実行させるためのプログラムが記録された記録媒体。
NW1,NW2,NW3・・・ネットワーク
1,2・・・人物検索システム
10・・・ユーザ端末
20・・・管理サーバ
21・・・登録者情報DB
22・・・映像情報DB
23・・・カメラ情報DB
24・・・検出履歴情報DB
30・・・監視カメラ
31・・・検索プログラム
32・・・カメラ内DB
100・・・情報処理装置
100A・・・表示制御部
100B・・・操作受付部
100C・・・処理要求部

Claims (19)

  1.  検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させる表示制御部と、
     前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付ける操作受付部と、
     前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求する処理要求部と、
     を備える情報処理装置。
  2.  前記表示制御部は、前記監視映像のうち、前記人物画像との照合の結果が照合一致である登場人物が映っている抽出映像を表示させる、
     請求項1に記載の情報処理装置。
  3.  前記操作受付部は、前記抽出映像の中で指定された人物に関する指定人物画像を、前記地図上の前記カメラアイコンに重ね合わせる操作を受け付け、
     前記処理要求部は、前記指定人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された前記監視映像との他の照合処理を要求する、
     請求項2に記載の情報処理装置。
  4.  前記操作受付部は、前記人物画像を、前記地図上に重畳表示された複数の前記カメラアイコンに同時に重ね合わせる操作を受け付け、
     前記処理要求部は、前記人物画像と、複数の前記カメラアイコンの各々に係る前記監視カメラにおいて撮影された前記監視映像との照合処理を一括して要求する、
     請求項2又は3に記載の情報処理装置。
  5.  前記表示制御部は、前記監視カメラの各々に係る前記照合処理の結果に応じて前記カメラアイコンの表示形式を変更する、
     請求項4に記載の情報処理装置。
  6.  前記操作受付部は、指定された複数の前記検索対象人物の前記人物画像を、前記地図上の1つの前記カメラアイコンに重ね合わせる操作を受け付け、
     前記処理要求部は、複数の前記人物画像の各々と、前記カメラアイコンに係る前記監視カメラにおいて撮影された前記監視映像との前記照合処理を一括して要求する、
     請求項2乃至5のいずれか1項に記載の情報処理装置。
  7.  前記表示制御部は、前記人物画像が重ね合わされた前記カメラアイコンに係る前記監視映像のうち、指定された複数の前記検索対象人物の少なくとも一人が映っている前記抽出映像を表示させる、
     請求項6に記載の情報処理装置。
  8.  前記表示制御部は、前記人物画像が重ね合わされた前記カメラアイコンに係る前記監視映像のうち、指定された前記検索対象人物の全てが同時に映っている前記抽出映像を表示させる、
     請求項6に記載の情報処理装置。
  9.  前記処理要求部は、前記人物画像の撮影時刻と、前記人物画像を撮影した第1カメラの位置情報と、前記人物画像が重ね合わされた前記カメラアイコンに係る第2カメラの位置情報とに基づいて、前記人物画像と前記第2カメラが撮影した前記監視映像との前記照合処理を実行する時間範囲を決定する、
     請求項1乃至8のいずれか1項に記載の情報処理装置。
  10.  前記処理要求部は、前記人物画像の撮影時刻と、前記人物画像から得られた前記検索対象人物の移動速度と、前記人物画像を撮影した第1カメラの位置情報と、前記人物画像が重ね合わされた前記カメラアイコンに係る第2カメラの位置情報とに基づいて、前記人物画像と前記第2カメラが撮影した前記監視映像との前記照合処理を実行する時間範囲を決定する、
     請求項1乃至8のいずれか1項に記載の情報処理装置。
  11.  前記表示制御部は、前記抽出映像に係る前記監視カメラとは異なる他の前記監視カメラの設置場所の方角を示す標識を、前記抽出映像において重畳して表示させる、
     請求項2乃至8のいずれか1項に記載の情報処理装置。
  12.  前記表示制御部は、前記照合処理の結果が照合一致であった人物が進む方角に位置する前記監視カメラの識別情報を、前記抽出映像において重畳して表示させる、
     請求項11に記載の情報処理装置。
  13.  前記表示制御部は、前記照合処理の結果が照合一致であった人物が進む方角に位置する前記監視カメラに係る前記カメラアイコンを強調表示させる、
     請求項1乃至12のいずれか1項に記載の情報処理装置。
  14.  前記操作受付部は、前記検索対象人物の服装、携行品、年齢、性別及び歩容に関する少なくとも1つの指定情報を受け付け、
     前記処理要求部は、前記人物画像と前記指定情報との組み合わせに基づいて前記照合処理を要求する、
     請求項1乃至13のいずれか1項に記載の情報処理装置。
  15.  前記表示制御部は、前記地図に表示されている前記カメラアイコンに係る前記監視カメラが撮影した前記監視映像を前記画面に表示し、
     前記操作受付部は、前記監視映像の中に含まれる前記検索対象人物の前記人物画像と、前記地図上の前記カメラアイコンとを重ね合わせる操作を受け付ける、
     請求項1乃至14のいずれか1項に記載の情報処理装置。
  16.  前記表示制御部は、読み込みが要求された画像ファイルを前記画面に表示し、
     前記操作受付部は、表示された前記画像ファイルの中に含まれる前記検索対象人物の前記人物画像と、前記地図上の前記カメラアイコンとを重ね合わせる操作を受け付ける、
     請求項1乃至15のいずれか1項に記載の情報処理装置。
  17.  前記表示制御部は、前記地図上において指定された前記カメラアイコンに係る前記監視カメラが撮影した前記監視映像に登場する人物の人物画像リストを表示し、
     前記操作受付部は、前記人物画像リストの中から指定された指定人物画像と、前記地図上の前記カメラアイコンとを重ね合わせる操作を受け付ける、
     請求項1乃至16のいずれか1項に記載の情報処理装置。
  18.  検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させるステップと、
     前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付けるステップと、
     前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求するステップと、
     を備える情報処理方法。
  19.  コンピュータに、
     検索対象領域の地図と、前記地図において監視カメラの設置位置を示すカメラアイコンと、検索対象人物の人物画像とを同一の画面に表示させるステップと、
     前記画面において前記人物画像及び前記カメラアイコンの一方を他方に重ね合わせる操作を受け付けるステップと、
     前記操作に基づいて、前記人物画像と、前記カメラアイコンに係る前記監視カメラにおいて撮影された監視映像との照合処理を要求するステップと、
     を実行させるためのプログラムが記録された記録媒体。
PCT/JP2020/003741 2020-01-31 2020-01-31 情報処理装置、情報処理方法及び記録媒体 WO2021152836A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/794,376 US20230052278A1 (en) 2020-01-31 2020-01-31 Information processing apparatus, information processing method, and storage medium
PCT/JP2020/003741 WO2021152836A1 (ja) 2020-01-31 2020-01-31 情報処理装置、情報処理方法及び記録媒体
JP2021574415A JP7389955B2 (ja) 2020-01-31 2020-01-31 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003741 WO2021152836A1 (ja) 2020-01-31 2020-01-31 情報処理装置、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2021152836A1 true WO2021152836A1 (ja) 2021-08-05

Family

ID=77079755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003741 WO2021152836A1 (ja) 2020-01-31 2020-01-31 情報処理装置、情報処理方法及び記録媒体

Country Status (3)

Country Link
US (1) US20230052278A1 (ja)
JP (1) JP7389955B2 (ja)
WO (1) WO2021152836A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7482011B2 (ja) * 2020-12-04 2024-05-13 株式会社東芝 情報処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050243A (ja) * 1998-07-31 2000-02-18 Canon Inc カメラ制御システムおよびその制御方法およびその処理を実行させるプログラムを記憶した記憶媒体および映像受信端末
JP2006094293A (ja) * 2004-09-27 2006-04-06 Hitachi Software Eng Co Ltd 差分画像検出システムおよび差分画像検出方法
JP2013003964A (ja) * 2011-06-20 2013-01-07 Toshiba Corp 顔画像検索システム、及び顔画像検索方法
JP2015220549A (ja) * 2014-05-15 2015-12-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2016189782A1 (ja) * 2015-05-26 2016-12-01 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202101A1 (en) * 2002-04-29 2003-10-30 Monroe David A. Method for accessing and controlling a remote camera in a networked system with multiple user support capability and integration to other sensor systems
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
US8671123B2 (en) * 2012-02-01 2014-03-11 Microsoft Corporation Contextual icon-oriented search tool
JP2016009278A (ja) * 2014-06-24 2016-01-18 キヤノン株式会社 画像処理システム
WO2016077468A1 (en) * 2014-11-12 2016-05-19 Covar Applied Technologies, Inc. System and method for inhibiting or causing automated actions based on person locations estimated from multiple video sources
JP6961363B2 (ja) * 2017-03-06 2021-11-05 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050243A (ja) * 1998-07-31 2000-02-18 Canon Inc カメラ制御システムおよびその制御方法およびその処理を実行させるプログラムを記憶した記憶媒体および映像受信端末
JP2006094293A (ja) * 2004-09-27 2006-04-06 Hitachi Software Eng Co Ltd 差分画像検出システムおよび差分画像検出方法
JP2013003964A (ja) * 2011-06-20 2013-01-07 Toshiba Corp 顔画像検索システム、及び顔画像検索方法
JP2015220549A (ja) * 2014-05-15 2015-12-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2016189782A1 (ja) * 2015-05-26 2016-12-01 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Also Published As

Publication number Publication date
JPWO2021152836A1 (ja) 2021-08-05
JP7389955B2 (ja) 2023-12-01
US20230052278A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
JP2023129429A (ja) 情報処理装置、情報処理方法及びプログラム
KR102182314B1 (ko) 가상현실 영상을 이용한 기록 대상 공간 정보 통합 관리 플랫폼을 운영하는 관리 서버 및 이의 플랫폼 운영 방법
KR102040702B1 (ko) 위성영상을 이용한 활용서비스 제공 장치 및 방법
JP5477017B2 (ja) 電子機器、コンテンツ送信方法及びプログラム
US10606886B2 (en) Method and system for remote management of virtual message for a moving object
WO2018135729A1 (ko) 소셜 네트워크 서비스를 이용한 콘텐츠 기부 및 기부 콘텐츠 구매 방법
WO2021152836A1 (ja) 情報処理装置、情報処理方法及び記録媒体
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
KR102293880B1 (ko) 반응형 광고 출력 시스템
KR20180101948A (ko) 답변 제공 장치, 방법 및 프로그램
JP2021149854A (ja) 情報配信システム及び情報配信方法
CN115223085A (zh) 一种风险人员的流调方法、装置、电子设备及存储介质
JP5946315B2 (ja) 画像検索システム
JP6856084B2 (ja) 情報処理装置、コンテンツ制御装置、情報処理方法、及びプログラム
WO2020231211A1 (ko) 행사 참여 유도 방법 및 시스템
JP6773144B2 (ja) コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム
KR20200132807A (ko) 가상현실 영상을 이용한 기록 대상 공간 정보 통합 관리 플랫폼을 운영하는 관리 서버 및 이의 플랫폼 운영 방법
JP2003208435A (ja) 描画履歴登録システム、描画履歴再生システム、描画履歴登録端末、描画履歴登録プログラム及び端末用プログラム、並びに描画履歴登録方法
KR102502034B1 (ko) 영상의 비 식별 처리 객체를 검색하는 방법 및 시스템
JP7546035B2 (ja) 人物追跡システム、人物追跡サーバ装置、人物追跡方法
CN110298527A (zh) 信息输出方法、系统及设备
JP2011248754A (ja) 人物情報自動収集システム及び人物情報自動収集方法並びにそのプログラム
JP7389367B2 (ja) 展示会支援装置、展示会支援システム、展示会支援方法、及びプログラム
EP1569448A1 (en) Image description system and method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20917241

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021574415

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20917241

Country of ref document: EP

Kind code of ref document: A1