WO2022185521A1 - 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム - Google Patents

移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム Download PDF

Info

Publication number
WO2022185521A1
WO2022185521A1 PCT/JP2021/008658 JP2021008658W WO2022185521A1 WO 2022185521 A1 WO2022185521 A1 WO 2022185521A1 JP 2021008658 W JP2021008658 W JP 2021008658W WO 2022185521 A1 WO2022185521 A1 WO 2022185521A1
Authority
WO
WIPO (PCT)
Prior art keywords
route
feature amount
feature
target
moving
Prior art date
Application number
PCT/JP2021/008658
Other languages
English (en)
French (fr)
Inventor
亮史 服部
誠司 奥村
孝之 小平
博文 西川
士人 新井
史記 長澤
英司 山本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to GB2312834.1A priority Critical patent/GB2619633A/en
Priority to PCT/JP2021/008658 priority patent/WO2022185521A1/ja
Priority to JP2022562397A priority patent/JP7270855B2/ja
Publication of WO2022185521A1 publication Critical patent/WO2022185521A1/ja
Priority to US18/220,444 priority patent/US20230349711A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Definitions

  • the present disclosure relates to a moving route estimation device, a moving route estimating method, and a moving route estimating program.
  • a person identification process is used in which images in which a person appears are compared by comparing feature amounts, and it is determined whether or not the person appearing in the images is the same person.
  • Patent Document 1 when the positional relationship of the cameras and the distance between the cameras are given, the appearance feature similarity of the target person photographed by each camera and the destination camera estimation result based on the moving direction of the target person. , a method for estimating a person's inter-camera movement is disclosed.
  • Patent Document 1 is a method of sequentially tracking the movement path of the target person by repeating the process of estimating the camera that shot the target person in chronological order. Therefore, local estimation processing is the core of this method, and there is a problem that the movement route estimation fails if the target person is erroneously identified at a certain time, or if there is an omission in identification at a certain time. .
  • the present disclosure aims at estimating the moving route of a target person without sequentially tracking the target person.
  • a moving route estimation device includes: Each of a plurality of object feature amounts extracted from a plurality of images obtained by photographing a part of a target space within a target period is defined as a target feature amount, and the target feature amount and the extraction source of the target feature amount are A moving route estimating device that uses data managed by a feature management device that manages a photographing time that indicates the time at which a certain video was photographed in association with each other,
  • the target feature amount is a feature amount extracted from any one of the plurality of images, and is a feature amount indicating any feature of one or more objects,
  • the moving route estimation device Each feature of two or more feature amounts from the plurality of object feature amounts based on the similarity between a feature amount corresponding to a moving object, which is an object that has moved within the target space within the target period, and the target feature amount.
  • an object search unit that searches for a quantity as a search feature quantity;
  • the moving body moves within the target period based on the photographing time corresponding to the retrieval feature amount and the position where the object corresponding to the retrieval feature amount was present at the photographing time corresponding to the retrieval feature amount.
  • a plurality of route candidates indicating corresponding route candidates corresponding to the route in the object space obtained and the likelihood of each of the plurality of route candidates are obtained, and the correspondence is determined from the plurality of route candidates according to the calculated likelihood. and a movement route estimation unit that estimates a route.
  • a plurality of route candidates are obtained based on the feature amount, and the moving route of the target person is estimated according to the likelihood of each of the plurality of route candidates obtained. Therefore, according to the present disclosure, the movement path of the target person can be estimated without sequentially tracking the target person.
  • FIG. 1 is a diagram showing a configuration example of a moving route estimation system 90 according to Embodiment 1;
  • FIG. 2 is a diagram showing a hardware configuration example of a moving route estimation device 50 according to Embodiment 1;
  • FIG. 4 is a flowchart showing normal operation according to Embodiment 1;
  • 4A and 4B are diagrams for explaining a camera-related map according to the first embodiment;
  • FIG. 4A and 4B are diagrams for explaining a process of creating a camera-related map according to Embodiment 1, where (a) is a diagram showing a given map, and (b) is a diagram showing a camera-related map corresponding to (a);
  • 4 is a flowchart showing an event operation according to Embodiment 1;
  • FIG. 2 is a diagram for explaining route candidates according to Embodiment 1, in which (a) is a table showing search results, (b) is a diagram showing route candidates, (c) is a diagram showing route candidates, and (d) is a route A diagram showing candidates.
  • FIG. 3 is a diagram showing a hardware configuration example of a moving route estimation device 50 according to a modification of Embodiment 1;
  • FIG. 1 shows a configuration example of a moving route estimation system 90.
  • the movement route estimation system 90 includes a camera 10, a hub 20, a feature extraction device 30, a feature management device 40, and a movement route estimation device 50, as shown in this figure.
  • the movement route estimation device 50 is connected to the feature management device 40 .
  • the feature management device 40 is connected with the feature extraction device 30 .
  • a feature extraction device 30 is connected to each camera 10 via a hub 20 .
  • N cameras 10 There are N cameras 10 .
  • N is an integer equal to or greater than 2, and "-1" or the like is a notation for distinguishing the N cameras 10 from each other.
  • Each of the cameras 10-1 to 10-N is typically an IP (Internet Protocol) camera, and is installed at various locations in the target space, which is the space in which the movement route is estimated. Take a picture of an object that exists in The video captured by each camera 10 is transmitted to the hub 20 through a transmission line such as an IP network.
  • Each camera 10 may be arranged without sharing a field of view. That is, the target space may have blind spots that are not captured by the camera 10 .
  • the camera 10 is a camera that transmits compressed video data via an IP network.
  • the camera 10 may be a camera that transmits an uncompressed video signal via a coaxial cable, or may be a camera that employs other transmission methods.
  • the hub 20 has a function of receiving video data delivered by each camera 10 and delivering the received video data to the feature extraction device 30 .
  • the hub 20 is an aggregation device compatible with the protocol.
  • the feature extraction device 30 is connected to the Internet and receives video data via the Internet. good. In this case, the Internet corresponds to hub 20 .
  • the feature extraction device 30 includes a video data acquisition section 301 , an object detection section 302 and an object feature extraction section 303 .
  • the feature extracting device 30 extracts an object feature amount that can be used to identify the object from the object captured in the image acquired by each camera 10, and compares the extracted object feature amount with the camera 10 that captured the object.
  • camera ID Identity
  • photographing time are set and input to the feature management device 40 .
  • the feature extraction device 30 is also called a person feature extraction device.
  • the object is an object whose movement route is estimated by the movement route estimation device 50, and specific examples thereof include a person, a vehicle, a robot, or an animal.
  • the feature management device 40 includes an object feature acquisition section 401 , a database input section 402 , a search request acquisition section 403 , a database search section 404 , a search result output section 405 and a database 406 .
  • the feature management device 40 is a database device that records and manages object feature amounts.
  • the feature management device 40 has a function of registering in the database 406 as a feature quantity record a set of the object feature quantity input from the feature extraction device 30, the photographing camera ID, and the photographing time. and extracts from the database 406 a feature amount record including a person feature amount similar to the person feature amount included in the search request.
  • the feature management device 40 is also called a person feature management device.
  • the feature management device 40 treats each object feature amount of a plurality of object feature amounts extracted from a plurality of images obtained by photographing a part of the target space within the target period as the target feature amount, and sets the target feature amount and the target feature amount is managed in association with the photographing time indicating the photographing time of the video that is the extraction source of the .
  • the target feature amount is a feature amount extracted from any one of a plurality of videos, and is a feature amount indicating any feature of one or more objects. Each video of the plurality of videos is captured by each camera 10 .
  • the movement route estimation device 50 includes a route estimation request acquisition unit 501 , a search feature extraction unit 502 , an estimation control unit 503 , an object search unit 504 and a movement route estimation unit 505 .
  • the estimation control unit 503 is also called a moving route estimation control unit.
  • the movement route estimation device 50 estimates the movement route of the person in the person image included in the request while controlling the feature management device 40 .
  • the movement route estimation device 50 is also called a person movement route estimation device.
  • the movement route estimation device 50 uses data managed by the feature management device 40 .
  • the object search unit 504 extracts two or more feature values from a plurality of object feature values based on the similarity between the feature value corresponding to the moving object, which is the object that moved in the target space during the target period, and the target feature value. Each feature quantity is searched as a search feature quantity.
  • the moving route estimation unit 505 generates a plurality of route candidates and a plurality of route candidates based on the photographing time corresponding to the retrieved feature quantity and the position where the object corresponding to the searched feature quantity was present at the photographing time. , and estimates a corresponding route from a plurality of route candidates according to the calculated likelihood.
  • a plurality of route candidates indicates corresponding route candidates corresponding to the route in the target space along which the mobile object moved within the target period.
  • the moving route estimating unit 505 cannot always estimate a route that is exactly the same as the route actually traveled by the moving object, the route estimated by the moving route estimating unit 505 is used as the corresponding route.
  • a movement route estimation unit 505 realizes each of a plurality of route candidates based on the photographing time corresponding to the retrieval feature amount and the position where the object corresponding to the retrieval feature amount was present at the photographing time corresponding to the retrieval feature amount.
  • a probability may be obtained, and the likelihood of each of a plurality of route candidates may be obtained based on the obtained realization probability.
  • the moving route estimating unit 505 may obtain the likelihood of each of the plurality of route candidates based on the speed assumed as the speed at which the moving object moves along the routes corresponding to each of the plurality of route candidates.
  • the movement route estimation unit 505 may obtain the likelihood of each of the plurality of route candidates based on the similarity between the feature quantity corresponding to the moving body and the search feature quantity.
  • the moving route estimating unit 505 may obtain each of the plurality of route candidates using a camera relationship map, which is a graph generated based on the map of the target space and the positions of the regions projected by the plurality of images. .
  • the moving route estimating unit 505 may obtain the likelihood of each of the plurality of route candidates based on the moving cost indicating the cost of moving the moving object between the nodes of the camera relation map.
  • the feature extraction device 30, the feature management device 40, and the moving route estimation device 50 are represented as different devices, but at least two of them are integrated into one device.
  • each of the feature extraction device 30 and the feature management device 40 is expressed as one device, both the feature extraction device 30 and the feature management device 40 may be configured by a plurality of devices.
  • a plurality of feature extraction devices 30 are prepared, some cameras 10 are assigned to a certain feature extraction device 30, and other cameras 10 are assigned to another feature extraction device 30, whereby the feature extraction device 30 can cope with even a huge number of cameras 10 .
  • the search and record storage speed can be improved.
  • FIG. 2 shows a hardware configuration example of the moving route estimation device 50 according to the present embodiment.
  • the moving route estimating device 50 consists of a computer.
  • the moving route estimation device 50 may consist of a plurality of computers.
  • the moving route estimation device 50 is a computer equipped with hardware such as a processor 11, a memory 12, an auxiliary storage device 13, an input/output IF (Interface) 14, a communication device 15, etc., as shown in the figure. These pieces of hardware are appropriately connected via signal lines 19 .
  • the processor 11 is an IC (Integrated Circuit) that performs arithmetic processing and controls hardware included in the computer.
  • the processor 11 is, for example, a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
  • the movement path estimation device 50 may include multiple processors that substitute for the processor 11 . A plurality of processors share the role of processor 11 .
  • the memory 12 is typically a volatile storage device. Memory 12 is also referred to as main storage or main memory.
  • the memory 12 is, as a specific example, a RAM (Random Access Memory).
  • the data stored in the memory 12 is saved in the auxiliary storage device 13 as required.
  • Auxiliary storage device 13 is typically a non-volatile storage device.
  • the auxiliary storage device 13 is, for example, a ROM (Read Only Memory), an HDD (Hard Disk Drive), or a flash memory.
  • the data stored in the auxiliary storage device 13 are loaded into the memory 12 as required.
  • the memory 12 and the auxiliary storage device 13 may be constructed integrally.
  • the input/output IF 14 is a port to which an input device and an output device are connected.
  • the input/output IF 14 is, as a specific example, a USB (Universal Serial Bus) terminal.
  • the input device is, as a specific example, a keyboard and a mouse.
  • a specific example of the output device is a display.
  • the communication device 15 is a receiver and a transmitter.
  • the communication device 15 is, as a specific example, a communication chip or a NIC (Network Interface Card).
  • Each part of the moving route estimation device 50 may use the communication device 15 as appropriate when communicating with other devices.
  • Each part of the moving route estimation device 50 may receive data via the input/output IF 14 or may receive data via the communication device 15 .
  • the auxiliary storage device 13 stores a moving route estimation program.
  • the movement route estimation program is a program that causes a computer to implement the function of each unit included in the movement route estimation device 50 .
  • the moving route estimation program is loaded into memory 12 and executed by processor 11 .
  • the function of each unit included in the moving route estimation device 50 is implemented by software.
  • Each unit of the movement route estimation device 50 uses a storage device as appropriate.
  • the storage device comprises at least one of memory 12 , auxiliary storage device 13 , registers within processor 11 , and cache memory within processor 11 , as a specific example. Note that data and information may have the same meaning.
  • the storage device may be independent of the computer.
  • the functions of the memory 12 and auxiliary storage device 13 may be realized by another storage device.
  • Any program described in this specification may be recorded in a computer-readable non-volatile recording medium.
  • a nonvolatile recording medium is, for example, an optical disk or a flash memory. Any program described herein may be provided as a program product.
  • the hardware configuration of each of feature extraction device 30 and feature management device 40 may be the same as the hardware configuration of moving route estimation device 50 .
  • the operation procedure of the feature extraction device 30 corresponds to the feature extraction method.
  • a program that implements the operation of the feature extraction device 30 corresponds to a feature extraction program.
  • the operation procedure of the feature management device 40 corresponds to the feature management method.
  • a program that implements the operation of the feature management device 40 corresponds to a feature management program.
  • the operation procedure of the moving route estimation device 50 corresponds to the moving route estimation method.
  • a program that realizes the operation of the movement route estimation device 50 corresponds to a movement route estimation program.
  • Main operations of the moving route estimation system 90 include constant operations and event operations.
  • the constant operation is an operation of collecting person feature amounts by the feature extraction device 30 and the feature management device 40 .
  • the event operation is an operation of estimating a person's moving route by the moving route estimating device 50 and the feature managing device 40 with a request from the user as a trigger.
  • FIG. 3 is a flowchart showing an example of constant operations performed by the feature extraction device 30 and the feature management device 40.
  • FIG. A constant operation will be described with reference to this figure.
  • Step S101 After the feature extraction device 30 is activated, the video data acquisition unit 301 waits for video data to be received from the camera 10 via the hub 20 .
  • the feature management device 40 may be always activated, or may be repeatedly activated and deactivated as appropriate.
  • Step S102 When the video data acquisition unit 301 receives video data from the camera 10, the video data acquisition unit 301 decodes the received video data and outputs the decoded video data to the object detection unit 302 as decoded data. At this time, the video data acquisition unit 301 acquires the camera ID of the camera 10 that is the distribution source of the video data, and outputs the acquired camera ID together with the video data. In addition, the video data acquisition unit 301 also outputs the shooting time corresponding to the video data together with the video data. The shooting time may be a time stamp recorded by the camera 10 or the time when the video data acquisition unit 301 received the video data. For some frames of video data, corresponding shooting times may not be prepared.
  • the video data acquisition unit 301 preliminarily holds a table indicating the relationship between the IP address of the camera 10 and the camera ID in the feature extraction device 30, and acquires the camera ID by referring to the table. .
  • the video data acquisition unit 301 may use the IP address of the camera 10 as the camera ID.
  • the camera ID may be any information as long as the entity of each camera 10 and the video data sent from each camera 10 can be linked by some means.
  • the object detection unit 302 detects a person appearing in the image of the decoded data output by the image data acquisition unit 301 .
  • the object detection unit 302 supplies the object feature extraction unit 303 with the detection result that is the result of detecting the person, the photographing time that is the time when the detected person was photographed, and the camera ID of the camera 10 that photographed the detected person. Output.
  • the method by which the object detection unit 302 detects a person may be a method using image analysis technology such as HoG (Histogram of Oriented Gradients), CNN (Convolutional Neural Network), Faster R-CNN (Faster Region-based Convolutional Neural Network), SSD (Single Shot Detector), or other machine learning approach may be used.
  • the target extracted by the object detection unit 302 needs to match the target from which the object feature extraction unit 303 extracts the feature quantity in the later stage.
  • the object detection unit 302 needs to detect the full-body image of the person.
  • the object detection unit 302 needs to detect a person's face.
  • the object feature extraction unit 303 extracts feature amounts based on a plurality of continuous frames, for example, when the object feature extraction unit 303 extracts feature amounts corresponding to human actions, the object detection unit 302 extracts feature amounts based on continuous frames.
  • the object detection unit 302 may output, as the detection result, an image obtained by extracting the video of the decoded data and including the detected person. You may output the set with the information which shows the position of the person who performed. If the object feature extraction unit 303 has means for accessing the recorded decoded data video, the object detection unit 302 identifies the frame number of the recorded decoded data video as the detection result. and information indicating the position of the detected person in the video corresponding to the frame number.
  • the object feature extraction unit 303 extracts a person feature amount from the detection result output by the object detection unit 302 .
  • the person feature amount extracted by the object feature extraction unit 303 is a feature amount used for calculating the degree of similarity between persons corresponding to each person feature amount, and corresponds to an object feature amount.
  • a person feature amount is, for example, a value indicating a feature that can be verbalized, such as a person's clothes, a person's property color and shape, a person's stature, a person's sex, or a person's estimated age, or , HoG and the like.
  • the person feature amount may be vector data obtained by converting the facial features of a person represented by face recognition technology into a comparable form, or vector data obtained by converting the whole body features of a person into a comparable form.
  • the object feature extraction unit 303 may use the gait feature or the like, which is the walking feature of the detected person. good.
  • the gait feature is, as a specific example, at least one of the period and width of swinging of a person's limbs, the period and width of shaking of the upper body of the person, the proportion of the person, and the posture of the person.
  • the object feature extraction unit 303 may extract feature amounts that can be extracted from a single frame from each of a plurality of frames, and use information summarizing the feature amounts extracted from each frame as the feature amount.
  • the object feature extraction unit 303 outputs the obtained person feature amount and the shooting time and camera ID input from the object detection unit 302 to the object feature acquisition unit 401 .
  • the object feature acquisition unit 401 waits for data input from the feature extraction device 30 , and outputs the input data to the database input unit 402 when data such as a person feature amount is input from the feature extraction device 30 .
  • the database input unit 402 creates a feature amount record from the person feature amount, camera ID, and shooting time input from the object feature acquisition unit 401 and registers the created feature amount record in the database 406 .
  • a feature record is also called a person feature record.
  • a feature amount record is a record that includes at least information indicating a person feature amount, a camera ID, and a photographing time.
  • a person feature amount is a person feature amount extracted by the object feature extraction unit 303 .
  • the camera ID is a camera ID input from the object feature extraction unit 303 together with the person feature amount.
  • the photographing time is the photographing time input from the object feature extraction unit 303 together with the person feature amount.
  • the database input unit 402 may automatically delete feature amount records older than a certain amount among the feature amount records registered in the database 406. A new feature record may be added to the database 406 by overwriting the old feature record among the feature records registered in the database 406, or the feature record in the database 406 may be deleted according to other rules. .
  • Step S106 After the database input unit 402 completes writing the feature record to the database 406, the moving route estimation system 90 returns to step S101.
  • FIG. 4 shows a specific example of the camera-related map.
  • the camera relationship map is a map that indicates the installation positions of the cameras 10 and the adjacency relationship between the cameras 10 .
  • the camera relation map is a map that expresses the installation position of each camera 10 as a "camera node” and the adjacency relation between the cameras 10 as a "path edge" and a "path node.” .
  • a “camera node” is a node corresponding to each camera 10 , and includes installation position information of each camera 10 and ID information that allows each camera node to correspond to each camera 10 .
  • the position of the “camera node” may be a point within the imaging range of each camera 10 .
  • the position of the "camera node” corresponds to the position of the area projected by each of the plurality of videos.
  • a “route node” is a node arranged at a position corresponding to a turning corner or a branch of a route when expressing a movement route between the cameras 10 by a “route edge”.
  • Each route node includes information indicating turning corners or branch position information corresponding to each route node.
  • a bend may also indicate a curve.
  • a 'path edge' is an edge indicating the adjacency relationship between a 'camera node' and a 'path node'.
  • the movement route between the cameras 10 is a route that follows route edges and route nodes existing between the cameras 10 .
  • route edges are assumed to be undirected edges, but route edges may be directed edges, and constraints such as one-way traffic may be represented by route edges.
  • an edge defines a movement cost when a person moves between nodes located at both ends of the edge.
  • the travel cost may be a Euclidean distance between nodes positioned at both ends of an edge, or may be a numerical value expressing ease of travel of a route corresponding to the edge by another definition.
  • the camera relation map represented by a graph as shown in FIG. 4 will be used for explanation, but the camera relation map may represent the adjacency relationship between the cameras 10 by an adjacency matrix. .
  • the adjacency matrix may express the cost of movement between the cameras 10 .
  • FIG. 5 is a diagram illustrating a specific example of creating a camera-related map. As shown in (a) of FIG. 5, a case is considered in which a map indicating the position where the camera 10 is installed in the target space and the roads and passages in the target space is given in advance.
  • the moving route estimating device 50 regards the roads and passages on the map as routes along which a person can move, and obtains the shortest route between each of the two adjacent cameras 10 by route search. be the path between each two adjacent cameras 10 .
  • the movement route estimation device 50 provides a camera node at the position where the camera 10 is installed, provides a route node at a turning corner or a branch point of the route, and sets each adjacent two cameras
  • a path edge is created by appropriately connecting the camera nodes and the camera nodes existing on the path between 10, or the camera nodes and the path nodes existing on the path.
  • the moving route estimation device 50 obtains the moving cost corresponding to each route edge according to a predetermined definition. When a person appears in an image taken by a camera 10 corresponding to a certain camera node at a certain time, the moving route estimation device 50 determines whether the person exists at the position of the certain camera node at the certain time. It may be
  • FIG. 6 is a flow chart showing an example of an event operation by the moving route estimation device 50 and the feature management device 40.
  • FIG. Event operation will be described with reference to this figure.
  • Step S201 After the movement route estimation device 50 is activated, the route estimation request acquisition unit 501 waits to receive a request message.
  • the request message is data input by the user and is also called a route estimation request message.
  • the request message includes, as a specific example, information indicating the following information I1 to information I3.
  • the request message includes information indicating information I1 to information I3 unless otherwise specified.
  • Information I1 An image showing an estimation target person whose route is to be estimated
  • Information I2 Information corresponding to a spatial starting point in route estimation Information
  • I3 Information corresponding to a temporal starting point in route estimation Information I1 is an estimation target.
  • the image must be an image from which a person feature amount used when searching for a person can be extracted, and may be an image captured by the camera 10 or an image not captured by the camera 10 .
  • the presumed target person may also be called a search target person.
  • searching for an inferred target person when a person feature quantity corresponding to the color of the property, clothes, etc. of the inferred target person is used, the information I1 needs to be a color image.
  • the information I1 is a face image that satisfies conditions for extracting the person feature amount.
  • the information I1 is a full body image that satisfies the conditions for extracting the person feature amount.
  • the information I1 may also be a set of multiple images.
  • the information I1 may be a set of a plurality of images of the person to be estimated taken from each of a plurality of directions. It may be a set of a plurality of images in which the person to be presumed is photographed in various clothes.
  • Information I2 and information I3 are information used to specify the starting point of route estimation.
  • the information I1 when the information I1 is an image captured using one of the cameras 10, the information I2 may be information indicating the camera ID of the camera 10, and the information I3 may be information indicating the image taken when the image was captured. Information indicating the time may be used.
  • the information I2 and the information I3 may be information indicating the location and time corresponding to the presumed target person estimated from the testimony of a person who witnessed the presumed target person, and may be IC card touch information and two-dimensional code reading information. Alternatively, it may be some electronic log information associated with the person to be presumed, such as a beacon reception record.
  • Step S202 Upon receiving the request message, the route estimation request acquisition unit 501 outputs information I1 included in the request message to the search feature extraction unit 502, and outputs information I2 and information I3 included in the request message to the estimation control unit 503. output to In the request message, the information I1 may be the extracted person feature amount, and step S203 is skipped when the route estimation request acquisition unit 501 receives the person feature amount as the information I1.
  • a search feature extraction unit 502 extracts a search target feature amount, which is a person feature amount used to search for a person corresponding to an estimation target person appearing in the information I1, and performs estimation control on the extracted search target feature amount. Output to unit 503 .
  • the search target feature amount extracted by the search feature extraction unit 502 is assumed to be a person feature amount having the same properties as the person feature amount extracted by the object feature extraction unit 303 . Note that when the information I1 includes a plurality of images, the search feature extraction unit 502 extracts a search target feature amount from each of the plurality of images.
  • Step S204 The estimation control unit 503 determines the starting point position and starting point time of the person search based on the information indicated by the information I2 and the information I3 input from the route estimation request acquisition unit 501 .
  • the start point position is the position at which the search is started
  • the start point time is the time at which the search is started.
  • the estimation control unit 503 sets the position of the camera 10 corresponding to the camera ID as the starting position. Search will be specifically described in the description of step S206.
  • Step S205 The estimation control unit 503 sets a temporally and spatially limited search range from the starting point.
  • the starting point is a general term for the starting point position and the starting point time
  • the spatially limited range in the search range is the search target area
  • the temporally limited range in the search range is the search target time.
  • the search target time corresponds to the target period.
  • the estimation control unit 503 outputs the camera ID of each camera 10 present in the search target area, the search target time, and the search target feature amount to the object search unit 504 .
  • FIG. 7 is a diagram illustrating a specific example of the process of searching for a person by the movement route estimation device 50. As shown in FIG. (a) of FIG.
  • the estimation control unit 503 sets, as a search target area, an area including the camera 10 whose distance from the starting point is within a predetermined value.
  • the distance from the start point position may be a straight line distance from the start point position, or a distance defined using the movement cost between the cameras 10 defined by the camera relationship map.
  • the estimation control unit 503 sets the search target time to the time after a predetermined time from the start time.
  • the estimation control unit 503 may calculate from one range to the other range using the average moving speed of a person or the like.
  • the search target time may include a time earlier than the start point time.
  • the object search unit 504 uses the camera ID, the search target time, and the search target feature quantity input from the estimation control unit 503 to control the feature management device 40 and execute person search.
  • the object search unit 504 transmits a search request including the camera ID, search target time, and search target feature quantity to the feature management device 40 .
  • the search request acquisition unit 403 receives the search request transmitted by the object search unit 504 , and outputs the camera ID, search target time, and search target feature quantity included in the received search request to the database search unit 404 .
  • the database search unit 404 creates a search query, which is a command that uses the search target feature amount as a search key and the conditions related to the camera ID and the search target time as search conditions, based on the data output by the search request acquisition unit 403 . .
  • the database search unit 404 also uses, as a search condition, a condition that the degree of matching between the search target feature amount included in the search query and the person feature amount of each feature amount record in the database 406 is equal to or greater than a predetermined threshold. .
  • the predetermined threshold value may be a different value depending on the type of person feature amount.
  • the database search unit 404 transmits the created search query to the database 406 .
  • the database search unit 404 extracts the feature corresponding to each attribute of the search target feature amount that is the search key.
  • the degree of similarity between the search target feature amount and the person feature amount is calculated based on the degree of matching between the amount and the feature amount corresponding to each attribute of the person feature amount in each feature amount record included in the database 406 .
  • a combination of a plurality of pieces of attribute information is, as a specific example, a combination of age group, sex, body type, color of clothes, and the like.
  • the similarity is calculated based on the distance between the vectors that are the human features.
  • the degree of similarity in this case is calculated using an equation that defines the degree of similarity so that the degree of similarity increases as the distance between the person feature amounts decreases.
  • the database 406 searches the database 406 according to the search query received from the database search unit 404, creates search results from the feature amount records that match the search conditions indicated by the search query, and outputs the created search results to the search result output unit 405.
  • output to The search result is a list of zero to multiple elements that match the search criteria. Each element of the list includes at least information indicating query similarity, camera ID, and shooting time.
  • a query similarity is a similarity between a searched person and a person corresponding to a search query. Note that the query similarity can be regarded as the reliability of search results.
  • the camera ID is the camera ID of the camera 10 that shot the searched person.
  • the photographing time is the time when the searched person was photographed by the camera 10 .
  • the search result output unit 405 receives search results from the database 406 and transmits the received search results to the moving route estimation device 50 .
  • the object search unit 504 receives search results from the feature management device 40 and outputs the received search results to the moving route estimation unit 505 .
  • the object search unit 504 acquires a list of data corresponding to persons similar to the presumed target person among the persons photographed by the camera 10 in the search target area at the search target time.
  • the data included in this list may include, in addition to the data corresponding to the person to be presumed, data corresponding to another person who is similar to the person to be presumed.
  • Step S207 the moving route estimation unit 505 generates various route candidates Rt , and obtains the likelihood Lt of each of the route candidates Rt generated.
  • the movement path estimation unit 505 extracts at least some elements of the search results, and arranges the extracted search result elements in chronological order to obtain the estimation target. Estimate the movement path of a person.
  • the moving route estimation unit 505 obtains the moving cost between the adjacent cameras 10 as prior information in estimating the moving route.
  • the movement cost between adjacent cameras 10 is a value obtained by adding all the movement costs set to the path edges existing on the movement path from one camera 10 to the other camera 10 in the camera relationship map.
  • the movement route estimating unit 505 may obtain the route between the cameras 10 with the lowest movement cost by graph search as the movement route, and when obtaining the movement route, consider the constraint that passes through a route that is frequently used. may
  • FIG. 8 is a diagram for explaining the process by which the moving route estimation unit 505 obtains the moving cost.
  • (a) of FIG. 8 shows a camera relation map
  • (b) of FIG. 8 shows the result of comprehensively obtaining the movement costs between the adjacent cameras 10 in (a) of FIG.
  • each of C1 to C7 is a camera ID.
  • the moving route estimating unit 505 obtains route candidates by retrieving at least some elements of the search results and arranging the elements of the retrieved search results in chronological order.
  • a route candidate is a route candidate along which the estimation target person has moved.
  • FIG. 9 is a diagram for explaining route candidates.
  • the route candidate shown in FIG. 9(b) is a route obtained by extracting three elements ⁇ SR-01, SR-03, SR-05 ⁇ from the search result.
  • the route is a route connecting the positions of the cameras 10 corresponding to the camera IDs of the extracted elements in chronological order.
  • the route between the cameras 10 is the shortest route between the cameras 10 in the camera relation map.
  • the route candidate obtained by the movement route estimation unit 505 includes at least information indicating the order in which the person to be estimated moves between the cameras 10. Selective treatment. Further, as a specific example, when the moving route estimating unit 505 extracts ⁇ SR-02, SR-03, SR-04 ⁇ , the moving route estimating unit 505 obtains route candidates shown in (b) of FIG. When the movement route estimation unit 505 extracts ⁇ SR-01, SR-02, SR-03, SR-04, SR-05 ⁇ , the movement route estimation unit 505 obtains route candidates shown in (c) of FIG. .
  • the moving cost between the cameras 10 shown in FIG. 8(c) is a value indicating that one moving cost requires about one minute of moving time.
  • the travel cost from camera C1 to camera C5 is 5. That is, although it takes about 5 minutes from camera C1 to camera C5, The time gap with the time is 16 seconds. Therefore, the route candidate including both SR-04 and SR-05 is a route with extremely low realization probability, and it is speculated that at least one of the results incorrectly identifies a person different from the person to be estimated. be.
  • SR-02 and SR-03 have a low query similarity, that is, low reliability.
  • a route candidate that includes many elements of low-reliability search results is also highly likely to be different from the correct route. Therefore, among the route candidates shown in FIG. 9, the route candidate shown in (b) of FIG. 9 is most likely to be the correct route.
  • the movement route estimation unit 505 analyzes route candidates as described above. The route estimation processing performed by the movement route estimation unit 505 will be specifically described below. First, a search result list S, which is a list of search results and is input to the moving route estimation unit 505, is expressed as shown in [Formula 1].
  • S[] is an array
  • N is the number of elements in the array, that is, the number of search result elements.
  • s 0 to s (N ⁇ 1) indicate each element of the search result.
  • each element of the search result list S is arranged in ascending order according to the "shooting time" of each element.
  • a route candidate is represented by an array Rt as shown in [Formula 2].
  • the sequence Rt is also a route candidate Rt .
  • the array F t is an array in which arbitrary M t numbers (1 ⁇ M t ⁇ N) are extracted from N numbers from 0 to N ⁇ 1 and the extracted numbers are arranged in ascending order. That is, there are 2 N ⁇ 1 types of arrays F t at most, and t corresponds to a serial number indicating the type of array F t . Note that the range that t can take is not constant, and the maximum value of t is 2 N ⁇ 1. Also, M t indicates the number of elements in the array F t . From the above, the array R t is an array generated by extracting arbitrary M t elements from the search result list S and arranging the extracted elements while maintaining the order of the extracted elements in the search result list S is.
  • the moving route estimating unit 505 may include in the search result list S elements of search results corresponding to the starting point of route estimation. At this time, assuming that the element of the search result corresponding to the starting point is s Start , the movement path estimation unit 505 configures each array F t so that each array F t always includes s Start .
  • the likelihood L t of the route candidate R t is defined as [Equation 3].
  • the likelihood Lt is a likelihood component LSt calculated from the query similarity of each element of the search result included in the route candidate Rt , and a likelihood component calculated from the movement realization probability between each element of the search result. It is the weighted sum with LR t .
  • a movement realization probability is also called a realization probability, and is also called an inter-camera movement realization probability.
  • ⁇ and ⁇ are weighted sum coefficients.
  • LS t is the average output of the function PS t (k) that extracts the query similarity from the search results.
  • LR t is the mean value of the output of the function PR t (k) that retrieves the movement realization probability.
  • the likelihood Lt is, as shown in [Formula 6 ] , the likelihood component LSt calculated from the query similarity of each element of the search results included in the route candidate Rt , A value obtained by multiplying a product of the likelihood component LR t calculated from the movement realization probability by a predetermined coefficient C or a predetermined formula C may be used. Also, the likelihood component LR t calculated from the movement realization probability may be a numerical value consisting of the geometric mean of PR t (k) as shown in [Formula 7].
  • Function PS t (k) is the query similarity corresponding to the k-th element of route candidate R t .
  • the function PR t (k) corresponds to the camera ID of R t [k-1] based on the camera ID and shooting time corresponding to each of R t [k-1] and R t [k].
  • the movement realization probability will be explained.
  • the movement realization probability from camera A to camera B is the possibility that, given a certain time length T, the person to be estimated can move from the position of camera A to the position of camera B within time length T. , is a value expressed using probability.
  • a specific example of the calculation method of the movement realization probability will be described.
  • the minimum movement cost from camera A to camera B is D
  • the person to be estimated moves from camera A to camera B.
  • the time required to do so is D/V. Therefore, the moving route estimation unit 505 can also consider that when D/V exceeds T, it is impossible to move, and when D/V is T or less, it is possible to move.
  • the movement realization probability pr in this example can be expressed as in [Equation 10] using D and T as arguments.
  • the moving route estimation unit 505 adjusts the moving speed to 1 as D/V approaches T even when T is less than D/V. You may express a movement realization probability using the function which approaches. Also, consider a case where the variance of the moving speed is known in addition to the average moving speed of the person to be estimated.
  • the moving route estimating unit 505 assumes that the moving speed is distributed according to a normal distribution determined by the average and the variance, and satisfies to pass the route of the moving cost D during the time length T A power D/T may be calculated, the occurrence probability of a speed equal to or higher than the speed D/T may be obtained from the cumulative distribution function of the normal distribution, and the obtained occurrence probability may be used as the output of pr(D,T).
  • the function PR t (k) is expressed as in [Equation 11] using the function pr(D, T).
  • D t (k) is the movement cost from the position of the camera 10 corresponding to the camera ID of R t [k ⁇ 1] to the position of the camera 10 corresponding to the camera ID of R t [k].
  • the movement route estimation unit 505 may adopt, as the movement cost, the movement cost obtained when creating the camera relation map and the movement cost for the shortest distance between these cameras 10, and a frequently used route is taken. Taking this into consideration, the movement cost of the route obtained by executing the path search may be used.
  • T t (k) is a difference value obtained by subtracting the shooting time of R t [k ⁇ 1] from the shooting time of R t [k].
  • the movement route estimation unit 505 refers to the history information indicating the positions of the cameras 10 that have passed so far, and corrects the movement cost to the position of the camera 10 to be moved next. may be added.
  • the movement route estimation unit 505 determines that the camera ID of R t [k] is at least one of the camera IDs of R t [0] to R t [k ⁇ 2].
  • the moving route estimation unit 505 calculates a The movement cost D t (k) may be corrected. As described above, the moving route estimation unit 505 can obtain the likelihood Lt for each route candidate Rt .
  • Moving route estimation section 505 outputs route candidate Rt corresponding to relatively high likelihood Lt to estimation control section 503 as a moving route estimation result.
  • the movement path estimation unit 505 may output only the route candidate Rt corresponding to the highest likelihood Lt , and output a plurality of route candidates Rt corresponding to each of the plurality of higher likelihoods Lt. may be output. Further, when the moving route estimation unit 505 outputs a plurality of route candidates Rt , the moving route estimation unit 505 determines not only the magnitude of the likelihood Lt , but also between the plurality of route candidates Rt to be output.
  • the output may be done with conditions such as minimizing the number of search result elements to be shared as much as possible, and multiple route candidates may be classified according to conditions such as long, medium, and short route lengths. , and the route candidate Rt corresponding to the largest likelihood Lt in each class may be output.
  • the moving route estimating unit 505 may generate route candidates exhaustively. law may be used. Further, the moving route estimation unit 505 may use an exploratory approach in which, while evaluating the likelihood of partial route candidates, the element of the search result to be adopted next is sequentially determined.
  • Step S209 The estimation control unit 503 receives the output of the moving route estimation unit 505, and determines whether or not the search end condition is satisfied based on the received output. If the search end condition is satisfied, the moving route estimation system 90 ends the moving route estimation processing based on the current request message, and returns to step S201 via step S210. Specific examples of search end conditions are shown below. Note that the loop processing is processing from step S204 to step S208. - The moving route estimation device 50 has searched all searchable ranges by the loop processing so far. - The moving route estimation device 50 has searched all of the pre-specified search ranges through the previous loop processing. - There is no route candidate output by the movement route estimation unit 505, or the likelihood of the route candidate is equal to or less than a predetermined threshold.
  • the route candidate output by the movement route estimation unit 505 is a route indicating that the person to be estimated has moved outside the target space. - A predetermined amount of time has passed since the movement route estimation process was started, the amount of memory used by the movement route estimation process has exceeded a predetermined value, or the amount of calculation by the movement route estimation process has exceeded a predetermined value . If the search end condition is not satisfied, the moving route estimation device 50 returns to step S204 and repeats the processing from step S204 to step S208. Here, in step S204 to be executed next, as shown in FIGS.
  • the estimation control unit 503 sets the search start position to It is set using the position and time of the camera 10 at the end point of the route candidate indicated by the result output by the movement route estimation unit 505 .
  • Arrows in (b) of FIG. 7 indicate route candidates estimated by one loop process.
  • (c) of FIG. 7 shows how the end point of the route candidate estimated by the previous loop process is set as the start point position.
  • the moving route estimation device 50 sets a plurality of starting point positions corresponding to each of the plurality of route candidates, and sets each starting point of the plurality of set starting point positions. The processing from step S204 to step S208 may be performed on the position.
  • the target person is not sequentially tracked.
  • a moving route of a person can be estimated.
  • the accuracy of identifying the same person is relatively low.
  • identification processing is performed using the appearance features of a person's whole body, erroneous identification in which a person with similar clothes is erroneously identified and identification omission in which a person to be identified is not identified frequently occur.
  • a target person is searched for recorded video in a certain time range and a certain spatial range, and a plurality of route candidates are generated using a plurality of search results obtained by the search.
  • a moving route of the target person is estimated based on likelihood estimation for each of the plurality of route candidates. Therefore, according to the present embodiment, it is possible to estimate a moving route while suppressing the effects of locally occurring erroneous identification and omission of identification.
  • At least one of information I2 and information I3 may not be included in the request message.
  • the estimation control unit 503 applies the search target features input from the search feature extraction unit 502 to all the cameras 10. A person search using the feature management device 40 is performed using the quantity.
  • the estimation control unit 503 may limit the time width for searching to the vicinity of the time indicated by the information I3.
  • the estimation control unit 503 searches all time zones for the cameras 10 near the information I2. If neither the information I2 nor the information I3 is input, all cameras 10 and all time zones are searched.
  • the estimation control unit 503 extracts the most reliable search result from among the search results whose reliability is equal to or higher than a predetermined threshold, and uses at least one of the time and position included in the extracted search result as a search result. Set as starting point.
  • the estimation control unit 503 may also instruct to extract a plurality of starting points from the search results in descending order of reliability and estimate a route candidate for each of the extracted starting points.
  • the estimation control unit 503 may search all the cameras 10 and all the time periods corresponding to the images captured by the cameras 10 without specifying the search range. In addition, the estimation control unit 503 may limit the cameras 10 to be used to cameras 10 existing within a certain range, but does not need to set the search target time. You can set the time.
  • the movement path estimation unit 505 may estimate the position of the person in the target space from the video data and use the estimated position. good. In addition, the movement path estimation unit 505 may consider the influence of the obstacles on the movement of the person when an obstacle, etc., which is considered to hinder the movement of the person, appears around the person in the video data. . According to this modification, the movement path estimation unit 505 can obtain the likelihood with higher accuracy.
  • FIG. 10 shows a hardware configuration example of a moving route estimation device 50 according to this modification.
  • the moving route estimation device 50 includes a processing circuit 18 in place of the processor 11 , the processor 11 and memory 12 , the processor 11 and auxiliary storage device 13 , or the processor 11 , memory 12 and auxiliary storage device 13 .
  • the processing circuit 18 is hardware that implements at least a part of each unit included in the moving route estimation device 50 .
  • Processing circuitry 18 may be dedicated hardware or may be a processor that executes programs stored in memory 12 .
  • processing circuitry 18 When processing circuitry 18 is dedicated hardware, processing circuitry 18 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (ASIC is an Application Specific Integrated Circuit), an FPGA. (Field Programmable Gate Array) or a combination thereof.
  • the moving route estimation device 50 may include a plurality of processing circuits that substitute for the processing circuit 18 . A plurality of processing circuits share the role of processing circuit 18 .
  • some functions may be implemented by dedicated hardware, and the remaining functions may be implemented by software or firmware.
  • the processing circuit 18 is implemented by hardware, software, firmware, or a combination thereof, as a specific example.
  • the processor 11, memory 12, auxiliary storage device 13, and processing circuitry 18 are collectively referred to as "processing circuitry.”
  • processing circuitry the function of each functional component of the moving route estimation device 50 is realized by processing circuitry.
  • Embodiment 1 has been described, a plurality of portions of this embodiment may be combined for implementation. Alternatively, this embodiment may be partially implemented. In addition, the present embodiment may be modified in various ways as necessary, and may be implemented in any combination as a whole or in part.
  • the above-described embodiments are essentially preferable examples, and are not intended to limit the scope of the present disclosure, its applications, and uses. The procedures described using flowcharts and the like may be changed as appropriate.
  • processor 12 memory, 13 auxiliary storage device, 14 input/output IF, 15 communication device, 18 processing circuit, 19 signal line, 10 camera, 20 hub, 30 feature extraction device, 301 video data acquisition unit, 302 object detection unit, 303 Object feature extraction unit, 40 Feature management device, 401 Object feature acquisition unit, 402 Database input unit, 403 Search request acquisition unit, 404 Database search unit, 405 Search result output unit, 406 Database, 50 Moving route estimation device, 501 Route Estimation request acquisition unit, 502 search feature extraction unit, 503 estimation control unit, 504 object search unit, 505 movement route estimation unit, 90 movement route estimation system, I1, I2, I3 information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

移動経路推定装置（５０）は、物体検索部（５０４）と、移動経路推定部（５０５）とを備える。物体検索部（５０４）は、対象期間内に対象空間内を移動した物体である移動体に対応する特徴量と、対象特徴量との類似度に基づいて複数の物体特徴量から２以上の特徴量の各特徴量を検索特徴量として検索する。移動経路推定部（５０５）は、検索特徴量に対応する撮影時刻と、検索特徴量に対応する撮影時刻に検索特徴量に対応する物体が存在していた位置とに基づいて、移動体が対象期間内に移動した対象空間内の経路に対応する対応経路の候補を示す複数の経路候補と、複数の経路候補それぞれの尤度とを求め、求めた尤度に応じて複数の経路候補から対応経路を推定する。

Description

移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム
　本開示は、移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラムに関する。
　駅、空港、若しくは商業施設等の大規模施設、又は市街地の街区等、人が多数集まる空間において、特定の人物を探索する手段が求められることがある。具体例として、迷子、徘徊者、又は、同行者とのはぐれ等が発生した場合に、空間を利用する者の要請に基づいて人物を探索する必要がある。また、店舗若しくはサービスの利用者が予約時刻若しくは入場時刻になっても所定の場所に現れない場合、又は、店舗の利用者が退店した後で利用者の忘れ物若しくは利用者の手続き不備が発覚した場合等においても、当該利用者を探索する必要がある。また、防犯の観点においては、逃走した万引き犯、痴漢、若しくは暴行犯等の位置を特定して捕縛する場合、又は、事件捜査において重要参考人の行動を分析する場合等において、人物を探索する手段が必要となる。
　人が多数集まる空間においては防犯を目的としてネットワークカメラが多数設置されていることが一般的である。そのため、ネットワークカメラが撮影した映像から人物の特徴を抽出し、抽出した人物の特徴を手がかりに、ライブ映像又は記録映像から、探索対象である人物がいつ、どこのカメラに映っていたのかを自動的に探索する手段が検討されている。ここで、ライブ映像はリアルタイム映像とも呼ばれる。人物を探索する際には、特徴量を比較することによって人物が映る画像同士を比較し、画像に映る人物が同一人物であるかどうかを判定する人物同定処理を用いる。
　特許文献１は、カメラの位置関係とカメラ間の距離とが与えられた場合に、各カメラで撮影された対象人物の外見特徴類似度と、対象人物の移動方向に基づく移動先カメラ推定結果とから、人物のカメラ間移動を推定する方式を開示している。
国際公開第２０１５／０９８４４２号
　特許文献１が開示する方式は、対象人物を撮影したカメラを時刻順で推定する処理を繰り返すことにより対象人物の移動経路を逐次的に追跡する方式である。そのため、局所的な推定処理が当該方式の中心であり、ある時刻において対象人物を誤って同定した場合、又はある時刻における同定に漏れが発生した場合に移動経路の推定が失敗するという課題がある。
　本開示は、対象人物を逐次的に追跡せずに対象人物の移動経路を推定することを目的とする。
　本開示に係る移動経路推定装置は、
　対象期間内に対象空間内の一部を撮影した複数の映像から抽出された複数の物体特徴量の各物体特徴量を対象特徴量とし、前記対象特徴量と、前記対象特徴量の抽出元である映像が撮影された時刻を示す撮影時刻とを対応させて管理する特徴管理装置が管理しているデータを利用する移動経路推定装置であって、
　前記対象特徴量は、前記複数の映像のいずれかから抽出された特徴量であり、１以上の物体のいずれかの特徴を示す特徴量であり、
　前記移動経路推定装置は、
　前記対象期間内に前記対象空間内を移動した物体である移動体に対応する特徴量と、前記対象特徴量との類似度に基づいて前記複数の物体特徴量から２以上の特徴量の各特徴量を検索特徴量として検索する物体検索部と、
　前記検索特徴量に対応する撮影時刻と、前記検索特徴量に対応する撮影時刻に前記検索特徴量に対応する物体が存在していた位置とに基づいて、前記移動体が前記対象期間内に移動した前記対象空間内の経路に対応する対応経路の候補を示す複数の経路候補と、前記複数の経路候補それぞれの尤度とを求め、求めた尤度に応じて前記複数の経路候補から前記対応経路を推定する移動経路推定部と
を備える。
　本開示によれば、特徴量に基づいて複数の経路候補を求め、求めた複数の経路候補それぞれの尤度に応じて対象人物の移動経路を推定する。そのため、本開示によれば、対象人物を逐次的に追跡せずに対象人物の移動経路を推定することができる。
実施の形態１に係る移動経路推定システム９０の構成例を示す図。 実施の形態１に係る移動経路推定装置５０のハードウェア構成例を示す図。 実施の形態１に係る常時動作を示すフローチャート。 実施の形態１に係るカメラ関係マップを説明する図。 実施の形態１に係るカメラ関係マップを作成する処理を説明する図であり、（ａ）は与えられた地図を示す図、（ｂ）は（ａ）に対応するカメラ関係マップを示す図。 実施の形態１に係るイベント動作を示すフローチャート。 実施の形態１に係る移動経路推定装置５０の処理を説明する図であり、（ａ）は１度目のループ処理を実行する際の設定を示す図、（ｂ）は１度目のループ処理を実行した様子を示す図、（ｃ）は２度目のループ処理を実行する際の設定を示す図。 実施の形態１に係る移動経路推定部５０５の処理を説明する図であり、（ａ）はカメラ関係マップを示す図、（ｂ）は移動コストを示す図。 実施の形態１に係る経路候補を説明する図であり、（ａ）は検索結果を示す表、（ｂ）は経路候補を示す図、（ｃ）は経路候補を示す図、（ｄ）は経路候補を示す図。 実施の形態１の変形例に係る移動経路推定装置５０のハードウェア構成例を示す図。
　実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「部」を、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。
　実施の形態１．
　以下、本実施の形態について、図面を参照しながら詳細に説明する。
＊＊＊構成の説明＊＊＊
　図１は、移動経路推定システム９０の構成例を示している。移動経路推定システム９０は、本図に示すように、カメラ１０と、ハブ２０と、特徴抽出装置３０と、特徴管理装置４０と、移動経路推定装置５０とを備える。
　移動経路推定装置５０は、特徴管理装置４０と接続されている。特徴管理装置４０は特徴抽出装置３０と接続されている。特徴抽出装置３０はハブ２０を介して各カメラ１０と接続されている。
　カメラ１０はＮ個存在する。ここで、Ｎは２以上の整数であり、“－１”等はＮ個のカメラ１０を区別するための表記である。カメラ１０－１からカメラ１０－Ｎそれぞれは、典型的にはＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）カメラであり、移動経路の推定が実施される空間である対象空間の各処に設置されており、対象空間内に存在する対象物を撮影する。各カメラ１０が撮影した映像はＩＰネットワーク等の伝送路によりハブ２０に伝送される。各カメラ１０は、視野を共有せずに配置されていてもよい。即ち、対象空間には、カメラ１０により撮影されない死角が存在してもよい。
　また、本実施の形態では、カメラ１０として圧縮した映像データをＩＰネットワークを介して伝送するカメラを想定する。しかしながら、カメラ１０は、圧縮していない映像信号を同軸ケーブルを介して伝送するカメラであってもよく、その他の伝送方法を採用するカメラであってもよい。
　ハブ２０は、各カメラ１０が配信する映像データを受信し、受信した映像データを特徴抽出装置３０に配信する機能を有する。なお、各カメラ１０からのデータ配信においてＩＰ以外のプロトコルを用いる場合、ハブ２０は当該プロトコルに対応した集約装置である。また、ハブ２０が複数存在し、各ハブ２０が一部のカメラ１０にのみ接続していてもよい。
　各カメラ１０が公衆回線を用いたインターネットに接続され、各カメラ１０がインターネットに映像データを配信している場合、特徴抽出装置３０は、インターネットに接続され、インターネット経由で映像データを受信してもよい。この場合において、インターネットはハブ２０に相当する。
　特徴抽出装置３０は、映像データ取得部３０１と、物体検出部３０２と、物体特徴抽出部３０３とを備える。
　特徴抽出装置３０は、各カメラ１０が取得した映像に写っている物体から、物体の同定に活用することができる物体特徴量を抽出し、抽出した物体特徴量と、当該物体を撮影したカメラ１０のカメラＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及び撮影時刻とをセットにして、特徴管理装置４０に入力する。特徴抽出装置３０は人物特徴抽出装置とも呼ばれる。物体は、移動経路推定装置５０が移動経路を推定する対象であり、具体例として、人物、車両、ロボット、又は動物である。
　特徴管理装置４０は、物体特徴取得部４０１と、データベース入力部４０２と、検索要求取得部４０３と、データベース検索部４０４と、検索結果出力部４０５と、データベース４０６とを備える。
　特徴管理装置４０は、物体特徴量を記録し、管理するデータベース装置である。特徴管理装置４０は、特徴抽出装置３０から入力された物体特徴量と撮影カメラＩＤと撮影時刻とをセットにして特徴量レコードとしてデータベース４０６に登録する機能と、移動経路推定装置５０からの検索要求に基づき、検索要求に含まれる人物特徴量と類似する人物特徴量を含む特徴量レコードをデータベース４０６から取り出す機能とを有する。特徴管理装置４０は人物特徴管理装置とも呼ばれる。特徴管理装置４０は、対象期間内に対象空間内の一部を撮影した複数の映像から抽出された複数の物体特徴量の各物体特徴量を対象特徴量とし、対象特徴量と、対象特徴量の抽出元である映像が撮影された時刻を示す撮影時刻とを対応させて管理する。対象特徴量は、複数の映像のいずれかから抽出された特徴量であり、１以上の物体のいずれかの特徴を示す特徴量である。複数の映像の各映像は、各カメラ１０が撮影した映像である。
　移動経路推定装置５０は、経路推定要求取得部５０１と、検索特徴抽出部５０２と、推定制御部５０３と、物体検索部５０４と、移動経路推定部５０５とを備える。推定制御部５０３は移動経路推定制御部とも呼ばれる。
　移動経路推定装置５０は、ユーザからの移動経路推定要求に基づき、特徴管理装置４０を制御しながら、要求に含まれる人物画像の人物の移動経路を推定する。移動経路推定装置５０は人物移動経路推定装置とも呼ばれる。移動経路推定装置５０は、特徴管理装置４０が管理しているデータを利用する。
　物体検索部５０４は、対象期間内に対象空間内を移動した物体である移動体に対応する特徴量と、対象特徴量との類似度に基づいて複数の物体特徴量から２以上の特徴量の各特徴量を検索特徴量として検索する。
　移動経路推定部５０５は、検索特徴量に対応する撮影時刻と、当該撮影時刻に検索特徴量に対応する物体が存在していた位置とに基づいて、複数の経路候補と、複数の経路候補それぞれの尤度とを求め、求めた尤度に応じて複数の経路候補から対応経路を推定する。複数の経路候補は、移動体が対象期間内に移動した対象空間内の経路に対応する対応経路の候補を示す。ここで、移動経路推定部５０５は移動体が実際に移動した経路と完全に同じ経路を推定することができるとは限らないので、移動経路推定部５０５が推定する経路を対応経路としている。移動経路推定部５０５は、検索特徴量に対応する撮影時刻と、検索特徴量に対応する撮影時刻において検索特徴量に対応する物体が存在していた位置とに基づいて複数の経路候補それぞれの実現確率を求め、求めた実現確率に基づいて複数の経路候補それぞれの尤度を求めてもよい。移動経路推定部５０５は、移動体が複数の経路候補それぞれに対応する経路を移動する速度として想定される速度に基づいて複数の経路候補それぞれの尤度を求めてもよい。移動経路推定部５０５は、移動体に対応する特徴量と、検索特徴量との類似度に基づいて複数の経路候補それぞれの尤度を求めてもよい。移動経路推定部５０５は、対象空間の地図と、複数の映像それぞれが映している領域の位置とに基づいて生成されたグラフであるカメラ関係マップを用いて複数の経路候補それぞれを求めてもよい。移動経路推定部５０５は、カメラ関係マップのノード間を移動体が移動するコストを示す移動コストに基づいて複数の経路候補それぞれの尤度を求めてもよい。
　ここで、図１において、特徴抽出装置３０と、特徴管理装置４０と、移動経路推定装置５０とのそれぞれは異なる装置として表現されているが、これらの少なくとも２つは１つの装置にまとめられていてもよい。また、特徴抽出装置３０と特徴管理装置４０とのそれぞれは１つの装置として表現されているが、特徴抽出装置３０と特徴管理装置４０とのいずれも複数の装置から構成されていてもよい。具体例として、特徴抽出装置３０を複数台用意し、一部のカメラ１０をある特徴抽出装置３０に割当て、他のカメラ１０を別の特徴抽出装置３０に割当てる構成にすることにより、特徴抽出装置３０は、カメラ１０の数が膨大な場合であっても対応することができる。また、具体例として、特徴管理装置４０を複数台用意してデータベース４０６を複数の装置に分散することにより、検索及びレコード格納の速度を向上させることもできる。
　図２は、本実施の形態に係る移動経路推定装置５０のハードウェア構成例を示している。移動経路推定装置５０は、コンピュータから成る。移動経路推定装置５０は、複数のコンピュータから成ってもよい。
　移動経路推定装置５０は、本図に示すように、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、入出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１４と、通信装置１５等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線１９を介して適宜接続されている。
　プロセッサ１１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ１１は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　移動経路推定装置５０は、プロセッサ１１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１１の役割を分担する。
　メモリ１２は、典型的には、揮発性の記憶装置である。メモリ１２は、主記憶装置又はメインメモリとも呼ばれる。メモリ１２は、具体例として、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。メモリ１２に記憶されたデータは、必要に応じて補助記憶装置１３に保存される。
　補助記憶装置１３は、典型的には、不揮発性の記憶装置である。補助記憶装置１３は、具体例として、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、又はフラッシュメモリである。補助記憶装置１３に記憶されたデータは、必要に応じてメモリ１２にロードされる。
　メモリ１２及び補助記憶装置１３は一体的に構成されていてもよい。
　入出力ＩＦ１４は、入力装置及び出力装置が接続されるポートである。入出力ＩＦ１４は、具体例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。
　通信装置１５は、レシーバ及びトランスミッタである。通信装置１５は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）である。
　移動経路推定装置５０の各部は、他の装置等と通信する際に、通信装置１５を適宜用いてもよい。移動経路推定装置５０の各部は、入出力ＩＦ１４を介してデータを受け付けてもよく、また、通信装置１５を介してデータを受け付けてもよい。
　補助記憶装置１３は、移動経路推定プログラムを記憶している。移動経路推定プログラムは、移動経路推定装置５０が備える各部の機能をコンピュータに実現させるプログラムである。移動経路推定プログラムは、メモリ１２にロードされて、プロセッサ１１によって実行される。移動経路推定装置５０が備える各部の機能は、ソフトウェアにより実現される。
　移動経路推定プログラムを実行する際に用いられるデータと、移動経路推定プログラムを実行することによって得られるデータと等は、記憶装置に適宜記憶される。移動経路推定装置５０の各部は、適宜記憶装置を利用する。記憶装置は、具体例として、メモリ１２と、補助記憶装置１３と、プロセッサ１１内のレジスタと、プロセッサ１１内のキャッシュメモリとの少なくとも１つから成る。なお、データと情報とは、同等の意味を有することもある。記憶装置は、コンピュータと独立したものであってもよい。
　メモリ１２及び補助記憶装置１３の機能は、他の記憶装置によって実現されてもよい。
　本明細書に記載されているいずれのプログラムも、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。本明細書に記載されているいずれのプログラムも、プログラムプロダクトとして提供されてもよい。
　特徴抽出装置３０と特徴管理装置４０との各々のハードウェア構成は、移動経路推定装置５０のハードウェア構成と同様であってもよい。
＊＊＊動作の説明＊＊＊
　特徴抽出装置３０の動作手順は、特徴抽出方法に相当する。特徴抽出装置３０の動作を実現するプログラムは、特徴抽出プログラムに相当する。特徴管理装置４０の動作手順は、特徴管理方法に相当する。特徴管理装置４０の動作を実現するプログラムは、特徴管理プログラムに相当する。移動経路推定装置５０の動作手順は、移動経路推定方法に相当する。移動経路推定装置５０の動作を実現するプログラムは、移動経路推定プログラムに相当する。
　以下、本実施の形態における移動経路推定システム９０の動作を説明する。なお、以下の説明において、説明の便宜上物体は人物であるものとするが、人物という表記を適宜他の物体に読み替えてよい。移動経路推定システム９０の主な動作として、常時動作とイベント動作とが挙げられる。常時動作は、特徴抽出装置３０と特徴管理装置４０とによる、人物特徴量を収集する動作である。イベント動作は、移動経路推定装置５０と特徴管理装置４０とによる、ユーザからの要求をトリガとして人物の移動経路を推定する動作である。
　図３は、特徴抽出装置３０と特徴管理装置４０とが実行する常時動作の一例を示すフローチャートである。本図を参照して常時動作を説明する。
（ステップＳ１０１）
　特徴抽出装置３０が起動した後、映像データ取得部３０１は、カメラ１０からハブ２０を介して映像データを受信することを待つ。なお、特徴管理装置４０は、常時起動していてもよく、起動と停止とを適宜繰り返してもよい。
（ステップＳ１０２）
　映像データ取得部３０１がカメラ１０から映像データを受信した場合、映像データ取得部３０１は受信した映像データを復号し、復号した映像データを復号データとして物体検出部３０２に出力する。この際、映像データ取得部３０１は、映像データの配信元であるカメラ１０のカメラＩＤを取得し、取得したカメラＩＤを映像データと共に出力する。また、映像データ取得部３０１は映像データに対応する撮影時刻も映像データと共に出力する。撮影時刻は、カメラ１０が記録したタイムスタンプであってもよく、映像データ取得部３０１が映像データを受信した時刻であってもよい。映像データの一部のフレームについては、対応する撮影時刻が用意されなくてもよい。
　映像データ取得部３０１は、具体例として、カメラ１０のＩＰアドレスとカメラＩＤとの関係を示すテーブルを予め特徴抽出装置３０内に保持しておき、当該テーブルを参照することによりカメラＩＤを取得する。また、映像データ取得部３０１は、カメラ１０のＩＰアドレスをカメラＩＤとして使用してもよい。カメラＩＤは、何らかの手段により、各カメラ１０の実体と各カメラ１０から送られてくる映像データとを紐付けることができる情報であればどのような情報であってもよい。
　映像データ取得部３０１が復号データ等を物体検出部３０２に出力した場合、特徴抽出装置３０はステップＳ１０３に進む。
（ステップＳ１０３）
　物体検出部３０２は、映像データ取得部３０１が出力した復号データの映像に映っている人物を検出する。物体検出部３０２は、人物を検出した結果である検出結果と、検出した人物が撮影された時刻である撮影時刻と、検出した人物を撮影したカメラ１０のカメラＩＤとを物体特徴抽出部３０３に出力する。
　物体検出部３０２が人物を検出する方式は、ＨｏＧ（Ｈｉｓｔｏｇｒａｍ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）等の画像解析技術を用いた方式であってもよく、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、Ｆａｓｔｅｒ　Ｒ－ＣＮＮ（Ｆａｓｔｅｒ　Ｒｅｇｉｏｎ－ｂａｓｅｄ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、又はＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　Ｄｅｔｅｃｔｏｒ）等の機械学習アプローチを用いた方式であってもよい。
　また、物体検出部３０２が抽出する対象は、後段において物体特徴抽出部３０３が特徴量を抽出する対象と整合する必要がある。具体例として、物体特徴抽出部３０３が人物の全身画像に対応する特徴量を抽出する場合に物体検出部３０２は人物の全身画像を検出する必要があり、物体特徴抽出部３０３が人物の顔に対応する特徴量を抽出する場合に物体検出部３０２は人物の顔を検出する必要がある。また、物体特徴抽出部３０３が人物の動作に対応する特徴量を抽出する場合等、物体特徴抽出部３０３が連続する複数のフレームに基づいて特徴量を抽出する場合、物体検出部３０２は連続する複数のフレームの各フレームに映る同一人物を検出する必要がある。
　物体検出部３０２は、検出結果として、復号データの映像を切り出した画像であって検出した人物が映っている画像を出力してもよく、人物を検出した復号データの映像と、映像内における検出した人物の位置を示す情報とのセットを出力してもよい。また、記録されている復号データの映像にアクセスする手段を物体特徴抽出部３０３が持っている場合、物体検出部３０２は、検出結果として、記録されている復号データの映像のフレーム番号を特定することができる情報と、当該フレーム番号に対応する映像内における検出した人物の位置を示す情報とのセットを出力してもよい。
（ステップＳ１０４）
　物体特徴抽出部３０３は、物体検出部３０２が出力した検出結果から人物特徴量を抽出する。物体特徴抽出部３０３が抽出する人物特徴量は、各人物特徴量に対応する人物間の類似度を計算することに用いられる特徴量であり、物体特徴量に相当する。人物特徴量は、具体例として、人物の服、人物の所有物の色及び形状、人物の背格好、人物の性別、若しくは人物の推定年齢等の言語化することができる特徴を示す値、又は、ＨｏＧ等の画像特徴を示す値である。人物特徴量は、顔認証技術に代表される人物の顔の特徴を比較可能な形に変換したベクトルデータであってもよく、また、人物の全身の特徴を比較可能な形に変換したベクトルデータであってもよい。物体特徴抽出部３０３は、連続する複数のフレームの各フレームに映る同一人物を検出した検出結果が入力された場合、検出された人物の歩き方の特徴である歩容特徴等を使用してもよい。歩容特徴は、具体例として、人物が手足を振る周期及び幅と、人物の上体の揺れの周期及び幅と、人物のプロポーションと、人物の姿勢との少なくともいずれかである。また、物体特徴抽出部３０３は、単フレームから抽出することができる特徴量を複数のフレームの各フレームから抽出し、各フレームから抽出した特徴量をまとめた情報を特徴量としてもよい。
　物体特徴抽出部３０３は、求めた人物特徴量と、物体検出部３０２から入力された撮影時刻とカメラＩＤとを、物体特徴取得部４０１に出力する。
（ステップＳ１０５）
　物体特徴取得部４０１は、特徴抽出装置３０からのデータ入力を待ち受けており、特徴抽出装置３０から人物特徴量等のデータが入力されると、入力されたデータをデータベース入力部４０２に出力する。
　データベース入力部４０２は、物体特徴取得部４０１から入力された人物特徴量とカメラＩＤと撮影時刻とから特徴量レコードを作成し、作成した特徴量レコードをデータベース４０６に登録する。特徴量レコードは人物特徴量レコードとも呼ばれる。
　特徴量レコードは、人物特徴量と、カメラＩＤと、撮影時刻とのそれぞれを示す情報を最低限含むレコードである。人物特徴量は、物体特徴抽出部３０３により抽出された人物特徴量である。カメラＩＤは、人物特徴量とセットで物体特徴抽出部３０３から入力されたカメラＩＤである。撮影時刻は、人物特徴量とセットで物体特徴抽出部３０３から入力された撮影時刻である。
　なお、データベース４０６に登録されている特徴量レコードの削除に関して、データベース入力部４０２は、データベース４０６に登録されている特徴量レコードのうち一定以上古い特徴量レコードを自動的に削除してもよく、データベース４０６に登録されている特徴量レコードのうち古い特徴量レコードに上書きして新しい特徴量レコードをデータベース４０６に追加してもよく、その他のルールに従ってデータベース４０６の特徴量レコードを削除してもよい。
（ステップＳ１０６）
　データベース入力部４０２がデータベース４０６へ特徴量レコードを書き込むことが完了したら、移動経路推定システム９０はステップＳ１０１に戻る。
　次に、移動経路推定装置５０と特徴管理装置４０とによる、人物を追跡する処理について説明する。
　ここで、「カメラ関係マップ」を説明する。
　図４は、カメラ関係マップの具体例を示している。図４に示すように、カメラ関係マップは、カメラ１０の設置位置と、カメラ１０間の隣接関係とを示すマップである。図４に示す具体例において、カメラ関係マップは、各カメラ１０の設置位置を「カメラノード」とし、カメラ１０間の隣接関係を「経路エッジ」及び「経路ノード」としてグラフにより表現したマップである。
　「カメラノード」は、各カメラ１０に対応したノードであり、各カメラ１０の設置位置情報と、各カメラノードを各カメラ１０に対応付けることができるＩＤ情報とを含む。「カメラノード」の位置は、各カメラ１０の撮影範囲内のある点であってもよい。「カメラノード」の位置は、複数の映像それぞれが映している領域の位置に対応する。
　「経路ノード」は、「経路エッジ」によりカメラ１０間の移動経路を表現する際に、経路の曲がり角又は分岐に相当する位置に配置されるノードである。各経路ノードには各経路ノードに対応する曲がり角を示す情報又は分岐の位置情報が含まれる。曲がり角はカーブを示すこともある。
　「経路エッジ」は、「カメラノード」及び「経路ノード」の隣接関係を示すエッジである。カメラ１０間の移動経路は、カメラ１０間に存在する経路エッジと経路ノードとを辿る経路である。ここで、以下の説明において経路エッジは無向エッジとするが、経路エッジを有向エッジとして一方通行のような制約を経路エッジにより表してもよい。また、エッジには当該エッジの両端に位置するノード間を人物が移動する際の移動コストが定義される。
　移動コストは、エッジの両端に位置するノード間のユークリッド距離であってもよく、また、その他の定義により、当該エッジに対応する経路の移動しやすさを表現した数値であってもよい。エッジに対応する移動コストの値は、人物がエッジに対応する経路を移動しやすいほど低い。
　なお、本実施の形態では、図４に示すようにグラフにより表現したカメラ関係マップを用いて説明するが、カメラ関係マップはカメラ１０間の隣接関係を隣接行列により表現したものであってもよい。カメラ関係マップを隣接行列により表現する場合において、隣接行列はカメラ１０間の移動コストを表現するものであってもよい。
　カメラ関係マップを作成する具体例を説明する。以下では、移動経路推定装置５０がカメラ関係マップを作成するものとする。ただし、移動経路推定装置５０の代わりに他の装置がカメラ関係マップを作成し、作成されたカメラ関係マップが移動経路推定装置５０に入力されてもよい。
　図５は、カメラ関係マップを作成する具体例を説明する図である。図５の（ａ）に示すように、対象空間内においてカメラ１０が設置されている位置と、対象空間内の道路及び通路とを示す地図が予め与えられた場合を考える。この場合において、移動経路推定装置５０は、地図上の道路及び通路を人物が移動することができる経路とみなして各隣接する２つのカメラ１０間の最短経路を経路探索により求め、求めた最短経路を各隣接する２つのカメラ１０間の経路とする。
　移動経路推定装置５０は、図５の（ｂ）に示すように、カメラ１０が設置されている位置にカメラノードを設け、経路の曲がり角又は分岐点に経路ノードを設け、各隣接する２つのカメラ１０間の経路上に存在するカメラノード及びカメラノード、又は、当該経路上に存在するカメラノード及び経路ノードを適宜つないで経路エッジを作成する。また、移動経路推定装置５０は、各経路エッジに対応する移動コストを、所定の定義に従って求める。移動経路推定装置５０は、ある時刻においてあるカメラノードに対応するカメラ１０が撮影した映像にある人物が映っている場合に、当該ある時刻において当該あるカメラノードの位置に当該ある人物が存在していたものとしてもよい。
　図６は、移動経路推定装置５０と特徴管理装置４０とによるイベント動作の一例を示すフローチャートである。本図を参照してイベント動作を説明する。
（ステップＳ２０１）
　移動経路推定装置５０が起動された後、経路推定要求取得部５０１は要求メッセージを受信することを待つ。要求メッセージは、ユーザから入力されるデータであり、経路推定要求メッセージとも呼ばれる。要求メッセージには、具体例として、以下の情報Ｉ１から情報Ｉ３を示す情報が含まれる。以下、要求メッセージは、特に断りがない限り情報Ｉ１から情報Ｉ３を示す情報を含むものとする。
　情報Ｉ１：経路を推定する対象である推定対象人物を映す画像
　情報Ｉ２：経路推定における空間的な始点に対応する情報
　情報Ｉ３：経路推定における時間的な始点に対応する情報
　情報Ｉ１は、推定対象人物を検索する際に使用される人物特徴量を抽出することができる画像である必要があり、カメラ１０が撮影した画像であっても、カメラ１０が撮影していない画像であってもよい。なお、推定対象人物は検索対象人物と呼ばれることもある。具体例として、推定対象人物を検索する際に推定対象人物の持ち物及び服装等の色に対応する人物特徴量が使用される場合に情報Ｉ１はカラー画像である必要がある。また、推定対象人物を検索する際に推定対象人物の顔の特徴に対応する人物特徴量が使用される場合に情報Ｉ１は当該人物特徴量を抽出することができる条件を満たした顔画像である必要があり、推定対象人物を検索する際に推定対象人物の全身画像に対応する人物特徴量が使用される場合に情報Ｉ１は当該人物特徴量を抽出することができる条件を満たした全身画像である必要がある。また、情報Ｉ１は複数の画像のセットであってもよい。具体例として、情報Ｉ１が顔画像又は全身画像等である必要がある場合に、情報Ｉ１は、複数の向きそれぞれから推定対象人物を撮影した複数の画像のセットであってもよく、推定対象人物の服装を様々に変えて推定対象人物を撮影した複数の画像のセットであってもよい。
　情報Ｉ２及び情報Ｉ３は、経路推定の始点を特定するために用いられる情報である。具体例として、情報Ｉ１がいずれかのカメラ１０を用いて撮影した画像である場合において、情報Ｉ２は当該カメラ１０のカメラＩＤを示す情報であってもよく、情報Ｉ３は当該画像を撮影した撮影時刻を示す情報であってもよい。情報Ｉ２及び情報Ｉ３は、推定対象人物を目撃した人物の証言等から推定した推定対象人物に対応する場所と時刻とを示す情報であってもよく、ＩＣカードのタッチ情報、２次元コード読み取り情報、又はビーコン受信記録等、推定対象人物と紐付けられた何らかの電子的なログ情報であってもよい。
（ステップＳ２０２）
　経路推定要求取得部５０１は、要求メッセージを受信すると、要求メッセージに含まれている情報Ｉ１を検索特徴抽出部５０２に出力し、要求メッセージに含まれている情報Ｉ２及び情報Ｉ３を推定制御部５０３に出力する。
　なお、要求メッセージは、情報Ｉ１は抽出済みの人物特徴量であってもよく、経路推定要求取得部５０１が情報Ｉ１として人物特徴量を受信した場合にステップＳ２０３はスキップされる。
（ステップＳ２０３）
　検索特徴抽出部５０２は、情報Ｉ１に映る推定対象人物に対応する人物を検索することに用いられる人物特徴量である検索対象特徴量を情報Ｉ１から抽出し、抽出した検索対象特徴量を推定制御部５０３に出力する。ここで、検索特徴抽出部５０２が抽出する検索対象特徴量は、物体特徴抽出部３０３が抽出する人物特徴量と同じ性質を持つ人物特徴量とする。なお、情報Ｉ１に複数の画像が含まれる場合、検索特徴抽出部５０２は複数の画像の各画像から検索対象特徴量を抽出する。
（ステップＳ２０４）
　推定制御部５０３は、経路推定要求取得部５０１から入力された情報Ｉ２及び情報Ｉ３が示す情報に基づいて、人物の検索の始点位置及び始点時刻を決定する。始点位置は検索を開始する位置であり、始点時刻は検索を開始する時刻である。具体例として、情報Ｉ２がカメラＩＤを示す情報である場合、推定制御部５０３は当該カメラＩＤに対応するカメラ１０の位置を始点位置とする。
　検索については、ステップＳ２０６の説明において具体的に説明する。
（ステップＳ２０５）
　推定制御部５０３は、始点から時間的及び空間的に限定された検索範囲を設定する。ここで、始点は始点位置及び始点時刻の総称とし、検索範囲における空間的に限定された範囲を検索対象領域とし、検索範囲における時間的に限定された範囲を検索対象時刻とする。検索対象時刻は対象期間に相当する。推定制御部５０３は、検索対象領域内に存在する各カメラ１０のカメラＩＤと、検索対象時刻と、検索対象特徴量とを物体検索部５０４に出力する。
　図７は、移動経路推定装置５０による人物を検索する処理を具体例により説明する図である。図７の（ａ）は、始点位置からの距離が所定値以内であるカメラ１０を含む領域を推定制御部５０３が検索対象領域として設定した様子を示している。この際、始点位置からの距離は、始点位置からの直線距離であってもよく、カメラ関係マップにより定義されるカメラ１０間の移動コストを用いて定義された距離であってもよい。また、推定制御部５０３は、始点時刻から所定時間後の時刻までを検索対象時刻として設定する。推定制御部５０３は、検索対象領域と検索対象時刻とを設定する際に、人物の平均移動速度等を用いて、一方の範囲から他方の範囲を計算してもよい。なお、検索対象時刻は始点時刻よりも過去の時刻を含んでもよい。
（ステップＳ２０６）
　物体検索部５０４は、推定制御部５０３から入力されたカメラＩＤと検索対象時刻と検索対象特徴量とを用いて、特徴管理装置４０を制御して人物検索を実行する。
　物体検索部５０４は、カメラＩＤと検索対象時刻と検索対象特徴量とを含む検索要求を特徴管理装置４０に対して送信する。
　検索要求取得部４０３は、物体検索部５０４が送信した検索要求を受信し、受信した検索要求に含まれているカメラＩＤと検索対象時刻と検索対象特徴量とをデータベース検索部４０４に出力する。
　データベース検索部４０４は、検索対象特徴量を検索キーとし、カメラＩＤと検索対象時刻とに関する条件を検索条件とする命令である検索クエリを、検索要求取得部４０３が出力したデータに基づいて作成する。また、データベース検索部４０４は、検索条件として、検索クエリが含む検索対象特徴量と、データベース４０６の各特徴量レコードの人物特徴量との一致度が所定の閾値以上であるという条件も併せて用いる。所定の閾値は人物特徴量の種類によって異なる値であってもよい。データベース検索部４０４は、作成した検索クエリをデータベース４０６に送信する。
　ここで、検索対象特徴量及び人物特徴量が複数の属性情報の組み合わせにより構成されている場合、データベース検索部４０４は、具体例として、検索キーである検索対象特徴量の各属性に対応する特徴量と、データベース４０６が含む各特徴量レコードの人物特徴量の各属性に対応する特徴量とが一致する度合いに基づいて、検索対象特徴量と人物特徴量との間の類似度を計算する。ここで、複数の属性情報の組み合わせは、具体例として、年齢層と性別と体型と服の色等の組み合わせである。人物特徴量間の距離を計算することができる多次元ベクトルにより人物特徴量が構成されている場合、類似度は人物特徴量であるベクトル間の距離に基づいて計算される。この場合における類似度は、人物特徴量間の距離が小さいほど類似度が高くなるよう類似度を定義した式を用いて計算される。
　データベース４０６は、データベース検索部４０４から受信した検索クエリに従ってデータベース４０６内を検索し、検索クエリが示す検索条件に適合する特徴量レコードから検索結果を作成し、作成した検索結果を検索結果出力部４０５に出力する。検索結果は、検索条件に適合する０個から複数個の要素から成るリストである。リストの各要素は、クエリ類似度と、カメラＩＤと、撮影時刻とを示す情報を最低限含む。クエリ類似度は、検索された人物と検索クエリに対応する人物との類似度である。なお、クエリ類似度は検索結果の信頼度と捉えることができる。カメラＩＤは、検索された人物を撮影したカメラ１０のカメラＩＤである。撮影時刻は、検索された人物がカメラ１０によって撮影された時刻である。
　検索結果出力部４０５は、データベース４０６から検索結果を受け取り、受け取った検索結果を移動経路推定装置５０に送信する。
　物体検索部５０４は、特徴管理装置４０から検索結果を受信し、受信した検索結果を移動経路推定部５０５に出力する。
　本ステップの処理により、物体検索部５０４は、検索対象領域内のカメラ１０が検索対象時刻に撮影した人物のうち、推定対象人物と類似する人物に対応するデータの一覧を取得する。なお、この一覧が含むデータには、推定対象人物に対応するデータに加えて、推定対象人物に類似している別の人物に対応するデータも含まれている可能性がある。
（ステップＳ２０７）
　本ステップにおいて、移動経路推定部５０５は、様々な経路候補Ｒｔを生成し、生成した経路候補Ｒｔ各々の尤度Ｌｔを求める。
　まず、移動経路推定部５０５は、物体検索部５０４から入力された検索結果を用いて、検索結果の少なくとも一部の要素を抽出し、抽出した検索結果の要素を時系列で並べることにより推定対象人物の移動経路を推定する。
　以下、移動経路推定処理について詳細に説明する。
　まず、移動経路推定部５０５は、移動経路の推定における事前情報として、隣接するカメラ１０間の移動コストを求める。隣接するカメラ１０間の移動コストは、カメラ関係マップにおいて一方のカメラ１０から他方のカメラ１０までの移動経路に存在する経路エッジに設定された移動コスト全て足し合わせた値とする。移動経路推定部５０５は、グラフ探索によって移動コストが最小であるカメラ１０間の経路を移動経路として求めてもよく、移動経路を求める際に、使用される頻度が高い経路を通る制約を考慮してもよい。
　図８は移動経路推定部５０５が移動コストを求める処理を説明する図である。図８の（ａ）はカメラ関係マップを示しており、図８の（ｂ）は図８の（ａ）において隣接するカメラ１０間の移動コストを網羅的に求めた結果を示している。ここで、Ｃ１からＣ７各々はカメラＩＤである。
　図８に示すようなカメラ関係マップと移動コストとが与えられており、入力として、一定時刻範囲内、かつ、所定のエリア内における人物の検索結果が与えられている場合を考える。この場合において、移動経路推定部５０５は、検索結果の少なくとも一部の要素を取り出し、取り出した検索結果の要素を時系列で並べることにより経路候補を得る。経路候補は推定対象人物が移動した経路の候補である。
　図９は経路候補を説明する図である。具体例として、検索結果が図９の（ａ）に示すようにＳＲ－０１からＳＲ－０５の５つの要素から成る場合において、移動経路推定部５０５は、図９の（ｂ）と、図９の（ｃ）と、図９の（ｄ）とに示す３パターンの経路候補を得たものとする。図９の（ｂ）に示す経路候補は、検索結果から｛ＳＲ－０１，ＳＲ－０３，ＳＲ－０５｝の３つの要素を抽出したことにより得られた経路である。当該経路は、抽出した各要素のカメラＩＤに対応するカメラ１０の位置を、時系列順に結んだ経路である。なお、図９に示す経路において、カメラ１０間の経路を、カメラ関係マップにおけるカメラ１０間の最短経路としている。ただし、移動経路推定部５０５が求める経路候補は推定対象人物がカメラ１０間を移動した順を示す情報を最低限含むものとし、推定対象人物が観測されていないカメラ１０間の移動経路の推定については選択的な処理とする。
　また、具体例として、移動経路推定部５０５が｛ＳＲ－０２，ＳＲ－０３，ＳＲ－０４｝を取り出した場合に図９の（ｂ）に示す経路候補を移動経路推定部５０５は得て、移動経路推定部５０５が｛ＳＲ－０１，ＳＲ－０２，ＳＲ－０３，ＳＲ－０４，ＳＲ－０５｝を取り出した場合に図９の（ｃ）に示す経路候補を移動経路推定部５０５は得る。
　ここで、図８の（ｃ）に示すカメラ１０間の移動コストが、移動コスト１につき約１分の移動時間を要することを示す値であるものとする。このとき、具体例として、カメラＣ１からカメラＣ５までの移動コストは５である、即ち、カメラＣ１からカメラＣ５まで約５分を要するにもかかわらず、ＳＲ－０４の撮影時刻とＳＲ－０５の撮影時刻との時刻ギャップは１６秒である。そのため、ＳＲ－０４とＳＲ－０５との双方を含む経路候補は極めて実現確率が低い経路であり、少なくともいずれかの結果は推定対象人物とは異なる人物を誤って同定しているものと推測される。
　また、ＳＲ－０２とＳＲ－０３とについては、クエリ類似度が低い、即ち、信頼性が低い。信頼性が低い検索結果の要素を多く含む経路候補も、正解の経路とは異なる可能性が高いと考えられる。よって、図９に示す経路候補のうち、図９の（ｂ）に示す経路候補が正解の経路である可能性が最も高いと考えられる。
　移動経路推定部５０５は前述のように経路候補を解析する。以下、移動経路推定部５０５が実施する経路推定処理を具体的に説明する。
　まず、移動経路推定部５０５の入力である、検索結果のリストである検索結果リストＳを［数１］に示すように表現する。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｓ［］は配列であり、Ｎは配列の要素数、即ち検索結果の要素数である。ｓ０からｓ（Ｎ－１）が検索結果の各要素を示している。また、検索結果リストＳの各要素は、各要素の「撮影時刻」に応じて昇順に並んでいる。
　経路候補を、［数２］に示すように配列Ｒｔにより表現する。配列Ｒｔは経路候補Ｒｔでもある。
Figure JPOXMLDOC01-appb-M000002
　ここで、配列Ｆｔは、０からＮ－１のＮ個の数字から任意のＭｔ個（１≦Ｍｔ≦Ｎ）の数字を取り出し、取り出した数字を昇順に並べた配列である。即ち、配列Ｆｔは最大で２Ｎ－１種類存在し、ｔは配列Ｆｔの種類を示す通し番号に当たる。なお、ｔがとり得る範囲は一定ではなく、ｔの最大値は最大で２Ｎ－１である。また、Ｍｔは配列Ｆｔの要素数を示す。以上より、配列Ｒｔは、検索結果リストＳから任意のＭｔ個の要素を抽出し、抽出した要素を、抽出した要素の検索結果リストＳにおける順序を維持したまま並べることによって生成される配列である。
　なお、推定制御部５０３が決定した始点が既知である場合、移動経路推定部５０５は、検索結果リストＳの中に、経路推定の始点に該当する検索結果の要素を含めてもよい。このとき、当該始点に該当する検索結果の要素をｓＳｔａｒｔとすると、移動経路推定部５０５は、各配列Ｆｔが必ずｓＳｔａｒｔを含むように各配列Ｆｔを構成する。
　経路候補を前述のように表現した場合に、経路候補Ｒｔの尤度Ｌｔは［数３］のように定義される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　尤度Ｌｔは、経路候補Ｒｔに含まれる検索結果の各要素のクエリ類似度から計算される尤度成分ＬＳｔと、検索結果の各要素間の移動実現確率から計算される尤度成分ＬＲｔとの荷重和である。移動実現確率は、実現確率とも呼ばれ、カメラ間移動実現確率とも呼ばれる。α及びβは荷重和の係数である。ＬＳｔは、検索結果からクエリ類似度を取り出す関数ＰＳｔ（ｋ）の出力の平均値である。ＬＲｔは、移動実現確率を取り出す関数ＰＲｔ（ｋ）の出力の平均値である。
　または、尤度Ｌｔは、［数６］に示すとおり、経路候補Ｒｔに含まれる検索結果の各要素のクエリ類似度から計算される尤度成分ＬＳｔと、検索結果の各要素間の移動実現確率から計算される尤度成分ＬＲｔとの積に、所定の係数Ｃ又は所定の数式Ｃを乗算した値であってもよい。また、移動実現確率から計算される尤度成分ＬＲｔは、［数７］に示すようにＰＲｔ（ｋ）の相乗平均からなる数値であってもよい。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 　ここで、関数ＰＳｔ（ｋ）は［数８］に示すように定義され、関数ＰＲｔ（ｋ）は［数９］に示すように定義される。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　関数ＰＳｔ（ｋ）は、経路候補Ｒｔのｋ番目の要素に対応するクエリ類似度である。
　関数ＰＲｔ（ｋ）は、Ｒｔ［ｋ－１］とＲｔ［ｋ］とのそれぞれに該当するカメラＩＤと撮影時刻とに基づいて、Ｒｔ［ｋ－１］のカメラＩＤに対応するカメラ１０の位置からＲｔ［ｋ］のカメラＩＤに対応するカメラ１０の位置への移動が実現される確率を計算して出力する関数である。なお、ｋ＝０である場合、移動経路推定部５０５はＲｔ［ｋ］の値として所定の定数値を出力する。
　ここで、移動実現確率について説明する。カメラＡからカメラＢへの移動実現確率とは、ある時間長Ｔが与えられた場合、時間長Ｔ内にカメラＡの位置からカメラＢの位置に推定対象人物が移動することができる可能性を、確率を用いて表現した値である。
　移動実現確率の計算方法の具体例を説明する。カメラＡからカメラＢまでの最小移動コストがＤであり、推定対象人物の移動時の平均速度（＝移動コスト／移動所要時間）がＶである場合、推定対象人物がカメラＡからカメラＢまで移動することに要する時間はＤ／Ｖである。よって、移動経路推定部５０５は、Ｄ／ＶがＴを上回る場合に移動不可能であり、Ｄ／ＶがＴ以下である場合に移動可能であるとみなすこともできる。本例における移動実現確率ｐｒは、ＤとＴとを引数として［数１０］のように表現することができる。
Figure JPOXMLDOC01-appb-M000010
　また、移動経路推定部５０５は、推定対象人物の移動速度にゆらぎがあることを考慮して、ＴがＤ／Ｖを下回っている場合であっても、Ｄ／ＶがＴに近づくほど１に近づくような関数を用いて移動実現確率を表現してもよい。
　また、推定対象人物の移動速度の平均に加えて移動速度の分散も既知である場合を考える。この場合において、移動経路推定部５０５は、移動速度が当該平均と当該分散とから定まる正規分布に従って分布していると仮定し、時間長Ｔの間に移動コストＤの経路を通過するために満たすべき速度Ｄ／Ｔを計算し、速度Ｄ／Ｔ以上の速度の生起確率を当該正規分布の累積分布関数から求め、求めた生起確率をｐｒ（Ｄ，Ｔ）の出力としてもよい。ここで、関数ＰＲｔ（ｋ）は、関数ｐｒ（Ｄ，Ｔ）を用いて［数１１］のように表現される。
Figure JPOXMLDOC01-appb-M000011
　ここで、Ｄｔ（ｋ）は、Ｒｔ［ｋ－１］のカメラＩＤに対応するカメラ１０の位置からＲｔ［ｋ］のカメラＩＤに対応するカメラ１０の位置への移動コストである。移動経路推定部５０５は、この移動コストとして、カメラ関係マップ作成時に求めた移動コストであってこれらのカメラ１０間の最短距離についての移動コストを採用してもよく、よく使用される経路を通ることを考慮してパス探索を実行して得られた経路の移動コストを用いてもよい。Ｔｔ（ｋ）は、Ｒｔ［ｋ］の撮影時刻からＲｔ［ｋ－１］の撮影時刻を引いた差分値である。
　また、推定対象人物は多くの場合にある経路上を進んだり戻ったりしない、即ち、推定対象人物は一度通過したカメラ１０の位置に再度現れにくい傾向があると考えられる。移動経路推定部５０５は、このような考え方に基づいて、これまでに通過したことがあるカメラ１０の位置を示す履歴情報を参照して次に移動するカメラ１０の位置への移動コストに補正を加えてもよい。具体例として、移動経路推定部５０５は、移動コストＤｔ（ｋ）を求める際、Ｒｔ［ｋ］のカメラＩＤが、Ｒｔ［０］からＲｔ［ｋ－２］のカメラＩＤの少なくとも一つと一致しており、かつＲｔ［ｋ－１］のカメラＩＤと異なる場合に、移動コストＤｔ（ｋ）を、推定対象人物がＲｔ［ｋ－１］からＲｔ［ｋ］に移動したと判断されにくくなるよう補正してもよい。また、移動経路推定部５０５は、他の考え方に基づいて、Ｒｔ［０］からＲｔ［ｋ－１］のカメラＩＤとＲｔ［ｋ］のカメラＩＤとに基づいて、所定のルールに従って移動コストＤｔ（ｋ）を補正してもよい。
　前述のように、移動経路推定部５０５は各経路候補Ｒｔに対して尤度Ｌｔを求めることができる。
（ステップＳ２０８）
　移動経路推定部５０５は、相対的に大きな尤度Ｌｔに対応する経路候補Ｒｔを、移動経路推定結果として推定制御部５０３に出力する。ここで、移動経路推定部５０５は、最も大きな尤度Ｌｔに対応する経路候補Ｒｔのみを出力してもよく、上位複数個の尤度Ｌｔ各々に対応する複数の経路候補Ｒｔを出力してもよい。また、移動経路推定部５０５が複数個の経路候補Ｒｔを出力する場合に、移動経路推定部５０５は、尤度Ｌｔの大きさだけではなく、出力する複数個の経路候補Ｒｔ間で共有する検索結果の要素の数ができるだけ少なくなるようにする等の条件を加味して出力してもよく、複数個の経路候補を、経路長が長い、中程度、短い等の条件によりクラス分けし、各クラスにおいて最も大きな尤度Ｌｔに対応する経路候補Ｒｔを出力してもよい。
　また、移動経路推定部５０５は、網羅的に経路候補を生成してもよく、処理の高速化のため、ランダムに経路候補を生成し、生成した経路候補の中から最適な経路候補を選ぶモンテカルロ法を用いてもよい。また、移動経路推定部５０５は、部分的な経路候補に対する尤度を評価しながら、順に次に採用する検索結果の要素を決定していく探索的アプローチを用いてもよい。
（ステップＳ２０９）
　推定制御部５０３は、移動経路推定部５０５の出力を受け取り、受け取った出力に基づき、探索終了条件が満たされているか否かを判定する。
　探索終了条件が満たされている場合、移動経路推定システム９０は、今回の要求メッセージに基づく移動経路推定処理を終了し、ステップＳ２１０を経由してステップＳ２０１に戻る。
　探索終了条件の具体例を以下に示す。なお、ループ処理はステップＳ２０４からステップＳ２０８までの処理である。
・移動経路推定装置５０が、探索可能な範囲を、これまでのループ処理によって全て探索したこと。
・移動経路推定装置５０が、予め指定された探索範囲を、これまでのループ処理によって全て探索したこと。
・移動経路推定部５０５が出力した経路候補がなかったこと、又は、当該経路候補の尤度が所定の閾値以下であること。
・移動経路推定部５０５が出力した経路候補が、推定対象人物が対象空間外に移動したことを示す経路であること。
・移動経路推定処理が開始されてから所定の時間が経過したこと、移動経路推定処理によるメモリ使用量が所定値を超えたこと、又は、移動経路推定処理による演算量が所定値を超えたこと。
　探索終了条件が満たされていない場合、移動経路推定装置５０は、ステップＳ２０４に戻り、ステップＳ２０４からステップＳ２０８の処理を再度実行する。ここで、次に実行するステップＳ２０４では、図７の（ｂ）及び図７の（ｃ）に示すように、推定制御部５０３は、検索の始点位置を、直前のループ処理のステップＳ２０８にて移動経路推定部５０５が出力した結果が示す経路候補の終点におけるカメラ１０の位置及び時刻を用いて設定する。図７の（ｂ）の矢印は１回のループ処理によって推定した経路候補を示している。図７の（ｃ）は、直前のループ処理によって推定した経路候補の終点を始点位置とする様子を示している。
　なお、移動経路推定部５０５が出力した経路候補が複数存在する場合、移動経路推定装置５０は、複数の経路候補それぞれに対応する複数の始点位置を設定し、設定した複数の始点位置の各始点位置に対してステップＳ２０４からステップＳ２０８の処理を実行してもよい。
＊＊＊実施の形態１の効果の説明＊＊＊
　以上のように、本実施の形態によれば、複数の経路候補を生成し、生成した経路候補を用いて対象人物の移動経路を推定することにより、対象人物を逐次的に追跡せずに対象人物の移動経路を推定することができる。
　また、画像から取得することができる特徴量を用いて人物を同定する処理において、同一人物を同定する精度が比較的低いという課題がある。特に、人物の全身の外見特徴を用いて同定処理を実行する場合、服装が類似する人物を誤って同定する誤同定と、同定すべき人物を同定しない同定漏れとが頻繁に発生する。多くの人が集まる空間であるほど、この誤同定の問題が数多く発生し、探索結果に誤同定の結果が多く含まれることにより、探索したい人物を見つけることが困難になる。そのため、逐次的に移動経路を推定する方式においては、移動経路を推定することに失敗することが比較的多いという課題がある。
　本実施の形態では、一定の時間範囲及び一定の空間範囲における記録映像に対して対象人物を検索し、検索して得られた複数の検索結果を用いて複数の経路候補を生成し、生成した複数の経路候補各々についての尤度推定に基づいて対象人物の移動経路を推定する。そのため、本実施の形態によれば、局所的に発生した誤同定及び同定漏れの影響を抑制して移動経路を推定することができる。
＊＊＊他の構成＊＊＊
＜変形例１＞
　情報Ｉ２及び情報Ｉ３の少なくとも一方は要求メッセージに含まれなくてもよい。
　以下、本変形例において、推定制御部５０３がステップＳ２０４において始点を求める処理を説明する。
　情報Ｉ２の位置情報が、要求メッセージに含まれず、推定制御部５０３に入力されなかった場合、推定制御部５０３は、全てのカメラ１０に対して、検索特徴抽出部５０２から入力された検索対象特徴量を用いて、特徴管理装置４０を用いた人物検索を行う。この際、推定制御部５０３は、検索を行う時間幅を、情報Ｉ３が示す時刻の近傍に制限してもよい。
　情報Ｉ２の入力があり情報Ｉ３の入力がなかった場合、推定制御部５０３は、情報Ｉ２の近傍のカメラ１０を対象として全ての時間帯を対象に検索する。
　情報Ｉ２も情報Ｉ３も入力されなかった場合、全てのカメラ１０と全ての時間帯とを対象に検索する。
　推定制御部５０３は、信頼度が所定のしきい値以上の検索結果の中から最も信頼度が高い検索結果を抽出し、抽出した検索結果に含まれる時刻と位置との少なくともいずれかを検索の始点として設定する。また、推定制御部５０３は、信頼度が高い順に検索結果から複数の始点を抽出し、抽出した複数の始点各々について経路候補を推定するよう指示してもよい。
＜変形例２＞
　推定制御部５０３は、検索範囲を指定せず、全てのカメラ１０と、各カメラ１０が撮影した映像に対応する全ての時間帯とを検索対象としてもよい。また、推定制御部５０３は、利用するカメラ１０を一定の範囲に存在するカメラ１０に制限するものの検索対象時刻を設定しなくてもよく、利用するカメラ１０を全てのカメラ１０とするものの検索対象時刻を設定してもよい。
＜変形例３＞
　移動経路推定部５０５は、尤度を推定する際に、人物の位置として、カメラノードの位置を用いる代わりに、映像データから対象空間内における人物の位置を推定し、推定した位置を用いてもよい。また、移動経路推定部５０５は、映像データにおいて人物の周囲に人物の移動を妨げると考えられる障害物等が映っている場合に、障害物等が人物の移動に与える影響を考慮してもよい。
　本変形例によれば、移動経路推定部５０５は、より高い精度で尤度を求めることができる。
＜変形例４＞
　図１０は、本変形例に係る移動経路推定装置５０のハードウェア構成例を示している。
　移動経路推定装置５０は、プロセッサ１１、プロセッサ１１とメモリ１２、プロセッサ１１と補助記憶装置１３、あるいはプロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、処理回路１８を備える。
　処理回路１８は、移動経路推定装置５０が備える各部の少なくとも一部を実現するハードウェアである。
　処理回路１８は、専用のハードウェアであってもよく、また、メモリ１２に格納されるプログラムを実行するプロセッサであってもよい。
　処理回路１８が専用のハードウェアである場合、処理回路１８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はこれらの組み合わせである。
　移動経路推定装置５０は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。
　移動経路推定装置５０において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。
　処理回路１８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
　プロセッサ１１とメモリ１２と補助記憶装置１３と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、移動経路推定装置５０の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
＊＊＊他の実施の形態＊＊＊
　実施の形態１について説明したが、本実施の形態のうち、複数の部分を組み合わせて実施しても構わない。あるいは、本実施の形態を部分的に実施しても構わない。その他、本実施の形態は、必要に応じて種々の変更がなされても構わず、全体としてあるいは部分的に、どのように組み合わせて実施されても構わない。
　なお、前述した実施の形態は、本質的に好ましい例示であって、本開示と、その適用物と、用途の範囲とを制限することを意図するものではない。フローチャート等を用いて説明した手順は、適宜変更されてもよい。
　１１　プロセッサ、１２　メモリ、１３　補助記憶装置、１４　入出力ＩＦ、１５　通信装置、１８　処理回路、１９　信号線、１０　カメラ、２０　ハブ、３０　特徴抽出装置、３０１　映像データ取得部、３０２　物体検出部、３０３　物体特徴抽出部、４０　特徴管理装置、４０１　物体特徴取得部、４０２　データベース入力部、４０３　検索要求取得部、４０４　データベース検索部、４０５　検索結果出力部、４０６　データベース、５０　移動経路推定装置、５０１　経路推定要求取得部、５０２　検索特徴抽出部、５０３　推定制御部、５０４　物体検索部、５０５　移動経路推定部、９０　移動経路推定システム、Ｉ１，Ｉ２，Ｉ３　情報。

Claims (9)

  1. 　対象期間内に対象空間内の一部を撮影した複数の映像から抽出された複数の物体特徴量の各物体特徴量を対象特徴量とし、前記対象特徴量と、前記対象特徴量の抽出元である映像が撮影された時刻を示す撮影時刻とを対応させて管理する特徴管理装置が管理しているデータを利用する移動経路推定装置であって、
    　前記対象特徴量は、前記複数の映像のいずれかから抽出された特徴量であり、１以上の物体のいずれかの特徴を示す特徴量であり、
    　前記移動経路推定装置は、
    　前記対象期間内に前記対象空間内を移動した物体である移動体に対応する特徴量と、前記対象特徴量との類似度に基づいて前記複数の物体特徴量から２以上の特徴量の各特徴量を検索特徴量として検索する物体検索部と、
    　前記検索特徴量に対応する撮影時刻と、前記検索特徴量に対応する撮影時刻に前記検索特徴量に対応する物体が存在していた位置とに基づいて、前記移動体が前記対象期間内に移動した前記対象空間内の経路に対応する対応経路の候補を示す複数の経路候補と、前記複数の経路候補それぞれの尤度とを求め、求めた尤度に応じて前記複数の経路候補から前記対応経路を推定する移動経路推定部と
    を備える移動経路推定装置。
  2. 　前記移動経路推定部は、前記検索特徴量に対応する撮影時刻と、前記検索特徴量に対応する撮影時刻において前記検索特徴量に対応する物体が存在していた位置とに基づいて前記複数の経路候補それぞれの実現確率を求め、求めた実現確率に基づいて前記複数の経路候補それぞれの尤度を求める請求項１に記載の移動経路推定装置。
  3. 　前記移動経路推定部は、前記移動体が前記複数の経路候補それぞれに対応する経路を移動する速度として想定される速度に基づいて前記複数の経路候補それぞれの尤度を求める請求項１又は２に記載の移動経路推定装置。
  4. 　前記移動経路推定部は、前記移動体に対応する特徴量と、前記検索特徴量との類似度に基づいて前記複数の経路候補それぞれの尤度を求める請求項１から３のいずれか１項に記載の移動経路推定装置。
  5. 　前記移動経路推定部は、前記対象空間の地図と、前記複数の映像それぞれが映している領域の位置とに基づいて生成されたグラフであるカメラ関係マップを用いて前記複数の経路候補それぞれを求める請求項１から４のいずれか１項に記載の移動経路推定装置。
  6. 　前記移動経路推定部は、前記カメラ関係マップのノード間を前記移動体が移動するコストを示す移動コストに基づいて前記複数の経路候補それぞれの尤度を求める請求項５に記載の移動経路推定装置。
  7. 　前記１以上の物体の各物体は人物である請求項１から６のいずれか１項に記載の移動経路推定装置。
  8. 　対象期間内に対象空間内の一部を撮影した複数の映像から抽出された複数の物体特徴量の各物体特徴量を対象特徴量とし、前記対象特徴量と、前記対象特徴量の抽出元である映像が撮影された時刻を示す撮影時刻とを対応させて管理する特徴管理装置が管理しているデータを利用する移動経路推定方法であって、
    　前記対象特徴量は、前記複数の映像のいずれかから抽出された特徴量であり、１以上の物体のいずれかの特徴を示す特徴量であり、
    　前記対象期間内に前記対象空間内を移動した物体である移動体に対応する特徴量と、前記対象特徴量との類似度に基づいて前記複数の物体特徴量から２以上の特徴量の各特徴量を検索特徴量として検索し、
    　前記検索特徴量に対応する撮影時刻と、前記検索特徴量に対応する撮影時刻に前記検索特徴量に対応する物体が存在していた位置とに基づいて、前記移動体が前記対象期間内に移動した前記対象空間内の経路に対応する対応経路の候補を示す複数の経路候補と、前記複数の経路候補それぞれの尤度とを求め、求めた尤度に応じて前記複数の経路候補から前記対応経路を推定する移動経路推定方法。
  9. 　対象期間内に対象空間内の一部を撮影した複数の映像から抽出された複数の物体特徴量の各物体特徴量を対象特徴量とし、前記対象特徴量と、前記対象特徴量の抽出元である映像が撮影された時刻を示す撮影時刻とを対応させて管理する特徴管理装置が管理しているデータを利用する移動経路推定プログラムであって、
    　前記対象特徴量は、前記複数の映像のいずれかから抽出された特徴量であり、１以上の物体のいずれかの特徴を示す特徴量であり、
    　前記対象期間内に前記対象空間内を移動した物体である移動体に対応する特徴量と、前記対象特徴量との類似度に基づいて前記複数の物体特徴量から２以上の特徴量の各特徴量を検索特徴量として検索する物体検索処理と、
    　前記検索特徴量に対応する撮影時刻と、前記検索特徴量に対応する撮影時刻に前記検索特徴量に対応する物体が存在していた位置とに基づいて、前記移動体が前記対象期間内に移動した前記対象空間内の経路に対応する対応経路の候補を示す複数の経路候補と、前記複数の経路候補それぞれの尤度とを求め、求めた尤度に応じて前記複数の経路候補から前記対応経路を推定する移動経路推定処理と
    をコンピュータである移動経路推定装置に実行させる移動経路推定プログラム。
PCT/JP2021/008658 2021-03-05 2021-03-05 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム WO2022185521A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
GB2312834.1A GB2619633A (en) 2021-03-05 2021-03-05 Movement path estimation device, movement path estimation method, and movement path estimation program
PCT/JP2021/008658 WO2022185521A1 (ja) 2021-03-05 2021-03-05 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム
JP2022562397A JP7270855B2 (ja) 2021-03-05 2021-03-05 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム
US18/220,444 US20230349711A1 (en) 2021-03-05 2023-07-11 Movement route estimation device, movement route estimation method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/008658 WO2022185521A1 (ja) 2021-03-05 2021-03-05 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/220,444 Continuation US20230349711A1 (en) 2021-03-05 2023-07-11 Movement route estimation device, movement route estimation method, and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
WO2022185521A1 true WO2022185521A1 (ja) 2022-09-09

Family

ID=83154098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008658 WO2022185521A1 (ja) 2021-03-05 2021-03-05 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム

Country Status (4)

Country Link
US (1) US20230349711A1 (ja)
JP (1) JP7270855B2 (ja)
GB (1) GB2619633A (ja)
WO (1) WO2022185521A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142527A (ja) * 2005-11-15 2007-06-07 Hitachi Ltd 移動体監視システム、移動体特徴量算出装置およびカメラ間移動体照合追跡装置
WO2012010887A1 (en) * 2010-07-19 2012-01-26 Ipsotek Ltd Apparatus, system and method
WO2014050432A1 (ja) * 2012-09-27 2014-04-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
WO2015098442A1 (ja) * 2013-12-26 2015-07-02 株式会社日立国際電気 映像検索システム及び映像検索方法
JP2018201161A (ja) * 2017-05-29 2018-12-20 株式会社東芝 移動体追跡装置、移動体追跡方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10497264B2 (en) * 2017-09-26 2019-12-03 Toyota Research Institute, Inc. Methods and systems for providing warnings of obstacle objects
CN112750301A (zh) * 2019-10-30 2021-05-04 杭州海康威视系统技术有限公司 目标对象追踪方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142527A (ja) * 2005-11-15 2007-06-07 Hitachi Ltd 移動体監視システム、移動体特徴量算出装置およびカメラ間移動体照合追跡装置
WO2012010887A1 (en) * 2010-07-19 2012-01-26 Ipsotek Ltd Apparatus, system and method
WO2014050432A1 (ja) * 2012-09-27 2014-04-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
WO2015098442A1 (ja) * 2013-12-26 2015-07-02 株式会社日立国際電気 映像検索システム及び映像検索方法
JP2018201161A (ja) * 2017-05-29 2018-12-20 株式会社東芝 移動体追跡装置、移動体追跡方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAWANISHI, YASUTOMO ET AL.: "Report of the 20th PRMU Algorithm Contest: Track Pedestrians across Multiple Cameras!", IEICE TECHNICAL REPORT, DENSHI JOUHOU TSUUSHIN GAKKAI, JP, vol. 116, no. 528, 13 March 2017 (2017-03-13), JP , pages 67 - 79, XP009539678, ISSN: 0913-5685 *

Also Published As

Publication number Publication date
GB2619633A8 (en) 2024-04-24
GB202312834D0 (en) 2023-10-04
US20230349711A1 (en) 2023-11-02
JPWO2022185521A1 (ja) 2022-09-09
JP7270855B2 (ja) 2023-05-10
GB2619633A (en) 2023-12-13

Similar Documents

Publication Publication Date Title
CN108229456B (zh) 目标跟踪方法和装置、电子设备、计算机存储介质
Shen et al. Multiobject tracking by submodular optimization
JP5976237B2 (ja) 映像検索システム及び映像検索方法
JP6759411B2 (ja) 物体追跡方法および装置
JP6854881B2 (ja) 顔画像照合システムおよび顔画像検索システム
JP6474854B2 (ja) 背景モデルを更新するための方法及び装置
Khan et al. Analyzing crowd behavior in naturalistic conditions: Identifying sources and sinks and characterizing main flows
US20140226877A1 (en) Method, Apparatus and Computer Readable Recording Medium for Managing a Reference Face Database to Improve Face Recognition Performance Under a Restricted Memory Environment
WO2018099268A1 (zh) 目标跟踪方法、装置及存储介质
JP2017033547A (ja) 情報処理装置及びその制御方法及びプログラム
KR20080020595A (ko) 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템
Kalirajan et al. Moving object detection for video surveillance
Nyaruhuma et al. Verification of 2D building outlines using oblique airborne images
WO2009152509A1 (en) Method and system for crowd segmentation
CN112507953A (zh) 一种目标搜索及追踪方法和装置及设备
KR20220098030A (ko) 타깃 운동 궤적 구축 방법, 기기 및 컴퓨터 저장 매체
JP2019020777A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
Zhu et al. Ten-fold improvement in visual odometry using landmark matching
US20190171899A1 (en) Automatic extraction of attributes of an object within a set of digital images
JP2017054493A (ja) 情報処理装置及びその制御方法及びプログラム
Korrapati et al. Vision-based sparse topological mapping
US11948312B2 (en) Object detection/tracking device, method, and program recording medium
Jung et al. An AIoT Monitoring System for Multi-Object Tracking and Alerting.
JP7270855B2 (ja) 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム
CN112927258A (zh) 一种目标跟踪方法及装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022562397

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929093

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 202312834

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20210305

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21929093

Country of ref document: EP

Kind code of ref document: A1