WO2021131248A1 - 物体検索装置及び物体検索方法 - Google Patents

物体検索装置及び物体検索方法 Download PDF

Info

Publication number
WO2021131248A1
WO2021131248A1 PCT/JP2020/038659 JP2020038659W WO2021131248A1 WO 2021131248 A1 WO2021131248 A1 WO 2021131248A1 JP 2020038659 W JP2020038659 W JP 2020038659W WO 2021131248 A1 WO2021131248 A1 WO 2021131248A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional data
feature amount
unit
data
Prior art date
Application number
PCT/JP2020/038659
Other languages
English (en)
French (fr)
Inventor
田村　雅人
智明 吉永
廣池　敦
冠 中前
勇太 梁島
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US17/784,472 priority Critical patent/US20230005268A1/en
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to EP20905155.6A priority patent/EP4083906A4/en
Priority to CN202080076434.3A priority patent/CN114641795A/zh
Publication of WO2021131248A1 publication Critical patent/WO2021131248A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an object search device and an object search method.
  • the person search can be used to assist the observer in tracking the suspicious person.
  • the baggage search can be used to track the left-behind baggage or the suspicious baggage from the baggage shown in the image of the camera at another place, and identify the owner.
  • Patent Document 1 In a video monitoring system having an image acquisition unit that acquires a signal from an imaging device such as one or more cameras and an image data unit that holds an input image acquired from the image acquisition unit, a person from an input image. Results of a condition specification unit that specifies features, time, and camera, an image search unit that searches for images that match the conditions specified in the condition specification unit from the input image group held in the image data unit by image recognition, and an image search unit. It has a result display unit for displaying, and is provided with a means for selecting a plurality of person features specified by the condition specification unit by a user specification or a person tracking method and adding them to the search conditions of the condition specification unit. " ..
  • Patent Document 1 proposes a search method using an image.
  • a method of inputting an image into a convolutional neural network (CNN), extracting features, and calculating the similarity of features is often used.
  • CNN convolutional neural network
  • this method for the same individual, various images with different lighting environments and different positions and sizes of objects in the image are prepared, and CNN is learned so as to extract similar features for those images. deep. This learning makes CNN robust to various image changes and enables highly accurate searches.
  • Patent Document 2 proposes a search method using a three-dimensional model.
  • the present invention proposes a method of estimating a feature amount including information on shape and unevenness obtained from three-dimensional data from an image and performing feature extraction. It is an object of the present invention to construct an object search device capable of performing an accurate search by expressing such information as a feature amount only with an image in a search for an object having a characteristic shape or unevenness. And.
  • the object search device of the present invention is composed of a first neural network, an image feature extraction unit that inputs an image and extracts an image feature amount, and a second neural network, and obtains three-dimensional data.
  • the image feature amount and the three-dimensional data feature amount are extracted from the three-dimensional data feature extraction unit that inputs and extracts the three-dimensional data feature amount, and the image and the three-dimensional data of the object obtained from the same individual, respectively, and the image is described.
  • An object query is performed by a learning unit that updates the parameters for image feature extraction so as to reduce the difference between the feature amount and the three-dimensional data feature amount, and an image feature extraction unit that uses the updated image feature extraction parameters. It is configured to include a search unit that extracts image features of images and gallery images, calculates the similarity of image features of both images, and searches for an object.
  • the object search device a plurality of images that are configured by a third neural network and are continuous in time series are input, and the same type of object is spatially displayed from the detection result of each image.
  • a tracking unit that connects images that are close to each other to generate a plurality of images of the same individual that are continuous in time series as tracking data, and a tracking data storage unit that stores the tracking data generated by the tracking unit. Further provided, the search unit searches for an object using the tracking unit, tracking data obtained from the tracking data storage unit, and an image.
  • an image of an object obtained from the same individual and three-dimensional data are input, and an image feature amount is extracted from the image by a first neural network, and the three-dimensional image is extracted.
  • Three-dimensional data features are extracted from the data by a second neural network, and learning processing is performed to update the parameters for image feature extraction so as to reduce the difference between the image features and the three-dimensional data features.
  • Image feature extraction unit using the updated parameters for image feature extraction The first neural network extracts each image feature amount of the query image and the gallery image of the object, and the similarity of the image feature amounts of both images. Is characterized by calculating and searching for an object.
  • the parameters for image feature extraction are the weight and bias of each neuron constituting the first neural network.
  • the present invention it is possible to provide a highly accurate object search device that expresses three-dimensional information such as a shape and unevenness as a feature quantity only from an image. Further, it is not necessary to handle the three-dimensional data at the time of searching, and there is an effect that the problem of the installation cost of the depth camera and the problem of the processing time of feature extraction do not occur. Other effects will be described in each example.
  • FIG. It is a block diagram of the object search apparatus in Example 1.
  • FIG. It is a functional block diagram of the learning control unit of the object search device, or each functional unit controlled by the search control unit. It is a flowchart of an example of the learning process in Example 1. It is a flowchart of an example of the search process in Example 1. It is a figure which shows the example of the image and 3D data necessary for the learning process used in this Example. It is a figure which shows the annotation data necessary for the learning process used in Example 1.
  • FIG. It is a block diagram of the object search apparatus in Example 2.
  • FIG. It is a functional block diagram of the learning control unit of the object search device of the second embodiment, or each functional unit controlled by the search control unit. It is a flowchart of an example of the tracking process used in Example 2. It is a flowchart of an example of the search process used in Example 2. It is a figure which shows the annotation data necessary for the learning process used in Example 2.
  • the search target does not have to be a baggage, and may be an object that can be imaged.
  • FIG. 1 is a configuration diagram of an object search device according to this embodiment.
  • the object search device 100 can be configured on a general-purpose computer, and its hardware configuration includes a calculation unit 110 composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only). Memory), HDD (Hard Disk Drive), storage unit 120 composed of SSD (Solid State Drive) using flash memory, input unit 130 composed of input devices such as keyboard and mouse, LCD (Liquid Crystal) Display), a display unit 140 composed of a display device such as an organic EL display, a communication unit 150 composed of a NIC (Network Interface Card), and the like.
  • the communication unit 150 is connected to the surveillance image database_A171, the surveillance image database_Z172, and the cameras 181 and 182 installed in various places via the network 160.
  • the calculation unit 110 realizes the following functional units by loading the object search program 121 stored in the storage unit 120 into the RAM and executing it on the CPU.
  • the calculation unit 110 includes a learning control unit 111, a search control unit 112, an image / three-dimensional data acquisition unit 113, a learning unit 114, a search unit 115, an image feature extraction unit 116, and a three-dimensional data feature extraction unit 117.
  • the learning control unit 111 is activated by the instruction of the learning executor (human or computer that controls learning), and controls each of the following functional units in order to execute the learning process requested by the learning executor.
  • the search control unit 112 is activated by the instruction of the search executor (human or computer performing the search), and controls each of the following functional units in order to execute the search process requested by the search executor.
  • FIG. 2 shows a functional block diagram of each functional unit controlled by the learning control unit 111 or the search control unit 112.
  • the image / three-dimensional data acquisition unit 113 processes data input / output when executing a learning process or a search process.
  • the image, three-dimensional data, and annotation data used for the learning process are received from the learning executor, or the image and three-dimensional data requested by the learning executor are acquired from the outside, and the data is learned. It is transmitted to the unit 114.
  • the annotation data is the correct answer data for learning.
  • the query image and the gallery image are accepted from the search executor, or any of the query image and the gallery image requested by the search executor, or one of the images is acquired from the outside and the images are obtained. It is transmitted to the search unit 115.
  • the query image is an image showing the luggage to be searched
  • the gallery image is to search for an image showing the same individual luggage as the luggage to be searched based on the query image. It is the image to be compared.
  • the learning unit 114 updates the parameters (weights and biases of each neuron constituting the neural network) used when the image feature extraction unit 116 and the three-dimensional data feature extraction unit 117 extract features by learning.
  • the image, the three-dimensional data, and the annotation data used for the learning are received from the image / three-dimensional data acquisition unit 113.
  • the received image is transmitted to the image feature extraction unit 116, and the feature amount extracted by the image feature extraction unit 116 is received.
  • the received three-dimensional data is transmitted to the three-dimensional data feature extraction unit 117, and the feature amount extracted by the three-dimensional data feature extraction unit 117 is received.
  • the parameters for feature extraction are received from the image feature extraction unit 116 and the three-dimensional data feature extraction unit 117, and the updated parameters are transmitted to the image feature extraction unit 116 and the three-dimensional data feature extraction unit 117.
  • the search unit 115 performs input / output processing, calculation, and display management for search.
  • the query image and the gallery image used for the search are received from the image / three-dimensional data acquisition unit 113, and these images are transmitted to the image feature extraction unit 116.
  • the feature amount is received from the image feature extraction unit 116, and the search result calculated based on the feature amount is transmitted to the display unit 140.
  • the display unit 140 displays the search result.
  • the query image, the gallery image, and the display order are acquired from the search unit 115, and the images are displayed according to the display order.
  • the image feature extraction unit 116 extracts the feature amount required for similarity calculation from the image.
  • an image is received from the learning unit 114, and the extracted feature amount is transmitted to the learning unit 114.
  • the parameter for feature extraction is transmitted to the learning unit 114, and the updated parameter is received from the learning unit 114.
  • the search is executed, the image is received from the search unit 115, and the extracted feature amount is transmitted to the search unit 115.
  • the three-dimensional data feature extraction unit 117 extracts the feature amount required for similarity calculation from the three-dimensional data.
  • the three-dimensional data is received from the learning unit 114, and the extracted features are transmitted to the learning unit 114. Further, the parameter for feature extraction is transmitted to the learning unit 114, and the updated feature amount is received from the learning unit 114.
  • the image feature extraction parameter 122 of the storage unit 120 stores the parameters (weights and biases of each neuron constituting the neural network) used when the image feature extraction unit 116 extracts the image feature.
  • the parameters 123 (weights and biases of each neuron constituting the neural network) used by the 3D data feature extraction unit 117 when extracting the 3D data features are stored in the 3D data feature extraction parameter 123 of the storage unit 120. To do.
  • FIG. 3 shows a flowchart of an example of the learning process used in the present embodiment.
  • the learning control unit 111 is activated by the learning start operation of the learning executor to start the learning process.
  • step S101 the learning executor inputs the image, three-dimensional data, and annotation data necessary for learning into the image / three-dimensional data acquisition unit.
  • the image contains color information
  • the three-dimensional data also includes the color information.
  • step S102 the image / three-dimensional data acquisition unit transmits the image, three-dimensional data, and annotation data received in step S101 to the learning unit 114.
  • step S103 the learning unit transmits the image received in step S102 to the image feature extraction unit 116.
  • step S104 the image feature extraction unit 116 extracts features from the image received in step S103.
  • CNN is used for feature extraction.
  • CNN accepts an image as input, converts it into a numerical vector as a feature, and outputs it. This conversion is performed by repeating the convolution operation using the parameters held by the CNN (using the image feature extraction parameter 122).
  • the parameter can be initialized to any value, and the value of the parameter is updated by learning.
  • step S105 the image feature extraction unit transmits the feature amount extracted in step S104 and the parameter used for feature extraction (image feature extraction parameter 122) to the learning unit 114.
  • step S106 the learning unit 114 stores the image feature amount received in step S105 and the parameters for image feature extraction.
  • step S107 the learning unit transmits the three-dimensional data received in step S102 to the three-dimensional data feature extraction unit 117.
  • the three-dimensional data feature extraction unit 117 extracts features from the three-dimensional data received in step S107.
  • feature extraction for example, Neural network (NN) for 3D data is used.
  • NN Neural network
  • the NN for 3D data accepts 3D data as input, converts it to a numerical vector as a feature, and outputs it. This conversion is performed by repeating the process of linearly converting 3D data using the parameters held by the NN for 3D data (using the 3D data feature extraction parameter 123) and inputting it to the nonlinear function. Will be done.
  • the parameter can be initialized to any value, and the value of the parameter is updated by learning.
  • step S109 the three-dimensional data feature extraction unit 117 transmits the feature amount extracted in step S108 and the parameter used for feature extraction (three-dimensional data feature extraction parameter 123) to the learning unit.
  • step S110 the learning unit 114 stores the three-dimensional data feature amount received in step S109 and the parameters for extracting the three-dimensional data feature.
  • step S111 the image feature amount and the image feature extraction parameter stored in step S106 by the learning unit 114, the three-dimensional data feature amount stored in step S110, and the three-dimensional data feature extraction parameter are used to obtain parameters.
  • Perform update work for updating the parameters, for example, the stochastic gradient descent method is used.
  • An objective function is required for the stochastic gradient descent method, and the objective function E image used for updating the parameters for image feature extraction uses, for example, the image feature amount f image of the same individual and the three-dimensional data feature amount f 3d. Calculate as in formula (1).
  • the parameters for image feature extraction are updated in the direction of minimizing the objective function E image.
  • an E image can be calculated for a plurality of individuals and averaged, and a mean square error can be used.
  • the objective function E 3d used for updating the parameters for extracting the three-dimensional data features uses, for example, Softmax cross-entropy by individual identification.
  • the parameters for 3D data feature extraction are updated in the direction of minimizing the objective function E 3d.
  • E 3d is calculated for a plurality of individuals and averaged.
  • step S112 the learning unit 114 transmits the updated value of the parameter calculated in step S111 to the image feature extraction unit 116 and the three-dimensional data feature extraction unit 117.
  • step S113 the respective feature extraction parameters (image feature extraction parameter 122, three-dimensional data feature extraction) are used by the image feature extraction unit 116 and the three-dimensional data feature extraction unit 117 using the parameter update values received in step S112. Parameter 123) is updated.
  • step S114 the learning control unit 111 determines whether the learning executor continues or ends learning from the initial request contents and processing results, and if it determines to continue, proceeds to S101 and determines that the learning ends. In that case, the process proceeds to S115.
  • step S115 the learning process is completed.
  • the three-dimensional data feature extraction unit can extract similar feature quantities for the same individual by the learning process, and the image feature extraction unit is the three-dimensional data feature extraction unit.
  • the image feature extraction unit can extract the feature amount output by the three-dimensional data feature extraction unit from the image.
  • this feature amount it is possible to improve the accuracy for searching for an object having a characteristic shape.
  • each parameter may be learned at the same time, or the parameters for 3D data feature extraction may be learned first.
  • the parameters may be learned, and the parameters for extracting the image feature amount may be learned later.
  • this method can be used not only for searching for the same individual but also for object identification and object detection, and can improve accuracy.
  • FIG. 4 shows a flowchart of an example of the search process used in the present embodiment.
  • the search control unit 112 is activated by the search start operation of the search executor to start the search process.
  • step S201 the search executor inputs the query image and the gallery image required for the search process into the image / three-dimensional data acquisition unit 113.
  • the search control unit 112 obtains a query image and a gallery image necessary for the search process from the cameras 181 and 182 installed in various places, or the external surveillance image databases 171 and 172, according to the request of the search executor. Have the 3D data acquisition unit acquire it.
  • step S202 the image / three-dimensional data acquisition unit 113 transmits the image received in step S201 to the search unit 115.
  • step S203 the search unit 115 transmits the image received in step S202 to the image feature extraction unit 116.
  • step S204 the image feature extraction unit extracts features from the image received in step S203.
  • the feature extraction method the same method as that used in step S104 in the learning process flow is used.
  • feature extraction can be performed on the image including color information.
  • step S205 the image feature extraction unit 116 transmits the feature amount extracted in step S204 to the search unit 115.
  • step S206 the search unit 115 determines the display order of the search results using the feature amount received in step S205.
  • the similarity for example, there is a method using the Euclidean distance of a numerical vector representing a feature quantity. Assuming that the feature amount of the query image is f q and the feature amount of the gallery image is f g , the similarity s can be calculated by the formula (2).
  • the degree of similarity takes a value from 0.0 to 1.0, and the larger the value, the higher the degree of similarity.
  • the display order is determined so that, for example, those having a high degree of similarity are preferentially displayed.
  • step S207 the search unit 115 transmits the image received in step S202 and the display order determined in step S206 to the display unit 140.
  • step S208 the display unit displays the search result using the image received in step S207 and the display order.
  • the display is, for example, displayed at the top of the screen in descending order of display order.
  • step S209 the search control unit 112 determines whether the search executor continues or ends the search from the initial request contents and the processing results, and if it determines to continue, proceeds to S201 and determines that the search ends. In that case, the process proceeds to S210.
  • step S210 the search process ends.
  • the camera for acquiring the three-dimensional data is not required in the monitoring area as described above, and the increase in the installation cost of the camera can be suppressed. ..
  • the amount of three-dimensional data is larger than that of an image, it takes time to process. Therefore, when feature extraction is performed using three-dimensional data during the search process, the search accuracy is improved, but the search speed is lowered.
  • this method is used, the feature amount obtained from the three-dimensional data can be reproduced by processing only the image, so that the search accuracy can be improved without causing a decrease in the processing speed.
  • FIG. 5 is a diagram showing an example of an image and three-dimensional data required for the learning process used in the present embodiment. Each item in the figure will be described below.
  • 500 is the luggage to be photographed.
  • 501 is a camera that shoots luggage and generates images and three-dimensional data.
  • this camera one camera capable of acquiring both an image and three-dimensional data such as an RGB-D camera may be used, or both an RGB camera and a depth camera may be used.
  • the 502 is an image that can be acquired when the luggage 500 is photographed by the camera 501.
  • the 503 is three-dimensional data that can be acquired when the luggage 500 is photographed by the camera 501.
  • the method of expressing the three-dimensional data any method such as a point cloud or Voxel that can express spatial information may be used.
  • FIG. 6 is a diagram showing annotation data required for the learning process used in this embodiment. The format of annotation data will be described below.
  • the 600 indicates a data table saved as annotation data. Each item of the image ID, the three-dimensional data ID, and the package ID is associated and stored in the data table.
  • the image ID is an ID assigned to uniquely identify the image. For example, the ID is incremented by 1 each time an image is acquired and assigned.
  • the three-dimensional data ID is an ID assigned to uniquely identify the three-dimensional data. For example, the ID is incremented by 1 each time the three-dimensional data is acquired and assigned.
  • the image and the 3D data do not necessarily have to be acquired at the same time, but it is desirable to have a combination of the image and the 3D data acquired at the closest time possible.
  • the combination is determined.
  • a human may later check the image and the three-dimensional data to determine the combination.
  • the baggage ID is an ID for uniquely identifying the same individual, and is given to the acquired image and three-dimensional data by annotation work.
  • the top two rows represent the same individual image and three-dimensional data.
  • the object search device an example of searching for luggage such as a suitcase will be described.
  • the search target does not have to be a baggage, and may be an object that can be imaged.
  • the image used for the learning process and the search process is tracked by an object in the camera (the same object is captured in a continuous frame in a time series in one camera).
  • a method such as three-dimensional reconstruction in advance (a three-dimensional camera captures the entire object while rotating around the object).
  • one piece of data is obtained by obtaining the data of (1) and reconstructing the three dimensions of the object.
  • Example 1 except that a plurality of images and three-dimensionally reconstructed three-dimensional data are used for each individual during the learning process and the search process.
  • FIG. 7 is a configuration diagram of the object search device 200 according to the second embodiment.
  • a tracking unit 118, a tracking data storage unit 124, and a tracking image feature extraction parameter 125 are added to the object search device of the first embodiment shown in FIG.
  • FIG. 8 shows a functional block diagram of each functional unit of the object search device 200 of the second embodiment controlled by the learning control unit 111 or the search control unit 112.
  • the tracking unit 118 and the tracking data storage unit 124 are added to the functional block diagram of the first embodiment shown in FIG.
  • the tracking unit 118 performs tracking processing (the images detected as capturing the same object are grouped together and given the same tracking ID) to a plurality of input time-series consecutive images. Do.
  • the search process is executed, a plurality of images that are continuous in time series are received from the image / three-dimensional data acquisition unit 113, and the tracking data and the image that are the tracking results are transmitted to the search unit 115.
  • the tracking data storage unit 124 stores tracking data.
  • the tracking data and the image are received from the tracking unit 118.
  • the search process is executed, the tracking data and the image are transmitted to the search unit 115.
  • FIG. 9 shows a flowchart of an example of the tracking process used in the present embodiment.
  • the tracking unit starts the tracking process according to the tracking start instruction of the tracking executor.
  • a tracker is a person or computer that controls tracking.
  • the learning control unit 111 or the search control unit 112 is activated by the operation of the learning executor or the search executor.
  • step S301 a plurality of time-series continuous images for the tracking executor to perform tracking are input to the image / three-dimensional data acquisition unit 113.
  • step S302 the image / three-dimensional data acquisition unit transmits a plurality of consecutive images received in step S301 in time series to the tracking unit 118.
  • the tracking unit 118 performs tracking processing on a plurality of images received in step S302 that are continuous in chronological order.
  • the CNN detector is used to detect the package (tracking object) of each image (the CNN detector performs learning processing in advance.
  • the parameters used for detection in the CNN detector are tracking image feature extraction. It is stored in the parameter 125 for.).
  • the detection result is the type of luggage, the position in the image, and the size.
  • the detection results of images that are adjacent in chronological order the detection results of the same type of luggage are linked with each other that are spatially close to each other.
  • the Euclidean distance of the detection position is used. From the tracking results obtained in this way, a tracking ID that uniquely determines the same individual and a plurality of consecutive images of the individual indicated by the tracking ID in time series are generated as tracking data.
  • step S304 the tracking unit 118 stores the tracking data generated in step S303 in the tracking data storage unit.
  • step S305 the tracker determines whether to continue or end the tracking.
  • step S306 tracking ends.
  • a plurality of images can be obtained in advance for the same individual, and feature extraction can be performed using the plurality of images during the search process.
  • FIG. 10 shows a flowchart of an example of the search process used in this embodiment. This flow is the same as the flow of Example 1 (FIG. 4) except that the tracking process is performed. In the following, only the flow of tracking processing will be described.
  • step S401 the search executor inputs a plurality of time-series continuous images showing the object to be searched to the image / three-dimensional data acquisition unit 113.
  • step S402 the image / three-dimensional data acquisition unit 113 transmits the image received in step S401 to the tracking unit 118.
  • step S403 the tracking unit 118 performs tracking processing on the image received in step S402.
  • step S404 the tracking unit transmits the tracking data obtained as a result of the tracking process performed in step S403 and the image to the search unit 115.
  • step S405 the search unit transmits the tracking data and the image received in step S404 to the image feature extraction unit 116.
  • step S406 the tracking data and the image stored in the tracking data storage unit 124 are transmitted to the image feature extraction unit 116.
  • step S407 the image feature extraction unit 116 extracts features using the tracking data and the image received in steps S405 and S406.
  • 3DCNN is used.
  • 3DCNN is also used for the image feature extraction unit in the learning flow.
  • tracking processing is performed on a plurality of packages in advance, and tracking data and images of those packages are stored in the tracking data storage unit 124.
  • the search process is executed, the images previously stored in the tracking data storage unit 124 are searched as gallery images.
  • FIG. 11 is a diagram showing annotation data required for the learning process used in this embodiment.
  • the format of annotation data will be described below.
  • the 700 indicates a data table saved as annotation data.
  • the image ID, the three-dimensional data ID, the tracking ID, and the package ID are associated and stored in the data table.
  • the image ID, the three-dimensional data ID, and the luggage ID are the same as those of the data table 600 shown in FIG.
  • the tracking ID an ID assigned to uniquely identify the object as the same individual as a result of tracking processing is used.
  • the three-dimensional data one three-dimensional data is created by using, for example, three-dimensional reconstruction. Therefore, one three-dimensional data corresponds to a plurality of images.
  • the learning process can be performed so as to extract the features when the object is viewed from various directions as one feature amount, and the accuracy of the search process is improved. Can be made to.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • Object search device 110 Calculation unit 111 Learning control unit 112 Search control unit 113 Image / three-dimensional data acquisition unit 114 Learning unit 115 Search unit 116 Image feature extraction unit 117 Three-dimensional data feature extraction unit 118 Tracking unit 120 Storage unit 121 Object search Program 122 Image feature extraction parameter 123 Three-dimensional data feature extraction parameter 124 Tracking data storage unit 125 Tracking image feature extraction parameter 130 Input unit 140 Display unit 150 Communication unit 160 Network 171 and 172 Surveillance image database 181, 182 Installed in various locations 200 Camera 200 Object search device 500 of the second embodiment 501 Luggage to be photographed 501 Camera 502 Acquired when the Luggage 500 is photographed by the camera 501 Image 503 Can be acquired when the Luggage 500 is photographed by the camera 501.
  • Original data 600 Data table saved as annotation data 700

Abstract

形状や凹凸に特徴のある物体の検索において、画像のみでそれらの情報を特徴量に表現し、正確な検索を行うことを可能とする物体検索装置を構成することを目的とする。　第一のニューラルネットワークで構成され、画像を入力して画像特徴量を抽出する画像特徴抽出部と、第二のニューラルネットワークで構成され、三次元データを入力して三次元データ特徴量を抽出する三次元データ特徴抽出部と、同一個体から得られた物体の画像と三次元データから、それぞれ画像特徴量と三次元データ特徴量を抽出し、前記画像特徴量と前記三次元データ特徴量との差分を減らすように画像特徴抽出用のパラメータを更新する学習部と、前記更新された画像特徴抽出用のパラメータを使用した画像特徴抽出部が物体のクエリ画像、及びギャラリー画像の画像特徴量を抽出し、両画像の画像特徴量の類似度を算出して物体を検索する検索部とを備えて構成する。

Description

物体検索装置及び物体検索方法
　本発明は、物体検索装置及び物体検索方法に関する。
　類似物体検索の用途として、監視システムがある。例えば検索対象を人物とした場合、人物検索を用いて、監視者の不審者追跡を補助できる。また、例えば検索対象を荷物とした場合、荷物検索を用いて、置き去りにされた荷物や不審な荷物を他所のカメラの画像に映っている荷物から追跡し、所有者を特定できる。このような用途においては、同一人物や同一荷物などの同一個体が検索結果の上位に出現することが好ましく、高精度な検索が求められる。
　本技術分野の背景技術として、特開２００９－２７３９３号公報（特許文献１）がある。該公報には、「１台以上のカメラなどの撮像機器から信号を取得する映像取得部と、映像取得部より取得した入力画像を保持する画像データ部を有する映像監視システムにおいて、入力画像から人物特徴，時間，カメラを指定する条件指定部と、画像データ部に保持した入力画像群から条件指定部で指定した条件に合致する画像を画像認識により検索する画像検索部と、画像検索部の結果を表示する結果表示部を有し、条件指定部にて指定する人物特徴をユーザ指定または人物追跡の方法により複数選択し、条件指定部の検索条件に加える手段を備える。」と記載されている。
特開２００９－２７３９３号公報 特開２０１５－１７６４８４号公報
　監視システムで必要とされるような高精度な検索を行う方法として、特許文献１や特許文献２に記載されている方法がある。特許文献１では、画像を用いた検索方法が提案されている。近年は画像をConvolutional neural network (CNN) に入力して特徴量を抽出し、特徴量の類似度を計算する方法がよく用いられる。この方法では、同一個体について、照明環境や画像内での物体の位置や大きさが異なる様々な画像を用意し、それらの画像に対して類似する特徴量を抽出するようにCNNを学習しておく。この学習によってCNNは様々な画像の変化に対して頑強になり、高精度な検索を行うことができる。また、特許文献２では、三次元モデルを用いた検索方法が提案されている。三次元モデルを用いた検索では、深度情報を含む画像や点群データに対して、ローカルバイナリパターン（ＬＢＰ）などの古典的な特徴抽出やNeural network (NN)を用いて特徴量の抽出を行い、画像と同様にして特徴量の類似度を計算する。三次元モデルを用いることで、画像からは抽出することが困難であった形状や凹凸の特徴を抽出することができ、検索の精度を高めることができる。
　特許文献１に記載の画像を用いた検索や特許文献２に記載の三次元データを用いた検索は、有用である一方で課題が残されている。画像を用いた検索では、物体の立体的な形状や凹凸の情報が画像に含まれていないため、それらの情報を含めて検索を行うことができない。従って、例えば、検索対象に色が似ている一方で、凹凸模様に差がある複数の荷物がある場合、画像を用いた検索では誤った検索結果が出てしまう可能性が高くなる。三次元データを用いた検索では、精度の高い検索を行うために正確な三次元情報が必要である。深度カメラには、撮像対象の正確な三次元データを取得できる距離に制限があり、監視範囲によっては多数の深度カメラが必要になる。これにより、深度カメラの設置コストの問題が生じる。また、三次元データは画像と比較して処理するデータ量が増加するため、特徴抽出に時間がかかる。
　このような課題に対して、本発明は、三次元データから得られる形状や凹凸の情報を含む特徴量を、画像から推定して特徴抽出を行う方法を提案する。本発明を用いれば、形状や凹凸に特徴のある物体の検索において、画像のみでそれらの情報を特徴量に表現し、正確な検索を行うことを可能とする物体検索装置を構成することを目的とする。
　本発明の物体検索装置の好ましい例では、第一のニューラルネットワークで構成され、画像を入力して画像特徴量を抽出する画像特徴抽出部と、第二のニューラルネットワークで構成され、三次元データを入力して三次元データ特徴量を抽出する三次元データ特徴抽出部と、同一個体から得られた物体の画像と三次元データから、それぞれ画像特徴量と三次元データ特徴量を抽出し、前記画像特徴量と前記三次元データ特徴量との差分を減らすように画像特徴抽出用のパラメータを更新する学習部と、前記更新された画像特徴抽出用のパラメータを使用した画像特徴抽出部が物体のクエリ画像、及びギャラリー画像の画像特徴量を抽出し、両画像の画像特徴量の類似度を算出して物体を検索する検索部と、を備えて構成する。
　また、本発明の他の特徴として、前記物体検索装置において、第三のニューラルネットワークで構成され、時系列的に連続する複数の画像を入力して、各画像の検出結果より同種の物体を空間的に距離が近いもの同士で結びつけて、同一個体の時系列的に連続する複数の画像を追跡データとして生成する追跡部と、前記追跡部が生成した追跡データを記憶する追跡データ蓄積部とを更に備え、前記検索部が、前記追跡部、及び前記追跡データ蓄積部から得られる追跡データ、及び画像を用いて物体検索を行う。
　また、本発明の物体検索方法の好ましい例では、同一個体から得られた物体の画像と三次元データを入力して、前記画像を第一のニューラルネットワークにより画像特徴量を抽出し、前記三次元データを第二のニューラルネットワークにより三次元データ特徴量を抽出し、前記画像特徴量と前記三次元データ特徴量との差分を減らすように画像特徴抽出用のパラメータを更新する学習処理を行いし、前記更新された画像特徴抽出用のパラメータを使用した画像特徴抽出部前記第一のニューラルネットワークが物体のクエリ画像、及びギャラリー画像の各画像特徴量を抽出し、両画像の画像特徴量の類似度を算出して物体を検索することを特徴とする。
　また、本発明の他の特徴として、前記物体検索方法において、前記画像特徴抽出用のパラメータは、前記第一のニューラルネットワークを構成する各ニューロンのウエイトとバイアスである。
　本発明によれば、画像のみから形状や凹凸などの三次元情報を特徴量として表現する、高精度な物体検索装置を提供することができる。また、検索時には三次元データを扱う必要がなく、深度カメラの設置コストの問題や、特徴抽出の処理時間の問題が生じない効果がある。それ以外の効果については、各実施例で述べる。
実施例１における物体検索装置の構成図である。 物体検索装置の学習制御部、または検索制御部により制御される各機能部の機能ブロック図である。 実施例１における学習処理の一例のフローチャートである。 実施例１における検索処理の一例のフローチャートである。 本実施例で用いられる学習処理に必要な画像及び三次元データの例を示す図である。 実施例１で用いられる学習処理に必要なアノテーションデータを示す図である。 実施例２における物体検索装置の構成図である。 実施例２の物体検索装置の学習制御部、または検索制御部により制御される各機能部の機能ブロック図である。 実施例２で用いられる追跡処理の一例のフローチャートである。 実施例２で用いられる検索処理の一例のフローチャートである。 実施例２で用いられる学習処理に必要なアノテーションデータを示す図である。
　以下、本発明の実施形態を、図面を用いて説明する。
　本実施形態では、物体検索装置の一例として、スーツケースなどの荷物の検索を行う例を説明する。なお、検索対象は荷物である必要はなく、撮像可能な物体であればよい。
　図１は、本実施例による物体検索装置の構成図である。
  物体検索装置１００は、汎用の計算機上に構成することができて、そのハードウェア構成は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などにより構成される演算部１１０、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどを用いたＳＳＤ（Solid State Drive）などにより構成される記憶部１２０、キーボードやマウス等の入力デバイスより構成される入力部１３０、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイなどの表示装置により構成される表示部１４０、ＮＩＣ（Network Interface Card）などにより構成される通信部１５０、などを備える。
  通信部１５０は、ネットワーク１６０を介して外部の監視システムと共用される監視画像データベース_Ａ１７１、監視画像データベース_Ｚ１７２、および各所に設置されたカメラ１８１、１８２と接続されている。
　演算部１１０は、記憶部１２０に記憶されている物体検索プログラム１２１をＲＡＭへロードしてＣＰＵで実行することにより以下の各機能部を実現する。演算部１１０は、学習制御部１１１、検索制御部１１２、画像・三次元データ取得部１１３、学習部１１４、検索部１１５、画像特徴抽出部１１６、および三次元データ特徴抽出部１１７を有する。
　学習制御部１１１は、学習実行者（学習を制御する人間あるいはコンピュータ）の指示により起動され、学習実行者が要求する学習処理を実行するため、以下の各機能部を制御する。
　検索制御部１１２は、検索実行者（検索を行う人間あるいはコンピュータ）の指示により起動され、検索実行者が要求する検索処理を実行するため、以下の各機能部を制御する。
　図２は、学習制御部１１１、または検索制御部１１２により制御される各機能部の機能ブロック図を示す。
  画像・三次元データ取得部１１３は、学習処理、もしくは検索処理を実行する際にデータの入出力を処理する。学習処理の実行時には、学習実行者から学習処理に用いる画像、三次元データ、及びアノテーションデータを受け付け、または学習実行者が要求する画像、三次元データを外部から取得して、それらのデータを学習部１１４に送信する。ここで、アノテーションデータとは、学習を行うための正解データのことである。
  検索処理の実行時には、検索実行者からクエリ画像とギャラリー画像を受け付け、または検索実行者が要求するクエリ画像とギャラリー画像のいずれも、またはいずれかの画像を外部から取得して、それらの画像を検索部１１５に送信する。ここで、クエリ画像とは、検索対象の荷物が映った画像のことであり、ギャラリー画像とは、クエリ画像をもとにして検索対象の荷物と同一個体の荷物が映った画像を探すために比較される画像のことである。
　学習部１１４は、画像特徴抽出部１１６や三次元データ特徴抽出部１１７が特徴を抽出する際に使用するパラメータ（ニューラルネットワークを構成する各ニューロンのウエイトとバイアス）を学習により更新する。学習の実行時には、画像・三次元データ取得部１１３から学習に用いる画像、三次元データ、及びアノテーションデータを受信する。受信した画像は、画像特徴抽出部１１６に送信し、画像特徴抽出部１１６が抽出した特徴量を受信する。受信した三次元データは、三次元データ特徴抽出部１１７に送信し、三次元データ特徴抽出部１１７が抽出した特徴量を受信する。また、画像特徴抽出部１１６、及び三次元データ特徴抽出部１１７から特徴抽出用のパラメータを受信し、更新したパラメータを画像特徴抽出部１１６、及び三次元データ特徴抽出部１１７に送信する。
　検索部１１５は、検索のための入出力処理や計算、表示管理を行う。検索の実行時には、画像・三次元データ取得部１１３から検索に用いるクエリ画像とギャラリー画像を受信し、それらの画像を画像特徴抽出部１１６に送信する。また、画像特徴抽出部１１６から特徴量を受信し、特徴量により算出した検索結果を表示部１４０に送信する。
　表示部１４０は、検索結果の表示を行う。検索の実行時には、検索部１１５からクエリ画像、ギャラリー画像、及び表示順を取得し、表示順に従って画像を表示する。
　画像特徴抽出部１１６は、画像から類似度計算に必要な特徴量を抽出する。学習の実行時には、学習部１１４から画像を受信し、抽出した特徴量を学習部１１４に送信する。また、特徴抽出用のパラメータを学習部１１４に送信し、更新されたパラメータを学習部１１４から受信する。検索の実行時には、検索部１１５から画像を受信し、抽出した特徴量を検索部１１５に送信する。
　三次元データ特徴抽出部１１７は、三次元データから類似度計算に必要な特徴量を抽出する。学習の実行時には、学習部１１４から三次元データを受信し、抽出した特徴量を学習部１１４に送信する。また、特徴抽出用のパラメータを学習部１１４に送信し、更新された特徴量を学習部１１４から受信する。
　記憶部１２０の画像特徴抽出用パラメータ１２２に、画像特徴抽出部１１６が画像の特徴を抽出する際に使用するパラメータ（ニューラルネットワークを構成する各ニューロンのウエイトとバイアス）を記憶する。
　記憶部１２０の三次元データ特徴抽出用パラメータ１２３に、三次元データ特徴抽出部１１７が三次元データの特徴を抽出する際に使用するパラメータ（ニューラルネットワークを構成する各ニューロンのウエイトとバイアス）を記憶する。
　図３は、本実施形態で用いられる学習処理の一例のフローチャートを示す。
  ステップＳ１００では、学習実行者の学習開始操作により学習制御部１１１が起動して、学習処理を開始する。
　ステップＳ１０１では、学習実行者が学習に必要な画像、三次元データ、及びアノテーションデータを画像・三次元データ取得部に入力する。ここで、画像が色情報を含む場合には、三次元データも色情報を含むものを使用する。
　ステップＳ１０２では、画像・三次元データ取得部がステップＳ１０１で受信した画像、三次元データ、及びアノテーションデータを学習部１１４に送信する。
　ステップＳ１０３では、学習部がステップＳ１０２で受信した画像を画像特徴抽出部１１６に送信する。
　ステップＳ１０４では、画像特徴抽出部１１６がステップＳ１０３で受信した画像に対して特徴抽出を行う。特徴抽出には、例えばCNNを用いる。CNNは画像を入力として受け付け、特徴量となる数値ベクトルに変換して出力する。この変換は、CNNが保持しているパラメータ（画像特徴抽出用パラメータ１２２を使用する）を用いて畳み込み演算を繰り返すことで行われる。パラメータは任意の値に初期設定可能であり、学習によりパラメータの値は更新される。
　ステップＳ１０５では、画像特徴抽出部がステップＳ１０４で抽出した特徴量と特徴抽出に用いたパラメータ（画像特徴抽出用パラメータ１２２）を学習部１１４に送信する。
　ステップＳ１０６では、学習部１１４がステップＳ１０５で受信した画像特徴量、及び画像特徴抽出用のパラメータを記憶する。
　ステップＳ１０７では、学習部がステップＳ１０２で受信した三次元データを三次元データ特徴抽出部１１７に送信する。
　ステップＳ１０８では、三次元データ特徴抽出部１１７がステップＳ１０７で受信した三次元データに対して特徴抽出を行う。特徴抽出には、例えば三次元データ用のNeural network (NN)を使う。例えば、ポイントネットなど。三次元データ用のNNは三次元データを入力として受け付け、特徴量となる数値ベクトルに変換して出力する。この変換は、三次元データ用のNNが保持しているパラメータ（三次元データ特徴抽出用パラメータ１２３を使用する）を用いて三次元データを線形変換し、非線形関数に入力する処理を繰り返すことで行われる。パラメータは任意の値に初期設定可能であり、学習によりパラメータの値は更新される。
　ステップＳ１０９では、三次元データ特徴抽出部１１７がステップＳ１０８で抽出した特徴量と特徴抽出に用いたパラメータ（三次元データ特徴抽出用パラメータ１２３）を学習部に送信する。
　ステップＳ１１０では、学習部１１４がステップＳ１０９で受信した三次元データ特徴量、及び三次元データ特徴抽出用のパラメータを記憶する。
　ステップＳ１１１では、学習部１１４がステップＳ１０６で記憶した画像特徴量、及び画像特徴抽出用パラメータと、ステップＳ１１０で記憶した三次元データ特徴量、及び三次元データ特徴抽出用パラメータを用いて、パラメータの更新作業を行う。パラメータの更新には、例えば確率的勾配降下法を用いる。
　確率的勾配降下法には目的関数が必要であり、画像特徴抽出用のパラメータ更新に用いる目的関数Ｅimageは、例えば同一個体の画像特徴量fimageと、三次元データ特徴量f3dを用いて数式(１)のように計算する。
Figure JPOXMLDOC01-appb-M000001
　これは、画像特徴量fimageと、三次元データ特徴量f3dの二乗誤差となる。目的関数Ｅimageを最小化する方向に画像特徴抽出用のパラメータを更新する。複数の個体について目的関数を計算する場合は、例えばＥimageを複数の個体について計算し、平均をとる、平均二乗誤差を用いることができる。
　三次元データ特徴量抽出用のパラメータ更新に用いる目的関数Ｅ3d は、例えば個体識別によるSoftmax cross-entropyを用いる。目的関数Ｅ3dを最小化する方向に三次元データ特徴量抽出用のパラメータを更新する。複数の個体について目的関数を計算する場合は、例えばＥ3dを複数の個体について計算し、平均をとる。
　ステップＳ１１２では、学習部１１４がステップＳ１１１で計算したパラメータの更新値を画像特徴抽出部１１６、及び三次元データ特徴抽出部１１７に送信する。
　ステップＳ１１３では、画像特徴抽出部１１６、及び三次元データ特徴抽出部１１７がステップＳ１１２で受信したパラメータ更新値を用いてそれぞれの特徴抽出用パラメータ（画像特徴抽出用パラメータ１２２、三次元データ特徴抽出用パラメータ１２３）を更新する。
　ステップＳ１１４では、学習制御部１１１が、学習実行者が学習を続行するか終了するかを当初の依頼内容、処理実績から判定して、続行すると判定した場合はＳ１０１へ移行し、終了すると判定した場合はＳ１１５へ移行する。
　ステップＳ１１５では、学習処理を終了する。
　本実施形態に示すように、学習処理によって、三次元データ特徴抽出部が同一個体に対して類似するような特徴量を抽出できるようにしておき、画像特徴抽出部が三次元データ特徴抽出部が出力する特徴量に近い特徴量を抽出できるようにしておくことで、三次元データ特徴抽出部が出力するような特徴量を画像特徴抽出部が画像から抽出できるようになる。これにより、検索時における画像の特徴抽出において、三次元の構造を考慮した類似特徴量の抽出を行えるようになる。この特徴量を用いると、形状に特徴があるような物体の検索に対して精度を向上させることができる。また、三次元データを用いた検索を行う場合には、一般的に監視エリア全域にRGBカメラと深度カメラの両方、あるいはRGB-Dカメラを設置する必要があり、設置のコストが大きくなる。しかし、本手法を用いれば、学習時にのみ三次元データを用意すればよく、カメラ設置のコスト増加を抑えることができる。
　本フローにおける、画像特徴量抽出用のパラメータと三次元データ特徴量抽出用のパラメータの学習のタイミングについては、それぞれのパラメータを同時に学習しても良いし、先に三次元データ特徴量抽出用のパラメータを学習しておき、後から画像特徴量抽出用のパラメータを学習させてもよい。
　本実施形態では同一個体の検索についての方法を説明しているが、本手法は同一個体の検索だけでなく、物体識別や物体検出についても用いることができ、精度を高めることができる。
　図４は、本実施形態で用いられる検索処理の一例のフローチャートを示す。
  ステップＳ２００では、検索実行者の検索開始操作により検索制御部１１２が起動して、検索処理を開始する。
　ステップＳ２０１では、検索実行者が検索処理に必要なクエリ画像、及びギャラリー画像を画像・三次元データ取得部１１３に入力する。または、検索制御部１１２が検索実行者の要求に従い、各所に設置されたカメラ１８１、１８２、または外部の監視画像データベース１７１、１７２などから、検索処理に必要なクエリ画像、及びギャラリー画像を画像・三次元データ取得部に取得させる。
　ステップＳ２０２では、画像・三次元データ取得部１１３がステップＳ２０１で受信した画像を検索部１１５に送信する。
　ステップＳ２０３では、検索部１１５がステップＳ２０２で受信した画像を画像特徴抽出部１１６に送信する。
　ステップＳ２０４では、画像特徴抽出部がステップＳ２０３で受信した画像に対して特徴抽出を行う。特徴抽出の方法は、学習処理フローにおけるステップＳ１０４で用いた方法と同様の方法を用いる。学習処理において、色情報を含む画像と色情報を含む三次元データ用いて学習を行った場合には、色情報を含む画像に対して特徴抽出を行うことができる。
　ステップＳ２０５では、画像特徴抽出部１１６がステップＳ２０４で抽出した特徴量を検索部１１５に送信する。
　ステップＳ２０６では、検索部１１５がステップＳ２０５で受信した特徴量を用いて検索結果の表示順を決定する。特徴量を用いて表示順を決定する場合、特徴量の類似度を計算する必要がある。類似度の計算には、例えば特徴量を表す数値ベクトルのユークリッド距離を用いる方法がある。クエリ画像の特徴量をfｑとし、ギャラリー画像の特徴量をfｇとすると、類似度ｓは数式(２)のように計算できる。
Figure JPOXMLDOC01-appb-M000002
  類似度は0.0から1.0の値をとり、大きい程、類似度が高いことを示す。表示順は、例えば類似度が高いものを優先的に表示するように決定する。
　ステップＳ２０７では、検索部１１５がステップＳ２０２で受信した画像と、ステップＳ２０６で決定した表示順を表示部１４０に送信する。
　ステップＳ２０８では、表示部がステップＳ２０７で受信した画像と表示順を用いて、検索結果を表示する。表示には、例えば表示順の高いものから順に画面の上部に表示する。
　ステップＳ２０９では、検索制御部１１２が、検索実行者が検索を続行するか終了するかを当初の依頼内容、処理実績から判定して、続行すると判定した場合はＳ２０１へ移行し、終了すると判定した場合はＳ２１０へ移行する。
　ステップＳ２１０では、検索処理を終了する。
　本実施形態に示すように、検索処理時に画像の特徴量のみを用いることで、前記したように監視エリアに三次元データ取得用のカメラが必要なくなり、カメラの設置コストの増加を抑えることができる。また、三次元データは画像と比較してデータ量が多くなるため、処理に時間がかかる。このため、検索処理時に三次元データを用いて特徴抽出を行った場合、検索精度が向上する一方で、検索速度が低下する欠点がある。しかし、本手法を用いれば、画像のみの処理で三次元データから得られる特徴量を再現できるため、処理速度の低下を発生させずに検索精度を向上させることができる。
　図５は、本実施形態で用いられる学習処理に必要な画像及び三次元データの例を示す図である。以下で、図内の各項目を説明する。
　５００は、撮影対象の荷物である。
　５０１は、荷物を撮影するカメラであり、画像及び三次元データを生成する。このカメラには、RGB-Dカメラのように画像と三次元データの両方を取得できる一つのカメラを用いてもよいし、RGBカメラと深度カメラの両方を用いてもよい。
　５０２は、荷物５００をカメラ５０１で撮影したときに取得できる画像である。
　５０３は、荷物５００をカメラ５０１で撮影したときに取得できる三次元データである。三次元データの表現方法については、点群やVoxelなど、空間情報を表現できるものであればいかなるものを用いても構わない。
　図６は、本実施形態で用いられる学習処理に必要なアノテーションデータを示す図である。以下でアノテーションデータの形式について説明する。
　６００はアノテーションデータとして保存されるデータテーブルを示す。データテーブルには画像ID、三次元データID、及び荷物IDの各項目が対応付けられて保存されている。画像IDは画像を一意に識別するために付与されたIDであり、例えば画像を取得する毎にIDを1ずつ増加させて付与する。三次元データIDは三次元データを一意に識別するために付与されたIDであり、例えば三次元データを取得する毎にIDを1ずつ増加させて付与する。画像と三次元データは必ずしも同一時刻に取得する必要はないが、なるべく近い時刻に取得した画像と三次元データの組み合わせがあることが望ましい。組み合わせの決め方については、例えば近い時刻に取得した同一個体の画像と三次元データについて、取得したときにコンピュータが画像IDと三次元データIDに同一のIDを割り振ることで、組み合わせを決定してもよいし、後から人間が画像と三次元データを確認して、組み合わせを決定してもよい。荷物IDは、同一個体を一意に識別するためのIDであり、取得した画像、及び三次元データに対して、アノテーション作業により付与する。データテーブル６００では、上から二行が同一個体の画像、及び三次元データであることを表している。
　本実施形態に示すようなアノテーションデータを用いて学習を行うことで、学習時に、画像から抽出する特徴量と三次元データから抽出する特徴量を紐づけることができる。この紐づけを用いて、図３に示す学習処理フローで学習することにより、本手法を実現できる。
　本実施形態では、物体検索装置の一例として、スーツケースなどの荷物の検索を行う例を説明する。なお、検索対象は荷物である必要はなく、撮像可能な物体であればよい。実施例１に対して本実施形態は、学習処理、及び検索処理に用いる画像については、カメラ内での物体追跡（１つのカメラ内で時系列的に連続したフレーム内に同一物体を捕らえる）により、予め複数の画像について同一個体であることが分かっており、学習に用いる三次元データについては、予め三次元再構成などの方法（三次元カメラで対象物の周りを回りながら捉えて対象物全体のデータを得て対象物の三次元を再構成すること）により、一つのデータになっている例である。学習処理、及び検索処理時の各個体について、複数の画像、及び三次元再構成された三次元データを使う以外の点については、実施例１と同様である。
　図７は、実施例２における物体検索装置２００の構成図である。図１に示す実施例１の物体検索装置に、追跡部１１８、追跡データ蓄積部１２４、及び追跡画像特徴抽出用パラメータ１２５を追加した構成となる。
　図８は、学習制御部１１１、または検索制御部１１２により制御される実施例２の物体検索装置２００の各機能部の機能ブロック図を示す。図２に示す実施例１の機能ブロック図に、追跡部１１８、及び追跡データ蓄積部１２４を追加した構成となる。
　追跡部１１８は、入力された時系列的に連続する複数の画像に対して追跡処理（同一の対象物を捕らえていると検出された画像を一まとめにして同一の追跡IDを付与する）を行う。検索処理の実行時には、画像・三次元データ取得部１１３から時系列的に連続する複数の画像を受信し、追跡した結果である追跡データと画像を検索部１１５に送信する。
　追跡データ蓄積部１２４は、追跡データの蓄積を行う。追跡の実行時には、追跡部１１８から追跡データ、及び画像を受信する。検索処理の実行時には、検索部１１５に追跡データ、及び画像を送信する。
　図９は、本実施形態で用いられる追跡処理の一例のフローチャートを示す。
  ステップＳ３００では、追跡実行者の追跡開始指示により追跡部が追跡処理を開始する。追跡実行者とは、追跡を制御する人間あるいはコンピュータのことである。本実施例では、学習実行者、または検索実行者の操作により起動された学習制御部１１１、または検索制御部１１２になる。
　ステップＳ３０１では、追跡実行者が追跡を行うための時系列的に連続する複数の画像を画像・三次元データ取得部１１３に入力する。
　ステップＳ３０２では、画像・三次元データ取得部がステップＳ３０１で受信した時系列的に連続する複数の画像を追跡部１１８に送信する。
　ステップＳ３０３では、追跡部１１８がステップＳ３０２で受信した時系列的に連続する複数の画像に対して追跡処理を実施する。追跡処理には、例えば次のような処理手順を踏む。まずCNN検出器を用いて各画像の荷物（追跡対象物）の検出を行う（CNN検出器は事前に学習処理を実施しておく。CNN検出器において検出に使用されるパラメータは追跡画像特徴抽出用パラメータ１２５に記憶される。）。検出結果は、荷物の種類と画像内における位置、及び大きさになる。次に時系列的に隣接する画像の検出結果について、同種類の荷物の検出結果を空間的に距離が近いもの同士で結びつける。距離の計算には、例えば検出の位置のユークリッド距離を用いる。このようにして得られる追跡結果から、同一個体を一意に決める追跡IDとその追跡IDが示す個体の時系列的に連続する複数の画像を追跡データとして生成する。
　ステップＳ３０４では、追跡部１１８がステップＳ３０３で生成した追跡データを追跡データ蓄積部に保存する。
　ステップＳ３０５では、追跡実行者が追跡を続行するか終了するかを決定する。
  ステップＳ３０６では、追跡を終了する。
　本実施形態に示すような追跡処理を実施することで、予め同一個体に対して複数の画像が得られ、検索処理時に複数の画像を用いて特徴抽出を行えるようになる。
　図１０は、本実施形態で用いられる検索処理の一例のフローチャートを示す。本フローは追跡処理を行う以外は実施例１のフロー(図４)と同様である。以下では追跡処理のフローのみを説明する。
　ステップＳ４０１では、検索実行者が検索対象となる物体が映る時系列的に連続した複数の画像を画像・三次元データ取得部１１３に入力する。
　ステップＳ４０２では、画像・三次元データ取得部１１３がステップＳ４０１で受信した画像を追跡部１１８に送信する。
　ステップＳ４０３では、追跡部１１８がステップＳ４０２で受信した画像に対して追跡処理を行う。
　ステップＳ４０４では、追跡部がステップＳ４０３で行った追跡処理の結果得られる追跡データ、及び画像を検索部１１５に送信する。
　ステップＳ４０５では、検索部がステップＳ４０４で受信した追跡データ、及び画像を画像特徴抽出部１１６に送信する。
　ステップＳ４０６では、追跡データ蓄積部１２４に保存した追跡データ、及び画像を画像特徴抽出部１１６に送信する。
　ステップＳ４０７では、画像特徴抽出部１１６がステップＳ４０５、及びステップＳ４０６で受信した追跡データ、及び画像を用いて特徴抽出を行う。同一個体の複数の画像から特徴量を抽出するには、例えば3DCNNを用いる。この場合、学習フローにおける画像特徴抽出部についても、3DCNNを用いる。
　本フローでは予め複数の荷物について追跡処理を実施し、追跡データ蓄積部１２４にそれらの荷物の追跡データ、及び画像を保存しておく。検索処理の実行時には、それらの事前に追跡データ蓄積部１２４に保存された画像をギャラリー画像として検索を行う。
　本実施形態に示すように、検索処理の実行時に追跡処理を実施することで、同一個体に対して様々な方向から撮影した複数の画像が得られる。これら複数視点の画像を特徴抽出の際に用いることで、三次元データから得られる特徴量を再現しやすくなり、精度を向上させることができる。
　図１１は、本実施形態で用いられる学習処理に必要なアノテーションデータを示す図である。以下でアノテーションデータの形式について説明する。
　７００はアノテーションデータとして保存されるデータテーブルを示す。データテーブルには画像ID、三次元データID、追跡ID、及び荷物IDが対応付けられて保存されている。画像ID、三次元データID、荷物IDについては、図６に示すデータテーブル６００と同様である。追跡IDには、物体を追跡処理した結果、同一個体として一意に識別するために割り当てられたIDを用いる。三次元データは、例えば三次元再構成を用いて一つの三次元データを作成しておく。従って複数の画像に対して一つの三次元データが対応する。
　本実施例に示すようなアノテーションデータを用いて学習処理を行うことで、物体を様々な方向から見た場合の特徴を一つの特徴量として抽出するように学習処理でき、検索処理の精度を向上させることができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１００　物体検索装置
１１０　演算部
１１１　学習制御部
１１２　検索制御部
１１３　画像・三次元データ取得部
１１４　学習部
１１５　検索部
１１６　画像特徴抽出部
１１７　三次元データ特徴抽出部
１１８　追跡部
１２０　記憶部
１２１　物体検索プログラム
１２２　画像特徴抽出用パラメータ
１２３　三次元データ特徴抽出用パラメータ
１２４　追跡データ蓄積部
１２５　追跡画像特徴抽出用パラメータ
１３０　入力部
１４０　表示部
１５０　通信部
１６０　ネットワーク
１７１、１７２　監視画像データベース
１８１、１８２　各所に設置されたカメラ
２００　実施例２の物体検索装置
５００　撮影対象の荷物
５０１　荷物を撮影するカメラ
５０２　荷物５００をカメラ５０１で撮影したときに取得できる画像
５０３　荷物５００をカメラ５０１で撮影したときに取得できる三次元データ
６００　アノテーションデータとして保存されるデータテーブル
７００　実施例２のアノテーションデータとして保存されるデータテーブル

Claims (11)

  1. 　第一のニューラルネットワークで構成され、画像を入力して画像特徴量を抽出する画像特徴抽出部と、
    　第二のニューラルネットワークで構成され、三次元データを入力して三次元データ特徴量を抽出する三次元データ特徴抽出部と、
    　同一個体から得られた物体の画像と三次元データから、それぞれ画像特徴量と三次元データ特徴量を抽出し、前記画像特徴量と前記三次元データ特徴量との差分を減らすように画像特徴抽出用のパラメータを更新する学習部と、
    　前記更新された画像特徴抽出用のパラメータを使用した画像特徴抽出部が物体のクエリ画像、及びギャラリー画像の画像特徴量を抽出し、両画像の画像特徴量の類似度を算出して物体を検索する検索部と、
    を備えたことを特徴とする物体検索装置。
  2. 　前記学習部は、学習に使用する物体の画像、三次元データ、及びアノテーションデータを受付けて、アノテーションデータにより同一個体から得られた画像と三次元データの対応付けを識別することを特徴とする請求項１に記載の物体検索装置。
  3. 　前記学習部は、アノテーションデータにより同一個体から得られたと識別した画像と三次元データからそれぞれ画像特徴量と三次元データ特徴量を抽出し、抽出された画像特徴量と三次元データ特徴量により画像特徴抽出用のパラメータ、及び三次元データ特徴抽出用のパラメータを更新することを特徴とする請求項２に記載の物体検索装置。
  4. 　前記画像特徴抽出用のパラメータ、及び前記三次元データ特徴抽出用のパラメータは、それぞれ第一、または第二のニューラルネットワークを構成する各ニューロンのウエイトとバイアスであることを特徴とする請求項３に記載の物体検索装置。
  5. 　前記検索部は、物体のクエリ画像、及び複数のギャラリー画像の画像特徴量を抽出し、各画像の画像特徴量によりクエリ画像と各ギャラリー画像との類似度を算出し、類似度が高い順にギャラリー画像を表示部に表示させることを特徴とする請求項１に記載の物体検索装置。
  6. 　前記学習部は、色情報を含む画像と色情報を含む三次元データを用いてそれぞれ画像特徴量と三次元データ特徴量を抽出して、画像特徴抽出用のパラメータを更新し、
    　前記検索部は、色情報を含む物体のクエリ画像、及びギャラリー画像の画像特徴量を抽出し、両画像の画像特徴量の類似度を算出して検索することを特徴とする請求項１に記載の物体検索装置。
  7. 　第三のニューラルネットワークで構成され、時系列的に連続する複数の画像を入力して、各画像の検出結果より同種の物体を空間的に距離が近いもの同士で結びつけて、同一個体の時系列的に連続する複数の画像を追跡データとして生成する追跡部と、
    　前記追跡部が生成した追跡データを記憶する追跡データ蓄積部とを更に備え、
    　前記検索部が、前記追跡部、及び前記追跡データ蓄積部から得られる追跡データ、及び画像を用いて物体検索を行うことを特徴とする請求項１に記載の物体検索装置。
  8. 　前記学習部は、前記追跡部から得られる同一個体の複数枚の画像を含む追跡データと、三次元再構成により得られる一つの三次元データを対応付けたアノテーションデータを用いて学習処理を行うことを特徴とする請求項７に記載の物体検索装置。
  9. 　同一個体から得られた物体の画像と三次元データを入力して、前記画像を第一のニューラルネットワークにより画像特徴量を抽出し、前記三次元データを第二のニューラルネットワークにより三次元データ特徴量を抽出し、前記画像特徴量と前記三次元データ特徴量との差分を減らすように画像特徴抽出用のパラメータを更新する学習処理を行い、
    　前記更新された画像特徴抽出用のパラメータを使用した前記第一のニューラルネットワークが物体のクエリ画像、及びギャラリー画像の各画像特徴量を抽出し、両画像の画像特徴量の類似度を算出して物体を検索することを特徴とする物体検索方法。
  10. 　前記画像特徴抽出用のパラメータは、前記第一のニューラルネットワークを構成する各ニューロンのウエイトとバイアスであることを特徴とする請求項９に記載の物体検索方法。
  11. 　時系列的に連続する複数の画像を第三のニューラルネットワークへ入力して、各画像の検出結果より同種の物体を空間的に距離が近いもの同士で結びつけて、同一個体の時系列的に連続する複数の画像を追跡データとして生成し、
    　前記追跡データとして纏められた同一個体の時系列的に連続する複数の画像と、該当個体の複数の三次元データを三次元再構成により得られた一つの三次元データとを入力して、前記追跡データとして纏められた同一個体の時系列的に連続する複数の画像を第一のニューラルネットワークにより画像特徴量を抽出し、前記三次元再構成により得られた一つの三次元データを第二のニューラルネットワークにより三次元データ特徴量を抽出し、前記画像特徴量と前記三次元データ特徴量との差分を減らすように画像特徴抽出用のパラメータを更新する学習処理を行い、
    　物体のクエリ画像、及びギャラリー画像として、それぞれ同一個体の時系列的に連続する複数の画像を纏めた追跡データを入力して、物体を検索することを特徴とする請求項９に記載の物体検索方法。
PCT/JP2020/038659 2019-12-24 2020-10-13 物体検索装置及び物体検索方法 WO2021131248A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/784,472 US20230005268A1 (en) 2019-12-24 2020-10-10 Object search device and object search method
EP20905155.6A EP4083906A4 (en) 2019-12-24 2020-10-13 OBJECT SEARCH APPARATUS AND OBJECT SEARCH METHOD
CN202080076434.3A CN114641795A (zh) 2019-12-24 2020-10-13 物体检索装置及物体检索方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019232512A JP7196058B2 (ja) 2019-12-24 2019-12-24 物体検索装置及び物体検索方法
JP2019-232512 2019-12-24

Publications (1)

Publication Number Publication Date
WO2021131248A1 true WO2021131248A1 (ja) 2021-07-01

Family

ID=76574258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038659 WO2021131248A1 (ja) 2019-12-24 2020-10-13 物体検索装置及び物体検索方法

Country Status (5)

Country Link
US (1) US20230005268A1 (ja)
EP (1) EP4083906A4 (ja)
JP (1) JP7196058B2 (ja)
CN (1) CN114641795A (ja)
WO (1) WO2021131248A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020255227A1 (ja) * 2019-06-17 2020-12-24 日本電信電話株式会社 学習装置、検索装置、学習方法、検索方法、学習プログラム、及び検索プログラム
US11868443B1 (en) * 2021-05-12 2024-01-09 Amazon Technologies, Inc. System for training neural network using ordered classes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179338A1 (ja) * 2017-03-31 2018-10-04 三菱電機株式会社 機械学習装置及び画像認識装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308350B2 (en) * 2016-11-07 2022-04-19 Qualcomm Incorporated Deep cross-correlation learning for object tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179338A1 (ja) * 2017-03-31 2018-10-04 三菱電機株式会社 機械学習装置及び画像認識装置

Also Published As

Publication number Publication date
US20230005268A1 (en) 2023-01-05
CN114641795A (zh) 2022-06-17
EP4083906A1 (en) 2022-11-02
JP7196058B2 (ja) 2022-12-26
JP2021101274A (ja) 2021-07-08
EP4083906A4 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
US10650042B2 (en) Image retrieval with deep local feature descriptors and attention-based keypoint descriptors
JP6428266B2 (ja) 色補正装置、色補正方法および色補正用プログラム
CN108875522A (zh) 人脸聚类方法、装置和系统及存储介质
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
GB2528669A (en) Image Analysis Method
CN108229347A (zh) 用于人识别的拟吉布斯结构采样的深层置换的方法和装置
JP2019145174A (ja) 画像処理システム、画像処理方法及びプログラム記憶媒体
CN110009614A (zh) 用于输出信息的方法和装置
WO2021131248A1 (ja) 物体検索装置及び物体検索方法
US11734338B2 (en) Image search in walkthrough videos
JP6503079B2 (ja) 特定人物検知システム、特定人物検知方法および検知装置
WO2015064292A1 (ja) 画像の特徴量に関する処理システム、処理方法及びプログラム
CN110516731A (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
JP2019165658A (ja) 植物生育指標測定装置、方法およびプログラム
JP7225731B2 (ja) 多変数データシーケンスの画像化
KR20230049969A (ko) 글로벌 측위 장치 및 방법
JP2014203133A (ja) 画像処理装置、画像処理方法
US11127158B2 (en) Image indexing and retrieval using local image patches for object three-dimensional pose estimation
Dubey Efficient content based image retrieval (CBIR) techniques: a survey
JP2019204183A (ja) 情報処理装置、撮像装置、情報処理方法
Suvarna et al. Enhancing Crop Health by Identifying Leaf Disease with High Accuracy Using CNN
Ching et al. Understanding the Amazon from space
CN113256600B (zh) 基于人工智能的相机灰尘检测方法、装置及电子设备
Iyshwarya Ratthi et al. Soft Biometric Based Person Retrieval for Burglary Investigation
JP2023183956A (ja) 学習プログラム、推論プログラム、学習方法および推論方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20905155

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020905155

Country of ref document: EP

Effective date: 20220725