WO2020036124A1 - 物体認識装置、物体認識学習装置、方法、及びプログラム - Google Patents

物体認識装置、物体認識学習装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020036124A1
WO2020036124A1 PCT/JP2019/031469 JP2019031469W WO2020036124A1 WO 2020036124 A1 WO2020036124 A1 WO 2020036124A1 JP 2019031469 W JP2019031469 W JP 2019031469W WO 2020036124 A1 WO2020036124 A1 WO 2020036124A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
resolution image
feature
layer
Prior art date
Application number
PCT/JP2019/031469
Other languages
English (en)
French (fr)
Inventor
之人 渡邉
島村　潤
淳 嵯峨田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/268,293 priority Critical patent/US11928790B2/en
Publication of WO2020036124A1 publication Critical patent/WO2020036124A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Definitions

  • the present invention relates to an object recognition device, an object recognition learning device, a method, and a program, and particularly to an object recognition device, an object recognition learning device, a method, and a program for recognizing an object included in an image.
  • Non-Patent Document 1 a feature vector is extracted from an image using a convolutional neural network (CNN: Convolutional @ Neural @ Network).
  • CNN Convolutional @ Neural @ Network
  • An inner product of the feature amount vectors is calculated for two different images. It is considered that the larger the calculated value, the more the same object is captured.
  • a reference image database is constructed in advance from an image (reference image) including an object to be recognized, and a search is performed for an image including the same object as a newly input image (query image). The object to be performed can be specified.
  • the present invention has been made in view of the above circumstances, and has as its object to provide an object recognition device, method, and program capable of accurately recognizing an object included in a low-resolution image. It is another object of the present invention to provide an object recognition learning apparatus, method, and program capable of learning a neural network for accurately recognizing an object included in a low-resolution image.
  • an object recognition device for recognizing an object photographed in a recognition target query image.
  • An acquisition unit that acquires a high-resolution image obtained by increasing the resolution of the query image by an acquisition process that increases the resolution of the query image, and extracts a feature amount vector of the image that has been previously learned using the high-resolution image as an input.
  • a feature extracting unit that extracts a feature vector of the high-resolution image by an extraction process, and recognizes an object captured in the high-resolution image based on the feature vector of the high-resolution image, and recognizes the recognized object.
  • the object recognition learning device provides a high-resolution layer that is an intermediate layer that outputs a high-resolution intermediate high-resolution image with an image as an input, and the intermediate high-resolution output from the high-resolution layer.
  • a neural network including a feature extraction layer that outputs a feature amount vector with an image as an input, a difference between an arbitrary image and the intermediate high-resolution image obtained as a low-resolution image corresponding to the arbitrary image, The difference between the feature vector obtained by inputting the intermediate high-resolution image and the feature vector obtained by inputting the image labeled with the same label as the arbitrary image, and inputting the intermediate high-resolution image Loss vector represented by using a difference between a feature vector obtained by performing the above operation and the feature vector obtained by inputting an image with a label different from the arbitrary image.
  • the parameter optimization unit for simultaneously optimizing the parameters of the high resolution layer parameters and the feature extraction layer of the neural network, including.
  • An object recognition method is an object recognition method in an object recognition device for recognizing an object captured in a query image to be recognized, wherein an acquisition unit learns in advance from the query image, Acquiring a high-resolution image obtained by increasing the resolution of the query image by performing an acquisition process for increasing the resolution of the query image. Extracting a feature vector of the high-resolution image by an extraction process of extracting a vector; and a recognition unit recognizing an object captured in the high-resolution image based on the feature vector of the high-resolution image. And outputting the recognized object as an object photographed in the query image.
  • the acquisition process is at least an acquisition process learned by associating an arbitrary image obtained by capturing the object with a high-resolution image of a low-resolution image corresponding to the arbitrary image.
  • the acquisition process is characterized in that the acquisition process is optimized at the same time as the extraction process.
  • the parameter optimizing unit is an intermediate resolution layer that is an intermediate layer that outputs an intermediate high resolution image obtained by increasing the resolution of the image as an input, and an output from the high resolution layer.
  • a neural network including a feature extraction layer that outputs a feature vector with the intermediate high-resolution image obtained as an input, wherein the intermediate high-resolution image obtained as an input is an arbitrary image and a low-resolution image corresponding to the arbitrary image.
  • a program according to a fifth invention is a program for causing a computer to function as each unit of the object recognition device according to the first invention.
  • the program according to the sixth invention is a program for causing a computer to function as each unit of the object recognition learning device according to the second invention.
  • a high-resolution image obtained by increasing the resolution of a query image is acquired from a query image by an acquisition process that has been learned in advance and that increases the resolution of the image.
  • a feature vector of the high-resolution image is extracted by an extraction process of extracting a feature vector of the image, which has been learned in advance, and the high-resolution image is extracted based on the feature vector of the high-resolution image.
  • the object recognition learning apparatus, method, and program of the present invention by simultaneously optimizing the parameters of the high resolution layer and the parameters of the feature extraction layer of the neural network, the objects included in the low resolution image can be accurately detected.
  • the effect is that a neural network for recognition can be learned.
  • FIG. 1 is a block diagram illustrating a configuration of an object recognition device according to an embodiment of the present invention.
  • 5 is a flowchart illustrating an object recognition learning processing routine in the object recognition learning device according to the embodiment of the present invention.
  • 5 is a flowchart illustrating an object recognition processing routine in the object recognition device according to the embodiment of the present invention.
  • the resolution of the query image is increased by the conventional technology to match the resolution.
  • the accuracy is not sufficiently improved. This is due to the fact that high-frequency components are lost in low-resolution images, and high-frequency components often include detailed patterns that are important in object recognition.
  • the subjective image quality is often improved when increasing the resolution of a low-resolution image.
  • the resolution may be increased so that the object can be easily recognized.
  • the object recognition only needs to be able to extract a feature amount vector such that the distance between the feature amount vectors of the same kind of object is smaller than the distance between the feature amount vectors of the other kind of object.
  • the embodiment of the present invention considers such a feature amount extracting unit and a feature amount extracting unit and a high resolution improving unit suitable for the feature amount extracting unit. Optimization means at the same time.
  • the term “suitable” does not mean that the subjective image quality is improved.
  • the characteristics of the object to be recognized are compared with those before the optimized feature amount extraction unit increases the resolution. It is intended to be a reflected value.
  • an object recognition learning device 10 includes a CPU, a RAM, a ROM storing a program for executing an object recognition learning processing routine described later, and various data, And a computer including
  • the object recognition learning device 10 is connected to the database 2 via communication means, and performs information communication with each other.
  • the database 2 can be constituted by, for example, a file system mounted on a general-purpose computer.
  • the image of the image set 4 and various data related to the image are stored in the database 2 in advance.
  • an identifier such as a serial number ID (Identification) or a unique image file name that can uniquely identify each image of the image set 4 is given.
  • the database 2 stores, for each image, the identifier of the image and the image data of the image in association with each other.
  • the database 2 may be similarly implemented and configured by an RDBMS (Relational ⁇ Database ⁇ Management ⁇ System).
  • the information stored in the database 2 is, for example, information representing the content of the image (eg, image title, summary sentence, or keyword) as metadata, information about the format of the image (the data amount of the image, the size of the thumbnail, etc.). ) May be included, but storage of such information is not essential in the practice of the present disclosure.
  • the database 2 may be provided either inside or outside the object recognition learning device 10, and any known communication means may be used. In the present embodiment, it is assumed that the database 2 is provided outside the object recognition learning device 10 and that the object recognition is performed by using the Internet and a network such as TCP / IP (Transmission Control Protocol / Internet Protocol) as a communication means. It is assumed that it is communicably connected to the learning device 10.
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the image set 4 is an image group to which a label representing a specific object included in the image is added.
  • the label may be, for example, an integer, and the same integer may be assigned to the same specific object included in the image.
  • the database 2 stores low-resolution images obtained by reducing the resolution of each image of the image set 4 in addition to the images of the image set 4 and various data related to the images.
  • the resolution reduction process may be performed by a known method, but in this embodiment, it is assumed that the resolution reduction process is performed by a reduction process using the Bicubic method.
  • a low-resolution image an original image before the processing has been performed
  • a high-resolution image an original image before the processing has been performed
  • the same label is assigned to the low-resolution image as the corresponding high-resolution image.
  • the object recognition learning apparatus 10 includes an acquisition unit 11, a feature extraction unit 12, a parameter optimization unit 13, and a CNN storage unit 14, as shown in FIG.
  • the acquisition unit 11 obtains an intermediate high-resolution image obtained by increasing the resolution of a low-resolution image using the CNN high-resolution layer.
  • the feature vector is extracted from various images using the feature extraction layer, and the parameter optimization unit 13 uses the loss function including the error between the images and the distance between the feature vectors to obtain the parameters and features of the high-resolution layer.
  • the parameters of the extraction layer are optimized simultaneously.
  • the CNN storage unit 14 stores parameters of a convolutional neural network (CNN: ConvolutionalCNeural Network).
  • the CNN is a CNN including a high resolution layer and a feature extraction layer.
  • a high-resolution layer which is an intermediate layer that outputs an intermediate high-resolution image obtained by increasing the resolution of an image as an input, and a feature vector is output by using the intermediate high-resolution image output from the high-resolution layer as an input.
  • a convolutional neural network (CNN) in which the extracted feature extraction layers are sequentially connected. That is, the final output of the high resolution layer becomes the input of the feature extraction layer. Any known structure may be used for the configuration of each layer.
  • Non-Patent Document 2 is used as the high-resolution layer
  • VGG16 Very @ Deep ⁇ Network
  • Non-Patent Document 2 M. Harris, G. Shakhnarovich, and N. Ukita, Deep backprojection networks for super-resolution, CVPR, 2018.
  • the low-resolution image I L is inputted to the high resolution layer of CNN for any high-resolution image I, feature extraction unit 12 to the intermediate high-resolution image I S that high resolution, And to the parameter optimizing unit 13.
  • Parameters stored in the CNN storage unit 14 are used as the parameters of the high resolution layer.
  • the resolution of an image according to the present embodiment is increased by convolving the image with a resolution increasing layer using a CNN configured as described in Non-Patent Document 2. However, a method of convolution using a neural network is used. If it is, it is not limited.
  • any high-resolution image I is a high-resolution image as the original image before the low-resolution image I L which is high resolution,
  • convolution is performed by the feature extraction layer of the CNN having the configuration described in Non-Patent Document 1, the output of the final convolution layer is divided into grids, and each grid is spatially extracted.
  • sum @ pooling is performed on the value obtained by max @ pooling, a feature vector having a fixed dimension can be obtained.
  • the present invention is not limited to this as long as it can be expressed as a vector having a fixed dimension using a neural network.
  • Non-Patent Document 1 The process of extracting the feature vector described in Non-Patent Document 1 in the CNN feature extraction layer used in the feature extraction unit 12 will be described in detail.
  • MAC Maximum Activations of Convolutions
  • RMAC Registered Maximum Activation of of Convolutions
  • the final convolutional layer output of the feature extraction layer of the CNN is defined as a C ⁇ W ⁇ H feature map.
  • C represents the number of channels
  • W represents the width
  • H represents the height.
  • the feature map X is divided by rectangles of various sizes defined in advance, and the MAC feature amount vector f is extracted from each of the feature maps divided by the rectangles of various sizes. Then, it can be calculated by normalizing and adding up.
  • the normalization may use L2 normalization.
  • both the MAC and the RMAC may be used after normalizing the calculated feature amount vector.
  • the feature vectors of both the MACs and the RMACs may be normalized, then added, and the normalized vector may be used as the final feature vector.
  • the intermediate layer to be used is not limited to the final convolutional layer, but may be another intermediate layer as long as it is consistent in the learning process and the recognition process.
  • the method of extracting the feature amount vector is not limited to MAC and RMAC, and any known method that can be expressed as a vector having a fixed dimension from the CNN intermediate layer may be used.
  • the feature extracting unit 12 extracts each of the intermediate high-resolution image I S , the high-resolution image I + to which the same label as the arbitrary high-resolution image I is added, and the high-resolution image I ⁇ to which a different label is added.
  • the obtained feature amount vector is stored in the database 2.
  • Parameter optimization unit 13 and any high-resolution image I, and the intermediate high-resolution image I S that high resolution low-resolution image I L, and extracted by the feature extraction unit 12, feature amount of the intermediate high-resolution image I S a vector d S, characteristic of high-resolution images the same label is applied I + vector d +, different high-resolution image label is granted I - feature vector d of - based on the error between the images
  • the parameters of the high resolution layer and the parameters of the feature extraction layer are simultaneously optimized using the loss function including the distance between the feature vector and the feature vector, and the CNN parameter in the CNN storage unit 14 is updated.
  • the parameter optimizing unit 13 optimizes the parameters of the CNN so as to minimize the loss function of the following equation (2).
  • I i s is an intermediate high-resolution image obtained as the output of the high-resolution layer a low-resolution image I i L that corresponds to the desired high resolution image I i as input.
  • d S is a feature vector obtained by inputting the intermediate high-resolution image I i S and obtaining an output of the feature extraction layer.
  • d + is a feature vector obtained as the output of the feature extraction layer by entering the high resolution image I + the same label as any high-resolution image I i is assigned.
  • d - a high-resolution image I different labels have been given any high resolution image I i - a feature vector obtained as the output of the feature extraction layer to input.
  • All parameters of the CNN may be updated using the backpropagation method for the above loss function.
  • N is the number of pixels of I.
  • m is a fixed parameter representing a margin
  • ⁇ 1 and ⁇ 2 are fixed parameters of weight, and any real number may be used.
  • m is 0.1
  • ⁇ 1 and ⁇ 2 are 0.5. do it.
  • the object recognition device recognizes an object captured in a query image to be recognized.
  • the object recognition device 210 includes a CPU, a RAM, and a ROM that stores a program for executing an object recognition processing routine described later and various data. It can be configured with a computer.
  • the object recognition device 210 is connected to the database 222 via communication means, and performs information communication with each other.
  • the database 222 has the same configuration as the database 2 and stores a reference image group to which a label is assigned. It is also assumed that feature extraction processing is performed in advance for each reference image using the feature extraction layer of the CNN, and the feature amount vectors of the reference image are stored in association with each other.
  • the reference image group may be an image set 4. Further, it is not always necessary to use the images of the image set 4 as the reference images, and an image serving as a reference image may be separately stored.
  • the object recognition device 210 includes an acquisition unit 211, a feature extraction unit 212, a recognition unit 213, and a CNN storage unit 214.
  • the CNN storage unit 214 stores the parameters of the CNN of the high resolution layer and the parameters of the feature extraction layer, learned by the object recognition learning device 10.
  • the CNN used in the object recognition device 210 of the present embodiment is a CNN including the high resolution layer described for the object recognition learning device 10 described above and the feature extraction layer.
  • the CNN is learned by learning the parameters by associating an arbitrary high-resolution image with an image obtained by increasing the resolution of a low-resolution image (intermediate high-resolution image) as an acquisition process of the acquisition unit 211. It is also optimized at the same time.
  • CNN is a learned neural network that has been learned by learning parameters so that an arbitrary high-resolution image is output as an output value of an intermediate layer (high-resolution layer).
  • the acquisition unit 211 performs an acquisition process using the query image 3 as an input to the CNN high-resolution layer from the recognition target query image using the parameters stored in the CNN storage unit 214 to increase the resolution of the query image. To obtain a high resolution image.
  • a method described in Non-Patent Document 2 is used, similarly to the acquisition unit 11 described for the object recognition learning device 10 described above.
  • the feature extraction unit 212 performs an extraction process using the high-resolution image as an input to the feature extraction layer of the CNN using the parameters stored in the CNN storage unit 214, and extracts a feature vector.
  • the method described in Non-Patent Document 1 is used, similarly to the feature extraction unit 12 described for the object recognition learning device 10 described above.
  • the recognition unit 213 recognizes an object captured in the high-resolution image based on the feature amount vector of the high-resolution image, and outputs a recognition result 5 as the recognized object as an object captured in the query image 3.
  • the recognizing unit 213 performs a search process by comparing the feature vector extracted from the query image 3 with each feature vector of the reference image of the database 222. For example, it is possible to compare by measuring the distance between the two. As the distance, for example, an L2 distance may be used. Alternatively, an inner product of the feature vector of the query image 3 and each feature vector of the reference image may be obtained. In this case, the similarity between the two can be obtained.
  • each label of the listed reference images is assumed to be an object including or close to the same object, and is output as a recognition result 5.
  • the object recognition learning device 10 executes an object recognition learning processing routine shown in FIG.
  • step S100 acquisition unit 11, contained in the database 2, the low-resolution image I L for any high-resolution image I is inputted to the high resolution layer CNN, wherein the intermediate high-resolution image I S that high resolution Output to the extracting unit 12 and the parameter optimizing unit 13.
  • step S102 the feature extraction unit 12 outputs the intermediate high-resolution image I S , the high-resolution image I + having the same label as the arbitrary high-resolution image I, and the high-resolution image I ⁇ having the different label.
  • step S104 parameter optimization unit 13, and any high-resolution image I, and the intermediate high-resolution image I S that high resolution low-resolution image I L, and extracted by the feature extraction unit 12, intermediate and high resolution images I based on the, - and the feature amount vector d S of S, the feature amount of the high resolution image I + the same label is assigned to the vector d +, the high-resolution image different label is granted I - the feature vector d Using the loss function of the above equation (2), the parameters of the high resolution layer and the parameters of the feature extraction layer are simultaneously optimized, and the parameters of the CNN in the CNN storage unit 14 are updated.
  • the error between the intermediate high-resolution image I S decreases
  • Parameters are optimized as follows. Further, regarding the parameters of the feature extraction layer, the distance between the arbitrary high-resolution image I and the feature amount vector d + of the high-resolution image I + to which the same label is assigned is different from the arbitrary high-resolution image I. The parameters are optimized such that the distance between the feature amount vector d ⁇ of the labeled high-resolution image I ⁇ becomes large.
  • the object recognition learning device can learn a neural network for accurately recognizing an object included in a low-resolution image.
  • the object recognition device 210 executes an object recognition processing routine shown in FIG.
  • step S200 the acquisition unit 211 performs an acquisition process from the query image 3 to be recognized using the query image 3 as an input to the CNN high-resolution layer using the parameters stored in the CNN storage unit 214. Obtain a high-resolution image obtained by increasing the resolution of the image.
  • step S202 the feature extraction unit 212 performs an extraction process using the high-resolution image as an input to the feature extraction layer of the CNN using the parameters stored in the CNN storage unit 214, and extracts a feature vector.
  • step S204 the recognition unit 213 recognizes an object captured in the high-resolution image based on the feature amount vector of the high-resolution image, and determines the recognition result 5 as the recognized object in the query image 3 as an object captured in the query image 3. Output.
  • the configuration in which the object recognition learning device includes the acquisition unit and the feature extraction unit has been described as an example.
  • the configuration is not limited to this.
  • the object recognition learning device may be configured with only the parameter optimizing unit without including the acquiring unit and the feature extracting unit.
  • the previously low-resolution image I L intermediate high-resolution image I S and high resolution as the input to the high-resolution layer, and the intermediate high-resolution image I S feature vector d S of the image I + characteristic of the amount vector d +, the image I - the feature vector d - advance acquires, it is sufficient to perform only the processing parameter optimization unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

低解像度画像に含まれる物体を精度よく認識することができる。　取得部が、クエリ画像から、予め学習された、画像を高解像度化する取得処理によって、クエリ画像を高解像度化した高解像度化画像を取得する。特徴抽出部が、高解像度化画像を入力とし、予め学習された、画像の特徴量ベクトルを抽出する抽出処理によって、高解像度化画像の特徴量ベクトルを抽出する。認識部が、高解像度化画像の特徴量ベクトルに基づき高解像度化画像において撮影された物体を認識し、認識された物体をクエリ画像において撮影された物体として出力する。

Description

物体認識装置、物体認識学習装置、方法、及びプログラム
　本発明は、物体認識装置、物体認識学習装置、方法、及びプログラムに係り、特に、画像に含まれる物体を認識するための物体認識装置、物体認識学習装置、方法、及びプログラムに関する。
　スマートフォン等の小型撮像デバイスの普及に伴い、様々な場所や環境で任意の対象を撮影したような画像中に写る物体を認識する技術への要望が高まってきている。
　従来、画像中の物体を認識する種々の技術が発明、開示されているが、画像の検索に基づく典型的な手続きを、非特許文献１に記載の技術に従って説明する。まず、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて画像から特徴量ベクトルを抽出する。次に、互いに異なる二つの画像について特徴量ベクトル同士の内積を計算する。計算した値が大きいほど、同一の物体が写っているとみなす。予め、認識したい物体を含む画像（参照画像）により参照画像データベースを構築し、新たに入力された画像（クエリ画像）と同一の物体が写っているものを検索することにより、クエリ画像中に存在する物体を特定することができる。
G. Tolias, R. Sicre, and H. Jegou, Particular Object Retrieval with Integral Max-Pooling of CNN Activations, In ICLR, 2016.
　しかしながら、クエリ画像と参照画像との解像度に乖離がある場合、たとえ同じ物体同士であっても異なる特徴量ベクトルが得られてしまうような場合が多い。結果として、異なる物体が検索されてしまい、認識精度が低下するという課題がある。例えば、解像度が高い参照画像に対して、解像度が低い画像をクエリ画像として検索するようなケースでは、クエリ画像中から高周波成分が失われていることが多く、前述の問題が発生しやすい典型例である。このような例において、単純に高解像度に写る画像の解像度を落とすことで解像度を揃えた場合、多くの詳細な情報が失われてしまうため、十分に認識精度は改善されない。
　本発明は、上記事情を鑑みて成されたものであり、低解像度画像に含まれる物体を精度よく認識することができる物体認識装置、方法、及びプログラムを提供することを目的とする。
　また、低解像度画像に含まれる物体を精度よく認識するためのニューラルネットワークを学習することができる物体認識学習装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、第１の発明に係る物体認識装置は、認識対象のクエリ画像において撮影された物体を認識する物体認識装置であって、前記クエリ画像から、予め学習された、画像を高解像度化する取得処理によって、前記クエリ画像を高解像度化した高解像度化画像を取得する取得部と、前記高解像度化画像を入力とし、予め学習された、画像の特徴量ベクトルを抽出する抽出処理によって、前記高解像度化画像の特徴量ベクトルを抽出する特徴抽出部と、前記高解像度化画像の特徴量ベクトルに基づき前記高解像度化画像において撮影された物体を認識し、認識された物体を前記クエリ画像において撮影された物体として出力する認識部と、を含む物体認識装置であって、前記取得部の前記取得処理は、少なくとも、前記物体が撮影された任意の画像と、前記任意の画像に対応する低解像度画像を高解像度化した画像と、を関連付けることで学習された取得処理であり、さらに、前記取得処理は、学習において前記抽出処理と同時に最適化されたものであることを特徴とする。
　第２の発明に係る物体認識学習装置は、画像を入力として高解像度化した中間高解像度画像を出力する中間層である高解像度化層と、前記高解像度化層から出力された前記中間高解像度画像を入力として特徴量ベクトルを出力する特徴抽出層とを含むニューラルネットワークについて、任意の画像と、前記任意の画像に対応する低解像度画像を入力として得られる前記中間高解像度画像との差、前記中間高解像度画像を入力して得られる特徴量ベクトルと、前記任意の画像と同一のラベルが付された画像を入力して得られる前記特徴量ベクトルとの差、及び前記中間高解像度画像を入力して得られる特徴量ベクトルと、前記任意の画像とは異なるラベルが付された画像を入力して得られる前記特徴量ベクトルとの差を用いて表される損失関数を用いて、前記ニューラルネットワークの前記高解像度化層のパラメータと前記特徴抽出層のパラメータとを同時に最適化するパラメータ最適化部、を含んで構成されている。
　第３の発明に係る物体認識方法は、認識対象のクエリ画像において撮影された物体を認識する物体認識装置における物体認識方法であって、取得部が、前記クエリ画像から、予め学習された、画像を高解像度化する取得処理によって、前記クエリ画像を高解像度化した高解像度化画像を取得するステップと、特徴抽出部が、前記高解像度化画像を入力とし、予め学習された、画像の特徴量ベクトルを抽出する抽出処理によって、前記高解像度化画像の特徴量ベクトルを抽出するステップと、認識部が、前記高解像度化画像の特徴量ベクトルに基づき前記高解像度化画像において撮影された物体を認識し、認識された物体を前記クエリ画像において撮影された物体として出力するステップと、を含む物体認識装置であって、前記取得部の前記取得処理は、少なくとも、前記物体が撮影された任意の画像と、前記任意の画像に対応する低解像度画像を高解像度化した画像と、を関連付けることで学習された取得処理であり、さらに、前記取得処理は、学習において前記抽出処理と同時に最適化されたものであることを特徴とする。
　第４の発明に係る物体認識学習方法は、パラメータ最適化部が、画像を入力として高解像度化した中間高解像度画像を出力する中間層である高解像度化層と、前記高解像度化層から出力された前記中間高解像度画像を入力として特徴量ベクトルを出力する特徴抽出層とを含むニューラルネットワークについて、任意の画像と、前記任意の画像に対応する低解像度画像を入力として得られる前記中間高解像度画像との差、前記中間高解像度画像を入力して得られる特徴量ベクトルと、前記任意の画像と同一のラベルが付された画像を入力して得られる前記特徴量ベクトルとの差、及び前記中間高解像度画像を入力して得られる特徴量ベクトルと、前記任意の画像とは異なるラベルが付された画像を入力して得られる前記特徴量ベクトルとの差を用いて表される損失関数を用いて、前記ニューラルネットワークの前記高解像度化層のパラメータと前記特徴抽出層のパラメータとを同時に最適化するステップ、を含んで実行することを特徴とする。
　第５の発明に係るプログラムは、コンピュータを、第１の発明に記載の物体認識装置の各部として機能させるためのプログラムである。
　第６の発明に係るプログラムは、コンピュータを、第２の発明に記載の物体認識学習装置の各部として機能させるためのプログラムである。
　本発明の物体認識装置、方法、及びプログラムによれば、クエリ画像から、予め学習された、画像を高解像度化する取得処理によって、クエリ画像を高解像度化した高解像度化画像を取得し、高解像度化画像を入力とし、予め学習された、画像の特徴量ベクトルを抽出する抽出処理によって、高解像度化画像の特徴量ベクトルを抽出し、高解像度化画像の特徴量ベクトルに基づき高解像度化画像において撮影された物体を認識し、認識された物体をクエリ画像において撮影された物体として出力することにより、低解像度画像に含まれる物体を精度よく認識することができる、という効果が得られる。
　本発明の物体認識学習装置、方法、及びプログラムによれば、ニューラルネットワークの高解像度化層のパラメータと特徴抽出層のパラメータとを同時に最適化することにより、低解像度画像に含まれる物体を精度よく認識するためのニューラルネットワークを学習することができる、という効果が得られる。
本発明の実施の形態に係る物体認識学習装置の構成を示すブロック図である。 本発明の実施の形態に係る物体認識装置の構成を示すブロック図である。 本発明の実施の形態に係る物体認識学習装置における物体認識学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る物体認識装置における物体認識処理ルーチンを示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
　上述した通り従来技術ではクエリ画像と参照画像との間で解像度に乖離が有る場合、参照画像を低解像度化して解像度を合わせても、クエリ画像を従来の技術で高解像度化して解像度を合わせても十分に精度は改善されない。これは低解像度な画像では高周波成分が失われていること、高周波成分には物体認識において重要となる詳細な模様などが含まれることが多いこと、に起因する。
　従来技術では低解像度の画像を高解像度化する際に主観画質を向上させることが多いが、物体認識を目的とする場合、物体認識を行いやすいように高解像度化すればよい。また、物体認識は同種の物体の特徴量ベクトル間の距離が他種の物体の特徴量ベクトル間の距離と比べ小さくなるような特徴量ベクトルを抽出できればよい。本発明の実施の形態は、そのような事情を考慮し、前述したような特徴量抽出手段と、当該特徴量抽出手段に適した高解像度化手段を得るために、特徴量抽出手段と高解像度化手段を同時に最適化する。ここで、適した、とは主観画質を向上させることではなく、物体認識を行うために、最適化された特徴量抽出手段が高解像度化する前と比較して認識対象の物体の特徴をより反映した値になるということを意図している。
＜本発明の実施の形態に係る物体認識学習装置の構成＞
　次に、本発明の実施の形態に係る物体認識学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る物体認識学習装置１０は、ＣＰＵと、ＲＡＭと、後述する物体認識学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。
　物体認識学習装置１０は、データベース２と通信手段を介して接続されて相互に情報通信する。データベース２は、例えば、一般的な汎用コンピュータに実装されているファイルシステムによって構成できる。本実施の形態では、一例としてデータベース２には、画像集合４の画像、及び画像に関する各種データが予め格納されているものとする。本実施の形態では、画像集合４の各画像それぞれを一意に識別可能な、通し番号によるＩＤ（Identification）やユニークな画像ファイル名等の識別子が与えられているものとしている。また、データベース２は、各々の画像について、当該画像の識別子と、当該画像の画像データとを関連づけて記憶しているものとする。あるいは、データベース２は、同様に、ＲＤＢＭＳ（Relational Database Management System）等で実装、構成されていても構わない。データベース２が記憶する情報は、その他、メタデータとして、例えば画像の内容を表現する情報（画像のタイトル、概要文、またはキーワード等）、画像のフォーマットに関する情報（画像のデータ量、サムネイル等のサイズ）等を含んでいても構わないが、これらの情報の記憶は本開示の実施においては必須ではない。
　データベース２は、物体認識学習装置１０の内部及び外部の何れに設けられていても構わず、通信手段は任意の公知ものを用いることができる。なお、本実施の形態では、データベース２は、物体認識学習装置１０の外部に設けられているものとし、インターネット、及びＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）等のネットワークを通信手段として物体認識学習装置１０と通信可能に接続されているものとする。
　画像集合４は、画像に含まれる特定対象物を表すラベルが付与された画像群である。ラベルは、例えば、整数とし、画像に含まれる特定対象物が同一であるものは同じ整数を割り当てればよい。また、データベース２には、前述した画像集合４の画像、及び画像に関する各種データに加え、画像集合４の各画像を低解像度化した低解像度画像が格納されているものとする。低解像度化処理は公知の方法と用いれば良いが、本実施の形態ではＢｉｃｕｂｉｃ法を利用した縮小処理によって行われているものとする。説明のため、低解像度化処理が行われた画像を低解像度画像、処理が行われる前の元画像を高解像度画像と記載する。また、低解像度画像には、対応する高解像度画像と同一のラベルが付与されているものとする。
　物体認識学習装置１０は、図１に示すように取得部１１と、特徴抽出部１２と、パラメータ最適化部１３と、ＣＮＮ記憶部１４とを含んで構成されている。
　本実施の形態の物体認識学習装置１０は、取得部１１で、ＣＮＮの高解像度化層を用いて低解像度画像を高解像度化した中間高解像度画像を得て、特徴抽出部１２で、ＣＮＮの特徴抽出層を用いて各種画像から特徴量ベクトルを抽出し、パラメータ最適化部１３で、画像間の誤差及び特徴量ベクトル間の距離を含む損失関数を用いて、高解像度化層のパラメータと特徴抽出層のパラメータとを同時に最適化する。以下、各部の具体的な処理を詳述する。
　ＣＮＮ記憶部１４には、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）のパラメータを格納しておくものとする。本実施の形態のＣＮＮは、高解像度化層と、特徴抽出層とを含むＣＮＮとする。具体的には、画像を入力として高解像度化した中間高解像度画像を出力する中間層である高解像度化層と、高解像度化層から出力された中間高解像度画像を入力として特徴量ベクトルを出力する特徴抽出層とを順に結合した畳み込みニューラルネットワーク（ＣＮＮ）を用いる。すなわち、高解像度化層の最終出力が、特徴抽出層の入力となる。各層の構成は、任意の公知の物を用いてよい。ここでは、高解像度化層として非特許文献２に記載のＣＮＮ、特徴抽出層として非特許文献１に記載のＶＧＧ１６（Ｖｅｒｙ　Ｄｅｅｐ　Ｎｅｔｗｏｒｋ）から全結合層を取り除いた構成を用いるものとする。
［非特許文献２］M. Haris, G. Shakhnarovich, and N. Ukita, Deep backprojection networks for super-resolution, CVPR, 2018.
　取得部１１は、データベース２に含まれる、任意の高解像度画像Ｉに対する低解像度画像ＩＬをＣＮＮの高解像度化層の入力とし、高解像度化した中間高解像度画像ＩＳを特徴抽出部１２、及びパラメータ最適化部１３に出力する。高解像度化層のパラメータはＣＮＮ記憶部１４に記憶してあるものを用いる。なお、本実施の形態における画像の高解像度化は、非特許文献２に記載の構成のＣＮＮを用いた高解像度化層によって畳み込むことで高解像度化を実施するが、ニューラルネットワークを用いて畳み込む方法であれば限定されるものではない。また、任意の高解像度画像Ｉは、高解像度化される前の低解像度画像ＩＬの元画像となる高解像度な画像であり、
　特徴抽出部１２は、中間高解像度画像ＩＳ、任意の高解像度画像Ｉと同一ラベルが付与された高解像度画像Ｉ＋、及び異なるラベルが付与された高解像度画像Ｉ－のそれぞれを、ＣＮＮの特徴抽出層への入力とし、特徴量ベクトルを抽出し、パラメータ最適化部１３に出力する。
　本実施の形態における特徴抽出部１２の特徴量ベクトルの抽出は、非特許文献１に記載の構成のＣＮＮの特徴抽出層によって畳み込みを行い、最終畳み込み層出力をグリッドに分割し、グリッド毎にｓｐａｔｉａｌ　ｍａｘ　ｐｏｏｌｉｎｇした値をｓｕｍ　ｐｏｏｌｉｎｇすることで固定の次元を持つ特徴量ベクトルを獲得できる。なお、ニューラルネットワークを用いて固定の次元を持つベクトルとして表現できるものであればこれに限定されるものではない。
　特徴抽出部１２で用いるＣＮＮの特徴抽出層において、非特許文献１に記載の特徴量ベクトルを抽出する処理について詳細に説明する。本実施の形態に好適な例として、非特許文献１に記載のＭＡＣ（Ｍａｘｉｍｕｍ　Ａｃｔｉｖａｔｉｏｎｓ　ｏｆ　Ｃｏｎｖｏｌｕｔｉｏｎｓ）、あるいは、ＲＭＡＣ（Ｒｅｇｉｏｎａｌ　Ｍａｘｉｍｕｍ　Ａｃｔｉｖａｔｉｏｎ　ｏｆ　Ｃｏｎｖｏｌｕｔｉｏｎｓ）、あるいはその両者を用いる。
　ＣＮＮの特徴抽出層の最終畳み込み層出力をＣ×Ｗ×Ｈの特徴マップとする。Ｃがチャネル数、Ｗが幅、Ｈが高さを表す。特徴マップを、Ｘ＝｛Ｘｃ｝、ｃ＝１，．．．，Ｃと表現すると、ＭＡＣを用いた特徴ベクトルｆは下記（１）式で算出できる。
Figure JPOXMLDOC01-appb-M000002
                                                 ・・・（１）
　ＲＭＡＣを用いた特徴ベクトルについては、予め規定した様々な大きさの矩形によって特徴マップＸを分割し、様々な大きさの矩形によって分割された各々の特徴マップからＭＡＣの特徴量ベクトルｆを各々抽出し、正規化した後に足し合わせることで算出できる。正規化は、Ｌ２正規化を用いればよい。また、ＭＡＣ、ＲＭＡＣともに、算出後の特徴量ベクトルを正規化して用いてもよい。また、ＭＡＣ、ＲＭＡＣ両者を用いる場合は、両者の特徴ベクトルを正規化後、足し合わせ、再度正規化を実施したベクトルを最終的な特徴量ベクトルとすればよい。また、用いる中間層としては最終畳み込み層に限らず、学習処理及び認識処理において一貫しているのであれば、他の中間層を対象としてもよい。特徴量ベクトルの抽出方法は、ＭＡＣ、ＲＭＡＣに限定されず、ＣＮＮの中間層から固定の次元を持つベクトルとして表現できる任意の公知の方法を用いてもよい。
　なお、特徴抽出部１２は、中間高解像度画像ＩＳ、任意の高解像度画像Ｉと同一ラベルが付与された高解像度画像Ｉ＋、及び異なるラベルが付与された高解像度画像Ｉ－のそれぞれから抽出した特徴量ベクトルをデータベース２に記憶する。
　パラメータ最適化部１３は、任意の高解像度画像Ｉと、低解像度画像ＩＬを高解像度化した中間高解像度画像ＩＳと、特徴抽出部１２で抽出した、中間高解像度画像ＩＳの特徴量ベクトルｄＳと、同一ラベルが付与された高解像度画像Ｉ＋の特徴量ベクトルｄ＋と、異なるラベルが付与された高解像度画像Ｉ－の特徴量ベクトルｄ－とに基づいて、画像間の誤差及び特徴量ベクトル間の距離を含む損失関数を用いて、高解像度化層のパラメータと、特徴抽出層のパラメータとを同時に最適化し、ＣＮＮ記憶部１４のＣＮＮのパラメータを更新する。
　高解像度化層のパラメータについては、任意の高解像度画像Ｉと中間高解像度画像ＩＳとを関連付け、任意の高解像度画像Ｉと、中間高解像度画像ＩＳと間の誤差が小さくなるように最適化される。また、特徴抽出層のパラメータについては、任意の高解像度画像Ｉと同一ラベルが付与された高解像度画像Ｉ＋の特徴量ベクトルｄ＋と間の距離が小さく、任意の高解像度画像Ｉとは異なるラベルが付与された高解像度画像Ｉ－の特徴量ベクトルｄ－との間の距離が大きくなるように最適化される。
　具体的には、パラメータ最適化部１３は、以下（２）式の損失関数を最小化するようにＣＮＮのパラメータを最適化する。
Figure JPOXMLDOC01-appb-M000003
                                                 ・・・（２）
　Ｉｉ ｓは、任意の高解像度画像Ｉｉに対応する低解像度画像Ｉｉ Ｌを入力として高解像度化層の出力として得られる中間高解像度画像である。ｄＳは、中間高解像度画像Ｉｉ Ｓを入力して特徴抽出層の出力として得られる特徴量ベクトルである。ｄ＋は、任意の高解像度画像Ｉｉと同一のラベルが付与された高解像度画像Ｉ＋を入力して特徴抽出層の出力として得られる特徴量ベクトルである。ｄ－は、任意の高解像度画像Ｉｉとは異なるラベルが付与された高解像度画像Ｉ－を入力して特徴抽出層の出力として得られる特徴量ベクトルである。なお、中間高解像度画像は、Ｉｉ ｓ単独であってもＩｉ ｓの集合であってもよい。すなわち、１画素からなる画像(Ｎ＝１の場合)であってもよいし、複数の画素から成る画像（Ｎ＞１）であってもよい。
　このように損失関数は、任意の高解像度画像Ｉｉと、中間高解像度画像Ｉｉ Ｓとの差、特徴量ベクトルｄＳと、特徴量ベクトルｄ＋との差、及び特徴量ベクトルｄＳと、特徴量ベクトルｄ－との差を用いて表される。
　上記の損失関数について誤差逆伝播法を用いて、ＣＮＮの全パラメータを更新すればよい。ＮはＩの画素数である。また、ｍはマージンを表す固定のパラメータ、λ１、λ２は重みの固定パラメータであり、任意の実数を用いればよく、例えばｍは０．１、λ１とλ２は０．５などとすればよい。損失関数により、低解像度画像を高精度に高解像度化しながら、高精度な検索が可能な特徴量ベクトルを抽出可能なＣＮＮのパラメータを得ることができる。
＜本発明の実施の形態に係る物体認識装置の構成＞
　次に、本発明の実施の形態に係る物体認識装置の構成について説明する。物体認識装置は、認識対象のクエリ画像において撮影された物体を認識する。
　図２に示すように、本発明の実施の形態に係る物体認識装置２１０は、ＣＰＵと、ＲＡＭと、後述する物体認識処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。
　物体認識装置２１０は、データベース２２２と通信手段を介して接続されて相互に情報通信する。
　データベース２２２は、上記データベース２と同様の構成であり、ラベルが付与された参照画像群を記憶している。また、参照画像ごとに、上記ＣＮＮの特徴抽出層を用いて予め特徴抽出処理をし、参照画像の特徴量ベクトルを関連付けて記憶しているものとする。参照画像群は画像集合４としてもよい。また、参照画像として画像集合４の画像を用いる必要は必ずしもなく、別途参照画像とする画像を格納してもよい。
　物体認識装置２１０は、図２に示すように取得部２１１と、特徴抽出部２１２と、認識部２１３と、ＣＮＮ記憶部２１４とを含んで構成されている。
　ＣＮＮ記憶部２１４には、上記物体認識学習装置１０で学習された、ＣＮＮにおける高解像度化層のパラメータと、特徴抽出層のパラメータとが記憶されている。
　本実施の形態の物体認識装置２１０で用いるＣＮＮは、上述した物体認識学習装置１０について説明した高解像度化層と、特徴抽出層とを含むＣＮＮである。ＣＮＮはパラメータの学習によって、取得部２１１の取得処理として、任意の高解像度画像と、低解像度画像を高解像度化した画像（中間高解像度画像）とを関連付けて学習されたものであり、抽出処理と同時に最適化されたものである。また、ＣＮＮはパラメータの学習によって、中間層（高解像度化層）の出力値として任意の高解像度画像が出力されるように学習された学習済みニューラルネットワークである。
　取得部２１１は、認識対象のクエリ画像から、クエリ画像３をＣＮＮの高解像度化層への入力として、ＣＮＮ記憶部２１４に記憶されたパラメータを用いて取得処理を行い、クエリ画像を高解像度化した高解像度化画像を取得する。具体的な処理手法は、上述した物体認識学習装置１０について説明した取得部１１と同様、非特許文献２に記載の手法を用いる。
　特徴抽出部２１２は、高解像度化画像をＣＮＮの特徴抽出層への入力として、ＣＮＮ記憶部２１４に記憶されたパラメータを用いて抽出処理を行い、特徴量ベクトルを抽出する。具体的な処理手法は、上述した物体認識学習装置１０について説明した特徴抽出部１２と同様、非特許文献１に記載の手法を用いる。
　認識部２１３は、高解像度化画像の特徴量ベクトルに基づき高解像度化画像において撮影された物体を認識し、認識された物体をクエリ画像３において撮影された物体として認識結果５を出力する。
　具体的には、認識部２１３において、クエリ画像３から抽出された特徴量ベクトルと、データベース２２２の参照画像の各々の特徴量ベクトルとを比較することで検索処理を実施する。例えば、両者の距離を測ることで、比較することができる。距離は、例えばＬ２距離を用いればよい。あるいは、クエリ画像３の特徴量ベクトルと、参照画像の各々の特徴量ベクトルとの内積を求めても構わず、この場合は両者の類似度を得ることができる。
　全ての参照画像に対して上記比較を行ったのち、距離が小さい参照画像、あるいは、類似度が大きい順にリスト化する。そして、リスト化した参照画像の各々のラベルを、同一物体を含む、ないし同一物体に近い物体であるものとし、認識結果５として出力する。
＜本発明の実施の形態に係る物体認識学習装置の作用＞
　次に、本発明の実施の形態に係る物体認識学習装置１０の作用について説明する。物体認識学習装置１０は、図３に示す物体認識学習処理ルーチンを実行する。
　ステップＳ１００では、取得部１１は、データベース２に含まれる、任意の高解像度画像Ｉに対する低解像度画像ＩＬをＣＮＮの高解像度化層の入力とし、高解像度化した中間高解像度画像ＩＳを特徴抽出部１２、及びパラメータ最適化部１３に出力する。
　ステップＳ１０２では、特徴抽出部１２は、中間高解像度画像ＩＳ、任意の高解像度画像Ｉと同一ラベルが付与された高解像度画像Ｉ＋、及び異なるラベルが付与された高解像度画像Ｉ－のそれぞれについて、ＣＮＮの特徴抽出層への入力とし、特徴量ベクトルを抽出し、パラメータ最適化部１３に出力する。
　ステップＳ１０４では、パラメータ最適化部１３は、任意の高解像度画像Ｉと、低解像度画像ＩＬを高解像度化した中間高解像度画像ＩＳと、特徴抽出部１２で抽出した、中間高解像度画像ＩＳの特徴量ベクトルｄＳと、同一ラベルが付与された高解像度画像Ｉ＋の特徴量ベクトルｄ＋と、異なるラベルが付与された高解像度画像Ｉ－の特徴量ベクトルｄ－とに基づいて、上記（２）式の損失関数を用いて、高解像度化層のパラメータと、特徴抽出層のパラメータとを同時に最適化し、ＣＮＮ記憶部１４のＣＮＮのパラメータを更新する。これにより、高解像度化層のパラメータについては、任意の高解像度画像Ｉと中間高解像度画像ＩＳとを関連付け、任意の高解像度画像Ｉと、中間高解像度画像ＩＳと間の誤差が小さくなるようにパラメータが最適化される。また、特徴抽出層のパラメータについては、任意の高解像度画像Ｉと同一ラベルが付与された高解像度画像Ｉ＋の特徴量ベクトルｄ＋と間の距離が小さく、任意の高解像度画像Ｉとは異なるラベルが付与された高解像度画像Ｉ－の特徴量ベクトルｄ－との間の距離が大きくなるようにパラメータが最適化される。
　以上説明したように、本発明の実施の形態に係る物体認識学習装置によれば、低解像度画像に含まれる物体を精度よく認識するためのニューラルネットワークを学習することができる。
＜本発明の実施の形態に係る物体認識装置の作用＞
　次に、本発明の実施の形態に係る物体認識装置２１０の作用について説明する。物体認識装置２１０は、図４に示す物体認識処理ルーチンを実行する。
　ステップＳ２００では、取得部２１１は、認識対象のクエリ画像３から、クエリ画像３をＣＮＮの高解像度化層への入力として、ＣＮＮ記憶部２１４に記憶されたパラメータを用いて取得処理を行い、クエリ画像を高解像度化した高解像度化画像を取得する。
　ステップＳ２０２では、特徴抽出部２１２は、高解像度化画像をＣＮＮの特徴抽出層への入力として、ＣＮＮ記憶部２１４に記憶されたパラメータを用いて抽出処理を行い、特徴量ベクトルを抽出する。
　ステップＳ２０４では、認識部２１３は、高解像度化画像の特徴量ベクトルに基づき高解像度化画像において撮影された物体を認識し、認識された物体をクエリ画像３において撮影された物体として認識結果５を出力する。
　以上説明したように、本発明の実施の形態に係る物体認識装置によれば、低解像度画像に含まれる物体を精度よく認識することができる。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上述した実施の形態では、物体認識学習装置は、取得部、及び特徴抽出部を含む構成を例として説明したが、これに限定されるものではない。例えば、物体認識学習装置は、取得部、及び特徴抽出部を含まずに、パラメータ最適化部のみによって構成するようにしてもよい。この場合には、予め低解像度画像ＩＬを高解像度化層への入力として高解像度化した中間高解像度画像ＩＳ、及び中間高解像度画像ＩＳの特徴量ベクトルｄＳ、画像Ｉ＋の特徴量ベクトルｄ＋、画像Ｉ－の特徴量ベクトルｄ－を取得しておき、パラメータ最適化部の処理のみを行うようにすればよい。
２、２２２    データベース
３     クエリ画像
４     画像集合
５     認識結果
１０   物体認識学習装置
１１、２１１  取得部
１２、２１２  特徴抽出部
１３   パラメータ最適化部
１４、２１４  ＣＮＮ記憶部
２１０ 物体認識装置
２１３ 認識部

Claims (8)

  1. 　認識対象のクエリ画像において撮影された物体を認識する物体認識装置であって、
    　前記クエリ画像から、予め学習された、画像を高解像度化する取得処理によって、前記クエリ画像を高解像度化した高解像度化画像を取得する取得部と、
    　前記高解像度化画像を入力とし、予め学習された、画像の特徴量ベクトルを抽出する抽出処理によって、前記高解像度化画像の特徴量ベクトルを抽出する特徴抽出部と、
    　前記高解像度化画像の特徴量ベクトルに基づき前記高解像度化画像において撮影された物体を認識し、認識された物体を前記クエリ画像において撮影された物体として出力する認識部と、
    を含む物体認識装置であって、
    　前記取得部の前記取得処理は、
    　少なくとも、前記物体が撮影された任意の画像と、前記任意の画像に対応する低解像度画像を高解像度化した画像と、を関連付けることで学習された取得処理であり、
    　さらに、前記取得処理は、学習において前記抽出処理と同時に最適化されたものである
    　物体認識装置。
  2. 　前記取得処理は、少なくとも、前記任意の画像と前記任意の画像に対応する低解像度画像とを学習データとし、かつ、前記低解像度画像を入力としたニューラルネットワークの所定の中間層の出力値として前記任意の画像が出力されるように学習された学習済みニューラルネットワークを用いる
    請求項１記載の物体認識装置。
  3. 　画像を入力として高解像度化した中間高解像度画像を出力する中間層である高解像度化層と、前記高解像度化層から出力された前記中間高解像度画像を入力として特徴量ベクトルを出力する特徴抽出層とを含むニューラルネットワークについて、
    　任意の画像と、前記任意の画像に対応する低解像度画像を入力として得られる前記中間高解像度画像との差、
    　前記中間高解像度画像を入力して得られる特徴量ベクトルと、前記任意の画像と同一のラベルが付された画像を入力して得られる前記特徴量ベクトルとの差、
    　及び前記中間高解像度画像を入力して得られる特徴量ベクトルと、前記任意の画像とは異なるラベルが付された画像を入力して得られる前記特徴量ベクトルとの差を用いて表される損失関数を用いて、前記ニューラルネットワークの前記高解像度化層のパラメータと前記特徴抽出層のパラメータとを同時に最適化するパラメータ最適化部、
    を含む物体認識学習装置。
  4. 　前記パラメータ最適化部は、以下（１）式の前記損失関数を用いて、前記ニューラルネットワークの前記高解像度化層のパラメータと前記特徴抽出層のパラメータとを同時に最適化する請求項３に記載の物体認識学習装置。
    Figure JPOXMLDOC01-appb-M000001
                                                     ・・・（１）
    　ただし、Ｉｉは前記任意の画像、Ｉｉ ｓは、前記任意の画像Ｉｉに対応する低解像度画像Ｉｉ Ｌを入力として前記高解像度化層の出力として得られる中間高解像度画像、ｄｓは前記中間高解像度画像Ｉｉ ｓを入力として前記特徴抽出層の出力として得られる特徴量ベクトル、ｄ＋は前記任意の画像と同一のラベルの画像を入力として前記特徴抽出層の出力として得られる特徴量ベクトル、ｄ－は前記任意の画像とは異なるラベルの画像を入力として前記特徴抽出層の出力として得られる特徴量ベクトルである。
  5. 　認識対象のクエリ画像において撮影された物体を認識する物体認識装置における物体認識方法であって、
    　取得部が、前記クエリ画像から、予め学習された、画像を高解像度化する取得処理によって、前記クエリ画像を高解像度化した高解像度化画像を取得するステップと、
    　特徴抽出部が、前記高解像度化画像を入力とし、予め学習された、画像の特徴量ベクトルを抽出する抽出処理によって、前記高解像度化画像の特徴量ベクトルを抽出するステップと、
    　認識部が、前記高解像度化画像の特徴量ベクトルに基づき前記高解像度化画像において撮影された物体を認識し、認識された物体を前記クエリ画像において撮影された物体として出力するステップと、
    を含む物体認識装置であって、
    　前記取得部の前記取得処理は、
    　少なくとも、前記物体が撮影された任意の画像と、前記任意の画像に対応する低解像度画像を高解像度化した画像と、を関連付けることで学習された取得処理であり、
    　さらに、前記取得処理は、学習において前記抽出処理と同時に最適化されたものである
    　物体認識方法。
  6. 　パラメータ最適化部が、画像を入力として高解像度化した中間高解像度画像を出力する中間層である高解像度化層と、前記高解像度化層から出力された前記中間高解像度画像を入力として特徴量ベクトルを出力する特徴抽出層とを含むニューラルネットワークについて、
    　任意の画像と、前記任意の画像に対応する低解像度画像を入力として得られる前記中間高解像度画像との差、
    　前記中間高解像度画像を入力して得られる特徴量ベクトルと、前記任意の画像と同一のラベルが付された画像を入力して得られる前記特徴量ベクトルとの差、
    　及び前記中間高解像度画像を入力して得られる特徴量ベクトルと、前記任意の画像とは異なるラベルが付された画像を入力して得られる前記特徴量ベクトルとの差を用いて表される損失関数を用いて、前記ニューラルネットワークの前記高解像度化層のパラメータと前記特徴抽出層のパラメータとを同時に最適化するステップ、
    を含む物体認識学習方法。
  7. 　コンピュータを、請求項１又は請求項２に記載の物体認識装置の各部として機能させるためのプログラム。
  8. 　コンピュータを、請求項３又は請求項４に記載の物体認識学習装置の各部として機能させるためのプログラム。
PCT/JP2019/031469 2018-08-14 2019-08-08 物体認識装置、物体認識学習装置、方法、及びプログラム WO2020036124A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/268,293 US11928790B2 (en) 2018-08-14 2019-08-08 Object recognition device, object recognition learning device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018152701A JP7131195B2 (ja) 2018-08-14 2018-08-14 物体認識装置、物体認識学習装置、方法、及びプログラム
JP2018-152701 2018-08-14

Publications (1)

Publication Number Publication Date
WO2020036124A1 true WO2020036124A1 (ja) 2020-02-20

Family

ID=69525510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031469 WO2020036124A1 (ja) 2018-08-14 2019-08-08 物体認識装置、物体認識学習装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US11928790B2 (ja)
JP (1) JP7131195B2 (ja)
WO (1) WO2020036124A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494616B2 (en) * 2019-05-09 2022-11-08 Shenzhen Malong Technologies Co., Ltd. Decoupling category-wise independence and relevance with self-attention for multi-label image classification
JP7192990B2 (ja) * 2019-06-17 2022-12-20 日本電信電話株式会社 学習装置、検索装置、学習方法、検索方法、学習プログラム、及び検索プログラム
CN110795703B (zh) * 2019-09-20 2024-04-16 华为技术有限公司 数据防窃取方法和相关产品
JP7086361B2 (ja) * 2020-06-30 2022-06-20 Ａｒｉｔｈｍｅｒ株式会社 帳票情報生成装置、方法及びプログラム
CN112907444B (zh) * 2021-02-07 2024-03-22 中国科学院沈阳自动化研究所 一种基于复数域零样本学习的太赫兹图像超分辨重建方法
WO2022208673A1 (ja) * 2021-03-30 2022-10-06 株式会社Ｎｔｔドコモ 端末、無線通信方法及び基地局
US20240187186A1 (en) * 2021-03-30 2024-06-06 Ntt Docomo, Inc. Terminal, radio communication method, and base station
KR102499861B1 (ko) * 2021-04-19 2023-02-15 주식회사우경정보기술 인공지능 기반 객체 재인식 장치
CN113869282B (zh) * 2021-10-22 2022-11-11 马上消费金融股份有限公司 人脸识别方法、超分模型训练方法及相关设备
WO2024019634A1 (ru) * 2022-07-22 2024-01-25 Публичное Акционерное Общество "Сбербанк России" Способ и система поиска графических изображений

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330381A (zh) * 2017-06-15 2017-11-07 浙江捷尚视觉科技股份有限公司 一种人脸识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5830784B2 (ja) * 2011-06-23 2015-12-09 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
US10380753B1 (en) * 2018-05-30 2019-08-13 Aimotive Kft. Method and apparatus for generating a displacement map of an input dataset pair

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330381A (zh) * 2017-06-15 2017-11-07 浙江捷尚视觉科技股份有限公司 一种人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONG, C. ET AL.: "Learning a Deep Convolutional Network for Image Super-Resolution", ROBOCUP 2008: ROBOCUP 2008: ROBOT SOCCER WORLD CUP XII. LECTURE NOTES IN COMPUTER SCIENCE, vol. 8692, 1 January 2014 (2014-01-01), pages 184 - 189, XP055545078, Retrieved from the Internet <URL:https://www.researchgate.net/profile/Chen_Change_Loy/publication/264552416_Lecture_Notes_in_Computer_Science/links/53e583e50cf25d674e9c280e.pdf> *

Also Published As

Publication number Publication date
JP7131195B2 (ja) 2022-09-06
US20210303903A1 (en) 2021-09-30
JP2020027504A (ja) 2020-02-20
US11928790B2 (en) 2024-03-12

Similar Documents

Publication Publication Date Title
WO2020036124A1 (ja) 物体認識装置、物体認識学習装置、方法、及びプログラム
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
US11416710B2 (en) Feature representation device, feature representation method, and program
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
WO2015180042A1 (en) Learning deep face representation
WO2019230666A1 (ja) 特徴量抽出装置、方法、及びプログラム
JP2007206920A (ja) 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
CN111178162B (zh) 图像识别方法、装置、计算机设备和存储介质
CN107577758B (zh) 一种基于多区域交叉权值的图像卷积特征的生成方法
WO2016142285A1 (en) Method and apparatus for image search using sparsifying analysis operators
WO2023124278A1 (zh) 图像处理模型的训练方法、图像分类方法及装置
WO2013159356A1 (zh) 基于判别相关分析的跨媒体检索方法
WO2020213742A1 (ja) 画像変換装置、画像変換モデル学習装置、方法、及びプログラム
CN116468919A (zh) 图像局部特征匹配方法及系统
CN115331150A (zh) 图像识别方法、装置、电子设备、存储介质
JP6793925B2 (ja) 検証装置、方法、及びプログラム
CN116266387A (zh) 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统
CN113066030A (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
CN115601791A (zh) 基于Multiformer及离群样本重分配的无监督行人重识别方法
KR20190071452A (ko) 객체 검출 장치 및 방법
JP6758250B2 (ja) 局所特徴表現学習装置、及び方法
JP6699048B2 (ja) 特徴選択装置、タグ関連領域抽出装置、方法、及びプログラム
JP7192990B2 (ja) 学習装置、検索装置、学習方法、検索方法、学習プログラム、及び検索プログラム
CN116664465A (zh) 一种多模态图像融合方法、装置及计算机设备
WO2012077818A1 (ja) ハッシュ関数の変換行列を定める方法、該ハッシュ関数を利用するハッシュ型近似最近傍探索方法、その装置及びそのコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850399

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19850399

Country of ref document: EP

Kind code of ref document: A1