WO2020145180A1 - 物体検出認識装置、方法、及びプログラム - Google Patents

物体検出認識装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020145180A1
WO2020145180A1 PCT/JP2019/051148 JP2019051148W WO2020145180A1 WO 2020145180 A1 WO2020145180 A1 WO 2020145180A1 JP 2019051148 W JP2019051148 W JP 2019051148W WO 2020145180 A1 WO2020145180 A1 WO 2020145180A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature map
hierarchical
layer
unit
shallow
Prior art date
Application number
PCT/JP2019/051148
Other languages
English (en)
French (fr)
Inventor
泳青 孫
島村　潤
淳 嵯峨田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/422,092 priority Critical patent/US20220101628A1/en
Publication of WO2020145180A1 publication Critical patent/WO2020145180A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to an object detection/recognition device, method, and program, and more particularly to an object detection/recognition device, method, and program for detecting and recognizing an object in an image.
  • -Semantic image segmentation and recognition is a technology that tries to assign pixels in video or images to object categories. It is often applied to automated driving, medical image analysis, state and pose estimation, etc. In recent years, pixel-by-pixel image segmentation technology using deep learning has been actively studied.
  • a method called MaskRCNN which is an example of a typical processing flow, first extracts a feature map from an input image through a CNN-based backbone network ( (A part of FIG. 6). Next, in the feature map, a candidate region (region like an object) related to the object is detected (part b in FIG. 6). Finally, the object position is detected and the pixels are assigned from the candidate area (part c in FIG. 6).
  • FPN Feature Pyramid Network
  • the shallow layers of the CNN-based backbone network represent low-level image features of the input image. That is, it represents details such as lines, points, and patterns of the object.
  • the CNN layer gets deeper, higher level features of the image can be extracted. For example, it is possible to extract features that represent characteristic contours of objects or context relationships between objects.
  • Non-Patent Document 1 The method called Mask RCNN shown in Non-Patent Document 1 described above will perform the next object region candidate detection and pixel-by-pixel segmentation using only the feature map generated from the deep layer of the CNN. Therefore, there is a problem that the low-level feature amount that expresses the details of the object is lost, and the accuracy of the object detection position shift and the segmentation (pixel allocation) becomes low.
  • the method called FPN in Non-Patent Document 2 propagates semantic information to shallow layers while up-sampling from the feature map of deep layers to the backbone network of CNN. Then, although the object segmentation accuracy is improved to some extent by performing the object segmentation using multiple feature maps, since the low-level features are not actually incorporated into the high-level feature map (up layer), the object segmentation is performed. And the recognition accuracy problem arises.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide an object detection/recognition device, method, and program capable of accurately recognizing the category and area of an object represented by an image.
  • an object detection and recognition apparatus inputs an image to be recognized into a CNN (Convolutional Neural Network), and based on a feature map output in each layer of the CNN. Based on the feature map output from each layer of the CNN and the first hierarchical feature map generation unit that generates a hierarchical feature map composed of hierarchical feature maps from deep layers to shallow layers.
  • CNN Convolutional Neural Network
  • a second hierarchical feature map generating unit for generating a hierarchical feature map including hierarchical feature maps up to a deep layer; a hierarchical feature map including a hierarchical feature map from the deep layer to the shallow layer; Regarding a hierarchical feature map composed of hierarchical feature maps from shallow layers to deep layers, an integration unit that creates a hierarchical feature map by integrating feature maps of corresponding layers, and an integration unit that is created by the integration unit.
  • the object region detection unit that detects each of the object candidate regions, and based on the hierarchical feature map generated by the integration unit, for each of the object candidate regions, the object candidate region is And an object recognition unit for recognizing the category and area of the represented object.
  • the first hierarchical feature map generation unit calculates the feature map in order from a deep layer to a shallow layer, and the feature map calculated in order from the deep layer to the shallow layer.
  • a second hierarchical feature map generator that calculates a feature map in order from a shallow layer to a deep layer, and a hierarchical type consisting of feature maps calculated in order from a shallow layer to a deep layer.
  • the feature map may be generated, and the integrating unit may generate the hierarchical feature map by integrating the feature maps having a corresponding order.
  • the first hierarchical type feature map generator upsamples the feature map calculated immediately before the layer in order from the deep layer to the shallow layer and the feature map output in the layer.
  • a feature map calculated so as to be added is obtained, and a hierarchical feature map composed of feature maps calculated in order from a deep layer to a shallow layer is generated.
  • the feature map calculated by adding the feature map output in the layer and the down-sampled feature map calculated one layer before the layer is calculated. You may make it generate
  • the object recognition unit represents, for each of the object candidate regions, an object represented by the object candidate region based on the hierarchical feature map generated by the integration unit.
  • the category, the position, and the area may be recognized.
  • the first hierarchical feature map generation unit inputs an image to be recognized into a CNN (Convolutional Neural Network) and outputs the feature map in each layer of the CNN.
  • the second hierarchical feature map generation unit On the basis of the feature map output from each layer of the CNN, the second hierarchical feature map generation unit generates a hierarchical feature map including a hierarchical feature map from a deep layer to a shallow layer.
  • a hierarchical feature map including a hierarchical feature map from a shallow layer to a deep layer is generated, and the integrating unit includes a hierarchical feature map including a hierarchical feature map from the deep layer to the shallow layer, and the shallow layer.
  • a hierarchical feature map composed of hierarchical feature maps from a deep layer to a deep layer
  • a hierarchical feature map is generated by integrating feature maps of corresponding layers
  • an object area detection unit is generated by the integration unit.
  • the object candidate regions based on the generated hierarchical feature map, and the object recognition unit, based on the hierarchical feature map generated by the integration unit, for each of the object candidate regions, the object candidate region Recognize the category and area of the object represented by.
  • the program according to the third invention is a program for causing a computer to function as each unit of the object detection and recognition device according to the first invention.
  • a hierarchical feature map including a hierarchical feature map from a deep layer to a shallow layer based on the feature map output in each layer of the CNN, A hierarchical feature map composed of hierarchical feature maps from shallow layers to deep layers is generated, and the feature maps of the corresponding layers are integrated to generate a hierarchical feature map and each object candidate region is detected. Then, for each of the object candidate areas, by recognizing the category and area of the object represented by the object candidate area, it is possible to accurately recognize the category and area of the object represented by the image.
  • FIG. 6 is a diagram for explaining a method of generating a hierarchical feature map and a method of integrating the hierarchical feature maps. It is a figure for demonstrating bottom-up augmentation processing. It is a figure for demonstrating the method of detection and recognition of an object. It is a figure for demonstrating the process of Mask RCNN which is a prior art.
  • FIG. 6A is a diagram for explaining the processing of the FPN that is the conventional technology
  • FIG. 8B is a diagram for explaining the method of generating the hierarchical feature map from the deep layer to the shallow layer by the upsampling processing.
  • an image to be subjected to object detection and recognition is acquired, and a hierarchical feature map from a deep layer is generated for the image through the backbone network of CNN, for example, by FPN.
  • a hierarchical feature map is generated from shallow layers by Reversed FPN.
  • the generated hierarchical feature map from the deep layer and the hierarchical feature map from the shallow layer are integrated to generate a hierarchical feature map, and using the generated hierarchical feature map, Performs object detection and recognition.
  • an object detection/recognition device 100 includes a CPU, a RAM, a ROM that stores a program for executing an object detection/recognition processing routine described below, and various data. Can be configured with a computer including.
  • the object detection/recognition device 100 is functionally configured to include an input unit 10 and a calculation unit 20, as shown in FIG.
  • the calculation unit 20 includes a storage unit 21, an image acquisition unit 22, a first hierarchical feature map generation unit 23, a second hierarchical feature map generation unit 24, an integration unit 25, an object region detection unit 26, It is configured to include an object recognition unit 27 and a learning unit 28.
  • the storage unit 21 stores an image that is a target of object detection and recognition. Upon receiving the processing instruction from the image acquisition unit 22, the storage unit 21 outputs the image to the image acquisition unit 22. Further, the detection result and the recognition result obtained by the object recognition unit 27 are stored in the storage unit 21. It should be noted that, at the time of learning, the image to which the detection result and the recognition result are given in advance is stored in the storage unit 21.
  • the image acquisition unit 22 outputs a processing instruction to the storage unit 21, acquires an image stored in the storage unit 21, and uses the acquired image as a first hierarchical type feature map generation unit 23 and a second hierarchical type feature map. Output to the generation unit 24.
  • the first hierarchical type feature map generation unit 23 receives an image from the image acquisition unit 22, inputs the image into a CNN (Convolutional Neural Network), and then based on the feature map output in each layer of the CNN, deep A hierarchical feature map composed of hierarchical feature maps from layers to shallow layers is generated. The generated hierarchical feature map is output to the integration unit 25.
  • CNN Convolutional Neural Network
  • the second hierarchical type feature map generation unit 24 receives an image from the image acquisition unit 22, inputs the image into a CNN (Convolutional Neural Network), and outputs a shallow image based on the feature map output in each layer of the CNN.
  • a hierarchical feature map composed of hierarchical feature maps from layers to deep layers is generated.
  • the generated hierarchical feature map is output to the integration unit 25.
  • the integrating unit 25 receives the hierarchical feature map generated from the first hierarchical feature map generating unit 23 and the hierarchical feature map generated from the second hierarchical feature map generating unit 24, and performs an integrating process.
  • the integration unit 25 includes a hierarchical feature map including a hierarchical feature map from the deep layer to the shallow layer generated by the first hierarchical feature map generating unit 23, and a second hierarchical feature map.
  • the feature maps of the corresponding layers are integrated to generate a hierarchical feature map,
  • the data is output to the area detection unit 26 and the object recognition unit 27.
  • the object area detection unit 26 uses deep learning-based object detection (for example, processing of Mask RCNN b shown in FIG. 6) on the input image based on the hierarchical feature map generated by the integration unit 25. Then, the object candidate regions are detected by performing the object division for each pixel.
  • deep learning-based object detection for example, processing of Mask RCNN b shown in FIG. 6
  • the object recognizing unit 27 uses a deep learning-based recognition method (for example, the processing of MaskRCNN c shown in FIG. 6) for each of the object candidate regions based on the hierarchical feature map generated by the integrating unit 25. Then, the category, position, and area of the object represented by the object candidate area are recognized. The recognition result of the category, position, and area of the object is stored in the storage unit 21.
  • a deep learning-based recognition method for example, the processing of MaskRCNN c shown in FIG. 6
  • the recognition result of the category, position, and area of the object is stored in the storage unit 21.
  • the learning unit 28 recognizes the recognition result by the object recognizing unit 27 for each of the images to which the detection result and the recognition result are stored in advance in the storage unit 21, and the detection result and the recognition result to be added in advance for each image.
  • the parameters of the neural network used in each of the first hierarchical type characteristic map generating unit 23, the second hierarchical characteristic map generating unit 24, the object region detecting unit 26, and the object recognizing unit 27 are learned using To do.
  • a general neural network learning method such as the error back propagation method may be used.
  • parameters are tuned in each of the first hierarchical type characteristic map generating unit 23, the second hierarchical type characteristic map generating unit 24, the object region detecting unit 26, and the object recognizing unit 27.
  • Each processing can be performed using a neural network.
  • the object detection/recognition device 100 executes the object detection/recognition processing routine shown in FIG.
  • step S101 the image acquisition unit 22 outputs a processing instruction to the storage unit 21 and acquires the image stored in the storage unit 21.
  • the first layer type feature map generation unit 23 inputs the image acquired in step S101 to the CNN-based backbone network and acquires the feature map output from each layer.
  • a CNN network such as VGG or Resnet may be used.
  • the feature map is obtained in order from the deep layer to the shallow layer, and the hierarchical feature map composed of the feature maps calculated in order from the deep layer to the shallow layer is generated.
  • the feature map calculated immediately before the layer is up-sampled so that the process is the reverse of the process shown in FIG.
  • the feature map is calculated so as to add things and the feature map output in the layer.
  • the semantic information of the up layer can be propagated to the feature map below, and the contour of the object is smooth when detecting an object.
  • An accurate effect can be expected without omission of detection.
  • step S103 the second layer type feature map generation unit 24 inputs the image acquired in step S101 into the CNN-based backbone network as in step S102 and acquires the feature map output from each layer. Then, as shown in Reversed FPN in FIG. 3, a feature map is obtained in order from the shallow layer to the deep layer, and a hierarchical feature map composed of the feature maps calculated in order from the shallow layer to the deep layer is generated. At this time, when the feature map is calculated in order from the shallow layer to the deep layer, as shown in FIG. 4, the feature map calculated immediately before the layer is down-sampled and output in the layer. The feature map is calculated so as to be added to the feature map.
  • Such a feature map can propagate detailed information about an object (information such as lines, points, and patterns) to the feature map of the up layer, and at the time of object segmentation, the object contour is more accurate, especially for objects of small size. It can be expected that it can be detected without omission.
  • step S104 the integration unit 25 creates a hierarchical feature map by performing integration by adding feature maps corresponding to each other in order.
  • the feature map calculated immediately before the layer is downsampled in order from the lower layer, and A feature map calculated so as to be added to the feature map obtained by adding is obtained, and a hierarchical feature map composed of feature maps calculated in order is generated.
  • the feature maps corresponding to the order may be integrated so as to take the average, or the feature maps corresponding to the order may be integrated so as to take the maximum value.
  • the feature maps corresponding in order may be integrated by simply adding them.
  • you may integrate by addition of weighting For example, if the subject has a certain size or more in a complicated background, the feature map obtained in step S102 may be heavily weighted. Further, when there are a plurality of small-sized subjects in the image, the feature map that emphasizes the low-level features obtained in step S103 may be heavily weighted.
  • step S105 the object area detection unit 26 detects each object candidate area based on the hierarchical feature map generated in step S104.
  • a score that is an object is calculated for each pixel by RPN (Region Proposal Network), and an object candidate region in which the score of the corresponding region in each layer is high is detected.
  • RPN Registered Proposal Network
  • step S106 the object recognition unit 27, for each of the object candidate regions detected in step S105, based on the hierarchical feature map generated in step S104, the category and position of the object represented by the object candidate region. , And area are recognized.
  • a fixed-size feature map is generated by using each part of the feature map of each layer of the hierarchical feature map corresponding to the object candidate region, and FIG.
  • FCN Full Convolutional Network
  • the area of the object represented by the object candidate area is recognized.
  • FIG. 5B by inputting a fixed-size feature map into the fully connected layer, the category of the object represented by the object candidate region and the box position surrounding the object are recognized. Then, the category, position, and recognition result of the area of the object represented by the object candidate area are stored in the storage unit 21.
  • step S107 it is determined whether or not the processing has been completed for all the images stored in the storage unit 21, and if completed, the object detection recognition processing routine is ended. If not completed, the processing returns to step S101 and the next The image is acquired and the process is repeated.
  • a hierarchy composed of a hierarchical feature map from a deep layer to a shallow layer is created based on the feature map output in each layer of CNN.
  • a type feature map and a hierarchical feature map composed of hierarchical feature maps from shallow layers to deep layers are generated, and feature maps of corresponding layers are integrated to generate a hierarchical type feature map,
  • the learning unit 28 is included in the object detection/recognition device 100 has been described as an example, but the present invention is not limited to this, and the learning device is configured as a learning device separate from the object detection/recognition device 100. You may do so.
  • Input Unit 20 Calculation Unit 21 Storage Unit 22 Image Acquisition Unit 23 First Hierarchical Feature Map Generation Unit 24 Second Hierarchical Feature Map Generation Unit 25 Integration Unit 26 Object Area Detection Unit 27 Object Recognition Unit 28 Learning Unit 100 Object Detection Recognition apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

画像が表す物体のカテゴリ及び領域を精度よく認識できる。　第１階層型特徴マップ生成部２３が、前記ＣＮＮの各層で出力される特徴マップに基づいて、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップを生成する。第２階層型特徴マップ生成部２４が、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップを生成する。統合部２５が、対応する層の特徴マップ同士を統合することにより、階層型特徴マップを生成する。物体領域検出部２６が、物体候補領域を各々検出して、物体認識部２７が、物体候補領域の各々について、物体候補領域が表す物体のカテゴリ及び領域を認識する。

Description

物体検出認識装置、方法、及びプログラム
　本発明は、物体検出認識装置、方法、及びプログラムに係り、特に、画像の物体を検出し、認識するための物体検出認識装置、方法、及びプログラムに関する。
　セマンティック画像分割と認識は、映像や画像中の画素をオブジェクトカテゴリに割当てようとする技術である。自動運転や医用画像の解析、状態とポーズ推定などによく応用されている。近年、深層学習を用いた画素毎の画像分割技術は盛んに研究されている。代表的な処理の流れの例である、Mask RCNNという手法（非特許文献１）は、図６に示すとおり、まず、入力画像に対して、ＣＮＮベースのbackboneネットワークを通して、特徴マップ抽出を行う(図６のa部分)。つぎに、前記特徴マップにおいて、物体に関連する候補領域（物体らしい領域）を検出する(図６のｂ部分)。最後に、前記候補領域から物体位置検出や画素の割り当てを行う(図６のｃ部分)。また、Mask RCNNの特徴マップ抽出処理についてＣＮＮの深い層の出力しか利用してないことに対して、図７（Ａ）、（Ｂ）に示すように、浅い層の情報を含め複数層の出力も利用する、ＦＰＮ(Feature Pyramid Network)という階層的な特徴マップ抽出方法（非特許文献２）も提案されている。
Mask R-CNN, Kaiming He,Georgia Gkioxari,Piotr Dollar,Ross Girshick,ICCV2017 Feature Pyramid Networks for Object Detection, Tsung-Yi Lin, Piotr Dollar , Ross Girshick , Kaiming He , Bharath Hariharan, and Serge Belongie,CVPR2017
　ＣＮＮベースの物体分割と認識手法について以下の観察がある。
　第一に、ＣＮＮベースのbackboneネットワークの浅い層では、入力画像の低レベル画像特徴を表している。つまり、物体の線や点、模様などの細部を表現している。
　第二に、ＣＮＮ層が深くなるにつれて、画像の高レベル特徴を抽出することができる。たとえば、物体の特徴な輪郭や物体間のコンテキスト関係などを表す特徴を抽出することができる。
　上記の非特許文献１に示すMask RCNNという手法はCNNの深い層から生成した特徴マップだけを用いて、次の物体領域候補検出と画素毎のセグメンテーションを行うこととなる。従って、物体の細部を表現する低レベル特徴量を失うめ、物体検出位置のずれやセグメンテーション（画素の割り当て）の精度が低くなる問題が生じる。
　一方、非特許文献２のＦＰＮという方法はCNNのbackboneネットワークに対して、深い層の特徴マップからアップサンプリングしながら、セマンティックな情報を浅い層へ伝搬していく。そして、複数の特徴マップを用いて物体分割を行うことにより、物体分割精度はある程度改善されるが、実際に高レベル特徴マップ（up layer）に対して低レベル特徴を取り入れてないため、物体分割と認識の精度問題が生じる。
　本発明は、上記問題点を解決するために成されたものであり、画像が表す物体のカテゴリ及び領域を精度よく認識できる物体検出認識装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、第１の発明に係る物体検出認識装置は、認識対象となる画像を、ＣＮＮ（Convolutional Neural Network）に入力して、前記ＣＮＮの各層で出力される特徴マップに基づいて、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップを生成する第１階層型特徴マップ生成部と、前記ＣＮＮの各層で出力される特徴マップに基づいて、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップを生成する第２階層型特徴マップ生成部と、前記深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップ、及び前記浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップについて、対応する層の特徴マップ同士を統合することにより、階層型特徴マップを生成する統合部と、前記統合部により生成された階層型特徴マップに基づいて、物体候補領域を各々検出する物体領域検出部と、前記統合部により生成された階層型特徴マップに基づいて、前記物体候補領域の各々について、前記物体候補領域が表す物体のカテゴリ及び領域を認識する物体認識部と、を含んで構成されている。
　また、第１の発明に係る物体検出認識装置において、前記第１階層型特徴マップ生成部は、深い層から浅い層まで順に特徴マップを計算し、深い層から浅い層まで順に計算された特徴マップからなる階層型特徴マップを生成し、前記第２階層型特徴マップ生成部は、浅い層から深い層まで順に特徴マップを計算し、浅い層から深い層まで順に計算された特徴マップからなる階層型特徴マップを生成し、前記統合部は、順番が対応する特徴マップ同士を統合することにより、階層型特徴マップを生成するようにしてもよい。また、前記第１階層型特徴マップ生成部は、深い層から浅い層まで順に、当該層の一つ前に計算された特徴マップをアップサンプリングしたものと、当該層で出力される特徴マップとを足し合わせるように計算された特徴マップを求め、深い層から浅い層まで順に計算された特徴マップからなる階層型特徴マップを生成し、前記第２階層型特徴マップ生成部は、浅い層から深い層まで順に、当該層の一つ前に計算された特徴マップをダウンサンプリングしたものと、当該層で出力される特徴マップとを足し合わせるように計算された特徴マップを求め、浅い層から深い層まで順に計算された特徴マップからなる階層型特徴マップを生成するようにしてもよい。
　また、第１の発明に係る物体検出認識装置において、前記物体認識部は、前記統合部により生成された階層型特徴マップに基づいて、前記物体候補領域の各々について、前記物体候補領域が表す物体のカテゴリ、位置、及び領域を認識するようにしてもよい。
　第２の発明に係る物体検出認識方法は、第１階層型特徴マップ生成部が、認識対象となる画像を、ＣＮＮ（Convolutional Neural Network）に入力して、前記ＣＮＮの各層で出力される特徴マップに基づいて、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップを生成し、第２階層型特徴マップ生成部が、前記ＣＮＮの各層で出力される特徴マップに基づいて、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップを生成し、統合部が、前記深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップ、及び前記浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップについて、対応する層の特徴マップ同士を統合することにより、階層型特徴マップを生成し、物体領域検出部が、前記統合部により生成された階層型特徴マップに基づいて、物体候補領域を各々検出し、物体認識部が、前記統合部により生成された階層型特徴マップに基づいて、前記物体候補領域の各々について、前記物体候補領域が表す物体のカテゴリ及び領域を認識する。
　第３の発明に係るプログラムは、コンピュータを、第１の発明に記載の物体検出認識装置の各部として機能させるためのプログラムである。
　本発明の物体検出認識装置、方法、及びプログラムによれば、前記ＣＮＮの各層で出力される特徴マップに基づいて、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップと、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップとを生成し、対応する層の特徴マップ同士を統合することにより、階層型特徴マップを生成し、物体候補領域を各々検出して、前記物体候補領域の各々について、前記物体候補領域が表す物体のカテゴリ及び領域を認識することにより、画像が表す物体のカテゴリ及び領域を精度よく認識できる、という効果が得られる。
本発明の実施の形態に係る物体検出認識装置の構成を示すブロック図である。 本発明の実施の形態に係る物体検出認識装置における物体検出認識処理ルーチンを示すフローチャートである。 階層型特徴マップを生成する方法と階層型特徴マップを統合する方法とを説明するための図である。 bottom-up augmentation処理を説明するための図である。 物体の検出と認識の方法を説明するための図である。 従来技術であるＭａｓｋ　ＲＣＮＮの処理を説明するための図である。 （Ａ）従来技術であるＦＰＮの処理を説明するための図、及び（Ｂ）アップサンプリング処理による深い層から浅い層までの階層型特徴マップの生成方法を説明するための図である。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態に係る概要＞
　まず、本発明の実施の形態における概要を説明する。
　上述した課題を踏まえて、特徴抽出のCNNベースのbackboneネットワークにおいて、浅い層からの情報伝搬と深い層からの情報伝搬との、バランスのよい両方向の情報伝搬パースを用いれば、精度のよい物体検出と認識に対して有効だと考えられる。
　そこで、本発明の実施の形態では、物体検出と認識の対象となる画像を取得し、画像に対して、ＣＮＮのbackboneネットワークを通して、たとえば、ＦＰＮにより、深い層から階層的な特徴マップを生成し、画像のＣＮＮのbackboneネットワークにおいて、Reversed FPNにより、浅い層から階層的な特徴マップを生成する。そして、生成された深い層からの階層的な特徴マップと浅い層からの階層的な特徴マップとを統合し、階層的な特徴マップを生成し、生成された階層的な特徴マップを用いて、物体検出と認識を行う。
＜本発明の実施の形態に係る物体検出認識装置の構成＞
　次に、本発明の実施の形態に係る物体検出認識装置の構成について説明する。図１に示すように、本発明の実施の形態に係る物体検出認識装置１００は、ＣＰＵと、ＲＡＭと、後述する物体検出認識処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この物体検出認識装置１００は、機能的には図１に示すように、入力部１０と、演算部２０とを含んで構成されている。
　演算部２０は、蓄積部２１と、画像取得部２２と、第１階層型特徴マップ生成部２３と、第２階層型特徴マップ生成部２４と、統合部２５と、物体領域検出部２６と、物体認識部２７と、学習部２８とを含んで構成されている。
　蓄積部２１には、物体の検出及び認識の対象となる画像を蓄積する。蓄積部２１は、画像取得部２２から処理指示を受け取ると、画像取得部２２に対して画像を出力する。また、物体認識部２７で求められた検出結果及び認識結果を蓄積部２１に格納する。なお、学習時には、検出結果及び認識結果が予め付与された画像が、蓄積部２１に格納されている。
　画像取得部２２は、蓄積部２１に処理指示を出力し、蓄積部２１に格納された画像を取得し、取得した画像を、第１階層型特徴マップ生成部２３と、第２階層型特徴マップ生成部２４とへ出力する。
　第１階層型特徴マップ生成部２３は、画像取得部２２から画像を受け取って、当該画像を、ＣＮＮ（Convolutional Neural Network）に入力して、ＣＮＮの各層で出力される特徴マップに基づいて、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップを生成する。生成された階層型特徴マップは統合部２５へ出力される。
　第２階層型特徴マップ生成部２４は、画像取得部２２から画像を受け取って、当該画像を、ＣＮＮ（Convolutional Neural Network）に入力して、ＣＮＮの各層で出力される特徴マップに基づいて、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップを生成する。生成された階層型特徴マップは統合部２５へ出力される。
　統合部２５は、第１階層型特徴マップ生成部２３から生成された階層型特徴マップと、第２階層型特徴マップ生成部２４から生成された階層型特徴マップを受け取って、統合処理を行う。
　具体的には、統合部２５は、第１階層型特徴マップ生成部２３により生成された、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップ、及び第２階層型特徴マップ生成部２４により生成された、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップについて、対応する層の特徴マップ同士を統合することにより、階層型特徴マップを生成し、物体領域検出部２６と、物体認識部２７とへ出力する。
　物体領域検出部２６は、統合部２５により生成された階層型特徴マップに基づいて、deep learningベースの物体検出（たとえば、図６に示すMask RCNNのｂの処理）を用いて、入力画像に対して、画素毎の物体分割を行うことにより、物体候補領域を各々検出する。
　物体認識部２７は、統合部２５により生成された階層型特徴マップに基づいて、物体候補領域の各々について、deep learningベースの認識手法（たとえば、図６に示すMask RCNNのｃの処理）を用いて、当該物体候補領域が表す物体のカテゴリ、位置、及び領域を認識する。物体のカテゴリ、位置、及び領域の認識結果が蓄積部２１に格納される。
　学習部２８は、蓄積部２１に格納された、検出結果及び認識結果が予め付与された画像の各々についての物体認識部２７による認識結果と、画像の各々について予め付与された検出結果及び認識結果とを用いて、第１階層型特徴マップ生成部２３と、第２階層型特徴マップ生成部２４と、物体領域検出部２６と、物体認識部２７との各々で用いられるニューラルネットワークのパラメータを学習する。学習は誤差逆伝播法などの一般的なニューラルネットワークの学習手法を用いればよい。学習部２８の学習により、第１階層型特徴マップ生成部２３と、第２階層型特徴マップ生成部２４と、物体領域検出部２６と、物体認識部２７との各々では、パラメータがチューニングされたニューラルネットワークを用いて各処理が可能となる。
　なお、学習部２８の処理については、画像取得部２２と、第１階層型特徴マップ生成部２３と、第２階層型特徴マップ生成部２４と、統合部２５と、物体領域検出部２６と、物体認識部２７とによる一連の物体の検出及び認識の処理とは別個に、任意のタイミングで行えばよい。
＜本発明の実施の形態に係る物体検出認識装置の作用＞
　次に、本発明の実施の形態に係る物体検出認識装置１００の物体の検出及び認識に関する作用について説明する。物体検出認識装置１００は、図２に示す物体検出認識処理ルーチンを実行する。
　まず、ステップＳ１０１では、画像取得部２２は、蓄積部２１に処理指示を出力し、蓄積部２１に格納された画像を取得する。
　次に、ステップＳ１０２では、第１階層型特徴マップ生成部２３は、上記ステップＳ１０１で取得した画像を、CNNベースのbackboneネットワークを入力し、各層から出力された特徴マップを取得する。ここで、VGGやResnetなどのＣＮＮネットワークを使えばよい。そして、図３のＦＰＮに示すdata augmentation手法により、深い層から浅い層まで順に、特徴マップを求め、深い層から浅い層まで順に計算された特徴マップからなる階層型特徴マップを生成する。このとき、深い層から浅い層まで順に特徴マップを計算する際には、図４に示す処理とは反対の処理となるように、当該層の一つ前に計算された特徴マップをアップサンプリングしたものと、当該層で出力される特徴マップとを足し合わせるように特徴マップを計算する。
　このような階層型特徴マップでは、up layerのセマンティックな情報（物体の特徴な輪郭、物体間のコンテキスト情報）を下の特徴マップへも伝搬でき、物体検出の際に、物体輪郭はなめらかで、検出漏れなく精度よい効果が期待できる。
　ステップＳ１０３では、第２階層型特徴マップ生成部２４は、上記ステップＳ１０１で取得した画像を、ステップＳ１０２と同じくCNNベースのbackboneネットワークを入力し、各層から出力された特徴マップを取得する。そして、図３のＲｅｖｅｒｓｅｄ　ＦＰＮに示すように、浅い層から深い層まで順に、特徴マップを求め、浅い層から深い層まで順に計算された特徴マップからなる階層型特徴マップを生成する。このとき、浅い層から深い層まで順に特徴マップを計算する際には、上記図４に示すように、当該層の一つ前に計算された特徴マップをダウンサンプリングしたものと、当該層で出力される特徴マップとを足し合わせるように特徴マップを計算する。
　このような特徴マップは物体に関する詳細な情報（線、点、模様などの情報）をup layerの特徴マップへも伝搬でき、物体分割の際に、物体輪郭はより正確で、特に小さいサイズの物体も漏れなく検出できる効果が期待できる。
　ステップＳ１０４では、統合部２５は、図３に示すように、順番が対応する特徴マップ同士で足し合わせるように統合することにより、階層型特徴マップを生成する。このとき、上記図４と同様に、data augmentation方法（bottom-up augmentation）を用いて、下の層から順に、当該層の一つ前に計算された特徴マップをダウンサンプリングしたものと、当該層で足し合わせて得られた特徴マップとを足し合わせるように計算された特徴マップを求め、順に計算された特徴マップからなる階層型特徴マップを生成する。
　なお、上記ではdata augmentation方法を用いて統合する場合を例に説明したが、他の統合方法を実施してもよい。例えば、順番が対応する特徴マップ同士で平均を取るように統合してもよいし、順番が対応する特徴マップ同士で最大値を取るように統合してもよい。あるいは、順番が対応する特徴マップ同士を単に足し合わせるように統合してもよい。また、重みづけの足し算により統合してもよい。たとえば、複雑な背景で被写体はある程度一定サイズ以上であれば、上記ステップＳ１０２で得られた特徴マップについて大きな重みづけをしてもよい。また、画像中にサイズの小さい被写体が複数存在する場合、上記ステップＳ１０３で得られる、低レベル特徴を強調する特徴マップに大きな重みづけをしてもよい。また、上記図４とは異なるdata augmentation方法を用いて統合してもよい。
　ステップＳ１０５では、物体領域検出部２６は、上記ステップＳ１０４で生成された階層型特徴マップに基づいて、物体候補領域を各々検出する。
　例えば、各層の特徴マップについて、ＲＰＮ（Region Proposal Network）により物体であるスコアを画素毎に計算し、各層で対応する領域のスコアが高くなる物体候補領域を検出する。
　ステップＳ１０６では、物体認識部２７は、上記ステップＳ１０４で生成された階層型特徴マップに基づいて、上記ステップＳ１０５で検出された物体候補領域の各々について、当該物体候補領域が表す物体のカテゴリ、位置、及び領域を認識する。
　例えば、図５（Ａ）に示すように、階層型特徴マップの各層の特徴マップの、当該物体候補領域に対応する部分を各々用いて、固定サイズの特徴マップを生成し、図５（Ｃ）に示すように、固定サイズの特徴マップを、ＦＣＮ（Fully Convolutional Network）に入力することにより、当該物体候補領域が表す物体の領域を認識する。また、図５（Ｂ）に示すように、固定サイズの特徴マップを、全結合層に入力することにより、当該物体候補領域が表す物体のカテゴリ及び当該物体を囲うボックス位置を認識する。そして、当該物体候補領域が表す物体のカテゴリ、位置、及び領域の認識結果を、蓄積部２１に格納する。
　ステップＳ１０７では、蓄積部２１に格納された全ての画像について処理を終了したかを判定し、終了していれば物体検出認識処理ルーチンを終了し、終了していなければステップＳ１０１に戻って次の画像を取得して処理を繰り返す。
　以上説明したように、本発明の実施の形態に係る物体検出認識装置によれば、ＣＮＮの各層で出力される特徴マップに基づいて、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップと、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップとを生成し、対応する層の特徴マップ同士を統合することにより、階層型特徴マップを生成し、物体候補領域を各々検出して、物体候補領域の各々について、前記物体候補領域が表す物体のカテゴリ及び領域を認識することにより、画像が表す物体のカテゴリ及び領域を精度よく認識できる。
　また、CNNのネットワークにおける全部の畳込み層の情報である、物体の意味情報を表す高レベル特徴（上のlayer）と物体の細部情報を表現する低レベル特徴(下のlayer)を有効利用できるようになるため、より精度のよい物体分割と認識が可能となる。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上述した実施の形態では、学習部２８を物体検出認識装置１００に含める場合を例に説明したが、これに限定されるものではなく、物体検出認識装置１００とは別個の学習装置として構成するようにしてもよい。
１０ 入力部
２０ 演算部
２１ 蓄積部
２２ 画像取得部
２３ 第１階層型特徴マップ生成部
２４ 第２階層型特徴マップ生成部
２５ 統合部
２６ 物体領域検出部
２７ 物体認識部
２８ 学習部
１００ 物体検出認識装置

Claims (6)

  1. 　認識対象となる画像を、ＣＮＮ（Convolutional Neural Network）に入力して、前記ＣＮＮの各層で出力される特徴マップに基づいて、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップを生成する第１階層型特徴マップ生成部と、
    　前記ＣＮＮの各層で出力される特徴マップに基づいて、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップを生成する第２階層型特徴マップ生成部と、
    　前記深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップ、及び前記浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップについて、対応する層の特徴マップ同士を統合することにより、階層型特徴マップを生成する統合部と、
    　前記統合部により生成された階層型特徴マップに基づいて、物体候補領域を各々検出する物体領域検出部と、
    　前記統合部により生成された階層型特徴マップに基づいて、前記物体候補領域の各々について、前記物体候補領域が表す物体のカテゴリ及び領域を認識する物体認識部と、
    　を含む物体検出認識装置。
  2. 　前記第１階層型特徴マップ生成部は、深い層から浅い層まで順に特徴マップを計算し、深い層から浅い層まで順に計算された特徴マップからなる階層型特徴マップを生成し、
    　前記第２階層型特徴マップ生成部は、浅い層から深い層まで順に特徴マップを計算し、浅い層から深い層まで順に計算された特徴マップからなる階層型特徴マップを生成し、
    　前記統合部は、順番が対応する特徴マップ同士を統合することにより、階層型特徴マップを生成する請求項１記載の物体検出認識装置。
  3. 　前記第１階層型特徴マップ生成部は、深い層から浅い層まで順に、当該層の一つ前に計算された特徴マップをアップサンプリングしたものと、当該層で出力される特徴マップとを足し合わせるように計算された特徴マップを求め、深い層から浅い層まで順に計算された特徴マップからなる階層型特徴マップを生成し、
    　前記第２階層型特徴マップ生成部は、浅い層から深い層まで順に、当該層の一つ前に計算された特徴マップをダウンサンプリングしたものと、当該層で出力される特徴マップとを足し合わせるように計算された特徴マップを求め、浅い層から深い層まで順に計算された特徴マップからなる階層型特徴マップを生成する請求項２記載の物体検出認識装置。
  4. 　前記物体認識部は、
    　前記統合部により生成された階層型特徴マップに基づいて、前記物体候補領域の各々について、前記物体候補領域が表す物体のカテゴリ、位置、及び領域を認識する請求項１～請求項３の何れか１項記載の物体検出認識装置。
  5. 　第１階層型特徴マップ生成部が、認識対象となる画像を、ＣＮＮ（Convolutional Neural Network）に入力して、前記ＣＮＮの各層で出力される特徴マップに基づいて、深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップを生成し、
    　第２階層型特徴マップ生成部が、前記ＣＮＮの各層で出力される特徴マップに基づいて、浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップを生成し、
    　統合部が、前記深い層から浅い層までの階層的な特徴マップからなる階層型特徴マップ、及び前記浅い層から深い層までの階層的な特徴マップからなる階層型特徴マップについて、対応する層の特徴マップ同士を統合することにより、階層型特徴マップを生成し、
    　物体領域検出部が、前記統合部により生成された階層型特徴マップに基づいて、物体候補領域を各々検出し、
    　物体認識部が、前記統合部により生成された階層型特徴マップに基づいて、前記物体候補領域の各々について、前記物体候補領域が表す物体のカテゴリ及び領域を認識する
    　物体検出認識方法。
  6. 　コンピュータを、請求項１～請求項４のいずれか１項に記載の物体検出認識装置の各部として機能させるためのプログラム。
PCT/JP2019/051148 2019-01-10 2019-12-26 物体検出認識装置、方法、及びプログラム WO2020145180A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/422,092 US20220101628A1 (en) 2019-01-10 2019-12-26 Object detection and recognition device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-002803 2019-01-10
JP2019002803A JP7103240B2 (ja) 2019-01-10 2019-01-10 物体検出認識装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020145180A1 true WO2020145180A1 (ja) 2020-07-16

Family

ID=71521305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051148 WO2020145180A1 (ja) 2019-01-10 2019-12-26 物体検出認識装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220101628A1 (ja)
JP (1) JP7103240B2 (ja)
WO (1) WO2020145180A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
CN113192104A (zh) * 2021-04-14 2021-07-30 浙江大华技术股份有限公司 一种目标特征提取方法及其设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741712B2 (en) * 2020-09-28 2023-08-29 Nec Corporation Multi-hop transformer for spatio-temporal reasoning and localization
US20230260254A1 (en) 2020-09-29 2023-08-17 Nec Corporation Information processing device, information processing method, and program
US20230410532A1 (en) 2020-12-25 2023-12-21 Mitsubishi Electric Corporation Object detection device, monitoring device, training device, and model generation method
CN113947144B (zh) 2021-10-15 2022-05-17 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
CN114519881A (zh) * 2022-02-11 2022-05-20 深圳集智数字科技有限公司 人脸位姿估计方法、装置、电子设备及存储介质
CN116071607B (zh) * 2023-03-08 2023-08-08 中国石油大学(华东) 基于残差网络的水库航拍图像分类及图像分割方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452959B1 (en) * 2018-07-20 2019-10-22 Synapse Tehnology Corporation Multi-perspective detection of objects
CN113569798B (zh) * 2018-11-16 2024-05-24 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HE, KAIMING ET AL.: "Mask R-CNN", PROCEEDINGS OF THE 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (JCCV 2017, 22 October 2017 (2017-10-22), pages 2980 - 2988, XP033283165, ISBN: 978-1-5386-1032-9, DOI: 10.1109/ICCV.2017.322 *
LIN, TSUNGYI ET AL.: "Feature Pyramid Networks for Object Detection", PROCEEDINGS OF THE 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR 2017, 26 July 2017 (2017-07-26), pages 936 - 944, XP033249432, ISBN: 978-1-5386-0457-1, DOI: 10.1109/CVPR.2017.106 *
WU, XIONGWEI ET AL.: "Single-Shot Bidirectional Pyramid Networks for High-Quality Object Detection", ARXIV:1803.08208V1, 22 March 2018 (2018-03-22), pages 1 - 10, XP080861815, Retrieved from the Internet <URL:https://arxiv.org/pdf/1803.08208v1.pdf> [retrieved on 20200310] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
CN113192104A (zh) * 2021-04-14 2021-07-30 浙江大华技术股份有限公司 一种目标特征提取方法及其设备
CN113192104B (zh) * 2021-04-14 2023-04-28 浙江大华技术股份有限公司 一种目标特征提取方法及其设备

Also Published As

Publication number Publication date
JP7103240B2 (ja) 2022-07-20
JP2020113000A (ja) 2020-07-27
US20220101628A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
WO2020145180A1 (ja) 物体検出認識装置、方法、及びプログラム
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
US8594431B2 (en) Adaptive partial character recognition
CN111160085A (zh) 一种人体图像关键点姿态估计方法
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
US10445910B2 (en) Generating apparatus, generating method, and non-transitory computer readable storage medium
JP4877374B2 (ja) 画像処理装置及びプログラム
CN110443258B (zh) 文字检测方法、装置、电子设备及存储介质
US20220076119A1 (en) Device and method of training a generative neural network
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
KR101888647B1 (ko) 이미지 분류 장치 및 방법
CN111461211B (zh) 一种用于轻量级目标检测的特征提取方法及相应检测方法
Mondal et al. tsegGAN: a generative adversarial network for segmenting touching nontext components from text ones in handwriting
CN114863431A (zh) 一种文本检测方法、装置及设备
JP2020017136A (ja) 物体検出認識装置、方法、及びプログラム
CN116630245A (zh) 一种基于显著性图引导和不确定性语义增强的息肉分割方法
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법
JP2020095526A (ja) 画像処理装置、方法、及びプログラム
US11288534B2 (en) Apparatus and method for image processing for machine learning
JP7238510B2 (ja) 情報処理装置、情報処理方法及びプログラム
Dayananda Kumar et al. Depth based static hand gesture segmentation and recognition
Verma et al. Text deblurring using OCR word confidence
Anthony et al. An SVM multiclassifier approach to land cover mapping
JP2009282940A (ja) パターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19908474

Country of ref document: EP

Kind code of ref document: A1