JP7424374B2 - 物体検出装置、物体検出システム、物体検出方法、プログラムおよび記録媒体 - Google Patents
物体検出装置、物体検出システム、物体検出方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP7424374B2 JP7424374B2 JP2021520655A JP2021520655A JP7424374B2 JP 7424374 B2 JP7424374 B2 JP 7424374B2 JP 2021520655 A JP2021520655 A JP 2021520655A JP 2021520655 A JP2021520655 A JP 2021520655A JP 7424374 B2 JP7424374 B2 JP 7424374B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- classes
- position area
- object detection
- class definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 185
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000001537 neural effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Description
図1は、本実施形態の物体検出システム1の全体の構成を模式的に示すブロック図である。物体検出システム1は、撮像部2と、物体検出装置3とを含んで構成される。撮像部2は、物体を撮影して画像を取得するカメラで構成されている。上記画像は、例えば動画であるが、静止画であってもよい。物体検出システム1に含まれる撮像部2の台数は特に制限されず、1台であってもよいし、複数台であってもよい。
次に、本実施形態の物体検出システム1の動作について、学習時と推論時(物体検出時)とに分けて説明する。なお、以下での説明において、第1のクラス定義としては、上述の80クラス(例えば“Person”、“Bicycle”、“Car”、“Motorcycle”、“Airplane”、“Bus”、“Train”、“Truck”、“Boat”、“Traffic light”など)が定義されており、第2のクラス定義としては、上述の5クラス(例えば“Person”、“Car”、“Bus”、“Truck”、“Others”)が定義されているとする。
図2は、物体検出システム1における学習時の処理の流れを示す説明図である。まず、学習に先立って、学習用のデータセットを用意する(S1)。上記データセットは、物体を含む画像のデータと、その物体の正解クラスを示すラベルとがセットになったものである。ここでは、80クラスの画像のデータを含むデータセットを用意するが、正解クラスの定義として、上記した第1のクラス定義と第2のクラス定義との2種類が存在する。したがって、例えば“Person”の画像に対する正解クラスは、第1のクラス定義でも第2のクラス定義でも“Person”であるが、“Bicycle”の画像に対する正解クラスは、第1のクラス定義では“Bicycle”であり、第2のクラス定義では“Others”である。なお、80クラスのそれぞれについて、データセットを複数用意してもよい。例えば、80クラスのうちの1クラスを構成する“Person”について、画像の異なる複数のデータセットを用意してもよい。
図3は、物体検出システム1における推論時の処理の一例を示す説明図である。例えば、撮像部2で取得された画像が物体検出装置3に入力されると(S11)、物体位置領域検出部11は、上記画像から、第1のクラス定義に基づき、80個のクラスのいずれかに属する可能性のある物体の位置領域を、CNNでのニューロ演算によって検出する(S12;物体位置領域検出工程)。
本実施形態では、物体位置領域検出部11が第1のクラス定義に基づいて入力画像に含まれる物体の位置領域を検出し、クラス識別部12が第2のクラス定義に基づいて上記物体のクラスを識別する。この構成において、第2のクラス定義で定義されたクラスの数(例えば5個)は、第1のクラス定義で定義されたクラスの数(例えば80個)よりも少ない。また、第2のクラス定義で定義された複数のクラスは、第1のクラス定義で定義された複数のクラスの一部を集めて構成されている。
図4は、物体検出システム1における推論時の処理の他の例を示す説明図である。図4では、物体位置領域検出部11による位置領域の検出と同時に、クラス識別部12が画像に含まれる物体のクラスを識別する点以外は、図3と同様である。この構成では、クラス識別部12がクラスを識別する対象となる物体は、画像内で特定の位置領域に存在する物体ではなく、入力画像のどこかに存在する物体となるが、この場合でも、クラス識別部12を予め機械学習させておくことにより、推論時に入力画像内のどこかに位置する物体(位置領域が特定されていない物体)のクラスを識別することが可能となる。
上述した本実施形態の物体検出装置3は、例えば、所定のプログラム(アプリケーションソフトウェア)をインストールしたコンピュータ(PC)で構成することができる。上記プログラムをコンピュータ(例えばCPUとしての制御部19)が読み取って実行することにより、物体検出装置3の各部を動作させて上述した各処理(各工程)を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されてプログラム記憶部14aに記憶される。また、上記プログラムは、例えばCD-ROM(Compact Disk-Read Only Memory)などのコンピュータ読取可能な記録媒体Rに記録され、この記録媒体Rから上記プログラムをコンピュータが読み取ってプログラム記憶部14aに記憶する形態であってもよい。
以上の各実施の形態で説明した物体検出装置、物体検出システム、物体検出方法、プログラムおよび記録媒体は、以下のように表現されてもよい。
予め複数のクラスが定義された第2のクラス定義に基づいて、前記物体が前記複数のクラスのいずれに属するかを識別するクラス識別部と、
前記物体位置領域検出部の検出結果と前記クラス識別部の識別結果とに基づいて、前記物体の検出結果を出力する物体検出結果出力部とを備え、
前記第2のクラス定義で定義されたクラスの数は、前記第1のクラス定義で定義されたクラスの数よりも少なく、
前記第2のクラス定義で定義された複数のクラスは、前記第1のクラス定義で定義された複数のクラスの一部を集めて構成されていることを特徴とする物体検出装置。
前記第1のクラス定義で定義された複数のクラスの一部と同一のクラスと、
前記第1のクラス定義で定義された複数のクラスにおける他の2以上のクラスをまとめたクラスとを含むことを特徴とする前記1に記載の物体検出装置。
前記物体検出装置に入力される前記画像を取得する撮像部とを備えていることを特徴とする物体検出システム。
予め複数のクラスが定義された第2のクラス定義に基づいて、前記物体が前記複数のクラスのいずれに属するかを識別するクラス識別工程と、
前記物体位置領域検出工程での検出結果と前記クラス識別工程での識別結果とに基づいて、前記物体の検出結果を出力する物体検出結果出力工程とを含み、
前記第2のクラス定義で定義されたクラスの数は、前記第1のクラス定義で定義されたクラスの数よりも少なく、
前記第1のクラス定義で定義された各クラスは、前記第2のクラス定義で定義された各クラスのいずれかに含まれることを特徴とする物体検出方法。
前記第1のクラス定義で定義された複数のクラスの一部と同一のクラスと、
前記第1のクラス定義で定義された複数のクラスにおける他の2以上のクラスをまとめたクラスとを含むことを特徴とする前記8に記載の物体検出方法。
2 撮像部
3 物体検出装置
11 物体位置領域検出部
12 クラス識別部
13 物体検出結果出力部
Claims (11)
- 入力される画像から、前記画像に含まれる物体の位置領域を、予め複数のクラスが定義された第1のクラス定義に基づいて検出する物体位置領域検出部と、
予め複数のクラスが定義された第2のクラス定義に基づいて、前記物体が前記複数のクラスのいずれに属するかを識別するクラス識別部と、
前記物体位置領域検出部の検出結果と前記クラス識別部の識別結果とに基づいて、前記物体の検出結果を出力する物体検出結果出力部とを備え、
前記第2のクラス定義で定義されたクラスの数は、前記第1のクラス定義で定義されたクラスの数よりも少なく、
前記第2のクラス定義で定義された複数のクラスは、前記第1のクラス定義で定義された複数のクラスの一部を集めて構成されており、
前記物体位置領域検出部は、ニューラルネットワークで構成されており、
前記クラス識別部は、ニューラルネットワークで構成されている、物体検出装置。 - 前記第2のクラス定義で定義された複数のクラスは、
前記第1のクラス定義で定義された複数のクラスの一部と同一のクラスと、
前記第1のクラス定義で定義された複数のクラスにおける他の2以上のクラスをまとめたクラスとを含む、請求項1に記載の物体検出装置。 - 前記クラス識別部は、前記物体位置領域検出部による前記位置領域の検出後、前記クラスを識別する、請求項1または2に記載の物体検出装置。
- 前記クラス識別部は、前記物体位置領域検出部による前記位置領域の検出と同時に、前記クラスを識別する、請求項1から3のいずれかに記載の物体検出装置。
- 請求項1から4のいずれかに記載の物体検出装置と、
前記物体検出装置に入力される前記画像を取得する撮像部とを備えている、物体検出システム。 - 入力される画像から、前記画像に含まれる物体の位置領域を、予め複数のクラスが定義された第1のクラス定義に基づいて検出する物体位置領域検出工程と、
予め複数のクラスが定義された第2のクラス定義に基づいて、前記物体が前記複数のクラスのいずれに属するかを識別するクラス識別工程と、
前記物体位置領域検出工程の検出結果と前記クラス識別工程の識別結果とに基づいて、前記物体の検出結果を出力する物体検出結果出力工程とを含み、
前記第2のクラス定義で定義されたクラスの数は、前記第1のクラス定義で定義されたクラスの数よりも少なく、
前記第2のクラス定義で定義された複数のクラスは、前記第1のクラス定義で定義された複数のクラスの一部を集めて構成されており、
前記物体位置領域検出工程では、ニューロ演算により、前記位置領域を検出し、
前記クラス識別工程では、ニューロ演算により、前記クラスを識別する、物体検出方法。 - 前記第2のクラス定義で定義された複数のクラスは、
前記第1のクラス定義で定義された複数のクラスの一部と同一のクラスと、
前記第1のクラス定義で定義された複数のクラスにおける他の2以上のクラスをまとめたクラスとを含む、請求項6に記載の物体検出方法。 - 前記クラス識別工程を、前記物体位置領域検出工程の後に行う、請求項6または7に記載の物体検出方法。
- 前記クラス識別工程を、前記物体位置領域検出工程と同時に行う、請求項6から8のいずれかに記載の物体検出方法。
- 請求項6から9のいずれかに記載の物体検出方法をコンピュータに実行させるためのプログラム。
- 請求項10に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096590 | 2019-05-23 | ||
JP2019096590 | 2019-05-23 | ||
PCT/JP2020/016569 WO2020235268A1 (ja) | 2019-05-23 | 2020-04-15 | 物体検出装置、物体検出システム、物体検出方法、プログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020235268A1 JPWO2020235268A1 (ja) | 2020-11-26 |
JP7424374B2 true JP7424374B2 (ja) | 2024-01-30 |
Family
ID=73458500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520655A Active JP7424374B2 (ja) | 2019-05-23 | 2020-04-15 | 物体検出装置、物体検出システム、物体検出方法、プログラムおよび記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220215648A1 (ja) |
EP (1) | EP3975111A4 (ja) |
JP (1) | JP7424374B2 (ja) |
WO (1) | WO2020235268A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220207863A1 (en) * | 2019-05-23 | 2022-06-30 | Konica Minolta, Inc. | Object detection device, object detection method, program, and recording medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015147333A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 売上登録装置、プログラム及び売上登録方法 |
JP2019032773A (ja) | 2017-08-09 | 2019-02-28 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2019036167A (ja) | 2017-08-17 | 2019-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2019049604A (ja) | 2017-09-08 | 2019-03-28 | 国立研究開発法人情報通信研究機構 | 命令文推定システムおよび命令文推定方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4764273B2 (ja) * | 2006-06-30 | 2011-08-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
JP2011081763A (ja) * | 2009-09-09 | 2011-04-21 | Sony Corp | 情報処理装置、情報処理方法及び情報処理プログラム |
JP5554987B2 (ja) | 2009-12-28 | 2014-07-23 | キヤノン株式会社 | オブジェクト識別装置及びその制御方法 |
JP5786495B2 (ja) | 2011-06-30 | 2015-09-30 | 富士通株式会社 | 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム |
US10074041B2 (en) | 2015-04-17 | 2018-09-11 | Nec Corporation | Fine-grained image classification by exploring bipartite-graph labels |
US10410096B2 (en) | 2015-07-09 | 2019-09-10 | Qualcomm Incorporated | Context-based priors for object detection in images |
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
US10353950B2 (en) * | 2016-06-28 | 2019-07-16 | Google Llc | Visual recognition using user tap locations |
WO2018121013A1 (en) * | 2016-12-29 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for detecting objects in images |
JP6615800B2 (ja) * | 2017-01-11 | 2019-12-04 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
JP7142420B2 (ja) | 2017-07-10 | 2022-09-27 | キヤノン株式会社 | 画像処理装置、学習方法、学習済モデル、画像処理方法 |
US11087130B2 (en) * | 2017-12-29 | 2021-08-10 | RetailNext, Inc. | Simultaneous object localization and attribute classification using multitask deep neural networks |
US10762662B2 (en) * | 2018-03-14 | 2020-09-01 | Tata Consultancy Services Limited | Context based position estimation of target of interest in videos |
US11100325B2 (en) * | 2018-12-07 | 2021-08-24 | International Business Machines Corporation | Photographic results by composition analysis using deep learning neural networks |
-
2020
- 2020-04-15 WO PCT/JP2020/016569 patent/WO2020235268A1/ja unknown
- 2020-04-15 EP EP20808896.3A patent/EP3975111A4/en active Pending
- 2020-04-15 JP JP2021520655A patent/JP7424374B2/ja active Active
- 2020-04-15 US US17/605,471 patent/US20220215648A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015147333A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 売上登録装置、プログラム及び売上登録方法 |
JP2019032773A (ja) | 2017-08-09 | 2019-02-28 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2019036167A (ja) | 2017-08-17 | 2019-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2019049604A (ja) | 2017-09-08 | 2019-03-28 | 国立研究開発法人情報通信研究機構 | 命令文推定システムおよび命令文推定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220215648A1 (en) | 2022-07-07 |
WO2020235268A1 (ja) | 2020-11-26 |
EP3975111A1 (en) | 2022-03-30 |
EP3975111A4 (en) | 2022-07-20 |
JPWO2020235268A1 (ja) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3488387B1 (en) | Method for detecting object in image and objection detection system | |
Singh et al. | Image classification: a survey | |
US20230085687A1 (en) | Machine learning prediction and document rendering improvement based on content order | |
WO2020047854A1 (en) | Detecting objects in video frames using similarity detectors | |
EP3702953B1 (en) | Electronic device for obfuscating and decoding data and method for controlling same | |
CN110378346A (zh) | 建立文字识别模型的方法、装置、设备和计算机存储介质 | |
US11899787B2 (en) | Information processing system, inference method, attack detection method, inference execution program and attack detection program | |
LU101705B1 (en) | Document control item | |
US20240037186A1 (en) | Video domain adaptation via contrastive learning | |
JP7491308B2 (ja) | 物体検出装置、物体検出方法、プログラムおよび記録媒体 | |
JP7424374B2 (ja) | 物体検出装置、物体検出システム、物体検出方法、プログラムおよび記録媒体 | |
Ramah et al. | One step further towards real-time driving maneuver recognition using phone sensors | |
US20220114255A1 (en) | Machine learning fraud resiliency using perceptual descriptors | |
TW202303456A (zh) | 最佳化神經網路模型的方法 | |
CN113570512A (zh) | 一种图像数据处理方法、计算机及可读存储介质 | |
US11568303B2 (en) | Electronic apparatus and control method thereof | |
US11481602B2 (en) | System and method for hierarchical category classification of products | |
JP2023540933A (ja) | 多様な人分析のための勾配分割によるマルチタスク学習 | |
JP6826389B2 (ja) | 推定装置、推定方法、及び推定プログラム | |
KR102428325B1 (ko) | 인공지능 기반의 그림 테스트를 이용한 인지장애 판별 방법 및 장치 | |
JP2020140488A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7270127B2 (ja) | 分類システム、分類方法、及びプログラム | |
US20230385546A1 (en) | System and method for context insertion for contrastive siamese network training | |
WO2017183280A1 (ja) | 画像認識装置及びプログラム | |
KR20230084661A (ko) | 다중 필터링을 이용한 개인정보 탐지 강화 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7424374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |