JP6439820B2 - 対象識別方法、対象識別装置、及び分類器訓練方法 - Google Patents
対象識別方法、対象識別装置、及び分類器訓練方法 Download PDFInfo
- Publication number
- JP6439820B2 JP6439820B2 JP2017078711A JP2017078711A JP6439820B2 JP 6439820 B2 JP6439820 B2 JP 6439820B2 JP 2017078711 A JP2017078711 A JP 2017078711A JP 2017078711 A JP2017078711 A JP 2017078711A JP 6439820 B2 JP6439820 B2 JP 6439820B2
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- flow diagram
- depth information
- convolutional neural
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Biodiversity & Conservation Biology (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Description
(外1)
は原オプティカルフローの幅値を表し、dは該画素点の深度を表し、fxとfyはそれぞれカメラの焦点距離を表す。上記等式(1)から分かるように、カメラから比較的近い対象より、カメラから比較的遠い対象のオプティカルフローの幅値はさらに多くの補償が与えられる。
Claims (12)
- 識別しようとする対象の領域を含む原画像及び相応の深度情報とオプティカルフロー図を取得するステップと、
前記深度情報を用いて前記オプティカルフロー図に対して補償操作を行って補償後のオプティカルフロー図を得るステップと、
畳み込みニューラルネットワークを用いて少なくとも前記補償後のオプティカルフロー図における特徴成分を抽出するステップと、
分類器を用いて抽出した特徴成分を分類して、前記対象を識別するための分類結果を得るステップと、を含み、
前記深度情報を用いて前記原画像に対して二値化操作を行って、二値化画像を得るステップと、
前記二値化画像を用いて、畳み込みニューラルネットワークで抽出した特徴成分をフィルタリングして、フィルタリング後の特徴成分を取得するステップと、をさらに含み、
前記分類器は、フィルタリングした特徴成分を分類して、前記対象を識別するための分類結果を得る、対象識別方法。 - 前記補償操作が正規化操作であり、
前記正規化操作は、
前記オプティカルフロー図における各画素点のオプティカルフロー値に対して、前記画素点の深度情報を用いて前記オプティカルフロー値に対して正規化を行って、各画素点の正規化のオプティカルフロー値を得るステップを含む、請求項1に記載の対象識別方法。 - 前記二値化操作は、
前記深度情報に基づいて前記原画像を複数のブロックに分割するステップと、
前記複数のブロックから予め定められた拘束条件を満たす一つのブロックを選択するステップと、
前記選択したブロックに基づいて前記二値化画像を生成するステップと、を含む、請求項1に記載の対象識別方法。 - 前記畳み込みニューラルネットワークの構造に基づいて、前記二値化画像に対してダウンサンプリング操作を行って、ダウンサンプリングした二値化画像を得るステップをさらに含み、
前記前記二値化画像を用いて畳み込みニューラルネットワークで抽出した特徴成分をフィルタリングすることは、前記ダウンサンプリングした二値化画像を用いて畳み込みニューラルネットワークで抽出した特徴成分に対してフィルタリングすることを含む、請求項1に記載の対象識別方法。 - 前記ダウンサンプリング操作は、
前記畳み込みニューラルネットワークの構造に基づいて前記二値化画像を所定の数量のサブレンジに分割するステップと、
各サブレンジ内の二値化画素値に対して投票操作を行うステップと、
投票結果に基づいて前記サブレンジのダウンサンプリング後の二値化画素値を得るステップと、を含む、請求項4に記載の対象識別方法。 - 前記分類結果は分類信頼度を含み、
前記対象識別方法は、
分類器が前記識別しようとする対象を含む複数の領域の各領域で得た分類信頼度に基づき、動的ANMS処理を実行して、抑制後の分類結果を得て前記対象を識別するための分類結果とするステップをさらに含む、請求項1に記載の対象識別方法。 - 既知の対象の領域を含む原画像及び相応の深度情報とオプティカルフロー図を取得するステップと、
前記深度情報を用いて前記オプティカルフロー図に対して補償操作を行って補償後のオプティカルフロー図を得るステップと、
畳み込みニューラルネットワークを用いて少なくとも前記補償後のオプティカルフロー図における特徴成分を抽出するステップと、
抽出した特徴成分を用いて分類器を訓練するステップと、を含み、
前記深度情報を用いて前記原画像に対して二値化操作を行って、二値化画像を得るステップと、
前記二値化画像を用いて、畳み込みニューラルネットワークで抽出した特徴成分をフィルタリングして、フィルタリング後の特徴成分を取得するステップと、をさらに含み、
フィルタリングした特徴成分を用いて前記分類器を訓練する、分類器訓練方法。 - 識別しようとする対象の領域を含む原画像及び相応の深度情報とオプティカルフロー図を取得する取得部と、
前記深度情報を用いて前記オプティカルフロー図に対して補償操作を行って補償後のオプティカルフロー図を得る補償部と、
畳み込みニューラルネットワークを用いて少なくとも前記補償後のオプティカルフロー図における特徴成分を抽出する抽出部と、
分類器を用いて抽出した特徴成分を分類して、前記対象を識別するための分類結果を得る識別部と、を含み、
前記深度情報を用いて前記原画像に対して二値化操作を行って、二値化画像を得る二値化部をさらに含み、
前記抽出部は、さらに、前記二値化画像を用いて、畳み込みニューラルネットワークで抽出した特徴成分をフィルタリングして、フィルタリング後の特徴成分を取得し、
前記分類器は、フィルタリングした特徴成分を分類して、前記対象を識別するための分類結果を得る、対象識別装置。 - 識別しようとする対象の領域を含む原画像及び相応の深度情報とオプティカルフロー図を記憶するように配置されているメモリと、
前記メモリにカップリングされているプロセッサと、を備え、
前記プロセッサは、
前記深度情報を用いて前記オプティカルフロー図に対して補償操作を行って補償後のオプティカルフロー図を取得し、
畳み込みニューラルネットワークを用いて少なくとも前記補償後のオプティカルフロー図における特徴成分を抽出し、
分類器を用いて抽出した特徴成分を分類して、前記対象を識別するための分類結果を得るように配置されており、
前記プロセッサは、さらに、
前記深度情報を用いて前記原画像に対して二値化操作を行って、二値化画像を取得し、
前記二値化画像を用いて、畳み込みニューラルネットワークで抽出した特徴成分をフィルタリングして、フィルタリング後の特徴成分を取得するように構成されており、
前記分類器は、フィルタリングした特徴成分を分類して、前記対象を識別するための分類結果を得る、対象識別装置。 - プログラムであって、
コンピュータに、請求項1〜6のうちの任意の一項に記載の対象識別方法を実行させるためのプログラム。 - プログラムであって、
コンピュータに、請求項7に記載の分類器訓練方法を実行させるためのプログラム。 - 請求項10又は11に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610236625.7A CN107305635A (zh) | 2016-04-15 | 2016-04-15 | 对象识别方法、对象识别装置和分类器训练方法 |
CN201610236625.7 | 2016-04-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017191608A JP2017191608A (ja) | 2017-10-19 |
JP6439820B2 true JP6439820B2 (ja) | 2018-12-19 |
Family
ID=58489166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017078711A Active JP6439820B2 (ja) | 2016-04-15 | 2017-04-12 | 対象識別方法、対象識別装置、及び分類器訓練方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3232371A1 (ja) |
JP (1) | JP6439820B2 (ja) |
CN (1) | CN107305635A (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6889653B2 (ja) * | 2017-11-24 | 2021-06-18 | Kddi株式会社 | 動画像圧縮装置及び動画像圧縮方法 |
CN107992899A (zh) * | 2017-12-15 | 2018-05-04 | 四川大学 | 一种机场场面运动目标检测识别方法 |
US11429807B2 (en) | 2018-01-12 | 2022-08-30 | Microsoft Technology Licensing, Llc | Automated collection of machine learning training data |
US11481571B2 (en) * | 2018-01-12 | 2022-10-25 | Microsoft Technology Licensing, Llc | Automated localized machine learning training |
JP7107544B2 (ja) * | 2018-01-16 | 2022-07-27 | Necソリューションイノベータ株式会社 | 情報処理装置、制御方法、及びプログラム |
CN108416266B (zh) * | 2018-01-30 | 2021-10-08 | 同济大学 | 一种利用光流提取运动目标的视频行为快速识别方法 |
CN110135446B (zh) * | 2018-02-09 | 2021-01-22 | 北京世纪好未来教育科技有限公司 | 文本检测方法及计算机存储介质 |
KR102044626B1 (ko) * | 2018-04-25 | 2019-11-13 | 연세대학교 산학협력단 | 학습을 이용한 조인트 필터링 장치 및 방법 |
CN108764365A (zh) * | 2018-06-06 | 2018-11-06 | 国网福建省电力有限公司厦门供电公司 | 一种设备标识牌检测方法 |
CN109308463B (zh) * | 2018-09-12 | 2021-08-13 | 北京奇艺世纪科技有限公司 | 一种视频目标识别方法、装置及设备 |
CN109190581B (zh) * | 2018-09-17 | 2023-05-30 | 金陵科技学院 | 图像序列目标检测识别方法 |
KR102195940B1 (ko) * | 2018-09-18 | 2020-12-28 | 전남대학교 산학협력단 | 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법 |
JP7258509B2 (ja) * | 2018-10-15 | 2023-04-17 | オムロン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
KR102163573B1 (ko) * | 2018-11-23 | 2020-10-12 | 연세대학교 산학협력단 | 실시간 객체 탐지 시스템 학습을 위한 합성 데이터 생성 장치 및 방법 |
CN109766920A (zh) * | 2018-12-18 | 2019-05-17 | 任飞翔 | 基于深度学习的物品特征模型计算方法及装置 |
CN109740664B (zh) * | 2018-12-28 | 2023-01-10 | 东莞中国科学院云计算产业技术创新与育成中心 | 柔性物体分类方法、装置、计算机设备和存储介质 |
CN109675819B (zh) * | 2019-01-29 | 2023-06-23 | 南京林业大学 | 基于深度相机的黑果枸杞分选装置及识别与分类算法 |
CN110135386B (zh) * | 2019-05-24 | 2021-09-03 | 长沙学院 | 一种基于深度学习的人体动作识别方法和系统 |
CN110223279B (zh) * | 2019-05-31 | 2021-10-08 | 上海商汤智能科技有限公司 | 一种图像处理方法和装置、电子设备 |
CN111126411B (zh) * | 2019-11-07 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种异常行为识别方法及装置 |
CN113657138B (zh) * | 2020-05-12 | 2024-05-21 | 哈尔滨工程大学 | 基于等势星球图的辐射源个体识别方法 |
CN111598103A (zh) * | 2020-06-18 | 2020-08-28 | 上海眼控科技股份有限公司 | 车架号码识别方法、装置、计算机设备和存储介质 |
CN112396050B (zh) * | 2020-12-02 | 2023-09-15 | 度小满科技(北京)有限公司 | 图像的处理方法、设备以及存储介质 |
WO2023089706A1 (ja) * | 2021-11-17 | 2023-05-25 | 日本電信電話株式会社 | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE602008005318D1 (de) * | 2007-08-22 | 2011-04-14 | Honda Res Inst Europe Gmbh | Schätzung der ordnungsgemässen bewegung von objekten mithilfe optischer fluss-, kinematik- und tiefeninformationen |
JP5155110B2 (ja) * | 2008-11-17 | 2013-02-27 | 株式会社日立国際電気 | 監視装置 |
WO2013029008A1 (en) * | 2011-08-25 | 2013-02-28 | Cornell University | Retinal encoder for machine vision |
US9165369B1 (en) * | 2013-03-14 | 2015-10-20 | Hrl Laboratories, Llc | Multi-object detection and recognition using exclusive non-maximum suppression (eNMS) and classification in cluttered scenes |
WO2016054778A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Generic object detection in images |
CN104504366A (zh) * | 2014-11-24 | 2015-04-08 | 上海闻泰电子科技有限公司 | 基于光流特征的笑脸识别系统及方法 |
CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
-
2016
- 2016-04-15 CN CN201610236625.7A patent/CN107305635A/zh active Pending
-
2017
- 2017-03-31 EP EP17164139.2A patent/EP3232371A1/en not_active Withdrawn
- 2017-04-12 JP JP2017078711A patent/JP6439820B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN107305635A (zh) | 2017-10-31 |
JP2017191608A (ja) | 2017-10-19 |
EP3232371A1 (en) | 2017-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6439820B2 (ja) | 対象識別方法、対象識別装置、及び分類器訓練方法 | |
US10970871B2 (en) | Estimating two-dimensional object bounding box information based on bird's-eye view point cloud | |
KR102338665B1 (ko) | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 | |
Yang et al. | Depth recovery using an adaptive color-guided auto-regressive model | |
US8718356B2 (en) | Method and apparatus for 2D to 3D conversion using scene classification and face detection | |
CN105404888B (zh) | 结合颜色和深度信息的显著性目标检测方法 | |
CN108242062A (zh) | 基于深度特征流的目标跟踪方法、系统、终端及介质 | |
CN103020606B (zh) | 一种基于时空上下文信息的行人检测方法 | |
JP6194604B2 (ja) | 認識装置、車両及びコンピュータが実行可能なプログラム | |
JP2013109760A (ja) | 対象検知方法及び対象検知システム | |
CN103578116A (zh) | 用于跟踪对象的设备和方法 | |
KR101285106B1 (ko) | 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치 | |
CN105187785A (zh) | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 | |
US9323989B2 (en) | Tracking device | |
US20180173982A1 (en) | System and method for 1d root association providing sparsity guarantee in image data | |
EP3836083A1 (en) | Disparity estimation system and method, electronic device and computer program product | |
KR101699014B1 (ko) | 스테레오 카메라를 이용한 객체 검출 방법 및 장치 | |
CN113673584A (zh) | 一种图像检测方法及相关装置 | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
JP6361313B2 (ja) | 車両検出方法及び装置 | |
Kumar et al. | Traffic surveillance and speed limit violation detection system | |
US20120056995A1 (en) | Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety | |
US10504235B2 (en) | Method for generating three dimensional images | |
KR20140026078A (ko) | 객체 추출 장치 및 방법 | |
KR101289386B1 (ko) | 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181105 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6439820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |