JPWO2019146057A1 - 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム - Google Patents
学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム Download PDFInfo
- Publication number
- JPWO2019146057A1 JPWO2019146057A1 JP2019567481A JP2019567481A JPWO2019146057A1 JP WO2019146057 A1 JPWO2019146057 A1 JP WO2019146057A1 JP 2019567481 A JP2019567481 A JP 2019567481A JP 2019567481 A JP2019567481 A JP 2019567481A JP WO2019146057 A1 JPWO2019146057 A1 JP WO2019146057A1
- Authority
- JP
- Japan
- Prior art keywords
- learning
- image
- feature amount
- domain
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (7)
- 画像の入力に応じて所与の複数のクラスのそれぞれに対応する特徴マップを含む特徴量データを出力する特徴量抽出部と、当該特徴量データの入力に応じて前記複数のクラスについての当該画像の分類処理の結果を出力する分類部と、を含む分類装置の学習を実行する学習装置であって、
ソースドメインに属する分類学習画像の入力に応じて前記特徴量抽出部が出力する前記特徴量データを前記分類部に入力した際の出力と、当該分類学習画像に対応付けられる前記複数のクラスについての教師データと、の比較結果に基づいて、前記特徴量抽出部及び前記分類部の学習を実行する分類学習部と、
それぞれ前記ソースドメイン又はターゲットドメインのいずれかに属するドメイン学習画像の入力に応じて前記特徴量抽出部が出力する前記特徴量データを、それぞれ1又は複数の前記クラスの前記特徴マップを含む当該ドメイン学習画像に対応する複数の部分特徴量データに分割する分割部と、
前記ソースドメインに属する画像と前記ターゲットドメインに属する画像とを識別するドメイン識別部に当該ドメイン学習画像に対応する前記部分特徴量データを入力した際の出力と、当該ドメイン学習画像が前記ソースドメインに属するか前記ターゲットドメインに属するかを示すデータと、の比較結果に基づいて、前記特徴量抽出部の学習を実行するドメイン識別学習部と、
を含むことを特徴とする学習装置。 - 前記ドメイン識別学習部は、複数の前記部分特徴量データのそれぞれについての、当該部分特徴量データを前記ドメイン識別部に入力した際の出力に応じた目的関数の値の重み付き和に基づいて、前記特徴量抽出部の学習を実行する、
ことを特徴とする請求項1に記載の学習装置。 - 前記ドメイン識別部は、前記分割部により分割される複数の前記部分特徴量データにそれぞれ対応する複数のサブドメイン識別部、を含み、
前記ドメイン識別学習部は、前記部分特徴量データを当該部分特徴量データに対応する前記サブドメイン識別部に入力した際の出力に基づいて、前記特徴量抽出部の学習を実行する、
ことを特徴とする請求項1に記載の学習装置。 - サーバと、複数の装置と、を含み、
前記サーバは、
CG画像によって学習済である、CG画像の入力に応じて所与の複数のクラスのそれぞれに対応する特徴マップを含む特徴量データを出力するCG特徴量抽出部と、当該特徴量データの入力に応じて前記特徴量抽出部に入力された画像についての前記複数のクラスへの分類処理の結果を出力する分類部と、を含む機械学習モデルを、前記複数の装置のそれぞれに送信する送信部、を含み、
前記複数の装置のそれぞれは、
前記サーバが送信する前記機械学習モデルを受信する受信部と、
当該装置を利用するユーザの環境における実写画像と、学習済の前記機械学習モデルと、に基づいて、当該ユーザの環境における実写画像の入力に応じて所与の複数のクラスのそれぞれに対応する特徴マップを含む特徴量データを出力する実写特徴量抽出部の学習を実行する学習部と、
学習済の前記実写特徴量抽出部と、前記機械学習モデルに含まれる学習済の前記分類部と、に基づいて、前記ユーザの環境における実写画像についての前記複数のクラスへの分類処理を実行する実写画像分類装置を生成する生成部と、
を含むことを特徴とする実写画像分類装置の生成システム。 - CG画像によって学習済である、CG画像の入力に応じて所与の複数のクラスのそれぞれに対応する特徴マップを含む特徴量データを出力するCG特徴量抽出部と、当該特徴量データの入力に応じて前記特徴量抽出部に入力された画像についての前記複数のクラスへの分類処理の結果を出力する分類部と、を含む機械学習モデルをサーバから受信する受信部と、
ユーザの環境における実写画像と、学習済である前記機械学習モデルと、に基づいて、当該ユーザの環境における実写画像の入力に応じて所与の複数のクラスのそれぞれに対応する特徴マップを含む特徴量データを出力する実写特徴量抽出部の学習を実行する学習部と、
学習済の前記実写特徴量抽出部と、前記機械学習モデルに含まれる学習済の前記分類部と、に基づいて、前記ユーザの環境における実写画像についての前記複数のクラスへの分類処理を実行する実写画像分類装置を生成する生成部と、
を含むことを特徴とする実写画像分類装置の生成装置。 - 画像の入力に応じて所与の複数のクラスのそれぞれに対応する特徴マップを含む特徴量データを出力する特徴量抽出部と、当該特徴量データの入力に応じて前記複数のクラスについての当該画像の分類処理の結果を出力する分類部と、を含む分類装置の学習を実行する学習方法であって、
ソースドメインに属する分類学習画像の入力に応じて前記特徴量抽出部が出力する前記特徴量データを前記分類部に入力した際の出力と、当該分類学習画像に対応付けられる前記複数のクラスについての教師データと、の比較結果に基づいて、前記特徴量抽出部及び前記分類部の学習を実行するステップと、
それぞれ前記ソースドメイン又はターゲットドメインのいずれかに属するドメイン学習画像の入力に応じて前記特徴量抽出部が出力する前記特徴量データを、それぞれ1又は複数の前記クラスの前記特徴マップを含む当該ドメイン学習画像に対応する複数の部分特徴量データに分割するステップと、
前記ソースドメインに属する画像と前記ターゲットドメインに属する画像とを識別するドメイン識別部に当該ドメイン学習画像に対応する前記部分特徴量データを入力した際の出力と、当該ドメイン学習画像が前記ソースドメインに属するか前記ターゲットドメインに属するかを示すデータと、の比較結果に基づいて、前記特徴量抽出部の学習を実行するステップと、
を含むことを特徴とする学習方法。 - 画像の入力に応じて所与の複数のクラスのそれぞれに対応する特徴マップを含む特徴量データを出力する特徴量抽出部と、当該特徴量データの入力に応じて前記複数のクラスについての当該画像の分類処理の結果を出力する分類部と、を含む分類装置の学習をコンピュータに実行させるプログラムであって、
ソースドメインに属する分類学習画像の入力に応じて前記特徴量抽出部が出力する前記特徴量データを前記分類部に入力した際の出力と、当該分類学習画像に対応付けられる前記複数のクラスについての教師データと、の比較結果に基づいて、前記特徴量抽出部及び前記分類部の学習を実行する手順、
それぞれ前記ソースドメイン又はターゲットドメインのいずれかに属するドメイン学習画像の入力に応じて前記特徴量抽出部が出力する前記特徴量データを、それぞれ1又は複数の前記クラスの前記特徴マップを含む当該ドメイン学習画像に対応する複数の部分特徴量データに分割する手順、
前記ソースドメインに属する画像と前記ターゲットドメインに属する画像とを識別するドメイン識別部に当該ドメイン学習画像に対応する前記部分特徴量データを入力した際の出力と、当該ドメイン学習画像が前記ソースドメインに属するか前記ターゲットドメインに属するかを示すデータと、の比較結果に基づいて、前記特徴量抽出部の学習を実行する手順、
を前記コンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/002409 WO2019146057A1 (ja) | 2018-01-26 | 2018-01-26 | 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019146057A1 true JPWO2019146057A1 (ja) | 2020-10-01 |
JP7013489B2 JP7013489B2 (ja) | 2022-02-15 |
Family
ID=67395866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019567481A Active JP7013489B2 (ja) | 2018-01-26 | 2018-01-26 | 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11308367B2 (ja) |
JP (1) | JP7013489B2 (ja) |
WO (1) | WO2019146057A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7166738B2 (ja) * | 2019-10-15 | 2022-11-08 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN111444859A (zh) * | 2020-03-30 | 2020-07-24 | 哈尔滨工程大学 | 一种无监督跨域人脸表情识别方法 |
JP7396479B2 (ja) * | 2020-06-03 | 2023-12-12 | 日本電気株式会社 | 学習装置、学習済みモデル生成方法、及び、プログラム |
JP7457809B2 (ja) * | 2020-07-03 | 2024-03-28 | 株式会社ソニー・インタラクティブエンタテインメント | 追加撮影要否通知装置、追加撮影要否通知方法及びプログラム |
US11733957B2 (en) * | 2021-09-27 | 2023-08-22 | International Business Machines Corporation | Real time sharing of relevant information in virtual meetings |
CN114882452B (zh) * | 2022-05-17 | 2022-12-30 | 张弛 | 轨道线路安全监测方法、列车运行控制方法及控制系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014137756A (ja) * | 2013-01-17 | 2014-07-28 | Canon Inc | 画像処理装置および画像処理方法 |
JP2016139176A (ja) * | 2015-01-26 | 2016-08-04 | シャープ株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6044556B2 (ja) * | 2014-01-16 | 2016-12-14 | 株式会社デンソー | 学習システム、車載装置、及び、サーバ |
US10970589B2 (en) * | 2016-07-28 | 2021-04-06 | Google Llc | Domain separation neural networks |
US10832166B2 (en) * | 2016-12-20 | 2020-11-10 | Conduent Business Services, Llc | Method and system for text classification based on learning of transferable feature representations from a source domain |
US20180330205A1 (en) * | 2017-05-15 | 2018-11-15 | Siemens Aktiengesellschaft | Domain adaptation and fusion using weakly supervised target-irrelevant data |
-
2018
- 2018-01-26 US US16/960,220 patent/US11308367B2/en active Active
- 2018-01-26 JP JP2019567481A patent/JP7013489B2/ja active Active
- 2018-01-26 WO PCT/JP2018/002409 patent/WO2019146057A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014137756A (ja) * | 2013-01-17 | 2014-07-28 | Canon Inc | 画像処理装置および画像処理方法 |
JP2016139176A (ja) * | 2015-01-26 | 2016-08-04 | シャープ株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム |
Non-Patent Citations (2)
Title |
---|
YSASAKI6023: "Chainerでfine−tuningを行う", [オンライン], JPN6018015016, 31 December 2016 (2016-12-31), ISSN: 0004524568 * |
中山 英樹: "深層畳み込みニューラルネットによる画像特徴抽出と転移学習", 電子情報通信学会技術研究報告, vol. 第115巻 第146号, JPN6018015013, 9 July 2015 (2015-07-09), JP, pages 55 - 59, ISSN: 0004524567 * |
Also Published As
Publication number | Publication date |
---|---|
US11308367B2 (en) | 2022-04-19 |
US20210064912A1 (en) | 2021-03-04 |
JP7013489B2 (ja) | 2022-02-15 |
WO2019146057A1 (ja) | 2019-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7013489B2 (ja) | 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム | |
Xiang et al. | Learning rgb-d feature embeddings for unseen object instance segmentation | |
US9111375B2 (en) | Evaluation of three-dimensional scenes using two-dimensional representations | |
CN106358444B (zh) | 用于面部验证的方法和系统 | |
CN111144242B (zh) | 一种三维目标检测方法、装置及终端 | |
TWI786330B (zh) | 一種圖像處理方法、電子設備及存儲介質 | |
Liu et al. | Adversarial shape perturbations on 3d point clouds | |
CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
CN109359214A (zh) | 基于神经网络的视频描述生成方法、存储介质及终端设备 | |
US11403560B2 (en) | Training apparatus, image recognition apparatus, training method, and program | |
CN111783551A (zh) | 基于贝叶斯卷积神经网络的对抗样本防御方法 | |
JP7226696B2 (ja) | 機械学習方法、機械学習システム及び非一時的コンピュータ可読記憶媒体 | |
CN111223128A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
JPWO2020240808A1 (ja) | 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム | |
CN112132145A (zh) | 一种基于模型扩展卷积神经网络的图像分类方法及系统 | |
CN110852351A (zh) | 基于图像的垃圾分类方法、装置、终端设备和存储介质 | |
CN114360053A (zh) | 一种动作识别方法、终端及存储介质 | |
CN111401122B (zh) | 一种基于知识分类的复杂目标渐近识别方法及装置 | |
CN112699800A (zh) | 一种车辆查找方法、装置、存储介质及终端 | |
Wang et al. | Feature enhancement: predict more detailed and crisper edges | |
CN118591828A (zh) | 用于分割的双级别模型 | |
Liu et al. | Spatiotemporal saliency based multi-stream networks for action recognition | |
CN113807407A (zh) | 目标检测模型训练方法、模型性能检测方法及装置 | |
CN113837236A (zh) | 图像中目标对象的识别方法、装置、终端设备及存储介质 | |
Loong et al. | Image‐based structural analysis for education purposes: A proof‐of‐concept study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7013489 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |