JP7128708B2 - 機械学習用の訓練データの効率的な収集のための拡張現実を使用したシステム及び方法 - Google Patents
機械学習用の訓練データの効率的な収集のための拡張現実を使用したシステム及び方法 Download PDFInfo
- Publication number
- JP7128708B2 JP7128708B2 JP2018188871A JP2018188871A JP7128708B2 JP 7128708 B2 JP7128708 B2 JP 7128708B2 JP 2018188871 A JP2018188871 A JP 2018188871A JP 2018188871 A JP2018188871 A JP 2018188871A JP 7128708 B2 JP7128708 B2 JP 7128708B2
- Authority
- JP
- Japan
- Prior art keywords
- vertices
- image
- images
- marked
- physical object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
Claims (10)
- 訓練データの効率的な収集を促進するためのコンピュータ実施方法であって、
記録デバイスによって、3次元(3D)世界座標フレームに関連している場面にある物理オブジェクトの第1の画像を取得することと、
前記記録デバイスのユーザによって、前記第1の画像上において、前記物理オブジェクトに関連した複数の頂点に印を付けることであって、頂点が、前記3D世界座標フレームに基づく3D座標を有する、印を付けることと、
前記記録デバイスによって、前記場面の1つ以上の特性を変更しながら、前記場面にある前記物理オブジェクトの複数の第2の画像を取得することと、
前記物理オブジェクトに関連した前記印付きの複数の頂点を前記それぞれの第2の画像上に投射し、
前記物理オブジェクトに関連し、前記印付きの頂点を含む2次元(2D)境界エリアをディスプレイに示すこと、
によって、前記場面にある前記物理オブジェクトのそれぞれの第2の画像を前記記録デバイスの前記ディスプレイに表示することと、
訓練データ集合に前記印付きの複数の頂点を有する前記第1の画像及び前記投射された印付きの頂点を有する前記複数の第2の画像を格納することと、
前記訓練データ集合に基づいて、畳み込みニューラルネットワークを訓練して前記物理オブジェクトの特徴を特定することと、
を含む、コンピュータ実施方法。 - 前記印付きの複数の頂点が、前記物理オブジェクト上の1つ以上の関心領域に対応し、
前記印付きの頂点を投射することが、前記物理オブジェクト上に、前記1つ以上の関心領域に関連した2D境界エリアを示すことをさらに含む、請求項1に記載の方法。 - 前記印付きの複数の頂点が、
ポリゴンと、
表平面の一部と、
ボリュームと、のうちの1つ以上を示すことができる、請求項1に記載の方法。 - 前記複数の頂点に印を付けることが、
前記それぞれの第2の画像上に、前記投射された印付きの頂点の前記2D境界エリアをどのように示すかを決定することをさらに含む、請求項1に記載の方法。 - 前記2D境界エリア及び前記それぞれの第2の画像が、前記記録デバイスに関連したディスプレイ上に提示され、
前記2D境界エリアが、2D形または3Dボリュームを示す、請求項1に記載の方法。 - 訓練データの効率的な収集を促進するためのコンピュータシステムであって、
プロセッサと、
前記プロセッサによって実行されると、前記プロセッサに、方法を行わせる命令を格納している記憶デバイスであって、前記方法が、
記録デバイスによって、3次元(3D)世界座標フレームに関連している場面にある物理オブジェクトの第1の画像を取得すること、
前記記録デバイスのユーザによって、前記第1の画像上において、前記物理オブジェクトに関連した複数の頂点に印を付けることであって、頂点が、前記3D世界座標フレームに基づく3D座標を有する、印を付けること、
前記記録デバイスによって、前記場面の1つ以上の特性を変更しながら、前記場面にある前記物理オブジェクトの複数の第2の画像を取得すること、及び
前記物理オブジェクトに関連した前記印付きの複数の頂点を前記それぞれの第2の画像上に投射し、
前記物理オブジェクトに関連し、前記印付きの頂点を含む2次元(2D)境界エリアをディスプレイに示すこと、
によって、前記場面にある前記物理オブジェクトのそれぞれの第2の画像を前記記録デバイスの前記ディスプレイに表示すること、
訓練データ集合に前記印付きの複数の頂点を有する前記第1の画像及び前記投射された印付きの頂点を有する前記複数の第2の画像を格納すること、及び
前記訓練データ集合に基づいて、畳み込みニューラルネットワークを訓練して前記物理オブジェクトの特徴を特定すること、
を含む、記憶デバイスと、を備える、コンピュータシステム。 - 前記印付きの複数の頂点が、前記物理オブジェクト上の1つ以上の関心領域に対応し、
前記印付きの頂点を投射することが、前記物理オブジェクト上に、前記1つ以上の関心領域に関連した2D境界エリアを示すことをさらに含む、請求項6に記載のコンピュータシステム。 - 前記印付きの複数の頂点が、
ポリゴンと、
表平面の一部と、
ボリュームと、のうちの1つ以上を示すことができる、請求項6に記載のコンピュータシステム。 - 前記複数の頂点に印を付けることが、
前記それぞれの第2の画像上に、前記投射された印付きの頂点の前記2D境界エリアをどのように示すかを決定することをさらに含む、請求項6に記載のコンピュータシステム。 - 前記2D境界エリア及び前記それぞれの第2の画像が、前記記録デバイスに関連したディスプレイ上に提示され、
前記2D境界エリアが、2D形または3Dボリュームを示す、請求項6に記載のコンピュータシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762579000P | 2017-10-30 | 2017-10-30 | |
US62/579,000 | 2017-10-30 | ||
US15/826,588 | 2017-11-29 | ||
US15/826,588 US10699165B2 (en) | 2017-10-30 | 2017-11-29 | System and method using augmented reality for efficient collection of training data for machine learning |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019083001A JP2019083001A (ja) | 2019-05-30 |
JP2019083001A5 JP2019083001A5 (ja) | 2021-11-11 |
JP7128708B2 true JP7128708B2 (ja) | 2022-08-31 |
Family
ID=64172193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018188871A Active JP7128708B2 (ja) | 2017-10-30 | 2018-10-04 | 機械学習用の訓練データの効率的な収集のための拡張現実を使用したシステム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (3) | US10699165B2 (ja) |
EP (1) | EP3477543A1 (ja) |
JP (1) | JP7128708B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111386511A (zh) * | 2017-10-23 | 2020-07-07 | 皇家飞利浦有限公司 | 基于自扩展的增强现实服务指令库 |
CN111937034A (zh) * | 2018-03-29 | 2020-11-13 | 国立大学法人奈良先端科学技术大学院大学 | 学习数据集的创建方法和装置 |
US10915793B2 (en) * | 2018-11-08 | 2021-02-09 | Huawei Technologies Co., Ltd. | Method and system for converting point cloud data for use with 2D convolutional neural networks |
US10818028B2 (en) * | 2018-12-17 | 2020-10-27 | Microsoft Technology Licensing, Llc | Detecting objects in crowds using geometric context |
US20220157049A1 (en) * | 2019-03-12 | 2022-05-19 | Nec Corporation | Training data generator, training data generating method, and training data generating program |
KR102128399B1 (ko) * | 2019-06-04 | 2020-06-30 | (주)자이언트스텝 | Ai 기반의 얼굴 애니메이션 구현을 위한 학습데이터 생성 방법, ai 기반의 얼굴 애니메이션 구현 방법 및 컴퓨터 판독 가능한 저장매체 |
CN112884819B (zh) * | 2019-11-29 | 2024-10-01 | 杭州三坛医疗科技有限公司 | 一种影像配准及神经网络的训练方法、装置和设备 |
US11100702B2 (en) | 2019-12-27 | 2021-08-24 | Industrial Technology Research Institute | 3D image labeling method based on labeling information of 2D image and 3D image labeling device |
US20220358333A1 (en) * | 2021-05-07 | 2022-11-10 | Ford Global Technologies, Llc | Automatic annotation using ground truth data for machine learning models |
US12008081B2 (en) * | 2021-05-19 | 2024-06-11 | International Business Machines Corporation | Image collection and labelling using computer system and analysis |
CN113763569B (zh) * | 2021-08-30 | 2024-10-01 | 之江实验室 | 一种在三维仿真中使用的图像标注方法及装置、电子设备 |
US20230131418A1 (en) * | 2021-10-22 | 2023-04-27 | Samsung Electronics Co., Ltd. | Two-dimensional (2d) feature database generation |
US20240046568A1 (en) * | 2022-08-02 | 2024-02-08 | Palo Alto Research Center Incorporated | Method and system for mixing static scene and live annotations for efficient labeled image dataset collection |
US20240169700A1 (en) * | 2022-11-21 | 2024-05-23 | CareAR Holdings LLC | Image Annotation Methods Based on Textured Mesh and Camera Pose |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012088787A (ja) | 2010-10-15 | 2012-05-10 | Canon Inc | 画像処理装置、画像処理方法 |
JP2014178957A (ja) | 2013-03-15 | 2014-09-25 | Nec Corp | 学習データ生成装置、学習データ作成システム、方法およびプログラム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2485170A3 (de) | 2007-02-07 | 2012-12-19 | Sew-Eurodrive GmbH & Co. KG | Verfahren und computer system zur Erzeugung einer Konstruktionszeichnung, Verfahren zum Herstellen eines Erzeugnisses und Verwendung des Verfahrens, und Verwendung von Graphen |
US8406496B2 (en) * | 2008-07-29 | 2013-03-26 | Siemens Aktiengesellschaft | Method and system for left ventricle detection in 2D magnetic resonance images |
US8964298B2 (en) * | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
US20120200601A1 (en) * | 2010-02-28 | 2012-08-09 | Osterhout Group, Inc. | Ar glasses with state triggered eye control interaction with advertising facility |
JP6344890B2 (ja) | 2013-05-22 | 2018-06-20 | 川崎重工業株式会社 | 部品組立作業支援システムおよび部品組立方法 |
US9595208B2 (en) * | 2013-07-31 | 2017-03-14 | The General Hospital Corporation | Trauma training simulator with event-based gesture detection and instrument-motion tracking |
WO2015107665A1 (ja) | 2014-01-17 | 2015-07-23 | 株式会社日立製作所 | 作業支援用データ作成プログラム |
CN107430785B (zh) * | 2014-12-31 | 2021-03-30 | Alt有限责任公司 | 用于显示三维对象的方法和系统 |
US10448692B2 (en) | 2015-03-06 | 2019-10-22 | Illinois Tool Works Inc. | Sensor assisted head mounted displays for welding |
EP3281404A4 (en) | 2015-04-06 | 2018-03-07 | Scope Technologies US Inc. | Method and apparatus for sharing augmented reality applications to multiple clients |
US20160328887A1 (en) | 2015-05-04 | 2016-11-10 | The Trustees Of Columbia University In The City Of New York | Systems and methods for providing assistance for manipulating objects using virtual proxies and virtual replicas |
US20160349511A1 (en) | 2015-05-31 | 2016-12-01 | Fieldbit Ltd. | See-through binocular head mounted device |
JP6661980B2 (ja) | 2015-11-06 | 2020-03-11 | 富士通株式会社 | 重畳表示方法、重畳表示装置、及び重畳表示プログラム |
WO2017190743A1 (en) * | 2016-05-02 | 2017-11-09 | Scopito Aps | Model construction in a neural network for object detection |
US20180035606A1 (en) * | 2016-08-05 | 2018-02-08 | Romello Burdoucci | Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method |
US10147023B1 (en) * | 2016-10-20 | 2018-12-04 | Disney Enterprises, Inc. | Markerless face tracking with synthetic priors |
US10444828B2 (en) * | 2017-01-13 | 2019-10-15 | Atheer, Inc. | Methods and apparatus for providing procedure guidance |
US10366521B1 (en) | 2017-03-15 | 2019-07-30 | Amazon Technologies, Inc. | Augmented reality assembly assistance and monitoring |
WO2018195293A1 (en) * | 2017-04-19 | 2018-10-25 | Vidoni, Inc. | Augmented reality learning system and method using motion captured virtual hands |
US20180336732A1 (en) | 2017-05-16 | 2018-11-22 | Michael J. Schuster | Augmented reality task identification and assistance in construction, remodeling, and manufacturing |
US11494988B2 (en) | 2018-05-22 | 2022-11-08 | Agilent Technologies, Inc. | Method and system for implementing augmented reality (AR)-based assistance within work environment |
US10634918B2 (en) | 2018-09-06 | 2020-04-28 | Seiko Epson Corporation | Internal edge verification |
WO2020075232A1 (ja) | 2018-10-10 | 2020-04-16 | 株式会社日立製作所 | 拡張現実による機械的締結部の管理方法 |
US11093798B2 (en) | 2018-12-28 | 2021-08-17 | Palo Alto Research Center Incorporated | Agile video query using ensembles of deep neural networks |
-
2017
- 2017-11-29 US US15/826,588 patent/US10699165B2/en active Active
-
2018
- 2018-10-04 JP JP2018188871A patent/JP7128708B2/ja active Active
- 2018-10-23 EP EP18202176.6A patent/EP3477543A1/en not_active Withdrawn
-
2020
- 2020-04-23 US US16/856,646 patent/US11200457B2/en active Active
-
2021
- 2021-11-16 US US17/527,859 patent/US11978243B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012088787A (ja) | 2010-10-15 | 2012-05-10 | Canon Inc | 画像処理装置、画像処理方法 |
JP2014178957A (ja) | 2013-03-15 | 2014-09-25 | Nec Corp | 学習データ生成装置、学習データ作成システム、方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
Pat Marison, et. al.,LabelFusion: A Pipeline for Generation Ground Truth Labels for Real RGBD Data of Cluttered Scenes,arXive,2017年09月26日,<URL:https://arxive.org/pdf/1707.04796.pdf>,[検索日:2022年2月25日] |
Also Published As
Publication number | Publication date |
---|---|
US11200457B2 (en) | 2021-12-14 |
US11978243B2 (en) | 2024-05-07 |
US20200250484A1 (en) | 2020-08-06 |
US20190130219A1 (en) | 2019-05-02 |
US20220076072A1 (en) | 2022-03-10 |
JP2019083001A (ja) | 2019-05-30 |
US10699165B2 (en) | 2020-06-30 |
EP3477543A1 (en) | 2019-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7128708B2 (ja) | 機械学習用の訓練データの効率的な収集のための拡張現実を使用したシステム及び方法 | |
Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
US10854006B2 (en) | AR-enabled labeling using aligned CAD models | |
Mori et al. | A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects | |
Huitl et al. | TUMindoor: An extensive image and point cloud dataset for visual indoor localization and mapping | |
US10977818B2 (en) | Machine learning based model localization system | |
US8860760B2 (en) | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene | |
CN101681423B (zh) | 捕获、处理、以及绘制图像的方法 | |
JP2018077882A (ja) | 複数クライアント装置およびディスプレイを有する動作環境のための方法、およびシステム | |
WO2018075053A1 (en) | Object pose based on matching 2.5d depth information to 3d information | |
CN106097435A (zh) | 一种增强现实拍摄系统及方法 | |
US10706584B1 (en) | Hand tracking using a passive camera system | |
CN105474213A (zh) | 用于创建经排序的图像的可操纵视图的系统及方法 | |
US20210225038A1 (en) | Visual object history | |
JP2016537901A (ja) | ライトフィールド処理方法 | |
CN109688343A (zh) | 增强现实演播室的实现方法和装置 | |
Elhayek et al. | Fully automatic multi-person human motion capture for vr applications | |
JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN117115917A (zh) | 基于多模态特征融合的教师行为识别方法、设备以及介质 | |
Wientapper et al. | Composing the feature map retrieval process for robust and ready-to-use monocular tracking | |
US11443477B2 (en) | Methods and systems for generating a volumetric two-dimensional representation of a three-dimensional object | |
Schall et al. | 3D tracking in unknown environments using on-line keypoint learning for mobile augmented reality | |
CN116843867A (zh) | 增强现实虚实融合方法、电子设备和存储介质 | |
McClean | An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model | |
US20190377935A1 (en) | Method and apparatus for tracking features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181012 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210929 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210929 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7128708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |