JP6470323B2 - 情報表示システム - Google Patents
情報表示システム Download PDFInfo
- Publication number
- JP6470323B2 JP6470323B2 JP2017009193A JP2017009193A JP6470323B2 JP 6470323 B2 JP6470323 B2 JP 6470323B2 JP 2017009193 A JP2017009193 A JP 2017009193A JP 2017009193 A JP2017009193 A JP 2017009193A JP 6470323 B2 JP6470323 B2 JP 6470323B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- model
- unit
- display system
- information display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/016—Exploded view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
図3は、本発明の実施の形態にかかる情報表示システム100の構成を示すブロック図である。情報表示システム100は、マッピング部110、補完部120、マッチムーブ部130、表示部140を有する。情報表示システム100は、典型的には中央処理装置(CPU)、記憶装置、及び、撮像装置や表示装置等の入出力装置等を備えた情報処理装置であり、CPUが所定のプログラムを実行することにより上述の各種処理部を論理的に実現する。例えば、情報表示システム100は、表示部140として動作するディスプレイを備え、CPUや記憶装置を内蔵したスマートフォン、タブレット端末、ヘッドマウントディスプレイ(HMD)等であって良い。あるいは、情報表示システム100は、CPUや記憶装置を備えたコンピュータに、表示部140として動作するディスプレイやHMDを接続して構成されたものであっても良い。
S1:マッピング処理(初期状態)
はじめに、マッピング部110は、カメラ等の撮像手段を用いて、加工前のワークの画像を取得する。このとき、ワーク全体の画像を取得することが好ましい。ワークの様々な部分の特徴点を数多く取得しておくことで、後段の補完処理及びマッチムーブ処理を精緻に実行することが可能となる。
次に、マッピング部110は、カメラ等の撮像手段を用いて、加工中のワークの画像を取得し、ステップS1と同様にして加工中のワークの特徴点を抽出する。好ましくは、マッピング部110は、ワークの周辺環境からも特徴点を抽出する。
補完部120は、ステップS2で取得したワークの特徴点と、予め保持しているワークの3Dモデルの特徴点とを比較する。比較の結果、ステップS2で取得したワークの特徴点に欠けている部分があるならば、その部分は遮蔽物による不可視部分であると言える。そこで補完部120は、3Dモデルのうち、ワークの不可視部分に相当する部分のみをレンダリングする。すなわち、画像側で欠けている特徴点に対応する3Dモデル側の特徴点を含む部分的な3Dモデル(部分3Dモデル)をレンダリングする。補完部120は、生成した部分3Dモデルを表示部140に表示させる。
マッチムーブ部130は、公知の手法により、画像中のワークの位置の変化に応じて、ステップS3でレンダリングした3Dモデルを追随させる処理を行う。
好ましくは、情報表示システム100は、ステップS2乃至S4にかかる処理を一定時間ごとに繰り返す。これにより、ワークの視認性の変化にリアルタイムに追従し、適切な3Dモデルを重畳表示することができる。
110 マッピング部
120 補完部
130 マッチムーブ部
140 表示部
Claims (4)
- 加工前及び加工中のワークを撮影して、加工前及び加工中の前記ワークの形状を示すモデルデータをそれぞれ作成するマッピング部と、
加工前の前記ワークのモデルデータと、加工中の前記ワークのモデルデータと、の差分にあたる前記ワークの不可視部分を特定し、前記ワークの不可視部分の3Dモデル画像を生成する補完部と、
前記3Dモデル画像を、加工中の前記ワークの不可視部分に重畳表示する表示部と、を有することを特徴とする
情報表示システム。 - 前記モデルデータと前記3Dモデル画像とのマッチムーブ処理を行うマッチムーブ部をさらに有することを特徴とする
請求項1記載の情報表示システム。 - 前記補完部は、前記ワークの不可視部分の特徴点と前記3Dモデルの特徴点とを照合することにより前記重畳表示を行うことを特徴とする
請求項1記載の情報表示システム。 - 前記マッピング部は、加工前の前記ワーク及び前記ワークの周辺環境のモデルデータ、及び加工中の前記周辺環境のモデルデータをそれぞれ作成し、
前記補完部は、加工中の前記周辺環境のモデルデータを利用して、前記3Dモデル画像を重畳表示すべき位置を特定することを特徴とする
請求項1記載の情報表示システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017009193A JP6470323B2 (ja) | 2017-01-23 | 2017-01-23 | 情報表示システム |
DE102018100802.3A DE102018100802A1 (de) | 2017-01-23 | 2018-01-16 | Informationsanzeigesystem |
CN201810054940.7A CN108346182B (zh) | 2017-01-23 | 2018-01-19 | 信息显示系统 |
US15/876,764 US10540816B2 (en) | 2017-01-23 | 2018-01-22 | Information display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017009193A JP6470323B2 (ja) | 2017-01-23 | 2017-01-23 | 情報表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018120264A JP2018120264A (ja) | 2018-08-02 |
JP6470323B2 true JP6470323B2 (ja) | 2019-02-13 |
Family
ID=62812962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017009193A Active JP6470323B2 (ja) | 2017-01-23 | 2017-01-23 | 情報表示システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10540816B2 (ja) |
JP (1) | JP6470323B2 (ja) |
CN (1) | CN108346182B (ja) |
DE (1) | DE102018100802A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10650609B2 (en) * | 2018-02-23 | 2020-05-12 | Sap Se | Virtual prototyping and assembly validation |
US20210297649A1 (en) * | 2018-09-28 | 2021-09-23 | Sony Interactive Entertainment Inc. | Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method |
JP7057303B2 (ja) * | 2019-03-14 | 2022-04-19 | ファナック株式会社 | 加工シミュレート装置及び加工シミュレートプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002269546A (ja) | 2001-03-14 | 2002-09-20 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 自動顔トラッキングシステムおよび自動顔トラッキング方法 |
JP4401727B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 画像表示装置及び方法 |
US8253731B2 (en) * | 2006-11-27 | 2012-08-28 | Designin Corporation | Systems, methods, and computer program products for home and landscape design |
US8422825B1 (en) * | 2008-11-05 | 2013-04-16 | Hover Inc. | Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery |
JP2012019434A (ja) | 2010-07-09 | 2012-01-26 | Hakuhodo Dy Media Partners Inc | 広告の放送又は送信方法 |
US9507885B2 (en) * | 2011-03-17 | 2016-11-29 | Aditazz, Inc. | System and method for realizing a building using automated building massing configuration generation |
JP5724544B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5999679B2 (ja) * | 2012-01-18 | 2016-09-28 | 株式会社日立製作所 | 設備保守管理システム |
JP5926972B2 (ja) * | 2012-02-06 | 2016-05-25 | オリンパス株式会社 | 溶融混練装置およびブレンド材料の製造方法 |
WO2014016986A1 (ja) * | 2012-07-27 | 2014-01-30 | Necソフト株式会社 | 3次元環境共有システム及び3次元環境共有方法 |
JP6344890B2 (ja) | 2013-05-22 | 2018-06-20 | 川崎重工業株式会社 | 部品組立作業支援システムおよび部品組立方法 |
WO2015123647A1 (en) * | 2014-02-14 | 2015-08-20 | Nant Holdings Ip, Llc | Object ingestion through canonical shapes, systems and methods |
CN107912061B (zh) * | 2015-03-06 | 2021-06-01 | 伊利诺斯工具制品有限公司 | 用于焊接的传感器辅助头戴式显示器 |
JP6835536B2 (ja) * | 2016-03-09 | 2021-02-24 | 株式会社リコー | 画像処理方法、表示装置および点検システム |
-
2017
- 2017-01-23 JP JP2017009193A patent/JP6470323B2/ja active Active
-
2018
- 2018-01-16 DE DE102018100802.3A patent/DE102018100802A1/de active Pending
- 2018-01-19 CN CN201810054940.7A patent/CN108346182B/zh active Active
- 2018-01-22 US US15/876,764 patent/US10540816B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018120264A (ja) | 2018-08-02 |
US20180211442A1 (en) | 2018-07-26 |
US10540816B2 (en) | 2020-01-21 |
CN108346182A (zh) | 2018-07-31 |
DE102018100802A1 (de) | 2018-07-26 |
CN108346182B (zh) | 2020-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
JP2020535509A (ja) | イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム | |
EP3053145B1 (en) | Generating augmented reality content for unknown objects | |
JP6801263B2 (ja) | 表示制御プログラム、表示制御方法および表示制御装置 | |
JP6643170B2 (ja) | 作業支援システム及び方法 | |
JP6470323B2 (ja) | 情報表示システム | |
US10424122B2 (en) | Augmented reality simulation device which displays a virtual object on a machine tool and computer-readable medium | |
US10114364B2 (en) | Numerical-control-program editing apparatus, numerical-control-program editing method, and program | |
CN110573992B (zh) | 使用增强现实和虚拟现实编辑增强现实体验 | |
JP2008065586A (ja) | パーツ識別画像作成装置およびプログラムおよび記憶媒体 | |
JP2017016577A (ja) | 情報処理装置、その制御方法及びプログラム | |
Nishihara et al. | Object recognition in assembly assisted by augmented reality system | |
JP2018113683A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN111880652A (zh) | 用于移动ar对象位置的方法、装置及存储介质 | |
Wolfartsberger et al. | Towards an augmented reality and sensor-based assistive system for assembly tasks | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7374908B2 (ja) | 製造支援システム,方法,プログラム | |
CN111448502B (zh) | 可靠的眼镜式设备和方法 | |
US11544913B2 (en) | Method and system for wearable device-based manual providing | |
JP6192454B2 (ja) | 表示システム | |
WO2019106987A1 (ja) | 作業支援システム、作業支援方法及びプログラム | |
Sommer et al. | View-dependent Virtual and Augmented Reality for Machine Tools | |
JP7425178B2 (ja) | 産業機械の操作システム | |
EP3511898B1 (en) | A method and a system for displaying a reality view | |
WO2024084555A1 (ja) | 加工シミュレーション支援装置およびコンピュータが読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6470323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |