JP7098473B2 - 画像処理装置、及び画像処理方法 - Google Patents
画像処理装置、及び画像処理方法 Download PDFInfo
- Publication number
- JP7098473B2 JP7098473B2 JP2018147619A JP2018147619A JP7098473B2 JP 7098473 B2 JP7098473 B2 JP 7098473B2 JP 2018147619 A JP2018147619 A JP 2018147619A JP 2018147619 A JP2018147619 A JP 2018147619A JP 7098473 B2 JP7098473 B2 JP 7098473B2
- Authority
- JP
- Japan
- Prior art keywords
- design
- image
- real space
- space
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
図1は、本実施形態に係る画像処理装置1の構成を示すブロック図である。図1に示すように、本実施形態に係る画像処理装置1は、カメラで撮影した現実空間と3次元モデル空間とを位置合わせし、現実空間画像と仮想オブジェクトの画像とを重畳表示する装置である。この画像処理装置1は、頭部装着映像部10と、設計部20と、表示部30と、マーカ40とを備えて構成されている。
位置合わせ部106aは、設計部材に基づき生成された仮想オブジェクトを配置する3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。より具体的には、カメラ102が撮像したマーカ40の情報を用いて、頭部装着映像部10の位置姿勢を認識し、3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。例えば、本実施形態に係るマーカ40は、3次元モデル空間の座標系の座標原点に配置されている。このため、マーカ40は、3次元モデル空間の座標系の座標原点に対応する現実空間の位置に配置され、マーカ40の撮像画像データに基づき、頭部装着映像部10の位置姿勢が認識される。
音声認識処理部108aは、マイク104が集音した音声データを指示コードに変換する。例えば、頭部装着映像部10は、この指示コードに従った制御動作を行う。
制御部110aは、画像処理装置1全体を制御する。
図2は、モデル空間を示す格子モデルと設計部材の配置を示す図である。ここでは、3次元の格子点モデル300の水平面の一部を示している。図2に示すように、属性情報付与部202は、施工対象となる現実空間の実際の寸法に基づき、施工対象となる現実空間に対応する3次元モデル空間として3次元の格子点モデル300を生成する。座標B1~B3、及び座標C1~C3は格子点モデル300の位置を示している。例えば、座標B1~B3、及び座標C1~C3は現実空間の通り芯の位置に対応している。また、マーカ位置M1は、位置合わせ部106aにより座標空間の位置合わせを行う際にマーカ40を配置する位置を示している。
属性情報付与部204は、設計処理部204により生成される設計部材A1~A4、D1,MV1~MV2に属性情報も付与する。例えば、属性情報付与部202は、設計処理部204で生成可能な属性情報のデータとして、例えば径100Aの配管、径100Aのフランジ管などの情報を記憶している。そして、属性情報付与部202は、入力処理部106により指示された属性情報を設計部材A1~A3に付与する。属性情報付与部204は、これらの径100Aの配管、径100Aのフランジ管などの情報として、設計処理部204に記憶される3次元CADモデルの情報を付与してもよい。或いは、別の三次元モデルの情報を付与してもよい。
図8は、現実空間に重畳された仮想オブジェクト上のマーク点E3と、画像認識処理部108bにより認識された指先E2を示す図である。図8に示すように、画像認識処理部108bは、使用者の視点位置と認識した指先E2とを結ぶ線が現実空間、及び現実空間に重畳された仮想オブジェクトのいずれかに交わる点を3次元座標として画像処理部110bに出力する。画像処理部110bは、この3次元座標に基づき、マーク点E3を現実空間、又は現実空間に重畳された仮想オブジェクトに重畳する。
図13は、現実空間に重畳された設計部材MV2における仮想オブジェクトZMV2の配置点であるマーク点E8を示す図である。図13に示すように、画像認識処理部108bは、使用者の視点位置と認識した指先とを結ぶ線が現実空間と交わる交点を3次元座標として画像処理部110bに出力する。画像処理部110bは、この3次元座標に基づき、マーク点E8を現実空間、又は現実空間に重畳された仮想オブジェクトに重畳する。
図18に示すように、操作者は、属性情報付与部202により施工に用いる設計部材の属性情報を入力する(ステップS100)。操作者は、例えば表示部30に表示される3次元モデル空間内に、設計部材を配置する位置に対応する座標を入力操作部206により指示する。また、操作者は、例えば表示部30に表示される3次元CADモデルの一覧の中から設計部材を選択する。属性情報付与部202は、これらの情報を設計部材の属性情報として付与する。この際に、3次元モデル空間にマーカ40を配置する座標も設定される。
第2実施形態に係る画像処理装置1は、属性情報付与部202が、更に複数の設計部材に工程順の情報を属性情報として付与することができる点で第1実施形態に係る画像処理装置1と相違する。以下では、第1実施形態と相違する点に関して説明する。
図21は、属性情報が2018/7/16が付与された設計部材A10、A11の仮想オブジェクトZA10、ZA11を現実空間画像に更に重畳表示した図である。
図22は、属性情報が2018/7/23が付与された設計部材A12、A13の仮想オブジェクトZA13、ZA13を現実空間画像に更に重畳表示した図である。
Claims (9)
- 施工対象となる現実空間の実際の寸法に基づき、前記施工対象となる前記現実空間に対応する3次元モデル空間を形成し、この3次元モデル空間の座標系の座標を示す3次元の格子点モデルを生成し、コンピュータ支援設計により設計された設計部材を前記3次元モデル空間内に配置すると共に、前記3次元モデル空間の座標系にマーカ配置座標を設定する設計部と、
前記設計部により配置された設計部材の情報を仮想オブジェクトに変換し、前記3次元モデル空間に配置する変換部と、
前記現実空間における前記3次元モデル空間のマーカ配置座標に対応した位置に配置されたマーカを撮像し、撮像した前記マーカの情報及び前記3次元モデル空間の前記マーカ配置座標に基づき前記3次元モデル空間の座標系と、前記現実空間の座標系との位置合わせを行う位置合わせ部と、
前記現実空間を撮像した画像データから得たランドマークおよび使用者の視点に相当するカメラが撮像した画像データから使用者の視点位置を推定する3次元空間認識処理部と、
前記位置合わせおよび前記視点位置の推定に基づき、前記使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成する画像処理部と、
前記現実空間画像と前記仮想オブジェクトとを重畳表示する表示部と、
を備える画像処理装置。 - 前記設計部を操作する入力操作部を更に有し、
前記変換部は、前記入力操作部を介して配置された前記3次元モデル空間内の設計部材を前記使用者の視点位置から観察される前記仮想オブジェクトに変換する、請求項1に記載の画像処理装置。 - 前記設計部は、前記現実空間に配置済の部材の設計データに基づき前記設計部材を前記3次元モデル空間に配置し、
前記画像処理部は、前記現実空間に前記配置済の部材の仮想オブジェクトを重畳表示する、請求項1に記載の画像処理装置。 - 前記重畳表示された画像内における前記現実空間画像内の座標と、前記仮想オブジェクトの画像上の座標との間の距離情報を取得する画像認識処理部をさらに備える、請求項3に記載の画像処理装置。
- 前記設計部は、前記画像認識処理部により取得された距離情報を用いて前記3次元モデル空間に設計部材を配置する、請求項4に記載の画像処理装置。
- 前記設計部により配置される複数の設計部材に工程順の情報を属性情報として付与する属性情報付与部をさらに備え、
前記画像処理部は、前記工程順に応じて、複数の設計部材に対応する仮想オブジェクトを順に前記現実空間画像に重畳表示する、請求項1乃至5のいずれか一項に記載の画像処理装置。 - 前記画像処理部は、前記仮想オブジェクトの可動オブジェクトを生成し、前記現実空間に時系列に重畳表示する、請求項1乃至6のいずれか一項に記載の画像処理装置。
- 前記画像処理部は、前記可動オブジェクトを前記現実空間内の所定の方向に移動させる、請求項7に記載の画像処理装置。
- 施工対象となる現実空間の実際の寸法に基づき、前記施工対象となる前記現実空間に対応する3次元モデル空間を形成し、この3次元モデル空間の座標系の座標を示す3次元の格子点モデルを生成し、コンピュータ支援設計により設計された設計部材を前記3次元モデル空間内に配置すると共に、前記3次元モデル空間の座標系にマーカ配置座標を設定する設計工程と、
前記設計工程により配置された設計部材の情報を仮想オブジェクトに変換し、前記3次元モデル空間に配置する変換工程と、
前記現実空間における前記3次元モデル空間のマーカ配置座標に対応した位置に配置されたマーカを撮像し、撮像した前記マーカの情報及び前記3次元モデル空間の前記マーカ配置座標に基づき前記3次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う位置合わせ工程と、
前記現実空間を撮像した画像データから得たランドマークおよび使用者の視点に相当するカメラが撮像した画像データから使用者の視点位置を推定する3次元空間認識処理工程と、
前記位置合わせおよび前記視点位置の推定に基づき、前記使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成する画像処理工程と、
前記現実空間画像と前記仮想オブジェクトとを重畳表示する表示工程と、
を備える画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147619A JP7098473B2 (ja) | 2018-08-06 | 2018-08-06 | 画像処理装置、及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147619A JP7098473B2 (ja) | 2018-08-06 | 2018-08-06 | 画像処理装置、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020024497A JP2020024497A (ja) | 2020-02-13 |
JP7098473B2 true JP7098473B2 (ja) | 2022-07-11 |
Family
ID=69618699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018147619A Active JP7098473B2 (ja) | 2018-08-06 | 2018-08-06 | 画像処理装置、及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7098473B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001249985A (ja) | 1999-12-27 | 2001-09-14 | Ohbayashi Corp | 施工計画支援システム、施工計画支援方法、および、施工計画支援システムを実現するためのコンピュータプログラムを記録した記録媒体 |
JP2005135355A (ja) | 2003-03-28 | 2005-05-26 | Olympus Corp | データオーサリング処理装置 |
JP2006048639A (ja) | 2004-06-29 | 2006-02-16 | Canon Inc | 情報処理方法および情報処理装置 |
JP2007228315A (ja) | 2006-02-24 | 2007-09-06 | Mitsubishi Heavy Ind Ltd | 建屋内における構造物の建設工事及び点検支援装置 |
JP2011008351A (ja) | 2009-06-23 | 2011-01-13 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2014123376A (ja) | 2012-12-21 | 2014-07-03 | Dassault Systemes Delmia Corp | 仮想オブジェクトの配置補正 |
JP2017059213A (ja) | 2015-09-16 | 2017-03-23 | ザ・ボーイング・カンパニーThe Boeing Company | 没入型設計管理システム |
-
2018
- 2018-08-06 JP JP2018147619A patent/JP7098473B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001249985A (ja) | 1999-12-27 | 2001-09-14 | Ohbayashi Corp | 施工計画支援システム、施工計画支援方法、および、施工計画支援システムを実現するためのコンピュータプログラムを記録した記録媒体 |
JP2005135355A (ja) | 2003-03-28 | 2005-05-26 | Olympus Corp | データオーサリング処理装置 |
JP2006048639A (ja) | 2004-06-29 | 2006-02-16 | Canon Inc | 情報処理方法および情報処理装置 |
JP2007228315A (ja) | 2006-02-24 | 2007-09-06 | Mitsubishi Heavy Ind Ltd | 建屋内における構造物の建設工事及び点検支援装置 |
JP2011008351A (ja) | 2009-06-23 | 2011-01-13 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2014123376A (ja) | 2012-12-21 | 2014-07-03 | Dassault Systemes Delmia Corp | 仮想オブジェクトの配置補正 |
JP2017059213A (ja) | 2015-09-16 | 2017-03-23 | ザ・ボーイング・カンパニーThe Boeing Company | 没入型設計管理システム |
Also Published As
Publication number | Publication date |
---|---|
JP2020024497A (ja) | 2020-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4434890B2 (ja) | 画像合成方法及び装置 | |
JP5378374B2 (ja) | リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム | |
JP4677273B2 (ja) | 情報処理方法および情報処理装置 | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
JP4278979B2 (ja) | ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム | |
JP6077010B2 (ja) | 作業支援端末および作業支援システム | |
JP2017191351A (ja) | 作業支援システム及び方法 | |
JP2005107969A (ja) | 画像表示方法及び画像表示システム | |
CN105637559A (zh) | 使用深度传感器的结构建模 | |
JP4834424B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JPWO2016151691A1 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
US20150269759A1 (en) | Image processing apparatus, image processing system, and image processing method | |
JP2003150220A (ja) | シミュレーション装置 | |
JP2016205974A (ja) | 測定システムおよびユーザインタフェース装置 | |
JPWO2015107665A1 (ja) | 作業支援用データ作成プログラム | |
WO2019093457A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019020997A (ja) | 情報処理装置及びその制御方法、並びに、プログラム | |
JP2010257081A (ja) | 画像処理方法及び画像処理装置 | |
JP2009258884A (ja) | ユーザインタフェイス | |
JP2013008257A (ja) | 画像合成プログラム | |
JP7098473B2 (ja) | 画像処理装置、及び画像処理方法 | |
CN116569545A (zh) | 远程协助的方法和设备 | |
JP7403273B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP6405539B2 (ja) | 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法 | |
KR101496761B1 (ko) | 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191011 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200907 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210517 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210526 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210528 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210618 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210622 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220121 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220328 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220506 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220603 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7098473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |