JP7330323B2 - コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム - Google Patents
コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム Download PDFInfo
- Publication number
- JP7330323B2 JP7330323B2 JP2022042877A JP2022042877A JP7330323B2 JP 7330323 B2 JP7330323 B2 JP 7330323B2 JP 2022042877 A JP2022042877 A JP 2022042877A JP 2022042877 A JP2022042877 A JP 2022042877A JP 7330323 B2 JP7330323 B2 JP 7330323B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- content display
- display device
- virtual
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
(ハードウェア構成)
第1の実施形態に係るコンテンツ表示システムのハードウェア構成について説明する。図1は、本実施形態に係るコンテンツ表示システムの構成を示す概略図である。図2、図3は、それぞれ、コンテンツ表示装置、コンテンツ管理装置のハードウェア構成を示すブロック図である。
コンテンツ表示装置及びコンテンツ管理装置の機能構成について説明する。図4、図5は、それぞれ、本実施形態に係るコンテンツ表示装置、コンテンツ管理装置の機能構成を示すブロック図である。
コンテンツ生成処理について説明する。図6は、コンテンツ生成処理を示すフローチャートである。図7、図8は、それぞれ、コンテンツ管理情報、オブジェクト情報を示す図である。なお、図6においては、コンテンツ管理装置に対して、実オブジェクトに関連する3Dデータがすでに入力されているものとする。
コンテンツ表示装置の動作について説明する。図9は、コンテンツ表示装置の動作を示すフローチャートである。図10は、実オブジェクトを示す概略図である。図11は、初期位置及び初期姿勢の算出を説明するための概略図である。なお、図9に示す動作に先立って、実オブジェクトに関するコンテンツはコンテンツ管理装置によりコンテンツ表示装置に送信されているものとする。
コンテンツ表示処理について説明する。図12は、コンテンツ表示処理を示すフローチャートである。図13は、実オブジェクトに重畳されたコンテンツを示す概略図である。図14は、判定対象である仮想オブジェクトを示す概略図である。なお、図12に示すコンテンツ表示処理においては、実オブジェクトに関連するコンテンツがユーザにより予め選択されているものとする。
判定処理について説明する。図15は、判定処理を示すフローチャートである。図16は、判定された仮想オブジェクトを示す概略図である。
出力処理について説明する。図17は、出力処理を示すフローチャートである。図18は、判定結果表示画面を示す概略図である。図19は、判定結果情報を示す図である。
第1の使用例について説明する。第1の使用例は、コンテンツ表示システムを溶接打点の位置確認に用いた場合の使用例である。
第2の使用例について説明する。第2の使用例は、コンテンツ表示システムを塗装後の確認作業に用いた場合の使用例である。
第3の使用例について説明する。第3の使用例は、コンテンツ表示システムを金型とプレス機の組み付け検証作業に用いた場合の使用例である。
第4の使用例について説明する。第4の使用例は、コンテンツ表示システムを金型のメンテナンス作業に用いた場合の使用例である。
第5の使用例について説明する。第5の使用例は、コンテンツ表示システムを塗装における塗布範囲の指定に用いた場合の使用例である。
第6の使用例について説明する。第6の使用例は、コンテンツ表示システムを機械設備の配置計画に用いた場合の使用例である。
第2の実施形態に係るコンテンツ表示システムについて説明する。図23、図25、図26は、それぞれ、本実施形態に係るコンテンツ生成処理、コンテンツ表示装置の動作、可変処理を示すフローチャートである。図24は、本実施形態に係るオブジェクト情報を示す図である。図27は、本実施形態に係る実オブジェクトを示す概略図である。図28は、本実施形態に係る実オブジェクトに重畳された仮想オブジェクトを表示するコンテンツ表示装置を示す図である。
第3の実施形態に係るコンテンツ表示システムについて説明する。図30は、本実施形態に係るコンテンツ生成処理を示すフローチャートである。図31は、本実施形態に係るオブジェクト情報を示す図である。図32は、本実施形態に係る階層化された仮想オブジェクト群を示す図である。
101 パラメータ算出部
102 パラメータ更新部
104 表示処理部
105 判定処理部
106 出力処理部
Claims (15)
- 少なくとも1つ以上の仮想オブジェクトを含むコンテンツをMR(Mixed Reality)表示するコンテンツ表示装置であって、
実オブジェクトを構成する各部品が3次元モデルとして表現された仮想オブジェクトを含む前記実オブジェクトの設計情報のうち、判定対象として選択された仮想オブジェクトを含む3次元データと、該3次元データを示す識別子であるコンテンツIDと、前記仮想オブジェクトを示す識別子であるオブジェクトIDとを含む管理情報を記憶する記憶部と、
作業現場に存在する前記実オブジェクトを撮像した撮像画像に基づいて、該実オブジェクトの位置を原点とした前記コンテンツ表示装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記コンテンツ表示装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記コンテンツ表示装置の位置及び姿勢を更新するパラメータ更新部と、
前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させてMR表示する表示処理部と、
表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、少なくとも、前記仮想オブジェクトが重畳される前記実オブジェクトが正常であることを示す正常状態と前記仮想オブジェクトが重畳される前記実オブジェクトが正常ではないことを示す異常状態とを含む、前記仮想オブジェクトに対する判定状態を変更し、該変更した前記仮想オブジェクトのオブジェクトIDと、前記判定状態を変更した日時を示す変更日時と、前記判定状態を変更した作業ユーザを一意に示すユーザIDとを対応付ける判定処理部と
を備えるコンテンツ表示装置。 - 前記判定処理部は、前記仮想オブジェクトに対する選択操作回数に応じて、該仮想オブジェクトに対する判定状態を変更することを特徴とする請求項1に記載のコンテンツ表示装置。
- 異常と判定された仮想オブジェクトに関する判定結果情報を出力する出力処理部を更に備えることを特徴とする請求項1に記載のコンテンツ表示装置。
- 前記判定結果情報は、前記オブジェクトIDと、該オブジェクトIDにより示される仮想オブジェクトに対するテキストとを更に対応付けることを特徴とする請求項3に記載のコンテンツ表示装置。
- 前記判定結果情報は、前記オブジェクトIDと、メディアファイルとを更に対応付けることを特徴とする請求項3または請求項4に記載のコンテンツ表示装置。
- 前記パラメータ算出部は、ユーザによる指示操作に基づいて、前記実オブジェクトの撮像画像に基づく前記コンテンツ表示装置の初期位置及び初期姿勢を算出することを特徴とする請求項1~請求項5のいずれか一項に記載のコンテンツ表示装置。
- 前記パラメータ算出部は、所定の周期毎に、前記実オブジェクトの撮像画像に基づく前記コンテンツ表示装置の初期位置及び初期姿勢を算出することを特徴とする請求項1~請求項5のいずれか一項に記載のコンテンツ表示装置。
- 前記パラメータ算出部は、前記実オブジェクトにおける特徴部分が撮像される毎に、該実オブジェクトの撮像画像に基づく前記コンテンツ表示装置の初期位置及び初期姿勢を算出することを特徴とする請求項1~請求項5のいずれか一項に記載のコンテンツ表示装置。
- 前記表示処理部は、前記仮想空間におけるユーザによる指定箇所を指し示すピン形状の仮想オブジェクトであるピンオブジェクトを表示することを特徴とする請求項1~請求項8のいずれか一項に記載のコンテンツ表示装置。
- 前記ピンオブジェクトは、テキスト、またはメディアファイルのうち少なくともいずれかを含む付加情報と対応付けられ、
前記表示処理部は、前記ピンオブジェクトが選択された場合、該ピンオブジェクトに対応付けられた付加情報を表示することを特徴とする請求項9に記載のコンテンツ表示装置。 - 前記表示処理部は、ユーザの指示に基づいて、選択操作された仮想オブジェクトのスケールを前記仮想空間における3軸のうち選択された軸方向に拡大または縮小させることを特徴とする請求項1~請求項9のいずれか一項に記載のコンテンツ表示装置。
- 前記仮想オブジェクトは、自仮想オブジェクトが属するグループを示すグループIDと、該グループIDにより示されるグループが属する他のグループを示す親IDとに対応付けられることを特徴とする請求項1~請求項11のいずれか一項に記載のコンテンツ表示装置。
- 少なくとも1つ以上の仮想オブジェクトを含むコンテンツをMR(Mixed Reality)表示するコンテンツ表示プログラムであって、
コンピュータを、
実オブジェクトを構成する各部品が3次元モデルとして表現された仮想オブジェクトを含む前記実オブジェクトの設計情報のうち、判定対象として選択された仮想オブジェクトを含む3次元データと、該3次元データを示す識別子であるコンテンツIDと、前記仮想オブジェクトを示す識別子であるオブジェクトIDとを含む管理情報を記憶する記憶部と、
作業現場に存在する前記実オブジェクトを撮像した撮像画像に基づいて、該実オブジェクトの位置を原点とした自装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記自装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記自装置の位置及び姿勢を更新するパラメータ更新部と、
前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させてMR表示する表示処理部と、
表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、少なくとも、前記仮想オブジェクトが重畳される前記実オブジェクトが正常であることを示す正常状態と前記仮想オブジェクトが重畳される前記実オブジェクトが正常ではないことを示す異常状態とを含む、前記仮想オブジェクトに対する判定状態を変更し、該変更した前記仮想オブジェクトのオブジェクトIDと、前記判定状態を変更した日時を示す変更日時と、前記判定状態を変更した作業ユーザを一意に示すユーザIDとを対応付ける判定処理部
として機能させるコンテンツ表示プログラム。 - 少なくとも1つ以上の仮想オブジェクトを含むコンテンツをMR(Mixed Reality)表示するコンテンツ表示方法であって、
コンピュータが、
実オブジェクトを構成する各部品が3次元モデルとして表現された仮想オブジェクトを含む前記実オブジェクトの設計情報のうち、判定対象として選択された仮想オブジェクトを含む3次元データと、該3次元データを示す識別子であるコンテンツIDと、前記仮想オブジェクトを示す識別子であるオブジェクトIDとを含む管理情報を記憶し、
作業現場に存在する前記実オブジェクトを撮像した撮像画像に基づいて、該実オブジェクトの位置を原点とした自装置の初期位置及び初期姿勢を初期パラメータとして算出し、
前記自装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記自装置の位置及び姿勢を更新し、
前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させてMR表示し、
表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、少なくとも、前記仮想オブジェクトが重畳される前記実オブジェクトが正常であることを示す正常状態と前記仮想オブジェクトが重畳される前記実オブジェクトが正常ではないことを示す異常状態とを含む、前記仮想オブジェクトに対する判定状態を変更し、該変更した前記仮想オブジェクトのオブジェクトIDと、前記判定状態を変更した日時を示す変更日時と、前記判定状態を変更した作業ユーザを一意に示すユーザIDとを対応付けるコンテンツ表示方法。 - 少なくとも1つ以上の仮想オブジェクトを含むコンテンツをMR(Mixed Reality)表示するコンテンツ表示装置と、該コンテンツ表示装置と通信可能に接続されるコンテンツ管理装置とを備えるコンテンツ表示システムであって、
前記コンテンツ管理装置は、
実オブジェクトを構成する各部品が3次元モデルとして表現された仮想オブジェクトを含む前記実オブジェクトの設計情報のうち、判定対象として選択された仮想オブジェクトを含む3次元データを該3次元データと該3次元データを一意に示す識別子であるコンテンツIDと、前記仮想オブジェクトを示す識別子であるオブジェクトIDとを含む管理情報に変換する変換部と、
前記変換された管理情報を前記コンテンツ表示装置に送信するコンテンツ送信部とを備え、
前記コンテンツ表示装置は、
作業現場に存在する前記実オブジェクトを撮像した撮像画像に基づいて、該実オブジェクトの位置を原点とした前記コンテンツ表示装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記コンテンツ表示装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記コンテンツ表示装置の位置及び姿勢を更新するパラメータ更新部と、
前記コンテンツ管理装置により送信された管理情報を受信するコンテンツ受信部と、
前記受信された管理情報に基づいて、前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させてMR表示する表示処理部と、
表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、少なくとも、前記仮想オブジェクトが重畳される前記実オブジェクトが正常であることを示す正常状態と前記仮想オブジェクトが重畳される前記実オブジェクトが正常ではないことを示す異常状態とを含む、前記仮想オブジェクトに対する判定状態を変更し、該変更した前記仮想オブジェクトのオブジェクトIDと、前記判定状態を変更した日時を示す変更日時と、前記判定状態を変更した作業ユーザを一意に示すユーザIDとを対応付ける判定処理部とを備えるコンテンツ表示システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280031873.1A CN117222970A (zh) | 2021-10-18 | 2022-05-18 | 内容显示装置、内容显示程序、内容显示方法及内容显示系统 |
PCT/JP2022/020692 WO2023067836A1 (ja) | 2021-10-18 | 2022-05-18 | コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム |
JP2023079460A JP2023104964A (ja) | 2021-10-18 | 2023-05-12 | 製造物判定支援システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021170483 | 2021-10-18 | ||
JP2021170483 | 2021-10-18 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023079460A Division JP2023104964A (ja) | 2021-10-18 | 2023-05-12 | 製造物判定支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023060799A JP2023060799A (ja) | 2023-04-28 |
JP7330323B2 true JP7330323B2 (ja) | 2023-08-21 |
Family
ID=86098374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022042877A Active JP7330323B2 (ja) | 2021-10-18 | 2022-03-17 | コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7330323B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014097413A1 (ja) | 2012-12-19 | 2014-06-26 | 株式会社日立製作所 | 作業支援端末および作業支援システム |
JP2014191718A (ja) | 2013-03-28 | 2014-10-06 | Sony Corp | 表示制御装置、表示制御方法および記録媒体 |
JP2016006589A (ja) | 2014-06-20 | 2016-01-14 | 富士通株式会社 | 表示装置、制御プログラム、および制御方法 |
WO2017057107A1 (ja) | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | 入力装置、入力方法、及びプログラム |
JP2019153274A (ja) | 2018-02-28 | 2019-09-12 | 東芝デジタルソリューションズ株式会社 | 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム |
JP2020528184A (ja) | 2017-07-28 | 2020-09-17 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 情報処理方法、装置、端末機器及びコンピューター読み取り可能な記憶媒体 |
-
2022
- 2022-03-17 JP JP2022042877A patent/JP7330323B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014097413A1 (ja) | 2012-12-19 | 2014-06-26 | 株式会社日立製作所 | 作業支援端末および作業支援システム |
JP2014191718A (ja) | 2013-03-28 | 2014-10-06 | Sony Corp | 表示制御装置、表示制御方法および記録媒体 |
JP2016006589A (ja) | 2014-06-20 | 2016-01-14 | 富士通株式会社 | 表示装置、制御プログラム、および制御方法 |
WO2017057107A1 (ja) | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | 入力装置、入力方法、及びプログラム |
JP2020528184A (ja) | 2017-07-28 | 2020-09-17 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 情報処理方法、装置、端末機器及びコンピューター読み取り可能な記憶媒体 |
JP2019153274A (ja) | 2018-02-28 | 2019-09-12 | 東芝デジタルソリューションズ株式会社 | 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム |
Also Published As
Publication number | Publication date |
---|---|
JP2023060799A (ja) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11288412B2 (en) | Computation of point clouds and joint display of point clouds and building information models with project schedules for monitoring construction progress, productivity, and risk for delays | |
Doil et al. | Augmented reality for manufacturing planning | |
Pentenrieder et al. | Augmented Reality-based factory planning-an application tailored to industrial needs | |
US7139685B2 (en) | Video-supported planning of equipment installation and/or room design | |
US20180068035A1 (en) | Modeling and designing system and method | |
KR100844467B1 (ko) | 3차원 공사 진행 현황 시뮬레이션 시스템 및 방법 | |
Bellalouna | Industrial case studies for digital transformation of engineering processes using the virtual reality technology | |
Gong et al. | A novel VR tool for collaborative planning of manufacturing process change using point cloud data | |
DE202016009114U1 (de) | Mobile visuelle Assistenz in Hütten-, Walz-, Schmiede- und Röhrenwerken | |
CN104951350A (zh) | 航天产品总装工艺仿真分析方法 | |
Fernandes | Advantages and disadvantages of BIM platforms on construction site | |
TWI469068B (zh) | 產品檢驗及其規範與作業管理系統、裝置、應用程式及儲存媒介 | |
KR101476909B1 (ko) | 블록 이미지를 이용한 실시간 공정 모니터링 시스템 | |
JP7330323B2 (ja) | コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム | |
WO2023067836A1 (ja) | コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム | |
US10685147B2 (en) | Non-conformance mapping and visualization | |
Chung et al. | Information exchange process for AR based smart facility maintenance system using BIM model | |
KR20140058933A (ko) | 선박 또는 해양플랜트의 도장면적 산출방법 | |
Lindskog | Towards realistic visualisation of production systems | |
Kim et al. | Application of augmented reality object in construction project | |
KR101081190B1 (ko) | 도면 인식을 이용한 도료 bom 방법 및 시스템 | |
TWI677798B (zh) | 作業範圍可視化裝置及作業範圍可視化方法 | |
CN117222970A (zh) | 内容显示装置、内容显示程序、内容显示方法及内容显示系统 | |
KR101343335B1 (ko) | 차량 정비 견적 리스트 생성 장치 | |
KR101343338B1 (ko) | 차량 정비 견적 리스트 생성 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220502 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221110 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230512 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7330323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |