JP6253834B1 - Virtual work display method, virtual work data creation method, and three-dimensional space marking data creation method - Google Patents
Virtual work display method, virtual work data creation method, and three-dimensional space marking data creation method Download PDFInfo
- Publication number
- JP6253834B1 JP6253834B1 JP2017113849A JP2017113849A JP6253834B1 JP 6253834 B1 JP6253834 B1 JP 6253834B1 JP 2017113849 A JP2017113849 A JP 2017113849A JP 2017113849 A JP2017113849 A JP 2017113849A JP 6253834 B1 JP6253834 B1 JP 6253834B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- dimensional
- computer
- user operation
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013461 design Methods 0.000 claims description 17
- 230000037237 body shape Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 abstract description 28
- 238000004088 simulation Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 239000003550 marker Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】作業の検証対象とは別の場所で、精度の良い作業体験及び検証をすることができる仮想作業表示方法を提供する。【解決手段】本発明は、計測対象の３次元スキャンデータである３次元の点群データに基づくデータを読み込む工程Ｓ１と、モーションキャプチャ装置の出力データを読み込む工程Ｓ２と、両データを共通の３次元座標上に配置する工程Ｓ３と、仮想カメラの位置と向きを設定する工程Ｓ４と、画面上に、仮想カメラを介して見える、点群データに基づく表示と、モーションキャプチャ装置から取得している現在の作業体験者の動きに連動した動作データに基づく表示を表示する表示工程Ｓ５と、を含む。【選択図】図２Provided is a virtual work display method capable of performing a work experience and verification with high accuracy at a place different from a work verification target. The present invention relates to a step S1 for reading data based on three-dimensional point cloud data that is three-dimensional scan data to be measured, a step S2 for reading output data of a motion capture device, and a common 3 Step S3 for placing on dimensional coordinates, Step S4 for setting the position and orientation of the virtual camera, display based on point cloud data that can be seen on the screen through the virtual camera, and the motion capture device. And a display step S5 for displaying a display based on operation data linked to the movement of the current work experience person. [Selection] Figure 2
Description
本発明は、モーションキャプチャ装置を用いた仮想作業表示方法及び仮想作業データ作成方法と、３次元空間けがきデータ作成方法に関する。 The present invention relates to a virtual work display method, a virtual work data creation method, and a three-dimensional space scribing data creation method using a motion capture device.
モーションキャプチャ装置では、複数のカメラにより形成された撮像対象スペース内において、カメラから照射された赤外線（光）を、人間の関節等に取り付けられた球状の反射マーカが反射し、その反射した画像がカメラで撮像される。そして、少なくとも２つの撮像データに基づいて、三角測量の原理により反射マーカの３次元座標上の位置が測定される。モーションキャプチャに関する技術としては、例えば特開２０１７−５３７３９号公報に記載されている。 In the motion capture device, in a space to be imaged formed by a plurality of cameras, the infrared reflection (light) emitted from the cameras is reflected by a spherical reflective marker attached to a human joint or the like, and the reflected image is reflected. Images are taken with a camera. Based on at least two pieces of imaging data, the position of the reflective marker on the three-dimensional coordinates is measured by the principle of triangulation. A technique related to motion capture is described in, for example, Japanese Patent Application Laid-Open No. 2017-53739.
ここで、発明者は、モーションキャプチャ装置を利用して、例えば工場等の施設での作業を当該施設とは別の場所で精度良く体験し検証するための方法を新たに開発した。本発明は、作業の検証対象とは別の場所で、精度の良い作業体験及び検証をすることができる仮想作業表示方法及び仮想作業データ作成方法を提供することを目的とする。 Here, the inventor has newly developed a method for accurately experiencing and verifying work at a facility such as a factory using a motion capture device with accuracy at a location different from the facility. It is an object of the present invention to provide a virtual work display method and a virtual work data creation method capable of performing a highly accurate work experience and verification at a place different from the work verification target.
また、従来から、例えば工場等の施設に機械や配管等の設備を設置するにあたり、３ＤＣＡＤ等により設計図やレイアウト図面を作成するのが一般的である。３ＤＣＡＤを用いたデータ作成方法は、例えば特開２００３−２４２１８５号公報に記載されている。しかしながら、３ＤＣＡＤの作成には多大な時間と労力がかかる。また、施設における設置スペースの情報がない場合、３Ｄ ＣＡＤでの設計・シミュレーションは困難である。本発明者は、より容易で且つ精度の良い３次元での設計、シミュレーション、モデリング、及びエンジニアリングを可能にすべく、新たな視点・着想により新たな方法を発明した。 Conventionally, when installing equipment such as machines and piping in facilities such as factories, it is common to create design drawings and layout drawings using 3D CAD or the like. A data creation method using 3DCAD is described in, for example, Japanese Patent Laid-Open No. 2003-242185. However, it takes a lot of time and labor to create 3D CAD. In addition, when there is no information on the installation space in the facility, it is difficult to design and simulate with 3D CAD. The inventor has invented a new method based on a new viewpoint and idea to enable easier, more accurate three-dimensional design, simulation, modeling, and engineering.
本発明は、このような事情に鑑みて為されたものであり、容易に且つ精度良く、３次元での設計、シミュレーション、モデリング、及び／又はエンジニアリングを実行することができる３次元空間けがきデータ作成方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and is a three-dimensional space scribing data that can execute three-dimensional design, simulation, modeling, and / or engineering easily and accurately. The purpose is to provide a creation method.
本発明の仮想作業表示方法は、読み込んだデータに基づき画面上に３次元形状を表示することができるソフトウェアを備えるコンピュータを用いた仮想作業表示方法であって、前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、モーションキャプチャ装置で取得された作業体験者の動きに関する動作データ及び前記動作データに基づく人体形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記動作データ及び前記人体形状データの少なくとも一方とを共通の３次元座標上に配置する工程と、前記コンピュータが、ユーザの操作に応じて、前記３次元座標上に仮想的に設置される仮想カメラの位置と向きを設定する工程と、前記コンピュータが、前記画面上に、前記仮想カメラを介して見える、前記点群データ及び前記３次元形状データの少なくとも一方と、前記モーションキャプチャ装置から取得している現在の前記作業体験者の動きに連動した前記動作データ及び前記人体形状データの少なくとも一方とを表示する表示工程と、前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、前記画面上において一体で移動及び回転させることができる一体領域としてグルーピングする工程と、前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、前記共通の３次元座標上に重ねて配置する配置工程と、前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを移動及び／又は回転させる調整工程と、を含み、前記表示工程において、前記コンピュータは、前記画面上に、前記仮想カメラを介して見える前記３次元図面データをさらに表示し、前記調整工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データを、追加された前記座標軸の座標が変化する方向に回転させる。 The virtual work display method of the present invention is a virtual work display method using a computer having software capable of displaying a three-dimensional shape on a screen based on read data, wherein the computer responds to a user operation. A step of reading at least one of three-dimensional point group data, which is three-dimensional scan data to be measured, and three-dimensional shape data based on the point group data; and the motion capture device according to a user operation A step of reading at least one of the motion data relating to the movement of the work experience person acquired in step 1 and the human body shape data based on the motion data; and the point cloud data and the three-dimensional shape data according to a user operation by the computer At least one of the motion data and the human body shape data On a common three-dimensional coordinate, and the computer sets the position and orientation of a virtual camera virtually installed on the three-dimensional coordinate according to a user operation, The computer is linked to at least one of the point cloud data and the three-dimensional shape data, which is visible through the virtual camera on the screen, and the movement of the current work experience acquired from the motion capture device. 2D drawing data including a display step of displaying at least one of the motion data and the human body shape data, and a drawing in which the computer is displayed in a line related to the measurement object in response to a user operation And the computer integrates at least a part of the two-dimensional drawing data on the screen in accordance with a user operation. A step of grouping as an integrated area that can be moved and rotated; and the computer adds a coordinate axis to the integrated area in accordance with a user operation, and the integrated area is on a plane in three-dimensional coordinates. A conversion step for converting into arranged three-dimensional drawing data; and the computer uses at least one of the point cloud data and the three-dimensional shape data and the three-dimensional drawing data in accordance with a user operation as the common The point cloud data is arranged in accordance with a user operation between an arrangement step of superimposing on the three-dimensional coordinates and between the conversion step and the arrangement step and / or after the arrangement step. And an adjustment step of moving and / or rotating the three-dimensional drawing data so as to correspond to at least one of the three-dimensional shape data, and the display step The computer further displays the three-dimensional drawing data visible through the virtual camera on the screen. In the adjustment step, the computer displays the three-dimensional drawing data according to a user operation. Then, the coordinate of the added coordinate axis is rotated in the changing direction.
また、本発明の３次元空間けがきデータ作成方法は、読み込んだデータに基づき３次元形状を編集することができるソフトウェアを備えるコンピュータを用いた３次元空間けがきデータ作成方法であって、前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、画面上において一体で移動及び回転させることができる一体領域としてグルーピングする工程と、前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、共通の３次元座標上に重ねて配置する配置工程と、前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを追加した座標が変化する方向に回転させる調整工程と、を含み、前記調整工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データを、追加された前記座標軸の座標が変化する方向に回転させる。 The 3D space scribing data creation method of the present invention is a 3D space scribing data creation method using a computer equipped with software capable of editing a 3D shape based on read data. Reading at least one of three-dimensional point cloud data that is three-dimensional scan data to be measured and three-dimensional shape data based on the point cloud data in accordance with a user operation; In response, the step of reading two-dimensional drawing data including a drawing related to the measurement object and displayed in a line, and the computer, in response to a user operation, at least a part of the two-dimensional drawing data, Grouping as an integral area that can be moved and rotated together on a screen, and the computer A conversion step of adding a coordinate axis to the integrated area in accordance with a user operation, and converting the integrated area into 3D drawing data arranged on a plane on 3D coordinates; In accordance with a user operation, at least one of the point cloud data and the three-dimensional shape data, and the three-dimensional drawing data are arranged so as to overlap each other on a common three-dimensional coordinate; the conversion step; The three-dimensional drawing so that the computer corresponds to at least one of the point cloud data and the three-dimensional shape data according to a user operation during and / or after the arrangement step. It is seen including an adjustment step of rotating in a direction coordinates have added data changes, and in the adjustment step, the computer, in response to operation of a user, the three-dimensional drawing data Rotate in the direction in which the coordinates of the added the coordinate axes is changed.
モーションキャプチャ装置で表示される画像と、３次元スキャンデータである点群データに基づく画像とを同座標上で組み合わせて表示することで、実際の計測対象（例えば工場内など）に近似した精度の良い仮想空間を画面上に再現でき、且つモーションキャプチャ技術による当該仮想空間での作業体験及び画面を通した客観的な検証が可能となる。モーションキャプチャで人体が表示される空間（背景等）に点群データに基づく画像を組み込むことで、特に工場や生産ライン等、計測対象の規模が大きい場合であっても、精度良く疑似体験及び動作検証（シミュレーション）をすることができる。このように、本発明の仮想作業表示方法によれば、作業の検証対象とは別の場所で、精度の良い作業体験及び検証をすることができる。 An image displayed by a motion capture device and an image based on point cloud data that is three-dimensional scan data are displayed in combination on the same coordinates, so that the accuracy approximates that of an actual measurement target (for example, in a factory). A good virtual space can be reproduced on the screen, and a work experience in the virtual space by motion capture technology and objective verification through the screen can be performed. By incorporating an image based on point cloud data in the space (background etc.) where the human body is displayed by motion capture, even if the scale of the measurement target is large, such as in a factory or production line, the simulated experience and operation are accurate. Verification (simulation) can be performed. As described above, according to the virtual work display method of the present invention, it is possible to perform a highly accurate work experience and verification at a place different from the work verification target.
また、本発明の３次元空間けがきデータ作成方法によれば、２次元の図面データを回転させ、例えば設備の側面図（線データ）を立たせて、３次元スキャンデータに基づくデータに重ねて表示することができる。つまり、データ上（仮想）の３次元空間において、点群データ又はその３次元形状データ上に正確なけがきを付すことができる。３次元スキャンデータに基づくデータと２次元図面データとを融合させることにより、容易に且つ精度良く、３次元での設計、シミュレーション、モデリング、及び／又はエンジニアリングを実行することができる。 Further, according to the 3D space marking data creation method of the present invention, the 2D drawing data is rotated, for example, a side view (line data) of the equipment is erected and displayed on the data based on the 3D scan data. can do. That is, in the (virtual) three-dimensional space on the data, it is possible to attach an accurate mark on the point cloud data or the three-dimensional shape data. By fusing the data based on the three-dimensional scan data and the two-dimensional drawing data, three-dimensional design, simulation, modeling, and / or engineering can be executed easily and accurately.
＜第一実施形態＞
以下、本発明の実施形態について図に基づいて説明する。本実施形態の仮想作業表示方法では、読み込んだデータに基づき画面上に３次元形状を表示することができるソフトウェア１１（例えば「ＸＶＬ」、ラティス・テクノロジー株式会社製）を備えるコンピュータＡを用いている。図１に示すように、シミュレーションシステム１は、ＣＰＵ等をもつ処理部１０と、ソフトウェア１１と、ディスプレイ（「画面」に相当する）１２と、操作部材１３と、ヘッドマウントディスプレイ（以下、ＨＭＤとする）１４と、モーションキャプチャ用の複数のマーカ１５と、複数のカメラ１６と、を備えている。なお、ＨＭＤ１４にもマーカが設置されている。また図１では、ＨＭＤ１４やマーカ１５など、一部接続配線を省略している。また、処理部１０は、例えば、ＣＰＵやメモリ等の各装置が収納されたパーソナルコンピュータのケース部分である。また、操作部材１３は、例えば、キーボードやマウスである。つまり、処理部１０、ソフトウェア１１、ディスプレイ１２、及び操作部材１３は、コンピュータＡを構成している。
<First embodiment>
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the virtual work display method of this embodiment, a computer A including software 11 (for example, “XVL”, manufactured by Lattice Technology Co., Ltd.) that can display a three-dimensional shape on a screen based on the read data is used. . As shown in FIG. 1, the simulation system 1 includes a processing unit 10 having a CPU and the like, software 11, a display (corresponding to “screen”) 12, an operation member 13, a head mounted display (hereinafter referred to as HMD). 14), a plurality of markers 15 for motion capture, and a plurality of cameras 16. A marker is also installed on the HMD 14. In FIG. 1, some connection wirings such as the HMD 14 and the marker 15 are omitted. The processing unit 10 is a case portion of a personal computer in which devices such as a CPU and a memory are accommodated. The operation member 13 is, for example, a keyboard or a mouse. That is, the processing unit 10, the software 11, the display 12, and the operation member 13 constitute a computer A.
シミュレーションシステム１は、モーションキャプチャ装置の機能及び複合現実感装置の機能も備えている。つまり、シミュレーションシステム１は、カメラ１６から取得したマーカ１５の位置情報に基づいてモーションキャプチャする機能と、カメラ１６から取得したＨＭＤ１４の位置情報及びＨＭＤ１４が撮影した画像データに基づく画像処理機能とを備えている。シミュレーションシステム１には、モーションキャプチャ、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）（以下、ＭＲとも称する）、及び３次元形状の表示のそれぞれに関する公知のソフトウェアがインストールされている。
まとめると、本方法を実行するシミュレーションシステム１は、コンピュータＡと、モーションキャプチャ用ソフトウェア１１ａがインストールされたコンピュータＡ、マーカ１５、及びカメラ１６で構成されたモーションキャプチャ装置Ｂと、複合現実感装置用ソフトウェア１１ｂがインストールされたコンピュータＡ、カメラ１６、及びＨＭＤ１４で構成された複合現実感装置Ｃと、を備えている。コンピュータＡは、ソフトウェア１１ａ、１１ｂも備えているといえる。
The simulation system 1 also has the functions of a motion capture device and a mixed reality device. That is, the simulation system 1 has a function of capturing motion based on the position information of the marker 15 acquired from the camera 16 and an image processing function based on the position information of the HMD 14 acquired from the camera 16 and the image data captured by the HMD 14. ing. The simulation system 1 is installed with known software for motion capture, mixed reality (hereinafter also referred to as MR), and display of a three-dimensional shape.
In summary, the simulation system 1 that executes this method includes a computer A, a computer A in which motion capture software 11a is installed, a marker 15, and a camera 16 and a motion capture device B, and a mixed reality device. A mixed reality apparatus C including a computer A on which software 11 b is installed, a camera 16, and an HMD 14. It can be said that the computer A also includes software 11a and 11b.
本実施形態の仮想作業表示方法は、図２に示すように、第一読み込み工程Ｓ１と、第二読み込み工程Ｓ２と、座標設定工程Ｓ３と、視点設定工程Ｓ４と、表示工程Ｓ５と、を含んでいる。第一読み込み工程Ｓ１は、コンピュータＡが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び点群データに基づく３次元形状データの少なくとも一方を読み込む工程である。ユーザは主に設定者であるが、作業体験者と同一人物であっても良い。点群データを用いた画面上での３次元表示技術は、例えば特開２０１５−１１８６２４号公報、特開２０１７−０５４４６７号公報、及び特開２０１７−０５４４６８号公報に記載されている。点群データに基づく３次元形状の表示は公知であるため説明は省略する。 As shown in FIG. 2, the virtual work display method of the present embodiment includes a first reading step S1, a second reading step S2, a coordinate setting step S3, a viewpoint setting step S4, and a display step S5. It is out. The first reading step S1 is a step in which the computer A reads at least one of three-dimensional point group data that is three-dimensional scan data to be measured and three-dimensional shape data based on the point group data in accordance with a user operation. is there. The user is mainly the setter, but may be the same person as the work experience person. A three-dimensional display technique on the screen using point cloud data is described in, for example, Japanese Patent Application Laid-Open No. 2015-118624, Japanese Patent Application Laid-Open No. 2017-054467, and Japanese Patent Application Laid-Open No. 2017-054468. Since the display of the three-dimensional shape based on the point cloud data is known, the description thereof is omitted.
第二読み込み工程Ｓ２は、コンピュータＡが、ユーザの操作に応じて、モーションキャプチャ装置（ここではマーカ１５、カメラ１６、及びコンピュータＡの機能の一部で構成される）で取得された作業体験者の動きに関する動作データ及び動作データに基づく人体形状データの少なくとも一方を読み込む工程である。本実施形態では、人体形状データとしてコンピュータグラフィックス（以下「ＣＧ」とする）を用いている。モーションキャプチャ装置についても公知であるため説明は省略する。 In the second reading step S2, the work experience person acquired by the computer A with a motion capture device (here, composed of the marker 15, the camera 16, and part of the function of the computer A) according to the operation of the user This is a step of reading at least one of the motion data relating to the movement of the human body and the human body shape data based on the motion data. In the present embodiment, computer graphics (hereinafter referred to as “CG”) is used as the human body shape data. Since the motion capture device is also known, the description thereof is omitted.
座標設定工程Ｓ３は、コンピュータＡが、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方と、動作データ及び人体形状データの少なくとも一方とを共通の３次元座標上に配置する工程である。つまり、ここでは、１つの座標系に、上記異なるデータを適用させている。この工程は、ユーザの操作により、何れか一方のデータの３次元座標に、他方のデータの基準位置を設定し且つ大きさを適合させる工程ともいえる。これにより、点群データを含む仮想空間内に、作業体験者の動作に応じて動くＣＧが表示されるようになる。 In the coordinate setting step S3, the computer A arranges at least one of the point cloud data and the three-dimensional shape data and at least one of the operation data and the human body shape data on the common three-dimensional coordinates according to the operation of the user. It is a process. That is, here, the different data is applied to one coordinate system. This step can be said to be a step of setting the reference position of the other data to the three-dimensional coordinates of one of the data and adapting the size by the user's operation. As a result, a CG that moves according to the operation of the work experience person is displayed in the virtual space including the point cloud data.
視点設定工程Ｓ４は、コンピュータＡが、ユーザの操作に応じて、３次元座標上に仮想的に設置される仮想カメラ（視点）の位置と向きを設定する工程である。仮想カメラ（視点）の設定は、コンピュータＡにインストールされたソフトウェアの何れかで実行できる。仮想カメラを介して見える画像では、各データの座標に応じて、重なる部分は手前のデータのみを表示できる。例えば点群データに基づく３次元形状（例えば各種機械等）は、ＣＧの背景となる。 The viewpoint setting step S4 is a step in which the computer A sets the position and orientation of a virtual camera (viewpoint) that is virtually installed on the three-dimensional coordinates in accordance with a user operation. The virtual camera (viewpoint) can be set by any software installed on the computer A. In the image seen through the virtual camera, only the previous data can be displayed in the overlapping portion according to the coordinates of each data. For example, a three-dimensional shape (for example, various machines) based on point cloud data is the background of CG.
表示工程Ｓ５は、コンピュータＡが、ディスプレイ１２に、仮想カメラを介して見える、点群データ及び３次元形状データの少なくとも一方と、モーションキャプチャ装置から取得している現在の作業体験者の動きに連動した動作データ及び人体形状データの少なくとも一方とを表示する工程である。つまり、表示工程Ｓ５では、点群データに基づく３次元形状を含む仮想空間及び当該仮想空間内で動作するＣＧを、設定された視点によりディスプレイ１２に表示される。 In the display step S5, the computer A is linked to at least one of point cloud data and three-dimensional shape data, which is visible on the display 12 via the virtual camera, and the movement of the current work experience person acquired from the motion capture device. This is a step of displaying at least one of the motion data and the human body shape data. That is, in the display step S5, the virtual space including the three-dimensional shape based on the point cloud data and the CG operating in the virtual space are displayed on the display 12 from the set viewpoint.
例えば、図３〜図５に示すように、本実施形態では、点群データに基づく３次元形状を背景として、作業体験者と連動するＣＧがディスプレイ１２に表示される。つまり、位置が互い適合された、精度の良い３次元オブジェクトとＣＧとが同時に表示される。これにより、施設等での作業を体験し、客観的に検証することができる。図３及び図４のように高所作業や頻繁に行わない作業も、精度良く容易にシミュレーションすることができる。ＣＧ（人体モデル）は、作業体験者の動作に応じてリアルタイムに動作する。作業体験者の動きは、３次元キャプチャに基づくＣＧより忠実に再現される。本実施形態によれば、点群データに基づく３次元オブジェクトに対して人の動作検証が可能となる。このように、本実施形態によれば、作業の検証対象とは別の場所で、精度の良い作業体験及び検証をすることができる。点群データに基づく３次元形状データは、ポリゴンであり、工場の内観（内部）又は外観（外部）を表している。 For example, as shown in FIGS. 3 to 5, in the present embodiment, a CG that is linked to the work experience person is displayed on the display 12 against the background of the three-dimensional shape based on the point cloud data. That is, a highly accurate three-dimensional object and CG whose positions are adapted to each other are displayed simultaneously. As a result, it is possible to experience the work in the facility and verify it objectively. As shown in FIG. 3 and FIG. 4, high-place work and work that is not frequently performed can be easily and accurately simulated. The CG (human body model) operates in real time according to the operation of the work experience person. The movement of the work experience person is reproduced more faithfully than CG based on 3D capture. According to the present embodiment, it is possible to verify a human motion on a three-dimensional object based on point cloud data. Thus, according to the present embodiment, it is possible to perform a highly accurate work experience and verification at a place different from the work verification target. The three-dimensional shape data based on the point cloud data is a polygon and represents the interior (inside) or the exterior (outside) of the factory.
また、表示工程Ｓ５において、コンピュータＡは、ユーザの操作に応じて、動作データ及び人体形状データの少なくとも一方と点群データ及び３次元形状データの少なくとも一方とが読み込まれ且つ同一座標に設定された複合現実感装置（ここではＨＭＤ１４、カメラ１６、及びコンピュータＡの機能の一部で構成される）のデータを用いて、作業体験者が装着した複合現実感装置のＨＭＤ１４を介して見える主観画像と、仮想カメラを介して見える客観画像とを切り替える。 In the display step S5, the computer A reads at least one of the operation data and the human body shape data and at least one of the point cloud data and the three-dimensional shape data in accordance with the user's operation and sets the same coordinates. Subjective images that can be seen through the HMD 14 of the mixed reality device worn by the work experience person using the data of the mixed reality device (here, composed of part of the functions of the HMD 14, the camera 16, and the computer A) Switching between objective images that can be seen through the virtual camera.
例えば、図６に示すように、本実施形態では、ディスプレイ１２に表示する画像を、ＨＭＤ１４を介した主観画像（体験者目線）と、仮想カメラを介した客観画像（第３者目線）とで切り替えることができる。これにより、作業体験者を含む複数人での検証において、２つの視点により作業体験及び人の動的検証等の各種検証を精度良く実行することができる。本実施形態によれば、作業体験者の位置や姿勢を第３者の視点で確認することができる。図７に客観画像の例であり、図８は主観画像の例である。 For example, as shown in FIG. 6, in the present embodiment, images displayed on the display 12 are subjective images (viewer's eyes) via the HMD 14 and objective images (third person's eyes) via the virtual camera. Can be switched. Thereby, in verification by a plurality of persons including a work experience person, various verifications such as work experience and dynamic verification of a person can be executed with high accuracy from two viewpoints. According to the present embodiment, the position and posture of the work experience person can be confirmed from the viewpoint of the third person. FIG. 7 shows an example of an objective image, and FIG. 8 shows an example of a subjective image.
また、図９に示すように、表示工程Ｓ５において、コンピュータＡは、ディスプレイ１２に、ＣＧ及び３次元形状データを表示するとともに、３次元座標上において、ＣＧの外縁が３次元形状データの外縁と重なった場合に、当該重なり部分に接触マーク（例えば×マークや○マーク等）を表示する。これにより、人の動的検証等の各種検証が精度良く且つ分かりやすく実行できる。本実施形態によれば、物体との接触を精度良くシミュレートすることができる。なお、図９は主観画像の例であるが、客観画像においても接触マークを表示することができる。 In addition, as shown in FIG. 9, in the display step S5, the computer A displays the CG and the three-dimensional shape data on the display 12, and the outer edge of the CG is the outer edge of the three-dimensional shape data on the three-dimensional coordinates. When they overlap, a contact mark (for example, x mark or ○ mark) is displayed on the overlapping portion. As a result, various verifications such as human dynamic verification can be executed accurately and easily. According to this embodiment, it is possible to accurately simulate contact with an object. Although FIG. 9 shows an example of a subjective image, a contact mark can be displayed also in an objective image.
（その他）
本発明は、上記実施形態に限られない。例えば図１０に示すように、動作データ又は人体形状データ（人体モデル）は、骨格データのような単純な表示モデルであっても良い。また、第一読み込み工程Ｓ１と第二読み込み工程Ｓ２は順番が反対でも良い。また、第一読み込み工程Ｓ１は点群データに基づくデータを読み込む工程といえ、第二読み込み工程Ｓ２はモーションキャプチャ装置の出力データを読み込む工程ともいえる。また、本発明は、標準作業検証から特殊作業検証まで幅広く利用することができる。また、本発明の仮想作業表示方法は、作業シミュレーション方法又は検証画像製造方法ともいえる。
(Other)
The present invention is not limited to the above embodiment. For example, as shown in FIG. 10, the motion data or the human body shape data (human body model) may be a simple display model such as skeleton data. Further, the order of the first reading step S1 and the second reading step S2 may be reversed. The first reading step S1 can be said to be a step of reading data based on the point cloud data, and the second reading step S2 can also be said to be a step of reading output data of the motion capture device. The present invention can be widely used from standard work verification to special work verification. The virtual work display method of the present invention can also be said to be a work simulation method or a verification image manufacturing method.
また、本発明は、計測対象の３次元スキャンデータである３次元の点群データに基づくデータを読み込む工程Ｓ１と、モーションキャプチャ装置の出力データを読み込む工程Ｓ２と、両データを共通の３次元座標上に配置する工程Ｓ３と、仮想カメラの位置と向きを設定する工程Ｓ４と、画面上に、仮想カメラを介して見える、点群データに基づく表示と、モーションキャプチャ装置から取得している現在の作業体験者の動きに連動した動作データに基づく表示を表示する表示工程Ｓ５と、を含むともいえる。 The present invention also includes a step S1 for reading data based on three-dimensional point cloud data that is three-dimensional scan data to be measured, a step S2 for reading output data of the motion capture device, and a common three-dimensional coordinate for both data. Step S3 for placing on top, Step S4 for setting the position and orientation of the virtual camera, a display based on the point cloud data visible on the screen via the virtual camera, and the current acquired from the motion capture device It can also be said that it includes a display step S5 for displaying a display based on operation data linked to the movement of the work experience person.
本発明の有用な点（本発明により可能になる点）については、例えば、第三者目線のカメラの設定、作業性の検証確認の精度向上、作業姿勢の動的評価の動的データ化、ＭＲ技術との連携、従来為されていなかった計測点群データとモーションキャプチャ装置及び／又はＭＲ装置との融合、人体モデルによる正確な寸法計測、ＭＲ画像の破たんレス、高所作業や実行しにくい作業等の事前シミュレーション、実機レスでのシミュレーション、データだけでは表現できない作業要領（カンやコツ）のデータ化、作業オペレータの作業のデータ化、作業者の差による作業比較、及び、体型の差による作業のやりやすさの検証などが挙げられる。 Useful points of the present invention (points that can be achieved by the present invention) include, for example, setting of a camera for third-party eyes, improvement of accuracy of verification verification of workability, dynamic data of dynamic evaluation of work posture, Cooperation with MR technology, fusion of measurement point cloud data and motion capture device and / or MR device, which has not been done in the past, accurate dimensional measurement with human body model, MR image destruction-free, work at high places and difficult to perform Pre-simulation of work etc., simulation without actual machine, data of work procedures (cans and tips) that cannot be expressed only by data, work operator's work data, work comparison by worker difference, and by body type difference For example, verification of ease of work.
また、３次元ＣＡＤ等のソフトウェア、ＣＧを用いたモーションキャプチャ技術、複合現実感装置、視点設定、及び点群データに基づくリバースモデルの構築等は、公知の技術を利用できる。例えば特開２０１５−１２５６４１号公報や特開２００４−３５５１３１号公報に記載のように、ＭＲ技術は、ＨＭＤで撮像した現実の世界（現実空間）の画像に、コンピュータで生成された仮想の世界（仮想空間）の画像を重畳させて、ＨＭＤの画面に表示する技術である。ＭＲ技術を利用することで、実際に模型を製作することなく、完成品について、大きさ、又は部品の取り外し（取り付け）の作業性などのチェックが可能となる。ＭＲ技術を用いた複合現実感装置としては、例えば、ＨＭＤ（１４）と、ＨＭＤを介してユーザに重畳画像である複合現実感を提示する情報処理部（１０）と、を備えている。 Also, known techniques can be used for software such as three-dimensional CAD, motion capture technology using CG, mixed reality device, viewpoint setting, and construction of a reverse model based on point cloud data. For example, as described in Japanese Patent Application Laid-Open No. 2015-125641 and Japanese Patent Application Laid-Open No. 2004-355131, MR technology is a computer-generated virtual world (real world) captured by an HMD (virtual space). This is a technique for superimposing an image of (virtual space) and displaying it on an HMD screen. By using the MR technology, it is possible to check the size of the finished product or the workability of removing (attaching) parts without actually making a model. The mixed reality apparatus using the MR technology includes, for example, an HMD (14) and an information processing unit (10) that presents a mixed reality that is a superimposed image to the user via the HMD.
＜第二実施形態＞
第二実施形態の仮想作業表示方法は、第一実施形態に対して、主にディスプレイ１２に表示される画像に図面データ（設計図等）を付加することができる点で異なっている。したがって、異なっている部分について説明する。第二実施形態の説明において、第一実施形態の説明及び図面を参照することができる。
<Second embodiment>
The virtual work display method according to the second embodiment is different from the first embodiment in that drawing data (design drawing, etc.) can be added to an image mainly displayed on the display 12. Therefore, a different part is demonstrated. In the description of the second embodiment, reference can be made to the description of the first embodiment and the drawings.
第二実施形態の仮想作業表示方法は、図１１に示すように、第一読み込み工程Ｓ２０１と、第二読み込み工程Ｓ２０２と、座標設定工程Ｓ２０３と、視点設定工程Ｓ２０４と、第三読み込み工程Ｓ２０５と、グルーピング工程Ｓ２０６と、変換工程Ｓ２０７と、調整工程Ｓ２０８と、配置工程Ｓ２０９と、表示工程Ｓ２１０と、を含んでいる。工程Ｓ２０１〜Ｓ２０４は、第一実施形態と同様である。 As shown in FIG. 11, the virtual work display method of the second embodiment includes a first reading step S201, a second reading step S202, a coordinate setting step S203, a viewpoint setting step S204, and a third reading step S205. , Grouping step S206, conversion step S207, adjustment step S208, arrangement step S209, and display step S210. Steps S201 to S204 are the same as in the first embodiment.
第三読み込み工程Ｓ２０５は、コンピュータＡが、ユーザの操作に応じて、計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程である。２次元図面データは、例えば工場等の施設内に設置される設備（例えば機械、配管、及び／又は配線等を含むもの）の設計図である。２次元図面データは、ソフトウェア１１上で（ディスプレイ１２に）線で表示可能に構成されている。第二実施形態の２次元図面データは、図１２に示すように、線データで構成された設備の設計図データである。２次元図面データは、設備を表す六面図（正面図、背面図、右側面図、左側面図、平面図、底面図）のうちの少なくとも１つといえる。図１２の２次元図面データは、中央部分を正面図とすると、上方部分が平面図、下方部分が底面図、右側部分が右側面図となる。 The third reading step S205 is a step in which the computer A reads two-dimensional drawing data including a drawing related to a measurement target and displayed with a line in accordance with a user operation. The two-dimensional drawing data is a design drawing of equipment (for example, including machines, piping, and / or wiring) installed in a facility such as a factory. The two-dimensional drawing data is configured to be displayed as a line on the software 11 (on the display 12). As shown in FIG. 12, the two-dimensional drawing data of the second embodiment is facility design data composed of line data. The two-dimensional drawing data can be said to be at least one of six views (a front view, a rear view, a right side view, a left side view, a plan view, and a bottom view) representing the facility. In the two-dimensional drawing data of FIG. 12, when the central part is a front view, the upper part is a plan view, the lower part is a bottom view, and the right part is a right side view.
グルーピング工程Ｓ２０６は、コンピュータＡが、ユーザの操作に応じて、２次元図面データの少なくとも一部を、ソフトウェア１１（ディスプレイ１２上）において一体で移動及び回転させることができる一体領域としてグルーピングする工程である。第二実施形態では、ユーザがマウス等によりグループ範囲を選択し、例えば図１３に示すように、正面図を含むグループ２１、平面図を含むグループ２２、底面図を含むグループ２３、及び右側面図を含むグループ２４にグルーピングする。 The grouping step S206 is a step in which the computer A groups at least a part of the two-dimensional drawing data as an integrated region that can be moved and rotated integrally in the software 11 (on the display 12) in accordance with a user operation. is there. In the second embodiment, the user selects a group range with a mouse or the like. For example, as shown in FIG. 13, a group 21 including a front view, a group 22 including a plan view, a group 23 including a bottom view, and a right side view. Are grouped into a group 24 including
変換工程Ｓ２０７は、コンピュータＡが、ユーザの操作に応じて、一体領域２１〜２４に対して座標軸を追加し、一体領域２１〜２４を３次元座標上の一平面上に配置された３次元図面データに変換する工程である。つまり、変換工程Ｓ２０７は、グルーピングされた２次元の一体領域２１〜２４に、ソフトウェア１１上でもう１つの座標情報を追加し、一体領域２１〜２４を３次元上の情報に変換する工程である。変換工程Ｓ２０７では、一体領域２１〜２４の位置情報が、Ｘ軸とＹ軸による２次元座標系（Ｘ、Ｙ）の座標情報から、Ｚ軸を加えた３次元の直交座標系（Ｘ、Ｙ、Ｚ）の座標情報に変換される。図１４は、２次元図面データから変換された３次元座標上の図面データ、すなわち（一体領域２１〜２４を含む）３次元図面データの一例である。 The conversion step S207 is a three-dimensional drawing in which the computer A adds coordinate axes to the integrated regions 21 to 24 in accordance with a user operation, and the integrated regions 21 to 24 are arranged on one plane on the three-dimensional coordinates. It is a process of converting to data. That is, the conversion step S207 is a step of adding another coordinate information on the software 11 to the grouped two-dimensional integrated areas 21 to 24 and converting the integrated areas 21 to 24 into three-dimensional information. . In the conversion step S207, the position information of the integrated areas 21 to 24 is obtained by adding the Z axis to the three-dimensional orthogonal coordinate system (X, Y) from the coordinate information of the two-dimensional coordinate system (X, Y) based on the X axis and the Y axis. , Z) coordinate information. FIG. 14 is an example of drawing data on three-dimensional coordinates converted from two-dimensional drawing data, that is, three-dimensional drawing data (including integrated areas 21 to 24).
調整工程Ｓ２０８は、コンピュータＡが、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方に対応するように、３次元図面データを移動及び／又は回転させる工程である。例えば図１５に示すように、一体領域２２〜２４を立たせるように回転させる。この例によれば、平面図を含むグループ２２では、図１２における下辺（直線）を中心軸とした回転により、当該中心軸を除いて、少なくともＺ座標（追加された座標軸の座標）が変化している。つまり、調整工程Ｓ２０８では、コンピュータＡがユーザの操作に応じて、３次元図面データを、追加された座標軸の座標が変化する方向に回転させる。同様に、底面図を含むグループ２３は、図１２における上辺を中心軸として回転されている。同様に、右側面図を含むグループ２４は、図１２における右辺を中心軸として回転されている。３次元図面データ調整工程Ｓ２０８は、変換工程Ｓ２０７と配置工程Ｓ２０９との間に、及び／又は配置工程Ｓ２０９の後に行われる工程である。 The adjustment step S208 is a step in which the computer A moves and / or rotates the three-dimensional drawing data so as to correspond to at least one of the point cloud data and the three-dimensional shape data in accordance with a user operation. For example, as shown in FIG. 15, the integrated regions 22 to 24 are rotated so as to stand. According to this example, in the group 22 including the plan view, at least the Z coordinate (the coordinate of the added coordinate axis) changes except for the central axis due to the rotation with the lower side (straight line) in FIG. 12 as the central axis. ing. That is, in the adjustment step S208, the computer A rotates the three-dimensional drawing data in a direction in which the coordinate of the added coordinate axis changes in accordance with a user operation. Similarly, the group 23 including the bottom view is rotated about the upper side in FIG. 12 as the central axis. Similarly, the group 24 including the right side view is rotated about the right side in FIG. 12 as the central axis. The three-dimensional drawing data adjustment step S208 is a step performed between the conversion step S207 and the placement step S209 and / or after the placement step S209.
配置工程Ｓ２０９は、コンピュータＡが、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方と、３次元図面データとを、共通の３次元座標上に重ねて配置する工程である。図１６及び図１７に示すように、調整工程Ｓ２０８にて回転され且つ線データで構成された３次元図面データが、点群データに基づく３次元形状データと重ねて配置されている。重なる位置（例えば設備の配置予定位置）の調整は、所望のタイミングで調整工程Ｓ２０８を行うことで、実行できる。ソフトウェア１１（ディスプレイ１２）上で、３次元図面データが３次元形状データよりも手前に表示され、設計図の後ろに、すなわち線データの間（線データ以外の部分）に設備設置対象の施設内の状況（３次元形状データ）が表示される。 Arrangement step S209 is a step in which computer A arranges at least one of point cloud data and three-dimensional shape data and three-dimensional drawing data on common three-dimensional coordinates in accordance with a user operation. . As shown in FIGS. 16 and 17, the three-dimensional drawing data rotated in the adjustment step S208 and composed of line data is arranged so as to overlap with the three-dimensional shape data based on the point cloud data. Adjustment of the overlapping position (for example, the planned arrangement position of equipment) can be performed by performing the adjustment step S208 at a desired timing. On the software 11 (display 12), the three-dimensional drawing data is displayed in front of the three-dimensional shape data, and the facility installation target facility is behind the design drawing, that is, between the line data (parts other than the line data). (3D shape data) is displayed.
表示工程Ｓ２１０は、コンピュータＡが、ディスプレイ１２上に、仮想カメラを介して見える、点群データ及び３次元形状データの少なくとも一方と、動作データ及び人体形状データの少なくとも一方と、３次元図面データと、を表示する工程である。つまり、表示工程Ｓ２１０では、第一実施形態の表示項目に３次元図面データが加えられる。さらに表示工程Ｓ２１０では、コンピュータＡがユーザの操作に応じて、３次元図面データの表示と非表示とを切り替える。つまり、コンピュータＡは、ユーザの操作に応じて、主観画像、主観画像に３次元図面データを重ねた画像、客観画像、及び客観画像に３次元図面データを重ねた画像の４つの表示モードを切り替えることができる。図１８に、主観画像に３次元図面データを重ねた画像例を示す。図１８では、床部分の３次元形状データ（ポリゴン）を切り取り、当該床部分に３次元図面データを貼り付けてある。また図１８では、２次元図面データを立たせて（回転させて）表示した３次元図面データが、３次元形状データの対応する位置に３次元形状データの手前に（重ねて）配置されている。 The display step S210 includes at least one of point cloud data and three-dimensional shape data, at least one of operation data and human body shape data, three-dimensional drawing data, which is visible on the display 12 via the virtual camera. , Is a step of displaying. That is, in the display step S210, 3D drawing data is added to the display items of the first embodiment. Further, in the display step S210, the computer A switches between display and non-display of the three-dimensional drawing data in accordance with a user operation. That is, the computer A switches between four display modes of a subjective image, an image in which 3D drawing data is superimposed on the subjective image, an objective image, and an image in which 3D drawing data is superimposed on the objective image, according to a user operation. be able to. FIG. 18 shows an image example in which three-dimensional drawing data is superimposed on a subjective image. In FIG. 18, the three-dimensional shape data (polygon) of the floor portion is cut out, and the three-dimensional drawing data is pasted on the floor portion. In FIG. 18, the three-dimensional drawing data displayed with the two-dimensional drawing data standing (rotating) is arranged in front of (overlapping) the three-dimensional shape data at a corresponding position in the three-dimensional shape data.
第二実施形態によれば、３次元スキャンデータに基づく３次元のデータ上の適切な場所に２次元図面を配置することができるため（すなわち３次元の計測データと２次元の図面データとの融合ができるため）、設備等を現地に設置することを容易且つ精度良く検証・シミュレーションすることができる。換言すると、３次元空間に２次元図面をけがきすること、すなわち設計図と同一のけがき線を容易に付すことができる。第二実施形態では、これまで交わることがなかったデータ（計測点群、ＣＡＤ、２次元図面、及びポリゴン）を共通の３次元座標上に表示することができ、容易で且つ精度の良い新たなエンジニアリング手法を実現することができる。 According to the second embodiment, a 2D drawing can be arranged at an appropriate location on 3D data based on 3D scan data (ie, fusion of 3D measurement data and 2D drawing data). Therefore, it is possible to easily and accurately verify and simulate the installation of equipment on the site. In other words, it is possible to easily mark the two-dimensional drawing in the three-dimensional space, that is, the same marking line as the design drawing. In the second embodiment, data (measuring point group, CAD, two-dimensional drawing, and polygon) that has not been exchanged so far can be displayed on common three-dimensional coordinates, and new data that is easy and accurate. Engineering techniques can be realized.
本方法は、現地の設置（据え付け）スペースの情報がない場合や、３ＤＣＡＤのデータがない場合にも有効である。また、本方法によれば、３次元設計に着手する前に、現地設置場所の整合性を確認することができる。本方法によれば、３ＤＣＡＤを必要としないため、検証時間の大幅な短縮が可能となる。また、点群データに基づく３次元データと２次元図面でしか表せない部位、すなわち設備干渉部分の表現（検証）、正面投影確認、及び空間かげきによる検証等が可能となる。設備干渉部分は、例えば図１７に示すように、３次元形状データと３次元図面データとの重なりにより把握することができる。 This method is also effective when there is no local installation (installation) space information or when there is no 3D CAD data. In addition, according to this method, it is possible to confirm the consistency of the local installation location before starting the three-dimensional design. According to this method, since 3DCAD is not required, verification time can be greatly shortened. In addition, it is possible to perform a representation (verification) of a part that can be represented only by three-dimensional data and two-dimensional drawings based on point cloud data, that is, an equipment interference part, verification of front projection, and verification by space clearance. For example, as shown in FIG. 17, the equipment interference portion can be grasped by overlapping the three-dimensional shape data and the three-dimensional drawing data.
なお、対象データの読み込みが行われていれば、工程の順番は適宜変更可能である。また、対象データの読み込みの順番、すなわち第一〜第三読み込み工程の順番も入れ替え可能である。また、例えば、点群データに関する処理、モーションキャプチャ装置のデータに関する処理、及び２次元図面データに関する処理をそれぞれ１セットとして、実行するセットの順番を入れ替えても良い。例えば、工程Ｓ２０４〜Ｓ２０９を１セットとして、当該セットを別の工程の前後に配置しても良い。また、適宜書くデータの処理を行っても良い。また、設計図は、レイアウト図や回路配線図を含む概念である。また、データ全体をグルーピングすると、一体領域は当該データ上で１つとなる。 Note that the order of the steps can be appropriately changed as long as the target data is read. Also, the order of reading the target data, that is, the order of the first to third reading steps can be changed. Further, for example, the processing related to the point cloud data, the processing related to the data of the motion capture device, and the processing related to the two-dimensional drawing data may be set as one set, and the order of the sets to be executed may be changed. For example, steps S204 to S209 may be set as one set, and the set may be arranged before and after another step. Moreover, you may process the data written suitably. The design drawing is a concept including a layout diagram and a circuit wiring diagram. Further, when the entire data is grouped, there is one integrated area on the data.
また、上記第一及び第二実施形態の仮想作業表示方法を用いた仮想作業データ作成方法は、コンピュータＡが、ユーザの操作に応じて、ディスプレイ１２に表示される画像（動画を含む）を記憶媒体に記憶する工程を含んでも良い。これによれば、仮想作業の様子をデータとして保管又はクライアントに提供することができる。記憶媒体は、例えば、コンピュータＡ内のハードディスク、外付けハードディスク、フラッシュメモリ、又はＤＶＤ−ＲＯＭ等である。また表示画面例としては、図２４も参照できる。 Further, in the virtual work data creation method using the virtual work display method of the first and second embodiments, the computer A stores images (including moving images) displayed on the display 12 in response to a user operation. You may include the process memorize | stored in a medium. According to this, the state of the virtual work can be stored as data or provided to the client. The storage medium is, for example, a hard disk in the computer A, an external hard disk, a flash memory, or a DVD-ROM. FIG. 24 can also be referred to as an example of the display screen.
＜３次元空間かげきデータ作成方法に係る実施形態＞
本実施形態の３次元空間かげきデータ作成方法は、図１９に示すように、読み込んだデータに基づき３次元形状を編集することができるソフトウェア４１を備えるコンピュータ４を用いた方法である。なお、本実施形態の説明において、上記の第一及び第二実施形態の説明及び図面を参照することができる。重複する説明については適宜省略するが、上記第一及び第二実施形態を参照することができる。
<Embodiment related to method for creating three-dimensional space shadow data>
As shown in FIG. 19, the three-dimensional space shadow data creation method of the present embodiment is a method using a computer 4 provided with software 41 that can edit a three-dimensional shape based on read data. In the description of the present embodiment, reference can be made to the descriptions and drawings of the first and second embodiments described above. Although overlapping description is omitted as appropriate, the first and second embodiments can be referred to.
コンピュータ４は、ＣＰＵやメモリを有する処理部４０と、処理部４０にインストールされたソフトウェア４１（例えば「ＸＶＬ」、ラティス・テクノロジー株式会社製）と、ディスプレイ４２と、操作部材４３と、を備えている。本方法は、３次元データ読み込み工程Ｓ３０１と、２次元図面読み込み工程Ｓ３０２と、グルーピング工程Ｓ３０３と、変換工程Ｓ３０４と、第一調整工程Ｓ３０５、配置工程Ｓ３０６と、第二調整工程Ｓ３０７と、記憶工程Ｓ３０８と、を含んでいる。 The computer 4 includes a processing unit 40 having a CPU and a memory, software 41 (for example, “XVL”, manufactured by Lattice Technology Co., Ltd.) installed in the processing unit 40, a display 42, and an operation member 43. Yes. The method includes a three-dimensional data reading step S301, a two-dimensional drawing reading step S302, a grouping step S303, a conversion step S304, a first adjustment step S305, an arrangement step S306, a second adjustment step S307, and a storage step. S308.
３次元データ読み込み工程Ｓ３０１は、コンピュータ４が、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び点群データに基づく３次元形状データの少なくとも一方を読み込む工程である。２次元データ読み込み工程Ｓ３０２は、コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程である。図１２に示すように、本実施形態の２次元図面データは、線データで構成されている。２次元図面データは、第二実施形態同様、設計図データである。 In the three-dimensional data reading step S301, the computer 4 reads at least one of three-dimensional point group data that is three-dimensional scan data to be measured and three-dimensional shape data based on the point group data in accordance with a user operation. It is. The two-dimensional data reading step S302 is a step in which the computer reads two-dimensional drawing data including a drawing related to the measurement object and displayed with lines in accordance with a user operation. As shown in FIG. 12, the two-dimensional drawing data of this embodiment is composed of line data. The two-dimensional drawing data is design drawing data as in the second embodiment.
グルーピング工程Ｓ３０３は、コンピュータ４が、ユーザの操作に応じて、２次元図面データの少なくとも一部を、ソフトウェア４１において一体で移動及び回転させることができる一体領域としてグルーピングする工程である。グルーピング工程Ｓ３０３は、一体で配置の編集する領域を選択する工程ともいえる。グルーピング工程Ｓ３０３では、図１３に示すように、例えば１シートに複数の図面が配置されている場合、正面図や側面図と図面単位でグルーピングすることが好ましい。 The grouping step S303 is a step in which the computer 4 groups at least a part of the two-dimensional drawing data as an integrated region that can be moved and rotated integrally by the software 41 in accordance with a user operation. It can be said that the grouping step S303 is a step of selecting a region for editing the arrangement as a unit. In the grouping step S303, as shown in FIG. 13, for example, when a plurality of drawings are arranged on one sheet, grouping is preferably performed in units of front and side views and drawings.
変換工程Ｓ３０４は、コンピュータ４が、ユーザの操作に応じて、一体領域に対して座標軸を追加し、一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する工程である。変換工程Ｓ３０４では、図１４に示すように、グルーピングされたＸＹ座標上の２次元図面データに、Ｚ座標軸（Ｚ座標情報）を追加して、３次元座標（Ｘ、Ｙ、Ｚ）上の図面データ（一平面上の図面）に変換する。 The conversion step S304 is a step in which the computer 4 adds coordinate axes to the integrated region in accordance with a user operation, and converts the integrated region into 3D drawing data arranged on one plane on 3D coordinates. is there. In the conversion step S304, as shown in FIG. 14, the Z coordinate axis (Z coordinate information) is added to the two-dimensional drawing data on the grouped XY coordinates, and the drawing on the three-dimensional coordinates (X, Y, Z). Convert to data (drawing on one plane).
第一調整工程Ｓ３０５は、コンピュータ４が、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方に対応するように、３次元図面データを移動及び／又は回転させる工程である。第一調整工程Ｓ３０５では、例えば図１５に示すように、側面図等を３次元空間に合わせて立たせる（回転させる）。この例では、グルーピングされた２次元図面データを、Ｘ軸又はＹ軸に平行な直線を回転軸として９０°回転させている。このように第一調整工程Ｓ３０５において、コンピュータ４は、ユーザの操作に応じて、３次元図面データを、追加された座標軸（Ｚ軸）の座標が変化する方向に回転させる。 The first adjustment step S305 is a step in which the computer 4 moves and / or rotates the three-dimensional drawing data so as to correspond to at least one of the point cloud data and the three-dimensional shape data in accordance with a user operation. In the first adjustment step S305, for example, as shown in FIG. 15, a side view or the like is erected (rotated) in accordance with the three-dimensional space. In this example, the grouped two-dimensional drawing data is rotated by 90 ° using a straight line parallel to the X axis or Y axis as a rotation axis. As described above, in the first adjustment step S305, the computer 4 rotates the three-dimensional drawing data in a direction in which the coordinate of the added coordinate axis (Z axis) changes in accordance with a user operation.
配置工程Ｓ３０６は、コンピュータ４が、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方と、３次元図面データとを、共通の３次元座標上に重ねて配置する工程である。本実施形態の配置工程Ｓ３０６では、コンピュータ４が、ユーザの操作に応じて、３次元座標上において、例えば、図２１に示すように３次元形状データ（設備が配置された工場の内観）を配置し、図２２に示すように当該３次元形状データの一部（床部分）を切り取っている（例えばグルーピング後に削除する）。つまり、本方法には、３次元形状データの編集工程が含まれている。図２３に示すように、本実施形態の配置工程Ｓ３０６では、ソフトウェア４１の共通の３次元座標上において、３次元形状データの切り取られた床部分に３次元図面データが重ねて配置されている。さらに、図１８及び図２４に示すように、側面図等の回転させた（立たせた）図面データを共通の３次元座標上に配置させる。 The arranging step S306 is a step in which the computer 4 arranges at least one of the point cloud data and the three-dimensional shape data and the three-dimensional drawing data on the common three-dimensional coordinates in accordance with a user operation. . In the arrangement step S306 of the present embodiment, the computer 4 arranges, for example, three-dimensional shape data (interior view of the factory where the equipment is arranged) on the three-dimensional coordinates in accordance with a user operation, as shown in FIG. Then, as shown in FIG. 22, a part (floor portion) of the three-dimensional shape data is cut out (for example, deleted after grouping). That is, the method includes an editing process of three-dimensional shape data. As shown in FIG. 23, in the arrangement step S306 of the present embodiment, the three-dimensional drawing data is arranged on the floor portion where the three-dimensional shape data is cut out on the common three-dimensional coordinates of the software 41. Further, as shown in FIGS. 18 and 24, the rotated drawing data such as a side view is arranged on common three-dimensional coordinates.
第二調整工程Ｓ３０７は、第一調整工程Ｓ３０５と同様、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方に対応するように、３次元図面データを移動及び／又は回転させる工程である。本実施形態の第二調整工程Ｓ３０７では、３次元図面データが３次元形状データの対応する位置に配置されるように、３次元図面データの位置を調整（相対移動ともいえる）している。３次元空間けがきデータの例としては、図１６〜図１８及び図２４が参照できる。記憶工程Ｓ３０８では、作成されたデータ（３次元空間けがきデータ）を記憶媒体（例えば、フラッシュメモリ、ＤＶＤ−ＲＯＭ、及びハードディスク等の不揮発性メモリ）に保存する。記憶媒体への保存は、保管やクライアントへの提供に適している。 Similar to the first adjustment step S305, the second adjustment step S307 moves and / or rotates the three-dimensional drawing data so as to correspond to at least one of the point cloud data and the three-dimensional shape data in accordance with a user operation. It is a process. In the second adjustment step S307 of the present embodiment, the position of the three-dimensional drawing data is adjusted (also referred to as relative movement) so that the three-dimensional drawing data is arranged at a corresponding position in the three-dimensional shape data. As examples of the three-dimensional space marking data, FIGS. 16 to 18 and 24 can be referred to. In the storage step S308, the created data (three-dimensional space marking data) is stored in a storage medium (for example, a nonvolatile memory such as a flash memory, a DVD-ROM, and a hard disk). Saving to a storage medium is suitable for storage and provision to clients.
本実施形態によれば、３次元空間に容易且つ精度良くかげきする（かげき線を付す）ことができ、各種検証が容易且つ精度良く実行できるなど、第二実施形態と同様の効果が発揮される（第二実施形態の記載を参照）。さらに、本方法は、少ない設備（例えばレーザースキャン装置とソフトウェアがインストールされたパーソナルコンピュータ）で実行することができる。なお、本方法は、上記のように、点群データ及び／又は３次元形状データを編集（例えばグルーピング、移動、回転、切り取り等）する編集工程を含んでも良い。 According to the present embodiment, the same effects as those of the second embodiment can be exhibited, such that the three-dimensional space can be easily and accurately scratched (belonged with a scratch line), and various verifications can be easily and accurately performed. (See the description of the second embodiment). Furthermore, the method can be performed with a small amount of equipment (eg, a personal computer with a laser scanning device and software installed). As described above, the present method may include an editing step of editing (for example, grouping, moving, rotating, cutting, etc.) the point cloud data and / or the three-dimensional shape data.
上記の本発明に係る各種方法は、プラント（例えば工場、設備、機械、又は発電所等）の設計や建築において特に有効である。つまり、計測対象が大きく、機械等のレイアウトのシミュレーション（検証）に時間と労力がかかる業務において、本発明によればシミュレーションを容易に行うことができ、極めて有効である。したがって、計測対象が建物（例えば工場）の内観（内部）又は外観（外部）を含む場合、建物の内観又は外観を含む３次元スキャンデータを用いることになり、本発明に係る方法は極めて有効となる。建物の内観又は外観には、すでに建物内部又は外部に１又は複数の設備や機械が設置されている場合、当該設備や機械も含まれる。本方法は、家屋や施設の設計にも応用できる。点群データに基づく３次元形状データは、ポリゴンであり、例えば施設や工場の内観（内部）又は外観（外部）を表す。特に建物のような大きなものに設備や機械を設置する場合、そのレイアウトや作業のしやすさ等の検証を精度良く行おうとすると、３ＤＣＡＤを用いる等、多大な時間と労力がかかってしまう。しかし、本発明に係る方法によれば、建物の内観又は外観を含む３次元スキャンデータと他種のデータとを組み合わせて用いることで、容易且つ精度良く画面上で各種検証をすることができる。 The various methods according to the present invention described above are particularly effective in the design and construction of plants (for example, factories, equipment, machines, or power plants). In other words, according to the present invention, the simulation can be easily performed and is extremely effective in an operation in which the measurement target is large and the simulation (verification) of the layout of the machine or the like requires time and labor. Therefore, when the measurement target includes an interior (inside) or an exterior (external) of a building (for example, a factory), three-dimensional scan data including the interior or exterior of the building is used, and the method according to the present invention is extremely effective. Become. When one or a plurality of facilities or machines are already installed inside or outside the building, the interior or exterior of the building includes the facilities and machines. This method can also be applied to the design of houses and facilities. The three-dimensional shape data based on the point cloud data is a polygon and represents, for example, the inside (inside) or the outside (outside) of a facility or factory. In particular, when equipment or machines are installed in a large object such as a building, if it is attempted to accurately verify the layout and ease of work, it takes a lot of time and labor, such as using 3D CAD. However, according to the method of the present invention, various verifications can be performed on the screen easily and accurately by using a combination of the three-dimensional scan data including the interior or appearance of the building and other types of data.
また、本発明に係る方法によれば、現状の設備と設置予定の設備とが干渉するか否かを検証でき、干渉部分がある場合、画面上で明確に確認することができる。つまり、点群データに基づく画像に現地の現状が３次元空間に現れており、設置予定の設備や機械の図面が当該３次元空間にけがきされるため、どの部分が干渉するか等、干渉部分が明確となる。例えば、３次元空間内（座標上）で、設備等を含む建物内観又は外観の３次元形状データに、３次元図面データを配置（けがき）することが、容易且つ精度良く検証するために極めて有効となる。例えば２次元図面データが設備等のレイアウト図面である場合、容易且つ精度良く設備の配置や設備同士の干渉等を検証することができる。また、図２４において、床部分（３次元形状データの一部）を切り取ることなく、床部分の３次元形状データ上に床部分の３次元図面データを配置しても良い。３次元形状データの一部の上に、当該一部に対応する図面である３次元図面データを配置することができる。 Further, according to the method according to the present invention, it is possible to verify whether or not the current equipment and the equipment to be installed interfere with each other, and when there is an interference part, it can be clearly confirmed on the screen. In other words, the current state of the field appears in the 3D space in the image based on the point cloud data, and the drawings of the equipment and machines that are scheduled to be installed are scratched in the 3D space. The part becomes clear. For example, in order to verify easily and accurately, it is very easy to place (scratch) 3D drawing data on 3D shape data of the interior or exterior of a building including equipment in 3D space (on coordinates). It becomes effective. For example, when the two-dimensional drawing data is a layout drawing of equipment or the like, the placement of equipment or interference between equipment can be verified easily and accurately. In FIG. 24, the 3D drawing data of the floor portion may be arranged on the 3D shape data of the floor portion without cutting out the floor portion (a part of the 3D shape data). Three-dimensional drawing data that is a drawing corresponding to the part can be arranged on a part of the three-dimensional shape data.
１…シミュレーションシステム、Ａ、４…コンピュータ、１１、４１…ソフトウェア、１２、４２…ディスプレイ、１４…ヘッドマウントディスプレイ DESCRIPTION OF SYMBOLS 1 ... Simulation system, A, 4 ... Computer, 11, 41 ... Software, 12, 42 ... Display, 14 ... Head mounted display
Claims (11)
前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、
前記コンピュータが、ユーザの操作に応じて、モーションキャプチャ装置で取得された作業体験者の動きに関する動作データ及び前記動作データに基づく人体形状データの少なくとも一方を読み込む工程と、
前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記動作データ及び前記人体形状データの少なくとも一方とを共通の３次元座標上に配置する工程と、
前記コンピュータが、ユーザの操作に応じて、前記共通の３次元座標上に仮想的に設置される仮想カメラの位置と向きを設定する工程と、
前記コンピュータが、前記画面上に、前記仮想カメラを介して見える、前記点群データ及び前記３次元形状データの少なくとも一方と、前記モーションキャプチャ装置から取得している現在の前記作業体験者の動きに連動した前記動作データ及び前記人体形状データの少なくとも一方とを表示する表示工程と、
前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、
前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、前記画面上において一体で移動及び回転させることができる一体領域としてグルーピングする工程と、
前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、
前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、前記共通の３次元座標上に重ねて配置する配置工程と、
前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを移動及び／又は回転させる調整工程と、
を含み、
前記表示工程において、前記コンピュータは、前記画面上に、前記仮想カメラを介して見える前記３次元図面データをさらに表示し、
前記調整工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データを、追加された前記座標軸の座標が変化する方向に回転させる仮想作業表示方法。 A virtual work display method using a computer having software capable of displaying a three-dimensional shape on a screen based on read data,
A step of reading at least one of three-dimensional point cloud data, which is three-dimensional scan data to be measured, and three-dimensional shape data based on the point cloud data, in response to a user operation;
The computer reads at least one of motion data related to the movement of a work experience person acquired by a motion capture device and human body shape data based on the motion data in response to a user operation;
The computer arranging at least one of the point cloud data and the three-dimensional shape data and at least one of the motion data and the human body shape data on a common three-dimensional coordinate according to a user operation; ,
The step of setting the position and orientation of a virtual camera virtually installed on the common three-dimensional coordinates in accordance with a user operation;
The computer shows at least one of the point cloud data and the three-dimensional shape data, which is visible on the screen via the virtual camera, and the current movement of the work experience acquired from the motion capture device. A display step for displaying at least one of the motion data and the human body shape data linked together;
The computer reads two-dimensional drawing data including a drawing related to the measurement object and displayed by a line in response to a user operation;
A step of grouping at least a part of the two-dimensional drawing data as an integrated region that can be moved and rotated integrally on the screen in accordance with a user operation;
A conversion step in which the computer adds a coordinate axis to the integrated region in accordance with a user operation, and converts the integrated region into three-dimensional drawing data arranged on one plane on three-dimensional coordinates;
An arrangement step in which the computer arranges at least one of the point cloud data and the three-dimensional shape data and the three-dimensional drawing data on the common three-dimensional coordinates in accordance with a user operation;
Between the conversion step and the placement step and / or after the placement step, the computer corresponds to at least one of the point group data and the three-dimensional shape data according to a user operation. An adjustment step of moving and / or rotating the three-dimensional drawing data;
Including
In the display step, the computer further displays the three-dimensional drawing data visible through the virtual camera on the screen,
In the adjusting step, the computer is a virtual work display method in which the computer rotates the three-dimensional drawing data in a direction in which the coordinate of the added coordinate axis changes in accordance with a user operation .
前記表示工程において、前記コンピュータは、前記画面上に、前記コンピュータグラフィックス及び前記３次元形状データを表示するとともに、前記共通の３次元座標上において、前記コンピュータグラフィックスの外縁が前記３次元形状データの外縁と重なった場合に、当該重なり部分に接触マークを表示する請求項１又は２に記載の仮想作業表示方法。 The human body shape data is computer graphics,
In the display step, the computer displays the computer graphics and the three-dimensional shape data on the screen, and an outer edge of the computer graphics is the three-dimensional shape data on the common three-dimensional coordinates. The virtual work display method according to claim 1, wherein a contact mark is displayed on the overlapping portion when the outer edge overlaps the outer edge of the work.
前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、
前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、
前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、前記ソフトウェアにおいて一体で移動及び回転させることができる一体領域としてグルーピングする工程と、
前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、
前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、共通の３次元座標上に重ねて配置する配置工程と、
前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを移動及び／又は回転させる調整工程と、
を含み、
前記調整工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データを、追加された前記座標軸の座標が変化する方向に回転させる３次元空間けがきデータ作成方法。 A method of creating 3D space scribing data using a computer having software capable of editing a 3D shape based on read data,
A step of reading at least one of three-dimensional point cloud data, which is three-dimensional scan data to be measured, and three-dimensional shape data based on the point cloud data, in response to a user operation;
The computer reads two-dimensional drawing data including a drawing related to the measurement object and displayed by a line in response to a user operation;
A step of grouping at least a part of the two-dimensional drawing data as an integrated area that can be moved and rotated integrally in the software according to a user operation;
A conversion step in which the computer adds a coordinate axis to the integrated region in accordance with a user operation, and converts the integrated region into three-dimensional drawing data arranged on one plane on three-dimensional coordinates;
An arrangement step in which the computer arranges at least one of the point cloud data and the three-dimensional shape data and the three-dimensional drawing data on a common three-dimensional coordinate in accordance with a user operation;
Between the conversion step and the placement step and / or after the placement step, the computer corresponds to at least one of the point group data and the three-dimensional shape data according to a user operation. An adjustment step of moving and / or rotating the three-dimensional drawing data;
Only including,
In the adjustment step, the computer rotates the three-dimensional drawing data in a direction in which the coordinate of the added coordinate axis changes in accordance with a user operation .
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017078548 | 2017-04-11 | ||
| JP2017078548 | 2017-04-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6253834B1 true JP6253834B1 (en) | 2017-12-27 |
| JP2018181288A JP2018181288A (en) | 2018-11-15 |
Family
ID=60860157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017113849A Active JP6253834B1 (en) | 2017-04-11 | 2017-06-08 | Virtual work display method, virtual work data creation method, and three-dimensional space marking data creation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6253834B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7279530B2 (en) | 2019-06-07 | 2023-05-23 | マツダ株式会社 | Video processing method, video processing device, video processing program, and recording medium recording video processing program |
| WO2021085130A1 (en) * | 2019-10-28 | 2021-05-06 | ソニー株式会社 | Information processing device, information processing method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010257081A (en) * | 2009-04-22 | 2010-11-11 | Canon Inc | Image procession method and image processing system |
| JP2010271536A (en) * | 2009-05-21 | 2010-12-02 | Kanto Auto Works Ltd | Work training system and work training method, as well as recording medium with the work training method recorded thereon |
| US9460561B1 (en) * | 2013-03-15 | 2016-10-04 | Bentley Systems, Incorporated | Hypermodel-based panorama augmentation |
| JP2017016577A (en) * | 2015-07-06 | 2017-01-19 | キヤノン株式会社 | Information processor, and control method, and program, for the same |
-
2017
- 2017-06-08 JP JP2017113849A patent/JP6253834B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010257081A (en) * | 2009-04-22 | 2010-11-11 | Canon Inc | Image procession method and image processing system |
| JP2010271536A (en) * | 2009-05-21 | 2010-12-02 | Kanto Auto Works Ltd | Work training system and work training method, as well as recording medium with the work training method recorded thereon |
| US9460561B1 (en) * | 2013-03-15 | 2016-10-04 | Bentley Systems, Incorporated | Hypermodel-based panorama augmentation |
| JP2017016577A (en) * | 2015-07-06 | 2017-01-19 | キヤノン株式会社 | Information processor, and control method, and program, for the same |
Non-Patent Citations (5)
| Title |
|---|
| ""ＶＲ・ＡＲで進化する開発・生産"", 日経ものづくり, vol. 第７３１号, JPN6017037861, 1 August 2015 (2015-08-01), JP, pages 61 - 66 * |
| ""第２部：建設・建築編 目指せ熟練者並みの効率、自律制御や仮想現実で実現"", 日経エレクトロニクス, vol. 第１１６２号, JPN6017037856, 20 November 2015 (2015-11-20), JP, pages 28 - 35 * |
| 中山力: ""３Ｄ活用で工場設備の設計を効率化 点群データをＤＭＵツールで検証"", 日経ものづくり, vol. 第７３７号, JPN6017037852, 1 February 2016 (2016-02-01), JP, pages 32 - 33 * |
| 吉田勝: ""ものづくりで芽吹くＡＲ"", 日経ものづくり, vol. 第７４５号, JPN6017037854, 1 October 2016 (2016-10-01), JP, pages 67 - 74 * |
| 芸林盾: ""３Ｄによる配線配管設計のメリットと今後の動向"", 計装, vol. 第５９巻, 第１２号, JPN6017037859, 1 December 2016 (2016-12-01), JP, pages 31 - 35 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018181288A (en) | 2018-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6996594B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP6625523B2 (en) | HUD object design and display method. | |
| JP4253567B2 (en) | Data authoring processor | |
| Dunston | Technology development needs for advancing augmented reality-based inspection | |
| JP2004209641A (en) | Method and system for programming industrial robot | |
| US20110109628A1 (en) | Method for producing an effect on virtual objects | |
| US20180204387A1 (en) | Image generation device, image generation system, and image generation method | |
| JP2008293357A (en) | Information processing method and information processor | |
| Giunta et al. | A review of augmented reality research for design practice: looking to the future | |
| JP7475022B2 (en) | Method and device for generating 3D maps of indoor spaces | |
| US7092860B1 (en) | Hardware simulation systems and methods for vision inspection systems | |
| JP6319804B2 (en) | Projection image generation apparatus, projection image generation method, and projection image generation program | |
| RU2656584C1 (en) | System of designing objects in virtual reality environment in real time | |
| CN109242966A (en) | A kind of 3D panorama model modeling method based on laser point cloud data | |
| JP6295296B2 (en) | Complex system and target marker | |
| JP6253834B1 (en) | Virtual work display method, virtual work data creation method, and three-dimensional space marking data creation method | |
| CN106980378A (en) | Virtual display methods and system | |
| Wang et al. | [Retracted] Virtual Reality‐Based Digital Restoration Methods and Applications for Ancient Buildings | |
| CN106067160B (en) | Large screen merges projecting method | |
| CN110322539A (en) | Threedimensional model cutting process display methods, device and the electronic equipment of three-dimension object | |
| JPH113432A (en) | Image processor, game machine, its method and recording medium | |
| Valentini | Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects | |
| JP2014186588A (en) | Simulation apparatus, program, and image generating method | |
| JP6503098B1 (en) | Image processing apparatus, image processing program and image processing method | |
| KR20000050372A (en) | Realtime shade simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6253834 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |