JP2024071251A - Ar display work scenario creation system, and ar display work scenario creation method - Google Patents
Ar display work scenario creation system, and ar display work scenario creation method Download PDFInfo
- Publication number
- JP2024071251A JP2024071251A JP2022182093A JP2022182093A JP2024071251A JP 2024071251 A JP2024071251 A JP 2024071251A JP 2022182093 A JP2022182093 A JP 2022182093A JP 2022182093 A JP2022182093 A JP 2022182093A JP 2024071251 A JP2024071251 A JP 2024071251A
- Authority
- JP
- Japan
- Prior art keywords
- work
- display
- scenario
- data
- procedure manual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000000547 structure data Methods 0.000 claims abstract 2
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000002203 pretreatment Methods 0.000 claims 1
- 238000013461 design Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明の実施形態は、AR(拡張現実)表示の作業シナリオ作成システム及びAR表示の作業シナリオ作成方法に関する。 Embodiments of the present invention relate to a system for creating a work scenario displayed in augmented reality (AR) and a method for creating a work scenario displayed in AR.
作業の対象となる現実の対象機器の視覚情報に作業手順書に従う作業内容を重ね合わせて表示する、拡張現実(AR)の装置が開発されている。この作業シナリオを作成するにあたって、現在知られているシステムでは、作業シナリオの各ステップにおいて、ARとして表示する仮想オブジェクトの配置をシナリオの作成者が手動で、行っている。 Augmented reality (AR) devices have been developed that overlay and display the work content according to a work procedure manual onto the visual information of the real target equipment that is the subject of the work. In currently known systems, when creating this work scenario, the creator of the scenario manually places virtual objects to be displayed as AR at each step of the work scenario.
例えば、特許文献1には、ユーザが一般的なARコンテンツ作成プログラムをインタラクティブに操作して、ARコンテンツを編集するオーサリング方法が記載されている。
For example,
上述の方法によれば作業シナリオを作成する場合も、作成者が視界に見える作業対象となる対象機器に、仮想の視覚情報であるAR表示が合成された映像を見ながら仮想オブジェクトの位置を調整することにより行う。 When creating a work scenario using the above-mentioned method, the creator adjusts the position of a virtual object while viewing an image in which an AR display, which is virtual visual information, is synthesized onto the target equipment that is the subject of the work and is visible to the viewer.
この仮想オブジェクトの位置決めは、仮想オブジェクトと手指をカメラの視界に入れ仮想オブジェクトを視界の中で掴んで動かす操作により移動させるハンドトラッキング技術を用いて行われている。 The positioning of this virtual object is achieved using hand tracking technology, which places the virtual object and fingers within the camera's field of view and moves the virtual object by grasping and moving it within the field of view.
上述のような手動によるAR表示の配置では、仮想オブジェクトの位置座標の精度は、ハンドトラッキングの精度に依存するので座標値を細かく制御できず、本来表示したい位置と実際に表示される位置との間にずれが生じやすくなる。したがって、作業対象部位の近くに類似の別の部位があったりすると、配置作業が複雑な構造の機器を対象とする場合や作業手順が多い作業シナリオの作成に、時間がかかるという課題が生ずる。 In the manual placement of AR displays as described above, the precision of the position coordinates of the virtual object depends on the precision of hand tracking, so the coordinate values cannot be controlled precisely, and it is easy for discrepancies to occur between the position you want to display and the position that is actually displayed. Therefore, if there is another similar part near the part to be worked on, there is an issue that it takes a lot of time to create a work scenario that targets equipment with a complex structure or has many work steps.
上記した課題を解決するために、実施形態のAR表示の作業シナリオ作成システムは、作業の対象となる現実の対象機器およびAR表示の作業シナリオに従って実施する作業を時系列として示す作業手順書から、前記対象機器の三次元構造データおよび仮想オブジェクトのAR表示データを関連づけて作業シナリオを作成する。 To solve the above-mentioned problems, the embodiment of the AR display work scenario creation system creates a work scenario by associating three-dimensional structural data of the target equipment and AR display data of the virtual object from a work procedure manual that shows the actual equipment to be worked on and the work to be performed in chronological order according to the AR display work scenario.
(実施形態1)
一実施形態の具体的な説明の前に、AR表示の作業シナリオの使い方を図1により説明する。
図1は、ドライバでネジを外す作業を指示する作業シナリオの使い方を示した例である。
(Embodiment 1)
Before describing an embodiment in detail, how to use a work scenario for AR display will be described with reference to FIG.
FIG. 1 shows an example of how to use a work scenario to instruct a task of removing a screw with a screwdriver.
作業者が作業を実施するに際して、当該作業に関する情報は通常、ウェアラブルデバイスや携帯端末、例えばグラス型の表示装置11上に視覚的に提示される形態でなされる。
When a worker performs a task, information about the task is usually presented visually on a wearable device or mobile terminal, such as a glasses-
このとき、表示装置11が光学シースルータイプであれば、作業対象となる実際の対象機器12の視覚情報は、現実の視界のまま作業者が認識する一方、仮想表示用ツールが作業者に提示する情報、例えば仮想ドライバ13は現実の視覚情報に重ね合わせる形で表示装置11に表示される。その結果、現実の視覚情報と仮想の視覚情報が合成され、表示例14のような拡張現実として表示され、作業内容に関する手順書として提示される。
In this case, if the
作業手順書の情報は、各作業ステップにおいて作業対象機器のどの部位に対して何を行うかの情報を提示する。本出願においてAR表示の作業シナリオとは、作業手順書の情報をARとしての表現で処理する一連の情報である。どの部位であるかを示すために各作業ステップにおいて機器の該当する位置にARで作業内容を示すアイコン等の情報を重ね合わせて表示する。現実の視覚情報に作業内容を指示するAR情報が合成されて表示される。 The information in the work procedure manual presents information on what to do for which part of the equipment to be worked on in each work step. In this application, a work scenario displayed in AR is a series of information that processes the information in the work procedure manual using AR representation. To indicate which part is involved, information such as an icon indicating the work content is displayed superimposed in AR at the corresponding position on the equipment in each work step. AR information indicating the work content is synthesized and displayed with real-world visual information.
シナリオ作成者は作業ステップ毎にどの位置に何をAR表示するかを定義する。それからそれらの一連の情報を時系列に並べてまとめたものを作業シナリオとする。 The scenario creator defines what AR will be displayed in what position for each work step. Then, this series of information is compiled in chronological order to create the work scenario.
近年、機器の形状を3D CADを用いて設定することが一般的となっている。本出願はそのような作業対象機器の三次元構造を表す設計データと作業手順を組み合わせて作業手順に記述された作業内容から作業支援としてAR表示をする情報を作成し、これを用いて作業シナリオを作成することにより、位置情報の精度を向上させるとともにシナリオを短時間で生成する。 In recent years, it has become common to set the shape of equipment using 3D CAD. This application combines design data that represents the three-dimensional structure of such equipment to be worked on with work procedures, creates information to be displayed in AR as work support from the work content described in the work procedures, and uses this to create a work scenario, thereby improving the accuracy of position information and generating a scenario in a short time.
図2に、実施形態1の作業シナリオ作成システムの機能的な全体構成例を示す。この作業シナリオ作成システム21は大きくは、入力データを入力され仮想表示用ツールのAR表示データを作成し修正作業手順書を作成する前処理部22と、修正作業手順書に基づき作業シナリオを作成し出力データを出力する作業シナリオ作成部23から成る。実際の作業シナリオ作成システムでは、入力装置、出力装置、演算処理装置、記憶装置が含まれているが、この図では理解を容易にするため簡略化して示している。
Figure 2 shows an example of the overall functional configuration of the work scenario creation system of
(前処理の説明)
前処理部22は、図3に示すように、三次元構造の機器形状のデータを入力される機器形状データ入力部31と、作業手順書を入力される作業手順書入力部32と、仮想表示用ツールのAR表示データを入力されるAR表示データ入力部33と、特徴点の座標データを抽出する特徴点座標抽出部34と、この特徴点座標のリストから作業部位を選択する作業部位選択部35と、選択された作業部位に一意の識別名称(部位タグ)を割り当てる識別名称割当部36と、作業内容の記述に識別名称(オブジェクトタグ)と識別名称(部位タグ)を記載する作業内容タグ記述部37と、修正機器形状データを作成する修正機器形状データ作成部38と、修正作業手順書を作成する修正作業手順書作成部39と、から成る。
(Explanation of pre-processing)
As shown in FIG. 3 , the
図4(a)に操作対象と前処理で扱うデータの概略を示す。作業者が実際に操作などの作業を行う対象が、対象機器としての作業対象機器1である。作業対象機器1には、例えばネジの取り付け位置である部位B1と部位B2がある。これら部位B1や部位B2のような部位を識別するための名称を識別名称とする。
Figure 4 (a) shows an overview of the operation target and the data handled in preprocessing. The target device is the
作業対象機器1を設計する際に3D CADなどの三次元構造データを用いて作成した、外形を立体的に記述するデータが機器形状データ2である。3DCADではSTY形式などが利用される。機械が認識するデータであり、人間が部位の把握のために利用する識別名称は含まず、三次元座標により構造表現される。OpenDocument形式のXMLベースのように意味を構造化した文書を利用することで、機械的に情報を加工しやすくするが、記述内容は人間が読んで理解できる表現を用い、操作対象は座標値でなく、名前で記述する。作業対象機器1への、ある作業内容を記述した文書が作業手順書3である。機器形状データ2および作業手順書3は、AR表示の作業シナリオを用いない場合にも準備されるデータである。
The
機器形状データ2、作業手順書3およびAR表示データ4(例えばドライバ)が入力されて、前処理がなされ、その後作業シナリオの作成処理がなされて出力データとして作業シナリオ5が出力される。
本願の一実施形態では、識別名称を用いて前処理がなされる(図4(b))。識別名称をもたない座標データである機器形状データ2を元に、ある識別名称とその座標データのマッピング情報をメタデータとしてもたせ、機器形状データ2を修正機器形状データ2+に変更する。作業手順書3は、ネジの着脱の説明文において、操作対象ネジXの記述にメタデータとして部位B1、ネジYの記述にメタデータとして部位B2をマッピングさせ、XMLデータに要素を付加する。また、ネジを操作する工具としてドライバを表示するため、AR表示データ4のドライバ情報をマッピングさせ、XMLデータに要素を付加する。これにより、作業手順書3を修正業手順書3+に変更する。
In one embodiment of the present application, preprocessing is performed using the identification name (FIG. 4(b)). Based on the
修正作業手順書3+には、例えば次のように、各ステップにおける作業内容(対象部位に対する操作)が時系列で記載されている。
ステップ1:〇〇を××する
ステップ2:△△を▽▽する
この作業手順書3の各ステップにおいて、AR表示データ4としてまとめられたデータから、そのステップにおける作業内容として表示する情報を選択し、AR表示して視覚的に作業内容を提示する。
In the corrected
Step 1: Do ×× of 〇〇 Step 2: Do ▽▽ of △△ At each step of this
AR表示データ4は、ARとして表示するための仮想オブジェクトのセットである。個々の仮想オブジェクトには、AR表示データに識別名称(オブジェクトタグ)が割り当てられている。仮想オブジェクト(仮想表示用ツール)としては例えば次のような形状データを用意する。
・矢印(作業対象を指示する、あるいは作業により部位を動かす方向を示す用途に用いる)
・数字(作業内容の説明と作業対象部位を番号で対応付ける、あるいは作業順序を示す用途に用いる)
・工具(そのステップで使用するドライバ等の道具を示す用途に用いる)
機器形状データ2と作業手順書3に対する前処理を実行して、修正機器形状データ2+および修正作業手順書3+を生成し、それを用いて作業シナリオを作成する。
The
- Arrows (used to indicate the object of work or the direction in which a part should be moved during work)
- Numbers (used to correspond with the description of the work and the parts to be worked on, or to indicate the order of work)
- Tools (used to indicate the tools, such as a screwdriver, used in that step)
Pre-processing is performed on the
図5に示すフローチャートを用いて、前処理の動作を説明する。
ステップS500において、まず作業対象機器1の三次元構造(3D CAD)の機器形状データ2および作業手順書3を、図3の機器形状データ入力部31および作業手順書入力部32に入力する。
The pre-processing operation will be described with reference to the flowchart shown in FIG.
In step S500, first,
機器形状データ2は、機器表面の形状を記述したデータである。記述方法としては表面の曲面を方程式により記述する、または曲面からある間隔でサンプリングした座標値の集合として表現されている。機器形状データ入力部31にデータ入力されることで、この中から作業部位がどこにあるか、まず候補となる点を選び出す。作業部位となる点は、ネジ穴が開いていたり、移動の軸があったりするので、そのような形状が不連続となる点を特徴点としての座標を特徴点座標抽出部34において抽出する。最初にこの抽出を行い、それを作業部位の候補リストとし、修正機器形状データ作成部38の作業データとして保持する(ステップS501)。候補リストは、算出した候補点の三次元座標のリストである。
The
次のステップS502では修正作業手順書作成部39で業対象機器への作業において参照される部位を1つ選択する。ステップS503では、選択されたその部位に一意の識別名称(部位タグ)を割り当てる。例えば、図4(b)に示すように、操作対象装置1に部位B1と部位B2に仮想ネジがあるとする。部位B1、B2のそれぞれに例えばネジX、ネジYという識別名称を割り当てる。その場合には、ネジX(B1)、ネジY(B2)となる。その一意の識別名称(部位タグ)を機器形状データ2および作業手順書3においても対応付ける。
機器形状データへの対応付けのため、機器形状データからその機器を実際の形状にモデリングして作成システムの画面に表示する。その際、候補リストの各座標位置に候補点であることを示すマーカーを表示し、それらマーカー表示の中から作業対象として該当するネジ位置を、作成者が作成システムの制御操作により選択する。
In the next step S502, the revised work procedure
To match the equipment shape data, the equipment is modeled to its actual shape from the equipment shape data and displayed on the screen of the creation system. At that time, markers indicating candidate points are displayed at each coordinate position in the candidate list, and the creator selects the screw position that is the target of the work from among the displayed markers by controlling the creation system.
ステップS503では、ステップS502で選択された部位に一意の、部位タグに識別名称を識別名称割当部36で、割り当てる。このような識別名称の部位タグへの割り当てを、識別名称(部位タグ)と記載する。修正作業手順書作成部39により、作業手順書3の記述が識別名称を用いて作業手順書3+となる。
In step S503, the identification
各識別名称(部位タグ)の部位について、候補リストのどの特徴点なのか、作業シナリオの作成者が検索する(ステップS504)。修正作業手順書作成部39は作成者に候補を作成システムの画面に提示し、作成者の選択により決定する。そしてステップS505では、修正機器形状データ作成部38がステップS504で検索された特徴点の座標を、上記識別名称(部位タグ)に関連づけて、データ更新する。
次のステップS506では、作業手順書3の作業内容の記述において上記該当部位を参照する箇所を検索する。
The creator of the work scenario searches for which feature point in the candidate list corresponds to the part of each identification name (part tag) (step S504). The modified work procedure
In the next step S506, a search is made for a portion in the description of the work content in the
次のステップS507では、作業内容の記述に、AR表示するオブジェクトタグに割り当てられた識別名称(以下、識別名称(オブジェクトタグ)と記載)と識別名称(部位タグ)を作業内容タグ記述部37で明記する。すなわち、作業手順書3において、作業内容に対してAR表示したい情報もこのステップS507で明記される。
In the next step S507, the identification name (hereinafter referred to as the identification name (object tag)) assigned to the object tag to be displayed in AR and the identification name (body part tag) are specified in the work content
例えば「AR:『ネジX』を『ドライバ』で外す」という説明文が記述される。『ネジX』が前述の識別名称(部位タグ)であり(ステップS506)、AR表示させる部位としてマークアップする。AR表示する仮想オブジェクトが「ドライバ」であり、AR表示データ4から選択する識別名称(オブジェクトタグ)である。
For example, the description is "AR: Remove 'Screw X' with a 'Screwdriver'." 'Screw X' is the identification name (body part tag) described above (step S506), and is marked up as the body part to be displayed in AR. The virtual object to be displayed in AR is a 'Screwdriver,' and is the identification name (object tag) selected from the
ステップS508では、作業する次の部位があるか調べられる。まだ作業する部位が残っている場合には、ステップS502に戻って再度上述の一連の処理を行う。
ステップS508において、作業する部位が残っていない場合には、次のステップS509に移る。このステップS509では、修正機器形状データ作成部38で、識別名称(部位タグ)の座標リストを付加して、修正機器形状データ2+とする。
In step S508, it is checked whether there is a next part to be worked on. If there is still a part to be worked on, the process returns to step S502 and the above series of processes are repeated.
In step S508, if there are no remaining parts to be worked on, the process proceeds to the next step S509, in which the corrected device shape
そして次のステップS510では、修正作業手順書作成部39で更新した作業内容の記述により修正作業手順書3+が作られる。このように識別名称を用いた表記により作業対象を明確化した修正作業手順書3+が作成される。
Then, in the next step S510, a revised
(作業シナリオ生成処理の説明)
作業シナリオ生成処理を実行する作業シナリオ作成部23は、図6に示すように、修正機器形状データを入力される修正機器形状データ入力部61と、修正作業手順書を入力される修正作業手順書入力部62と、AR表示データを入力されるAR表示データ入力部63と、修正作業手順書から1ステップずつ作業内容を読み出し作業対象の部位を特定する作業対象部位特定部64と、その作業対象部位を修正機器形状データの中から検索する作業対象部位検索部65と、その作業部位の位置座標と向きを算出する部位位置座標向き算出部66と、AR表示の仮想オブジェクトを作成するAR表示仮想オブジェクト作成部67と、その仮想オブジェクトに座標の位置と向きを設定するオブジェクト座標位置向き設定部68と、作成された作業シナリオを出力する作業シナリオ出力部69から成る。AR表示データは、AR表示データ入力部63に入力され、AR表示仮想オブジェクト作成部67において用いる。
(Explanation of Work Scenario Generation Process)
6, the work
作業シナリオ生成処理は、図7に示すように、修正作業手順書3+において、作業内容の説明文を1ステップずつ読み出し(例えば「ネジX」を「ドライバZ」で外す)(71)、作業対象機器の表面上の部位の位置座標と向きを算出し(72)、その位置座標と向きに合わせて仮想オブジェクト(ドライバ)の表示座標と向きを決定し(73)、AR表示仮想オブジェクト7を作成する点である。なお、図7において75は座標原点のマーカーである。
As shown in Figure 7, the work scenario generation process involves reading the description of the work content in the revised
次に、図8に示すフローチャートを用いて、図6に示す作業シナリオ作成部23の動作を説明する。まず、ステップS801において、修正機器形状データ2+および修正作業手順書3+を、各々修正機器形状データ入力部61、修正作業手順書入力部62に入力する。次のステップS802では、AR表示データ4をAR表示データ入力部63に入力する。
Next, the operation of the work
ステップS803では、修正作業手順書3+から1ステップ分の作業内容の説明文を読み出す。この処理を行う手順をステップNとする。読み出した説明文から、作業対象部位に関連付けられた識別名称(識別名称(部位タグ))と、AR表示データの識別名称(識別名称(オブジェクトタグ))とを認識する。
In step S803, an explanation of the work content for one step is read from the revised
例えば、「『ネジX』を『ドライバZ』で外す」という説明文の場合、ステップS804で、作業対象部位特定部64において、作業対象部位の識別名称として「ネジX」を認識する。またステップS807で、AR表示データに関連付けられた識別名称(識別名称(オブジェクトタグ)として、「ドライバZ」を認識する。
For example, in the case of a description that reads "Remove 'Screw X' with 'Driver Z'," in step S804, the work target
ステップS805では、作業対象部位検索部65において、修正機器形状データ入力部61からの修正機器形状データ2+の中から識別名称(部位タグ)を検索する。ステップS806では、部位位置座標向き算出部66で、上記検索で見つけた部位である「ネジX」の座標と向きを算出する。
In step S805, the work target
ステップS807では、上述のように識別名称(オブジェクトタグ)として「ドライバZ」を認識する。ステップS808では、作業内容Yを指示するための表示方法を検索し、表示オブジェクトZを得る。すなわち、AR表示データ入力部63からのAR表示データ4の中から、識別名称(オブジェクトタグ)を検索する。検索で見つかった仮想オブジェクトである、「ドライバZ」をステップNにおいて、AR表示する仮想オブジェクトとして、AR表示仮想オブジェクト作成部67でAR表示の仮想オブジェクト7のデータを作成する。
In step S807, "Driver Z" is recognized as the identification name (object tag) as described above. In step S808, a display method for indicating task content Y is searched for, and display object Z is obtained. That is, the identification name (object tag) is searched for in the
別のステップで同じ「ドライバZ」を使用する場合でも、各ステップでの作業で「ドライバZ」を表示する位置は異なるので、ステップ毎の表示情報としてAR表示する仮想オブジェクトを用意する。 Even if the same "Driver Z" is used in different steps, the position where "Driver Z" is displayed will be different when working in each step, so a virtual object is prepared to be displayed in AR as display information for each step.
ステップS809では、オブジェクト座標位置向き設定部68で、作業シナリオのステップNに、オブジェクトZを取得した座標位置と向きを設定する。すなわち前段で算出した「ネジX」の向きを「ドライバZ」の向きとして適用しAR表示仮想オブジェクトの軸を回転させる。そして「ネジX」の位置に「ドライバZ」のヘッドの位置が当たるように、AR表示仮想オブジェクト7の座標位置を移動させる。このように処理するので「ドライバZ」のデータを用意する時点で、ヘッドの位置を基準的に設定しておく。
In step S809, the object coordinate position and
作業シナリオ5のステップNのデータとして、AR表示仮想オブジェクト7を格納する(ステップS810)。 The AR display virtual object 7 is stored as data for step N of work scenario 5 (step S810).
ステップS811において、修正作業手順書3+に次のステップがあるか、調べる。まだステップがあれば、ステップS803に戻る。修正作業手順書3+が最終手順に到達し、進める手順がなくなったら、ステップS812に移る。
In step S811, check whether there is a next step in the revised
そして作業シナリオ出力部69において作業シナリオ5のデータセットを出力、保存して作業シナリオ作成部23における作業シナリオ生成処理を終了する。生成された作業シナリオは保存されて必要なときに用いられる。
Then, the work
なお、上記ステップS808において、作業内容を元にAR表示する仮想オブジェクトを選択、配置する場合に、ネジであれば構造設計上の部位とAR表示したい位置がほぼ同じ場所になる。 In addition, in step S808 above, when selecting and placing a virtual object to be displayed in AR based on the work content, if it is a screw, the part in the structural design and the position to be displayed in AR will be almost the same place.
一方、開閉のために作業者が操作する部位は取手のような部分になるが、開閉機構の構造設計においては、取手よりも回転軸となるヒンジのような部位が特徴となることがある。そのため、図5の前処理のフローチャートのステップS501で特徴点を抽出する際に、回転軸となる構造とそれを操作する取手のように、部位間の関連付けを行う情報を修正機器形状データ3+に持たせておくとよい。1つのデータは、開閉を実現する機構部位のデータ、作業者が開閉作業を行う部位のデータ、開状態の形状データ、閉状態の形状データ、平時の状態は開か閉かのデータなどである。
On the other hand, the part that the worker operates to open and close is a part such as a handle, but in the structural design of the opening and closing mechanism, a part such as a hinge that acts as the axis of rotation may be more characteristic than the handle. For this reason, when extracting feature points in step S501 of the preprocessing flowchart in Figure 5, it is a good idea to have the modified
また、作業手順書では、開閉操作を行う部位と、「開く」もしくは「閉じる」という操作を記述する。この実施形態のシステムでは、「開く」作業ならば閉じた状態の形状での取手に当たる作業部位に開いた状態への方向を指示する矢印を、AR表示する仮想オブジェクトとして配置する。また「閉じる」作業ならば開いた状態の形状での取手に当たる作業部位に閉じた状態への方向を指示する矢印を、AR表示する仮想オブジェクトとして配置する。 The work procedure manual also describes the parts where opening and closing operations are performed, and the operation of "opening" or "closing." In the system of this embodiment, if the work is to "open," an arrow indicating the direction to the open state is placed as a virtual object displayed in AR on the work part that corresponds to the handle in the closed state. Also, if the work is to "close," an arrow indicating the direction to the closed state is placed as a virtual object displayed in AR on the work part that corresponds to the handle in the open state.
(座標計算)
ここで、前処理における座標計算について図9を用いて説明する。
(Coordinate calculation)
Here, the coordinate calculation in the preprocessing will be described with reference to FIG.
機器形状データ2は、その機器の表面位置に関する三次元座標(x, y, z)の集合で表現される。機器表面に網目となるように点を設定し、それらの点に座標を与えることで、機器の形状を表現する。ここで、表面が曲面である場合でも、座標を与える点の数を十分に増やし、各点の間隔が十分に小さくするならば、二点間は直線で近似できる。
The
機器表面のある一点にネジ穴があるとする。そして、ネジ穴を囲む四点の座標が (xm n, ym n, zm n)、(xm n+1, ym n+1, zm n+1)、(xm+1 n, ym+1 n, zm+1 n)、(xm+1 n+1, ym+1 n+1, zm+1 n+1) であるとする。点の間は直線で近似できるため、この四点から平面を近似できる。
三点を与えると、その三点を通る平面が一つ決まる。任意の四点を通る平面は存在しないので、平面と各点の距離の和が最小となる平面 ax+by+cz+d=0 を求める。ここで、ベクトル (a,b,c) は平面と垂直に交わる法線ベクトルとなる。
Suppose there is a screw hole at a certain point on the surface of a device. Suppose the coordinates of the four points surrounding the screw hole are (xm n, ym n, zm n), (xm n+1, ym n+1, zm n+1), (xm+1 n, ym+1 n, zm+1 n), and (xm+1 n+1, ym+1 n+1, zm+1 n+1). Since the points can be approximated by straight lines, a plane can be approximated from these four points.
Given three points, a plane that passes through those three points is determined. Since no plane passes through any four points, we find the plane ax+by+cz+d=0 where the sum of the distances between the plane and each point is the smallest. Here, the vector (a,b,c) is the normal vector that intersects the plane perpendicularly.
また、これらの点を、z=0 の面に投影した平面図を用意する。作業手順書のような従来形式の媒体で参照する図は、このように二次元に投影された平面図を利用する。平面に投影されたネジ穴の座標が(xs, ys)であるならば、それを平面の方程式に代入して zs を計算し、ネジ穴の機器表面上の位置座標(xs, ys, zs)を得る。 Also, prepare a plan view in which these points are projected onto the plane where z=0. The diagrams referenced in traditional media such as work instructions use such plan views projected into two dimensions. If the coordinates of the screw hole projected onto the plane are (xs, ys), then substitute this into the equation for the plane to calculate zs and obtain the position coordinates (xs, ys, zs) of the screw hole on the surface of the equipment.
このネジ穴を指すネジはベクトル(a,b,c)で終端座標が(xs, ys, zs)である。表示するネジおよびドライバの長さを L とすれば、ベクトル(a,b,c)上で (xs-xt)2+(ys-yt)2+(zs-st)2=L2 を満たす座標(xs, ys, zs)がドライバの始点座標となる。始点座標(xt, yt, zt)から終点座標(xs, ys, zs)への線分として、ネジおよびドライバの仮想オブジェクトのAR表示位置を設定する。 The screw pointing to this screw hole has vector (a, b, c) and end coordinates (xs, ys, zs). If the length of the screw and screwdriver to be displayed is L, then the coordinates (xs, ys, zs) on vector (a, b, c) that satisfy (xs-xt) 2 + (ys-yt) 2 + (zs-st) 2 = L2 become the start coordinates of the screwdriver. The AR display positions of the virtual objects of the screw and screwdriver are set as a line segment from the start coordinates (xt, yt, zt) to the end coordinates (xs, ys, zs).
上記の座標値は、立体設計データの座標系に基づく値である。ARとして表示する場合は、設計データの座標系と現実空間の座標系を対応付けて、設計データの座標値から現実空間の座標値を計算する必要がある。対応付けるためには、設計データと現実空間とで共通となる座標点および座標軸方向の基準点となるアンカーを設ける方法が一般的である。 The above coordinate values are based on the coordinate system of the 3D design data. When displaying as AR, it is necessary to associate the coordinate system of the design data with the coordinate system of the real space and calculate the coordinate values of the real space from the coordinate values of the design data. To achieve this, a common method is to set a coordinate point that is common to the design data and real space, and an anchor that serves as a reference point in the coordinate axis direction.
予め、対象機器の外見上において特徴がある位置を選出し、その設計データにおける座標(xa, ya, za)を求める。選出したその位置に、AR表示デバイスが目印として認識可能なアンカーを設置する。AR表示デバイスは、カメラやセンサーを装備しており、それによりアンカー位置を認識する。そして認識したアンカー位置を現実空間の座標原点とする。
設計データでのネジ穴座標(xs, ys, zs)にAR表示する情報は、現実空間での座標 (xs-xa, ys-ya, zs-za)に表示する仮想オブジェクトとなる。
A characteristic position on the appearance of the target device is selected in advance, and its coordinates (xa, ya, za) in the design data are obtained. An anchor that can be recognized as a landmark by the AR display device is placed at the selected position. The AR display device is equipped with a camera and a sensor, which allows it to recognize the anchor position. The recognized anchor position is then set as the coordinate origin of the real space.
The information to be displayed in AR at the screw hole coordinates (xs, ys, zs) in the design data becomes a virtual object displayed at the coordinates (xs-xa, ys-ya, zs-za) in real space.
(実施形態の効果)
上記実施形態によれば、テキスト記述の作業手順書に作業対象機器の三次元の構造設計データを形状データとして組み合わせることにより、AR表示の作業シナリオを自動的に作成できる。作業手順書と機器形状データで対象部位を参照するなどの処理はあるが、この処理は機械的な作業であり、作業熟練度なども不要であり、処理はある程度定まった短時間で終了させることができる利点がある。
(Effects of the embodiment)
According to the above embodiment, a work scenario for AR display can be automatically created by combining a text-described work procedure manual with three-dimensional structural design data of the equipment to be worked on as shape data. Although there is processing such as referencing the target part using the work procedure manual and the equipment shape data, this processing is mechanical work and does not require work proficiency, and has the advantage that the processing can be completed in a relatively fixed short time.
また、この実施形態によれば作業対象となる機器の構造設計データを機器形状データして利用することにより作業手順の中で作業者に対してARで表示する仮想オブジェクトの座標や向きを演算により設定できる。したがって従来のように手作業によって配置する場合のような細かい位置合わせによる誤差は生じないという利点がある。 In addition, according to this embodiment, the structural design data of the equipment to be worked on is used as equipment shape data, and the coordinates and orientation of the virtual object displayed to the worker in AR during the work procedure can be calculated and set. This has the advantage that there is no error caused by fine alignment, as occurs in the conventional case of manual placement.
また、この実施形態によれば、作業者が操作部位を正しく認識できるので、手作業による場合のような対象部位の誤認等の作業ミスを減らす効果もある。 In addition, this embodiment allows the operator to correctly identify the area to be operated, which has the effect of reducing operational errors such as misidentifying the target area, which may occur when performing manual work.
更に、ウェアラブルデバイスを利用して立体視する場合、人によって両眼距離等の身体誤差があるため、現実の物体とAR表示の仮想オブジェクトの位置関係にバラツキが生ずる。それゆえデバイスの利用者は事前にキャリブレーションを行い、見え方の補正を行うことが一般的である。従来のシナリオ作成の方法では、仮想オブジェクトを配置する作成者のキャリブレーションが適切でなければ、AR表示の誤差要因となる。本願のこの実施形態によれば演算によるオブジェクト配置によるので、上記のような誤差要因を取り除くことができる。 Furthermore, when using a wearable device for stereoscopic vision, there are physical differences between people, such as the distance between their eyes, which can cause variation in the positional relationship between real objects and virtual objects displayed in AR. For this reason, device users typically perform calibration in advance to correct how they see. In conventional scenario creation methods, if the creator who places the virtual objects does not calibrate properly, this can become a cause of error in the AR display. According to this embodiment of the present application, object placement is performed by calculation, so the above-mentioned causes of error can be eliminated.
上記実施形態では、理解を容易にするために、図2、図3および図6の機能的構成図を用いて説明した。しかし、本発明はこのような構成に分けられる場合に限られず、一般的に、共通の制御装置、メモリ、演算装置など共用の回路を時分割的に用いて上述の機能を全体として達成する場合にも適用可能である。 In the above embodiment, for ease of understanding, the functional configuration diagrams of Figures 2, 3, and 6 have been used for explanation. However, the present invention is not limited to such divided configurations, and is generally applicable to cases where the above-mentioned functions are achieved as a whole by using shared circuits such as a common control device, memory, and arithmetic device in a time-division manner.
(その他の実施形態)
なお、本発明では従来の機器形状データと作業手順書を前提としないで、作業シナリオを作成することも可能である。
Other Embodiments
In addition, in the present invention, it is also possible to create a work scenario without relying on conventional equipment shape data and work procedure manuals.
以上、いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, combinations, and modifications can be made without departing from the gist of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are included in the scope of the invention and its equivalents described in the claims.
11・・・表示装置、12・・・対象機器、13・・・仮想ドライバ、21・・・作業シナリオ作成システム、22・・・前処理部、23・・・作業シナリオ作成部、31・・・機器形状データ入力部、32・・・作業手順書入力部、33・・・AR表示データ入力部、34・・・特徴点座標抽出部、35・・・作業部位選択部、36・・・識別名称割当部、37・・・作業内容タグ記述部、38・・・修正機器形状データ作成部、39・・・修正作業手順書作成部、61・・・修正機器形状データ入力部、62・・・修正作業手順書入力部、63・・・AR表示データ入力部、64・・・作業対象部位特定部、65・・・作業対象部位検索部、66・・・部位位置座標向き算出部、67・・・AR表示仮想オブジェクト作成部、68・・・オブジェクト座標位置向き設定部、69・・・作業シナリオ出力部
Description of Reference Signs 11: Display device, 12: Target equipment, 13: Virtual driver, 21: Work scenario creation system, 22: Preprocessing unit, 23: Work scenario creation unit, 31: Equipment shape data input unit, 32: Work procedure manual input unit, 33: AR display data input unit, 34: Feature point coordinate extraction unit, 35: Work area selection unit, 36: Identification name assignment unit, 37: Work content tag description unit, 38: Corrected equipment shape data creation unit, 39: Corrected work procedure manual creation unit, 61: Corrected equipment shape data input unit, 62: Corrected work procedure manual input unit, 63: AR display data input unit, 64: Work target area identification unit, 65: Work target area search unit, 66: Area position coordinate orientation calculation unit, 67: AR display virtual object creation unit, 68: Object coordinate position orientation setting unit, 69: Work scenario output unit
上記した課題を解決するために、実施形態のAR表示の作業シナリオ作成システムは、
作業の対象となる現実の対象機器に対して行う作業を時系列の作業ステップとして示す作業手順書と前記対象機器の三次元構造データを基にして前記三次元構造データにより得られる空間情報を用いて、前記対象機器への仮想表示用ツールのAR表示データを付加した作業手順書である作業シナリオに変換する。
In order to solve the above-mentioned problems, a work scenario creation system for AR display according to an embodiment of the present invention includes:
Based on a work procedure manual that shows the work to be performed on the actual target equipment as a chronological sequence of work steps and three-dimensional structural data of the target equipment, the spatial information obtained from the three-dimensional structural data is used to convert into a work scenario, which is a work procedure manual to which AR display data of a virtual display tool for the target equipment is added .
Claims (7)
前記対象機器の三次元構造データおよび仮想オブジェクトのAR表示データを関連づけて作業シナリオを作成するAR表示の作業シナリオ作成システム。 From a work procedure manual that shows the actual target equipment to be worked on and the work to be performed in chronological order according to the work scenario displayed in AR,
A work scenario creation system for AR display that creates a work scenario by associating three-dimensional structural data of the target device and AR display data of a virtual object.
前記対象機器の表面上の部位と向きを算出する部位位置向き算出部と、仮想オブジェクトの位置座標と位置に合わせて前記仮想オブジェクトの表示座標と向きを決定してAR表示仮想表示オブジェクトを作成し、AR表示の作業シナリオを作成する、作業シナリオ作成部と、
を有するAR表示の作業シナリオ作成システム。 a pre-processing unit that creates a revised work procedure manual by using three-dimensional structure data as equipment shape data of a real target device that is the subject of the work and a work procedure manual that shows a time series of work to be performed according to a work scenario displayed in AR; and
a part position and orientation calculation unit that calculates a part and orientation on a surface of the target device; and a work scenario creation unit that determines a display coordinate and orientation of the virtual object in accordance with a position coordinate and a location of the virtual object to create an AR display virtual display object and create an AR display work scenario;
A work scenario creation system for AR display having the above structure.
前記対象機器の三次元の機器形状データを入力する機器形状データ入力部と、
AR表示の作業シナリオに従って実施する作業を時系列として示す作業手順書を入力する作業手順書入力部と、
AR表示データを入力するAR表示データ入力部と、
修正機器形状データを作成する修正機器形状データ作成部と、
前記作業手順書から修正作業手順書を作成する修正作業手順書作成部と、
を有する請求項3記載のAR表示の作業シナリオ作成システム。 The pre-treatment unit includes:
a device shape data input unit for inputting three-dimensional device shape data of the target device;
a work procedure input unit for inputting a work procedure showing, in time sequence, the work to be performed according to the work scenario displayed in AR;
an AR display data input unit for inputting AR display data;
a modified device shape data creating unit that creates modified device shape data;
A modified work procedure manual creation unit that creates a modified work procedure manual from the work procedure manual;
4. The system for creating a work scenario with AR display according to claim 3, further comprising:
修正機器形状データを入力される修正機器形状データ入力部と、
修正作業手順書を入力される修正作業手順書入力部と、
AR表示データを入力されるAR表示データ入力部と、
作業部位の位置座標と向きを算出する部位位置座標向き算出部と、
AR表示の仮想オブジェクトを作成するAR表示仮想オブジェクト作成部と、
から成る請求項3記載のAR表示の作業シナリオ作成システム。 The work scenario creation unit includes:
a modified device shape data input unit to which modified device shape data is input;
a modified work procedure manual input unit for inputting a modified work procedure manual;
an AR display data input unit to which AR display data is input;
a part position coordinate orientation calculation unit that calculates the position coordinates and orientation of a work part;
an AR display virtual object creation unit that creates a virtual object for AR display;
4. The system for creating a work scenario with AR display according to claim 3, comprising:
前記対象機器の三次元構造データおよび仮想表示用ツールのAR表示データを関連づけて作業シナリオを作成するAR表示の作業シナリオ作成方法。 From a work procedure manual that shows the actual target equipment to be worked on and the work to be performed in chronological order according to the work scenario displayed in AR,
A work scenario creation method for AR display, which creates a work scenario by associating the three-dimensional structural data of the target device with the AR display data of the virtual display tool.
The method for creating a work scenario for AR display according to claim 6, wherein an identification name associated with a part tag of an operation part of the target device is associated with an identification name assigned to an object tag of the virtual object to create a work scenario.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022182093A JP2024071251A (en) | 2022-11-14 | 2022-11-14 | Ar display work scenario creation system, and ar display work scenario creation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022182093A JP2024071251A (en) | 2022-11-14 | 2022-11-14 | Ar display work scenario creation system, and ar display work scenario creation method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024071251A true JP2024071251A (en) | 2024-05-24 |
Family
ID=91129223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022182093A Pending JP2024071251A (en) | 2022-11-14 | 2022-11-14 | Ar display work scenario creation system, and ar display work scenario creation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024071251A (en) |
-
2022
- 2022-11-14 JP JP2022182093A patent/JP2024071251A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Eswaran et al. | Augmented reality-based guidance in product assembly and maintenance/repair perspective: A state of the art review on challenges and opportunities | |
EP1435280B1 (en) | A method and a system for programming an industrial robot | |
US10751877B2 (en) | Industrial robot training using mixed reality | |
US7236854B2 (en) | Method and a system for programming an industrial robot | |
US8917240B2 (en) | Virtual desktop coordinate transformation | |
JP6385627B1 (en) | Display control apparatus, display control method, and display control program | |
US7353081B2 (en) | Method and a system for programming an industrial robot | |
Fang et al. | Head-mounted display augmented reality in manufacturing: A systematic review | |
EP0451875A2 (en) | Image displaying system | |
US20100033404A1 (en) | Method and device for generating tracking configurations for augmented reality applications | |
JP2002259992A (en) | Image processor and its method as well as program code and storage medium | |
GB2270788A (en) | Robot operation training system | |
JP2010277115A (en) | Harness verification device and harness verification program | |
CN113129362B (en) | Method and device for acquiring three-dimensional coordinate data | |
US20160357880A1 (en) | Computer-readable storage medium, design apparatus, and design method | |
JP2024500740A (en) | Object selection method and system | |
JP2024071251A (en) | Ar display work scenario creation system, and ar display work scenario creation method | |
EP4207094A2 (en) | Method of learning a target object by detecting an edge from a digital model of the target object and setting sample points, and method of augmenting a virtual model on a real object implementing the target object using the learning method | |
US11544913B2 (en) | Method and system for wearable device-based manual providing | |
Wang et al. | Key technique of assembly system in an augmented reality environment | |
JP2020115284A (en) | Data creation system and data creation method | |
Guan et al. | A novel robot teaching system based on augmented reality | |
JP2006343954A (en) | Image processing method and image processor | |
JP2005527872A (en) | Method and apparatus for interacting with a three-dimensional computer model | |
JP2023505322A (en) | Method and system for programming robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240618 |