JPWO2014175324A1 - ワーク加工作業支援システムおよびワーク加工方法 - Google Patents

Abstract

本システムは、作業者の視点位置でその視線方向の作業空間をワークと共に撮像する撮像手段と、作業者の視点および作業空間中のワークの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得手段と、位置姿勢情報に基づいて、作業者の視点位置およびその視線方向のワークの完成形状を示す三次元の仮想画像を生成する仮想画像生成手段と、作業空間の現実画像に仮想画像を重畳させて合成画像を生成する画像合成手段と、合成画像を表示する表示手段と、を備える。本システムによれば、複合現実感技術を利用して、ワークの加工作業の効率を大幅に向上させることができる。

Description

本発明は、複合現実感技術を用いてワークの加工作業を支援するためのワーク加工作業支援システムおよび同システムを用いたワーク加工方法に関する。

従来、ＬＮＧタンク等の大型構造物を製造するために平板状のワークをプレス成形加工によって所望の曲面形状に成形する際には、例えば、プレス機で成形したワークをプレス機から取り出して、予め用意しておいた木型ゲージをワークに当ててその形状検査を行っていた。

そして、木型ゲージによる形状検査の結果、ワークの更なる成形加工が必要と判断された場合には、ワークをプレス機に戻して更にプレス加工を実施していた。

このように従来のプレス成形加工においては、成形後のワークの形状検査のために予め木型ゲージを用意しておく必要があった。特に、ＬＮＧタンクのようにワークを複雑な形状に成形する必要がある場合には、１種類の木型ゲージでは形状検査を行うことができず、複数種類の木型ゲージを予め用意する必要があった。

また、木型ゲージによるワークの形状検査を行う際に、プレス機からワークを一旦取り出して木型ゲージを当てる場合には、作業時間が長くなって作業効率が低下してしまうという問題があった。

しかも、ワークの曲面に対して木型ゲージの曲面を当てて形状検査を行う必要があるため、合否の判定が難しいという問題もあった。

さらに、ワークが大きい場合には、そもそも木型ゲージをワークに当てること自体が必ずしも容易ではなかった。

また、木型ゲージを当てたときにワークの局所的な変形を拾ってしまった場合、実際には許容範囲に入っているにもかかわらず、誤って不合格と判断してしまうことあった。

ところで近年、任意視点における現実空間の画像に、仮想空間の画像を重畳し、これにより得られた合成画像を観察者に提示する複合現実感（ＭＲ：Mixed Reality）技術が、現実世界と仮想世界をシームレスに、リアルタイムで融合させる画像技術として注目されている（特許文献１−４）。

特開２００３−３０３３５６号公報 特開２００５−１０７９６８号公報 特開２００５−２９３１４１号公報 特開２００８−２９３２０９号公報

そこで、本発明は、複合現実感技術を利用して、ワークの加工作業における上述の問題を解決し、作業効率の大幅な向上を図ることができるワーク加工作業支援システムおよび同システムを用いたワーク加工方法を提供することを目的とする。

上記課題を解決するために、本発明は、ワークの加工作業を支援するためのワーク加工作業支援システムであって、作業者の視点位置でその視線方向における作業空間を前記ワークと共に撮像するための撮像手段と、前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、前記位置姿勢情報に基づいて、前記視点位置およびその視線方向における前記ワークの完成形状を示す三次元の仮想画像を生成するための仮想画像生成手段と、前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成するための画像合成手段と、前記合成画像を表示するための表示手段と、を備えたことを特徴とする。

また、好ましくは、前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する。

また、好ましくは、前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する相対位置が前記加工作業に伴って実質的に変化しない箇所に設置された複合現実感用マーカーを有する。

また、好ましくは、前記複合現実感用マーカーは、加工中の前記ワークを保持する保持部材に設置されている。

また、好ましくは、前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する。

また、好ましくは、前記完成形状を示す前記仮想画像は、前記加工作業における許容加工誤差を含んで生成される。

また、好ましくは、前記ワークの前記現実画像と、前記完成形状を示す前記仮想画像との不一致箇所を前記表示部において表示するための誤差判定手段をさらに備える。

また、好ましくは、前記ワークの前記現実画像と前記完成形状を示す前記仮想画像との不一致率が最小となるように、前記仮想画像を前記現実画像に対して移動させるための仮想画像位置調整手段をさらに備える。

また、好ましくは、前記加工作業は、前記ワークに対するプレス成形加工を含む。

上記課題を解決するために、本発明は、ワークの加工作業を支援するためのワーク加工作業支援システムを用いたワーク加工方法であって、前記ワークを加工装置によって加工する加工工程と、前記加工工程の途中で、作業者の視点位置でその視線方向における作業空間を前記ワークと共に撮像する撮像工程と、前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、前記位置姿勢情報に基づいて、前記視点位置およびその視線方向における前記ワークの完成形状を示す三次元の仮想画像を生成する仮想画像生成工程と、前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、前記合成画像を表示する表示工程と、を備える。

また、好ましくは、前記位置姿勢情報取得工程は、前記ワーク上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む。

また、好ましくは、前記加工工程において前記ワークの加工が進んで、ある程度まで前記ワークを加工できた段階で、前記マーカー設置工程において、加工途中の前記ワークの所定の位置に前記複合現実感用マーカーを暫定的に設置し、前記表示工程において映し出された前記合成画像に基づいて、前記ワークの完成形状を示す前記三次元の仮想画像に対して前記ワークの前記現実画像が飛び出している箇所があれば、そこを要修正箇所と判断する。

また、好ましくは、複数の前記複合現実感用マーカーを前記ワークの表面に貼り付ける。

また、好ましくは、前記加工装置は、プレス機であり、前記加工工程は、前記ワークに対するプレス成形加工を含む。

本発明によるワーク加工作業支援システムおよび同システムを用いたワーク加工作業によれば、複合現実感技術を利用することにより、従来の木型ゲージによる形状検査が不要となるので、ワーク加工の作業効率を大幅に向上させることができる。

本発明の一実施形態によるワーク加工作業支援システムの概略構成を示したブロック図。 図１に示したワーク加工作業支援システムの概略構成を示した模式図。 図１に示したワーク加工作業支援システムのマーカー部材を拡大して示した斜視図。 図１に示したワーク加工作業支援システムによる支援対象の一例としてのプレス加工の様子を示した模式図。 図１に示したワーク加工作業支援システムを用いて、作業者が、ワークの成形具合を確認している様子を示した模式図。 図１に示したワーク加工作業支援システムの使用態様を説明するための図であり、（ａ）は、ワークの現実画像が完成形状の仮想画像からはみ出している状態を示し、（ｂ）は、ワークの現実画像が完成形状の仮想画像の中に包含されている状態を示す。 図１に示したワーク加工作業支援システムの一変形例を説明するための模式図。 図１に示したワーク加工作業支援システムの他の変形例を説明するためのブロック図。 図１に示したワーク加工作業支援システムの更に他の変形例の概略構成を示したブロック図。 図１に示したワーク加工作業支援システムの更に他の変形例の概略構成を示した模式図。 図１に示したワーク加工作業支援システムの更に他の変形例の概略構成を示した模式図。

以下、本発明の一実施形態によるワーク加工作業支援システムについて説明する。なお、本システムによる支援の対象となるワーク加工作業は、典型的にはプレス成形加工であるが、プレス成形加工以外にも、加工に伴ってワークの形状が変化する各種の加工作業を支援することができる。

本実施形態によるワーク加工作業支援システムは、複合現実感技術を用いるものであるので、まず初めに複合現実感技術について概説する。

既に述べたように複合現実感技術とは、任意視点における現実空間の画像に、仮想空間の画像を重畳し、これにより得られた合成画像を観察者に提示して、現実世界と仮想世界をシームレスに、リアルタイムで融合させる映像技術である。

すなわち、この複合現実感技術は、現実空間画像と、観察者の視点位置、視線方向に応じて生成される仮想空間画像とを合成することにより得られる合成画像を、観察者に提供するものである。そして、仮想物体のスケールを観察者に実寸感覚で捉えさせ、仮想物体が現実世界に本当に存在しているように感じさせることができる。

この複合現実感技術によれば、コンピュータ・グラフィック（ＣＧ）をマウスやキーボードで操作するのではなく、観察者が実際に移動して任意の位置や角度から見ることができる。すなわち、画像位置合わせ技術によってＣＧを指定の場所に置き、例えばシースルー型のヘッド・マウント・ディスプレイ（ＨＭＤ：Head Mount Display）を使って、そのＣＧを様々な角度から見ることが可能である。

複合現実感空間（ＭＲ空間）を表現するためには、現実空間中に定義した基準座標系、すなわち、現実空間に重畳しようとする仮想物体の位置姿勢を決定する基準となる現実空間中の座標系と、撮像部の座標系（カメラ座標系）との間の、相対的な位置姿勢関係を取得することが必要である。

そのための適切な画像位置合わせ技術としては、例えば、磁気センサー、光学式センサー、または超音波センサーを利用するものや、マーカー、ジャイロを利用するもの等があげられる。

ここで、マーカー（「ランドマーク」とも呼ばれる。）とは、画像の位置合わせのために使う指標のことであり、現実空間内に配置されたマーカーを、ＨＭＤに装着されたカメラ（撮像装置）で撮影することにより、カメラの位置姿勢を画像処理によって推定することができるというものである。

すなわち、現実空間中の既知の三次元座標に所定の視覚的特徴を有するマーカーを配置し、現実画像中に含まれるマーカーを検出し、検出したマーカーの構成要素（マーカーの中心や頂点など）の二次元画像位置と、既知の三次元座標とからカメラ（撮像装置）の位置姿勢が算出される。

本実施形態によるワーク加工作業支援システムは、上述した複合現実感技術を利用したものであり、以下にその構成について、図１および図２を参照して説明する。

図１および図２に示したように、本実施形態によるワーク加工作業支援システム１は、システム本体２と、このシステム本体２との間でデータ通信を行うヘッド・マウント・ディスプレイ（ＨＭＤ）３と、マーカー部材８と、を備えている。

ワーク加工作業支援システム１のシステム本体２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、記憶媒体ドライブ装置、表示装置、入力デバイスなどを備えたコンピュータによって構成されている。

図２に示したようにＨＭＤ３は、作業者４の頭部に装着されており、撮像部５および表示部６を備えている。撮像部５および表示部６は、それぞれ２つずつ設けられており、撮像部５Ｒおよび表示部６Ｒは右目用、撮像部５Ｌおよび表示部６Ｌは左目用である。この構成により、ＨＭＤ３を頭部に装着した作業者４の右目と左目に対して視差画像を提示することができ、ＭＲ画像（合成画像）を三次元表示することができる。

ＨＭＤ３の撮像部５は、ワーク７の上に設置されたＭＲ用マーカー部材８と共に、プレス機（加工装置）に設置されたワーク７を撮像する（撮像工程）。マーカー部材８は、ワーク７上の基準点に対する所定の相対位置に設置されるものであり、プレス作業の途中で、ワーク７の上に暫定的に設置される（マーカー設置工程）。

図３に示したように、本実施形態によるマーカー部材８は、三角形の枠部９と、三角形の枠部材９の各頂点の下面に設けられた各支持部１０と、三角形の枠部材９の各頂点の上面に設けられた各複合現実感用マーカー１１とを備えている。

図１に示したように、ＨＭＤ３の撮像部５によって取得された現実空間の現実画像は、システム本体２の現実画像取得部１２に入力される。この現実画像取得部１２は、入力された現実画像のデータを、システム本体２の記憶部１３に出力する。

記憶部１３は、ＭＲ画像（合成画像）の提示処理のために必要な情報を保持し、処理に応じて情報の読み出しや更新を行うものである。

また、システム本体２は、記憶部１０が保持している現実画像の中から、マーカー部材８に設けられたマーカー１１を検出するためのマーカー検出部１４を備えている。

そして、現実物体であるワーク７の上に配置したマーカー部材８のマーカー１１の検出結果が、マーカー検出部１４から記憶部１３を介して撮像部位置姿勢推定部１５に送られる。この撮像部位置姿勢推定部１５は、マーカー１１の検出結果に基づいて、ワーク７自身の物体座標系を基準座標系としたＨＭＤ３の撮像部５の位置姿勢を推定する（位置姿勢情報取得工程）。

ここで、マーカー部材８、マーカー検出部１４、および撮像部位置姿勢推定部１５が、ワーク加工作業支援システム１における位置姿勢情報取得手段を構成している。

撮像部位置姿勢推定部１５により推定されたＨＭＤ３の撮像部５の位置姿勢は、仮想画像生成部１６に送られる。仮想画像生成部１６は、撮像部位置姿勢推定部１５から送られた撮像部５の位置姿勢、すなわち、作業者４の視点位置およびその視線方向に基づいて、撮像部５の位置姿勢から見える仮想物体の三次元の仮想画像を生成する（仮想画像生成工程）。

ここで、ワーク加工作業支援システム１では、この仮想画像生成部１６において、所定のプレス加工処理によってワーク７が加工された後の完成形状（目標形状）に関する仮想画像が生成される。この完成形状の３次元仮想画像は、許容加工誤差分だけ厚みを持たせて表示されている。

仮想画像生成部１６において生成されたワーク７の完成形状に関する仮想画像は、システム本体２の画像合成部１７に送られる。画像合成部１７は、記憶部１３が保持しているワークの現実画像に、仮想画像生成部１６から送られる仮想画像を重畳し、ＭＲ画像（合成画像）を生成する（画像合成工程）。

画像合成部１７で生成されたＭＲ画像（合成画像）は、ＨＭＤ３の表示部６に出力される（表示工程）。これにより、ＨＭＤ３の表示部６には、ＨＭＤ３の撮像部５の位置姿勢に応じた現実空間の画像と、仮想空間の画像とが重畳されたＭＲ画像が表示され、このＨＭＤ３を頭部に装着した作業者４に、複合現実空間を体験させることができる。

本実施形態によるワーク加工作業支援システム１は、図４に示したように、平板状のワーク７をプレス加工（加工工程）によって所定の曲面形状に加工する際の支援に適している。

すなわち、従来はプレス成形具合の確認を木型ゲージにて行っていたところ、このワーク加工作業支援システム１を用いることによって、作業者４は、図５に示したように、ワーク７の現実画像７Ｒに重畳された完成形状（目標形状）の仮想画像７Ｖを検査基準とすることができる。

作業者４は、ワーク７のプレス加工を行いながら、適宜、ＨＭＤ３の表示部６に映し出された加工途中のワーク７の現実画像７Ｒが、同じくＨＭＤ３の表示部６に映し出された完成形状の３次元仮想画像７Ｖの中に収まっているか否かを確認する。

すなわち、ワーク７のプレス加工が進んで、ある程度までワーク７を成形できた段階で、プレス機を一旦止めて、加工途中のワーク７の所定の位置にマーカー部材８を配置して、ＨＭＤ３の表示部６に映し出された３次元ＭＲ画像７Ｒ、７Ｖを確認する。そして、完成形状の仮想画像７Ｖに対して、ワーク７の現実画像７Ｒが飛び出している箇所があれば、そこを要修正箇所と判断する。

ここで、マーカー部材８は、従来の木型ゲージに比べて極めてコンパクトであるので、ワーク７上にマーカー部材８を設置するために、わざわざワーク７をクレーンなどでプレス機から移動させる必要が無い。

最終的にワーク７の現実画像７Ｒの全体が、完成形状の仮想画像７Ｖの中に収まれば、所望の成形が完了したものと作業者４は判断する。

ここで、ワーク７が既に所望の完成形状に成形されているにもかかわらず、ワーク７の現実画像７Ｒに対して完成形状の仮想画像７Ｖが全体としてずれているために、図６（ａ）に示したようにワーク７の現実画像７Ｒの一部が、完成形状の仮想画像７Ｖから飛び出してしまうこともあり得る。

このような場合を考慮して、作業者４は、マーカー部材８の設置位置をワーク７上で少し動かしてみて、ＨＭＤ３の表示部６に映し出された完成形状の仮想画像７Ｖが、ワーク７の現実画像７Ｒの全体を包含することができるかを試みる。

そして、完成形状の仮想画像７Ｖがワーク７の現実画像７Ｒの全体を包含することができた場合には、ワーク７が所望の完成形状に成形されたものと判断する。

以上述べたように、本実施形態によるワーク加工作業支援システム１によれば、従来のように木型ゲージを用いることなく、しかも加工途中のワーク７をプレス機から移動させる必要がなく、その場での擬似的な目視検査によってワーク７の成形具合を確認することができる。このため、ワーク７のプレス加工の作業効率を大幅に向上させることができる。

また、加工途中のワーク７を、ＨＭＤ３を介していろいろな角度からその形状を確認することができるので、従来の木型ゲージのように局所的な変形を拾って検査ミスが引き起こされるようなこともない。

次に、上述した実施形態の一変形例について、図７を参照して説明する。

上述した実施形態においては、図２に示したように、位置姿勢情報取得手段としてのマーカー部材８を、ワーク７上の所定位置に暫定的に設置するようにした。

これに対して、本変形例においては、位置姿勢情報取得手段としての複合現実感用マーカーを、ワーク７上の基準点に対する相対位置が加工作業に伴って実質的に変化しない箇所に設置する。

具体的には、図７に示したように、ワーク７の捨て代部分に、クレーン等によって吊り下げられた保持部材１８が装着されており、複合現実感用マーカー１１は、この保持部材１８に設置されている。

本変形例においても、ＨＭＤ３の撮像部５によって、複合現実感用マーカー１１と共にワーク７を撮影することによって、作業者４の視点と、作業空間中のワーク７との相対的な位置姿勢関係を示す位置姿勢情報を取得することができる。

次に、上述した実施形態の他の変形例について、図８を参照して説明する。

本変形例によるワーク加工作業支援システムは、図８に示したように、ワーク７の現実画像７Ｒと、完成形状の仮想画像７Ｖとの不一致箇所を、パターンマッチングにより検出し、その不一致の程度を示す情報と共に、ＨＭＤ３の表示部６において表示するための誤差判定部２０をさらに備えている。

具体的には、ＨＭＤ３の表示部６において、ワーク７の現実画像７Ｒと、完成形状の仮想画像７Ｖとの不一致箇所が、プラスの公差とマイナスの公差を区別して色分け表示される。これにより、目標形状からのワーク形状のずれを、作業者４は容易に認識することができる。

次に、上述した実施形態の他の変形例について、図９を参照して説明する。

本変形例によるワーク加工作業支援システムは、ワーク７の現実画像７Ｒと完成形状の仮想画像７Ｖとの不一致率が最小となるように、仮想画像７Ｖを現実画像７Ｒに対して移動させるための仮想画像位置調整部２１をさらに備えている。

具体的には、仮想画像位置調整部２１は、ワーク７の現実画像７Ｒと完成形状の仮想画像７Ｖとがパターンマッチングによって一致率が最大となるように、現実画像７Ｒに対する仮想画像７Ｖの位置を調節する。

なお、パターンマッチングを行う際には、プレス加工上、重視する場所と軽視する場所とで重み付けをすることもできる。例えば、ワーク中央部のように他の箇所への変形の影響が大きい場所は重視し、ワーク周縁部のように他の箇所への変形の影響が小さい箇所は軽視する。

作業者４は、仮想画像位置調整部２１によって調整された後の仮想画像７Ｖと、ワーク７の現実画像７Ｒとの重畳画像を確認することにより、ワーク形状と完成形状とのずれを的確に認識することができる。

次に、上述した実施形態の他の変形例について、図１１を参照して説明する。

図１１に示したように、本変形例においては、ワーク７の全面にマーカー１１を貼り付ける。各マーカー１１は、その中心の法線ベクトル２３が分かるようになっている。このため、全面にマーカー１１が貼付されたワーク７を、ＨＭＤ３に表示させることで、ワーク７の現実画像７Ｒの表面から延びる複数の法線ベクトルを作業者４が確認することができる。

そして、ＨＭＤ３に表示されたワークの現実画像７Ｒに、ワーク７の完成形状の仮想画像（ＣＡＤデータ）７Ｌを重ね合わせると、ワーク７の現実画像７Ｒの表面から延びる法線ベクトル２３は、ワーク７のプレスの度合いに応じて、そのワーク７の仮想画像７Ｌの中への埋没状態が変化する。

すなわち、プレスの度合いが大きすぎる場合（押し過ぎの状態）は、法線ベクトル２３（の一部）がワーク７の仮想画像７Ｌの中に埋没している。逆に、プレスの度合いが少なすぎる場合（押したりない状態）は、法線ベクトル２３がワーク７の仮想画像７Ｌの表面から離れている。

これに対して、プレスの度合いが丁度良い場合には、法線ベクトル２３はワーク７の仮想画像７Ｌの中に埋没しておらず、また仮想画像７Ｌの表面から離れておらず、法線ベクトル２３の基端部がちょうどワーク７の仮想画像７Ｌの表面に位置している。

このため、作業者４は、ワーク７の仮想画像７Ｌの中への法線ベクトル２３の埋まり具合、或いは仮想画像７Ｌからの法線ベクトル２３の離間の程度を確認することで、ワーク７におけるプレスすべき箇所およびプレスすべき変位量を直感的に把握することができる。

なお、上述した実施形態およびその変形例においては、ワーク加工作業支援システム１における位置姿勢情報取得手段を、マーカー部材８、マーカー検出部１４、および撮像部位置姿勢推定部１５によって構成するようにしたが、これに代えて、あるいはこれと併せて、図１０に示したように、作業者４の視点位置およびその視線方向、並びにワーク７の位置を計測するための位置方向計測装置２２を設けることもできる。この種の位置方向計測装置２２としては、例えば、超音波センサーや磁気式・光学式位置計測センサーを用いることができる。

また、上述したような別途用意する複合現実感用マーカー１１に代えて、ワーク７自身の一部（例えば、幾何学的特徴点である角部）を、位置合わせ用の基準点（一種のマーカー）として利用することもできる。

１ ワーク加工作業支援システム
２ システム本体
３ ヘッド・マウント・ディスプレイ（ＨＭＤ）
４ 作業者
５、５Ｒ、５Ｌ ＨＭＤの撮像部
６、６Ｒ、６Ｌ ＨＭＤの表示部
７ ワーク
７Ｒ ワークの現実画像
７Ｌ ワークの完成形状の仮想画像
８ マーカー部材
９ マーカー部材の枠部材
１０ マーカー部材の支持部
１１ マーカー
１２ 現実画像取得部
１３ 記憶部
１４ マーカー検出部
１５ 撮像部位置姿勢推定部
１６ 仮想画像生成部
１７ 画像合成部
１８ 保持部材
２０ 誤差判定部
２１ 仮想画像位置調整部
２２ 位置方向計測装置
２３ マーカーの法線ベクトル

Claims (14)

1. ワークの加工作業を支援するためのワーク加工作業支援システムであって、
   作業者の視点位置でその視線方向における作業空間を前記ワークと共に撮像するための撮像手段と、
   前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、
   前記位置姿勢情報に基づいて、前記視点位置およびその視線方向における前記ワークの完成形状を示す三次元の仮想画像を生成するための仮想画像生成手段と、
   前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成するための画像合成手段と、
   前記合成画像を表示するための表示手段と、を備えたワーク加工作業支援システム。
2. 前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する、請求項１記載のワーク加工作業支援システム。
3. 前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する相対位置が前記加工作業に伴って実質的に変化しない箇所に設置された複合現実感用マーカーを有する、請求項１または２に記載のワーク加工作業支援システム。
4. 前記複合現実感用マーカーは、加工中の前記ワークを保持する保持部材に設置されている、請求項３記載のワーク加工作業支援システム。
5. 前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する、請求項１乃至４のいずれか一項に記載のワーク加工作業支援システム。
6. 前記完成形状を示す前記仮想画像は、前記加工作業における許容加工誤差を含んで生成される、請求項１乃至５のいずれか一項に記載のワーク加工作業支援システム。
7. 前記ワークの前記現実画像と、前記完成形状を示す前記仮想画像との不一致箇所を前記表示部において表示するための誤差判定手段をさらに備えた、請求項１乃至６のいずれか一項に記載のワーク加工作業支援システム。
8. 前記ワークの前記現実画像と前記完成形状を示す前記仮想画像との不一致率が最小となるように、前記仮想画像を前記現実画像に対して移動させるための仮想画像位置調整手段をさらに備えた、請求項１乃至７のいずれか一項に記載のワーク加工作業支援システム。
9. 前記加工作業は、前記ワークに対するプレス成形加工を含む、請求項１乃至８のいずれか一項に記載のワーク加工作業支援システム。
10. ワークの加工作業を支援するためのワーク加工作業支援システムを用いたワーク加工方法であって、
    前記ワークを加工装置によって加工する加工工程と、
    前記加工工程の途中で、作業者の視点位置でその視線方向における作業空間を前記ワークと共に撮像する撮像工程と、
    前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、
    前記位置姿勢情報に基づいて、前記視点位置およびその視線方向における前記ワークの完成形状を示す三次元の仮想画像を生成する仮想画像生成工程と、
    前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、
    前記合成画像を表示する表示工程と、を備えたワーク加工方法。
11. 前記位置姿勢情報取得工程は、前記ワーク上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む、請求項１０記載のワーク加工方法。
12. 前記加工工程において前記ワークの加工が進んで、ある程度まで前記ワークを加工できた段階で、前記マーカー設置工程において、加工途中の前記ワークの所定の位置に前記複合現実感用マーカーを暫定的に設置し、前記表示工程において映し出された前記合成画像に基づいて、前記ワークの完成形状を示す前記三次元の仮想画像に対して前記ワークの前記現実画像が飛び出している箇所があれば、そこを要修正箇所と判断する、請求項１１記載のワーク加工方法。
13. 複数の前記複合現実感用マーカーを前記ワークの表面に貼り付ける、請求項１１または１２に記載のワーク加工方法。
14. 前記加工装置は、プレス機であり、
    前記加工工程は、前記ワークに対するプレス成形加工を含む、請求項１０乃至１３のいずれか一項に記載のワーク加工方法。
    

Images