JP5062774B2

JP5062774B2 - 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体

Info

Publication number: JP5062774B2
Application number: JP2009123269A
Authority: JP
Inventors: 哲也高橋; 明山腰; 昇吉村; 一孝水戸部
Original assignee: Akita University NUC; Toyota Motor East Japan Inc
Current assignee: Akita University NUC; Toyota Motor East Japan Inc
Priority date: 2009-05-21
Filing date: 2009-05-21
Publication date: 2012-10-31
Anticipated expiration: 2029-05-21
Also published as: JP2010271536A

Description

本発明は、工場内の生産ラインにおいて、作業者に車両に部品を組み付ける組付作業の訓練を行わせる作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体に関する。

近年、電気製品や自動車の製造メーカーの生産技術部門においては、生産性を向上させる目的のために、大型スクリーンに仮想の作業領域を表示して作業者に作業内容を指導した後に、作業者に対して仮想の作業領域で作業を擬似的に体験させて仮想の作業訓練を施すことができる作業訓練支援システムが開示されている（例えば、特許文献１参照。）。

また、作業訓練支援システムは、モーションキャプチャからの３次元の空間座標位置と、標準作業時間、手の動きのぶれ（蛇行）あるいは手の動きの基準値とを比較して、その基準値から外れる場合には習熟総合判定をＮＧにするものである。モーションキャプチャは、作業者の動作状態をリアルに反映させることができるので、作業者の作業判定の精度を高めることが可能になる。

特開２００５−１３４５３６号公報

しかしながら、背景技術に記載した作業訓練支援システムでは、大型スクリーンに仮想の作業領域を表示すると共にスピーカから音声を出力して作業者に作業内容を指導した後に、作業者に対して仮想の作業領域で作業を擬似的に体験させているので、この大型スクリーンを工場内の生産ラインに設置すると、画面表示や音声で作業内容を指導してはいるが、実作業においては作業者が生産ライン上を移動しながら所定の工程順序による組立作業を行うので、実作業に即した作業訓練にはなっていなかった。

本発明は、このような従来の難点を解消するためになされたもので、工場内の生産ラインにおいて、ヘッドマウントディスプレイ装置に仮想車両と仮想部品とを作業者の移動に対応して移動表示させることで、作業者が実作業に即した作業訓練を行うことができる作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体を提供することを目的とする。

上述の目的を達成する本発明の第１の態様である作業訓練システムは、工場内の生産ラインにおいて、仮想空間の映像を現実空間に重畳させることで、作業者が仮想車両に仮想部品を組み付ける作業訓練を行うことができる作業訓練システムであって、作業者の頭部に装着され、仮想車両及び仮想部品をディスプレイ画面上に表示させるヘッドマウントディスプレイ装置と、仮想車両及び仮想部品の３次元モデルを生成するための基本データ群と共に、仮想車両に仮想部品を組み付けるための標準作業軌跡を示す標準作業軌跡データが登録されたデータ記憶部と、データ記憶部に登録された基本データ群に基づき仮想車両の３次元モデル及び仮想部品の３次元モデルを作成する作業解析部を備えているデータ処理装置と、生産ライン上を移動しながら所定の工程順序による組立作業を行っている作業者の手の動作を経時的に測定して、その測定結果である動作情報を３次元座標データとしてデータ処理装置に送信するモーションキャプチャ装置とから構成され、作業解析部は、予め定められた設定時間に応じて仮想車両の３次元モデルが生産ライン上で流れているようにヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる第１の表示機能と、データ記憶部に登録された標準作業軌跡データに基づき標準作業軌跡を予め定められた設定時間に応じて生産ライン上で流れているようにディスプレイ画面上に表示されている仮想車両の３次元モデルに対応して当該ディスプレイ画面上に表示させる第２の表示機能と、モーションキャプチャ装置から時系列で受信する３次元座標データに基づき３次元点群データによる作業軌跡データを作成する作業軌跡作成機能と、作業軌跡作成機能で作成した作業軌跡データとデータ記憶部に登録した標準作業軌跡データとを比較して、作業軌跡データが標準作業軌跡に設定された閾値内の場合には部品の組み付けが正常終了したものと判定する部品組付判定機能とを有するものである。

本発明の第２の態様は第１の態様である作業訓練システムにおいて、作業軌跡作成機能は、３次元点群データによる作業軌跡データを作成するにあたり、３次元座標データに対応する回転角データを算出した場合には、３次元座標データ及び回転角データに基づき３次元点群データによる作業軌跡データを作成するものである。

本発明の第３の態様は第１の態様又は第２の態様である作業訓練システムにおいて、作業解析部は、仮想部品の３次元モデルを作業軌跡作成機能で作成した作業軌跡データにリンクさせて、仮想部品の３次元モデルが作業軌跡データに基づく作業軌跡に沿って移動するようにディスプレイ画面上に表示させる第３の表示機能を有するものである。

本発明の第４の態様は第１の態様乃至第３の態様のうち何れか１つの態様である作業訓練システムにおいて、部品組付判定機能は、仮想部品の組み付けが正常終了したものと判定した場合には、仮想車両の３次元モデルに仮想部品の３次元モデルが組み込まれた状態で固定表示させるものである。

本発明の第５の態様は第１の態様乃至第４の態様のうち何れか１つの態様である作業訓練システムにおいて、ヘッドマウントディスプレイ装置は作業者の視線方向を検出する視線センサを備え、作業解析部は、仮想車両の３次元モデル、仮想部品の３次元モデル及び標準作業軌跡の各映像を、視線センサで得られた作業者の視線方向に応じてディスプレイ画面上に移動可能に表示させる第４の表示機能を有するものである。

本発明の第６の態様は第１の態様乃至第５の態様のうち何れか１つの態様である作業訓練システムにおいて、モーションキャプチャ装置は、経時的に測定する対象が、部品を組み付ける作業を行っている作業者の作業動作の場合には、作業者の手指に装着される複数の磁気式３次元位置姿勢センサと、磁気式３次元位置姿勢センサ群で検出された作業者の作業動作である動作情報を受信してデータ処理装置に送信する信号処理部とを備えているものである。

本発明の第７の態様は第１の態様乃至第６の態様のうち何れか１つの態様である作業訓練システムにおいて、ヘッドマウントディスプレイ装置は、現実空間からの像を透過すると共にディスプレイ画面上に表示された仮想空間の映像を反射することで、現実空間からの像に仮想空間の映像を投影するハーフミラーを有する光学透過型である。

本発明の第８の態様は第７の態様である作業訓練システムにおいて、ヘッドマウントディスプレイ装置は眼鏡に組み込まれているものである。

本発明の第９の態様は第１の態様乃至第８の態様のうち何れか１つの態様である作業訓練システムにおいて、基本データ群は、生産ラインに流す仮想車両に対応する作業の順番、内容の工程順序データを保存する工程順序データベースと、工程順序データベースに保存された工程順序データに対応する仮想車両の車両データを保存する車両データベースと、車両データベースに保存された車両データに対応する仮想部品の部品データを保存する部品データベースと、工程順序データベースに保存された工程順序データに対応する各種設備の設備データを保存する設備データベースと、工程順序データベースに保存された工程順序データに対応するタクトタイムデータを保存するタクトタイムデータベースとから構成され、作業解析部は、工程順序データベースから呼び出された所定の工程順序データに基づき車両データベース、部品データベース、設備データベース及びタクトタイムデータベースからそれぞれ対応するデータを選択するデータ選択機能を有するものである。

また、本発明の第１０の態様である作業訓練方法は、工場内の生産ラインにおいて、仮想空間の映像を現実空間に重畳させることで、作業者が仮想車両に仮想部品を組み付ける作業訓練を行うために、仮想車両及び仮想部品の３次元モデルを生成するための基本データ群と共に、仮想車両に仮想部品を組み付けるための標準作業軌跡を示す標準作業軌跡データが登録され、さらに基本データ群として仮想車両の車両データが登録されたデータ記憶部の当該基本データ群に基づき、データ処理装置の作業解析部で仮想車両及び仮想部品の３次元モデルを作成して、作業者の頭部に装着されたヘッドマウントディスプレイ装置のディスプレイ画面上に表示させ、生産ライン上を移動しながら所定の工程順序による組立作業を行っている作業者の手の動作をモーションキャプチャ装置によって経時的に測定して、その測定結果である動作情報を３次元座標データとして作業解析部に送信することで、当該作業者による作業動作を標準作業動作と比較する作業訓練方法であって、作業解析部が、作業者が作業訓練を開始すると、データ記憶部に格納された基本データ群を呼び出し、基本データ群に基づきヘッドマウントディスプレイ装置のディスプレイ画面上に、仮想車両の３次元モデルを表示させる第１のステップと、モーションキャプチャ装置から３次元座標データを取得する第２のステップと、第２のステップで取得した３次元座標データから作業者の作業位置を算出する第３のステップと、ヘッドマウントディスプレイ装置に備えられた視線センサによって検出した作業者の視線方向のデータを取得して視線方向を算出する第４のステップと、第３のステップで算出した作業者の作業位置及び第４のステップで算出した作業者の視線方向に基づき車両データ及び標準作業軌跡データを作成する第５のステップと、車両データ及び標準作業軌跡データに基づきディスプレイ画面上に仮想車両の３次元モデルと標準作業軌跡とを予め定められた設定時間に応じて生産ライン上で流れているように移動表示させる第６のステップと、標準作業軌跡に従って部品取付作業を行っている作業者が装着したモーションキャプチャ装置から３次元座標データを時系列で取得する第７のステップと、第７のステップで取得した３次元座標データに基づき３次元点群データによる作業軌跡データを作成する第８のステップと、第８のステップで作成した作業軌跡データと標準作業軌跡データとを比較して、作業軌跡データが標準作業軌跡に設定された閾値内の場合には部品の組み付けが正常終了したものと判定する第９のステップとを実行するものである。

本発明の第１１の態様は第１０の態様である作業訓練方法において、第７のステップと第８のステップとの間に３次元座標データに対応する回転角データを算出するステップを有し、第８のステップでは、回転角データを算出するステップを実行した場合には、３次元座標データ及び回転角データに基づき３次元点群データによる作業軌跡データを作成するものである。

本発明の第１２の態様は第１０の態様又は第１１の態様である作業訓練方法において、予め定められた設定時間はタクトタイムである。

本発明の第１３の態様は第１０の態様乃至第１２の態様のうち何れか１つである作業訓練方法において、第８のステップと第９のステップとの間には、仮想部品の３次元モデルを第８のステップで作成した作業軌跡データにリンクさせて、仮想部品の３次元モデルが作業軌跡データに基づく作業軌跡に沿って移動するようにディスプレイ画面に表示させるステップを有するものである。

本発明の第１４の態様は第１０の態様乃至第１３の態様のうち何れか１つである作業訓練方法において、第９のステップでは、仮想部品の組み付けが正常終了したものと判定した場合には、仮想車両の３次元モデルに仮想部品の３次元モデルが組み込まれた状態で固定表示させるものである。

さらに、本発明の第１５の態様である記録媒体は、第１０の態様乃至第１４の態様うち何れか１つである作業訓練方法の各ステップを、第１０の態様に記載のデータ処理装置の作業解析部に実行させるプログラムを記録したコンピュータ読み取り可能なものである。

このような作業訓練システム及び作業訓練方法によれば、作業者が生産ライン上で、データ処理装置の作業解析部で作成された仮想車両の３次元モデルを、頭部に装着したヘッドマウントディスプレイ装置のディスプレイ画面上で視認することができ、而も作業解析部の第１の表示機能及び第２の表示機能で仮想車両の３次元モデルと標準作業軌跡とを予め定められた設定時間に応じて生産ライン上で流れているように移動表示させることができるので、作業者は生産ライン上を実際に移動しながら作業訓練を行うことができる。また、生産ライン上を仮想車両の３次元モデル及び標準作業軌跡の移動に応じて移動している作業者は、その標準作業軌跡に沿って手を動かすことができる。なお、作業解析部の第３の表示機能で、仮想部品の３次元モデルを作業者の組立作業による作業軌跡に沿って移動するようにディスプレイの画面上に表示させることで、作業者はよりリアルな作業訓練を行うことができる。

また、作業者の作業位置を当該作業者の手に装着されたモーションキャプチャ装置によって検出し、その測定結果である３次元座標データをデータ処理装置に送信することで、データ処理装置の作業解析部は作業軌跡作成機能及び部品組付判定機能で、作業者の組立作業による作業軌跡と、その組立作業の標準作業軌跡とを比較して、作業者の組立作業による作業軌跡が標準作業軌跡に設定された閾値内であれば部品の組み付けが正常終了したものと判定することができる。この際、データ処理装置の作業解析部は部品組付判定機能にて、仮想車両の３次元モデルに仮想部品の３次元モデルが組み込まれた状態でディスプレイ画面上に固定表示させることで、作業者は部品の組み付けが正常終了したものと容易に把握することができる。

また、作業軌跡作成機能に、３次元座標データ及び回転角データに基づき３次元点群データによる作業軌跡データを作成する機能を持たせることで、３次元モデルの作業軌跡をより作業者の実作業に即したものとしてディスプレイの画面上に移動表示させることができる。

本発明の作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体によれば、工場内の生産ラインにおいて、ヘッドマウントディスプレイ装置に仮想車両と仮想部品とを作業者の移動に対応して移動表示させることで、作業者が実作業に即した作業訓練を行うことができる。また、作業者が実作業に即した作業訓練を行うことができるので、生産開始直後の稼働率が低下することを防ぐことができる。

本発明の作業訓練システムにおける好ましい実施の形態例を示す図で、（Ａ）はシステム構成のブロック図、（Ｂ）はデータ処理装置のデータ記憶部の構成図である。図１のモーションキャプチャ装置に使用されるセンサのキャリブレーションの例を示す説明図である。モーションキャプチャで検出した位置情報の例を示す説明図である。工場内における作業の工程順序の例を示す説明図である。本発明の作業訓練方法の好ましい実施の形態例を示すフローチャート図である。

以下、作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体を実施するための最良の形態例について、図面を参照して説明する。

本発明の作業訓練システムは、工場内の生産ラインにおいて、仮想空間の映像を現実空間に重畳させることで、作業者が仮想車両に仮想部品を組み付ける作業訓練を行うことができるものである。この作業訓練システムは図１（Ａ）に示すように、作業者の頭部に装着され、仮想車両及び仮想部品をディスプレイ３１の画面上に表示させるヘッドマウントディスプレイ装置３と、仮想車両及び仮想部品の３次元モデルを生成するための基本データ群と共に、仮想車両に仮想部品を組み付けるための標準作業軌跡のデータが登録されたデータ記憶部４３と、データ記憶部４３に登録された基本データ群に基づき仮想車両の３次元モデル及び仮想部品の３次元モデルを作成する作業解析部４１を備えているデータ処理装置４と、生産ライン上を移動しながら所定の工程順序による組立作業を行っている作業者の手の動作を経時的に測定して、その測定結果である動作情報を３次元座標データとしてデータ処理装置４に送信するモーションキャプチャ装置２とから構成されている。

ヘッドマウントディスプレイ装置３は、データ処理装置４の作業解析部４１で作成された仮想空間の映像である仮想車両の３次元モデルのデータ及び仮想部品の３次元モデルのデータを受信してディスプレイ３１の画面上にその情報を表示させる画像処理部３２を備えている。また、ヘッドマウントディスプレイ装置３は、外界からの像を透過すると共にディスプレイ３１の画面上に表示された架空画像を反射することで、外界からの像に架空画像を投影するハーフミラー（図示せず）を有する光学透過型が好適である。光学透過型のヘッドマウントディスプレイ装置３は、実像に対して虚像の架空画像を重畳させることになるので、作業者は違和感の少ない質の高い情報を得ることができる。このようなヘッドマウントディスプレイ装置３を眼鏡５（図４参照。）に組み込むことで、実際の生産ラインで使用することができる。

また、ヘッドマウントディスプレイ装置３に、架空画像を作業者の視線方向に応じてディスプレイ３１の画面上に移動可能に表示させるために、作業者の視線方向を検出する視線センサ３３を備えるとよい。この視線センサ３３は、眼球の回転角を検出して、その検出回転角度を視線データとしてユーザ・インタフェースに用いることが一般的である。

モーションキャプチャ装置２は、汎用のものを用いることができ、動体に装着された光学マーカの位置情報により動体の動きを検出する光学式や、動体に装着された磁気センサの動きを検出する磁気式が一般的である。特に、経時的に測定する対象が、部品を組み付ける作業を行っている作業者の作業動作の場合には、モーションキャプチャ装置２としては、作業者の手指に装着されるデバイスである複数の磁気式３次元位置姿勢センサ２１と、磁気式３次元位置姿勢センサ群２１で検出された作業者の作業動作情報として受信してデータ処理装置３に送信する信号処理部２２とを備えているものが好適である。このモーションキャプチャ装置２の場合、複数の磁気式３次元位置姿勢センサ２１を手指の繊細な動きを検出できるように柔軟性のあるグローブに配置するので、作業者の手の作業動作を精度よく再現することが可能になる。

この磁気式３次元位置姿勢センサ２１とデータ処理装置３とは、有線、無線の何れの接続手段でもよく、設置状況に応じて選択する。このようなモーションキャプチャ装置として、例えば、特開２００７−２３６６０２号公報に開示された磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置が好適である。

この手指用モーションキャプチャ装置は図２、図３に示すように、例えば親指の先端に位置するセンサ２１ａの中心に原点を仮定すると、信号処理部２２の固定基準点から見たそれらの位置座標（Ｘ軸、Ｙ軸、Ｚ軸）及びＸ軸、Ｙ軸、Ｚ軸の周りの回転角から求められる姿勢を示すオイラー角の情報が得られ、データ処理装置４に記録される。この場合におけるセンサ装着時の位置及び角度のズレのキャリブレーションは、特開２００７−２３６６０２号公報に詳述されているので、説明は省略する。

データ処理装置４はコンピュータが好ましく、内部にＣＰＵ等の演算処理装置を備えると共に、ブラウン管モニタや液晶ディスプレイ等の表示画面を有する表示装置や、キーボード、マウス等の入力デバイス、さらに、ハードディスクドライブ等の記憶装置等で構成されている。このようなデータ処理装置４は、モーションキャプチャ装置２から受信する３次元座標データや視線センサ３３から受信する視線方向データをデータ処理装置４の座標データのデータ形式に変換するデータ形式変換部４２を備えている。このデータ形式変換部４２は、モーションキャプチャ装置２から受信する座標データや視線センサ３３から受信する視線方向データが、データ処理装置４の座標データのデータ形式と同じ場合には、データ形式を変換することなく座標データを作業解析部４１に送信する。

また、データ処理装置４は図１（Ａ）、（Ｂ）に示すように、データ記憶部４３を備えている。このデータ記憶部４３はデータ処理装置４の外部に配置していてもよい。このようなデータ記憶部４３は、基本データ群として例えば、生産ラインに流す仮想車両に対応する作業の順番、内容の工程順序データを保存する工程順序データベース４３１と、工程順序データベース４３１に保存された工程順序データに対応する仮想車両の車両データを保存する車両データベース４３２と、車両データベース４３２に保存された車両データに対応する仮想部品の部品データを保存する部品データベース４３３と、工程順序データベース４３１に保存された工程順序データに対応する設備データを保存する設備データベース４３４と、工程順序データベース４３１に保存された工程順序データに対応するタクトタイムデータを保存するタクトタイムデータベース４３５とが登録されている。なお、設備データは、車両に部品を組み付ける作業に必要な搬送ハンガー、多関節ロボット等の各種設備の３Ｄデータである。

また、データ処理装置４に備えられた作業解析部４１は、予め定められた設定時間に応じて仮想車両の３次元モデルが生産ライン上で流れているようにヘッドマウントディスプレイ装置３のディスプレイ画面上に表示させる第１の表示機能と、データ記憶部に登録された標準作業軌跡データに基づき標準作業軌跡を予め定められた設定時間に応じて生産ライン上で流れているようにディスプレイ画面上に表示されている仮想車両の３次元モデルに対応して当該ディスプレイ画面上に表示させる第２の表示機能と、モーションキャプチャ装置２から時系列で受信する３次元座標データに基づき３次元点群データによる作業軌跡データを作成する作業軌跡作成機能と、作業軌跡作成機能で作成した作業軌跡データとデータ記憶部４３に登録した標準作業軌跡データとを比較して、作業軌跡データが標準作業軌跡に設定された閾値内の場合には部品の組み付けが正常終了したものと判定する部品組付判定機能とを有している。

作業軌跡作成機能は、３次元座標データがモーションキャプチャ装置２から時系列で送信されてくることから、そのデータ情報を順次プロットすることで３次元点群データにすることができるので、作業軌跡データとして作成することができる。さらに、作業軌跡作成機能に作業軌跡データから３次スプライン曲線を形成する機能をもたせるとよい。この機能は、作業軌跡データに基づき、３次元点群データの各プロット間を３次関数で表現し、各プロット点での接続を滑らかにして３次スプライン曲線を作成するものである。作業軌跡データを３次スプライン曲線にすることで、部品組付判定機能において正確な判定を行うことが可能になる。

なお、作業軌跡作成機能は、３次元点群データによる作業軌跡データを作成するにあたり、３次元座標データに対応する回転角データを算出した場合には、３次元座標データ及び回転角データに基づき３次元点群データによる作業軌跡データを作成するようにしてもよい。このように作業軌跡作成機能に、３次元座標データ及び回転角データに基づき３次元点群データによる作業軌跡データを作成する機能を持たせることで、３次元モデルの作業軌跡をより作業者の実作業に即したものとしてディスプレイ３１の画面上に移動表示させることができる。

このような各機能を作業解析部４１が有することで、作業者が生産ライン上で、データ処理装置４の作業解析部４１で作成された仮想車両の３次元モデルを、頭部に装着したヘッドマウントディスプレイ装置３のディスプレイ３１の画面上で視認することができ、而も作業解析部４１の第１の表示機能及び第２の表示機能で仮想車両の３次元モデルと標準作業軌跡とを予め定められた設定時間に応じて生産ライン上で流れているように移動表示させることができるので、作業者は生産ライン上を実際に移動しながら作業訓練を行うことができる。また、生産ライン上を仮想車両の３次元モデル及び標準作業軌跡の移動に応じて移動している作業者は、その標準作業軌跡に沿って手を動かすことができる。

また、作業者の作業位置を当該作業者の手に装着されたモーションキャプチャ装置２によって検出し、その測定結果である３次元座標データをデータ処理装置４に送信することで、データ処理装置４の作業解析部４１は作業軌跡作成機能及び部品組付判定機能で、作業者の組立作業による作業軌跡と、その組立作業の標準作業軌跡とを比較して、作業者の組立作業による作業軌跡が標準作業軌跡に設定された閾値内であれば部品の組み付けが正常終了したものと判定することができる。この際、データ処理装置４の作業解析部４１は部品組付判定機能にて、仮想車両の３次元モデルに仮想部品の３次元モデルが組み込まれた状態でディスプレイ３１の画面上に固定表示させることで、作業者は部品の組み付けが正常終了したものと容易に把握することができる。

さらに、作業解析部４１は、仮想部品の３次元モデルを作業軌跡作成機能で作成した作業軌跡データにリンクさせて、仮想部品の３次元モデルが作業軌跡データに基づく作業軌跡に沿って移動するようにヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる第３の表示機能を有している。この第３の表示機能を付加することで、仮想部品の３次元モデルを作業者の組立作業による作業軌跡に沿って移動するようにディスプレイ３１の画面上に表示させることで、作業者はよりリアルな作業訓練を行うことができる。

また、作業解析部４１は、ヘッドマウントディスプレイ装置３に視線センサ３３を備えている場合には、仮想車両の３次元モデル、仮想部品の３次元モデル及び標準作業軌跡の各映像を、視線センサ３３で得られた作業者の視線方向に応じてディスプレイ３１の画面上に移動可能に表示させる第４の表示機能を有している。この第４の表示機能を付加することで、作業者はより正確な仮想車両の３次元モデル、仮想部品の３次元モデル及び標準作業軌跡の各映像をヘッドマウントディスプレイ装置３で把握することができる。

また、作業解析部４１は、データ記憶部４３に工程順序データベース４３１、車両データベース４３２、部品データベース４３３、設備データベース４３４及びタクトタイムデータベース４３５が登録されている場合には、工程順序データベース４３１から呼び出された所定の工程順序データに基づき車両データベース４３２、部品データベース４３３、設備データベース４３４及びタクトタイムデータベース４３５からそれぞれ対応するデータを選択するデータ選択機能を有している。このデータ選択機能を付加することで、複数の車種に対応可能になる。

なお、上述したモーションキャプチャ装置２、ヘッドマウントディスプレイ装置３及びデータ処理装置４の各構成部はそれぞれ電気的に接続され、モーションキャプチャ装置２はデバイス２１が信号処理部２２に接続され、ヘッドマウントディスプレイ装置３はディスプレイ３１が画像処理部３２に接続され、データ処理装置４はデータ記憶部４３が作業解析部４１に接続されている。また、モーションキャプチャ装置２とデータ処理装置４との間にデータ形式変換部４２を介在させる場合には、データ形式変換部４２はモーションキャプチャ２の信号処理部２２及び作業解析部４１それぞれに接続させる。さらに、ヘッドマウントディスプレイ装置３が視線センサ３３を備えている場合には、データ処理装置４のデータ形式変換部４２に接続されているが、データ形式変換部４２が介在されていない場合には視線センサ３３は作業解析部４１に接続される。

このように構成された作業訓練システム１におけるデータ処理装置４の各構成は、演算処理装置によって実行されるプログラムによって実現されるものである。このプログラムによるデータ処理手順について図４の動作説明図及び図５のフローチャートに基づき説明する。なお、図５においてＭＣとはモーションキャプチャ装置２を意味する。

また、図４に示す生産ラインには、循環軌道６上を走行自在なトロリ（図示せず。）に吊り下げられた搬送ハンガー７が所定位置に車両Ｖが支持されているものが示されているが、車両Ｖは眼鏡５に組み込まれたヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に映し出される仮想車両の３次元モデルである。また、作業者Ｗが、例えば利き手である右手の手指にモーションキャプチャ装置２の複数の磁気式３次元位置姿勢センサ２１を装着しているものとする。また、眼鏡５に組み込まれたヘッドマウントディスプレイ装置３は視線センサ３３を有するものとする。さらに、データ処理装置４において、データ記憶部４３に格納された工程順序データベース４３１から所定の工程順序データが選択されると、データ処理装置４の作業解析部４１のデータ選択機能が、その工程順序データに基づく車種に対応する車両データ、部品データ、設備データ及びタクトタイムデータを車両データベース４３２、部品データベース４３３、設備データベース４３４及びタクトタイムデータベース４３５からそれぞれ選択するので、それらに基づき構成される仮想車両Ｖは設備データに即した状態、例えば高さ方向が対応する搬送ハンガー７に吊り下げられるような位置でヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に映し出されることになる。

このような作業訓練システム１において、作業者Ｗが自動車の組立作業の作業訓練を開始すると（ステップ１０１）、データ処理装置４の作業解析部４１がデータ記憶部４３に格納された基本データ群を呼び出し（ステップ１０２）、作業解析部４１の第１の表示機能で基本データ群に基づきヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に仮想車両の３次元モデルＶを表示する（ステップ１０３）。この際、作業解析部４１は基本データ群に対応する標準作業軌跡データをデータ記憶部４３から呼び出す。

次に、作業解析部４１は、モーションキャプチャ装置２から３次元座標データを取得して（ステップ１０４）、作業者Ｗの作業位置を算出する（ステップ１０５）。また、作業解析部４１は、ヘッドマウントディスプレイ装置３の視線センサ３３から視線方向データを取得すると、第４の表示機能で視線方向を算出し（ステップ１０６）、ステップ１０５で算出した作業者の作業位置及びステップ１０６で算出した作業者Ｗの視線方向に基づく車両データ及び標準作業軌跡データを作成する（ステップ１０７）。

作業解析部４１は第２の表示機能で、ステップ１０７で作成した車両データ及び標準作業軌跡データに基づきヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に、仮想車両の３次元モデルＶと標準作業軌跡ＳＴとを予め定められた設定時間であるタクトタイムデータベース４３５から選択されたタクトタイムに応じて生産ライン上で流れているように移動表示する（ステップ１０８）。

作業者Ｗは、この仮想車両の３次元モデルＶと標準作業軌跡ＳＴに基づき部品組付作業を開始する。作業者は生産ライン上を移動しながら部品組付作業を行うので、この作業者Ｗが装着したモーションキャプチャ装置２から３次元座標データを時系列で取得する（ステップ１０９）。作業解析部４１は作業軌跡作成機能で、ステップ１０９で取得した３次元座標データをデータ記憶部４３に蓄積させ、このデータ記憶部４３に蓄積された３次元座標データに基づき３次元点群データによる作業軌跡データを作成する（ステップ１１０）。この際、作業解析部４１が第３の表示機能で、仮想部品の３次元モデルＰをステップ１１０で作成した作業軌跡データにリンクさせて、仮想部品の３次元モデルＰが作業軌跡データに基づく作業軌跡に沿って移動するようにヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示する（ステップ１１１）。なお、このステップ１１１は必須要件ではない。

部品組付作業の作業訓練が終了すると、作業解析部４１は部品組付判定機能で、ステップ１１０で作成した作業者による作業軌跡データと標準作業軌跡データとを比較して（ステップ１１２）、作業軌跡データが標準作業軌跡に設定された閾値内の場合には部品の組付けが正常終了したものと判定する（ステップ１１３）。この時には作業者Ｗ及び仮想車両Ｖは図４において、右側から左側に移動している。なお、仮想部品の組み付けが正常終了したものと判定した場合には、仮想車両の３次元モデルＶに仮想部品の３次元モデルＰが組み込まれた状態で固定表示させる。

一方、ステップ１１２による比較結果で、作業軌跡データが標準作業軌跡に設定された閾値外の場合には部品の組付けが正常終了していないので、スピーカ等により警報情報を報知させる（ステップ１１４）。警報情報を報知後、再度、作業訓練を行う場合にはデータ処理装置４の作業解析部４１はステップ１０４まで戻り、作業訓練を終了する場合にはステップ１１３に進むことになる（ステップ１１５）。

なお、ステップ１０９とステップ１１０との間に、モーションキャプチャ装置２から時系列で取得する３次元座標データに対応する回転角データを算出するステップ（図示せず。）を有し、ステップ１１０を、回転角データを算出するステップを実行した場合に、３次元座標データ及び回転角データに基づき３次元点群データによる作業軌跡データを作成するように機能させることで、３次元モデルの作業軌跡をより作業者の実作業に即したものとしてディスプレイ３１の画面上に移動表示させることができる。

また、生産ライン上に実際に配置された搬送ハンガー７は、仮想車両の３次元モデルＶに沿って移動させることでリアルな作業訓練となる。

このようなデータ処理手順がデータ処理装置４の演算処理装置によって実行されるプログラムは、コンピュータ読み取り可能なＣＤ、ＤＶＤ等の記録媒体に記録させておくことで、複数のデータ処理装置４で利用可能になる。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１……作業訓練システム
２……モーションキャプチャ装置
２１……磁気式３次元位置姿勢センサ
２２……信号処理部
３……ヘッドマウントディスプレイ装置
３１……ディスプレイ
３３……視線センサ
４……データ処理装置
４１……作業解析部
４３……データ記憶部
４３１……工程順序データベース
４３２……車両データベース
４３３……部品データベース
４３４……設備データベース
４３５……タクトタイムデータベース
５……眼鏡

Claims

工場内の生産ラインにおいて、仮想空間の映像を現実空間に重畳させることで、作業者が仮想車両に仮想部品を組み付ける作業訓練を行うことができる作業訓練システムであって、
前記作業者の頭部に装着され、前記仮想車両及び前記仮想部品をディスプレイ画面上に表示させるヘッドマウントディスプレイ装置と、
前記仮想車両及び前記仮想部品の３次元モデルを生成するための基本データ群と共に、前記仮想車両に前記仮想部品を組み付けるための標準作業軌跡を示す標準作業軌跡データが登録されたデータ記憶部と、
前記データ記憶部に登録された前記基本データ群に基づき前記仮想車両の３次元モデル及び前記仮想部品の３次元モデルを作成する作業解析部を備えているデータ処理装置と、
前記生産ライン上を移動しながら所定の工程順序による組立作業を行っている前記作業者の手の動作を経時的に測定して、その測定結果である動作情報を３次元座標データとして前記データ処理装置に送信するモーションキャプチャ装置とから構成され、
前記作業解析部は、
予め定められた設定時間に応じて前記仮想車両の３次元モデルが前記生産ライン上で流れているように前記ヘッドマウントディスプレイ装置の前記ディスプレイ画面上に表示させる第１の表示機能と、
前記データ記憶部に登録された前記標準作業軌跡データに基づき前記標準作業軌跡を前記予め定められた設定時間に応じて前記生産ライン上で流れているように前記ディスプレイ画面上に表示されている前記仮想車両の３次元モデルに対応して当該ディスプレイ画面上に表示させる第２の表示機能と、
前記モーションキャプチャ装置から時系列で受信する前記３次元座標データに基づき３次元点群データによる作業軌跡データを作成する作業軌跡作成機能と、
前記作業軌跡作成機能で作成した前記作業軌跡データと前記データ記憶部に登録した前記標準作業軌跡データとを比較して、前記作業軌跡データが前記標準作業軌跡に設定された閾値内の場合には部品の組み付けが正常終了したものと判定する部品組付判定機能とを有することを特徴とする作業訓練システム。
前記作業軌跡作成機能は、前記３次元点群データによる前記作業軌跡データを作成するにあたり、前記３次元座標データに対応する回転角データを算出した場合には、前記３次元座標データ及び前記回転角データに基づき前記３次元点群データによる前記作業軌跡データを作成することを特徴とする請求項１記載の作業訓練システム。
前記作業解析部は、前記仮想部品の３次元モデルを前記作業軌跡作成機能で作成した前記作業軌跡データにリンクさせて、前記仮想部品の３次元モデルが前記作業軌跡データに基づく作業軌跡に沿って移動するように前記ディスプレイ画面上に表示させる第３の表示機能を有することを特徴とする請求項１又は請求項２記載の作業訓練システム。
前記部品組付判定機能は、前記仮想部品の組み付けが正常終了したものと判定した場合には、前記仮想車両の３次元モデルに前記仮想部品の３次元モデルが組み込まれた状態で固定表示させることを特徴とする請求項１乃至請求項３のうち何れか１項に記載の作業訓練システム。
前記ヘッドマウントディスプレイ装置は前記作業者の視線方向を検出する視線センサを備え、
前記作業解析部は、前記仮想車両の３次元モデル、前記仮想部品の３次元モデル及び前記標準作業軌跡の各映像を、前記視線センサで得られた前記作業者の前記視線方向に応じて前記ディスプレイ画面上に移動可能に表示させる第４の表示機能を有することを特徴とする請求項１乃至請求項４のうち何れか１項に記載の作業訓練システム。
前記モーションキャプチャ装置は、経時的に測定する対象が、部品を組み付ける作業を行っている作業者の作業動作の場合には、
作業者の手指に装着される複数の磁気式３次元位置姿勢センサと、
前記磁気式３次元位置姿勢センサ群で検出された前記作業者の作業動作である前記動作情報を受信して前記データ処理装置に送信する信号処理部とを備えていることを特徴とする請求項１乃至請求項５のうち何れか１項に記載の作業訓練システム。
前記ヘッドマウントディスプレイ装置は、前記現実空間からの像を透過すると共に前記ディスプレイ画面上に表示された前記仮想空間の映像を反射することで、前記現実空間からの像に前記仮想空間の映像を投影するハーフミラーを有する光学透過型であることを特徴とする請求項１乃至請求項６のうち何れか１項に記載の作業訓練システム。
前記ヘッドマウントディスプレイ装置は眼鏡に組み込まれていることを特徴とする請求項７記載の作業訓練システム。
前記基本データ群は、
前記生産ラインに流す前記仮想車両に対応する作業の順番、内容の工程順序データを保存する工程順序データベースと、
前記工程順序データベースに保存された前記工程順序データに対応する前記仮想車両の車両データを保存する車両データベースと、
前記車両データベースに保存された前記車両データに対応する前記仮想部品の部品データを保存する部品データベースと、
前記工程順序データベースに保存された前記工程順序データに対応する各種設備の設備データを保存する設備データベースと、
前記工程順序データベースに保存された前記工程順序データに対応するタクトタイムデータを保存するタクトタイムデータベースとから構成され、
前記作業解析部は、前記工程順序データベースから呼び出された所定の前記工程順序データに基づき前記車両データベース、前記部品データベース、前記設備データベース及び前記タクトタイムデータベースからそれぞれ対応する前記データを選択するデータ選択機能を有することを特徴とする請求項１乃至請求項８のうち何れか１項に記載の作業訓練システム。
工場内の生産ラインにおいて、仮想空間の映像を現実空間に重畳させることで、作業者が仮想車両に仮想部品を組み付ける作業訓練を行うために、前記仮想車両及び前記仮想部品の３次元モデルを生成するための基本データ群と共に、前記仮想車両に前記仮想部品を組み付けるための標準作業軌跡を示す標準作業軌跡データが登録され、さらに前記基本データ群として前記仮想車両の車両データが登録されたデータ記憶部の当該基本データ群に基づき、データ処理装置の作業解析部で前記仮想車両及び前記仮想部品の３次元モデルを作成して、前記作業者の頭部に装着されたヘッドマウントディスプレイ装置のディスプレイ画面上に表示させ、前記生産ライン上を移動しながら所定の工程順序による組立作業を行っている前記作業者の手の動作をモーションキャプチャ装置によって経時的に測定して、その測定結果である動作情報を３次元座標データとして前記作業解析部に送信することで、当該作業者による作業動作を標準作業動作と比較する作業訓練方法であって、
前記作業解析部が、
前記作業者が前記作業訓練を開始すると、前記データ記憶部に格納された前記基本データ群を呼び出し、前記基本データ群に基づき前記ヘッドマウントディスプレイ装置の前記ディスプレイ画面上に、前記仮想車両の３次元モデルを表示させる第１のステップと、
前記モーションキャプチャ装置から前記３次元座標データを取得する第２のステップと、
前記第２のステップで取得した前記３次元座標データから前記作業者の作業位置を算出する第３のステップと、
前記ヘッドマウントディスプレイ装置に備えられた視線センサによって検出した前記作業者の視線方向のデータを取得して視線方向を算出する第４のステップと、
前記第３のステップで算出した前記作業者の前記作業位置及び前記第４のステップで算出した前記作業者の前記視線方向に基づく前記車両データ及び前記標準作業軌跡データを作成する第５のステップと、
前記車両データ及び前記標準作業軌跡データに基づき前記ディスプレイ画面上に前記仮想車両の３次元モデルと前記標準作業軌跡とを予め定められた設定時間に応じて前記生産ライン上で流れているように移動表示させる第６のステップと、
前記標準作業軌跡に従って部品組付作業を行っている前記作業者が装着した前記モーションキャプチャ装置から前記３次元座標データを時系列で取得する第７のステップと、
前記第７のステップで取得した前記３次元座標データに基づき３次元点群データによる作業軌跡データを作成する第８のステップと、
前記第８のステップで作成した前記作業軌跡データと前記標準作業軌跡データとを比較して、前記作業軌跡データが前記標準作業軌跡に設定された閾値内の場合には部品の組み付けが正常終了したものと判定する第９のステップとを実行することを特徴とする作業訓練方法。
前記第７のステップと前記第８のステップとの間に前記３次元座標データに対応する回転角データを算出するステップを有し、
前記第８のステップでは、前記回転角データを算出するステップを実行した場合には、前記３次元座標データ及び前記回転角データに基づき前記３次元点群データによる前記作業軌跡データを作成することを特徴とする請求項１０記載の作業訓練方法。
前記予め定められた設定時間はタクトタイムであることを特徴とする請求項１０又は請求項１１記載の作業訓練方法。
前記第８のステップと前記第９のステップとの間には、前記仮想部品の３次元モデルを前記第８のステップで作成した前記作業軌跡データにリンクさせて、前記仮想部品の３次元モデルが前記作業軌跡データに基づく作業軌跡に沿って移動するように前記ディスプレイ画面に表示させるステップを有することを特徴とする請求項１０乃至請求項１２のうち何れか１項に記載の作業訓練方法。
前記第９のステップでは、前記仮想部品の組み付けが正常終了したものと判定した場合には、前記仮想車両の３次元モデルに前記仮想部品の３次元モデルが組み込まれた状態で固定表示させることを特徴とする請求項１０乃至請求項１３のうち何れか１項に記載の作業訓練方法。
請求項１０乃至請求項１４のうち何れか１項に記載の作業訓練方法の前記各ステップを、請求項１０に記載の前記データ処理装置の前記作業解析部に実行させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。