JP7279530B2 - 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体 - Google Patents

Description

本発明は、作業者に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像を処理する映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体に関する。

車両組立ラインなどの生産ラインでは、作業者が組立作業や締付作業などの多種多様な作業に応じて姿勢や視線などを変えながら作業をしており、このような生産ラインにおける作業者の作業を評価して作業者の作業負担を軽減することが行われている。

近年、実際に生産ラインにおいて作業者が作業を行って作業者の作業を評価することに代え、複合現実（ＭＲ）を用いて、作業者にヘッドマウントディスプレイ装置を装着させると共に、ヘッドマウントディスプレイ装置の表示画面に作業者の姿勢や視線などに応じて生産ラインの三次元モデルと作業者の三次元モデルとを表示させ、作業者の動作に合わせて作業者の三次元モデルを移動させて生産ラインにおける作業者の作業をシミュレーションし、作業者の作業を評価することが考えられている。

例えば特許文献１には、仮想作業を表示するものとして、コンピュータに、計測対象の三次元データとモーションキャプチャ装置から取得される作業者の動作に基づく作業者の三次元データとを読み込んで両データを共通の三次元座標上に配置し、画面上に、共通の三次元座標上に仮想的に配置される仮想カメラを介して見える計測対象の三次元データとモーションキャプチャ装置から取得される作業者の動作に連動した作業者の三次元データとを表示させるものが開示されている。

特開２０１８－１８１２８８号公報

前記のように、複合現実を用いて、作業者に装着されるヘッドマウントディスプレイ装置の表示画面に生産ラインの三次元モデルと作業者の三次元モデルとを作業者の姿勢や視線などに合わせて表示させる映像を処理して生産ラインにおける作業者の作業をシミュレーションすることで、実際に生産ラインにおいて作業者が作業を行うことなく、生産ラインにおける作業者の作業を評価することが可能である。

しかしながら、車両組立ラインなどの生産ラインにおける作業者の作業をシミュレーションする場合に、ヘッドマウントディスプレイ装置の表示画面に表示される生産ラインの三次元モデルの作業対象物に対して作業者の三次元モデルの手部を移動して手作業で行う作業をシミュレーションするときなどに、作業者がヘッドマウントディスプレイ装置の表示画面に表示された作業者の手部などの所定部位と作業対象物との距離感を的確に認識することができないおそれがある。

そこで、本発明は、作業者に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像処理において、表示画面に表示される作業者の所定部位と作業対象物との距離を作業者に直感的に認識させることができるようにすることを課題とする。

前記課題を解決するため、本発明は、次のように構成したことを特徴とする。

まず、本願の請求項１に記載の発明は、作業者の頭部に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像を処理する映像処理方法であって、前記作業者の位置及び姿勢を取得する作業者位置姿勢取得ステップと、前記作業者の視線を取得する作業者視線取得ステップと、前記表示画面に、前記作業者が組立作業又は締付作業における手作業の仮想作業を行う作業対象物の三次元モデルを表示すると共に、前記作業者位置姿勢取得ステップによって取得された前記作業者の位置及び姿勢、並びに前記作業者視線取得ステップによって取得された前記作業者の視線に応じて前記作業者によって仮想的に視認される前記作業対象物の三次元モデルに重ねて前記作業者の三次元モデルを表示する表示制御ステップとを有し、前記表示制御ステップでは、前記作業者の三次元モデルに、前記作業者の三次元モデルの所定部位から直線状に延び、前記所定部位と前記作業対象物の三次元モデルとの間を結んで前記所定部位と前記作業対象物との距離を可視化する距離可視化部を表示し、前記表示制御ステップでは、前記所定部位として前記作業者の三次元モデルの手部又は手部に設けられた保持部材から直線状に延びる前記距離可視化部を表示し、前記距離可視化部は、前記作業者の三次元モデルの手部又は手部に設けられた保持部材に固定された状態で、前記手部又は手部に設けられた保持部材の移動に伴って、前記手部又は手部に設けられた保持部材と共に移動するように表示され、前記表示制御ステップでは、同一表示画面内に、前記作業者の三次元モデルの手部又は手部に設けられた保持部材と、前記作業対象物の三次元モデルとを表示することを特徴とする。

また、請求項２に記載の発明は、前記請求項１に記載の発明において、前記表示制御ステップでは、直線状に棒状に延びる前記距離可視化部を表示することを特徴とする。

また、請求項３に記載の発明は、前記請求項１又は請求項２に記載の発明において、前記表示制御ステップでは、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示形態を変更することを特徴とする。

また、請求項４に記載の発明は、前記請求項３に記載の発明において、前記表示制御ステップでは、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示色の変更を行うことにより前記距離可視化部の表示形態を変更することを特徴とする。

また、請求項５に記載の発明は、作業者の頭部に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像を処理する映像処理装置であって、前記作業者の位置及び姿勢を取得する作業者位置姿勢取得手段と、前記作業者の視線を取得する作業者視線取得手段と、前記表示画面に、前記作業者が組立作業又は締付作業における手作業の仮想作業を行う作業対象物の三次元モデルを表示すると共に、前記作業者位置姿勢取得手段によって取得された前記作業者の位置及び姿勢、並びに前記作業者視線取得手段によって取得された前記作業者の視線に応じて前記作業者によって仮想的に視認される前記作業対象物の三次元モデルに重ねて前記作業者の三次元モデルを表示する表示制御手段とを有し、前記表示制御手段は、前記作業者の三次元モデルに、前記作業者の三次元モデルの所定部位から直線状に延び、前記所定部位と前記作業対象物の三次元モデルとの間を結んで前記所定部位と前記作業対象物との距離を可視化する距離可視化部を表示し、前記表示制御手段は、前記所定部位として前記作業者の三次元モデルの手部又は手部に設けられた保持部材から直線状に延びる前記距離可視化部を表示し、前記距離可視化部は、前記作業者の三次元モデルの手部又は手部に設けられた保持部材に固定された状態で、前記手部又は手部に設けられた保持部材の移動に伴って、前記手部又は手部に設けられた保持部材と共に移動するように表示され、前記表示制御手段は、同一表示画面内に、前記作業者の三次元モデルの手部又は手部に設けられた保持部材と、前記作業対象物の三次元モデルとを表示することを特徴とする。

また、請求項６に記載の発明は、前記請求項５に記載の発明において、前記表示制御手段は、直線状に棒状に延びる前記距離可視化部を表示することを特徴とする。

また、請求項７に記載の発明は、前記請求項５又は請求項６に記載の発明において、前記表示制御手段は、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示形態を変更することを特徴とする。

また、請求項８に記載の発明は、前記請求項７に記載の発明において、前記表示制御手段は、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示色の変更を行うことにより前記距離可視化部の表示形態を変更することを特徴とする。

また、請求項９に記載の発明は、作業者の頭部に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像を処理する映像処理プログラムであって、コンピュータを、前記作業者の位置及び姿勢を取得する作業者位置姿勢取得手段、前記作業者の視線を取得する作業者視線取得手段、及び、前記表示画面に、前記作業者が組立作業又は締付作業における手作業の仮想作業を行う作業対象物の三次元モデルを表示すると共に、前記作業者位置姿勢取得手段によって取得された前記作業者の位置及び姿勢、並びに前記作業者視線取得手段によって取得された前記作業者の視線に応じて前記作業者によって仮想的に視認される前記作業対象物の三次元モデルに重ねて前記作業者の三次元モデルを表示する表示制御手段として機能させ、前記表示制御手段として機能させるときは、前記作業者の三次元モデルに、前記作業者の三次元モデルの所定部位から直線状に延び、前記所定部位と前記作業対象物の三次元モデルとの間を結んで前記所定部位と前記作業対象物との距離を可視化する距離可視化部を表示し、前記距離可視化部は、前記作業者の三次元モデルの手部又は手部に設けられた保持部材に固定された状態で、前記手部又は手部に設けられた保持部材の移動に伴って、前記手部又は手部に設けられた保持部材と共に移動するように表示されるように機能させ、前記表示制御手段として機能させるときは、前記所定部位として前記作業者の三次元モデルの手部又は手部に設けられた保持部材から直線状に延びる前記距離可視化部を表示するように機能させ、前記表示制御手段として機能させるときは、同一表示画面内に、前記作業者の三次元モデルの手部又は手部に設けられた保持部材と、前記作業対象物の三次元モデルとを表示するように機能させることを特徴とする。

また、請求項１０に記載の発明は、前記請求項９に記載の発明において、コンピュータを、前記表示制御手段として機能させるときは、直線状に棒状に延びる前記距離可視化部を表示するように機能させることを特徴とする。

また、請求項１１に記載の発明は、前記請求項９又は請求項１０に記載の発明において、コンピュータを、前記表示制御手段として機能させるときは、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示形態を変更するように機能させることを特徴とする。

また、請求項１２に記載の発明は、前記請求項１１に記載の発明において、コンピュータを、前記表示制御手段として機能させるときは、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示色の変更を行うことにより前記距離可視化部の表示形態を変更するように機能させることを特徴とする。

また、請求項１３に記載の発明は、前記請求項９から請求項１２の何れか１項に記載の映像処理プログラムが記録されている記録媒体であることを特徴とする。

本願の請求項１に記載の発明によれば、作業者に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像処理において、作業者の位置及び姿勢並びに視線が取得され、表示画面に、作業者の位置及び姿勢並びに視線に応じて作業者によって仮想的に視認される作業対象物の三次元モデルに重ねて作業者の三次元モデルが表示される。そして、作業者の三次元モデルに、作業者の三次元モデルの所定部位から直線状に延びて前記所定部位と作業対象物の三次元モデルとの間を結ぶ距離可視化部が表示される。

これにより、作業者の三次元モデルの所定部位から直線状に延びる距離可視化部は、作業者の所定部位と作業対象物との距離が短くなるにつれて短く表示することができ、作業者の所定部位と作業対象物との距離に応じた長さで表示することができる。したがって、作業者に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像処理において、距離可視化部の長さによって表示画面に表示される作業者の所定部位と作業対象物との距離を作業者に直感的に認識させることができる。

作業者の所定部位と作業対象物との距離を作業者に直感的に認識させることができるので、例えば車両組立ラインなどの生産ラインにおける作業者の作業をシミュレーションして作業者の作業負担を評価するときに、作業者が実際の作業対象物に対して作業を行う場合と同様の作業をシミュレーションすることができ、作業者の作業負担を精度良く評価することができる。

また、所定部位として作業者の三次元モデルの手部又は手部に設けられた保持部材から直線状に延びる距離可視化部が表示されることにより、作業対象物に対して作業者が手作業で行う作業をシミュレーションするときに、表示画面に表示される作業者の手部又は手部に設けられた保持部材と作業対象物との距離を作業者に直感的に認識させることができる。

また、請求項２に記載の発明によれば、直線状に棒状に延びる距離可視化部が表示されることにより、作業者の三次元モデルの所定部位から直線状に棒状に延びる距離可視化部を用いて、比較的容易に前記効果を得ることができる。

また、請求項３に記載の発明によれば、作業者の所定部位と作業対象物との距離に応じて距離可視化部の表示形態が変更されることにより、距離可視化部の表示領域を変更することなく、距離可視化部の表示形態によっても作業者の所定部位と作業対象物との距離を作業者に認識させることができる。

また、請求項４に記載の発明によれば、作業者の所定部位と作業対象物との距離に応じて距離可視化部の表示色の変更を行うことにより距離可視化部の表示形態が変更されることにより、比較的容易に距離可視化部の表示形態を変更することができる。

また、請求項５～請求項８に記載の映像処理装置によれば、請求項１～請求項４に記載の映像処理方法とそれぞれ同様の効果を奏することができる。

さらに、請求項９～請求項１２に記載の映像処理プログラムによれば、これをコンピュータに適用して実行することにより、請求項１～請求項４に記載の映像処理方法とそれぞれ同様の効果を奏することができる。

また、請求項１３に記載の記録媒体によれば、これをコンピュータに適用して、記録されている映像処理プログラムを実行することにより、請求項１～請求項４に記載の映像処理方法と同様の効果を奏することができる。

本発明の第１実施形態に係る映像処理装置を用いて評価する生産ラインにおける作業者の作業を説明するための説明図である。 作業者の位置及び姿勢並びに視線を取得する方法を説明するための説明図である。 作業者及びヘッドマウントディスプレイ装置に取り付けられたマーカを示す図である。 ヘッドマウントディスプレイ装置の表示画面の一例を示す図である。 ヘッドマウントディスプレイ装置の表示画面の別の一例を示す図である。 映像処理装置の構成を示す図である。 図６に示す映像処理装置の記憶装置の構成を示す図である。 映像処理装置の作動を示すフローチャートである。 映像処理装置の表示制御を示すフローチャートである。 第２実施形態に係る映像処理装置の表示制御を示すフローチャートである。 映像処理装置の表示制御の変形例を説明するための説明図である。

以下、本発明の実施形態について添付図面を参照しながら説明する。

図１は、本発明の第１実施形態に係る映像処理装置を用いて評価する生産ラインにおける作業者の作業を説明するための説明図である。本発明の第１実施形態に係る映像処理装置は、作業者に装着されたヘッドマウントディスプレイ装置の表示画面に作業者の位置及び姿勢並びに視線に応じて、作業者が仮想作業を行う生産ラインの三次元モデルと作業者の三次元モデルとを表示させ、作業者の動作に合わせて作業者の三次元モデルを移動させて生産ラインにおける作業者の作業をシミュレーションし、生産ラインにおける作業者の作業を評価するときに用いられる。

図１に示すように、例えば生産ラインとしての車両組立ライン１における作業対象物としての車両２に対して作業者１０が組立作業や締付作業などの作業を行う場合について、生産ライン１における作業者１０の作業をシミュレーションし、生産ラインにおける作業者の作業を評価するときに用いられる。

図２は、作業者の位置及び姿勢並びに視線を取得する方法を説明するための説明図である。図２に示すように、前記映像処理装置を用いて生産ラインにおける作業者の作業を評価するときには、作業者が仮想作業を行う現実の三次元空間２０に設けられたフレーム２１に、複数のカメラ２２、具体的には８個のカメラ２２が固定される。カメラ２２はそれぞれ、カメラ２２の位置及び方向がそれぞれ所定位置及び所定方向に予め設定されて固定されている。

現実の三次元空間２０には先ず、所定原点位置Ｐ１に、Ｔ字状に形成された原点設定用具２３が配置される。原点設定用具２３は、腕部２３ａの両端部、脚部２３ｂの両端部及び中央部にそれぞれマーカ２４が取り付けられている。原点設定用具２３は、腕部２３ａと脚部２３ｂとの交点Ｐ２が原点位置Ｐ１に一致するように重ねて配置される。マーカ２４は、球状の反射マーカなどの既知のマーカが用いられる。

そして、複数のカメラ２２によって原点設定用具２３が撮像され、複数のカメラ２２によって撮像された画像に基づいて原点設定用具２３のマーカ２４の位置が取得されると共に原点設定用具２３のマーカ２４の位置から原点位置Ｐ１及びＸＹＺ座標系が取得される。例えば原点設定用具２３の脚部２３ｂがＸ軸、腕部２３ａがＹ軸、脚部２３ｂ及び腕部２３ａを通る面の法線をＺ軸とするＸＹＺ座標系が取得される。現実の三次元空間２０において原点位置Ｐ１及びＸＹＺ座標系が取得されると、原点設定用具２３が取り除かれる。

次に、現実の三次元空間２０において作業者３０の頭部に装着されたヘッドマウントディスプレイ装置４０の表示画面に、仮想の三次元空間に作業者が仮想作業を行う生産ラインにおける作業対象物の三次元モデルを表示させ、仮想の三次元空間の原点位置及びＸＹＺ座標系を現実の三次元空間２０の原点位置Ｐ１及びＸＹＺ座標系に一致させて位置合わせさせる。

仮想の三次元空間の原点位置及びＸＹＺ座標系を現実の三次元空間２０の原点位置Ｐ１及びＸＹＺ座標系に位置合わせすることで、ヘッドマウントディスプレイ装置４０が装着された作業者３０は、仮想の三次元空間に表示される生産ラインとしての車両組立ラインにおける作業対象物としての車両の三次元モデルを現実の三次元空間と同じ位置に仮想的に視認することができる。

ヘッドマウントディスプレイ装置４０が装着される作業者３０には、作業者３０の位置及び姿勢並びに視線を取得するために複数のマーカが取り付けられている。作業者３０には、作業者３０の位置及び姿勢を取得するためのマーカが取り付けられ、作業者の視線を取得するためのマーカが作業者３０の頭部に設けられたヘッドマウントディスプレイ装置４０に取り付けられている。

図３は、作業者及びヘッドマウントディスプレイ装置に取り付けられたマーカを示す図である。図３に示すように、作業者３０の頭部、両側の肘部、両側の手部、胸部、腰部、両側の膝部及び両側の足部にそれぞれマーカ３１が取り付けられると共に、ヘッドマウントディスプレイ装置４０にマーカ３１が取り付けられている。マーカ３１は、球状の反射マーカなどの既知のマーカ３１が用いられる。

現実の三次元空間２０においてフレーム２１に固定された複数のカメラ２２によって作業者３０が撮像され、複数のカメラ２２によって撮像された画像に基づいて作業者３０及びヘッドマウントディスプレイ装置４０に取り付けられたマーカ３１の位置が取得されると共にマーカ３１の位置から作業者３０の位置及び姿勢並びに視線が取得される。

作業者３０の位置及び姿勢並びに視線が取得されると、作業者３０の位置及び姿勢並びに視線に応じて仮想の三次元空間に作業者の三次元モデルが生成され、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業者３０の位置及び姿勢並びに視線に応じて作業者３０によって仮想的に視認される作業対象物としての車両の三次元モデルに重ねて作業者の三次元モデルが表示される。

図４は、ヘッドマウントディスプレイ装置の表示画面の一例を示す図である。図４に示すように、ヘッドマウントディスプレイ装置４０の表示画面４１に、生産ラインの作業対象物として車両組立ライン１における車両２の三次元モデルが表示されると共に作業者１０の三次元モデルが表示される。

ヘッドマウントディスプレイ装置４０の表示画面４１には、現実の三次元空間２０における作業者３０の動作に合わせて作業者１０の三次元モデルが移動されて表示され、作業者３０の位置及び姿勢並びに視線に応じて作業者３０によって仮想的に視認される車両２の三次元モデルに重ねて作業者１０の三次元モデルが表示される。

図４に示す表示画面４１では、車両２の三次元モデルの前部が表示され、車両２のエンジンルーム３内に配置されるエンジン４やバッテリ５などが表示されている。図４ではまた、作業者１０の三次元モデルの右側手部１１を含む右側腕部１２が表示されている。

ヘッドマウントディスプレイ装置４０の表示画面４１にはまた、図４において斜線ハッチングで示すように、作業者１０の三次元モデルに、作業者１０の三次元モデルの所定部位としての右側手部１１から直線状に延びて右側手部１１と車両２の三次元モデルとの間を結んで右側手部１１と車両２との距離を可視化する距離可視化部６が表示される。

距離可視化部６は、作業者１０の三次元モデルの右側手部１１から、具体的には右側手部１１の中指部１３から直線状に円柱状に棒状に延びる棒状部材として表示される。距離可視化部６は、例えば作業者１０の三次元モデルの右側手部１１の中指部１３と略同径且つ作業者１０の三次元モデルの身長の二分の一の長さに形成される。

距離可視化部６は、作業者１０の三次元モデルの右側手部１１に固定され、現実の三次元空間２０において作業者３０が右側手部を移動させるときに作業者１０の三次元モデルの右側手部１１と共に移動される。距離可視化部６は、図４に示すように、車両２と干渉する場合、作業者１０の三次元モデルの右側手部１１から車両２の三次元モデルまで延びるように表示され、右側手部１１と車両２の三次元モデルとの間を結んで距離可視化部６の長さによって右側手部１１と車両２との距離を可視化する。

距離可視化部６は、車両２と干渉する場合、距離可視化部６の長さを短くして作業者１０の三次元モデルの右側手部１１から車両２の三次元モデルまで延びるように表示してもよく、あるいは距離可視化部６における車両２と干渉する部分より手前に車両２の三次元モデルを表示して作業者１０の三次元モデルの右側手部１１から車両２の三次元モデルまで延びるように表示してもよい。

図５は、ヘッドマウントディスプレイ装置の表示画面の別の一例を示す図である。図４に示す表示画面４１に表示される状態から、仮想の三次元空間において作業者１０の右側手部１１を車両２の三次元モデル側に移動させるように作業者３０が右側手部を前方へ移動させると、図５に示すように、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業者１０の三次元モデルの右側手部１１が車両２の三次元モデル側に移動されて表示される。

作業者１０の三次元モデルの右側手部１１が移動されて表示されるとき、右側手部１１の移動に伴って距離可視化部６も移動されて表示される。距離可視化部６は、車両２と干渉する場合、作業者１０の三次元モデルの右側手部１１から車両２の三次元モデルまで延びるように表示される。距離可視化部６は、右側手部１１と車両２との距離に応じた長さで表示され、図５に示す状態では図４に示す状態に比して短く表示される。

このように、本実施形態に係る映像処理装置では、ヘッドマウントディスプレイ装置４０の表示画面４１には、作業者３０の位置及び姿勢並びに視線に応じて作業者３０によって仮想的に視認される作業対象物２の三次元モデルに重ねて作業者１０の三次元モデルが表示され、作業者１０の三次元モデルに、作業者１０の三次元モデルの所定部位１１から直線状に延びる距離可視化部６が表示される。

図６は、映像処理装置の構成を示す図である。図６に示すように、本発明の第１実施形態に係る映像処理装置５０は、現実の三次元空間２０を撮像する複数のカメラ２２と、作業者３０に装着されるヘッドマウントディスプレイ装置４０と、カメラ２２などから入力される信号に基づいて、ヘッドマウントディスプレイ装置４０の表示画面４１などに表示させる映像を処理するコンピュータ５１とを備えている。

コンピュータ５１は、中央演算装置５２と、データなどを入力するキーボードなどの入力装置５３と、プログラムやデータを記録するメモリなどの記憶装置５４とを有すると共に、ＤＶＤなどの記録媒体を読み取る読取装置５５と、据置型ディスプレイ装置などの表示装置５６とを有している。

中央演算装置５２は、入力装置５３、記憶装置５４及び読取装置５５などにアクセス可能に構成され、カメラ２２から入力された情報と、記憶装置５４に記憶されているプログラムやデータを用いて、作業者の作業をシミュレーションするように構成されている。中央演算装置５２はまた、ヘッドマウントディスプレイ装置４０の表示画面や据置型ディスプレイ装置などの表示装置の表示画面に映像を表示させるように構成されている。

図７は、図６に示す映像処理装置の記憶装置の構成を示す図である。図７に示すように、記憶装置５４は、プログラム記憶部とデータ記憶部とを有している。プログラム記憶部には、ヘッドマウントディスプレイ装置４０の表示画面などに表示させる映像を処理する映像処理プログラム、作業対象物や作業者などの三次元モデルを生成するモデル生成プログラム、及び作業対象物や作業者などの三次元モデルなどを表示する表示プログラムなどが記憶されている。

データ記憶部には、現実の三次元空間２０における原点位置及びＸＹＺ座標系及び仮想の三次元空間における原点位置及びＸＹＺ座標系などの空間条件データ、作業対象物の三次元データである作業対象物データ、作業者の三次元データである作業者データ、カメラ２２によって撮像された画像データ、作業者の位置及び姿勢である作業者位置姿勢データ、作業者の視界である作業者視界データ、仮想の三次元空間における作業対象物の三次元モデルの作業対象物モデルデータ、及び仮想の三次元空間における作業者の三次元モデルの作業者モデルデータなどがファイルにそれぞれ記憶されている。

図８は、映像処理装置の動作を示すフローチャートである。図８は、映像処理装置５０の映像処理プログラムの動作を示している。映像処理装置５０では先ず、原点設定用具２３を用い、現実の三次元空間２０における原点位置Ｐ１及びＸＹＺ座標系が取得され、現実の三次元空間２０の原点位置Ｐ１及びＸＹＺ座標系に仮想の三次元空間の原点位置及びＸＹＺ座標系が位置合わせされ、現実の三次元空間２０の原点位置Ｐ１及びＸＹＺ座標系並びに仮想の三次元空間の原点位置及びＸＹＺ座標系が空間条件データとして記憶装置５４のデータ記憶部に記憶される。

映像処理装置５０ではまた、作業者３０が仮想作業を行う作業対象物の三次元形状である作業対象物の三次元データ及び作業者の三次元形状である作業者の三次元データが、入力装置５３や読取装置５５などを介して入力されてデータ記憶部に記憶される。

空間条件データ、作業対象物及び作業者の三次元データが記憶されると、映像処理装置５０では、図８に示すように、データ記憶部に記憶された作業対象物の三次元データが取得され（ステップＳ１）、データ記憶部に記憶された作業者の三次元データが取得される（ステップＳ２）。

次に、現実の三次元空間２０において仮想作業を行う作業者３０が複数のカメラ２２によって撮像された画像が取得されてデータ記憶部に記憶されると共に、複数のカメラ２２によって撮像された画像に基づいて、現実の三次元空間２０における作業者３０の位置及び姿勢が取得され（ステップＳ３）、現実の三次元空間２０における作業者３０の視線が取得される（ステップＳ４）。作業者３０の位置及び姿勢並びに視線は、作業者３０及びヘッドマウントディスプレイ装置４０に取り付けられたマーカ３１の位置から取得され、取得された作業者３０の位置及び姿勢並びに視線データはデータ記憶部に記憶される。

そして、モデル生成プログラムによって、空間条件データ及び作業対象物の三次元データに基づいて仮想の三次元空間における作業対象物２の三次元形状である三次元モデルが生成され（ステップＳ５）、空間条件データ及び作業者の三次元データ、並びに現実の三次元空間２０における作業者３０の位置及び姿勢に基づいて仮想の三次元空間における作業者１０の三次元形状である三次元モデルが生成される（ステップＳ６）。図１に示すように、仮想の三次元空間において作業対象物２及び作業者１０の三次元モデルが生成され、生成された作業対象物２及び作業者１０の三次元モデルデータはデータ記憶部に記憶される。

仮想の三次元空間における作業対象物２及び作業者１０の三次元モデルが生成されると、作業者３０に装着されたヘッドマウントディスプレイ装置４０の表示画面４１に、作業対象物２の三次元モデルを表示すると共に、作業者３０の位置及び姿勢並びに視線に応じて作業者３０によって仮想的に視認される作業対象物２の三次元モデルに重ねて作業者１０の三次元モデルを表示する表示制御を行う（ステップＳ７）。

図９は、映像処理装置の表示制御を示すフローチャートである。図９では、映像処理装置５０における表示プログラムの動作を示している。図９に示すように、表示プログラムによって、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業対象物２の三次元モデルを表示させ（ステップＳ１１）、作業者１０の三次元モデルを表示させる（ステップＳ１２）。

作業対象物２及び作業者１０の三次元モデルは、ステップＳ５及びＳ６によって生成された作業対象物２及び作業者１０の三次元モデルが作業者３０の位置及び姿勢並びに視線に応じて作業者３０によって仮想的に視認されるように表示される。図４及び図５に示すように、作業者３０によって仮想的に視認される作業対象物２及び作業者１０の三次元モデルが表示される。

次に、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業者１０の三次元モデルの手部１１から直線状に延びる距離可視化部６を青色などの所定表示色で表示させる（ステップＳ１３）。距離可視化部６は、予め設定された所定長さで円柱状に棒状に延びる棒状部材の三次元モデルとして、作業者３０によって仮想的に視認されるように表示され、作業者１０の三次元モデルの手部１１と共に移動するように表示される。

そして、距離可視化部６が作業対象物２と干渉するか否かが判定される（ステップＳ１４）。仮想の三次元空間において、作業者１０の三次元モデルの手部１１から延びる距離可視化部６が、作業対象物２の三次元モデルに干渉するか否かが判定される。

ステップＳ１４での判定結果がイエス（ＹＥＳ）である場合、距離可視化部６が作業対象物２と干渉すると判定され、作業者１０の三次元モデルの手部１１から作業対象物２の三次元モデルまで直線状に延びる距離可視化部６を表示させる（ステップＳ１５）。距離可視化部６は、作業者１０の三次元モデルの手部１１と車両２の三次元モデルとの間を結んで表示される。

一方、ステップＳ１４の判定結果がノー（ＮＯ）である場合、距離可視化部６が作業対象物２と干渉していないと判定され、作業者１０の三次元モデルの手部１１から直線状に、予め設定された所定長さで延びる距離可視化部６を表示させる。

このように、映像処理装置５０は、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業者３０の位置及び姿勢並びに視線に応じて作業者３０によって仮想的に視認される作業対象物２の三次元モデルに重ねて作業者１０の三次元モデルを表示させ、作業者１０の三次元モデルに、作業者１０の三次元モデルの所定部位１１から直線状に延びる距離可視化部６を表示させる。

距離可視化部６は、作業者１０の三次元モデルの所定部位１１の移動に伴って移動され、作業対象物２の三次元モデルと干渉する場合、作業者１０の三次元モデルの所定部位１１から作業対象物２の三次元モデルまで延びるように表示される。

映像処理装置５０はまた、表示プログラムによって、仮想の三次元空間における作業対象物２の三次元モデルと作業者１０の三次元モデルの全体を表示装置５６としての据置型ディスプレイ装置の表示画面に表示させるようになっている。これにより、据置型ディスプレイ装置の表示画面に表示された作業者１０の三次元モデルから、生産ラインにおける作業者の作業をシミュレーションして作業者３０の作業を評価することができる。

本実施形態では、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業者１０の三次元モデルの右側手部１１から延びる距離可視化部６が表示されているが、作業者１０の三次元モデルの左側手部から直線状に延びる距離可視化部を表示するようにしてもよい。

また、作業者３０及びヘッドマウントディスプレイ装置４０に取り付けられたマーカ３１をカメラ２２によって撮像する光学式のモーションキャプチャ装置を用いて作業者３０の位置及び姿勢並びに視線を取得しているが、機械式や磁気式のモーションキャプチャ装置を用いて作業者の位置及び姿勢並びに視線を取得することも可能である。

また、作業対象物としての車両２が静止した状態で作業者３０が仮想作業を行っているが、車両２が移動しながら作業者３０が仮想作業を行う場合についても同様に適用することができる。また、車両２に対して作業者３０が仮想作業を行っているが、他の作業についても同様に適用することができる。

このように、本実施形態では、作業者３０に装着されたヘッドマウントディスプレイ装置４０の表示画面４１に表示させる映像処理において、作業者３０の位置及び姿勢並びに視線が取得され、表示画面４１に、作業者３０の位置及び姿勢並びに視線に応じて作業者３０によって仮想的に視認される作業対象物２の三次元モデルに重ねて作業者１０の三次元モデルが表示される。そして、作業者１０の三次元モデルに、作業者１０の三次元モデルの所定部位１１から直線状に延びて前記所定部位１１と作業対象物２の三次元モデルとの間を結ぶ距離可視化部６が表示される。

これにより、作業者１０の三次元モデルの所定部位１１から直線状に延びる距離可視化部６は、作業者１０の所定部位１１と作業対象物２との距離が短くなるにつれて短く表示することができ、作業者１０の所定部位１１と作業対象物２との距離に応じた長さで表示することができる。したがって、作業者３０に装着されたヘッドマウントディスプレイ装置４０の表示画面４１に表示させる映像処理において、距離可視化部６の長さによって表示画面４１に表示される作業者１０の所定部位１１と作業対象物２との距離を作業者３０に直感的に認識させることができる。

作業者１０の所定部位１１と作業対象物２との距離を作業者３０に直感的に認識させることができるので、例えば車両組立ラインなどの生産ラインにおける作業者３０の作業をシミュレーションして作業者３０の作業負担を評価するときに、作業者３０が実際の作業対象物２に対して作業を行う場合と同様の作業をシミュレーションすることができ、作業者３０の作業負担を精度良く評価することができる。

また、作業者１０の三次元モデルの手部１１から直線状に延びる距離可視化部６が表示される。これにより、作業対象物２に対して作業者３０が手作業で行う作業をシミュレーションするときに、表示画面４１に表示される作業者１０の手部１１と作業対象物２との距離を作業者３０に直感的に認識させることができる。

また、直線状に棒状に延びる距離可視化部６が表示される。これにより、作業者１０の三次元モデルの所定部位１１から直線状に棒状に延びる距離可視化部６を用いて、比較的容易に作業者１０の所定部位１１と作業対象物２との距離を作業者３０に直感的に認識させることができる。

図１０は、第２実施形態に係る映像処理装置の表示制御を示すフローチャートである。第２実施形態に係る映像処理装置は、第１実施形態に係る映像処理装置と表示制御が異なること以外は同様であるので、第１実施形態に係る映像処理装置と異なる部分についてのみ説明する。

図１０に示すように、第２実施形態に係る映像処理装置についても、表示制御プログラムによって、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業対象物２の三次元モデルを表示させ（ステップＳ１１）、作業者１０の三次元モデルを表示させ（ステップＳ１２）、作業者１０の三次元モデルの手部１１から直線状に延びる距離可視化部６を青色の表示色で表示させる（ステップＳ１３）。距離可視化部６は、予め設定された所定長さで円柱状に棒状に延びる棒状部材の三次元モデルとして表示され、作業者１０の三次元モデルの手部１１と共に移動するように表示される。

そして、距離可視化部６が作業対象物２と干渉するか否かが判定される（ステップＳ１４）。仮想の三次元空間において、作業者１０の三次元モデルの手部１１から延びる距離可視化部６が、作業対象物２の三次元モデルに干渉するか否かが判定される。

ステップＳ１４での判定結果がイエスである場合、作業者１０の三次元モデルの手部１１と作業対象物２との距離が所定距離以下、例えば５ｃｍ以下であるか否かが判定される（ステップＳ２５）。作業者１０の三次元モデルの手部１１から作業対象物２まで直線状に延びる距離可視化部６の長さが、予め設定された所定長さより短い所定距離以下であるか否かが判定される。

ステップＳ２５での判定結果がイエスである場合、作業者１０の三次元モデルの手部１１から作業対象物２まで直線状に延びる距離可視化部６を青色とは異なる表示色である赤色で表示させ（ステップＳ２６）、ステップＳ２５での判定結果がノーである場合、作業者１０の三次元モデルの手部１１から作業対象物２まで直線状に延びる距離可視化部６を青色で表示させる（ステップＳ２７）。

一方、ステップＳ１４の判定結果がノーである場合、距離可視化部６が作業対象物２と干渉していないと判定され、作業者１０の三次元モデルの手部１１から直線状に、予め設定された所定長さで延びる距離可視化部６を青色で表示させる。

このように、本実施形態に係る映像処理装置についても、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業者３０の位置及び姿勢並びに視線に応じて作業者３０によって仮想的に視認される作業対象物２の三次元モデルに重ねて作業者１０の三次元モデルを表示させ、作業者１０の三次元モデルに、作業者１０の三次元モデルの所定部位１１から直線状に延びる距離可視化部６を表示させる。

距離可視化部６は、作業者１０の三次元モデルの所定部位１１の移動に伴って移動され、作業対象物２の三次元モデルと干渉する場合、作業者１０の三次元モデルの所定部位１１から作業対象物２の三次元モデルまで延びるように表示される。

本実施形態では、作業者１０の三次元モデルの所定部位１１から直線状に延びる距離可視化部６は青色で表示させ、所定部位１１と作業対象物２との距離が所定距離以下になると赤色で表示させ、所定部位１１と作業対象物２との距離に応じて距離可視化部６の表示色の変更を行うことにより距離可視化部６の表示形態を変更させる。

このように、本実施形態についても、作業者３０に装着されたヘッドマウントディスプレイ装置４０の表示画面４１に表示させる映像処理において、作業者１０の三次元モデルに、作業者１０の三次元モデルの所定部位１１から直線状に延びて前記所定部位１１と作業対象物２の三次元モデルとの間を結ぶ距離可視化部６が表示される。

これにより、作業者３０に装着されるヘッドマウントディスプレイ装置４０の表示画面４１に表示させる映像処理において、距離可視化部６の長さによって表示画面４１に表示される作業者１０の所定部位１１と作業対象物２との距離を作業者３０に直感的に認識させることができる。

また、作業者１０の所定部位１１と作業対象物２との距離に応じて距離可視化部６の表示形態が変更される。これにより、距離可視化部６の表示領域を変更することなく、距離可視化部６の表示形態によっても作業者１０の所定部位１１と作業対象物２との距離を作業者３０に認識させることができる。

また、作業者１０の所定部位１１と作業対象物２との距離に応じて距離可視化部６の表示色の変更を行うことにより距離可視化部６の表示形態が変更される。これにより、比較的容易に距離可視化部６の表示形態を変更することができる。

図１１は、映像処理装置の表示制御の変形例を説明するための説明図である。前述した実施形態に係る映像処理装置５０において、ヘッドマウントディスプレイ装置４０の表示画面４１に、作業者１０の三次元モデルに、作業者１０の三次元モデルの所定部位としての手部１１から直線状に延びる距離可視化部６を表示させるときに、図１１に示すように、作業者１０の三次元モデルの手部１１に設けられたペンチなどの保持部材１５から直線状に延びる距離可視化部１６を表示させるようにすることも可能である。

かかる場合においても、距離可視化部１６は、作業者１０の三次元モデルの手部１１が移動されるときに手部１１に固定された保持部材１５と共に移動されて表示される。距離可視化部１６はまた、作業対象物としての車両２と干渉する場合、作業者１０の三次元モデルの手部１１に設けられた保持部材１５から車両２の三次元モデルまで延びるように表示される。

このように、作業者１０の三次元モデルに、作業者１０の三次元モデルの所定部位１１に設けられた保持部材１５から直線状に延びる距離可視化部１６が表示されることにより、作業者３０に装着されたヘッドマウントディスプレイ装置４０の表示画面４１に表示させる映像処理において、距離可視化部１６の長さによって表示画面４１に表示される作業者１０の所定部位１１に設けられた保持部材１５と作業対象物との距離を作業者３０に直感的に認識させることができる。

前述した実施形態では、コンピュータ５１において、記憶装置５４に記録されている映像処理プログラムを用いてヘッドマウントディスプレイ装置４０の表示画面４１に表示させる映像を処理しているが、例えばＤＶＤなどの光ディスク媒体や磁気テープ媒体などの記録媒体に記録されている映像処理プログラムを用いて、読取装置５５を介して映像処理プログラムを読み取ることで、ヘッドマウントディスプレイ装置４０の表示画面４１に表示させる映像を処理することも可能である。

本発明は、例示された実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能である。

以上のように、本発明によれば、作業者に装着されたヘッドマウントディスプレイ装置の表示画面に表示される作業者の所定部位と作業対象物との距離を作業者に直感的に認識させることが可能となるから、複合現実を用い、ヘッドマウントディスプレイ装置の表示画面に作業対象物の三次元モデルと作業者の三次元モデルとを作業者の姿勢や視線に合わせて表示させて映像を処理する場合に好適に利用される可能性がある。

２ 作業対象物の三次元モデル
６，１６ 距離可視化部
１０ 作業者の三次元モデル
１１ 作業者の三次元モデルの手部
２２ カメラ
３０ 作業者
４０ ヘッドマウントディスプレイ装置
４１ 表示画面
５０ 映像処理装置
５１ コンピュータ

Claims (13)

1. 作業者の頭部に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像を処理する映像処理方法であって、
   前記作業者の位置及び姿勢を取得する作業者位置姿勢取得ステップと、
   前記作業者の視線を取得する作業者視線取得ステップと、
   前記表示画面に、前記作業者が組立作業又は締付作業における手作業の仮想作業を行う作業対象物の三次元モデルを表示すると共に、前記作業者位置姿勢取得ステップによって取得された前記作業者の位置及び姿勢、並びに前記作業者視線取得ステップによって取得された前記作業者の視線に応じて前記作業者によって仮想的に視認される前記作業対象物の三次元モデルに重ねて前記作業者の三次元モデルを表示する表示制御ステップとを有し、
   前記表示制御ステップでは、前記作業者の三次元モデルに、前記作業者の三次元モデルの所定部位から直線状に延び、前記所定部位と前記作業対象物の三次元モデルとの間を結んで前記所定部位と前記作業対象物との距離を可視化する距離可視化部を表示し、
   前記表示制御ステップでは、前記所定部位として前記作業者の三次元モデルの手部又は手部に設けられた保持部材から直線状に延びる前記距離可視化部を表示し、
   前記距離可視化部は、前記作業者の三次元モデルの手部又は手部に設けられた保持部材に固定された状態で、前記手部又は手部に設けられた保持部材の移動に伴って、前記手部又は手部に設けられた保持部材と共に移動するように表示され、
   前記表示制御ステップでは、同一表示画面内に、前記作業者の三次元モデルの手部又は手部に設けられた保持部材と、前記作業対象物の三次元モデルとを表示する、
   ことを特徴とする映像処理方法。
2. 前記表示制御ステップでは、直線状に棒状に延びる前記距離可視化部を表示する、
   ことを特徴とする請求項１に記載の映像処理方法。
3. 前記表示制御ステップでは、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示形態を変更する、
   ことを特徴とする請求項１又は請求項２に記載の映像処理方法。
4. 前記表示制御ステップでは、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示色の変更を行うことにより前記距離可視化部の表示形態を変更する、
   ことを特徴とする請求項３に記載の映像処理方法。
5. 作業者の頭部に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像を処理する映像処理装置であって、
   前記作業者の位置及び姿勢を取得する作業者位置姿勢取得手段と、
   前記作業者の視線を取得する作業者視線取得手段と、
   前記表示画面に、前記作業者が組立作業又は締付作業における手作業の仮想作業を行う作業対象物の三次元モデルを表示すると共に、前記作業者位置姿勢取得手段によって取得された前記作業者の位置及び姿勢、並びに前記作業者視線取得手段によって取得された前記作業者の視線に応じて前記作業者によって仮想的に視認される前記作業対象物の三次元モデルに重ねて前記作業者の三次元モデルを表示する表示制御手段とを有し、
   前記表示制御手段は、前記作業者の三次元モデルに、前記作業者の三次元モデルの所定部位から直線状に延び、前記所定部位と前記作業対象物の三次元モデルとの間を結んで前記所定部位と前記作業対象物との距離を可視化する距離可視化部を表示し、
   前記表示制御手段は、前記所定部位として前記作業者の三次元モデルの手部又は手部に設けられた保持部材から直線状に延びる前記距離可視化部を表示し、
   前記距離可視化部は、前記作業者の三次元モデルの手部又は手部に設けられた保持部材に固定された状態で、前記手部又は手部に設けられた保持部材の移動に伴って、前記手部又は手部に設けられた保持部材と共に移動するように表示され、
   前記表示制御手段は、同一表示画面内に、前記作業者の三次元モデルの手部又は手部に設けられた保持部材と、前記作業対象物の三次元モデルとを表示する、
   ことを特徴とする映像処理装置。
6. 前記表示制御手段は、直線状に棒状に延びる前記距離可視化部を表示する、
   ことを特徴とする請求項５に記載の映像処理装置。
7. 前記表示制御手段は、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示形態を変更する、
   ことを特徴とする請求項５又は請求項６に記載の映像処理装置。
8. 前記表示制御手段は、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示色の変更を行うことにより前記距離可視化部の表示形態を変更する、
   ことを特徴とする請求項７に記載の映像処理装置。
9. 作業者の頭部に装着されたヘッドマウントディスプレイ装置の表示画面に表示させる映像を処理する映像処理プログラムであって、
   コンピュータを、
   前記作業者の位置及び姿勢を取得する作業者位置姿勢取得手段、
   前記作業者の視線を取得する作業者視線取得手段、及び、
   前記表示画面に、前記作業者が組立作業又は締付作業における手作業の仮想作業を行う作業対象物の三次元モデルを表示すると共に、前記作業者位置姿勢取得手段によって取得された前記作業者の位置及び姿勢、並びに前記作業者視線取得手段によって取得された前記作業者の視線に応じて前記作業者によって仮想的に視認される前記作業対象物の三次元モデルに重ねて前記作業者の三次元モデルを表示する表示制御手段として機能させ、
   前記表示制御手段として機能させるときは、前記作業者の三次元モデルに、前記作業者の三次元モデルの所定部位から直線状に延び、前記所定部位と前記作業対象物の三次元モデルとの間を結んで前記所定部位と前記作業対象物との距離を可視化する距離可視化部を表示するように機能させ、
   前記表示制御手段として機能させるときは、前記所定部位として前記作業者の三次元モデルの手部又は手部に設けられた保持部材から直線状に延びる前記距離可視化部を表示し、前記距離可視化部は、前記作業者の三次元モデルの手部又は手部に設けられた保持部材に固定された状態で、前記手部又は手部に設けられた保持部材の移動に伴って、前記手部又は手部に設けられた保持部材と共に移動するように表示されるように機能させ、
   前記表示制御手段として機能させるときは、同一表示画面内に、前記作業者の三次元モデルの手部又は手部に設けられた保持部材と、前記作業対象物の三次元モデルとを表示するように機能させる、
   ことを特徴とする映像処理プログラム。
10. コンピュータを、前記表示制御手段として機能させるときは、直線状に棒状に延びる前記距離可視化部を表示するように機能させる、
    ことを特徴とする請求項９に記載の映像処理プログラム。
11. コンピュータを、前記表示制御手段として機能させるときは、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示形態を変更するように機能させる、
    ことを特徴とする請求項９又は請求項１０に記載の映像処理プログラム。
12. コンピュータを、前記表示制御手段として機能させるときは、前記所定部位と前記作業対象物との距離に応じて前記距離可視化部の表示色の変更を行うことにより前記距離可視化部の表示形態を変更するように機能させる、
    ことを特徴とする請求項１１に記載の映像処理プログラム。
13. 請求項９から請求項１２の何れか１項に記載の映像処理プログラムが記録されている、
    ことを特徴とする記録媒体。

Images