JP5895792B2 - 作業補助システムおよびプログラム - Google Patents

Description

本発明は、作業者の頭部に装着される表示装置に作業の指示を表示する作業補助システムおよびプログラムに関する。

従来、使用者の頭部に装着され、外界の風景に重ねて画像を表示するヘッドマウントディスプレイが知られている。例えば、特許文献１に記載の頭部装着型ディスプレイは、光信号受信部を備える。光信号受信部は、対象物ごとに配置された光信号送信部から対象物に関する情報を受信することができる。頭部装着型ディスプレイは、受信した情報に基づく画像を対象物の外界像にオーバーラップさせて表示する。

特開平７−６７０５６号公報

しかしながら、特許文献１では、作業者の顔面が対象物に対向したときに所望の情報を受信できるように、少なくとも光信号受信部および光信号送信部の一方の指向性が調整されている。このため、作業者が指向性の範囲外から対象物を見た場合、光信号受信部は対象物に関する情報を受信することができない。作業者が作業を行う作業対象物を対象物とし、作業対象物に対して行う作業の情報を得る場合、作業者は、指向性の範囲内に移動しなければ作業の情報を得ることができず、作業の情報が得にくいという問題があった。また、作業対象物や、作業対象物に対する作業範囲を認識するのも容易でなかった。

本発明は、上記の問題点を解決するためになされたものであり、作業対象物に対する作業者の方位に応じた作業情報に基づく画像を表示装置に表示することができる作業補助システムおよびプログラムを提供することを目的とする。

本発明の実施態様によれば、作業者の頭部に装着可能に構成され、画像を表示可能な表示装置と、前記作業者の視野に合わせて撮影方向および画角が設定された撮影装置と、前記撮影装置が撮影した撮影画像から、作業対象である作業対象物における所定の部位の画像である所定画像を、前記作業対象物に対する前記作業者の方位を特定する特定情報として取得する第一取得手段と、前記特定情報に基づいて、前記作業対象物に対する前記作業者の現在の方位を決定する決定手段と、前記作業対象物に対して行う作業の対象部位が複数あって、それぞれの対象部位を示す画像を、当該対象部位に対する前記作業者の方位を示す方位情報とともに含む作業情報を取得する第二取得手段と、前記作業対象物に対する方位が前記作業者の現在の方位と一致する前記作業情報に基づく画像を前記表示装置に表示して前記対象部位を示す表示手段と、を備えた作業補助システムが提供される。

本実施態様では、作業者の方位に合わせた作業情報に基づく画像を表示して作業対象物の対象部位を示すことができる。対象部位を示す画像も作業者の方位に応じた画像となるので、作業中に作業者が移動しても、対象部位を容易に把握することができる。また、作業者の方位を撮影画像に基づき決定することができるので、加速度センサや方位センサ（地磁気センサ）などの位置情報を取得するためのセンサを必要としない。

ＨＭＤ１の外観を示す斜視図である。 ＨＭＤ１の電気的構成を示すブロック図である。 作業補助プログラムを示すフローチャートである。 車両４１０を正面から撮影した撮影画像４００の例を示す図である。 正面から見た場合における車両の相似体４６０を仮想画面４５０に仮想的に表示した作業用画像の例を示す図である。 正面から見た車両４１０の実像に重ねて相似体４６０が表示される様子を示す図である。 車両４１０を左斜め前方から撮影した撮影画像５００の例を示す図である。 左斜め前方から見た場合における車両の相似体４６０を仮想画面４５０に仮想的に表示した作業用画像の例を示す図である。 左斜め前方から見た車両４１０の実像に重ねて相似体４６０が表示される様子を示す図である。

以下、本発明を具体化した一実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。図示された装置の構成等は、その形態のみに限定する趣旨ではなく、単なる説明例である。

本発明に係る作業補助システムは、ヘッドマウントディスプレイ１（以下、「ＨＭＤ１」という。図１参照）と、ＨＭＤ１に作業に関する情報を送信するパーソナルコンピュータ３００（以下、「ＰＣ３００」という。図２参照）とから構成されるシステムである。ＨＭＤ１は、作業者の眼の前方に配置されるハーフミラー８（後述）を透過する外界の風景に重ねて画像を表示する。ＨＭＤ１は公知の無線通信を用いてＰＣ３００に接続し、ＰＣ３００との間で画像データを含む各種データの送受信を行う。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方および左斜め下方が、それぞれ、ＨＭＤ１の上方、下方、前方、後方、右方および左方である。

図１に示すように、ＨＭＤ１は、投影装置１００および制御装置２００を備える。投影装置１００は専用の装着具である眼鏡９１に装着して使用される。投影装置１００は、作業者が日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。投影装置１００は、作業者の眼に画像光を照射する。投影装置１００はハーネス１５０を介して制御装置２００と着脱可能に接続する。制御装置２００は、例えば作業者の腰ベルト等に装着して使用される。制御装置２００は、投影装置１００を制御する。

投影装置１００の構成について説明する。投影装置１００は筐体２を備える。筐体２の内部には、図示しないが、例えば画像表示部３６（図２参照）と接眼光学系とが含まれる。画像表示部３６は、制御装置２００からハーネス１５０を介して送信される映像信号に基づいて画像を表示する。画像表示部３６は、例えば、液晶素子等の空間変調素子および光源である。画像表示部３６は、二次元光スキャナおよび光源からなる網膜走査型表示部や、有機ＥＬ（Organic Electro-luminescence）素子等であってもよい。接眼光学系は、画像表示部３６に表示された画像を示す画像光を、作業者の眼に導くために集光する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー８によって少なくとも一部（例えば半分）が反射され、作業者の左の眼球（図示略）に入射する。ハーフミラー８は外界の実像からの光の少なくとも一部を透過するので、作業者は、自己の視野において実像（外界の風景）に重畳して画像を視認できる。

眼鏡９１は、投影装置１００を作業者の頭部に保持するための構成である。投影装置１００は、支持部９６によって、眼鏡９１に取り付けられる。支持部９６は作業者側から見て眼鏡９１の上面左端側（図１における上面右端）に設けられる。支持部９６には調整棒９８が、左右方向にスライド可能な状態で組み付けられる。調整棒９８は上下方向に延び、上端に三角形状の突起部９７を有する。調整棒９８は、支持部９６の上面側に突起部９７を露出させた状態で、支持部９６から下方へ向けて突出する。筐体２は眼鏡９１と向き合う部分（背面側）に取付部４９を有する。取付部４９は調整棒９８に取り付けられる。筐体２は、調整棒９８に沿って上下方向に位置移動可能である。また、突起部９７を左右にスライドすることで、筐体２は調整棒９８ごと支持部９６に対して左右方向に位置移動可能である。作業者は、眼球の位置に合わせた位置にハーフミラー８を配置することができる。

眼鏡９１は、フレーム９４の左右方向略中央に、カメラ３９を備える。カメラ３９は、作業者の視野前方の外界の風景の画像を撮像する。カメラ３９の撮影方向および画角は、予め、作業者の視野に合わせて設定されている。より詳細には、カメラ３９の撮影方向および画角は、カメラ３９による外界の風景の撮影範囲が、ハーフミラー８を透過する実像に重ねることのできる画像表示部３６からの画像光の表示範囲とほぼ一致するように設定されている。また、眼鏡９１は、フレーム９４の右端側に、骨伝導イヤホンおよびマイクを内蔵するヘッドセット３５を備える。なお、眼鏡９１自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。

制御装置２００の構成について説明する。制御装置２００は、例えば略直方体状のシステムボックスである。制御装置２００は電源ランプ５２を内蔵する電源スイッチ５１を含む操作部５０を備える。作業者は、電源スイッチ５１を操作し、ＨＭＤ１の電源をオンまたはオフにすることができる。また、作業者は、投影装置１００における各種設定や、使用時における各種操作等を、操作部５０を介して行うことが可能である。制御装置２００は、無線通信を介してＰＣ３００と接続し、各種データの送受信を行うことが可能である。制御装置２００は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク２５０に接続してもよいし、あるいは直接ＰＣ３００に接続してもよい。なお、後述するＰＣ３００は、パーソナルコンピュータであるが、スマートフォンやネットワーク対応型ストレージなど、その他の機器であってもよい。

図２を参照し、ＨＭＤ１の電気的構成について説明する。投影装置１００は、投影装置１００全体の制御を司るＣＰＵ２１を備える。ＣＰＵ２１は、プログラムＲＯＭ２３、ＲＡＭ２５、画像表示部３６、インターフェイス１２、接続コントローラ３７と電気的に接続する。また、ＣＰＵ２１は、インターフェイス１２を介してカメラ３９およびヘッドセット３５と電気的に接続する。プログラムＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶する。各種プログラムは、投影装置１００の出荷時にプログラムＲＯＭ２３に記憶される。なおＣＰＵ２１は、後述する制御装置２００のフラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。ＲＡＭ２５は、各種データを一時的に記憶する。

画像表示部３６は前述の通り、映像信号に基づいて画像を表示する。以下、画像表示部３６に表示させる画像を「表示画像」という。インターフェイス１２はカメラ３９およびヘッドセット３５に接続し、信号の入出力を制御する。接続コントローラ３７は、ハーネス１５０を介して制御装置２００の接続コントローラ４８に接続し、有線通信を行う。カメラ３９は、静止画像または動画像（以下、「撮影画像」という。）を撮影する。ヘッドセット３５は骨電動イヤホンおよびマイクを備える。なお、投影装置１００または制御装置２００がスピーカおよびマイクを内蔵してもよい。

制御装置２００の電気的構成について説明する。制御装置２００は、制御装置２００全体の制御を司るＣＰＵ４１を備える。ＣＰＵ４１は、プログラムＲＯＭ４３、ＲＡＭ４５、フラッシュＲＯＭ４７、接続コントローラ４８、ビデオＲＡＭ５７、画像処理部５９、インターフェイス５５、および無線通信部５３と電気的に接続する。プログラムＲＯＭ４３は、ＣＰＵ４１が実行する各種プログラム等を記憶する。各種プログラムは、制御装置２００の出荷時にプログラムＲＯＭ４３に記憶される。なおＣＰＵ４１は、フラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。

ＲＡＭ４５は、各種データを一時的に記憶する。フラッシュＲＯＭ４７は、制御装置２００の出荷後にインストールされた各種プログラムや、後述する作業補助プログラムにおいて使用する各種データ（後述するサンプル画像、作業対象物を特定するためのデータベース等）を記憶する。また、フラッシュＲＯＭ４７は、後述するＰＣ３００から作業情報（後述）を取得した場合に、その作業情報を記憶する。接続コントローラ４８は、ハーネス１５０を介して投影装置１００の接続コントローラ３７に接続し、有線通信を行う。無線通信部５３は、ネットワーク２５０のアクセスポイント（図示略）へ無線で接続し、ネットワーク２５０に接続する他の機器と通信を行う。無線通信部５３はネットワーク２５０を介さずに、直接ＰＣ３００と無線による接続を行ってもよい。インターフェイス５５は電源スイッチ５１および電源ランプ５２を含む操作部５０に接続し、作業者による操作の入力信号やランプの点灯信号等の入出力を行う。画像処理部５９は、投影装置１００の画像表示部３６に表示させる表示画像を形成する処理を行う。ビデオＲＡＭ５７は、画像処理部５９が形成した表示画像を画像表示部３６に表示するための映像信号を生成するため、表示画像を仮想的に表示した仮想画面を記憶領域内に形成する。

ＰＣ３００は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を搭載した公知のパーソナルコンピュータである。本実施形態において、ＰＣ３００は、作業対象物に対して行う作業の手順に関する手順情報（後述）を、複数の作業対象物について保持し、データベースとしてハードディスクドライブ（ＨＤＤ）３５０に蓄積（記憶）する。ＰＣ３００は、制御装置２００のＣＰＵ４１からの要求に応じ、ネットワーク２５０を介して作業情報を提供するサーバとして機能する。また、図示しないが、ＰＣ３００はネットワーク２５０に接続するための通信部を有する。

図３〜図９を参照し、ＨＭＤ１の制御装置２００のＣＰＵ４１が実行する作業補助プログラムの各処理について説明する。まず、作業補助プログラムの実行に伴いＣＰＵ４１が行う各種処理の内容について説明する。後述する作業補助プログラムの実行に伴う処理において、ＣＰＵ４１は、カメラ３９で撮影した撮影画像の解析を行う。ＣＰＵ４１は、撮影画像を解析し、撮影画像に写る作業対象物において特徴量を有する部位の画像である「特徴画像」の検出を行う。

「特徴量を有する部位」とは、例えば、作業対象物が車両の場合、エンブレムや車名のロゴマーク、テールランプなど他の車両とは異なる固有の形状を有する部位、全体の形状、特徴的な塗装などである。すなわち、対象となる車両の撮影画像を解析した場合に、当該車両の車種や、撮影画像に写る当該車両の側面がどの側面であるか、などを特定することができる部位である。以下、特徴量を有する部位を「特徴部位」とよぶ。予め作業対象物にマーカー等の目印を設け、特徴部位としてもよい。

画像解析の詳細については公知であるため説明を省略するが、例えば、輪郭線の検出、特徴部位のサンプル画像とのマッチング、配色パターンの検出など、公知の様々な方法を用いて特徴部位を検出することが可能である。本実施形態では、ＣＰＵ４１は、サンプル画像とのマッチングにより、撮影画像において特徴部位の画像である特徴画像の検出を行うものとする。「サンプル画像」は、作業対象物の特徴部位として検出する対象となる部位を予め撮影もしくは描画した画像である。サンプル画像は、作業対象物の特徴部位を確認できる側面に対して直交する向きに作業対象物から所定距離離れた位置で、当該特徴部位を見た場合に得られる画像である。サンプル画像は作業対象物の種類ごとに複数用意され、予めフラッシュＲＯＭ４７に記憶されている。また、各作業対象物と、各作業対象物が有する特徴部位との対応付けがなされたテーブル（以下、「対象物特定テーブル」という。）も作成され、予めフラッシュＲＯＭ４７に記憶されている。

ＣＰＵ４１は、サンプル画像の回転、拡大縮小、変形等を行いつつ、撮影画像内でサンプル画像に類似する部位を検索する。ＣＰＵ４１は、類似する部位すなわち特徴部位が見つかると、当該特徴部位の画像である特徴画像を、方位を示す特徴情報としてＲＡＭ４５に記憶する。「特徴情報」とは、特徴画像が撮影画像内において表す情報であり、例えば、撮影画像内における特徴画像の位置（座標）、サンプル画像に対する特徴画像の回転角度、拡大・縮小率、変形率などである。また、特徴情報は、検索された特徴画像と検索元のサンプル画像との対応付けの情報も含む。

また、ＣＰＵ４１は、作業補助プログラムの処理において、撮影画像に写る作業対象物の特定を行う。その際にＣＰＵ４１は、上記の対象物特定テーブルを参照する。対象物特定テーブルには、さらに、基準となる複数の向き（例えば六面（平面、底面、正面、背面および左右側面））から作業対象物を見た場合に、各面において確認することができる特徴部位の位置関係や大きさ、向きなどの情報が、各作業対象物に対応付けられている。上記したように、特徴情報は、撮影画像内における特徴画像の位置（座標）、サンプル画像に対する特徴画像の回転角度、拡大・縮小率、変形率などを含む。したがってＣＰＵ４１は、撮影画像内における特徴画像の位置に基づいて、検出した特徴画像に写る特徴部位を確認することができる作業対象物の側面を特定することができる。さらにＣＰＵ４１は、サンプル画像に対する特徴画像の回転角度、拡大縮小率、変形率などに基づいて、特定した作業対象物の側面に対し、どの向きから当該側面に向き合う状態であるかを特定することができる。よってＣＰＵ４１は、撮影画像が作業対象物に対してどの向き（方位）から撮影されたかを特定することができる。

また、ＣＰＵ４１は、作業補助プログラムの処理において、特定した作業対象物に対応する作業情報を取得する。「作業情報」は、作業対象物に複数ある対象部位のそれぞれを、作業対象物の形状と相似な形状を有する物体（以下、作業対象物の「相似体」ともいう。）において示すことのできる画像を描画可能な情報である。具体的に、作業情報は、例えばＣＡＤ（Computer Aided Design）に基づく形式のデータである。ＣＡＤ形式のデータを用いることによって、ＣＰＵ４１は、作業情報に基づいて、作業対象物の対象部位を相似体において示す画像を容易に描画することができる。また、作業情報は、対象部位に対する作業者の方位を示す方位情報を含む。ゆえに、作業情報は、方位情報に基づき、作業者が作業対象物の対象部位に向き合った状態における相似体の画像を描画することができる。

なお、作業情報は、作業対象物の有する複数の対象部位について、それぞれを示す画像を、予め撮影あるいは予め描画し、それらの画像（対象部位を示す画像も含む）を一まとめにした画像集合体の情報として作成してもよい。この場合の画像の撮影方位あるいは描画方位は、方位情報として、各対象部位の画像を示す作業情報に含められる。また、作業情報には、作業対象物に対する作業の対象部位についての情報（対象部位の総数や、１つの対象部位を示す画像に他の対象部位も含まれる場合、その画像において対象とする対象部位を示す情報など）が含まれている。

また、ＣＰＵ４１は、作業補助プログラムの処理において、作業対象物と作業者との間の距離の検出を行う。サンプル画像は、上記の通り、作業対象物から所定距離離れた位置で特徴部位を捉えた画像である。すなわち、特徴画像における特徴部位の大きさが、サンプル画像における特徴部位の大きさよりも小さければ、ＣＰＵ４１は、作業者が作業対象物に対して所定距離よりも離れた位置にいると判断することができる。同様に、特徴画像における特徴部位の大きさが、サンプル画像における特徴部位の大きさよりも大きければ、ＣＰＵ４１は、作業者が作業対象物に対して所定距離よりも近い位置にいると判断することができる。より具体的に、ＣＰＵ４１は、サンプル画像における特徴部位の大きさを基準に、特徴画像における特徴部位の大きさの拡大縮小率を求めることで、作業者と作業対象物との間の距離を求めることが可能である。なお、作業対象物の一つの側面における特徴部位が複数ある場合、特徴部位同士の配置位置の関係を予め求めておく。ＣＰＵ４１は、撮影画像の解析によって求められた特徴部位の配置位置の関係と比較し、例えば特徴部位相互の距離の拡大縮小率を求めることによっても、作業者と作業対象物との間の距離を求めることが可能である。

作業補助プログラムの実行に伴いＣＰＵ４１が行う各種処理の動作について説明する。作業者がＨＭＤ１の電源スイッチ５１をオンに操作すると、ＣＰＵ４１は、図３に示す、プログラムＲＯＭ４３に記憶された作業補助プログラムを実行する。作業補助プログラムの実行開始時の初期設定において、ＣＰＵ４１はＲＡＭ４５に記憶するフラグやデータを初期化し、無線通信部５３を稼働させ、ネットワーク２５０に無線通信で接続する（Ｓ９）。ＣＰＵ４１は予めネットワーク２５０において公開されるＰＣ３００との接続を試みて、予め設定されているＩＤおよびパスワードでログイン可能であるか確認する。

投影装置１００のカメラ３９は外界の風景を常時撮影しており、ＣＰＵ２１は撮影画像をＲＡＭ２５に上書きしながら記憶する。ＣＰＵ４１はＣＰＵ２１に指示信号を出力し、最新の撮影画像をＲＡＭ２５から取得して、ＲＡＭ４５に記憶する（Ｓ１１）。ＣＰＵ４１は、取得した撮影画像において、上記のようにサンプル画像とのマッチングを行い、特徴部位を検索して特徴画像を検出する（Ｓ１３）。ＣＰＵ４１は、検出した特徴画像を、方位を示す特徴情報としてＲＡＭ４５に記憶する。

特徴画像を検出したら、ＣＰＵ４１は、撮影画像と特徴情報に基づいて、撮影画像に写る作業対象物を特定する（Ｓ１５）。ＣＰＵ４１は、特徴画像として検出した特徴部位を有する作業対象物をフラッシュＲＯＭ４７に記憶する対象物特定テーブルから検索する。ＣＰＵ４１は、撮影画像に写る作業対象物を特定したら、特定結果をＲＡＭ４５に記憶する。

ＣＰＵ４１は、撮影画像と特徴情報に基づいて、撮影画像に写る作業対象物に対し、現在、どの方位から作業者が向いているかを決定する（Ｓ１７）。ＣＰＵ４１は、Ｓ１７で、作業者が作業対象物に正面から向き合う場合を方位の基準とし、作業者が撮影画像を撮影したときにおける作業対象物に対する作業者の方位（現在の方位）を決定する。

ＣＰＵ４１は、ネットワーク２５０を介してＰＣ３００に接続し、Ｓ１５で特定した作業対象物に応じた作業情報を要求し、当該作業情報をＰＣ３００から取得してフラッシュＲＯＭ４７に記憶する（Ｓ１９）。また、ＣＰＵ４１は、作業情報に含まれる対象部位についての情報を、ＲＡＭ４５に記憶する。フラッシュＲＯＭ４７に対象部位についての情報がすでに記憶されている場合、すなわちＳ１９の処理の初回実行時でない場合、ＣＰＵ４１は対象部位についての情報を上書きしない。Ｓ１５で作業対象物を特定したことによって、ＣＰＵ４１は、作業対象物に応じた作業情報を取得することができる。よって作業者が予め作業対象物に応じた作業情報を用意する手間を省くことができる。

ＣＰＵ４１は、取得した作業情報に基づき表示可能な複数の画像のうち、Ｓ１７で決定した作業者の現在の方位に対応する画像を検索する（Ｓ２１）。作業情報に基づく画像に、作業者の現在の方位に対応する画像が含まれない場合、ＣＰＵ４１は、撮影画像内に対象部位はないと判断し（Ｓ２１：ＮＯ）、Ｓ２９に進む。ＣＰＵ４１は、作業者の現在の方位から見た作業対象物には対象部位がない（見えない）旨のメッセージを作業者に伝えるための処理を行う。ＣＰＵ４１は、画像処理部５９において、投影装置１００の画像表示部３６に表示するメッセージを示す表示画像を形成する。画像処理部５９で形成した表示画像はビデオＲＡＭ５７に仮想画面として形成され、ＣＰＵ４１は仮想画面に基づく映像信号を生成し、投影装置１００に映像信号を出力する。投影装置１００の画像表示部３６は映像信号に基づく表示画像を表示する（Ｓ２９）。作業者は、ハーフミラー８を介して眼球に入射される表示画像に示されるメッセージを視認する。

ＣＰＵ４１はＳ４１に進み、ＲＡＭ４５に記憶する対象部位の総数が１以上であれば、作業対象物に、まだ完了していない作業があると判断し（Ｓ４１：ＹＥＳ）、Ｓ１１に戻る。ＣＰＵ４１はＳ１１〜Ｓ１７の処理を行い、最新の撮影画像を解析し、撮影画像に写る作業対象物を特定し、作業者の現在の方位を決定する。新たに特定した作業対象物が前回特定した作業対象物と同じ場合、ＣＰＵ４１は、Ｓ１９において、同一の作業情報がすでにフラッシュＲＯＭ４７に記憶されているので上書きしない。

ここで、作業者が作業中に作業対象物に対する位置を移動したことにより、作業情報に基づく画像に、作業者の現在の方位に対応する画像が含まれるようになったとする。図４に、車両４１０にバンパーを取り付ける作業を行う場合に、車両４１０の正面からカメラ３９で車両４１０を撮影した撮影画像４００の例を示す。撮影画像４００にはバンパーの取り付け部位４２０が対象部位として写る。図３に示すように、Ｓ２１において、ＣＰＵ４１は、撮影画像内に対象部位があると判断し（Ｓ２１：ＹＥＳ）、Ｓ２３に進む。ＣＰＵ４１は、撮影画像を解析し、例えば作業対象物の輪郭線の検出などを行うことで、撮影画像内における作業対象物の位置（座標）を特定する（Ｓ２３）。ＣＰＵ４１は、撮影画像と特徴情報に基づいて、作業対象物と作業者との間の相対的な距離を検出する（Ｓ２５）。上記したように、ＣＰＵ４１は、サンプル画像における特徴部位の大きさを基準に、特徴画像における特徴部位の大きさの拡大縮小率を、作業対象物と作業者との間の相対的な距離として求める。

ＣＰＵ４１は、画像処理部５９において、作業者の現在の方位に合わせた作業情報に基づく作業対象物の相似体の画像を作業用画像として形成する。ＣＰＵ４１は、作業用画像に対してＳ２５で求めた距離（拡大縮小率）を適用し、作業用画像の大きさを撮影画像に写る作業対象物の大きさに調整する。さらにＣＰＵ４１は、大きさを調整した作業用画像を、Ｓ２３で特定した撮影画像内における作業対象物の位置に対応する表示画面内の位置に配置して、ビデオＲＡＭ５７に仮想画面を形成する。図５に、作業情報として取得したＣＡＤ形式のデータに基づき、車両４１０（図４参照）を正面から見た場合においてワイヤーフレームで表した相似体４６０を、ビデオＲＡＭ５７（図２参照）の仮想画面４５０に仮想的に表示した作業用画像の例を示す。作業用画像には、相似体４６０の対象部位に、バンパー４７０が描画され、相似体４６０に重ねて表示される。

図３に示すように、ＣＰＵ４１は、形成した仮想画面に基づく映像信号を投影装置１００に出力し、画像表示部３６に作業用画像を表示させる（Ｓ２７）。作業者は、ハーフミラー８を透過して視認する作業対象物の実像に、位置および大きさが調整された作業対象物の相似体の画像を重ねた状態で視認することができる。図６に、画像表示部３６に表示された相似体４６０が、ハーフミラー８を透過する車両４１０の実像に重ねて表示される様子を示す。車両４１０の実像には対象部位（バンパーの取り付け部位４２０，図４参照）にバンパー４７０の画像が重ねて表示される。作業者は、対象部位を確認し、作業を行うことができる。なお、対象部位を示す画像は、対象部位に対する作業が完了した形態を示す画像である。すなわち、ＣＰＵ４１は、単にバンパー４７０の画像を表示するのではなく、バンパーの取り付け部位４２０にバンパー４７０を組み付けた状態を示す画像を車両４１０の実像に重ねて表示する。作業用画像を距離に応じて拡大縮小することで、作業者は、作業対象物の実像と同じ大きさの作業用画像を見ながら作業を行うことができ、完成状態をイメージしやすく、作業を効率よく行うことができる。また、撮影画像内における作業対象物の位置に合わせて作業用画像を表示することで、作業者は、作業対象物の実像に重ねて作業用画像を見ることができ、完成状態をイメージしやすく、作業を効率よく行うことができる。

図３に示すように、ＣＰＵ４１は、作業者が作業中に作業対象物に対する位置を移動し、作業対象物に対する現在の方位が変更されたか否か、上記のＳ１１〜Ｓ１７と同様の処理を行うことによって、確認する（Ｓ３１）。図７に、新たに撮影された撮影画像５００に写る車両４１０の例を示す。作業者が移動したことにより、撮影画像５００における車両４１０は、車両４１０の左斜め前方から撮影された状態で写る。車両４１０におけるバンパーの取り付け部位４２０は撮影画像５００にも写っているが、正面から見た場合（図４参照）とは異なり、左側面側の部位４３０も撮影画像５００に写る。

図３に示すように、作業者の位置に変更があった場合（Ｓ３１：ＹＥＳ）、ＣＰＵ４１は、作業対象物に対する作業者の現在の方位と、作業者の位置の変更前における方位との差分を求め、作業対象物に対する作業者の移動角度を算出する（Ｓ３３）。ＣＰＵ４１は、求めた移動角度分、方位をずらし、作業情報に基づく作業対象物の相似体の作業用画像を形成する。図８に、作業情報に基づき、車両４１０を左斜め前方から見た場合においてワイヤーフレームで表した相似体４８０を仮想画面４５０に仮想的に表示した作業用画像の例を示す。作業用画像には、相似体４６０の対象部位に、左斜め前方から見た場合のバンパー４７０が描画され、相似体４６０に重ねて表示される。

図３に示すように、ＣＰＵ４１は、上記Ｓ２７と同様に、画像表示部３６に作業用画像を表示させ（Ｓ３５）、Ｓ３１に戻る。図９に画像表示部３６に表示された相似体４６０が、ハーフミラー８を透過する車両４１０の実像に重ねて表示される様子を示す。作業者が左斜め前方から見た車両４１０の実像に、左斜め前方から見たバンパー４７０の画像が重ねて表示される。作業者は、対象部位を確認し、作業を行うことができる。

図３に示すように、Ｓ３１において、作業者の位置に変更がなければ（Ｓ３１：ＮＯ）、ＣＰＵ４１は、対象部位に対する作業が完了したか否かについて確認する（Ｓ３７）。具体的には、ＣＰＵ４１は、Ｓ３１の判断の際に撮影された撮影画像において、対象部位の画像に対する画像解析を行う。画像解析は、前述の特徴部位の検出と同様に、対象部位の完成形の画像とのマッチングにより行う。ＣＰＵ４１は、対象部位に対する作業が完了してないと判断した場合（Ｓ３７：ＮＯ）、Ｓ３１に戻る。

Ｓ３７において、対象部位に対する作業が完了したと判断した場合（Ｓ３７：ＹＥＳ）、ＣＰＵ４１は、対象部位に対する作業が完了した旨のメッセージを作業者に伝えるための処理を行う。ＣＰＵ４１は、画像処理部５９において、投影装置１００の画像表示部３６に表示するメッセージを示す表示画像を形成する。ＣＰＵ４１は、メッセージの表示画像に基づく映像信号を投影装置１００に出力し、画像表示部３６にメッセージの表示画像を表示させる。さらにＣＰＵ４１は、対象部位の画像を点滅表示する映像信号を出力し、画像表示部３６に点滅した対象部位の画像を表示させる（Ｓ３９）。ＣＰＵ４１は、ＲＡＭ４５に記憶する対象部位の情報のうち、Ｓ３７で作業が完了したと判断した対象部位について作業完了を表すフラグを記憶し、対象部位の総数を１減らす。ＣＰＵ４１が作業完了のメッセージを表示することによって、現在の対象部位における作業が完了したことを知ることができ、直ちに次の対象部位に対する作業に移ることができるので、効率よく作業を行うことができる。また、対象部位の画像を点滅表示させて作業完了を報知することによって、作業者は、現在の対象部位における作業が完了したことを、より確実に認知することができ、直ちに次の対象部位に対する作業に移り、さらに効率よく作業を行うことができる。また、対象部位における作業が完了していないうちは、対象部位に、作業が完了した状態の相似体が表示されるので、完成状態を見ながら作業を行うことができる。

ＣＰＵ４１はＳ４１に進み、対象部位の総数が１以上であればＳ１１に戻る。ＣＰＵ４１は、Ｓ４１で、総数が０であった場合、作業対象物に対して行う作業が全て完了したと判断し（Ｓ４１：ＮＯ）、作業補助プログラムを終了する。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々変更を加え得ることが可能である。Ｓ１３における画像解析は、制御装置２００のＣＰＵ４１が行ったが、ＣＰＵ４１は、ネットワーク２５０を介して撮影画像をＰＣ３００に送信し、ＰＣ３００のＣＰＵが撮影画像の解析を行い、解析結果をＣＰＵ４１に送信してもよい。作業用画像は作業対象物の相似体の画像に対象部位を示す画像を重ねて描画したものであるが、画像表示部３６で表示する際には、作業対象物の相似体の画像は透明化し、対象部位を示す画像のみを作業対象物の実像に重ねて表示してもよい。

また、作業対象物の相似体の画像も含めて対象部位を示す画像を表示する場合、Ｓ２３で特定した作業対象物の位置を避けた表示画面内の位置に、作業用画像を表示してもよい。言い換えると、作業用画像を作業対象物の実像に重ねずに表示してもよい。作業情報が、作業対象物を撮影または描画した画像の画像集合体である場合は、特に、作業対象物の位置を避けた表示画面内の位置に、作業用画像を表示することが望ましい。作業対象物に重ねずに作業情報に基づく対象部位を示す画像を表示すれば、表示画面内において画像がはっきりと表示されるので、作業者が対象部位を視認しやすい。本実施形態では作業用画像を作業対象物の実像に重ねて表示する点を説明したが、さらに、作業の手順を示すテキストや画像（静止画および動画を含む）などを、作業用画像とともに表示してもよい。

Ｓ３７において、ＣＰＵ４１は作業完了の判断を対象部位の完成形の画像とのマッチングにより行ったが、作業者による操作部５０の操作に基づき作業完了と判断してもよい。または、タイマーを設定し、対象部位における作業が予め設定した時間を経過したら、ＣＰＵ４１は作業が完了したと判断してもよい。あるいは、撮影画像を解析し、作業に用いる道具が予め決められた場所に置かれたことを検出したら、ＣＰＵ４１は作業が完了したと判断してもよい。

ＣＰＵ４１は、ＰＣ３００のＨＤＤ３５０に蓄積した作業情報をネットワーク２５０経由で取得したが、作業情報をフラッシュＲＯＭ４７に記憶してもよい。

なお、本実施の形態においては、画像表示部３６が本発明の「表示装置」に相当する。カメラ３９が「撮影装置」に相当する。Ｓ１３において撮影画像を解析して特徴画像を検出し、特徴情報を取得するＣＰＵ４１が「第一取得手段」に相当する。Ｓ１５において撮影画像の解析によって取得した特徴情報に基づいて、作業対象物を特定するＣＰＵ４１が「識別手段」に相当する。Ｓ１７において撮影画像の解析によって取得した特徴情報に基づいて、作業対象物に対する作業者の現在の方位を決定するＣＰＵ４１が「決定手段」に相当する。Ｓ１９において作業用画像を取得するＣＰＵ４１が「第二取得手段」に相当する。Ｓ２７において作業用画像を表示するＣＰＵ４１が「表示手段」に相当する。Ｓ３７において対象部位に対する作業が完了したか否かを判定するＣＰＵ４１が「判定手段」に相当する。Ｓ２５において作業対象物と作業者との間の距離を検出するＣＰＵ４１が「判断手段」に相当する。Ｓ１５において作業対象物を特定するＣＰＵ４１が「識別手段」に相当する。ハーフミラー８が「表示部」に相当する。Ｓ２３において撮影画像内における作業対象物の位置を特定するＣＰＵ４１が「特定手段」に相当する。特徴部位が「所定の部位」に相当する。特徴画像が「所定画像」に相当する。特徴情報が「特定情報」に相当する。

１ ヘッドマウントディスプレイ
８ ハーフミラー
３６ 画像表示部
３９ カメラ

Claims (10)

1. 作業者の頭部に装着可能に構成され、画像を表示可能な表示装置と、
   前記作業者の視野に合わせて撮影方向および画角が設定された撮影装置と、
   前記撮影装置が撮影した撮影画像から、作業対象である作業対象物における所定の部位の画像である所定画像を、前記作業対象物に対する前記作業者の方位を特定する特定情報として取得する第一取得手段と、
   前記特定情報に基づいて、前記作業対象物に対する前記作業者の現在の方位を決定する決定手段と、
   前記作業対象物に対して行う作業の対象部位が複数あって、それぞれの対象部位を示す画像を、当該対象部位に対する前記作業者の方位を示す方位情報とともに含む作業情報を取得する第二取得手段と、
   前記作業対象物に対する方位が前記作業者の現在の方位と一致する前記作業情報に基づく画像を前記表示装置に表示して前記対象部位を示す表示手段と、
   を備えたことを特徴とする作業補助システム。
2. 前記作業情報は、前記作業対象物の形状と相似な形状を有する画像を描画可能な情報であることを特徴とする請求項１に記載の作業補助システム。
3. 前記対象部位に対する作業が完了した状態の前記作業対象物に相似な物体を描画した前記作業情報に基づく画像と、前記撮影画像とを比較して、前記作業対象物の前記対象部位に対する作業が完了したか否かを判定する判定手段をさらに備え、
   前記表示手段は、前記判定手段の判定結果を前記表示装置に表示することを特徴とする請求項２に記載の作業補助システム。
4. 前記表示手段は、
   前記判定手段が前記対象部位に対する作業が完了したと判定した場合、前記表示装置に、前記作業情報に基づく画像を点滅表示し、
   前記判定手段が前記対象部位に対する作業が完了していないと判定した場合、前記表示装置に、前記対象部位に対する作業が完了した状態の前記作業対象物に相似な物体を描画した前記作業情報に基づく画像を表示することを特徴とする請求項３に記載の作業補助システム。
5. 前記判定手段が前記対象部位に対する作業が完了していないと判定した後、前記作業者の現在の方位に変化がない状態で、さらに前記判定手段が前記対象部位に対する作業が完了したと判定した場合、前記表示手段は、前記表示装置に、前記対象部位に対する作業が完了した状態の前記作業対象物に相似な物体を描画した前記作業情報に基づく画像を表示するとともに、作業完了を報知するメッセージを表示することを特徴とする請求項３または４に記載の作業補助システム。
6. 前記撮影画像と前記特定情報とに基づいて、前記作業者と前記作業対象物との距離を判断する判断手段をさらに備え、
   前記表示手段は、前記判断手段が判断した前記作業者と前記作業対象物との距離に応じて、前記表示装置に、前記作業情報に基づく前記作業対象物に相似な物体の画像を拡大縮小して表示することを特徴とする請求項２から５のいずれかに記載の作業補助システム。
7. 前記撮影画像と前記特定情報とに基づいて、前記作業対象物を識別する識別手段をさらに備え、
   前記取得手段は、前記識別手段が識別した前記作業対象物と相似な物体の画像を描画可能な前記作業情報を取得することを特徴とする請求項２から６のいずれかに記載の作業補助システム。
8. 前記表示装置において画像が表示される表示部は、画像を形成する画像形成素子から照射される画像光の少なくとも一部を反射して前記作業者の眼に入射するとともに、外界の実像からの光の少なくとも一部を透過して、前記作業者の視野において画像を実像に重畳させて認識させることが可能な表示部であり、
   前記撮影画像と前記特定情報とに基づいて、前記表示部において前記作業対象物の実像が表示される位置を特定する特定手段をさらに備え、
   前記表示手段は、前記表示部において、前記特定手段が特定した前記作業対象物の位置に応じた位置に、前記作業情報に基づく画像を表示することを特徴とする請求項１から７のいずれかに記載の作業補助システム。
9. 前記表示手段は、前記表示部において、前記特定手段が特定した前記作業対象物の位置に重ね、前記作業情報に基づく画像を表示することを特徴とする請求項８に記載の作業補助システム。
10. 作業者の視野に合わせて撮影方向および画角が設定された撮影装置で作業対象物を撮影した撮影画像に基づき、前記作業者の頭部に装着可能に構成された表示装置に画像を表示して、前記作業者が前記作業対象物に対して作業を行う場合に前記作業者を補助する作業補助装置として機能させるためのプログラムであって、
    コンピュータに、
    前記撮影装置が撮影した撮影画像から、作業対象である作業対象物における所定の部位の画像である所定画像が、前記作業対象物に対する前記作業者の方位を特定する特定情報として取得される第一取得ステップと、
    前記撮影画像と前記特定情報とに基づいて、前記作業対象物に対する前記作業者の現在の方位が決定される決定ステップと、
    前記作業対象物に対して行う作業の対象部位が複数あって、それぞれの対象部位を示す画像を、当該対象部位に対する前記作業者の方位を示す方位情報とともに含む作業情報が取得される第二取得ステップと、
    前記作業対象物に対する方位が前記作業者の現在の方位と一致する前記作業情報に基づく画像が前記表示装置に表示されて前記対象部位が示される表示ステップと、
    を実行させるプログラム。

Images