JP5949501B2 - 作業補助システムおよびプログラム - Google Patents

Description

本発明は、作業者の頭部に装着される表示装置に作業の指示を提示する作業補助システムおよびプログラムに関する。

作業者（点検者）が作業対象物（点検対象）に対して作業に関する情報を、作業者の頭部に装着するヘッドマウントディスプレイ（頭部装着型表示装置）に表示することのできるシステムが知られている（例えば特許文献１参照）。特許文献１では、点検者はプラント内を巡回し、指示者（オペレータ）と交信しながら点検対象の点検を行う。点検者はヘッドマウントディスプレイに設けられたＣＣＤカメラで撮影した撮影画像をオペレータと共有し、画像上で点検対象をポインティングデバイスで指し示すことで、効率よく点検作業を行うことができる。

特開平１０−２１４０３８号公報

しかしながら、作業者が作業を行うため作業対象物に近づき、撮影画像に作業対象物の全体が収まらなくなった場合、指示者は、撮影画像に作業対象物のどの部位が写るのか把握するのが難しかった。

本発明は、上記の問題点を解決するためになされたものであり、指示端末において、作業端末から受信した撮影画像の全体画像内における撮影範囲を表示することができる作業補助システムおよびプログラムを提供することを目的とする。

本発明の第１態様によれば、作業者が利用する作業端末に前記作業者への指示に関する情報である指示情報を送信可能な指示端末と、受信した前記指示情報を前記作業者に提示可能な前記作業端末と、がネットワークを介して接続された作業補助システムであって、前記作業端末は、前記作業者の頭部に装着可能に構成され、画像を表示可能な第一表示装置と、前記作業者の頭部に装着可能に構成され、前記作業者の視野の少なくとも一部を含んで撮影可能な撮影装置と、前記撮影装置が撮影した撮影画像を前記指示端末に送信し、前記指示端末から前記指示情報を受信する第一通信手段と、前記第一通信手段が前記指示端末から受信した前記指示情報に含まれ、前記作業者への指示を示す指示画像を前記第一表示装置に表示する第一表示制御手段と、を備え、前記指示端末は、画像を表示可能な第二表示装置と、前記作業端末から前記撮影画像を受信し、前記指示情報を前記作業端末に送信する第二通信手段と、前記作業対象物の全体像を含む画像である全体画像を記憶可能な記憶手段と、前記記憶手段に前記全体画像が記憶されているか否かを判断する判断手段と、前記判断手段が前記記憶手段に前記全体画像が記憶されていると判断した場合に、前記全体画像と、前記作業端末から受信した前記撮影画像とに基づいて、前記全体画像内における前記撮影画像の撮影範囲を検出する撮影範囲検出手段と、前記撮影範囲に基づいて、前記第二表示装置に、前記撮影画像と、前記全体画像と、前記全体画像に対応付けられた前記撮影範囲と、を表示する第二表示制御手段と、を備えており、前記指示端末は、前記撮影画像に基づいて前記指示画像を生成することを特徴とする作業補助システムが提供される。

第１態様の作業補助システムでは、作業者が作業を行うため作業対象物に近づき、撮影画像に作業対象物の全体が収まらなくなった場合でも、指示者は、全体画像内における撮影画像の撮影範囲を確認するだけで、撮影画像に作業対象物のどの部位が写るのか容易に把握することができる。

ＨＭＤ１の外観を示す斜視図である。 ＨＭＤ１およびＰＣ３００の電気的構成を示すブロック図である。 作業補助プログラムの全体画像選定処理を示すフローチャートである。 作業補助プログラムの撮影範囲表示処理を示すフローチャートである。 カメラ３９（図２参照）の撮影する映像の撮影範囲３９１〜３９５を全体画像３８０に示した図である。 指示画面４００において、サブ画面４２０内に全体画像と撮影範囲４２５が表示された様子を示す図である。 作業者の視野５００に重ねて表示画像５１０が表示された様子を示す図である。 指示画面４００において、サブ画面４２０内に全体画像と撮影範囲４２５が表示された様子を示す図である。 指示画面４００において、サブ画面４２０内に全体画像と撮影範囲４２５が表示された様子を示す図である。

以下、本発明を具体化した一実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。図示された装置の構成等は、その形態のみに限定する趣旨ではなく、単なる説明例である。

本発明に係る作業補助システムは、作業者が装着するヘッドマウントディスプレイ１（以下、「ＨＭＤ１」という。図１参照）と、指示者が利用し、作業者に対する指示の情報をＨＭＤ１に送信するパーソナルコンピュータ３００（以下、「ＰＣ３００」という。図２参照）とから構成されるシステムである。ＨＭＤ１は、作業者の眼の前方に配置されるハーフミラー８（後述）を透過する外界の風景に重ねて画像を表示する。ＨＭＤ１は公知の無線通信を用いてＰＣ３００に接続し、ＰＣ３００との間で画像データを含む各種データの送受信を行う。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方および左斜め下方が、それぞれ、ＨＭＤ１の上方、下方、前方、後方、右方および左方である。

図１に示すように、ＨＭＤ１は、投影装置１００および制御装置２００を備える。投影装置１００は専用の装着具である眼鏡９１に装着して使用される。投影装置１００は、作業者が日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。投影装置１００は、作業者の眼に画像光を照射する。投影装置１００はハーネス１５０を介して制御装置２００と着脱可能に接続する。制御装置２００は、例えば作業者の腰ベルト等に装着して使用される。制御装置２００は、投影装置１００を制御する。

投影装置１００の構成について説明する。投影装置１００は筐体２を備える。筐体２の内部には、画像表示部３６（図２参照）と接眼光学系（図示略）とが含まれる。画像表示部３６は、制御装置２００からハーネス１５０を介して送信される映像信号に基づいて画像を表示する。画像表示部３６は、例えば、液晶素子等の空間変調素子および光源である。画像表示部３６は、画像信号に応じた強度のレーザ光を２次元走査して画像表示を行う網膜走査型表示部や、有機ＥＬ（Organic Electro-luminescence）素子等であってもよい。接眼光学系は、画像表示部３６に表示された画像を示す画像光を、作業者の眼に導くために集光する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー８によって少なくとも一部（例えば半分）が反射され、作業者の左の眼球（図示略）に入射する。ハーフミラー８は外界の実像からの光の少なくとも一部を透過するので、作業者は、自己の視野において実像（外界の風景）に重畳して画像を視認できる。

眼鏡９１は、投影装置１００を作業者の頭部に保持するための構成である。投影装置１００の筐体２は、支持部９６に保持されて、眼鏡９１に取り付けられる。支持部９６は作業者側から見て眼鏡９１の上面左端側（図１における上面右端）に設けられる。支持部９６は、筐体２の保持位置を上下方向および左右方向に調整することができる。作業者は、眼球の位置に合わせた位置にハーフミラー８を配置することができる。

眼鏡９１は、フレーム９４の左右方向略中央に、カメラ３９を備える。カメラ３９は、作業者の視野前方の外界の風景を撮影する。カメラ３９の撮影方向および画角は、予め、作業者の視野に合わせて設定されている。より詳細には、カメラ３９の撮影方向および画角は、カメラ３９による外界の風景の撮影範囲が、ハーフミラー８を透過する実像に重ねることのできる画像表示部３６からの画像光の表示範囲とほぼ一致するように設定されている。また、眼鏡９１は、フレーム９４の右端側に、イヤホンおよびマイクを内蔵するヘッドセット３５を備える。ヘッドセット３５には骨伝導型のものを用いてもよい。なお、眼鏡９１自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。

制御装置２００の構成について説明する。制御装置２００は、例えば略直方体状のシステムボックスである。制御装置２００は電源ランプ５２を内蔵する電源スイッチ５１を含む操作部５０を備える。作業者は、電源スイッチ５１を操作し、ＨＭＤ１の電源をオンまたはオフにすることができる。また、作業者は、投影装置１００における各種設定や、使用時における各種操作等を、操作部５０を介して行うことが可能である。制御装置２００は、無線通信を介してＰＣ３００と接続し、各種データの送受信を行うことが可能である。制御装置２００は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク２５０に接続してもよいし、あるいは直接ＰＣ３００に接続してもよい。なお、後述するＰＣ３００は、パーソナルコンピュータであるが、スマートフォンやタブレット型携帯端末など、その他の機器であってもよい。

図２を参照し、ＨＭＤ１の電気的構成について説明する。投影装置１００は、投影装置１００全体の制御を司るＣＰＵ２１を備える。ＣＰＵ２１は、プログラムＲＯＭ２３、ＲＡＭ２５、画像表示部３６、インターフェイス１２、および接続コントローラ３７と電気的に接続する。また、ＣＰＵ２１は、インターフェイス１２を介してカメラ３９およびヘッドセット３５と電気的に接続する。プログラムＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶する。各種プログラムは、投影装置１００の出荷時にプログラムＲＯＭ２３に記憶される。なおＣＰＵ２１は、後述する制御装置２００のフラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。ＲＡＭ２５は、各種データを一時的に記憶する。

画像表示部３６は前述の通り、映像信号に基づいて画像を表示する。以下、画像表示部３６に表示させる画像を「表示画像」という。インターフェイス１２はカメラ３９およびヘッドセット３５に接続し、信号の入出力を制御する。接続コントローラ３７は、ハーネス１５０を介して制御装置２００の接続コントローラ４８に接続し、有線通信を行う。カメラ３９は映像を撮影する。ヘッドセット３５はイヤホンおよびマイクを備える。なお、投影装置１００または制御装置２００は、ヘッドセット３５の代わりに、スピーカおよびマイクを内蔵してもよい。

制御装置２００の電気的構成について説明する。制御装置２００は、制御装置２００全体の制御を司るＣＰＵ４１を備える。ＣＰＵ４１は、プログラムＲＯＭ４３、ＲＡＭ４５、フラッシュＲＯＭ４７、接続コントローラ４８、ビデオＲＡＭ５７、画像処理部５９、インターフェイス５５、および無線通信部５３と電気的に接続する。プログラムＲＯＭ４３は、ＣＰＵ４１が実行する各種プログラム等を記憶する。各種プログラムは、制御装置２００の出荷時にプログラムＲＯＭ４３に記憶される。なおＣＰＵ４１は、フラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。

ＲＡＭ４５は、各種データを一時的に記憶する。フラッシュＲＯＭ４７は、制御装置２００の出荷後にインストールされた各種プログラム等を記憶する。接続コントローラ４８は、ハーネス１５０を介して投影装置１００の接続コントローラ３７に接続し、有線通信を行う。無線通信部５３は、ネットワーク２５０のアクセスポイント（図示略）へ無線で接続し、ネットワーク２５０に接続する他の機器と通信を行う。無線通信部５３はネットワーク２５０を介さずに、直接ＰＣ３００と無線による接続を行ってもよい。インターフェイス５５は電源スイッチ５１および電源ランプ５２を含む操作部５０に接続し、作業者による操作の入力信号やランプの点灯信号等の入出力を行う。画像処理部５９は、投影装置１００の画像表示部３６に表示させる表示画像を形成する処理を行う。ビデオＲＡＭ５７は、画像処理部５９が形成した表示画像を画像表示部３６に表示するための映像信号を生成するため、表示画像を仮想的に表示した仮想画面を記憶領域内に形成する。

ＰＣ３００は、指示者が使用する公知のパーソナルコンピュータである。ＰＣ３００は、ＰＣ３００全体の制御を司るＣＰＵ３０１を備える。ＣＰＵ３０１は、データバスを介してＲＯＭ３０３、ＲＡＭ３０５、および入出力バス３０９（以下、「Ｉ／Ｏバス３０９」という。）と電気的に接続する。ＲＯＭ３０３は、ＣＰＵ３０１が実行するＢＩＯＳ等のプログラムを記憶する読出し専用の記憶装置である。ＲＡＭ３０５は、データを一時的に記憶する読み書き可能な記憶装置である。

Ｉ／Ｏバス３０９には、ハードディスクドライブ３０７（以下、「ＨＤＤ３０７」という。）、通信部３１１、音声制御部３１３、表示制御部３１５、および入力検知部３３０が接続されている。ＨＤＤ３０７は、ＯＳやプログラム等（後述する作業補助プログラムを含む。）がインストールされる記憶装置である。通信部３１１は、ネットワーク２５０のアクセスポイント（図示略）へ有線または無線で接続し、ＰＣ３００をネットワーク２５０に接続する。音声制御部３１３はヘッドセット３２０に接続し、音声の入出力を制御する。表示制御部３１５は、後述する作業補助プログラム等の操作画面をディスプレイ３４０に表示するための描画処理を行う。入力検知部３３０は、例えばディスプレイ３４０の表示画面に貼設された感圧式のタッチセンサである。タッチセンサはタッチペン（図示略）や指等の接触による操作の入力を検知することができる。指示者は、タッチペン等を用いて作業対象物に対して行う作業の指示を入力することができる。また、図示しないが、Ｉ／Ｏバス３０９にはマウスやキーボード等の入力デバイスも接続されている。

図３〜図９を参照し、ＰＣ３００のＣＰＵ３０１が実行する作業補助プログラムについて説明する。ＣＰＵ３０１は、作業補助プログラムを実行することによって、指示者が作業者に作業の指示を行えるようにするための各種の処理を行う。本実施形態では、そのうちの作業補助プログラムの実行に伴い行われる各種処理のうち、全体画像選定処理（図３参照）と、撮影範囲表示処理（図４参照）について説明する。

全体画像選定処理は、指示者が指示画面４００（図６参照）において参照する全体画像として適切な画像を、作業者が作業対象物を撮影した画像から選定する処理である。全体画像選定処理において、ＣＰＵ３０１は、ＨＭＤ１のカメラ３９が撮影した映像を受信し、映像を構成するコマ画像のなかから作業対象物の全体像を含む画像を全体画像として取得し、ＨＤＤ３０７に記憶する。「コマ画像」とは、映像を構成する個々の画像である。例えば、映像のフレームレートが３０ｆｐｓ（Frames Per Second）であれば、映像は、１秒間に３０枚のコマ画像を順に表示することで再生される。

「全体画像」は、上記の通り、作業対象物の全体像を含む画像である。全体画像は、撮影範囲表示処理において、作業者のカメラ３９に写る作業対象物の部位が全体像においてどの部位であるかを示すため、コマ画像の撮影範囲の表示に用いられる。また、ＨＤＤ３０７には、ＣＰＵ３０１が全体画像を設定する上で作業対象物の全体像が写るコマ画像と比較する初期画像が記憶されている。「初期画像」は、あらかじめ、作業対象物の全体像が画像内に納まるように撮影した画像である。初期画像としては、作業対象物の全体像を画像内に納まるように描画した描画画像を用いてもよい。なお、後述するが、全体画像選定処理では、ＨＤＤ３０７に初期画像が記憶されていない場合でも、ＣＰＵ３０１がコマ画像に対して画像処理を行い、全体像が写ると判断した場合に、そのコマ画像を全体画像として利用することができる。

撮影範囲表示処理は、指示者が指示画面４００（図６参照）で参照する全体画像において、カメラ３９が撮影した映像のコマ画像の撮影範囲が全体画像内において位置する範囲を示す処理である。撮影範囲表示処理において、ＣＰＵ３０１は、ＨＭＤ１から取得した映像が含む最新のコマ画像と１フレーム前のコマ画像を比較し、カメラ３９の撮影範囲の変化を画像処理により求める。ＣＰＵ３０１は、この処理を継続して行い、全体画像における現在のコマ画像の撮影範囲を求める。また、撮影範囲表示処理において、ＣＰＵ３０１は、コマ画像に対する画像処理を行い、コマ画像内に写る作業対象物の特徴的な部位と、全体画像内においてその特徴的な部位と比較して、全体画像に対するコマ画像の大きさおよび傾きの変化を検出する。「特徴的な部位」は、作業対象物において特徴を有する部位であり、全体画像に対するコマ画像の位置、大きさ、傾き等の比較を行う対象となる部位である。例えば、作業対象物が車両の場合、エンブレム、テールランプ、ウインカー、サイドミラー、ホイールなど、コマ画像内で輪郭線や色の抽出等によりその部位を特定することが可能な固有の形状を有する部位である。

本実施形態では、画像処理によって全体画像におけるコマ画像の撮影範囲を検出し、全体画像に対応付けて表示することができる。例えば、作業者が作業対象物に近づき、カメラ３９の撮影範囲に作業対象物の全体像が納められなった場合に、指示者は、全体画像における撮影範囲を見ることで、コマ画像に映る箇所が全体像においてどの位置であるか把握することができる。撮影範囲は、全体画像における特徴的な部位の検出によって求められる絶対的な位置座標の情報によって表される。また、全体画像において特徴的な部位が検出できなかった場合、撮影範囲の位置は、全体画像において画像処理によって求められるカメラ３９の撮影範囲の変化に基づいて求められる相対的な位置座標の情報によって表される。

例えば、図５に示すように、全体画像３８０として、車両３８１の全体像が写る画像がある。作業者のＨＭＤ１のカメラ３９により車両３８１の撮影が行われた場合に、例えばカメラ３９の撮影範囲３９１に、車両３８１のヘッドライト３８２が写るものとする。ヘッドライト３８２は固有の形状を有する部位であり、ＣＰＵ３０１は、撮影範囲３９１を写した映像のコマ画像において、特徴的な部位としてヘッドライト３８２を検出可能である。また、ＣＰＵ３０１は、全体画像３８０においても、特徴的な部位としてヘッドライト３８２を検出可能である。ゆえに、ＣＰＵ３０１は、全体画像に写るヘッドライト３８２の位置を基準に全体画像とコマ画像とが重なる範囲を探し、撮影範囲３９１として検出することで、撮影範囲３９１の位置座標を求めることができる。

次に、作業者が移動したり撮影方向を変えたりすることにより、カメラ３９の映像における現在のコマ画像が撮影範囲３９５を写す状態にあるものとする。撮影範囲３９５は車両３８１の前後の車輪間にあり、この撮影範囲３９５内に固有の形状を有する部位が特にない場合、ＣＰＵ３０１は、特徴的な部位を検出することができない。この場合、カメラ３９の映像は、撮影範囲３９１から撮影範囲３９５を撮影する過程で、撮影範囲３９２，３９３，３９４のそれぞれにおいて、コマ画像を有する。ＣＰＵ３０１は、画像処理を行い、撮影範囲３９１と撮影範囲３９２をそれぞれ写すコマ画像を比較し、双方の画像に重複する部分を重ね、撮影範囲の変化として相対的な位置座標の変化を求める。ＣＰＵ３０１は、撮影範囲３９２と撮影範囲３９３、撮影範囲３９３と撮影範囲３９４、撮影範囲３９４と撮影範囲３９５についても同様に、それぞれ、撮影範囲の変化として相対的な位置座標の変化を求める。そして、累積的な位置座標の変化分を撮影範囲３９１の位置座標に加算することで、ＣＰＵ３０１は、全体画像において、撮影範囲３９５の位置座標を求めることができる。このように、ＣＰＵ３０１は、全体画像における撮影範囲の位置を、コマ画像の撮影範囲の変化を画像処理によって求めることができる。つまり、ＣＰＵ３０１は、特別なセンサを用いずとも演算のみによって全体画像における撮影範囲の位置を取得することができ、ＨＭＤ１の低コスト化を図ることができる。

なお、作業補助プログラムでは、映像から取り込んだコマ画像に対して画像の加工処理を行い、作業者に提示する指示画像を生成する処理も行われる。「指示画像」は、コマ画像に指示情報を付加した画像であり、作業者に指示を提示するため、投影装置１００に表示される。「指示情報」は、作業者が行う作業についての指示の内容を示す画像の情報である。指示情報は、例えば、コマ画像に写る作業の対象部位を示す囲い線や、作業の手順を示す文章などを、コマ画像に重ねて表示することのできる画像の情報である。本実施形態では、指示画面４００（図６参照）において、指示者がタッチペン３５０を用い、コマ画像に重ねて描画した指示内容（例えば指示画像内に描き込まれた図形３６０の画像データ）が、指示情報として指示画像に付加される。

次に、作業補助プログラムの実行において指示者が操作を行う指示画面４００について説明する。図６に示す指示画面４００は、ＰＣ３００のディスプレイ３４０（図２参照）に表示され、指示者が、作業者のカメラ３９で撮影した映像を見ながら作業者に対する指示を行うための操作を行う画面である。指示画面４００の上段右側にはメイン画面４１０が配置され、カメラ３９の映像が表示される。メイン画面４１０は、カメラ３９の映像の表示に限らず、指示者が指示情報を付加する場合に、メイン画面４１０下方の編集ボタン４３１を操作することで、そのとき表示していたコマ画像を静止画として表示する。また、メイン画面４１０では、指示者が指示情報としてタッチペン３５０で描画した内容（例えば図形３６０）が、画像として生成され、コマ画像に重ねて表示される。なお、指示情報の付加を中止あるいは終了する際にメイン画面４１０の右上角のクローズボタン３７０を操作することで、メイン画面４１０に再びカメラ３９の映像が表示される。

指示画面４００の下段右側には、全体画像を表示するサブ画面４２０が設けられている。サブ画面４２０はメイン画面４１０よりも小さく、後述する全体画像選定処理（図３参照）で設定された全体画像が表示される。また、サブ画面４２０内にはコマ画像の撮影範囲４２５が表示される。撮影範囲は、上記したように、メイン画面４１０に表示される映像（コマ画像）が全体画像において位置する範囲である。

指示画面４００の下段中央には、指示者が各種の操作を行うための操作ボタン４３０が配置されている。操作ボタン４３０には、上記した編集ボタン４３１が含まれる。

指示画面４００の左側には、上下方向に伸びるタイムライン４４０とスクロールバー４４１が配置されている。タイムライン４４０は、映像を構成するコマ画像を、時系列に沿って上下に並べて表示したものである。指示者は、タッチペン３５０によるフリック操作またはスクロールバー４４１の操作でコマ画像を上下にスクロールし、メイン画面４１０に表示するコマ画像を、現在のコマ画像から以前に撮影されたコマ画像に変更することができる。すなわち、指示者は、現在のコマ画像だけでなく、それより以前に撮影されたコマ画像に対しても、指示情報を付加することができる。なお、タイムライン４４０に表示されるコマ画像は、上側に表示される画像ほど時系列的に新しい画像であり、下側に表示される画像ほど時系列的に古い画像である。また、タイムライン４４０には、複数フレームごとに１つのコマ画像が表示されるが、まとめ表示されるフレーム数は設定により変更可能である。メイン画面４１０に表示されるコマ画像は、フリック操作やスクロールバー４４１の操作に応じて１フレームごとに表示されるが、操作の早さが早くなるほど多数のフレームごとの表示（いわゆる間引き表示）が行われる。

次に、作業補助プログラムの実行に伴いＣＰＵ３０１が行う全体画像選定処理（図３参照）と、撮影範囲表示処理（図４参照）の動作について説明する。指示者がＰＣ３００を操作して作業補助プログラムを起動すると、ＣＰＵ３０１は、ＨＤＤ３０７に記憶された作業補助プログラムを実行する。ＣＰＵ３０１は、作業補助プログラムの起動時に行う初期設定処理（図示略）において、ＲＡＭ３０５に記憶するフラグやデータを初期化し、ＨＤＤ３０７に記憶されているフラグやデータの設定値をＲＡＭ３０５に書き込む。本実施形態では、指示者は作業補助プログラムの実行中に、作業補助プログラムの動作をカスタマイズする各種設定を図示しない設定画面で行うことができる。例えば、作業者の首が大きく傾いた状態でカメラ３９の映像が撮影され、メイン画面４１０に大きく傾いたコマ画像が表示されることがある。このような場合に、ＣＰＵ３０１は、コマ画像の傾きに合わせて全体画像を回転し、全体画像におけるコマ画像の位置を認識しやすい表示に変更することができる。指示者は、設定画面で全体画像を回転するか否かを設定することができる。設定内容はＲＡＭ３０５のフラグやデータに反映されるとともに、ＨＤＤ３０７に記憶される。ＣＰＵ３０１は、通信部３１１を稼働させ、ネットワーク２５０に接続する。ＣＰＵ３０１は、ヘッドセット３２０のマイクで集音した音声のＨＭＤ１への継続的な送信を開始する。

また、作業者が電源スイッチ５１を操作してＨＭＤ１の電源がオンになると、制御装置２００のＣＰＵ４１は、無線通信部５３を稼働し、ネットワーク２５０に接続する。ＣＰＵ４１はネットワーク２５０を介してＰＣ３００と接続する。

ＰＣ３００のＣＰＵ３０１は、上記の初期設定処理が終了すると、他に実行される処理（図示略）と並行して全体画像選定処理（図３参照）を実行する。図３に示す全体画像選定処理において、ＣＰＵ３０１は、ＨＭＤ１に、カメラ３９による撮影の開始を指示する指示信号を送信する。制御装置２００のＣＰＵ４１は、投影装置１００のカメラ３９が撮影する映像と、ヘッドセット３５のマイクで集音した音声を、ＰＣ３００へ継続的に送信する。ＰＣ３００のＣＰＵ３０１は、ＨＭＤ１から受信した映像をＨＤＤ３０７に記憶する。ＣＰＵ３０１は、ＨＤＤ３０７に、すでに全体画像が記憶されているか確認し（Ｓ９）、記憶されていれば（Ｓ９：ＹＥＳ）、全体画像選定処理を終了する。ＨＤＤ３０７にまだ全体画像が記憶されていなければ（Ｓ９：ＮＯ）、ＣＰＵ３０１は記憶した映像から時系列において最初のコマ画像を取得する（Ｓ１１）。

ＣＰＵ３０１は、ＨＤＤ３０７に、初期画像が記憶されているか否かを確認する（Ｓ１３）。初期画像が記憶されている場合（Ｓ１３：ＹＥＳ）、ＣＰＵ３０１は、コマ画像と初期画像を画像処理により比較し、コマ画像に、初期画像に写る作業対象物の全体像が写っているか確認する（Ｓ１５）。画像処理の例として、ＣＰＵ３０１は、コマ画像の背景から抜き出した作業対象物の画像を初期画像に重ね、拡大・縮小、回転等を行い、初期画像に写る作業対象物の全体像とほぼ一致するか確認すればよい。コマ画像に作業対象物の全体像が写っていなければ（Ｓ１５：ＮＯ）、ＣＰＵ３０１はＳ１１に戻り、映像から次のコマ画像を取得し、同様に、初期画像と比較して、コマ画像に作業対象物の全体像が写っているか確認する。Ｓ１５で、コマ画像に作業対象物の全体像が写っていた場合（Ｓ１５：ＹＥＳ）、ＣＰＵ３０１は、そのコマ画像を全体画像としてＨＤＤ３０７に記憶し（Ｓ２１）、全体画像選定処理を終了する。

ところで、Ｓ１３において、ＨＤＤ３０７に初期画像が記憶されていなかった場合（Ｓ１３：ＮＯ）、ＣＰＵ３０１は、コマ画像に対し、作業対象物の外形の輪郭線を検出する公知の画像処理を行う（Ｓ１７）。ＣＰＵ３０１は、検出した輪郭線がコマ画像内で一周にわたって連続するか否か確認し、不連続の部分がある場合（Ｓ１９：ＮＯ）、コマ画像には作業対象物の全体像が写っていないと判断してＳ１１へ戻る。一方、Ｓ１９において、輪郭線がコマ画像内で一周にわたって連続する場合（Ｓ１９：ＹＥＳ）、ＣＰＵ３０１は、コマ画像に作業対象物の全体像が写っていると判断し、Ｓ２１へ進む。上記のように、ＣＰＵ３０１は、そのコマ画像を全体画像としてＨＤＤ３０７に記憶し（Ｓ２１）、全体画像選定処理を終了する。このように、ＣＰＵ３０１は、作業対象物の全体像が写るコマ画像を全体画像として取得することで、カメラ３９の撮影状態（露光、明るさ、光源の方向など）が全体画像を取得したときと、最新のコマ画像を取得したときとで大きく変わることがないので、全体画像における作業対象物の全体像をコマ画像と比較して把握しにくくなることがない。また、ＣＰＵ３０１は、輪郭線の検出に基づきコマ画像に作業対象物の全体像が写っていると判断することができるので、複雑な画像処理を行うことなく容易に全体画像を得ることができる。また、初期画像がある場合は、ＣＰＵ３０１は、初期画像との比較によってコマ画像に作業対象物の全体像が写っていると判断することができるので、さらに容易に全体画像を得ることができる。

次にＣＰＵ３０１は、図４に示す、撮影範囲表示処理を実行する。ＣＰＵ３０１は、ＨＤＤ３０７に記憶した全体画像を読み込み、ＲＡＭ３０５に確保された記憶領域に全体画像を仮想的に表示する。また、ＣＰＵ３０１は、ＨＤＤ３０７に記憶した映像から最新のコマ画像を読み込み、ＲＡＭ３０５に確保された記憶領域に最新のコマ画像を仮想的に表示する。ＣＰＵ３０１は、全体画像と最新のコマ画像に写る作業対象物の特徴的な部位をそれぞれ検出し、互いに比較する（Ｓ３１）。

ＣＰＵ３０１は、全体画像と最新のコマ画像に写る作業対象物の特徴的な部位の比較結果に基づき、特徴的な部位の位置を基準に全体画像とコマ画像とが重なる範囲を探し、コマ画像の撮影範囲を検出して位置座標を求める。前述したように、撮影範囲は、全体画像における特徴的な部位の絶対的な位置座標、または、カメラ３９の撮影範囲の変化に基づいて求められる相対的な位置座標として、演算によって求められる。また、ＣＰＵ３０１は特徴的な部位に対する画像処理によって、全体画像に対するコマ画像の大きさと画像の傾き（回転の度合い）を演算によって求める（Ｓ３３）。全体画像と最新のコマ画像における特徴的な部位の「大きさ」の違いは、作業者が、全体画像を撮影したときの作業対象物との距離と、最新のコマ画像を撮影したときの作業対象物との距離との違い等によって生ずる。大きさは、全体画像と最新のコマ画像のそれぞれの特徴的な部位の画像を比較し、それぞれの特徴的な部位の画像が占める面積（画素数等）を求めて倍率を演算することによって求められる。全体画像と最新のコマ画像における特徴的な部位の「傾き」の違いは、例えば作業者が首を傾げ、全体画像を撮影したときにカメラ３９が傾いた角度と、最新のコマ画像を撮影したときにカメラ３９が傾いた角度との違い等によって生ずる。傾きは、全体画像と最新のコマ画像のそれぞれの特徴的な部位の画像を比較し、回転角度の差分値を演算することによって求められる。

撮影範囲の特定方法について、以下に例を示す。例えばＣＰＵ３０１は、現在のコマ画像と、直前のコマ画像、または数〜数十フレーム前のコマ画像との差分画像を画像処理により求め、差分画像の形状の特徴から、コマ画像の移動方向や移動量、コマ画像の傾きなどの変化量を算出する。さらに算出した変化量の積分を行うことで、ＣＰＵ３０１は、全体画像に対する現在のコマ画像の撮影範囲を特定することができる。また、例えばＣＰＵ３０１は、先ずコマ画像から輪郭線の抽出することにより、特徴的な部位の検出を行う。同様に、全体画像において、輪郭線の抽出によって特徴的な部位の検出を行う。そして、検出した特徴的な部位の形状について比較し、形状の変化の度合いに基づけば、ＣＰＵ３０１は、全体画像に対する現在のコマ画像の撮影範囲を特定することもできる。また、例えば、特徴的な色を有する部位を検出し、その部位の位置や大きさ、回転等の変化を、その色が占める範囲を比較することにより求めることにより、ＣＰＵ３０１は、全体画像に対する現在のコマ画像の撮影範囲を特定することもできる。

ＣＰＵ３０１は、Ｓ３３で求めた全体画像に対する最新のコマ画像の傾き（回転角度の差分値）があらかじめ設定された所定値以内であるか否か確認する（Ｓ３５）。傾きが所定値以内であれば（Ｓ３５：ＹＥＳ）、ＣＰＵ３０１は、最新のコマ画像に写る作業対象物の様子を全体画像において重ねて見ても指示者が違和感を生じにくいと判断し、Ｓ３７に進む。ＣＰＵ３０１は、図６に示すように、Ｓ３３において求めた撮影範囲の位置座標に基づき、サブ画面４２０に、全体画像と撮影範囲４２５を表示する（Ｓ３７）。コマ画像が傾いていても、その傾きが、指示者が違和感を生じにくい程度の傾き、すなわち所定値以内である場合ならば、全体画像および撮影範囲４２５を傾かせずにサブ画面４２０に表示することで、ＣＰＵ３０１の画像処理にかかる負荷を軽減することができる。

図４に示すように、ＣＰＵ３０１はＳ４５に進み、指示者による作業補助プログラムの実行の終了の操作が行われたか確認する（Ｓ４５）。指示画面４００の右上角に設けられた終了ボタン４０１が指示者によって操作されなければ（Ｓ４５：ＮＯ）、ＣＰＵ３０１は、ＨＤＤ３０７に記憶した映像から最新のコマ画像を読み込み、ＲＡＭ３０５に確保された記憶領域に最新のコマ画像を仮想的に表示し（Ｓ４７）、Ｓ３１に戻る。

ここで、指示者が作業の対象部位に対する指示を作業者に伝えようとし、図６に示すように、タッチペン３５０を操作してコマ画像（静止画）に指示（例えば図形３６０）を描き込む。ＣＰＵ３０１は、静止画に指示情報を付加して指示画像を作成し、指示画像の画像データをＨＭＤ１に送信する。ＨＭＤ１のＣＰＵ４１は、指示画像の画像データに基づいて形成した表示画像を画像表示部３６に表示する。図７に示すように、ハーフミラー８（図１参照）を介して眼球に入射される表示画像５１０が、作業者の視野５００に重ねて表示される。表示画像５１０には、指示者が描画した指示に基づく図形５２０が重ねて表示される。指示者による作業者への指示が行われている間も、ＣＰＵ３０１は、ＣＰＵ３０１は、Ｓ３１，Ｓ３３，Ｓ３５：ＹＥＳ，Ｓ３７，Ｓ４７の処理を繰り返し、全体画像における最新のコマ画像の撮影範囲４２５の表示を行う。指示者が作業者への指示を終了し、図６に示すように、タッチペン３５０でクローズボタン３７０を操作すると、メイン画面４１０には再びカメラ３９の映像が表示される。

例えば、図８に示すように、作業者の首が傾いた状態でカメラ３９の映像が撮影され、メイン画面４１０に傾いたコマ画像が表示されることがある。図４に示すように、Ｓ３５において、全体画像に対する最新のコマ画像の傾きが所定値より大きくなった場合（Ｓ３５：ＮＯ）、ＣＰＵ３０１は、Ｓ３９で、ＲＡＭ３０５に記憶された全体画像の回転の可否を示すフラグを参照し、全体画像を回転させる設定がなされていなければ（Ｓ３９：ＮＯ）、Ｓ４１に進む。ＣＰＵ３０１は、Ｓ３３において求めた位置座標に表示する撮影範囲について、大きさの情報と画像の傾きの情報を用いて補正する。ＣＰＵ３０１は、図８に示すように、補正によって大きさおよび傾きを調整することで回転した撮影範囲４２５を、全体画像とともにサブ画面４２０に表示し、Ｓ４５に進む（Ｓ４１）。全体画像はコマ画像が傾こうとも回転されることはなく、その一方で、コマ画像の傾きに合わせて撮影範囲４２５が傾けられて表示される。このように、全体画像に対するコマ画像の大きさの情報と画像の傾きの情報を用いて撮影範囲を補正することで、全体画像における撮影範囲の位置を、指示者に把握しやすくさせることができる。

図４に示すように、Ｓ３９において、ＣＰＵ３０１はＲＡＭ３０５に記憶された全体画像の回転の可否を示すフラグを参照し、全体画像を回転させる設定がなされている場合（Ｓ３９：ＹＥＳ）、Ｓ４３に進む。ＣＰＵ３０１は、Ｓ３３における演算結果に基づき、コマ画像に写る特徴的な部位の傾きを全体画像に対して適用し、全体画像をコマ画像の傾きに合わせて回転させる。さらにＣＰＵ３０１は、全体画像に対するコマ画像の大きさの情報と画像の傾きの情報を用い、撮影範囲として求めた位置座標を回転後の全体画像の座標軸に合わせて補正する。ＣＰＵ３０１は、図９に示すように、サブ画面４２０に、回転後の全体画像と、補正後の位置座標に基づく撮影範囲４２５を表示してＳ４５に進む（Ｓ４３）。全体画像はコマ画像の傾きに合わせて回転され、傾いた状態で表示された全体画像に重ねて撮影範囲４２５が表示される。全体画像を回転させてコマ画像の傾きに合わせて表示することで、全体画像に写る作業対象物と最新のコマ画像に写る作業対象物の様子が一致し、指示者は、全体画像における撮影範囲の位置を把握しやすく、また、撮影範囲の表示に違和感を生じにくい。

このように、ＣＰＵ３０１は、Ｓ３３における演算結果に基づく補正を撮影範囲と全体画像の回転に行いつつ、図４に示す、Ｓ３１〜Ｓ４７の処理を繰り返して実行する。そして、指示画面４００の終了ボタン４０１が指示者に操作された場合（Ｓ４５：ＹＥＳ）、ＣＰＵ３０１は、撮影範囲表示処理の実行を終了し、所定のアプリケーションの終了処理を行った後、作業補助プログラムの実行を終了する。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々変更を加え得ることが可能である。本実施形態では、カメラ３９が映像を撮影し、ＰＣ３００は、映像に含まれるコマ画像に対して画像処理を行い、撮影範囲を検出した。これに限らず、カメラ３９が映像ではなく静止画像を撮影し、ＰＣ３００は、静止画像に対して画像処理を行い、撮影範囲を検出してもよい。

Ｓ４３ではコマ画像の傾きに合わせて全体画像を回転したが、全体画像選定処理において、あらかじめ全体画像として全体像が傾いた状態の全体画像も取得できるようにし、ＨＤＤ３０７に記憶してもよい。Ｓ４３では、コマ画像の傾きに合う傾きを有する全体画像をＨＤＤ３０７から選択して取得し、サブ画面４２０に表示してもよい。あらかじめ回転した全体画像も取得しておき、ＨＤＤ３０７に記憶しておくことで、全体画像の回転処理を行わずとも、直ちに、コマ画像の傾きに合う傾きを有する全体画像を得ることができる。この場合において、Ｓ４３で、コマ画像の傾きに合う傾きを有する全体画像を取得するＣＰＵ３０１が「第二取得手段」に相当する。

Ｓ３３では、コマ画像に写る作業対象物の特徴的な部位の画像に対する画像処理により、全体画像に対するコマ画像の大きさや、画像の傾きを検出した。これに限らず、例えば、筐体２内に６軸センサを組み込み、全体画像に対するコマ画像の大きさおよび画像の傾きを検出してもよい。６軸センサは、前後、左右、上下の３方向を検出可能な加速度センサと、東西南北を検出可能な地磁気センサを組み合わせたセンサであり、移動方向、向き、回転を検出することができる。ゆえに、６軸センサの検出値に基づく演算を行えば、移動距離、移動速度も求めることが可能である。よってＣＰＵ３０１は、作業対象物の全体画像を取得した位置から作業者がどれくらい作業対象物に近づき、カメラ３９の撮影方向の変化を検出し、撮影時のカメラ３９の傾いた角度を検出することができる。６軸センサの検出値は、カメラ３９の映像に付加し、あるいは映像に同期して、ＰＣ３００に送信すればよい。６軸センサの検出値を用いた補正を行うことによって、ＣＰＵ３０１は、全体画像内における撮影範囲の位置座標を、画像処理によって求めずとも容易に取得することができる。また、ＣＰＵ３０１は、映像のフレームを間引きしてコマ画像を取得しても十分に撮影範囲を求めることができるので、ＨＭＤ１とＰＣ３００との間の通信量を減らすことができ、さらにＣＰＵ３０１の演算の負荷を減らすこともでき、省電力化を図ることができる。なお、この場合の６軸センサが「変位検出手段」に相当する。また、６軸センサに限らず、３軸加速度センサや方位センサ（電子コンパス）等も使用可能である。

Ｓ３３では、コマ画像に作業対象物の特徴的な部位が検出できた場合に、撮影範囲として、全体画像における特徴的な部位の絶対的な位置座標を得た。これに限らず、画像処理により全てのコマ画像の差分から、常に、カメラ３９の撮影範囲の変化に基づく相対的な位置座標を求め、全体画像を取得したときのコマ画像を基準に、最新のコマ座標の絶対的な位置座標を演算し、撮影範囲を得てもよい。

全体画像選定処理において、Ｓ１１〜Ｓ１５：ＮＯまたはＳ１９：ＮＯのループが所定回数繰り返された場合、あるいは、所定時間経過してもＳ２１に進むことができなかった場合、作業対象物の全体像をカメラ３９の撮影範囲内に納めるように作業者に促すメッセージ等を、ＨＭＤ１の画像表示部３６に表示させてもよい。

Ｓ４３における全体画像の回転は設定に基づいて行ったが、Ｓ３９においてＳ３５で判定した所定値とは異なる第２の所定値でコマ画像の傾きを判定し、全体画像を回転させた上で（表示枠をコマ画像通りにして）撮影範囲を表示するか、あるいは全体画像を回転させずに（表示枠を回転させて）撮影範囲を表示してもよい。なお、コマ画像の撮影範囲とは、撮影範囲（撮影領域）を示す表示（例えば枠表示）のことである。また、全体画像におけるコマ画像の撮影範囲は、コマ画像の位置の情報に基づいて（時には、位置の情報と共に）、全体画像内において示される。また本実施形態において、撮影範囲は、便宜上、全体画像内において表示されるとしたが、全体画像からはみ出して表示される場合を含むことは言うまでもない。言い換えると、撮影範囲は、全体画像に対応して全体画像と共に表示されるものである。

なお、本実施の形態においては、ＨＭＤ１が本発明の「作業端末」に相当する。ＰＣ３００が「指示端末」に相当する。ハーフミラー８が「第一表示装置」に相当する。カメラ３９が「撮影装置」に相当する。コマ画像が「撮影画像」に相当する。無線通信部５３が「第一通信手段」に相当する。画像表示部３６が「第一表示制御手段」に相当する。ディスプレイ３４０が「第二表示装置」に相当する。通信部３１１が「第二通信手段」に相当する。ＨＤＤ３０７が「記憶手段」に相当する。表示制御部３１５が「第二表示制御手段」に相当する。Ｓ９でＨＤＤ３０７に全体画像が記憶されているか否か判断するＣＰＵ３０１が「判断手段」に相当する。Ｓ３３で全体画像内におけるコマ画像の撮影範囲を検出するＣＰＵ３０１が「撮影範囲検出手段」に相当する。

Ｓ２１で全体画像として表示予定のコマ画像を取得するＣＰＵ３０１が「第一取得手段」に相当する。Ｓ１７でコマ画像から作業対象物の輪郭線を検出するＣＰＵ３０１が「輪郭検出手段」に相当する。Ｓ１５で初期画像と比較してコマ画像に作業対象物の全体像が写ると判断した場合に、そのコマ画像を全体画像として取得するＣＰＵ３０１が「抽出手段」に相当する。Ｓ３１において、時系列に沿ってコマ画像を比較して、カメラ３９の撮影範囲の変化に基づいて求められる相対的な位置座標の累積により撮影範囲を取得するＣＰＵ３０１が「範囲変化検出手段」に相当する。

１ ヘッドマウントディスプレイ
８ ハーフミラー
３６ 画像表示部
３９ カメラ
５３ 無線通信部
２５０ ネットワーク
３００ ＰＣ
３０１ ＣＰＵ
３０７ ハードディスクドライブ
３１１ 通信部
３１５ 表示制御部
３４０ ディスプレイ

Claims (11)

1. 作業者が利用する作業端末に前記作業者への指示に関する情報である指示情報を送信可能な指示端末と、受信した前記指示情報を前記作業者に提示可能な前記作業端末と、がネットワークを介して接続された作業補助システムであって、
   前記作業端末は、
   前記作業者の頭部に装着可能に構成され、画像を表示可能な第一表示装置と、
   前記作業者の頭部に装着可能に構成され、前記作業者の視野の少なくとも一部を含んで撮影可能な撮影装置と、
   前記撮影装置が撮影した撮影画像を前記指示端末に送信し、前記指示端末から前記指示情報を受信する第一通信手段と、
   前記第一通信手段が前記指示端末から受信した前記指示情報に含まれ、前記作業者への指示を示す指示画像を前記第一表示装置に表示する第一表示制御手段と、
   を備え、
   前記指示端末は、
   画像を表示可能な第二表示装置と、
   前記作業端末から前記撮影画像を受信し、前記指示情報を前記作業端末に送信する第二通信手段と、
   作業対象物の全体像を含む画像である全体画像を記憶可能な記憶手段と、
   前記記憶手段に前記全体画像が記憶されているか否かを判断する判断手段と、
   前記判断手段が前記記憶手段に前記全体画像が記憶されていると判断した場合に、前記全体画像と、前記作業端末から受信した前記撮影画像とに基づいて、前記全体画像内における前記撮影画像の撮影範囲を検出する撮影範囲検出手段と、
   前記撮影範囲に基づいて、前記第二表示装置に、前記撮影画像と、前記全体画像と、前記全体画像に対応付けられた前記撮影範囲と、を表示する第二表示制御手段と、
   を備えており、
   前記指示端末は、前記撮影画像に基づいて前記指示画像を生成することを特徴とする作業補助システム。
2. 前記指示端末は、前記判断手段が前記記憶手段に前記全体画像が記憶されていないと判断した場合に、前記作業端末から受信する前記撮影画像のうち、前記作業対象物の全体像を含む画像を取得する第一取得手段をさらに備え、
   前記記憶手段は、前記第一取得手段が取得した画像を前記全体画像として記憶することを特徴とする請求項１に記載の作業補助システム。
3. 前記指示端末は、前記作業端末から受信する前記撮影画像に写る前記作業対象物の輪郭線を検出する輪郭検出手段をさらに備え、
   前記第一取得手段は、前記輪郭検出手段が検出した前記作業対象物の輪郭線に基づいて、前記撮影画像のうち、前記作業対象物の全体像を含む画像を取得することを特徴とする請求項２に記載の作業補助システム。
4. 前記記憶手段には、前記作業対象物の全体像を示す初期画像が記憶され、
   前記指示端末は、前記作業端末から取得する前記撮影画像を前記初期画像と比較して、前記撮影画像に含まれる前記作業対象物の全体像を含む画像を抽出する抽出手段をさらに備え、
   前記抽出手段が抽出した画像は、前記全体画像として前記記憶手段に記憶されることを特徴とする請求項１から３のいずれかに記載の作業補助システム。
5. 前記指示端末の前記撮影範囲検出手段は、画像処理により、前記作業端末から受信した前記撮影画像を、それより以前に受信した前記撮影画像と比較して、前記撮影画像の前記撮影範囲の変化を検出する範囲変化検出手段を備え、
   前記撮影範囲検出手段は、前記範囲変化検出手段が検出した前記撮影範囲の変化に基づいて、前記全体画像に対する前記撮影画像の最新の撮影範囲を検出することを特徴とする請求項１から４のいずれかに記載の作業補助システム。
6. 前記範囲変化検出手段は、画像処理により、前記撮影画像の大きさおよび傾きの変化も検出可能であり、
   前記撮影範囲検出手段は、前記範囲変化検出手段が検出した撮影画像の大きさおよび傾きの変化に基づいて、前記全体画像に対する前記撮影画像の傾きを検出し、
   第二表示制御手段は、検出された前記撮影画像の傾きに応じて、前記撮影範囲を前記全体画像に対し傾けて表示することを特徴とする請求項５に記載の作業補助システム。
7. 前記作業端末は、前記撮影装置の変位を検出する変位検出手段をさらに備え、
   前記作業端末の前記第一通信手段からは、前記指示端末に、前記変位検出手段が検出した前記撮影装置の変位の情報が前記撮影画像に付加して送信され、
   前記撮影範囲検出手段は、前記撮影画像に付加された前記変位の情報に基づき、前記全体画像に対する前記撮影画像の前記撮影範囲を補正することを特徴とする請求項６に記載の作業補助システム。
8. 第二表示制御手段は、検出された前記撮影画像の傾きに応じて、前記撮影画像の前記撮影範囲のみを傾かせることを特徴とする請求項６または７に記載の作業補助システム。
9. 第二表示制御手段は、検出された前記撮影画像の傾きに応じて、前記全体画像のみを傾かせることを特徴とする請求項６または７に記載の作業補助システム。
10. 第二表示制御手段は、前記全体画像に対する前記撮影画像の傾きが所定値以内であれば、前記撮影画像の傾きに拘わらず、前記全体画像および前記撮影画像の前記撮影範囲を傾かせないことを特徴とする請求項６または７に記載の作業補助システム。
11. 作業者への指示に関する情報である指示情報を前記作業者に提示可能な作業端末に対し、前記指示情報を送信可能に構成された作業補助装置として用いる指示端末であり、前記作業者の頭部に装着可能に構成され、前記作業者の視野の少なくとも一部を含んで撮影可能な撮影装置を用いて前記作業者が作業対象物を撮影した撮影画像を前記作業端末から受信するとともに、前記作業者への指示を示す指示画像を含む前記指示情報を前記作業端末に送信し、前記作業者の頭に装着可能で画像を表示可能な前記作業端末が備える第一表示装置に前記指示画像を表示して、前記作業者に作業の指示を提示可能な指示端末として機能させるためのプログラムであって、
    コンピュータに、
    前記作業対象物の全体像を含む画像である全体画像を記憶可能な記憶手段に前記全体画像が記憶されているか否かが判断される判断ステップと、
    前記判断ステップにおいて前記記憶手段に前記全体画像が記憶されていると判断された場合に、前記全体画像と、前記作業端末から受信した前記撮影画像とに基づいて、前記全体画像内における前記撮影画像の撮影範囲が検出される撮影範囲検出ステップと、
    前記撮影範囲に基づいて、画像を表示可能な前記指示端末が備える第二表示装置に、前記撮影画像と、前記全体画像と、前記全体画像に対応付けられた前記撮影範囲と、が表示される第二表示制御ステップと、
    を実行させるプログラム。

Images