JP6244069B1

JP6244069B1 - 遠隔作業支援システム、遠隔作業支援方法、及びプログラム

Info

Publication number: JP6244069B1
Application number: JP2017541988A
Authority: JP
Inventors: 俊二菅谷
Original assignee: Optim Corp
Current assignee: Optim Corp
Priority date: 2017-04-17
Filing date: 2017-04-17
Publication date: 2017-12-06
Anticipated expiration: 2037-04-17
Also published as: US10591986B2; US20200033936A1; JPWO2018193509A1; WO2018193509A1

Abstract

遠隔作業支援システムは、遠隔作業を支援するために、ウェアラブル端末で撮影された画像（２００）を、ウェアラブル端末と遠隔端末とで共有する。画像取得手段は、ウェアラブル端末で撮影された画像（２００）を取得する。画面共有手段は、画像（２００）を、ウェアラブル端末と遠隔端末とで画面共有する。受付手段は、遠隔端末から、画像（２００）に対する指示情報の入力を受け付ける。第１表示手段は、ウェアラブル端末に、画像（２００）と、指示情報に応じた仮想オブジェクト（２１０）と、を重ねて表示する。第２表示手段は、遠隔端末に、画像（２００）と、仮想オブジェクト（２１０）と、を重ねて表示する。画像認識手段は、画像（２００）を解析して体の部位の状態を認識する。変化手段は、認識された状態に基づいて、第１表示手段及び第２表示手段による仮想オブジェクト（２１０）の表示を変化させる。

Description

本発明は、遠隔作業を支援する技術に関する。

複数の装置間で画面を共有する技術が知られている。例えば特許文献１では、サーバーが複数のクライアントの画面情報を取得し、これらの画面情報を一覧表示する技術が開示されている。

特開２００３−６０６２号公報

ところで、工場等の作業現場において、指示者が遠隔から作業者に作業の指示をする遠隔作業支援が行われる場合がある。作業者は作業を行うため、指示者の指示に対して音声のように両手が自由になる方法で応答できるのが好ましい。しかし、作業現場の騒音レベルが高い場合、音声により遠隔作業支援を行うのは難しい。
本発明は、ウェアラブル端末のユーザーが音声による遠隔作業支援を受け難い環境下にいる場合であっても、円滑な遠隔作業支援を実現することを目的とする。

課題を解決する手段

本発明は、遠隔作業を支援するために、ウェアラブル端末で撮影された画像を、当該ウェアラブル端末と遠隔端末とで共有する遠隔作業支援システムであって、前記ウェアラブル端末で撮影された画像を取得する画像取得手段と、前記画像を、前記ウェアラブル端末と前記遠隔端末とで画面共有する画面共有手段と、前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付手段と、前記ウェアラブル端末に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示する第１表示手段と、前記遠隔端末に、前記画像と、前記仮想オブジェクトと、を重ねて表示する第２表示手段と、前記画像を解析して体の部位の状態を認識する画像認識手段と、前記認識された状態に基づいて、前記第１表示手段及び前記第２表示手段による前記仮想オブジェクトの表示を変化させる変化手段と、を備える遠隔作業支援システムを提供する。

本発明によれば、ウェアラブル端末のユーザーが音声による遠隔作業支援を受け難い環境下にいる場合であっても、円滑な遠隔作業支援を実現することができる。

遠隔作業支援システム１の構成の一例を示す図である。ウェアラブル端末１０の外観の一例を示す図である。ウェアラブル端末１０のハードウェア構成の一例を示す図である。遠隔端末２０のハードウェア構成の一例を示す図である。サーバー装置３０のハードウェア構成の一例を示す図である。遠隔作業支援システム１の機能構成の一例を示す図である。遠隔作業支援システム１の動作を示すシーケンスチャートである。仮想オブジェクト２１０の一例を示す図である。表示装置１６に表示される画面２２０の一例を示す図である。表示装置２６に表示される画面２３０の一例を示す図である。表示装置２６における仮想オブジェクト２１０の表示を変化の一例を示す図である。変形例において表示装置１６に表示される画面２４０の一例を示す図である。変形例において表示装置１６に表示される画面２５０の一例を示す図である。変形例において表示装置１６に表示される画面２６０の一例を示す図である。変形例において表示装置１６に表示される画面２７０の一例を示す図である。変形例において表示装置１６に表示される画面２８０の一例を示す図である。変形例において表示装置１６に表示される画面２９０の一例を示す図である。変形例において表示装置２６に表示される画面３００の一例を示す図である。

１：遠隔作業支援システム、１０：ウェアラブル端末、２０：遠隔端末、３０：サーバー装置、１０１：画像取得手段、１０２：受付手段、１０３：音声認識手段、１０４：オブジェクト生成手段、１０５：画面共有手段、１０６：第１表示手段、１０７：第２表示手段、１０８：画像認識手段、１０９：変化手段、１１０：応答生成手段、１６１：表示板

構成
図１は、遠隔作業支援システム１の構成の一例を示す図である。遠隔作業支援システム１は、遠隔作業を支援するためのシステムである。なお、遠隔作業支援システム１は、遠隔作業の支援用に設計されており、例えば遠隔の人と顔を見ながら会議をするためのテレビ会議システムとは異なるものである。遠隔作業支援システム１においては、ウェアラブル端末１０が画像を撮影する機能を有し、ウェアラブル端末１０で撮影された画像が、このウェアラブル端末１０と遠隔端末２０とで共有される。この場合、遠隔端末２０のユーザーは、ウェアラブル端末１０を用いて撮影された画像を見ることにより、ウェアラブル端末１０のユーザーの状況を把握することができる。例えば所定の資格を有する指示者が遠隔端末２０を使用し、現場の作業者がウェアラブル端末１０を使用してもよい。この場合、指示者は、現場の作業者に対して遠隔から作業の指示をすることができる。なお、以下の説明では、ウェアラブル端末１０のユーザーを「第１ユーザー」といい、遠隔端末２０のユーザーを「第２ユーザー」という。

遠隔作業支援システム１は、ウェアラブル端末１０と、遠隔端末２０と、サーバー装置３０とを備える。ウェアラブル端末１０、遠隔端末２０、及びサーバー装置３０は、通信回線４０を介して接続される。ウェアラブル端末１０は、通信回線４０に無線で接続される。通信回線４０は、例えばインターネットと無線通信ネットワークとにより構成されてもよい。

図２は、ウェアラブル端末１０の外観の一例を示す図である。この例では、ウェアラブル端末１０は、第１ユーザーの頭部に装着される両眼の眼鏡型の端末である。ウェアラブル端末１０は、フレーム１９と２つの表示板１６１とを備える。フレーム１９は、２つの表示板１６１を保持する部材である。表示板１６１は、光透過性を有する板状部材であり、第１ユーザーの眼前、すなわち視界内に設けられる。第１ユーザーは、表示板１６１を介して前方の空間を見ることができる。なお、ここでいう「光透過性を有する」とは、表示板１６１を介して背後が透けて見えることを意味する。表示板１６１は、透明であってもよいし、半透明であってもよい。

図３は、ウェアラブル端末１０のハードウェア構成の一例を示す図である。ウェアラブル端末１０は、プロセッサー１１と、メモリー１２と、通信インタフェース１３と、ストレージ１４と、入力装置１５と、表示装置１６と、カメラ１７とを備える。これらの装置は、バス１８を介して接続される。

プロセッサー１１は、プログラムをメモリー１２に読み出して実行することにより、各種の制御や処理を行う。プロセッサー１１としては、例えばＣＰＵ（Central Processing Unit）が用いられてもよい。メモリー１２は、プロセッサー１１により実行されるプログラムを記憶する。メモリー１２としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせが用いられてもよい。通信インタフェース１３は、通信回線４０に接続され、所定の無線通信規格に従ってデータ通信を行う。ストレージ１４は、各種のデータ及びプログラムを記憶する。ストレージ１４としては、例えばフラッシュメモリーが用いられてもよい。

入力装置１５は、ウェアラブル端末１０の操作に用いられる。入力装置１５としては、例えばキーが用いられてもよい。表示装置１６は、上述した表示板１６１上に各種の情報を表示する。表示装置１６は、例えば表示板１６１と、表示板１６１上に画像を投影するプロジェクターとにより構成されてもよい。表示板１６１上に画像が表示された場合、ユーザーは、前方の空間とともに、表示板１６１上に表示された画像を見ることができる。

カメラ１７は、撮像素子と光学系とを備え、光学系により被写体の画像を撮像素子上に結像させることにより、被写体の画像を撮影する。カメラ１７としては、例えばデジタルカメラが用いられる。カメラ１７は、ユーザーの視界に沿って画像を撮影し得る位置及び向きに設置される。

図４は、遠隔端末２０のハードウェア構成の一例を示す図である。遠隔端末２０は、例えばパーソナルコンピューターであってもよい。遠隔端末２０は、プロセッサー２１と、メモリー２２と、通信インタフェース２３と、ストレージ２４と、入力装置２５と、表示装置２６と、マイクロフォン２７を備える。これらの装置は、バス２８を介して接続される。

プロセッサー２１は、プログラムをメモリー２２に読み出して実行することにより、各種の制御や処理を行う。プロセッサー２１としては、例えばＣＰＵが用いられてもよい。メモリー２２は、プロセッサー２１により実行されるプログラムを記憶する。メモリー２２としては、例えばＲＯＭ、ＲＡＭ、又はこれらの組み合わせが用いられてもよい。通信インタフェース２３は、通信回線４０に接続され、所定の通信規格に従ってデータ通信を行う。ストレージ２４は、各種のデータ及びプログラムを記憶する。ストレージ２４としては、例えばハードディスク、フラッシュメモリー、又はこれらの組み合わせが用いられてもよい。

入力装置２５は、遠隔端末２０の操作に用いられる。入力装置２５としては、例えばキーボード及びマウス、タッチパネルを構成するタッチセンサー、又はこれらの組み合わせが用いられてもよい。表示装置２６は、各種の情報を表示する。表示装置２６としては、例えば液晶ディスプレイが用いられてもよい。マイクロフォン２７は、音声を収集して音声データに変換する。

図５は、サーバー装置３０のハードウェア構成の一例を示す図である。サーバー装置３０は、プロセッサー３１と、メモリー３２と、通信インタフェース３３と、ストレージ３４とを備える。これらの装置は、バス３５を介して接続される。

プロセッサー３１は、プログラムをメモリー３２に読み出して実行することにより、各種の制御や処理を行う。プロセッサー３１としては、例えばＣＰＵが用いられてもよい。メモリー３２は、プロセッサー３１により実行されるプログラムを記憶する。メモリー３２としては、例えばＲＯＭ、ＲＡＭ、又はこれらの組み合わせが用いられてもよい。通信インタフェース３３は、通信回線４０に接続され、所定の通信規格に従ってデータ通信を行う。ストレージ３４は、各種のデータ及びプログラムを記憶する。ストレージ３４としては、例えばハードディスク、フラッシュメモリー、又はこれらの組み合わせが用いられてもよい。

図６は、遠隔作業支援システム１の機能構成の一例を示す図である。遠隔作業支援システム１は、画像取得手段１０１と、受付手段１０２と、音声認識手段１０３と、オブジェクト生成手段１０４と、画面共有手段１０５と、第１表示手段１０６と、第２表示手段１０７と、画像認識手段１０８と、変化手段１０９と、応答生成手段１１０として機能する。

この例では、画像取得手段１０１と第１表示手段１０６とは、ウェアラブル端末１０に実装される。これらの機能は、メモリー１２に記憶されたプログラムと、プログラムを実行するプロセッサー１１との協働により実現される。受付手段１０２と第２表示手段１０７とは、遠隔端末２０に実装される。これらの機能は、メモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１との協働により実現される。音声認識手段１０３と、オブジェクト生成手段１０４と、画面共有手段１０５と、画像認識手段１０８と、変化手段１０９と、応答生成手段１１０とは、サーバー装置３０に実装される。これらの機能は、メモリー３２に記憶されたプログラムと、プログラムを実行するプロセッサー３１との協働により実現される。

画像取得手段１０１は、カメラ１７により撮影された画像を取得する。画面共有手段１０５は、画像取得手段１０１により取得された画像を、ウェアラブル端末１０と遠隔端末２０とで画面共有する。受付手段１０２は、第２ユーザーによりこの画像に対する指示が音声で行われると、マイクロフォン２７により収集されたこの音声を示す音声データの入力を受け付ける。音声認識手段１０３は、受付手段１０２により受け付けられた音声データを解析することにより、第２ユーザーの音声の内容を認識する。この音声の内容の認識には、周知の音声認識技術が用いられてもよい。オブジェクト生成手段１０４は、音声認識手段１０３により認識された音声の内容に基づいて、仮想オブジェクトを生成する。この仮想オブジェクトは、例えば音声の内容が記載されたものであってもよい。

第１表示手段１０６は、ウェアラブル端末１０に、画像取得手段１１１により取得された画像と、オブジェクト生成手段１０４により生成された仮想オブジェクトとを重ねて表示する。この表示は、ＡＲ（Augmented Reality）技術を利用して行われてもよい。第２表示手段１０７は、遠隔端末２０に、画像取得手段１１１により取得された画像と、オブジェクト生成手段１０４により生成された仮想オブジェクトとを重ねて表示する。

画像認識手段１０８は、画像取得手段１１１により取得された画像を解析して第１ユーザーの指の状態を認識する。この状態には、指の動き、形状、又は位置が含まれる。例えば第１ユーザーは、表示板１６１を介して見える指を用いて仮想オブジェクトに対する操作を行ってもよい。この操作は、例えば仮想オブジェクトを移動若しくは回転させ、又は仮想オブジェクトに接触するジェスチャー操作であってもよい。

仮想オブジェクトに対する操作は、画像取得手段１０１により撮影された画像と第１表示手段１０６により表示された仮想オブジェクトとに基づいて認識される。例えば、第１ユーザーの視点位置から見た画像になるように、画像取得手段１０１により撮影された画像の座標が変換される。そして、第１ユーザーの視界が再現されるように、変換後の画像に仮想オブジェクトが合成され合成画像が生成される。この合成画像における第１ユーザーの指と仮想オブジェクトとの位置関係と、第１ユーザーの指の状態とに基づいて、仮想オブジェクトに対する操作が認識される。

変化手段１０９は、画像認識手段１０８により認識された状態に基づいて、第１表示手段１０６及び第２表示手段１０７による仮想オブジェクトの表示を変化させる。例えば、変化手段１０９は、仮想オブジェクトの表示を変化させるための制御情報を送信することにより、仮想オブジェクトの表示を変化させてもよい。他の例において、変化手段１０９は、変化後の仮想オブジェクトを示す画像データを送信してもよい。応答生成手段１１０は、仮想オブジェクトの表示と画像認識手段１０８により認識された指の状態とに基づいて、応答情報を生成する。なお、仮想オブジェクトの表示及び指の状態と、応答情報の内容との対応関係は、予め定められていてもよい。応答生成手段１１０により応答情報が生成されると、第２表示手段１０７は、さらにこの応答情報を表示する。

なお、以下の説明において、ウェアラブル端末１０を処理の主体として記載する場合には、具体的にはメモリー１２に記憶されたプログラムと、プログラムを実行するプロセッサー１１との協働によりこの処理が実行されることを意味する。遠隔端末２０及びサーバー装置３０についても同様である。

動作
図７は、遠隔作業支援システム１の動作を示すシーケンスチャートである。ここでは、第１ユーザーが作業現場で作業をする作業者であり、第２ユーザーが、遠隔にいる指示者である場合を想定する。この場合、作業者がウェアラブル端末１０を装着し、指示者が遠隔端末２０を使用して作業者に対して遠隔から作業の指示を行う。なお、ここでいう「遠隔」とは、別の場所であることを意味し、必ずしも遠く離れている必要はない。

この場合、作業者は、カメラ１７を用いて作業現場の画像を撮影する。この画像は、動画であってもよいし、連続する静止画であってもよい。画像取得手段１１１は、カメラ１７により撮影された画像２００（以下、「撮像画像２００」という。）を取得する。ウェアラブル端末１０は、この撮像画像２００を示す画像データをサーバー装置３０に送信する。サーバー装置３０は、ウェアラブル端末１０から画像データを受信する。画面共有手段１０５は、この画像データをウェアラブル端末１０及び遠隔端末２０に送信する。ウェアラブル端末１０及び遠隔端末２０は、それぞれ、サーバー装置３０から画像データを受信する。第１表示手段１０６は、この画像データに応じた撮像画像２００を表示装置１６に表示する。また、第２表示手段１０７は、この画像データに応じた撮像画像２００を表示装置２６に表示する。これにより、ウェアラブル端末１０と遠隔端末２０との間で画面共有が行われる。指示者は、表示装置２６に表示された撮像画像２００を見ることにより作業者の作業の状況を把握し、音声により作業者に作業の指示を行う。指示者が音声により指示を行うと、ステップＳ１０１の処理が開始される。

ステップＳ１０１において、マイクロフォン２７は、指示者の音声を収集して、音声データに変換する。ここでは、指示者により「右側を撮影してください」という音声が発せられた場合を想定する。この場合、この音声が収集されて音声データに変換される。受付手段１０２は、変換により得られた音声データを受け付ける。

ステップＳ１０２において、遠隔端末２０は、この音声データをサーバー装置３０に送信する。サーバー装置３０は、遠隔端末２０から音声データを受信する。

ステップＳ１０３において、音声認識手段１０３は、この音声データを解析することにより、音声の内容を認識し、文字データに変換する。この例では、「右側を撮影してください」という音声の内容が文字データに変換される。この文字データは、指示情報として用いられる。

ステップＳ１０４において、オブジェクト生成手段１０４は、この指示情報に基づいて、仮想オブジェクト２１０を生成する。

図８は、仮想オブジェクト２１０の一例を示す図である。仮想オブジェクト２１０は、「右側を撮影してください」という指示情報２１１が含まれる。また、仮想オブジェクト２１０には、図中のＸ方向に向かう矢印２１２と、「ＹＥＳ」という応答情報２１３とが記載される。この応答情報２１３は、矢印２１２に対応する位置に配置される。これは、仮想オブジェクト２１０を図中のＸ方向に移動させることにより、「ＹＥＳ」という応答が行われることを示す。さらに、仮想オブジェクト２１０には、図中の−Ｘ方向に向かう矢印２１４と、「ＮＯ」という応答情報２１５とが記載される。これは、仮想オブジェクト２１０を図中の−Ｘ方向に移動させることにより、「ＮＯ」という応答が行われることを示す。なお、図８に示す例では、仮想オブジェクト２１０は四角形であるが、他の形状であってもよい。

ステップＳ１０５及びＳ１０６において、画面共有手段１０５は、ステップＳ１０４において生成された仮想オブジェクト２１０を示す画像データを、ウェアラブル端末１０及び遠隔端末２０にそれぞれ送信する。ただし、遠隔端末２０には、上述したステップＳ１０３において得られた「右側を撮影してください」という指示情報が画像データとともに送信される。ウェアラブル端末１０及び遠隔端末２０は、それぞれ、サーバー装置３０から画像データを受信する。

ステップＳ１０７において、第１表示手段１０６は、この画像データに応じた仮想オブジェクト２１０を表示装置１６に表示する。より具体的には、仮想オブジェクト２１０は表示板１６１上に表示される。

図９は、表示装置１６に表示される画面２２０の一例を示す図である。画面２２０には、は、撮像画像２００と仮想オブジェクト２１０とが含まれる。仮想オブジェクト２１０は、撮像画像２００の上に重ねて表示される。これにより、作業者は、現実の作業現場上に、仮想オブジェクト２１０が現れたように見える。

ステップＳ１０８において、第２表示手段１０７は、第１表示手段１０６と同様に、サーバー装置３０から受信した画像データに応じた仮想オブジェクト２１０を表示装置２６に表示する。

図１０は、表示装置２６に表示される画面２３０の一例を示す図である。画面２３０は、表示領域２３１とトーク領域２３２とを有する。表示領域２３１には、撮像画像２００と仮想オブジェクト２１０とが含まれる。仮想オブジェクト２１０は、撮像画像２００の上に重ねて表示される。トーク領域２３２には、「右側を撮影してください」という指示情報が表示される。

作業者は、図９に示す画面２２０を見て、指示者の指示に対する応答を行う。図９に示す例では、仮想オブジェクト２１０を図中の矢印Ｘ方向に指で移動させるジェスチャーと、「ＹＥＳ」という応答とが対応付けられている。また、仮想オブジェクト２１０を図中の矢印−Ｘ方向に指で移動させるジェスチャーと、「ＮＯ」という応答とが対応付けられている。すなわち、図中の矢印Ｘ方向への移動方向に対して「ＹＥＳ」という応答、図中の矢印−Ｘ方向への移動方向に対して「ＮＯ」という応答が予め定められている。

例えば指示者の指示に対して「ＹＥＳ」と応答する場合、作業者は、図９に示すように、カメラ１７の前において、仮想オブジェクト２１０を図中の矢印Ｘ方向に指で移動させるジェスチャーを行う。より具体的には、作業者は、仮想オブジェクト２１０と所定の関係を有する位置から図中の矢印Ｘ方向に指を移動させる。この仮想オブジェクト２１０に対応する位置は、例えば作業者の視界において仮想オブジェクト２１０と重なる位置である。

ステップＳ１０９において、カメラ１７により作業者の指を含む画像が撮影される。画像取得手段１０１は、カメラ１７により撮影された画像を取得する。

ステップＳ１１０において、ウェアラブル端末１０は、この画像を示す画像データをサーバー装置３０に送信する。サーバー装置３０は、ウェアラブル端末１０から画像データを受信する。

ステップＳ１１１において、画像認識手段１０８は、この画像データを解析することにより、作業者により行われたジェスチャーを認識する。この例では、仮想オブジェクト２１０を指で図中の矢印Ｘ方向に移動させるジェスチャーが認識される。より具体的には、仮想オブジェクト２１０と所定の関係を有する位置から図中の矢印Ｘ方向に移動する指の動きが認識される。

ステップＳ１１２及びＳ１１３において、変化手段１０９は、ステップＳ１１１において認識された状態に基づいて、表示装置１６及び表示装置２６における仮想オブジェクト２１０の表示を変化させる制御情報をウェアラブル端末１０及び遠隔端末２０にそれぞれ送信する。ウェアラブル端末１０及び遠隔端末２０は、それぞれ、サーバー装置３０から制御情報を受信する。

ステップＳ１１４及びＳ１１５において、第１表示手段１０６及び第２表示手段１０７は、それぞれ、この制御情報に応じて仮想オブジェクト２１０の表示を変化させる。

図１１は、表示装置２６における仮想オブジェクト２１０の表示を変化の一例を示す図である。仮想オブジェクト２１０は、作業者の指の動きに従って、図中の矢印Ｘ方向に移動する。画面２２０の図中の矢印Ｘ方向の端に到達すると、仮想オブジェクト２１０は、移動に伴って画面２２０からはみ出る部分が徐々に非表示となっていく。このように、仮想オブジェクト２１０の表示は、図中の矢印Ｘ方向に沿って画面２２０の外に出ていくように移動する。表示装置１６における仮想オブジェクト２１０の表示についても、同様に変化する。

ステップＳ１１６において、応答生成手段１１０は、ステップＳ１１１において認識された状態に基づいて応答情報を生成する。この例では、図９中の矢印Ｘ方向に移動する指の動きに対応する「ＹＥＳ」という応答情報が生成される。

ステップＳ１１７において、サーバー装置３０は、ステップＳ１１６において生成された応答情報を遠隔端末２０に送信する。遠隔端末２０は、サーバー装置３０から応答情報を受信する。

ステップＳ１１８において、第２表示手段１０７は、この応答情報を表示装置２６に表示する。この応答情報は、指示情報と対応する位置に表示される。この例では、図１１に示すように、トーク領域２３２の「右側を撮影してください」という指示情報に対応する位置に、「ＹＥＳ」という応答情報が表示される。

指示者は、仮想オブジェクト２１０の表示の変化及び応答情報の表示を見ることにより、「右側を撮影してください」という指示に対する作業者の応答が「ＹＥＳ」であることを認識することができる。

なお、上述したステップＳ１１２〜Ｓ１１５の処理とステップＳ１１６〜Ｓ１１８の処理とは、並行して行われてもよいし、これらの処理が逆の順序、すなわちステップＳ１１６〜Ｓ１１８の処理の後にステップＳ１１２〜Ｓ１１５の処理という順序で行われてもよい。

以上説明した実施形態によれば、遠隔端末２０を使用する第２ユーザーの指示は、仮想オブジェクト２１０を用いてウェアラブル端末１０を使用する第１ユーザーに伝達される。また、この指示に対する第１ユーザーの応答は、仮想オブジェクト２１０の表示の変化及び応答情報により第２ユーザーに伝達される。これにより、ウェアラブル端末１０を使用するユーザーが音声による遠隔作業支援を受け難い環境下にいる場合であっても、円滑な遠隔作業支援を実現することができる。

変形例
本発明は上述した実施形態に限定されず、種々の変形がなされてもよい。また、以下の変形例は、上述した各実施形態と組み合わせて実施されてもよいし、他の変形例と組み合わせて実施されてもよい。

変形例１
上述した実施形態では、仮想オブジェクト２１０を例示して説明したが、本発明に係る仮想オブジェクトは仮想オブジェクト２１０に限定されず、その内容や表示形式について様々な変形がなされてもよい。

図１２は、この変形例において表示装置１６に表示される画面２４０の一例を示す図である。画面２４０には、上述した撮像画像２００の他に、仮想オブジェクト２４１が含まれる。この仮想オブジェクト２４１は、撮像画像２００の上に重ねて表示される。仮想オブジェクト２４１には、上述した仮想オブジェクト２１０と同様に矢印２１２及び応答情報２１３が記載されるものの、上述した矢印２１４及び応答情報２１５は記載されていない。この場合、作業者が仮想オブジェクト２４１を図中のＸ方向に移動させるジェスチャーを行うと、上述した実施形態と同様に、指示者の指示に対して「ＹＥＳ」という応答が行われる。一方、作業者がこのジェスチャーを行わないまま所定の時間経過すると、タイムアウトし、指示者の指示に対して「ＮＯ」という応答が行われる。この場合、応答生成手段１１０は、「ＮＯ」という応答情報を生成する。表示装置２６の表示領域２３１には、表示装置１６と同様に、撮像画像２００と仮想オブジェクト２４１とが重ねて表示される。さらに、表示装置２６のトーク領域２３２には、「ＮＯ」という応答情報が表示される。

図１３は、この変形例において表示装置１６に表示される画面２５０の別の例を示す図である。画面２５０には、上述した撮像画像２００の他に、仮想オブジェクト２５１、２５２、及び２５３が含まれる。これらのオブジェクト２５１、２５２、及び２５３は、撮像画像２００の上に重ねて表示される。仮想オブジェクト２５１には、上述した仮想オブジェクト２１０と同様に、「右側を撮影してください」という指示情報が記載される。仮想オブジェクト２５２には、「ＹＥＳ」という応答情報が記載される。仮想オブジェクト２５３には、「ＮＯ」という応答情報が記載される。これらの仮想オブジェクト２５２及び２５３は、ソフトウェアキーとして機能する。この例では、仮想オブジェクト２５２をタッチするジェスチャーと、「ＹＥＳ」という応答とが対応付けられている。また、仮想オブジェクト２５３をタッチするジェスチャーと、「ＮＯ」という応答とが対応付けられている。すなわち、仮想オブジェクト２５２に対して「ＹＥＳ」という応答、仮想オブジェクト２５３に対して「ＮＯ」という応答が予め定められている。

例えば作業者の指示に対して「ＹＥＳ」と応答する場合、作業者は、仮想オブジェクト２５２をタッチするジェスチャーを行う。この場合、画像認識手段１０８は、このジェスチャーを認識する。より具体的には、画像認識手段１０８は、仮想オブジェクト２５２と所定の関係を有する指の位置を認識する。この所定の関係は、例えば作業者の視界において仮想オブジェクト２５２と重なる位置であってもよい。応答生成手段１１０は、この仮想オブジェクト２５２に対応する「ＹＥＳ」という応答情報を生成する。表示装置２６の表示領域２３１には、表示装置１６と同様に、撮像画像２００と仮想オブジェクト２５１、２５２、及び２５３とが重ねて表示される。さらに、表示装置２６のトーク領域２３２には、「ＹＥＳ」という応答情報が表示される。また、この場合、変化手段１０９は、表示装置１６及び表示装置２６に表示された仮想オブジェクト２５２の表示を変化させてもよい。例えば、変化手段１０９は、仮想オブジェクト２５２の色、形状、又は大きさを変化させてもよい。

変形例２
上述した実施形態では、「ＹＥＳ」又は「ＮＯ」という応答を例示して説明したが、本発明に係る応答は「ＹＥＳ」又は「ＮＯ」に限定されない。例えば、応答は、数値又は文字であってもよい。この場合、数値又は文字の入力用の仮想オブジェクトが用いられる。この仮想オブジェクトは、予め生成されてストレージ３４に格納されていてもよい。

図１４は、この変形例において表示装置１６に表示される画面２６０の一例を示す図である。画面２６０には、上述した撮像画像２００の他に、仮想オブジェクト２６１が含まれる。この仮想オブジェクト２６１は、撮像画像２００の上に重ねて表示される。仮想オブジェクト２６１は、ソフトウェアダイヤルとして機能する。仮想オブジェクト２６１には、「１」〜「５」までの目盛が設けられている。この例では、これらの目盛に対応する回転量と、「１」〜「５」の数値を含む応答とがそれぞれ対応付けられている。すなわち、「１」〜「５」までの目盛に対応する回転量に対して、「１」〜「５」の数値を含む応答が予め定められている。

例えば指示情報が、「対象物の厚さを教えてください」という指示を示す場合を想定する。この指示に応答するには、数値の入力が必要であるため、数値の入力に用いられる仮想オブジェクト２６１が表示装置１６及び２６に表示される。すなわち、仮想オブジェクト２６１は、指示情報に応じたものである。この場合、作業者は、例えばノギスを用いて対象物の厚さを測定する。例えば対象物の厚さが「３」である場合、作業者は、仮想オブジェクト２６１を目盛「３」まで回転させるジェスチャーを行う。より具体的には、作業者は、仮想オブジェクト２６１と所定の関係を有する領域において、初期位置に対応する位置から目盛「３」に対応する位置まで、時計回りに指を回転移動させる。この所定の関係を有する領域は、例えば仮想オブジェクト２６１の円周に沿った領域であってもよい。

この場合、画像認識手段１０８は、このジェスチャーを認識する。より具体的には、画像認識手段１０８は、仮想オブジェクト２６１と所定の関係を有する領域において時計回りに指を回転移動させる指の動きを認識する。変化手段１０９は、この指の動きに従って、表示装置１６及び２６に表示された仮想オブジェクト２６１を目盛「３」まで回転させる。応答生成手段１１０は、仮想オブジェクト２６１の回転量に対応する「３」という応答情報を生成する。表示装置２６の表示領域２３１には、表示装置１６と同様に、撮像画像２００と仮想オブジェクト２６１とが重ねて表示される。さらに、表示装置２６のトーク領域２３２には、「３」という応答情報が表示される。

他の例において、仮想オブジェクトは、ソフトウェアキーボードとして機能するものであってもよい。この場合、仮想オブジェクトは、それぞれ、複数の文字に対応する複数のキー領域を有する。作業者は、所望の文字に対応するキー領域をタッチするジェスチャーを行う。この場合、画像認識手段１０８は、このキー領域と所定の関係を有する指の位置を認識する。この所定の関係を有する位置は、例えば作業者の視界においてこのキー領域と重なる位置であってもよい。応答生成手段１１０は、このキー領域に対応する文字を含む応答情報を生成する。

変形例３
上述した実施形態において、ジェスチャーを用いて様々な応答が行われてもよい。この応答には、指示者に対する要求や質問が含まれてもよい。この場合、仮想オブジェクトにはジェスチャーの一覧が含まれてもよい。

図１５は、この変形例において表示装置１６に表示される画面２７０の一例を示す図である。画面２７０には、上述した撮像画像２００の他に、仮想オブジェクト２７１が含まれる。この仮想オブジェクト２７１は、撮像画像２００の上に重ねて表示される。仮想オブジェクト２７１には、ジェスチャーの一覧が記載される。例えばこのジェスチャーの一覧には、指示者の指示に対する複数の応答候補に対応する複数のジェスチャー情報が含まれてもよい。すなわち、仮想オブジェクト２７１は、指示情報に応じたものである。各ジェスチャー情報には、ジェスチャーを文字又は画像で示す情報と、そのジェスチャーに対応する応答情報とが含まれる。作業者は、ジェスチャーの一覧により示される複数のジェスチャーの中から所望の応答情報に対応するジェスチャーを選択し、選択したジェスチャーを行う。この場合、応答生成手段１１０は、このジェスチャーに対応する応答情報を生成する。表示装置２６の表示領域２３１には、表示装置１６と同様に、撮像画像２００と仮想オブジェクト２７１とが重ねて表示される。さらに、表示装置２６のトーク領域２３２には、応答生成手段１１０により生成された応答情報が表示される。

変形例４
上述した実施形態において、遠隔端末２０からウェアラブル端末１０に３次元の仮想オブジェクトが提供されてもよい。ここでは、指示者から作業者に或る建物の３次元図面が提供される場合を想定する。この場合、遠隔端末２０は、この３次元図面を示す図面データを直接、又はサーバー装置３０を経由してウェアラブル端末１０に送信する。この場合、この図面データが指示情報として用いられてもよい。ウェアラブル端末１０は、この図面データを受信すると、受信した図面データに応じた３次元図面を仮想オブジェクト２８１として表示装置１６に表示する。

図１６は、この変形例において表示装置１６に表示される画面２８０の一例を示す図である。画面２８０には、上述した撮像画像２００の他に、仮想オブジェクト２８１が含まれる。この仮想オブジェクト２８１は、撮像画像２００の上に重ねて表示される。この仮想オブジェクト２８１は、指示情報に応じたものである。また、表示装置２６の表示領域２３１には、表示装置１６と同様に、撮像画像２００と仮想オブジェクト２８１とが重ねて表示される。例えば指示情報が、「機械室がどこか教えてください」という指示を示す場合を想定する。この場合、作業者は、機械室の場所が表示されるように仮想オブジェクト２８１を指で操作するジェスチャーを行った後、機械室の場所を指差すジェスチャーを行う。この操作するジェスチャーは、例えば仮想オブジェクト２８１を移動し又は回転移動させるジェスチャーであってもよい。この場合、変化手段１０９は、この指の動きに従って、仮想オブジェクト２８１を動かす。例えば仮想オブジェクト２８１を移動し又は回転移動させるジェスチャーである場合、仮想オブジェクト２８１が移動され又は回転移動される。また、画像認識手段１０８は、仮想オブジェクト２８１上の機械室の場所に対応する指の位置を認識する。応答生成手段１１０は、は、仮想オブジェクト２８１上の機械室の位置を示す応答情報が生成される。この場合、表示装置２６の表示領域２３１に表示された仮想オブジェクト２８１において、この応答情報により示された位置に、所定のマークが付加されてもよい。

変形例５
上述した実施形態では、指示者の音声に基づいて指示情報が生成される例について説明したが、指示情報は予め生成されていてもよい。例えば指示情報は、作業工程の確認に用いられる質問票であってもよい。この質問票には、それぞれ、複数の作業工程に対応する複数の項目が含まれる。各項目には、その作業工程において確認すべき事項が質問形式で記述されている。この場合、遠隔端末２０は、質問票に含まれる複数の項目を示す項目データを順番に、直接又はサーバー装置３０を経由してウェアラブル端末１０に送信する。最初の項目データの送信は、作業者の操作に応じて行われてもよいし、所定の条件を満たしたときに行われてもよい。この所定の条件は、例えば所定の時刻になったという条件であってもよい。２つ目以降の項目データの送信は、１つ前の項目に対する応答が行われたときに行われてもよい。ウェアラブル端末１０は、この項目データを受信する。この場合、表示装置１６及び表示装置２６には、質問票に含まれる項目と、上述した仮想オブジェクト２６１とが表示される。

図１７は、この変形例において表示装置１６に表示される画面２９０の一例を示す図である。画面２９０には、上述した撮像画像２００と仮想オブジェクト２６１の他に、仮想オブジェクト２９１及び２９２が含まれる。これらの仮想オブジェクト２６１、２９１、及び２９２は、撮像画像２００の上に重ねて表示される。仮想オブジェクト２９１には、質問票に含まれる最初の項目が含まれる。ここでは、最初の項目が、「作業内容を何回確認しましたか？」という質問である場合を想定する。例えば作業内容を２回確認した場合、作業者は、仮想オブジェクト２６１を目盛「２」まで回転させるジェスチャーを行う。この場合、画像認識手段１０８は、上述した変形例２と同様に、このジェスチャーを認識する。変化手段１０９は、この指の動きに従って、仮想オブジェクト２６１を目盛「２」まで回転させる。応答生成手段１１０は、仮想オブジェクト２６１の回転量に対応する「２」という応答情報を生成する。この場合、仮想オブジェクト２９２内に、「２」という応答情報が記述される。表示装置２６の表示領域２３１には、表示装置１６と同様に、撮像画像２００と、仮想オブジェクト２６１と、仮想オブジェクト２９１及び２９２とが重ねて表示される。さらに、表示装置２６のトーク領域２３２には、「２」という応答情報が表示される。このようにして、最初の項目に対する応答が返されると、仮想オブジェクト２９１内に２つ目の項目が記述される。この処理は、例えば質問票に含まれる全ての項目に対する応答が返されるまで繰り返される。

変形例６
上述した実施形態において、１人の指示者が複数の作業者に対して作業の指示を行ってもよい。この場合、複数のウェアラブル端末１０が設けられる。これらのウェアラブル端末１０は、複数の作業者によりそれぞれ装着される。

図１８は、この変形例において表示装置２６に表示される画面３００の一例を示す図である。画面３００は、上述した表示領域２３１と同様の表示領域３０１と、上述したトーク領域２３２と同様のトーク領域３０２とを有する。表示領域３０１には、複数のウェアラブル端末１０において撮影された複数の撮像画像２００、２０１、及び２０２が含まれる。この場合、応答生成手段１１０は、複数の作業者について複数の応答情報を生成する。表示装置２６のトーク領域２３２には、これらの応答情報が表示される。これらの応答情報は、互いに異なる表示形式で表示される。例えばこれらの応答情報は、色、形状、又は大きさが互いに異なっていてもよい。また、各応答情報には、対応する作業者に関する作業者情報が付加されてもよい。この作業者情報は、例えば作業者の顔画像であってもよい。

変形例７
上述した実施形態において、ウェアラブル端末１０、遠隔端末２０、又はサーバー装置３０において、撮像画像２００と仮想オブジェクト２１０との合成画像が生成されてもよい。この場合、撮像画像２００と仮想オブジェクト２１０とは、作業者の視界を再現するような位置及び大きさで合成されてもよい。また、仮想オブジェクト２１０は、作業者の操作により、大きさ、位置、又は角度が変更されてもよい。

変形例８
上述した実施形態において、音声以外の手段により指示者の指示が入力されてもよい。この場合、音声認識手段１０３は、設けられなくてもよい。例えば作業者は、入力装置２５を用いて指示を示す文字データを入力してもよい。この場合、受付手段１０２は、この文字データの入力を受け付ける。オブジェクト生成手段１０４は、この文字データに基づいて、仮想オブジェクトを生成する。他の例として、複数の指示を示すスタンプ画像が準備されている場合には、作業者は、入力装置２５を用いてこれらのスタンプ画像の中から所望の指示を示すスタンプ画像を選択してもよい。この場合、この場合、受付手段１０２は、選択されたスタンプ画像を示す画像データの入力を受け付ける。オブジェクト生成手段１０４は、この画像データに基づいて、仮想オブジェクトを生成する。すなわち、撮像画像２００に対する指示情報は、第２ユーザーの音声を示す音声データであってもよいし、第２ユーザーの操作により入力された文字データ又は画像データであってもよい。

変形例９
上述した実施形態において、カメラ１７により撮影される対象は、第１ユーザーの前方の空間に限定されない。カメラ１７により撮影される対象は、第１ユーザーの周囲であればよい。また、仮想オブジェクト２１０は、予め生成されて、ストレージ１４、ストレージ２４、及びストレージ３４のうちの少なくともいずれかに格納されていてもよい。この場合、オブジェクト生成手段１０４は設けられなくてもよい。さらに、作業者は、頭や足等、指以外の体の部位を用いてジェスチャーを行ってもよい。

変形例１０
上述した実施形態では、本発明に係るウェアラブル端末が、両眼の眼鏡型のウェアラブル端末１０である例について説明したが、ウェアラブル端末はこの例に限定されない。例えばウェアラブル端末は、片眼の眼鏡型のウェアラブル端末であってもよいし、ヘッドマウント型のウェアラブル端末であってもよい。

変形例１１
上述した実施形態において、ウェアラブル端末１０の機能を実現するためのプログラムは、単一のプロセッサー１１により実行されてもよいし、２以上のプロセッサー１１により同時又は逐次に実行されてもよい。遠隔端末２０及びサーバー装置３０についても同様である。

変形例１２
上述した実施形態において説明した遠隔作業支援システム１の機能を実装する主体は、例示に過ぎず、これに限定されない。例えばサーバー装置３０の機能の少なくとも一部を、ウェアラブル端末１０、遠隔端末２０、又はその両方が有してもよい。例えば、遠隔端末２０が、上述した音声認識手段１０３と、オブジェクト生成手段１０４と、画面共有手段１０５として機能するとともに、ウェアラブル端末１０が、上述した画面共有手段１０５、画像認識手段１０８と、変化手段１０９と、応答生成手段１１０として機能してもよい。この場合、サーバー装置３０は、ウェアラブル端末１０と遠隔端末２０との間でデータを中継するだけの機能を有していてもよい。或いは、サーバー装置３０を設けなくてもよい。

変形例１３
遠隔作業支援システム１において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。また、本発明は、遠隔作業支援システム１において行われる処理のステップを備える遠隔作業支援方法として提供されてもよい。

変形例１４
本発明は、ウェアラブル端末１０、遠隔端末２０、又はサーバー装置３０において実行されるプログラムとして提供されてもよい。これらのプログラムは、インターネット等のネットワークを介してダウンロードされてもよい。また、これらのプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリーなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。

変形例１５
上述した実施形態において、ウェアラブル端末１０又は遠隔端末２０において、仮想オブジェクト２１０と撮像画像２００とが合成されてもよい。ウェアラブル端末１０において合成が行われる場合、遠隔端末２０からウェアラブル端末１０に指示情報が入力される。ウェアラブル端末１０は、この指示情報に応じた仮想オブジェクトと撮像画像２００とを合成した合成画像を生成し、この合成画像を表示装置１６に表示する。一方、遠隔端末２０において合成が行われる場合、遠隔端末２０は、第２ユーザーにより入力された指示情報に応じた仮想オブジェクト２１０と撮像画像２００とを合成した合成画像を生成し、この合成画像を示す合成画像データをウェアラブル端末１０に送信する。ウェアラブル端末１０は、遠隔端末２０から受信した合成画像データに応じた合成画像を表示装置１６に表示する。ウェアラブル端末１０において合成が行われる場合と遠隔端末２０において合成が行われる場合とを比較すると、前者の場合には合成画像データの送信が発生しないため、データの転送速度が速くなる。

Claims

遠隔作業を支援するために、ウェアラブル端末で撮影された画像を、当該ウェアラブル端末と遠隔端末とで共有する遠隔作業支援システムであって、
前記ウェアラブル端末で撮影された画像を取得する画像取得手段と、
前記画像を、前記ウェアラブル端末と前記遠隔端末とで画面共有する画面共有手段と、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付手段と、
前記ウェアラブル端末上に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示させる第１表示手段と、
前記遠隔端末上に、前記画像と、前記仮想オブジェクトと、を重ねて表示させる第２表示手段と、
前記画像を解析して体の指の状態を認識する画像認識手段と、
前記画像認識手段により前記仮想オブジェクトと所定の関係を有する位置から移動する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトが移動するように、前記第１表示手段及び前記第２表示手段よる前記仮想オブジェクトの表示を変化させる変化手段と、
前記仮想オブジェクトの移動方向に対して定められた応答情報を生成する応答生成手段とを備え、
前記第２表示手段は、さらに、前記応答生成手段により生成された前記応答情報を表示させる
遠隔作業支援システム。
前記指示情報は、前記遠隔端末のユーザーの音声を示す音声データであり、
前記音声データを解析することにより、前記音声の内容を認識する音声認識手段をさらに備え、
前記仮想オブジェクトは、前記認識された音声の内容に応じて生成される
請求項１に記載の遠隔作業支援システム。
前記第１表示手段及び前記第２表示手段は、それぞれ、前記指示情報に応じた複数の仮想オブジェクトを表示させ、
前記応答生成手段は、前記画像認識手段により前記複数の仮想オブジェクトのいずれかのオブジェクトと所定の関係を有する前記指の位置が認識された場合、前記オブジェクトに対して定められた応答情報を生成する
請求項１又は２に記載の遠隔作業支援システム。
前記変化手段は、前記画像認識手段により前記仮想オブジェクトと所定の関係を有する領域において回転移動する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトを回転させ、
前記応答生成手段は、前記仮想オブジェクトの回転量に対して定められた応答情報を生成する
請求項１又は２に記載の遠隔作業支援システム。
前記仮想オブジェクトは、前記指の複数の状態の一覧を示し、
前記応答生成手段は、前記画像認識手段により前記複数の状態のいずれかの状態が認識された場合、前記認識された状態に対して定められた応答情報を生成する
請求項１又は２に記載の遠隔作業支援システム。
複数のユーザーが複数のウェアラブル端末をそれぞれ使用し、
前記複数のウェアラブル端末には、それぞれ前記第１表示手段が設けられ、
前記応答生成手段は、前記複数のユーザーについて複数の応答情報をそれぞれ生成し、
前記第２表示手段は、前記複数の応答情報を互いに異なる表示形式で表示させる
請求項１から５のいずれか１項に記載の遠隔作業支援システム。
前記仮想オブジェクトは、３次元の仮想オブジェクトであり、
前記変化手段は、前記画像認識手段により前記仮想オブジェクトを操作する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトを変化させる
請求項１から６のいずれか１項に記載の遠隔作業支援システム。
前記ウェアラブル端末はユーザーの頭部に装着され、
前記第１表示手段は、前記ユーザーの視界内に設けられた光透過性を有する表示板上に前記画像及び前記仮想オブジェクトを表示させ、
前記ユーザーは、前記表示板を介して見える前記指を用いて前記仮想オブジェクトに対する操作を行う
請求項１から７のいずれか１項に記載の遠隔作業支援システム。
遠隔作業を支援するために、複数のユーザーによりそれぞれ使用される複数のウェアラブル端末で撮影された画像を、前記複数のウェアラブル端末の各々と遠隔端末とで共有する遠隔作業支援システムであって、
前記複数のウェアラブル端末の各々で撮影された画像を取得する画像取得手段と、
前記画像を、前記複数のウェアラブル端末の各々と前記遠隔端末とで画面共有する画面共有手段と、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付手段と、
前記複数のウェアラブル端末にそれぞれ設けられ、前記複数のウェアラブル端末の各々の上に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示させる第１表示手段と、
前記遠隔端末上に、前記画像と、前記仮想オブジェクトと、を重ねて表示させる第２表示手段と、
前記画像を解析して体の部位の状態を認識する画像認識手段と、
前記認識された状態に基づいて、前記第１表示手段及び前記第２表示手段による前記仮想オブジェクトの表示を変化させる変化手段と、
前記画像認識手段により認識された前記状態と前記仮想オブジェクトの表示とに基づいて、前記複数のユーザーについて複数の応答情報をそれぞれ生成する応答生成手段とを備え、
前記第２表示手段は、さらに、前記応答生成手段により生成された前記複数の応答情報を互いに異なる表示形式で表示させる
遠隔作業支援システム。
遠隔作業を支援するために、ウェアラブル端末で撮影された画像を、当該ウェアラブル端末と遠隔端末とで画面共有する遠隔作業支援システムにおける遠隔作業支援方法であって、前記遠隔作業支援システムが、
前記ウェアラブル端末で撮影された画像を取得する画像取得ステップと、
前記画像を、前記ウェアラブル端末と前記遠隔端末とで画面共有する画面共有ステップと、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付ステップと、
前記ウェアラブル端末上に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示させる第１表示ステップと、
前記遠隔端末上に、前記画像と、前記仮想オブジェクトと、を重ねて表示させる第２表示ステップと、
前記画像を解析して体の指の状態を認識する画像認識ステップと、
前記仮想オブジェクトと所定の関係を有する位置から移動する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトが移動するように、前記第１表示ステップ及び前記第２表示ステップによる前記仮想オブジェクトの表示を変化させる変化ステップと、
前記仮想オブジェクトの移動方向に対して定められた応答情報を生成する応答生成ステップと、
前記遠隔端末上に、前記生成された応答情報を表示させる第３表示ステップと、
を実行する遠隔作業支援方法。
遠隔作業を支援するために、複数のユーザーによりそれぞれ使用される複数のウェアラブル端末で撮影された画像を、前記複数のウェアラブル端末の各々と遠隔端末とで共有する遠隔作業支援システムにおける遠隔作業支援方法であって、前記遠隔作業支援システムが、
前記複数のウェアラブル端末の各々で撮影された画像を取得する画像取得ステップと、
前記画像を、前記複数のウェアラブル端末の各々と前記遠隔端末とで画面共有する画面共有ステップと、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付ステップと、
前記複数のウェアラブル端末の各々の上に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示させる第１表示ステップと、
前記遠隔端末上に、前記画像と、前記仮想オブジェクトと、を重ねて表示させる第２表示ステップと、
前記画像を解析して体の部位の状態を認識する画像認識ステップと、
前記認識された状態に基づいて、前記第１表示ステップ及び前記第２表示ステップによる前記仮想オブジェクトの表示を変化させる変化ステップと、
前記認識された状態と前記仮想オブジェクトの表示とに基づいて、前記複数のユーザーについて複数の応答情報をそれぞれ生成する応答生成ステップと、
前記遠隔端末上に、前記生成された複数の応答情報を互いに異なる表示形式で表示させる第３表示ステップと、
を実行する遠隔作業支援方法。
遠隔作業を支援するために、ウェアラブル端末で撮影された画像を、当該ウェアラブル端末と遠隔端末とで画面共有するプログラムであって、
コンピュータに、
前記ウェアラブル端末で撮影された画像を取得する画像取得ステップと、
前記画像を、前記ウェアラブル端末と前記遠隔端末とで画面共有する画面共有ステップと、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付ステップと、
前記ウェアラブル端末に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示する第１表示ステップと、
前記遠隔端末に、前記画像と、前記仮想オブジェクトと、を重ねて表示する第２表示ステップと、
前記画像を解析して体の指の状態を認識する画像認識ステップと、
前記仮想オブジェクトと所定の関係を有する位置から移動する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトが移動するように、前記第１表示ステップ及び前記第２表示ステップによる前記仮想オブジェクトの表示を変化させる変化ステップと、
前記仮想オブジェクトの移動方向に対して定められた応答情報を生成する応答生成ステップと、
前記遠隔端末に、前記生成された応答情報を表示する第３表示ステップと、
を実行させるためのプログラム。
遠隔作業を支援するために、複数のユーザーによりそれぞれ使用される複数のウェアラブル端末で撮影された画像を、前記複数のウェアラブル端末の各々と遠隔端末とで画面共有するプログラムであって、
コンピュータに、
前記複数のウェアラブル端末の各々で撮影された画像を取得する画像取得ステップと、
前記画像を、前記複数のウェアラブル端末の各々と前記遠隔端末とで画面共有する画面共有ステップと、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付ステップと、
前記複数のウェアラブル端末の各々に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示する第１表示ステップと、
前記遠隔端末に、前記画像と、前記仮想オブジェクトと、を重ねて表示する第２表示ステップと、
前記画像を解析して体の部位の状態を認識する画像認識ステップと、
前記認識された状態に基づいて、前記第１表示ステップ及び前記第２表示ステップによる前記仮想オブジェクトの表示を変化させる変化ステップと、
前記認識された状態と前記仮想オブジェクトの表示とに基づいて、前記複数のユーザーについて複数の応答情報をそれぞれ生成する応答生成ステップと、
前記遠隔端末に、前記生成された複数の応答情報を互いに異なる表示形式で表示する第３表示ステップと、
を実行させるためのプログラム。