JP6582626B2 - 送信制御方法、表示端末および送信制御プログラム - Google Patents

Description

本発明は、送信制御方法、表示端末および送信制御プログラムに関する。

ＡＲ（Augmented Reality、拡張現実）技術を用い、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、そのマーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている（例えば、特許文献１等を参照。）。

このような技術の用途の一つとして、プラントやビル等の設備の点検作業等において、設備の所定箇所に予め貼り付けられたＡＲマーカ（基準物）に基づき、所定の手順等が定められていることを示すＡＲコンテンツのオブジェクトをカメラ画像に重畳して表示し、作業を支援することが行われている。作業者は、オブジェクトの示す手順等の詳細を知りたい場合、オブジェクトを選択して確定する操作を行うことで、作業時の注意事項や設備の詳細情報等が表示される。

更に、作業者による現場での作業が適正に行われているかを遠隔のオフィスにいる管理者がチェックして適切な支援（遠隔支援）が行えるように、作業者の端末においてカメラの画像を録画し、動画ファイルをサーバに送信し、管理者がサーバから動画ファイルを受信して確認することも行われている。なお、動画ファイルとしているのは、作業の現場はデータ通信が行えないオフライン環境であることが多いため、作業中は録画を行い、作業後にデータ通信が行えるオンライン環境に入った場合にまとめて送信を行えるようにするためである。

特開２０１２−１０３７８９号公報

上述したように、作業の現場ではＡＲ技術を用い、作業者はカメラの画像に重畳されて表示されるオブジェクトを確認しながら作業を行うものであるが、遠隔支援のために送信される画像ファイルにはＡＲ技術により重畳されるオブジェクトは含まれていなかった。これは、端末においてカメラの画像とオブジェクトとを合成する処理の負荷が高く、動画のｆｐｓ（frames per second）値が高い場合は端末における安定した動作が維持できなくなるからである。そのため、端末のＯＳ（Android OS等）の提供する標準的な録画用のメソッド（サービス）を利用し、カメラの画像を録画して動画ファイルを生成して送信していた。

そのため、遠隔のオフィスの管理者は、作業者が実際に見ている画像とは異なる画像を見ることとなり、オブジェクトにより作業手順や注意点等が表示されていた場合に、それらを見ることができないため、適切なチェックや支援が行えないという問題があった。なお、動画ファイルのカメラの画像にはＡＲマーカも含まれているため、画像からＡＲマーカを抽出してオブジェクトを再現できるのではないかと思われるかもしれない。しかし、動画ファイルは伝送効率を向上させるために圧縮処理が行われているため、画質劣化によりＡＲマーカを正確に認識することは困難であり、オブジェクトの正確な再現は困難である。

そこで、一側面では、遠隔支援時における端末の負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現することのできる技術の提供を目的とする。

一つの態様では、撮像装置により撮像された複数フレームの画像の内、いずれかのフレームの画像に基準物の画像が含まれることを検出した場合に、前記いずれかのフレームの画像に、前記基準物に対応づけられたＡＲコンテンツを重畳表示する表示端末が実行する送信制御方法において、前記複数フレームの画像を格納する第１のファイルを生成し、前記複数フレームの画像の内、前記いずれかのフレームの識別情報と、前記いずれかのフレームに含まれる前記基準物に対応づけられたＡＲコンテンツと、を格納する第２のファイルを生成し、前記識別情報に基づいて前記複数フレームの画像と前記ＡＲコンテンツとの合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルとを送信する、処理を前記表示端末が実行する。

遠隔支援時における端末の負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現することができる。

一実施形態にかかるシステムの構成例を示す図である。 作業者端末のソフトウェア構成例を示す図である。 遠隔支援サーバのソフトウェア構成例を示す図である。 作業者端末のハードウェア構成例を示す図である。 遠隔支援サーバの構成例を示す図である。 第１の処理例の概要を示す図である。 第１の処理例における作業者端末の保持するデータ例を示す図である。 第１の処理例における遠隔支援サーバの保持するデータ例を示す図である。 第１の処理例における作業者端末の処理例を示すフローチャートである。 第１の処理例における動画撮影処理の例を示すフローチャートである。 ＡＲマーカの認識の例を示す図である。 第１の処理例における遠隔支援サーバの処理例を示すフローチャートである。 第２の処理例の概要を示す図である。 第２の処理例における作業者端末の保持するデータ例を示す図である。 第２の処理例における遠隔支援サーバの保持するデータ例を示す図である。 第２の処理例における作業者端末の処理例を示すフローチャートである。 第２の処理例における遠隔支援サーバの処理例を示すフローチャートである。 第３の処理例の概要を示す図である。 第３の処理例における作業者端末の保持するデータ例を示す図である。 第３の処理例における遠隔支援サーバの保持するデータ例を示す図である。 第３の処理例における動画撮影処理の例を示すフローチャートである。 第３の処理例における遠隔支援サーバの処理例を示すフローチャートである。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図１は一実施形態にかかるシステムの構成例を示す図である。図１において、作業現場では作業者が使用する作業者端末１のカメラ（撮像装置）により撮影（撮像）が行われるようになっている。撮影される視野内に設備等の各所に付されたＡＲマーカ（基準物）Ｍが含まれる場合、ＡＲ技術により作業者に対してＡＲコンテンツ（オブジェクト）の重畳表示が行われ、作業を支援する。また、作業者端末１は、作業中の撮影画像を録画し、オンライン時に動画ファイル等を遠隔支援サーバ２に送信する。

遠隔支援サーバ２は、オンライン時に作業者端末１にＡＲ表示のための基礎データを提供するとともに、作業者端末１から動画ファイル等を受信する。また、遠隔支援サーバ２は、作業者端末１から受信した動画ファイル等に基づいて、カメラ画像とＡＲコンテンツの画像との合成を行い、合成された動画ファイルをオフィスにおいて管理者が使用する管理者端末３に提供する。

図２は作業者端末１のソフトウェア構成例を示す図である。図２において、作業者端末１は、ＡＲアプリケーション１１により実現される機能として、ＡＲコンテンツ生成部１２と撮影部１３とＡＲマーカ認識部１４とＡＲコンテンツ表示部１５と動画送信部１６とを備えている。

ＡＲコンテンツ生成部１２は、オンライン環境において遠隔支援サーバ２からＡＲ表示のための基礎データを取得し、オフライン環境において表示に用いるＡＲコンテンツを事前に生成する機能を有している。撮影部１３は、カメラ機能により撮影を行い、録画が指示された場合は録画を伴う動画撮影を行う機能を有している。ＡＲマーカ認識部１４は、撮影された画像中からＡＲマーカを認識（ＡＲマーカの特定および配置の認識等）する機能を有している。ＡＲコンテンツ表示部１５は、認識されたＡＲマーカに対応するＡＲコンテンツをカメラの画像に重畳して表示する機能を有している。動画送信部１６は、録画した動画ファイル等を遠隔支援サーバ２に送信する機能を有している。

図３は遠隔支援サーバ２のソフトウェア構成例を示す図である。図３において、遠隔支援サーバ２は、ＡＲコンテンツ情報提供部２１と動画受信部２２と動画合成部２３と動画送信部２４とを備えている。

ＡＲコンテンツ情報提供部２１は、作業者端末１からの要求に応じてＡＲ表示のための基礎データ（ＡＲコンテンツ情報）を提供する機能を有している。動画受信部２２は、作業者端末１から動画ファイル等を受信する機能を有している。動画合成部２３は、作業者端末１から受信した動画ファイル等に基づいて、カメラの画像とＡＲコンテンツの画像との合成を行う機能を有している。動画送信部２４は、合成された動画ファイルをオフィスの管理者端末３に送信（管理者端末３からの要求を待って送信等）する機能を有している。

図４は作業者端末１のハードウェア構成例を示す図である。図４において、作業者端末１は、バス１００に接続された、マイク１０１とスピーカ１０２とカメラ１０３と表示部１０４と操作部１０５とセンサ部１０６と電力部１０７と無線部１０８と近距離通信部１０９と補助記憶装置１１０と主記憶装置１１１とＣＰＵ１１２とドライブ装置１１３と記録媒体１１４とを備えている。

マイク１０１は、ユーザが発した音声や、その他の音を入力する。スピーカ１０２は、通話機能を使用した際の通話相手先の音声を出力したり、着信音やアプリケーションの効果音等を出力する。カメラ１０３は、端末に予め設定された画角内の実空間の画像（動画像、静止画像）を撮影する。表示部１０４は、ユーザに対してＯＳや各種アプリケーションで設定された画面（端末のＯＳが標準提供する画面、カメラで撮影した画像、画面に投影されるＡＲのオブジェクトデータ等）を表示する。表示部１０４の画面はタッチパネルディスプレイ等でもよく、その場合はユーザが画面に対してタップ／フリック／スクロール等を行った際にその入力情報を取得する入力部としての機能も有する。

操作部１０５は、表示部１０４の画面に表示された操作ボタンや、端末の外部に設けられたボタン等である。なお、操作ボタンは電源ボタンやホームボタン、音量調節ボタン、戻るボタン等でもよい。センサ部１０６は、端末のある時点または継続的な位置や向き、動作等を検出する。例として、ＧＰＳ、加速度センサ、方位センサ、地磁気センサ、ジャイロセンサ等が挙げられる。電力部１０７は、端末の各部に対して電力を供給する。無線部１０８は、例えば、基地局（モバイルネットワーク）からの無線信号／通信データをアンテナ等を用いて受信したり、無線信号を基地局に送信する通信データの送受信部である。近距離通信部１０９は、例えば、赤外線通信やWiFi、Bluetooth（登録商標）等の近距離通信手法を利用し、他の端末等のコンピュータと近距離通信を行うことを可能とする。

補助記憶装置１１０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージである。ＣＰＵ１１２からの制御信号に基づき、アプリケーションプログラムやコンピュータに設けられた制御プログラム等を記録し、必要に応じて入出力を行う。主記憶装置１１１は、ＣＰＵ１１２からの指示により補助記憶装置１１０から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。ＣＰＵ１１２は、ＯＳ等の制御プログラム、または主記憶装置に格納されている実行プログラムに基づき、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することにより、各処理を実現する。ドライブ装置１１３は、例えば、記憶媒体等を着脱自在にセットでき、セットした記録媒体に記録された各種情報を読み込んだり、所定の情報を記録媒体に書き込むことができる。記録媒体１１４は、実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。図２に示した作業者端末１の各部の機能はＣＰＵ１１２によるプログラムの実行により実現される。プログラムは記録媒体で提供されてもよいし、ネットワーク経由で提供されてもよい。

図５は遠隔支援サーバ２の構成例を示す図である。図５において、遠隔支援サーバ２は、システムバス２０１に接続されたＣＰＵ（Central Processing Unit）２０２、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４、ＮＶＲＡＭ（Non-Volatile Random Access Memory）２０５を備えている。また、遠隔支援サーバ２は、Ｉ／Ｆ（Interface）２０６と、Ｉ／Ｆ２０６に接続された、Ｉ／Ｏ（Input/Output Device）２０７、ＨＤＤ（Hard Disk Drive）／フラッシュメモリ２０８、ＮＩＣ（Network Interface Card）２０９と、Ｉ／Ｏ２０７に接続されたモニタ２１０、キーボード２１１、マウス２１２等を備えている。Ｉ／Ｏ２０７にはＣＤ／ＤＶＤ（Compact Disk/Digital Versatile Disk）ドライブ等を接続することもできる。図３に示した遠隔支援サーバ２の各部の機能はＣＰＵ２０２によるプログラムの実行により実現される。プログラムは記録媒体で提供されてもよいし、ネットワーク経由で提供されてもよい。

＜第１の処理例＞
図６は第１の処理例の概要を示す図である。図６において、作業現場の作業者端末１は、作業の過程におけるカメラ動画のファイルとＡＲマーカ認識情報のファイルを生成し、オンライン時に遠隔支援サーバ２に送信する。遠隔支援サーバ２は、作業者端末１から受信したファイルに基づき、カメラ画像とＡＲコンテンツの画像との合成を行い、合成動画のファイルをオフィスにおいて管理者が使用する管理者端末３に提供する。

図７は第１の処理例における作業者端末１の保持するデータ例を示す図である。図７において、作業者端末１は、遠隔支援サーバ２から取得した情報に基づくＡＲコンテンツ管理テーブルと、作業者端末１内で生成するＡＲマーカ認識情報管理テーブル、カメラ動画管理テーブルおよび動画撮影状態管理テーブルとを保持している。

ＡＲコンテンツ管理テーブルは、ＡＲマーカ毎に表示するＡＲコンテンツの情報を管理するためのテーブルであり、「マーカＩＤ」「ＡＲコンテンツＩＤ」「座標値」「回転角度」「拡縮率」「テクスチャパス」等の項目を含んでいる。「マーカＩＤ」は、ＡＲマーカを識別する情報である。「ＡＲコンテンツＩＤ」は、ＡＲコンテンツを識別する情報である。「座標値」は、ＡＲコンテンツを表示する位置（認識されたＡＲマーカの位置との相対値）である。「回転角度」は、ＡＲコンテンツを表示する際に画像を回転する角度である。「拡縮率」は、ＡＲコンテンツを表示する際に画像を拡大・縮小する比率である。「テクスチャパス」は、ＡＲコンテンツの画像が保存されているパスである。

ＡＲマーカ認識情報管理テーブルは、認識されたＡＲマーカの情報を保持するためのテーブルであり、「合成対象動画ＩＤ」「フレームＩＤ」「マーカＩＤ」「認識情報」等の項目を含んでいる。「合成対象動画ＩＤ」は、ＡＲマーカに対応するＡＲコンテンツを合成する対象となるカメラ動画を識別する情報である。「フレームＩＤ」は、ＡＲマーカに対応するＡＲコンテンツを表示するカメラ画像のフレームを識別する、連番またはフレーム毎タイムスタンプ等の情報である。「マーカＩＤ」は、認識されたＡＲマーカを識別する情報である。「認識情報」は、ＡＲマーカの認識情報であり、カメラで撮影されたＡＲマーカの傾きや回転角度等を示す情報である。「−」はＡＲマーカの認識情報の取得に失敗し、認識情報が存在しないことを示している。

カメラ動画管理テーブルは、カメラ動画を管理するためのテーブルであり、「カメラ動画ＩＤ」「ファイル名」等の項目を含んでいる。「カメラ動画ＩＤ」は、カメラ動画を識別する情報である。「ファイル名」は、カメラ動画のファイル名である。

動画撮影状態管理テーブルは、カメラによる動画の撮影状態を管理するテーブルであり、「動画撮影状態」等の項目を含んでいる。「動画撮影状態」は、「true」（動画撮影中）か「false」（動画撮影停止中）となる。

図８は第１の処理例における遠隔支援サーバ２の保持するデータ例を示す図である。図８において、遠隔支援サーバ２は、自ら保持して作業者端末１に提供するＡＲコンテンツ管理テーブルと、作業者端末１からＡＲマーカ認識情報として取得した情報に基づくＡＲマーカ認識情報管理テーブルおよびカメラ動画管理テーブルとを保持している。ＡＲコンテンツ管理テーブル、ＡＲマーカ認識情報管理テーブルおよびカメラ動画管理テーブルの内容は図７に示したのと同様である。

図９は第１の処理例における作業者端末１の処理例を示すフローチャートであり、図１０は第１の処理例における動画撮影処理の例を示すフローチャートである。

図９において、作業者端末１は、処理を開始すると、ＡＲアプリケーション１１を起動する（ステップＳ１０１）。ＡＲアプリケーション１１は、起動に際し、カメラ機能も起動し、撮影部１３により録画を伴わない通常の撮影を開始する。

起動したＡＲアプリケーション１１のＡＲコンテンツ生成部１２は、オンライン環境である場合、最新のＡＲコンテンツ情報（ＡＲコンテンツ管理テーブル）等を遠隔支援サーバ２から取得し（ステップＳ１０２）、ＡＲコンテンツを生成する（ステップＳ１０３）。オンライン環境でない場合、ＡＲコンテンツ生成部１２は、以前に取得されているＡＲコンテンツ情報があれば、それに基づいてＡＲコンテンツを生成する。

次いで、ＡＲマーカ認識部１４は、撮影画像の中にＡＲマーカ（基準物）を認識するのを待機する（ステップＳ１０４）。図１１はＡＲマーカの認識の例を示す図である。すなわち、ＡＲマーカ認識部１４は、撮影画像内からＡＲマーカＭを輪郭により捕捉した上で、輪郭の内部に記録されたパターンによりＡＲマーカＩＤを特定する。そして、ＡＲマーカＭの画像の歪みにより、ＡＲマーカＭの３次元的な配置（ＡＲマーカＭの傾きや回転角度等）を認識する。

図９に戻り、ＡＲマーカを認識した場合（ステップＳ１０４のＹｅｓ）、ＡＲコンテンツ表示部１５は、ＡＲマーカに対応する既に生成済のＡＲコンテンツを撮影画像に重畳して表示する（ステップＳ１０５）。

次いで、撮影部１３は、動画撮影処理を行う（ステップＳ１０６）。動画撮影処理の詳細について、図１０に沿って説明する。

図１０において、撮影部１３は、動画撮影中であるか否かを動画撮影状態管理テーブルから判断し（ステップＳ１１１）、処理を分岐する。

動画撮影中でない場合（ステップＳ１１１のＮｏ）、撮影部１３は、作業者から動画撮影開始の入力があるか否か判断し（ステップＳ１１２）、動画撮影開始の入力がある場合（ステップＳ１１２のＹｅｓ）、カメラビューの動画撮影を開始し（ステップＳ１１３）、処理を終了する。動画撮影開始の入力がない場合（ステップＳ１１２のＮｏ）、撮影部１３は、処理を終了する。

動画撮影中である場合（ステップＳ１１１のＹｅｓ）、撮影部１３は、作業者から動画撮影停止の入力があるか否か判断する（ステップＳ１１４）。動画撮影停止の入力がある場合（ステップＳ１１４のＹｅｓ）、カメラビューの撮影を停止し、所定のファイル名を付して動画を保存し（ステップＳ１１５）、処理を終了する。保存したカメラ動画ファイルは、後にオンライン環境になった場合に、作業者の確認のもと、動画送信部１６により、ＡＲマーカ認識情報とともに遠隔支援サーバ２に送信される。

動画撮影停止の入力がない場合（ステップＳ１１４のＮｏ）、撮影部１３は、ＡＲマーカの認識情報があるか否か判断する（ステップＳ１１６）。ＡＲマーカの認識情報がある場合（ステップＳ１１６のＹｅｓ）、撮影部１３は、カメラビューの現フレームに対応するようにＡＲマーカ認識情報を保存する（ステップＳ１１７）。

図９に戻り、上述した動画撮影処理の後、または、ＡＲマーカを認識しなかった場合（ステップＳ１０４のＮｏ）、ＡＲアプリケーション１１の終了の判断（ステップＳ１０７）に移行する。

ＡＲアプリケーション１１が終了しない場合（ステップＳ１０７のＮｏ）、ＡＲマーカ認識の判断（ステップＳ１０４）に戻る。ＡＲアプリケーション１１が終了する場合（ステップＳ１０７のＹｅｓ）、ＡＲアプリケーション１１を終了する（ステップＳ１０８）。

図１２は第１の処理例における遠隔支援サーバ２の処理例を示すフローチャートである。図１２において、遠隔支援サーバ２は、処理を開始すると、サーバ（サーバ機能）を起動する（ステップＳ１２１）。

次いで、動画合成部２３は、作業者端末１から動画等（カメラ動画、ＡＲマーカ認識情報）のデータを受信したか否か判断する（ステップＳ１２２）。

動画等のデータを受信した場合（ステップＳ１２２のＹｅｓ）、動画合成部２３は、合成対象のカメラ動画とＡＲマーカ認識情報があるか否か判断する（ステップＳ１２３）。

合成対象のカメラ動画とＡＲマーカ認識情報がある場合（ステップＳ１２３のＹｅｓ）、動画合成部２３は、カメラ動画をフレームに分解し（ステップＳ１２４）、ＡＲマーカ認識情報に基づいてＡＲコンテンツを生成する（ステップＳ１２５）。そして、動画合成部２３は、ＡＲマーカ認識情報のフレームＩＤをもとにカメラ動画のフレーム毎にＡＲコンテンツを合成する（ステップＳ１２６）。そして、動画合成部２３は、合成したフレームを動画化する（ステップＳ１２７）。動画化されたファイルは管理者端末３からの要求に応じて配信され、管理者端末３において閲覧される。

上記の動画合成処理の後、または、動画等のデータを受信していない場合（ステップＳ１２２のＮｏ）もしくは合成対象のカメラ動画とＡＲマーカ認識情報がない場合（ステップＳ１２３のＮｏ）、サーバの終了の判断（ステップＳ１２８）に移行する。

サーバが終了しない場合（ステップＳ１２８のＮｏ）、動画等のデータの受信の判断（ステップＳ１２２）に戻る。サーバが終了する場合（ステップＳ１２８のＹｅｓ）、サーバを終了する（ステップＳ１２９）。

なお、上述した処理例では、作業者端末１から遠隔支援サーバ２に送信されるＡＲマーカ認識情報（ＡＲマーカ認識情報管理テーブルの内容）にＡＲコンテンツ（オブジェクト）の画像データそのものは含まれておらず、ＡＲコンテンツＩＤが間接的に画像データを示すが、ＡＲコンテンツの画像データそのものを含めてもよい。また、ＡＲマーカ認識情報の認識情報が間接的にＡＲコンテンツの表示位置を示すが、表示位置そのものをＡＲマーカ認識情報に含めてもよい。

以上説明したように、作業者端末１はカメラ動画とＡＲマーカ認識情報を遠隔支援サーバ２に送信するだけでよいため、処理負荷が問題となることはない。また、遠隔支援サーバ２は、ＡＲマーカ認識情報に基づいて正確にＡＲコンテンツを生成することができ、作業者が見ているのと同じタイミングでカメラ動画にＡＲコンテンツを合成することができる。その結果、管理者端末３で閲覧する管理者は、作業者と同じ動画を見ることができ、適切な遠隔支援を行うことができる。

＜第２の処理例＞
図１３は第２の処理例の概要を示す図である。図１３において、作業現場の作業者端末１は、作業の過程におけるカメラ動画のファイルと、ＡＲコンテンツ描画有無情報（カメラ動画のフレーム単位に、ＡＲマーカに対応するＡＲコンテンツが表示されるか否かを示す情報）を含むＡＲマーカ認識情報のファイルとを生成し、オンライン時に遠隔支援サーバ２に送信する。遠隔支援サーバ２は、作業者端末１から受信したファイルに基づき、カメラ画像とＡＲコンテンツの画像との合成を行い、合成動画のファイルをオフィスにおいて管理者が使用する管理者端末３に提供する。

図１４は第２の処理例における作業者端末１の保持するデータ例を示す図である。図１４において、作業者端末１は、遠隔支援サーバ２から取得した情報に基づくＡＲコンテンツ管理テーブルと、作業者端末１内で生成するＡＲマーカ認識情報管理テーブル、カメラ動画管理テーブルおよび動画撮影状態管理テーブルとを保持している。

ＡＲコンテンツ管理テーブルとカメラ動画管理テーブルと動画撮影状態管理テーブルは、図７に示したものと同様である。ＡＲマーカ認識情報管理テーブルは、「非描画対象ＡＲコンテンツＩＤ」の項目が加わった以外は図７に示したものと同様である。「非描画対象ＡＲコンテンツＩＤ」は、カメラ動画のフレームＩＤに対応して、マーカＩＤの示すＡＲマーカに対応するＡＲコンテンツのうちで描画対象とならないＡＲコンテンツを識別する情報である。これは、カメラ画像の中にＡＲコンテンツが含まれないことにより描画対象とならない場合のほか、ＧＰＳやビーコンによる位置情報・方位情報に基づいてＡＲ表示を行う場合に、それらの機能がオフとされていることによりＡＲ表示そのものが行われないために描画対象とならない場合も含む。

図１５は第２の処理例における遠隔支援サーバ２の保持するデータ例を示す図である。図１５において、遠隔支援サーバ２は、自ら保持して作業者端末１に提供するＡＲコンテンツ管理テーブルと、作業者端末１からＡＲマーカ認識情報として取得した情報に基づくＡＲマーカ認識情報管理テーブルおよびカメラ動画管理テーブルとを保持している。ＡＲコンテンツ管理テーブル、ＡＲマーカ認識情報管理テーブルおよびカメラ動画管理テーブルの内容は図１４に示したのと同様である。

図１６は第２の処理例における作業者端末１の処理例を示すフローチャートである。図１６において、作業者端末１は、処理を開始すると、ＡＲアプリケーション１１を起動する（ステップＳ２０１）。ＡＲアプリケーション１１は、起動に際し、カメラ機能も起動し、撮影部１３により録画を伴わない通常の撮影を開始する。

起動したＡＲアプリケーション１１のＡＲコンテンツ生成部１２は、オンライン環境である場合、最新のＡＲコンテンツ情報（ＡＲコンテンツ管理テーブル）等を遠隔支援サーバ２から取得し（ステップＳ２０２）、ＡＲコンテンツを生成する（ステップＳ２０３）。オンライン環境でない場合、ＡＲコンテンツ生成部１２は、以前に取得されているＡＲコンテンツ情報があれば、それに基づいてＡＲコンテンツを生成する。

次いで、ＡＲマーカ認識部１４は、撮影画像の中にＡＲマーカ（基準物）を認識するのを待機する（ステップＳ２０４）。

次いで、ＡＲマーカを認識した場合（ステップＳ２０４のＹｅｓ）、ＡＲコンテンツ表示部１５は、ＡＲマーカに対応する既に生成済のＡＲコンテンツを撮影画像に重畳して表示する（ステップＳ２０５）。

次いで、ＡＲコンテンツ表示部１５は、カメラ画像の中にＡＲコンテンツが含まれないか、あるいは、ＧＰＳやビーコンによる位置情報・方位情報に基づいてＡＲ表示を行う場合にそれらの機能がオフとされていることによりＡＲ表示が行われないかに基づき、ＡＲコンテンツ描画有無情報（フレーム単位の非描画対象ＡＲコンテンツＩＤ）を保存する（ステップＳ２０６）。

次いで、撮影部１３は、動画撮影処理を行う（ステップＳ２０７）。動画撮影処理の内容は図１０に示したのと同様である。

次いで、動画撮影処理の後、または、ＡＲマーカを認識しなかった場合（ステップＳ２０４のＮｏ）、ＡＲアプリケーション１１の終了の判断（ステップＳ２０８）に移行する。

ＡＲアプリケーション１１が終了しない場合（ステップＳ２０８のＮｏ）、ＡＲマーカ認識の判断（ステップＳ２０４）に戻る。ＡＲアプリケーション１１が終了する場合（ステップＳ２０８のＹｅｓ）、ＡＲアプリケーション１１を終了する（ステップＳ２０９）。

図１７は第２の処理例における遠隔支援サーバ２の処理例を示すフローチャートである。図１７において、遠隔支援サーバ２は、処理を開始すると、サーバ（サーバ機能）を起動する（ステップＳ２２１）。

次いで、動画合成部２３は、作業者端末１から動画等（カメラ動画、ＡＲマーカ認識情報）のデータを受信したか否か判断する（ステップＳ２２２）。

動画等のデータを受信した場合（ステップＳ２２２のＹｅｓ）、動画合成部２３は、合成対象のカメラ動画とＡＲマーカ認識情報があるか否か判断する（ステップＳ２２３）。

合成対象のカメラ動画とＡＲマーカ認識情報がある場合（ステップＳ２２３のＹｅｓ）、動画合成部２３は、カメラ動画をフレームに分解し（ステップＳ２２４）、ＡＲマーカ認識情報に基づいてＡＲコンテンツを生成する（ステップＳ２２５）。この際、ＡＲコンテンツ描画有無情報（フレーム単位の非描画対象ＡＲコンテンツＩＤ）に基づいて描画対象として有効でないＡＲコンテンツについては生成しない。

次いで、動画合成部２３は、ＡＲマーカ認識情報のフレームＩＤをもとにカメラ動画のフレーム毎に、ＡＲコンテンツ描画有無情報に基づいて描画対象として有効なＡＲコンテンツを合成する（ステップＳ２２６）。そして、動画合成部２３は、合成したフレームを動画化する（ステップＳ２２７）。動画化されたファイルは管理者端末３からの要求に応じて配信され、管理者端末３において閲覧される。

上記の動画合成処理の後、または、動画等のデータを受信していない場合（ステップＳ２２２のＮｏ）もしくは合成対象のカメラ動画とＡＲマーカ認識情報がない場合（ステップＳ２２３のＮｏ）、サーバの終了の判断（ステップＳ２２８）に移行する。

サーバが終了しない場合（ステップＳ２２８のＮｏ）、動画等のデータの受信の判断（ステップＳ２２２）に戻る。サーバが終了する場合（ステップＳ２２８のＹｅｓ）、サーバを終了する（ステップＳ２２９）。

以上説明したように、作業者端末１はカメラ動画とＡＲマーカ認識情報を遠隔支援サーバ２に送信するだけでよいため、処理負荷が問題となることはない。また、遠隔支援サーバ２は、ＡＲマーカ認識情報に基づいて正確にＡＲコンテンツを生成することができ、作業者が見ているのと同じタイミングでカメラ動画にＡＲコンテンツを生成することができる。その結果、管理者端末３で閲覧する管理者は、作業者と同じ動画を見ることができ、適切な遠隔支援を行うことができる。更に、ＡＲコンテンツ描画有無情報に基づいて無駄なＡＲコンテンツの生成および合成を省略でき、遠隔支援サーバ２における処理負荷を低減することができる。

＜第３の処理例＞
図１８は第３の処理例の概要を示す図である。図１８において、作業現場の作業者端末１は、作業の過程におけるカメラ動画のファイルとＡＲコンテンツ動画のファイルを生成し、オンライン時に遠隔支援サーバ２に送信する。遠隔支援サーバ２は、作業者端末１から受信したファイルに基づき、カメラ動画とＡＲコンテンツ動画の合成を行い、合成動画のファイルをオフィスにおいて管理者が使用する管理者端末３に提供する。

図１９は第３の処理例における作業者端末１の保持するデータ例を示す図である。図１９において、作業者端末１は、遠隔支援サーバ２から取得した情報に基づくＡＲコンテンツ管理テーブルと、作業者端末１内で生成するカメラ動画管理テーブル、ＡＲコンテンツ動画管理テーブルおよび動画撮影状態管理テーブルとを保持している。

ＡＲコンテンツ管理テーブルと動画撮影状態管理テーブルは、図７に示したものと同様である。カメラ動画管理テーブルは、「合成対象動画ＩＤ」の項目が追加された以外は図７に示したものと同様である。「合成対象動画ＩＤ」は、カメラ動画を合成する対象となるＡＲコンテンツ動画を識別する情報である。

ＡＲコンテンツ動画管理テーブルは、ＡＲコンテンツ動画を管理するテーブルであり、「ＡＲコンテンツ動画ＩＤ」「ファイル名」「合成対象動画ＩＤ」等の項目を含んでいる。「ＡＲコンテンツ動画ＩＤ」は、ＡＲコンテンツ動画を識別する情報である。「ファイル名」は、ＡＲコンテンツ動画のファイル名である。「合成対象動画ＩＤ」は、ＡＲコンテンツ動画を合成する対象となるカメラ動画を識別する情報である。

図２０は第３の処理例における遠隔支援サーバ２の保持するデータ例を示す図である。図２０において、遠隔支援サーバ２は、自ら保持して作業者端末１に提供するＡＲコンテンツ管理テーブルと、作業者端末１から取得したカメラ動画とＡＲコンテンツ動画の付随情報に基づくカメラ動画管理テーブルおよびＡＲコンテンツ動画管理テーブルとを保持している。ＡＲコンテンツ管理テーブル、カメラ動画管理テーブルおよびＡＲコンテンツ動画管理テーブルの内容は図１９に示したのと同様である。

第３の処理例における作業者端末１の主たる処理は、動画撮影処理を除き、図９と同様である。

図２１は第３の処理例における動画撮影処理の例を示すフローチャートである。図２１において、撮影部１３は、動画撮影中であるか否かを動画撮影状態管理テーブルから判断し（ステップＳ３１１）、処理を分岐する。

動画撮影中でない場合（ステップＳ３１１のＮｏ）、撮影部１３は、作業者から動画撮影開始の入力があるか否か判断し（ステップＳ３１２）、動画撮影開始の入力がある場合（ステップＳ３１２のＹｅｓ）、ＡＲビュー（ＡＲコンテンツ画像）とカメラビューの動画撮影を開始し（ステップＳ３１３）、処理を終了する。動画撮影開始の入力がない場合（ステップＳ３１２のＮｏ）、撮影部１３は、処理を終了する。

動画撮影中である場合（ステップＳ３１１のＹｅｓ）、撮影部１３は、作業者から動画撮影停止の入力があるか否か判断する（ステップＳ３１４）。動画撮影停止の入力がない場合（ステップＳ３１４のＮｏ）、撮影部１３は、処理を終了する。

動画撮影停止の入力がある場合（ステップＳ３１４のＹｅｓ）、撮影部１３は、ＡＲビューとカメラビューの撮影を停止し、所定のファイル名を付して動画を保存し（ステップＳ３１５）、処理を終了する。保存したカメラ動画ファイルとＡＲコンテンツ動画ファイルは、後にオンライン環境になった場合に、作業者の確認のもと、動画送信部１６により、遠隔支援サーバ２に送信される。

図２２は第３の処理例における遠隔支援サーバ２の処理例を示すフローチャートである。図２２において、遠隔支援サーバ２は、処理を開始すると、サーバ（サーバ機能）を起動する（ステップＳ３２１）。

次いで、動画合成部２３は、作業者端末１から動画等（カメラ動画、ＡＲコンテンツ動画）のデータを受信したか否か判断する（ステップＳ３２２）。

動画等のデータを受信した場合（ステップＳ３２２のＹｅｓ）、動画合成部２３は、合成対象の動画があるか否か判断する（ステップＳ３２３）。

合成対象の動画がある場合（ステップＳ３２３のＹｅｓ）、動画合成部２３は、動画をフレームに分解し（ステップＳ３２４）、フレームＩＤをもとにカメラ動画のフレームとＡＲコンテンツ動画のフレームを合成する（ステップＳ３２５）。そして、動画合成部２３は、合成したフレームを動画化する（ステップＳ３２６）。動画化されたファイルは管理者端末３からの要求に応じて配信され、管理者端末３において閲覧される。

上記の動画合成処理の後、または、動画等のデータを受信していない場合（ステップＳ３２２のＮｏ）もしくは合成対象の動画がない場合（ステップＳ３２３のＮｏ）、サーバの終了の判断（ステップＳ３２７）に移行する。

サーバが終了しない場合（ステップＳ３２７のＮｏ）、動画等のデータの受信の判断（ステップＳ３２２）に戻る。サーバが終了する場合（ステップＳ３２７のＹｅｓ）、サーバを終了する（ステップＳ３２８）。

以上説明したように、作業者端末１はカメラ動画とＡＲコンテンツ動画を合成することなく遠隔支援サーバ２に送信するだけでよいため、処理負荷が問題となることはない。また、遠隔支援サーバ２は、カメラ動画とＡＲコンテンツ動画を合成することで、作業者が見ているのと同じ動画を生成することができる。その結果、管理者端末３で閲覧する管理者は、作業者と同じ動画を見ることができ、適切な遠隔支援を行うことができる。

＜総括＞
以上説明したように、本実施形態によれば、遠隔支援時における端末の負荷を増大させることなく、遠隔支援を行う側でオブジェクトの画像を再現することができる。

以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。

カメラ１０３は「撮像装置」の一例である。ＡＲマーカは「基準物」の一例である。
カメラ動画ファイルは「第１のファイル」の一例である。フレームＩＤは「フレームの識別情報」の一例である。ＡＲコンテンツ動画ファイルは「第２のファイル」の一例である。ＡＲマーカ認識情報管理テーブル（図７）のマーカＩＤは「オブジェクトデータ」の一例である。遠隔支援サーバ２は「情報処理装置」の一例である。

以上の説明に関し、更に以下の項を開示する。
（付記１） 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御方法において、
前記複数フレームの画像を格納する第１のファイルを生成し、
前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第２のファイルを生成し、
前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記２） 前記第２のファイルの格納情報は、前記基準物の画像が含まれると判定されたフレーム内の前記オブジェクトデータの表示位置を含む、
ことを特徴とする付記１に記載の表示制御方法。
（付記３） 前記第２のファイルの格納情報は、描画対象とならない前記オブジェクトデータの情報を含む、
ことを特徴とする付記１に記載の表示制御方法。
（付記４） 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御方法において、
前記複数フレームの画像を格納する第１のファイルを生成し、
前記複数オブジェクトデータの画像を格納する第２のファイルを生成し、
前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記５） 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する情報処理装置において、
前記複数フレームの画像を格納する第１のファイルを生成する手段と、
前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第２のファイルを生成する手段と、
前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する手段と、
を備えたことを特徴とする情報処理装置。
（付記６） 前記第２のファイルの格納情報は、前記基準物の画像が含まれると判定されたフレーム内の前記オブジェクトデータの表示位置を含む、
ことを特徴とする付記５記載の情報処理装置。
（付記７） 前記第２のファイルの格納情報は、描画対象とならない前記オブジェクトデータの情報を含む、
ことを特徴とする付記５記載の情報処理装置。
（付記８） 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する情報処理装置において、
前記複数フレームの画像を格納する第１のファイルを生成する手段と、
前記複数オブジェクトデータの画像を格納する第２のファイルを生成する手段と、
前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する手段と、
を備えたことを特徴とする情報処理装置。
（付記９） 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御プログラムにおいて、
前記複数フレームの画像を格納する第１のファイルを生成し、
前記複数フレームの画像の内、前記基準物の画像が含まれると判定されたフレームの識別情報と、前記フレームに含まれる基準物に対応づけて登録されたオブジェクトデータと、を格納する第２のファイルを生成し、
前記識別情報に基づいて前記複数フレームの画像と前記オブジェクトデータとの合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する、
処理をコンピュータに実行させる表示制御プログラム。
（付記１０） 前記第２のファイルの格納情報は、前記基準物の画像が含まれると判定されたフレーム内の前記オブジェクトデータの表示位置を含む、
付記９記載の表示制御プログラム。
（付記１１） 前記第２のファイルの格納情報は、描画対象とならない前記オブジェクトデータの情報を含む、
付記９記載の表示制御プログラム。
（付記１２） 撮像装置により撮像された複数フレームの画像の内、基準物の画像が含まれると判定されたフレームの画像に、前記基準物に対応づけて登録されたオブジェクトデータを重畳表示する表示制御プログラムにおいて、
前記複数フレームの画像を格納する第１のファイルを生成し、
前記複数オブジェクトデータの画像を格納する第２のファイルを生成し、
前記複数フレームの画像と前記オブジェクトデータの画像との合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する、
処理をコンピュータに実行させる表示制御プログラム。

１ 作業者端末
１１ ＡＲアプリケーション
１２ ＡＲコンテンツ生成部
１３ 撮影部
１４ ＡＲマーカ認識部
１５ ＡＲコンテンツ表示部
１６ 動画送信部
２ 遠隔支援サーバ
２１ ＡＲコンテンツ情報提供部
２２ 動画受信部
２３ 動画合成部
２４ 動画送信部
３ 管理者端末

Claims (8)

1. 撮像装置により撮像された複数フレームの画像の内、いずれかのフレームの画像に基準物の画像が含まれることを検出した場合に、前記いずれかのフレームの画像に、前記基準物に対応づけられたＡＲコンテンツを重畳表示する表示端末が実行する送信制御方法において、
   前記複数フレームの画像を格納する第１のファイルを生成し、
   前記複数フレームの画像の内、前記いずれかのフレームの識別情報と、前記いずれかのフレームに含まれる前記基準物に対応づけられたＡＲコンテンツと、を格納する第２のファイルを生成し、
   前記識別情報に基づいて前記複数フレームの画像と前記ＡＲコンテンツとの合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルとを送信する、
   処理を前記表示端末が実行することを特徴とする送信制御方法。
2. 前記第２のファイルの格納情報は、前記いずれかのフレーム内の前記ＡＲコンテンツの表示位置を含む、
   ことを特徴とする請求項１に記載の送信制御方法。
3. 前記第２のファイルの格納情報は、描画対象とならない前記ＡＲコンテンツの情報を含む、
   ことを特徴とする請求項１に記載の送信制御方法。
4. 撮像装置により撮像された複数フレームの画像の内、いずれかのフレームの画像に基準物の画像が含まれることを検出した場合に、前記いずれかのフレームの画像に、前記基準物に対応づけられたＡＲコンテンツを重畳表示する表示端末が実行する送信制御方法において、
   前記複数フレームの画像を格納する第１のファイルを生成し、
   前記複数のＡＲコンテンツの画像を格納する第２のファイルを生成し、
   前記複数フレームの画像と前記ＡＲコンテンツの画像との合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する、
   処理を前記表示端末が実行することを特徴とする送信制御方法。
5. 撮像装置により撮像された複数フレームの画像の内、いずれかのフレームの画像に基準物の画像が含まれることを検出した場合に、前記いずれかのフレームの画像に、前記基準物に対応づけられたＡＲコンテンツを重畳表示する表示端末において、
   前記複数フレームの画像を格納する第１のファイルを生成する手段と、
   前記複数フレームの画像の内、前記いずれかのフレームの識別情報と、前記いずれかのフレームに含まれる前記基準物に対応づけられたＡＲコンテンツと、を格納する第２のファイルを生成する手段と、
   前記識別情報に基づいて前記複数フレームの画像と前記ＡＲコンテンツとの合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルとを送信する手段と、を備えたことを特徴とする表示端末。
6. 撮像装置により撮像された複数フレームの画像の内、いずれかのフレームの画像に基準物の画像が含まれることを検出した場合に、前記いずれかのフレームの画像に、前記基準物に対応づけられたＡＲコンテンツを重畳表示する表示端末において、
   前記複数フレームの画像を格納する第１のファイルを生成する手段と、
   前記複数のＡＲコンテンツの画像を格納する第２のファイルを生成する手段と、
   前記複数フレームの画像と前記ＡＲコンテンツの画像との合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する手段と、
   を備えたことを特徴とする表示端末。
7. 撮像装置により撮像された複数フレームの画像の内、いずれかのフレームの画像に基準物の画像が含まれることを検出した場合に、前記いずれかのフレームの画像に、前記基準物に対応づけられたＡＲコンテンツを重畳表示する表示端末が実行する送信制御プログラムにおいて、
   前記複数フレームの画像を格納する第１のファイルを生成し、
   前記複数フレームの画像の内、前記いずれかのフレームの識別情報と、前記いずれかのフレームに含まれる前記基準物に対応づけられたＡＲコンテンツと、を格納する第２のファイルを生成し、
   前記識別情報に基づいて前記複数フレームの画像と前記ＡＲコンテンツとの合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルとを送信する、
   処理を前記表示端末に実行させる送信制御プログラム。
8. 撮像装置により撮像された複数フレームの画像の内、いずれかのフレームの画像に基準物の画像が含まれることを検出した場合に、前記いずれかのフレームの画像に、前記基準物に対応づけられたＡＲコンテンツを重畳表示する表示端末が実行する送信制御プログラムにおいて、
   前記複数フレームの画像を格納する第１のファイルを生成し、
   前記複数のＡＲコンテンツの画像を格納する第２のファイルを生成し、
   前記複数フレームの画像と前記ＡＲコンテンツの画像との合成処理を実行する情報処理装置に、前記第１のファイルと前記第２のファイルを送信する、
   処理を前記表示端末に実行させる送信制御プログラム。

Images