JP6230113B2 - 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム - Google Patents

Description

本発明は、端末間のオンラインビデオサービスの技術に関する。

近年、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介したオンラインビデオサービスが提供されている（例えば非特許文献１参照）。このサービスによれば、例えば現場作業の用途として、現場作業員が持つ端末で撮影された映像を、遠隔の作業管理者へリアルタイムに送信することができる。これに対し、作業管理者は、映像でその作業現場の状況を認識し、音声で指示することができる。

図１は、オンラインビデオサービスのシステム構成図である。

図１のシステムによれば、携帯電話機やスマートフォンのような端末が、撮影した映像データを、ネットワークを介してリアルタイムに他方の端末へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影することができる。

図１によれば、端末１は、現場作業員（被指示者）によって所持され、搭載されたカメラによってその映像が撮影される。一方で、端末２は、作業管理者（指示者）によって所持される。そして、端末１は、アクセスネットワーク及びインターネットを介して、その映像データを端末２へリアルタイムに送信する。端末２は、受信した映像データをディスプレイに再生することによって、作業管理者に対し、現場作業員の状況を視認させることができる。

しかしながら、作業管理者にとって、音声だけでは、現場作業員に対して明確に指示できない場合も多い。例えば、作業管理者としては、現場の多種多様な機器や操作部分の位置を、現場作業員へ画像で指示することできれば望ましい。

従来、現場作業員が、自ら所持する端末によって撮影した静止画像を、作業管理者の端末へ送信し、これに対し、作業管理者が指示情報を重畳した静止画像を、現場作業員の端末へ送信する技術がある（例えば非特許文献２参照）。これによって、作業管理者は、音声以外の静止画像によって現場作業員へ指示することができる。

また、映像上の所定位置を特定するために、拡張現実感（ＡＲ(Augmented Reality)）の技術を適用することもできる（例えば非特許文献３、４参照）。映像の中からＡＲマーカを画像認識することよって、その位置を特定する。また、ＡＲマーカを用いることなく、多数のオブジェクト画像の中から、その映像に写るオブジェクトを検出するマーカレス型・物体認識方式を用いることもできる。但し、マーカレス型・物体認識方式の技術によれば、予めオブジェクト画像を事前登録しておく必要がある。ここで、映像に写る対象物と、オブジェクト画像との形状が類似する場合、誤ったオブジェクト画像を対応付けてしまう場合もある。

ＡＲ技術を用いることで、操作の対象箇所等を直感的に理解できるため、マニュアルや対象機器のヘルプ文章を参照する場合や、遠隔のオペレータから音声のみによるサポートを受けた場合と比較して、スムーズに問題を解決することが期待されている。

更に、マーカを用いた他の従来技術として、２次元マーカを用いて、ユーザが撮影したサポート対象機器の映像に、ヘルプサーバから取得した指示画像を重畳表示する技術がある（例えば特許文献１参照）。また、２次元マーカを用いて、作業者が撮影したサポート対象機器の映像に、遠隔のオペレータが入力した指示画像を重畳表示する技術もある（例えば特許文献２参照）。更に、作業者が撮影したサポート対象機器の映像を予め登録したサポート対象機器の画像をマーカとして、映像と比較することによって対象機器を認識し、遠隔のオペレータが入力した指示画像を重畳表示する技術もある（例えば特許文献３参照）。

特開２０１０−２１９８７９号公報 特開２０１３−１１５５７８号公報 特開２０１１−０３４３１５号公報

「Skype」、[online]、［平成２５年１２月２３日検索］、インターネット＜URL:http://www.skype.com/ja/＞ 構造計画研究所、「Remote Guideware」、[online]、［平成２５年１２月２３日検索］、インターネット＜http://www4.kke.co.jp/guideware/＞ 富士通、「ＡＲを利用した作業支援技術」、[online]、［平成２５年１２月２３日検索］、インターネット＜http://jp.fujitsu.com/solutions/industry/nextvalue/technology/tec_ar.html＞ ＮＴＴ技研、「ＡＲを用いた設備管理業務システム」、[online]、［平成２５年１２月２３日検索］、インターネット＜http://www.ntt.co.jp/journal/1302/files/jn201302042.pdf＞ 「アフィン変換と射影変換」、[online]、［平成２５年１２月２３日検索］、インターネット＜http://www58.atwiki.jp/dooooornob/pages/43.html＞ 「画像処理ソリューション」、[online]、［平成２５年１２月２３日検索］、インターネット＜http://imagingsolution.blog107.fc2.com/blog-entry-86.html＞ 「行列計算」、[online]、［平成２５年１２月２３日検索］、インターネット＜http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/knowledge/tech07.html＞ 「カメラキャリブレーションと３次元再構成」、[online]、［平成２５年１２月２３日検索］、インターネット＜http://opencv.jp/opencv-2svn/cpp/camera_calibration_and_3d_reconstruction.html＞ 「３次元幾何解析」、[online]、［平成２５年１２月２３日検索］、インターネット＜http://www.ieice-hbkb.org/files/02/02gun_02hen_03.pdf＞

特許文献１に記載の技術によれば、予めヘルプサーバに記録されている定められた種類の指示画像しか提供できず、サポートの範囲が限られるという問題があった。また、特許文献２又は３に記載の技術によれば、オペレータ側で指示画像の重畳表示を確認することができず、誤った重畳表示に起因する操作指示をしてしまうという問題があった。特に、特許文献３に記載の技術によれば、視点の変化によって対象設備と基準マーカ（予め登録した対象設備の画像）との見え方のズレが大きくなった場合、指示画像が表示できないか、誤った位置に表示することとなる。しかしながら、このような重畳表示の失敗は、オペレータ側から把握できない。

これに対し、本願の発明者らは、現場作業者側で指示画像の重畳表示のために算出された表示位置が、オペレータ側と共有されないことが問題ではないか？と考えた。ＡＲ技術によれば、撮影動画像の中からマーカ画像を検出し、その位置に指示画像を重畳的に表示させなければならない。このような画像処理は、演算プロセッサにかかる処理負荷が大きいにも拘わらず、一般的にＧＰＵ(Graphic Processing Unit)側では処理できない。そのために、ＣＰＵ(Central Processing Unit)側で処理することとなってしまう。

撮影動画像は、できる限りリアルタイムに伝送する必要があり、指示画像と重畳させて伝送することはその演算処理に時間がかかるという問題がある。また、既存のオンラインサービスによるビデオ伝送技術の中で、撮影動画像に指示画像を重畳させるシーケンスをリアルタイムに埋め込むことも難しい。そのために、撮影動画像と、指示画像及び表示位置とは、一般的に別々に伝送される。結果的に、指示側端末２は、撮影動画像を受信し且つ表示しつつ、その指示画像及び表示位置は、被指示側端末１へ一方的に送信するだけとなる。そのために、指示側端末２のオペレータは、被指示側端末１のディスプレイに指示画像が撮影動画像にどのように表示されているかを視認することができていない。

そこで、本発明は、指示側端末のオペレータが、被指示側端末のディスプレイで指示画像が撮影動画像にどのように重畳して表示されているかを視認することができる映像指示同期方法、システム、端末、及びプログラムを提供することを目的とする。

本発明によれば、カメラ及びディスプレイを有し、カメラによる撮影動画像を送信する第１の端末と、ディスプレイを有し、第１の端末から受信した撮影動画像をディスプレイに表示する第２の端末とが、ネットワークを介して接続されたシステムにおける映像同期表示方法において、
第１の端末及び第２の端末は、撮影動画像に映るであろう基準マーカ画像を記憶しており、
第２の端末が、第１の端末から受信した撮影動画像に映る基準マーカ画像を検出し、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを、第１の端末へ予め送信する第１のステップと、
第１の端末が、カメラによる撮影動画像に映る基準マーカ画像を検出し、当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する第２のステップと、
第１の端末が、撮影動画像の画面に対する指示画像の表示位置を算出し、当該表示位置を第２の端末へ送信する第３のステップと、
第２の端末が、撮影動画像の画面に対する表示位置に相当する位置に、指示画像を重畳してディスプレイに表示する第４のステップと
を有し、第２のステップから第４のステップが常時繰り返されることを特徴とする。

本発明の映像同期表示方法における他の実施形態によれば、
第３のステップについて、第１の端末は、表示位置を算出した際に、その撮影動画像のフレームＩＤ(IDentifier)を、第２の端末へ更に送信し、
第４のステップについて、第２の端末は、フレームＩＤと一致する撮影動画像のフレームに、指示画像を重畳表示することも好ましい。

本発明の映像同期表示方法における他の実施形態によれば、
第３のステップについて、第１の端末は、
予め記憶された基準マーカ画像がマッチングする、撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出し、
基準マーカ画像（第０の所定範囲）から相対位置に相当する位置に、指示画像（第２の所定範囲）を重畳してディスプレイに表示し、
指示画像（第２の所定範囲）の座標位置を、表示位置とすることも好ましい。

本発明の映像同期表示方法における他の実施形態によれば、
第１のステップについて、第２の端末は、
予め記憶された基準マーカ画像がマッチングする、撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出し、
基準マーカ画像（第０の所定範囲）と指示画像（第１の所定範囲）との間の座標変換を、相対位置として算出することも好ましい。

本発明の映像同期表示方法における他の実施形態によれば、
相対位置は、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列、アフィン変換行列、射影変換行列、又は、姿勢変換行列であることも好ましい。

本発明の映像同期表示方法における他の実施形態によれば、
第２の端末に搭載されたディスプレイは、タッチパネルディスプレイであって、
第２のステップについて、第２の端末は、タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示画像とすることも好ましい。

本発明の映像同期表示方法における他の実施形態によれば、
第２の端末は、ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しており、
第２のステップについて、第２の端末は、タッチペンによってユーザに描かれた画像を指示画像とすることも好ましい。

本発明の映像同期表示方法における他の実施形態によれば、
システムは、複数の第２の端末を有し、
第１のステップについて、一方の第２の端末が、指示画像を、他方の第２の端末へ予め送信し、
第３のステップについて、第１の端末は、複数の第２の端末へ、撮影動画像及び表示位置を同報的に送信することも好ましい。

本発明の映像同期表示方法における他の実施形態によれば、
第１のステップについて、複数の第２の端末各々が、指示画像及び相対位置を、第１の端末へ予め送信しており、
第２のステップについて、第１の端末が、基準マーカ画像から、各相対位置に相当する位置に、各指示画像を重畳してディスプレイに表示することも好ましい。

本発明の映像同期表示方法における他の実施形態によれば、
第２の端末は、ユーザ操作に応じて重畳表示中止通知を第１の端末へ送信し、
第１の端末は、第２の端末から重畳表示中止通知を受信した際に、第２のステップにおける指示画像の重畳表示を中止することも好ましい。

本発明によれば、カメラ及びディスプレイを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおいて、
第１の端末は、
撮影動画像に映るであろう基準マーカ画像を記憶する基準マーカ記憶手段と、
カメラによる撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
第２の端末から、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを予め受信する指示画像受信手段と、
当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と、
カメラによる撮影動画像を、第２の端末へ送信する撮影動画像送信手段と、
撮影動画像の画面に対する指示画像の表示位置を算出する表示位置算出手段と、
表示位置を第２の端末へ送信する表示位置送信手段と
を有し、
第２の端末は、
撮影動画像に映るであろう基準マーカ画像を記憶する基準マーカ記憶手段と、
撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを、第１の端末へ予め送信する指示画像送信手段と、
第１の端末から撮影動画像を受信する撮影動画像受信手段と、
第１の端末から表示位置を受信する表示位置受信手段と
第１の端末から受信した撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
撮影動画像の画面に対する表示位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と
を有することを特徴とする。

本発明によれば、ディスプレイ及びカメラを搭載した端末において、
撮影動画像に映るであろう基準マーカ画像を記憶した基準マーカ記憶手段と、
被指示側機能として、
カメラによる撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
相手方端末から、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを予め受信する指示画像受信手段と、
当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と、
カメラによる撮影動画像を、相手方端末へ送信する撮影動画像送信手段と、
撮影動画像の画面に対する指示画像の表示位置を算出する表示位置算出手段と、
表示位置の相手方端末へ送信する表示位置送信手段と
を有し、
指示側機能として、
撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを、相手方端末へ予め送信する指示画像送信手段と、
相手方端末から撮影動画像を受信する撮影動画像受信手段と、
相手方端末から表示位置を受信する表示位置受信手段と
相手方端末から受信した撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
撮影動画像の画面に対する表示位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と
を有することを特徴とする。

本発明によれば、ディスプレイ及びカメラを搭載した端末に搭載されたコンピュータを機能させるプログラムにおいて、
撮影動画像に映るであろう基準マーカ画像を記憶した基準マーカ記憶手段と、
被指示側機能として、
カメラによる撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
相手方端末から、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを予め受信する指示画像受信手段と、
当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と、
カメラによる撮影動画像を、相手方端末へ送信する撮影動画像送信手段と、
撮影動画像の画面に対する指示画像の表示位置を算出する表示位置算出手段と、
表示位置を相手方端末へ送信する表示位置送信手段と
を有し、
指示側機能として、
撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを、相手方端末へ予め送信する指示画像送信手段と、
相手方端末から撮影動画像を受信する撮影動画像受信手段と、
相手方端末から表示位置を受信する表示位置受信手段と
相手方端末から受信した撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
撮影動画像の画面に対する表示位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と
してコンピュータを機能させることを特徴とする。

本発明の映像指示同期方法、システム、端末、及びプログラムによれば、指示側端末のオペレータが、被指示側端末のディスプレイで指示画像が撮影動画像にどのように重畳して表示されているかを視認することができる。

オンラインビデオサービスのシステム構成図である。 本発明におけるシーケンス図である。 第１の端末によって撮影された映像を、第２の端末のディスプレイに表示した画面図である。 第２の端末における基準マーカ画像及び指示画像を表す説明図である。 指示者が第２の端末に指示を書き込んでいる画面図である。 第１の端末における基準マーカ画像及び指示画像を表す説明図である。 被指示側の第１の端末に映る画面図である。 撮影対象物に対する撮影位置が射影移動した場合における第２の端末の画面図である。 １台の被指示側端末と複数の指示側端末とからなるシーケンス図である。 第１の端末及び第２の端末の機能構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図２は、本発明におけるシーケンス図である。

図２によれば、ディスプレイ及びカメラを有する端末１（被指示側端末）と、少なくともディスプレイを有する端末２（指示側端末）とが、ネットワークを介して接続されている。ディスプレイやカメラは、当該端末に予め搭載されたものであってもよいし、外部に接続されたものであってもよい。カメラは、例えばＷｅｂカメラのように映像を取得し続けるものである。

端末１及び端末２は、撮影動画像に映るであろう「基準マーカ画像」を予め記憶している。「基準マーカ画像」は、画像マッチングの「キー画像」として用いられるものであって、後述する「指示画像」を適切な位置に表示するための基準位置として用いられる。例えば撮影対象物に貼られた２次元マーカ（例えばＱＲ(Quick Response)（登録商標）コード、特許文献１及び２参照）のようなものであってもよいし、予め登録された対象物画像（例えばマーカレス型の対象物画像、特許文献３参照）であってもよい。

尚、予め記憶される「基準マーカ画像」は、画像そのものである必要はなく、マッチングのための特徴量画像であってもよい。特徴量画像とは、画像の局所領域から算出された特徴量であって、例えば画像内のエッジやコーナー等の局所領域から抽出される。代表的には例えばＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)が用いられる。その他、計算コストに優れるバイナリ特徴量を用いることもできる。また、ＳＳＤ(Sum of Squared Difference)や、正規化相互相関（ＮＣＣ）でマッチングを行うための、局所的な切り出し画像（パッチ）であってもよい。

［第１のステップＳ１］
（Ｓ１１）端末１は、カメラによって対象物を撮影する。例えば現場作業員（被指示者）によって操作される端末１は、作業状況（対象物）を、動画像（ビデオ）として撮影する。そして、端末１は、その撮影動画像を、作業管理者（指示者）によって操作される端末２へ逐次送信する。端末２は、受信した撮影動画像をディスプレイに表示する。

図３は、第１の端末によって撮影された映像を、第２の端末のディスプレイに表示した画面図である。
図４は、第２の端末における基準マーカ画像及び指示画像を表す説明図である。

（Ｓ１２）端末２は、端末１から受信した撮影動画像に映る「基準マーカ画像」を検出する。図３によれば、基準マーカ画像としてのＱＲコードが撮影対象物に貼り付けられており、既存の２次元コード検出技術を適用して、その基準マーカ画像を検出する。

図４のＳ１２によれば、端末２は、予め記憶された基準マーカ画像がマッチングする、指示側端末２のディスプレイの撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出する。ここで、基準マーカ画像を、射影／姿勢変換させながら、撮影動画像にマッチングさせる。撮影動画像は常に動いているものであるので、基準マーカ画像とのマッチングの追従処理は常に実行されている。

（Ｓ１３）図３によれば、端末２のディスプレイの右上に、「指示書込」用ボタンが明示されている。端末２を操作する指示者は、撮影動画像が表示されている途中で、「指示書込」用ボタンを押下することによって１枚の画像を対象として、停止させることができる。そして、指示者は、停止させた画像に対して、指示を書き込むことができる。

図５は、指示者が第２の端末に指示を書き込んでいる画面図である。

図５によれば、指示者は、端末２のタッチパネルディスプレイ上に指で、当該撮影動画像に対する「指示画像」を書き込むことができる。ここで、指示者は、キーボードのキー［Ｒ］の部分を差して、「←ココ」と描いている。

また、他の実施形態として、端末２は、ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しているものであってもよい。この場合、端末２は、タッチペンによってユーザに描かれた画像を「指示画像」とすることができる。

尚、前述した「基準マーカ画像」及び「指示画像」は、低データ量のための解像度圧縮画像であってもよい。これら画像は、bitmap形式の画像である必要はなく、例えばJPEGのような圧縮画像であってもよい。

（Ｓ１４）端末２は、基準マーカ画像に対する指示画像の「相対位置」を算出する。図４によれば、端末２は、基準マーカ画像（第０の所定範囲）と指示画像（第１の所定範囲）との間の座標変換を、「相対位置」として算出する（図４における行列Ｈｐ参照）。
第０の所定範囲：基準マーカ画像の範囲
第１の所定範囲：指示側端末でユーザが書き込んだ指示画像を含む範囲
ここで、「相対位置」は、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列、アフィン変換行列、射影変換行列、又は、姿勢変換行列による変換関係を有する（例えば非特許文献５〜９参照）。これは、例えば矩形状の範囲であれば、第０の所定範囲の４頂点座標と、第１の所定範囲の４頂点座標との間の移動差分を意味する。これら行列の掛け算だけで、位置関係を変換することができる。

アフィン変換の場合、第１の所定範囲と第２の所定範囲との間で、線形変換は座標に対する２×２行列を乗算することによって表され、平行移動は２次元のベクトルの加算で表わされる。

ｘ，ｙ：第２の所定範囲におけるｘ座標及びｙ座標
ｘ'，ｙ'：第１の所定範囲におけるｘ座標及びｙ座標
ｈ₁₁，ｈ₁₂，ｈ₂₁，ｈ₂₂要素：線形変換要素
ｈ₁₃，ｈ₂₃要素：平行移動要素

また、ユークリッド変換の場合、以下のように表される。

ｘ，ｙ：第２の所定範囲におけるｘ座標及びｙ座標
ｘ'，ｙ'：第１の所定範囲におけるｘ座標及びｙ座標
θ：回転変換要素
tx，ty：平行移動要素

更に、「射影変換」の場合、平行回転移動に、平面の遠近感を表現する射影を更に加えることができ、例えば以下のように表される。

ｘ，ｙ：基準マーカ画像におけるｘ座標及びｙ座標
ｘ'，ｙ'：マッチング先のｘ座標及びｙ座標
ｈ₁₁〜ｈ₃₃：パラメータ

更に、「姿勢変換」の場合、３次元空間内の剛体運動であって、６自由度の姿勢行列で表現することができる。ここで「姿勢行列」とは、３次元特殊ユークリッド群ＳＥ（３）に属し、３自由度の３次元回転行列と３次元並進ベクトルとで表される。例えば以下のような行列式によって表される。

Ａ：カメラの内部パラメータ
予めカメラキャリブレーションによって求めておくことが望ましい。
しかしながら、実際の値とずれた場合でも最終的に姿勢行列と打ち消し合う
ために、重畳表示の位置には影響しない。そのため、本発明の利用用途の場合、
一般的なカメラの値で代用することができる。
Ｒ（r11〜r33）：３次元空間内の回転を表すパラメータ
各パラメータはオイラー角等の表現によって３パラメータで表現可能
ｔ（t1〜t3）：３次元空間内の平行移動を表すパラメータ。
ｘ，ｙ：基準マーカ画像におけるｘ座標及びｙ座標
ｘ'，ｙ'：マッチング先のｘ座標及びｙ座標
姿勢変換によれば、カメラの視点（撮影角度や撮影距離の変化を含む）が大きく変わった場合でも、その位置に正確に指示画像を表示することができる。

（Ｓ１５）図５によれば、端末２のディスプレイの右上に、「指示送信」用ボタンが明示されている。ユーザは、指示画像を書き込んだ後、「指示送信」用ボタンを押下する。これによって、端末２は、撮影動画像に重畳表示すべき「指示画像」と、基準マーカ画像に対する当該指示画像の「相対位置」（図４における行列Ｈｐのパラメータ要素）とを、被指示側端末１へ予め送信する。

［第２のステップＳ２］
（Ｓ２１）被指示者端末１は、カメラによって対象物を、動画像として撮影する。そして、端末１は、その撮影動画像を端末２へ逐次送信する。端末２は、受信した撮影動画像をディスプレイに表示する。

図６は、第１の端末における基準マーカ画像及び指示画像を表す説明図である。

（Ｓ２２）端末１は、カメラから連続的に入力される撮影動画像の各フレームに対して、予め記憶された基準マーカ画像とマッチングし、撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出する。これは、端末２のＳ１２と同じ処理である。基準マーカ画像を、射影／姿勢変換させながら、撮影動画像にマッチングさせる。撮影動画像は常に動いているものであるので、基準マーカ画像とのマッチングの追従処理は常に実行されている。

（Ｓ２３）そして、端末１は、検出された基準マーカ画像（第０の所定範囲）に相対位置（図６における行列Ｈｐ参照）を反映した第２の所定範囲に、「指示画像」を重畳させてディスプレイに表示する。
第０の所定範囲：被指示側端末で撮影動画像に映る基準マーカ画像の範囲
第２の所定範囲：被指示側端末で撮影動画像に映る指示画像を含む範囲
ここで、所定範囲間の相対位置も、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列、アフィン変換行列、射影変換行列、又は、姿勢変換行列による変換関係を有する（例えば非特許文献５〜９参照）。

図７は、被指示側の第１の端末に映る画面図である。

図７によれば、端末１に映る撮影動画像に、端末２の指示者によって書き込まれた「指示画像」が重畳して表示されている。ここでは、キーボードのキー［Ｒ］の部分を差して、「←ココ」と表示されている。

尚、端末１が、ヘッドマウントディスプレイ（ＨＭＤ）のような装置である場合、撮影動画像までもディスプレイに表示される必要はない。このような、シースルー型のＨＭＤの場合、視界に指示画像のみを重畳して表示させればよい。

［第３のステップＳ３］
（Ｓ３１）端末１は、撮影動画像の画面に対する指示画像の「表示位置」を算出する。「表示位置」とは、撮影動画像の画面に対する頂点座標（例えば矩形状の場合は４頂点）や、所定位置（例えば画面枠）からの変換行列のパラメータであってもよい。このような「表示位置」は、基準マーカ画像の検出処理を必要とせず、指示画像の重畳位置を直接的に決定することができる。

表示位置の算出処理は、カメラのフレームレート（大抵のカメラは３０flame/sec）で実行可能である。これに対し、撮影動画像の伝送処理は、符号化処理や通信帯域の制約等の理由から、カメラのフレームレート以下のフレームレート（例えばflame/sec）でしか伝送できない。即ち、動画像に対する通信バッファや符号化／復号処理によってる遅延が発生する。図２によれば十分に表現できないが、１枚の撮影動画像については、端末１は、「表示位置」（＋フレームＩＤ）を端末２へ伝送した後、撮影動画像を端末２へ伝送することとなる。端末２は、「表示位置＋フレームＩＤ」を受信した後、そのフレームの撮影動画像を待って、指示画像を重畳表示することができる。

（Ｓ３２）端末１は、その「表示位置」を端末２へ逐次送信する。ここで、端末１は、表示位置を算出した際に、その撮影動画像のフレームＩＤ(IDentifier)を、端末２へ更に送信することも好ましい。フレームＩＤは、例えばＭＰＥＧにおける動画フレームを識別するインデックスである。フレームＩＤを更に送信することによって、最終的に端末２で撮影動画像と指示画像との重畳表示を完全に同期させることができる。

［第４のステップＳ４］
端末２は、撮影動画像の画面に対する表示位置に相当する位置に、自らの指示画像を重畳してディスプレイに表示する。

図８は、撮影対象物に対する撮影位置が射影移動した場合における第２の端末の画面図である。

これによって、端末２は、基準マーカ画像の検出処理を必要とせず、指示画像の重畳位置を直接的に決定することができる。また、端末２は、端末１から表示位置と共に、重畳すべきフレームＩＤを受信することによって、フレームＩＤと一致する撮影動画像のフレームに、指示画像を重畳表示することができる。

そして、図２のシーケンスの流れに沿って、Ｓ２〜Ｓ４のシーケンスが常時繰り返されることとなる。これによって、指示側端末２のオペレータは、被指示側端末１のディスプレイで指示画像が撮影動画像にどのように重畳して表示されているかを視認することができ、ＡＲによる遠隔作業を支援することができる。

尚、他の実施形態として、図８によれば、端末２のディスプレイに、「重畳表示停止」ボタンが表示されている。Ｓ２〜Ｓ４のシーケンスが常時繰り返されることによって、指示側端末２のオペレータから見て、撮影動画像に重畳された指示画像の位置にズレが生じる場合がある。この場合、端末２は、オペレータによる「重畳表示停止」ボタンのタッチによって、重畳表示中止通知を端末１へ送信することができる。これに対し、端末１は、端末２から重畳表示中止通知を受信した際に、Ｓ２（第２のステップ）における指示画像の重畳表示を中止する。オペレータ操作によって、誤った重畳表示が視認されることを防止することができる。その後、この場合、端末２は、改めてＳ１（第１のステップ）を実行することによって、撮影動画像に対する指示画像の重畳表示の位置を改めて調整することができる。

図９は、１台の被指示側端末と複数の指示側端末とからなるシーケンス図である。

図９によれば、例えば遠隔に位置する複数のオペレータによって、それぞれ異なる指示画像が作成される場合である。この場合、端末１は、複数の端末２から受信した複数の指示画像を同時に重畳して表示することとなる。勿論、端末１及び複数の端末２は、互いに相手方の宛先アドレスを認識しているものとする。

図９によれば、シーケンス番号が適宜飛ばされているが、未記載のシーケンス番号は、図２の処理と同様に実行されているものとする。
（Ｓ１１）端末１は、カメラによる撮影動画像を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ１５）端末２１について、オペレータによって指示画像が書き込まれたとする。端末２１は、指示画像及び相対位置を、端末１へ送信すると共に、他方の端末２２へも送信する。指示側の複数の端末２の間で、指示画像及び相対位置が共有される。
（Ｓ２１）その後、端末１は、カメラによる撮影動画像を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ２２）端末１は、カメラによる撮影動画像に、端末２１から受信した指示画像を重畳して表示する。
（Ｓ３）端末１は、撮影動画像の画面に対する指示画像の表示位置を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ４）端末２１及び２２は、端末１から受信した撮影動画像の画面に対する表示位置に、指示画像を重畳して表示する。これによって、指示画像を作成しない指示側端末２２であっても、端末１における撮影動画像と指示画像との重畳表示を視認することができる。

次に、端末２２について、オペレータによって指示画像が書き込まれたとする。
（Ｓ１５）端末２２は、指示画像及び相対位置を、端末１へ送信すると共に、他方の端末２１へも送信する。指示側の複数の端末２の間で、指示画像及び相対位置が共有される。
（Ｓ２１）その後、端末１は、カメラによる撮影動画像を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ２２）端末１は、カメラによる撮影動画像に、端末２２から受信した指示画像を重畳して表示する。
（Ｓ３）端末１は、撮影動画像の画面に対する指示画像の表示位置を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ４）端末２１及び２２は、端末１から受信した撮影動画像の画面に対する表示位置に、指示画像を重畳して表示する。これによって、指示画像を作成しない指示側端末２１であっても、端末１における撮影動画像と指示画像との重畳表示を視認することができる。

尚、他の実施形態として、複数の端末１と、１台の端末２とからなるシステムであってもよい。この場合、端末２は、複数の端末１から撮影動画像を受信する必要があり、これらを同時に表示するか、又は、ユーザ操作に基づく選択ボタンによって切り替えて表示するものであってもよい。勿論、複数の端末１と、複数の端末２とからなるシステムにも適用できる。

図１０は、第１の端末及び第２の端末の機能構成図である。

被指示側端末としての端末１は、ネットワークに接続すると共に、ディスプレイ１７及びカメラ１８とを有する。また、端末１は、基準マーカ記憶部１０と、撮影動画像送信部１１と、基準マーカ検出部１２と、指示画像受信部１３と、表示制御部１４と、表示位置算出部１５と、表示位置送信部１６とを有する。これら機能構成部は、端末１に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

基準マーカ記憶部１０は、撮影動画像に映るであろう基準マーカ画像を記憶する。この基準マーカ画像は、基準マーカ検出部１２によって参照される。
撮影動画像送信部１１は、カメラによる撮影動画像を、端末２へ送信する（図２のＳ１１、Ｓ２１の処理と同様）。
基準マーカ検出部１２は、カメラによる撮影動画像に映る基準マーカ画像を検出する（図２のＳ２２の処理と同様）。検出した基準マーカ画像の位置範囲（第０の所定範囲）を表示制御部１４へ出力する。
指示画像受信部１３は、端末２から、撮影動画像に重畳表示すべき「指示画像」と、基準マーカ画像に対する当該指示画像の「相対位置」とを予め受信する（図２のＳ１５の処理と同様）。受信した指示画像及び相対位置は、表示制御部１４へ出力される。
表示制御部１４は、当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する（図２のＳ２３の処理と同様）。
表示位置算出部１５は、撮影動画像の画面に対する指示画像の表示位置を算出する（２のＳ３１の処理と同様）。算出された表示位置は、表示位置送信部１６へ出力される。
表示位置送信部１６は、表示位置を端末２へ送信する（図２のＳ３２の処理と同様）。

指示側端末としての端末２は、ネットワークに接続すると共に、タッチパネルディスプレイ２７を有する。また、端末２は、基準マーカ記憶部２０と、撮影動画像受信部２１と、基準マーカ検出部２２と、指示画像送信部２３と、表示制御部２４と、表示位置受信部２６とを有する。これら機能構成部は、端末２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

基準マーカ記憶部２０は、撮影動画像に映るであろう基準マーカ画像を記憶する。この基準マーカ画像は、基準マーカ検出部２２によって参照される。
撮影動画像受信部２１は、端末１から撮影動画像を受信する（図２のＳ１１、Ｓ２１の処理と同様）。
基準マーカ検出部２２は、端末１から受信した撮影動画像に映る基準マーカ画像を検出する（図２のＳ１２の処理と同様）。
指示画像送信部２３は、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを、端末１へ予め送信する（図２のＳ１５の処理と同様）。
表示位置受信部２６は、端末１から表示位置を受信する（図２のＳ３２の処理と同様）。
表示制御部２４は、撮影動画像の画面に対する表示位置に相当する位置に、指示画像を重畳してディスプレイに表示する（図２のＳ４の処理と同様）。

尚、図１０における指示側機能と被指示側機能とを合わせて、両用端末とすることもできる。これら機能構成部は、１つの端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

以上、詳細に説明したように、本発明の映像指示同期方法、システム、端末、及びプログラムによれば、指示側端末のオペレータが、被指示側端末のディスプレイで指示画像が撮影動画像にどのように重畳して表示されているかを視認することができる。指示側端末のオペレータに撮影動画像に対する指示画像の位置のズレを認識させることによって、円滑な遠隔作業を実現する。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 被指示側端末
１０ 基準マーカ記憶部
１１ 撮影動画像送信部
１２ 基準マーカ検出部
１３ 指示画像受信部
１４ 表示制御部
１５ 表示位置算出部
１６ 表示位置送信部
１７ ディスプレイ
１８ カメラ
２ 被指示側端末
２０ 基準マーカ記憶部
２１ 撮影動画像受信部
２２ 基準マーカ検出部
２３ 指示画像送信部
２４ 表示制御部
２６ 表示位置受信部
２７ タッチパネルディスプレイ

Claims (13)

1. カメラ及びディスプレイを有し、前記カメラによる撮影動画像を送信する第１の端末と、ディスプレイを有し、第１の端末から受信した前記撮影動画像をディスプレイに表示する第２の端末とが、ネットワークを介して接続されたシステムにおける映像同期表示方法において、
   第１の端末及び第２の端末は、撮影動画像に映るであろう基準マーカ画像を記憶しており、
   第２の端末が、第１の端末から受信した前記撮影動画像に映る前記基準マーカ画像を検出し、前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを、第１の端末へ予め送信する第１のステップと、
   第１の端末が、前記カメラによる前記撮影動画像に映る前記基準マーカ画像を検出し、当該基準マーカ画像から前記相対位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する第２のステップと、
   第１の端末が、前記撮影動画像の画面に対する前記指示画像の表示位置を算出し、当該表示位置を第２の端末へ送信する第３のステップと、
   第２の端末が、前記撮影動画像の画面に対する前記表示位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する第４のステップと
   を有し、第２のステップから第４のステップが常時繰り返されることを特徴とする映像同期表示方法。
2. 第３のステップについて、第１の端末は、前記表示位置を算出した際に、その撮影動画像のフレームＩＤ(IDentifier)を、第２の端末へ更に送信し、
   第４のステップについて、第２の端末は、前記フレームＩＤと一致する撮影動画像のフレームに、前記指示画像を重畳表示する
   ことを特徴とする請求項１に記載の映像同期表示方法。
3. 第３のステップについて、第１の端末は、
   予め記憶された基準マーカ画像がマッチングする、前記撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出し、
   前記基準マーカ画像（第０の所定範囲）から前記相対位置に相当する位置に、前記指示画像（第２の所定範囲）を重畳してディスプレイに表示し、
   前記指示画像（第２の所定範囲）の座標位置を、前記表示位置とする
   ことを特徴とする請求項１又は２に記載の映像同期表示方法。
4. 第１のステップについて、第２の端末は、
   予め記憶された前記基準マーカ画像がマッチングする、前記撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出し、
   前記基準マーカ画像（第０の所定範囲）と前記指示画像（第１の所定範囲）との間の座標変換を、前記相対位置として算出する
   ことを特徴とする請求項１から３のいずれか１項に記載の映像同期表示方法。
5. 前記相対位置は、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列、アフィン変換行列、射影変換行列、又は、姿勢変換行列である
   ことを特徴とする請求項１から４のいずれか１項に記載の映像指示同期方法。
6. 第２の端末に搭載されたディスプレイは、タッチパネルディスプレイであって、
   第２のステップについて、第２の端末は、前記タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示画像とする
   ことを特徴とする請求項１から５のいずれか１項に記載の映像指示同期方法。
7. 第２の端末は、前記ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しており、
   第２のステップについて、第２の端末は、前記タッチペンによってユーザに描かれた画像を指示画像とする
   ことを特徴とする請求項１から５のいずれか１項に記載の映像指示同期方法。
8. 前記システムは、複数の第２の端末を有し、
   第１のステップについて、一方の第２の端末が、前記指示画像を、他方の第２の端末へ予め送信し、
   第３のステップについて、第１の端末は、複数の第２の端末へ、前記撮影動画像及び前記表示位置を同報的に送信する
   ことを特徴とする請求項１から７のいずれか１項に記載の映像指示同期方法。
9. 第１のステップについて、複数の第２の端末各々が、前記指示画像及び前記相対位置を、第１の端末へ予め送信しており、
   第２のステップについて、第１の端末が、前記基準マーカ画像から、各相対位置に相当する位置に、各指示画像を重畳してディスプレイに表示する
   ことを特徴とする請求項８に記載の映像指示同期方法。
10. 第２の端末は、ユーザ操作に応じて重畳表示中止通知を第１の端末へ送信し、
    第１の端末は、第２の端末から前記重畳表示中止通知を受信した際に、第２のステップにおける指示画像の重畳表示を中止する
    ことを特徴とする請求項１から９のいずれか１項に記載の映像指示同期方法。
11. カメラ及びディスプレイを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおいて、
    第１の端末は、
    撮影動画像に映るであろう基準マーカ画像を記憶する基準マーカ記憶手段と、
    前記カメラによる撮影動画像を、第２の端末へ送信する撮影動画像送信手段と、
    前記カメラによる撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    第２の端末から、前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを予め受信する指示画像受信手段と、
    当該基準マーカ画像から前記相対位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と、
    前記撮影動画像の画面に対する前記指示画像の表示位置を算出する表示位置算出手段と、
    前記表示位置を第２の端末へ送信する表示位置送信手段と
    を有し、
    第２の端末は、
    撮影動画像に映るであろう基準マーカ画像を記憶する基準マーカ記憶手段と、
    前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを、第１の端末へ予め送信する指示画像送信手段と、
    第１の端末から撮影動画像を受信する撮影動画像受信手段と、
    第１の端末から表示位置を受信する表示位置受信手段と
    第１の端末から受信した撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    前記撮影動画像の画面に対する前記表示位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と
    を有することを特徴とするシステム。
12. ディスプレイ及びカメラを搭載した端末において、
    撮影動画像に映るであろう基準マーカ画像を記憶した基準マーカ記憶手段と、
    被指示側機能として、
    前記カメラによる撮影動画像を、相手方端末へ送信する撮影動画像送信手段と、
    前記カメラによる撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    相手方端末から、前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを予め受信する指示画像受信手段と、
    当該基準マーカ画像から前記相対位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と、
    前記撮影動画像の画面に対する前記指示画像の表示位置を算出する表示位置算出手段と、
    前記表示位置を相手方端末へ送信する表示位置送信手段と
    を有し、
    指示側機能として、
    前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを、相手方端末へ予め送信する指示画像送信手段と、
    相手方端末から撮影動画像を受信する撮影動画像受信手段と、
    相手方端末から表示位置を受信する表示位置受信手段と
    相手方端末から受信した撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    前記撮影動画像の画面に対する前記表示位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と
    を有することを特徴とする端末。
13. ディスプレイ及びカメラを搭載した端末に搭載されたコンピュータを機能させるプログラムにおいて、
    撮影動画像に映るであろう基準マーカ画像を記憶した基準マーカ記憶手段と、
    被指示側機能として、
    前記カメラによる撮影動画像を、相手方端末へ送信する撮影動画像送信手段と、
    前記カメラによる撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    相手方端末から、前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを予め受信する指示画像受信手段と、
    当該基準マーカ画像から前記相対位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と、
    前記撮影動画像の画面に対する前記指示画像の表示位置を算出する表示位置算出手段と、
    前記表示位置を相手方端末へ送信する表示位置送信手段と
    を有し、
    指示側機能として、
    前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを、相手方端末へ予め送信する指示画像送信手段と、
    相手方端末から撮影動画像を受信する撮影動画像受信手段と、
    相手方端末から表示位置を受信する表示位置受信手段と
    相手方端末から受信した撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    前記撮影動画像の画面に対する前記表示位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と
    してコンピュータを機能させることを特徴とする端末用のプログラム。

Images