JP6156930B2 - 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末、及びプログラム - Google Patents

Description

本発明は、端末間のオンラインビデオサービスの技術に関する。

近年、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介したオンラインビデオサービスが提供されている（例えば非特許文献１参照）。このサービスによれば、例えば現場作業の用途として、現場作業員が持つ端末で撮影された映像を、遠隔の作業管理者へリアルタイムに送信することができる。これに対し、作業管理者は、映像でその作業現場の状況を認識し、音声で指示することができる。

図１は、オンラインビデオサービスのシステム構成図である。

図１のシステムによれば、携帯電話機やスマートフォンのような端末が、撮影した映像データを、ネットワークを介してリアルタイムに他方の端末へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影することができる。

図１によれば、端末１は、現場作業員（被指示者）によって所持され、搭載されたカメラによってその映像が撮影される。一方で、端末２は、作業管理者（指示者）によって所持される。そして、端末１は、アクセスネットワーク及びインターネットを介して、その映像データを端末２へリアルタイムに送信する。端末２は、受信した映像データをディスプレイに再生することによって、作業管理者に対し、現場作業員の状況を視認させることができる。

しかしながら、作業管理者にとって、音声だけでは、現場作業員に対して明確に指示できない場合も多い。例えば、作業管理者としては、現場の多種多様な機器や操作部分の位置を、現場作業員へ映像で指示することできれば望ましい。

従来、現場作業員が、自ら所持する端末によって撮影した静止画像を、作業管理者の端末へ送信し、これに対し、作業管理者が指示情報を重畳した静止画像を、現場作業員の端末へ送信する技術がある（例えば非特許文献２参照）。これによって、作業管理者は、音声以外の静止画像によって現場作業員へ指示することができる。

また、映像上の所定位置を特定するために、拡張現実感（ＡＲ(Augmented Reality)）の技術を適用することもできる（例えば非特許文献３、４参照）。映像の中からＡＲマーカを画像認識することよって、その位置を特定する。また、ＡＲマーカを用いることなく、多数のオブジェクト画像の中から、その映像に写るオブジェクトを検出するマーカレス型・物体認識方式を用いることもできる。

「Skype」、[online]、［平成２５年１１月１３日検索］、インターネット＜URL:http://www.skype.com/ja/＞ 構造計画研究所、「Remote Guideware」、[online]、［平成２５年１１月１３日検索］、インターネット＜http://www4.kke.co.jp/guideware/＞ 富士通、「ＡＲを利用した作業支援技術」、[online]、［平成２５年１１月１３日検索］、インターネット＜http://jp.fujitsu.com/solutions/industry/nextvalue/technology/tec_ar.html＞ ＮＴＴ技研、「ＡＲを用いた設備管理業務システム」、[online]、［平成２５年１１月１３日検索］、インターネット＜http://www.ntt.co.jp/journal/1302/files/jn201302042.pdf＞ 「アフィン変換と射影変換」、[online]、［平成２５年１２月１０日検索］、インターネット＜http://www58.atwiki.jp/dooooornob/pages/43.html＞ 「画像処理ソリューション」、[online]、［平成２５年１２月１０日検索］、インターネット＜http://imagingsolution.blog107.fc2.com/blog-entry-86.html＞ 「行列計算」、[online]、［平成２５年１２月１０日検索］、インターネット＜http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/knowledge/tech07.html＞ 「カメラキャリブレーションと３次元再構成」、[online]、［平成２５年１２月１０日検索］、インターネット＜http://opencv.jp/opencv-2svn/cpp/camera_calibration_and_3d_reconstruction.html＞ 「３次元幾何解析」、[online]、［平成２５年１２月１０日検索］、インターネット＜http://www.ieice-hbkb.org/files/02/02gun_02hen_03.pdf＞

しかしながら、非特許文献２に記載の技術によれば、現場作業員の端末に搭載されたカメラを固定しておく必要がある。撮影位置が動いた場合、作業管理者から送信された静止画像と位置のずれを生じ、現場作業員にとって、密集した機器や操作部分に対して指示された位置を認識することができない場合もある。

非特許文献３，４に記載の技術によれば、指示画像を重畳配置する映像上の位置を特定するために、特殊なパターンが印刷されたＡＲマーカを必要とする。機器や操作部分に予めＡＲマーカを貼り付けることは、極めて手間がかかる。

また、マーカレス型・物体認識方式の技術によれば、予め多数のオブジェクト画像を事前登録しておく必要がある。勿論、映像に写る対象物と、オブジェクト画像との形状が類似する場合、誤ったオブジェクト画像を対応付けてしまう場合もある。

そこで、本発明は、マーカや登録オブジェクト画像を用いることなく、一方の端末のカメラに写る映像に対して、他方の端末から画像的に指示することができる映像指示方法、システム、端末、及びプログラムを提供することを目的とする。

本発明によれば、ディスプレイ及びカメラを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおける映像指示方法において、
第１の端末が、カメラによる撮影動画像を逐次、第２の端末へ送信する第１のステップと、
第２の端末が、受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる第２のステップと、
第２の端末が、ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出すると共に、第１の座標相対値と、指示静止画像と、第２の所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する第３のステップと、
第１の端末が、カメラによって撮影された撮影動画像と撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出し、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出し、撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、指示静止画像を重畳させてディスプレイに表示する第４のステップと
を有することを特徴とする。

本発明の映像指示方法における他の実施形態によれば、
第１の座標相対値は、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列又はアフィン変換行列であり、
第２の座標相対値は、射影変換行列又は姿勢変換行列である
ことも好ましい。

本発明の映像指示方法における他の実施形態によれば、
第１のステップについて、第１の端末は、撮影動画像を、所定時間幅で間引いたフレームのみを、第２の端末へ送信することも好ましい。

本発明の映像指示方法における他の実施形態によれば、
第１のステップについて、撮影動画像は、動き補償フレーム間予測方式の基準となるＩ(Intra-picture)フレームのみを、第２の端末へ送信することも好ましい。

本発明の映像指示方法における他の実施形態によれば、
第１のステップについて、第１の端末は、Ｉフレームのデータレートを、１つのＧＯＰ(Group Of Pictures)のデータレート以下に設定することも好ましい。

本発明の映像指示方法における他の実施形態によれば、
撮影静止画像は、マッチングのための特徴量画像、又は、低データ量のための解像度圧縮画像であり、
指示静止画像は、低データ量のための解像度圧縮画像である
ことも好ましい。

本発明の映像指示方法における他の実施形態によれば、
第２の端末に搭載されたディスプレイは、タッチパネルディスプレイであって、
第２のステップについて、第２の端末は、タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示静止画像とする
ことも好ましい。

本発明の映像指示方法における他の実施形態によれば、
第２の端末は、ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しており、
第２のステップについて、第２の端末は、タッチペンによってユーザに描かれた画像を指示静止画像とする
ことも好ましい。

本発明の映像指示方法における他の実施形態によれば、
第４のステップについて、第１の端末は、ＡＲ（拡張現実、Augmented Reality）のマーカレス型・物体認識方式を適用したものであることも好ましい。

本発明によれば、ディスプレイ及びカメラを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続された映像指示システムにおいて、
第１の端末は、
カメラによる撮影動画像を逐次、第２の端末へ送信する撮影動画像送信手段と、
カメラによって撮影された撮影動画像と、第２の端末から受信した撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出し、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出し、撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、第２の端末から受信した指示静止画像を重畳させてディスプレイに表示する映像表示制御手段と
を有し、
第２の端末は、
受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出すると共に、第１の座標相対値と、指示静止画像と、第２の所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する指示静止画像送信手段と
を有することを特徴とする。

本発明によれば、ディスプレイ及びカメラを搭載した端末において、
カメラによる撮影動画像を逐次、相手方端末へ送信する撮影動画像送信手段と、
相手方端末から受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出すると共に、第１の座標相対値と、指示静止画像と、第２の所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末へ送信する指示静止画像送信手段と、
カメラによって撮影された撮影動画像と、相手方端末から受信した撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出し、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出し、撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、指示静止画像を重畳させてディスプレイに表示する映像表示制御手段と
を有することを特徴とする。

本発明によれば、ディスプレイ及びカメラを搭載した端末に搭載されたコンピュータを機能させるプログラムにおいて、
カメラによる撮影動画像を逐次、相手方端末へ送信する撮影動画像送信手段と、
相手方端末から受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出すると共に、第１の座標相対値と、指示静止画像と、第２の所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末へ送信する指示静止画像送信手段と、
カメラによって撮影された撮影動画像と、相手方端末から受信した撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出し、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出し、撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、指示静止画像を重畳させてディスプレイに表示する映像表示制御手段と
してコンピュータを機能させることを特徴とする。

本発明の映像指示方法、システム、端末、及びプログラムによれば、マーカや登録オブジェクト画像を用いることなく、一方の端末のカメラに写る映像に対して、他方の端末から画像的な指示をすることができる。

オンラインビデオサービスのシステム構成図である。 本発明におけるシーケンス図である。 本発明における撮影動画像のフレームを表す説明図である。 第１の端末によって撮影された映像を、第２の端末のディスプレイに表示した画面図である。 指示者が第２の端末に指示を書き込んでいる画面図である。 指示静止画像及び撮影静止画像を表す説明図である。 撮影静止画像の部分に指示静止画像が重畳して表示された第１の端末の画面図である。 図７について撮影対象物に対する撮影位置が射影移動した場合における第１の端末の画面図である 第１の端末及び第２の端末の機能構成図である。 送信側及び受信側の両方の機能を搭載した両用端末の機能構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

本発明によれば、ＡＲのマーカレス型・物体認識方式の適用について、マッチングのキーとなる「撮影静止画像」（第２の所定範囲）をユーザが任意に設定するものである。

図２は、本発明におけるシーケンス図である。

図２によれば、ディスプレイ及びカメラを有する端末１（被指示側端末）と、少なくともディスプレイを有する端末２（指示側端末）とが、ネットワークを介して接続されている。ディスプレイやカメラは、当該端末に予め搭載されたものであってもよいし、外部に接続されたものであってもよい。

［第１のステップＳ１］
端末１が、カメラによる撮影動画像を逐次、端末２へ送信する。例えば作業現場員（被指示者）によって操作される端末１は、作業状況（対象物）を、動画像（ビデオ）として撮影する。ここで、「撮影動画像」としては、所定時間幅で間引いたフレームのみを送信することが好ましい。言い換えれば、動画像を「パラパラ画像」とすることによって、端末２を操作する指示者にとって、撮影動画像を認識しやすくする。

図３は、本発明における撮影動画像のフレームを表す説明図である。

図３（ａ）によれば、例えばMotion JPEGの場合であって、撮影動画像は、全ての各フレームがJPEG圧縮されたものであり、単に所定時間幅でフレームを間引いたものである。

図３（ｂ）によれば、例えば動き補償フレーム間予測方式の場合であって、複数のフレームがＧＯＰ(Group Of Pictures)単位で構成されている。ＧＯＰは、一般に、１つのＩ(Intra-picture)フレームと、複数のＰ(Predictive-picture)フレーム及びＢ(Bidirectionally-picture)フレームとから構成される。そして、本発明によれば、撮影動画像として、Ｉ(Intra-picture)フレームのみが抽出される。即ち、画像全体が符号化されたフレームのみを、パラパラ画像として送信する。

また、Ｉフレームのデータレートを、１つのＧＯＰのデータレート以下であって比較的高いレートに設定することも好ましい。例えばＩフレーム１枚のデータレートと、ＧＯＰのデータレートとを同一にすることもできる。これによって、撮影動画像におけるパラパラ画像１枚の解像度を高くし、端末２を操作する指示者に対して、撮影動画像を細部に渡って認識しやすくすることができる。

［第２のステップＳ２］
（Ｓ２１）端末２が、受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させる。

図４は、第１の端末によって撮影された映像を、第２の端末のディスプレイに表示した画面図である。

図４によれば、作業管理者（指示者）が所持する端末２には、作業現場員（被指示者）の操作する端末１によって撮影された現場状況が、動画像（パラパラ画像）として表示される。また、端末２のディスプレイの右上に、「指示書込」用ボタンが明示されている。指示者は、撮影動画像がパラパラ画像として逐次進行していく途中で、「指示書込」用ボタンを押下することによって１枚の画像を対象として、停止させることができる。

図５は、指示者が第２の端末に指示を書き込んでいる画面図である。

図５によれば、最初に、ユーザは、端末２のタッチパネルディスプレイ上に指で、「第２の所定範囲」を指定している。ここでは、キーボードではなく、スマートフォンが写る部分を第２の所定範囲として指定している。「第２の所定範囲」とは、マッチング用の「撮影静止画像」の範囲である。勿論、第２の所定範囲は、ユーザがこれから指によって描こうとする指示静止画像の枠として指定するものであってもよいし、描こうとする指示静止画像とは全く別の部分を指定するものであってもよい。

（Ｓ２２）端末２は、当該撮影動画像に対する指示静止画像をユーザに書き込ませる。ここでは、ユーザは、キーボードのキー［Ｒ］の部分を差して、「←ココ」と描いている。

また、他の実施形態として、端末２は、ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しているものであってもよい。この場合、端末２は、タッチペンによってユーザに描かれた画像を指示静止画像とすることができる。

［第３のステップＳ３］
端末２は、以下の２つの静止画像と第１の座標相対値とを、端末１へ送信する。
「指示静止画像」：ユーザに書き込まれた第１の所定範囲の静止画像
「撮影静止画像」：第２の所定範囲で撮影動画像をトリミングした静止画像
「第１の座標相対値」：第１の所定範囲と第２の所定範囲との間の座標相対値

（Ｓ３１）端末２が、ユーザに書き込まれた指示静止画像を含む第１の所定範囲を決定する。「第１の所定範囲」は、指示静止画像を含むように、自動的に例えば矩形状の所定範囲に設定される。

「撮影静止画像」は、後述するように、画像マッチングの「キー画像」として用いられるものである。そのために、撮影静止画像は、画像そのものである必要はなく、マッチングのための特徴量画像であってもよい。特徴量画像とは、画像の局所領域から算出された特徴量であって、例えば画像内のエッジやコーナー等の局所領域から抽出される。代表的には例えばＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)が用いられる。その他、計算コストに優れるバイナリ特徴量を用いることもできる。また、ＳＳＤ(Sum of Squared Difference)や、正規化相互相関（ＮＣＣ）でマッチングを行うための、局所的な切り出し画像（パッチ）であってもよい。

更に、「撮影静止画像」及び「指示静止画像」は、低データ量のための解像度圧縮画像であってもよい。これら画像は、bitmap形式の画像である必要はなく、例えばJPEGのような圧縮画像であってもよい。

図６は、指示静止画像及び撮影静止画像を表す説明図である。

図６によれば、第１の所定範囲と第２の所定範囲のとの関係が表されている。
第１の所定範囲：指示側端末でユーザが書き込んだ指示静止画像を含む範囲
第２の所定範囲：指示側端末でユーザが指定したマッチング用の撮影静止画像を含む範囲
ここで、所定範囲間では、以下のような変換関係を有する。
第２の所定範囲−第１の所定範囲間 -> ユークリッド変換

（Ｓ３２）端末２は、指示静止画像の「第１の所定範囲」と、「第２の所定範囲」との間の第１の座標相対値を算出する（図６における行列Ｈａ参照）。第１の座標相対値は、例えば平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列又はアフィン変換行列であってもよい（例えば非特許文献５〜７参照）。これらは、平行移動のみ、又は平行移動に、及び線形変換（拡大縮小、剪断、回転等の線形変換）を組み合わせた変換をいう。例えば矩形状の範囲であれば、第１の所定範囲の４頂点座標と、第２の所定範囲の４頂点座標との間の移動差分を意味する。

アフィン変換の場合、第１の所定範囲と第２の所定範囲との間で、線形変換は座標に対する２×２行列を乗算することによって表され、平行移動は２次元のベクトルの加算で表わされる。

ｘ，ｙ：第２の所定範囲におけるｘ座標及びｙ座標
ｘ'，ｙ'：第１の所定範囲におけるｘ座標及びｙ座標
ｈ₁₁，ｈ₁₂，ｈ₂₁，ｈ₂₂要素：線形変換要素
ｈ₁₃，ｈ₂₃要素：平行移動要素

また、ユークリッド変換の場合、以下のように表される。

ｘ，ｙ：第２の所定範囲におけるｘ座標及びｙ座標
ｘ'，ｙ'：第１の所定範囲におけるｘ座標及びｙ座標
θ：回転変換要素
tx，ty：平行移動要素

（Ｓ３３）図５によれば、端末２のディスプレイの右上に、「指示送信」用ボタンが明示されている。ユーザは、指示静止画像を書き込んだ後、「指示送信」用ボタンを押下する。これによって、端末２は、第１の座標相対値（図６における行列Ｈａのパラメータ要素）と、指示静止画像と、第２の所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、被指示端末１へ送信する。

［第４のステップＳ４］
図６によれば、更に、第３の所定範囲と第４の所定範囲のとの関係が表されている。
第３の所定範囲：被指示側端末で撮影静止画像にマッチングした範囲
第４の所定範囲：被指示側端末で指示静止画像を重畳すべき範囲
ここで、所定範囲間では、以下のような変換関係を有する。
第２の所定範囲−第３の所定範囲間 -> 射影変換・姿勢変換
第１の所定範囲−第４の所定範囲間 -> 射影変換・姿勢変換

端末１は、以下のステップで、指示静止画像を撮影動画像に重畳して表示する。
（Ｓ４１）端末１は、カメラによって撮影された「撮影動画像」（撮影プレビュー映像）と、端末２から受信した「撮影静止画像」（第２の所定範囲）とがマッチングする第３の所定範囲を検出する。ここで、撮影静止画像を、射影変換又は姿勢変換させながら、撮影動画像にマッチングさせることも好ましい。撮影動画像は常に動いているものであるので、撮影静止画像とのマッチングの追従処理は常に実行されている。

（Ｓ４２）第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出する（図６における行列Ｈｐ参照）。第２の座標相対値は、例えば射影変換行列又は姿勢変換行列のいずれかである（例えば非特許文献８、９参照）。

「射影変換」とは、平行回転移動に、平面の遠近感を表現する射影を更に加えたものである。例えば以下のような行列式によって表される。

ｘ，ｙ：撮影静止画像におけるｘ座標及びｙ座標
ｘ'，ｙ'：マッチング先のｘ座標及びｙ座標
ｈ₁₁〜ｈ₃₃：パラメータ

「姿勢変換」とは、３次元空間内の剛体運動であって、６自由度の姿勢行列で表現するものである。ここで「姿勢行列」とは、３次元特殊ユークリッド群ＳＥ（３）に属し、３自由度の３次元回転行列と３次元並進ベクトルとで表される。例えば以下のような行列式によって表される。

Ａ：カメラの内部パラメータ
予めカメラキャリブレーションによって求めておくことが望ましい。
しかしながら、実際の値とずれた場合でも最終的に姿勢行列と打ち消し合う
ために、重畳表示の位置には影響しない。そのため本発明の利用用途の場合、
一般的なカメラの値で代用することができる。
Ｒ（r11〜r33）：３次元空間内の回転を表すパラメータ
各パラメータはオイラー角等の表現によって３パラメータで表現可能
ｔ（t1〜t3）：３次元空間内の平行移動を表すパラメータ。
ｘ，ｙ：撮影静止画像におけるｘ座標及びｙ座標
ｘ'，ｙ'：マッチング先のｘ座標及びｙ座標

（Ｓ４３）撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、「指示静止画像」を重畳させてディスプレイに表示する（図６におけるＨｐ・Ｈａ参照）。具体的には、ＡＲのマーカレス型・物体認識方式を適用したものである。

図７は、撮影対象物に対する撮影位置が平行回転移動した場合における第１の端末の画面図である。
図８は、図７について撮影対象物に対する撮影位置が射影移動した場合における第１の端末の画面図である。

図９は、第１の端末及び第２の端末の機能構成図である。

被指示側端末としての端末１は、ネットワークに接続すると共に、ディスプレイ１３及びカメラ１４とを有する。また、端末１は、撮影動画像送信部１１と、映像表示制御部１２とを有する。これら機能構成部は、端末１に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
撮影動画像送信部１１は、カメラ１４による撮影動画像を逐次、相手方端末２へ送信する（図２のＳ１と同様）。
映像表示制御部１２は、カメラ１４によって撮影された撮影動画像と、相手方端末２から受信した撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出する。次に、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出する。そして、撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、指示静止画像を重畳させてディスプレイ１３に表示する（図２のＳ４１〜Ｓ４３と同様）。

指示側端末としての端末２は、ネットワークに接続すると共に、タッチパネルディスプレイ２３を有する。また、端末２は、指示静止画像入力部２１と、指示静止画像送信部２２とを有する。これら機能構成部は、端末２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
指示静止画像入力部２１は、第２の実施形態によれば、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる（図２のＳ２１及びＳ２２と同様）。
指示静止画像送信部２２は、第２の実施形態によれば、ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出する。そして、第１の座標相対値と、指示静止画像と、第２の所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、端末１へ送信する（図２のＳ３１〜Ｓ３３と同様）。

図１０は、送信側及び受信側の両方の機能を搭載した両用端末の機能構成図である。

図１０によれば、両用端末３における各機能構成部は、図９における被指示側端末１及び指示側端末２の機能構成部と全く同様のものである。また、これら機能構成部は、端末３に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

以上、詳細に説明したように、本発明の映像指示方法、システム、端末、及びプログラムによれば、マーカや登録オブジェクト画像を用いることなく、一方の端末のカメラに写る映像に対して、他方の端末から画像的な指示をすることができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 被指示側端末
１１ 撮影動画像送信部
１２ 映像表示制御部
１３ ディスプレイ
１４ カメラ
２ 指示側端末
２１ 指示静止画像入力部
２２ 指示静止画像送信部
２３ タッチパネルディスプレイ
３ 両用端末

Claims (12)

1. ディスプレイ及びカメラを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおける映像指示方法において、
   第１の端末が、前記カメラによる撮影動画像を逐次、第２の端末へ送信する第１のステップと、
   第２の端末が、受信した前記撮影動画像を前記ディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる第２のステップと、
   第２の端末が、ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出すると共に、第１の座標相対値と、前記指示静止画像と、第２の所定範囲で前記撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する第３のステップと、
   第１の端末が、前記カメラによって撮影された撮影動画像と前記撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出し、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出し、前記撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、前記指示静止画像を重畳させて前記ディスプレイに表示する第４のステップと
   を有することを特徴とする映像指示方法。
2. 第１の座標相対値は、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列又はアフィン変換行列であり、
   第２の座標相対値は、射影変換行列又は姿勢変換行列である
   ことを特徴とする請求項１に記載の映像指示方法。
3. 第１のステップについて、第１の端末は、前記撮影動画像を、所定時間幅で間引いたフレームのみを、第２の端末へ送信することを特徴とする請求項１又は２に記載の映像指示方法。
4. 第１のステップについて、前記撮影動画像は、動き補償フレーム間予測方式の基準となるＩ(Intra-picture)フレームのみを、第２の端末へ送信することを特徴とする請求項３に記載の映像指示方法。
5. 第１のステップについて、第１の端末は、前記Ｉフレームのデータレートを、１つのＧＯＰ(Group Of Pictures)のデータレート以下に設定することを特徴とする請求項４に記載の映像指示方法。
6. 前記撮影静止画像は、前記マッチングのための特徴量画像、又は、低データ量のための解像度圧縮画像であり、
   前記指示静止画像は、低データ量のための解像度圧縮画像である
   ことを特徴とする請求項１から５のいずれか１項に記載の映像指示方法。
7. 第２の端末に搭載されたディスプレイは、タッチパネルディスプレイであって、
   第２のステップについて、第２の端末は、前記タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示静止画像とする
   ことを特徴とする請求項１から６のいずれか１項に記載の映像指示方法。
8. 第２の端末は、前記ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しており、
   第２のステップについて、第２の端末は、前記タッチペンによってユーザに描かれた画像を指示静止画像とする
   ことを特徴とする請求項１から６のいずれか１項に記載の映像指示方法。
9. 第４のステップについて、第１の端末は、ＡＲ（拡張現実、Augmented Reality）のマーカレス型・物体認識方式を適用したものであることを特徴とする請求項１から８のいずれか１項に記載の映像指示方法。
10. ディスプレイ及びカメラを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続された映像指示システムにおいて、
    第１の端末は、
    前記カメラによる撮影動画像を逐次、第２の端末へ送信する撮影動画像送信手段と、
    前記カメラによって撮影された撮影動画像と、第２の端末から受信した撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出し、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出し、前記撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、第２の端末から受信した指示静止画像を重畳させて前記ディスプレイに表示する映像表示制御手段と
    を有し、
    第２の端末は、
    受信した撮影動画像を前記ディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
    ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出すると共に、第１の座標相対値と、前記指示静止画像と、第２の所定範囲で前記撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する指示静止画像送信手段と
    を有することを特徴とする映像指示システム。
11. ディスプレイ及びカメラを搭載した端末において、
    前記カメラによる撮影動画像を逐次、相手方端末へ送信する撮影動画像送信手段と、
    相手方端末から受信した撮影動画像を前記ディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
    ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出すると共に、第１の座標相対値と、前記指示静止画像と、第２の所定範囲で前記撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末へ送信する指示静止画像送信手段と、
    前記カメラによって撮影された撮影動画像と、相手方端末から受信した撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出し、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出し、前記撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、前記指示静止画像を重畳させて前記ディスプレイに表示する映像表示制御手段と
    を有することを特徴とする端末。
12. ディスプレイ及びカメラを搭載した端末に搭載されたコンピュータを機能させるプログラムにおいて、
    前記カメラによる撮影動画像を逐次、相手方端末へ送信する撮影動画像送信手段と、
    相手方端末から受信した撮影動画像を前記ディスプレイに表示し、当該撮影動画像に対する第２の所定範囲をユーザに指定させると共に、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
    ユーザに書き込まれた指示静止画像を含む第１の所定範囲と、第２の所定範囲との間の第１の座標相対値を算出すると共に、第１の座標相対値と、前記指示静止画像と、第２の所定範囲で前記撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末へ送信する指示静止画像送信手段と、
    前記カメラによって撮影された撮影動画像と、相手方端末から受信した撮影静止画像（第２の所定範囲）とがマッチングする第３の所定範囲を検出し、第２の所定範囲と第３の所定範囲との間の第２の座標相対値を算出し、前記撮影静止画像（第２の所定範囲）に第１の座標相対値及び第２の座標相対値を反映した第４の所定範囲に、前記指示静止画像を重畳させて前記ディスプレイに表示する映像表示制御手段と
    してコンピュータを機能させることを特徴とする端末用のプログラム。

Images