JPH11298872A - 映像通信システム - Google Patents

Abstract

(57)【要約】 【課題】作業実施者の視界を作業指示者が共有するとと
もに、作業指示者の指示する注目領域を指定する情報を
作業実施者の視界内に表示すること。 【解決手段】第一の端末１は、オペレータの視界と同一
の映像が得られる位置から撮影する視界映像を第二の端
末２に伝送する手段と、前記視界映像に対し、第二の端
末２で入力した注目領域を指定する情報を、前記第一の
端末１のオペレータの見ている実像に重畳して表示する
よう表示制御を行う手段と、前記注目領域指示情報を第
一の端末１のオペレータの見ている実像に表示する手段
を具備し、前記第二の端末２は、前記第一の端末１から
伝送される視界映像を表示する手段と、前記視界映像内
の注目領域を指定する情報を入力する手段と、入力され
た注目領域指定情報を前記第一の端末１に伝送する手段
とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、遠隔から作業指示
などを行う遠隔修理、遠隔保守、遠隔医療などの遠隔協
同作業を行う映像通信システムに関する。

【０００２】

【従来の技術】従来、ＴＶ会議システムや遠隔監視シス
テムなどの双方向もしくは片方向の映像通信システム
や、協同作業支援システムとしてＣＳＣＷ(Computer Su
pportedCooperative Work) （参考資料：「ＣＳＣＷと
グループウェア−協創メディアとしてのコンピュータ
ー」、石井裕箸、オーム社、ISBN4-274-07787-X ）シス
テムなどが提供されている。

【０００３】ＴＶ会議システムはお互いの姿を相互に見
て、遠隔地間で会議を行うシステムであり、遠隔監視シ
ステムは遠隔地の状態を一方的に監視するものである。
また、ＣＳＣＷシステムは表示装置上に表示されている
電子情報に対しての協同作業を行うものである。

【０００４】

【発明が解決しようとする課題】しかし、これらのシス
テムでは、作業対象が装置や人物などの物理的なもの
（以下、作業対象実体と称する。）である場合、遠隔か
ら作業位置などを表す注目領域を作業実施者側の表示装
置に表示されている作業対象物の映像に重畳して表示で
きるようにしても、作業対象実体と注目領域を表示して
いる表示装置とを同一視野に配置するのが困難であり、
作業を実施する際に、別々の視野にある作業対象実体と
注目領域を表示している表示装置とを交互に見る必要が
あった。

【０００５】本願発明はこれを解決し、遠隔にいる作業
実施者の視界を作業指示者が共有するとともに、作業指
示者の指示する作業に関連する注目領域を指定する情報
を作業実施者の視界内に表示することができる映像通信
システムを提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明の映像通信システ
ムは、第一の端末と第二の端末とを通信網で相互に接続
した通信システムにおいて、前記第一の端末は、第一の
端末のオペレータの視界と同一、もしくは同等の映像が
得られる位置から撮影する視界映像撮影手段と、前記視
界映像撮影手段で撮影した視界映像を前記第二の端末に
伝送する視界映像伝送手段と、前記視界映像に対し、前
記第二の端末で入力した注目領域を指定する情報を受信
する注目領域指定情報受信手段と、前記注目領域指定情
報受信手段で受信した注目領域指定情報を、第一の端末
のオペレータの見ている実像に重畳して表示するため
に、前記注目領域指定情報の表示制御を行う注目領域指
定情報表示制御手段と、前記注目領域指定情報表示制御
手段に基づき、前記注目領域指示情報を第一の端末のオ
ペレータの見ている実像に表示する注目領域指定情報表
示手段を具備し、前記第二の端末は、前記第一の端末か
ら伝送される視界映像を受信する視界映像手段と、前記
視界映像受信手段で受信した視界映像を表示する視界映
像表示手段と、前記視界映像内の注目領域を指定する情
報を入力する注目領域指定情報入力手段と、前記注目領
域指定情報入力手段により入力された注目領域指定情報
を前記第一の端末に伝送する手段とを具備する。

【０００７】上記本願発明の映像通信システムにより、
遠隔にいる作業実施者の視界を作業指示者が共有すると
ともに、作業指示者の指示する作業に関連する注目領域
を指定する情報を作業実施者の視界内に表示することが
できる。

【０００８】

【発明の実施の形態】以下、本願発明の映像通信システ
ムについて、その実施例を図面を参照しながら説明す
る。図１は本願発明の映像通信システムの一実施例の全
体構成図である。実施側端末１と指示側端末２は通信網
３で相互に接続されている。

【０００９】実施側端末１は実施側端末制御装置１１と
ゴーグル装置１２などで構成され、指示側端末２は指示
側端末制御装置２１、表示装置２２、ポインティングデ
バイス２３、マイク２４、スピーカ２５などで構成され
る。

【００１０】以下、実施側端末１について説明する。図
２は実施側端末１のブロック図である。実施側端末１は
実施側端末制御装置１１とゴーグル装置１２で構成され
る。

【００１１】ゴーグル装置１２は、カメラ装置部１２
１、変位検出装置部１２２、距離検出装置部１２３、表
示装置部１２４、制御装置インタフェース部１２５、マ
イク部１２６、イヤホン部１２７などで構成される。ゴ
ーグル装置１２を実施側端末１のオペレータ（すなわ
ち、作業実施者）の頭部に装着することにより、実施側
端末１のオペレータの視界と同一、もしくは同等の映像
が得られる位置から撮影することができる。

【００１２】カメラ装置部１２１は、映像を撮影する装
置であり、ズーム調整機構、フォーカス調整機構、輝度
調整機構、画角調整機構などを収容している。変位検出
装置部１２２は、ゴーグル装置全体の変位を検出する装
置であり、内蔵されている変位を検出するセンサ、例え
ばジャイロセンサからの出力をデジタル情報に加工して
出力する。

【００１３】距離検出装置部１２３は、作業対象物まで
の距離を検出する装置である。表示装置部１２４は、指
示側端末２のオペレータ（すなわち、作業指示者）が入
力する注目領域指定情報を表示する装置であり、例えば
液晶プロジェクタで構成される。図４はゴーグル装置に
収容されている表示装置部１２４の一例である液晶プロ
ジェクタの構成ブロック図である。液晶プロジェクタ４
は、透過型液晶ディスプレイ４１、投影光源４２、結像
位置調整レンズ４３などで構成され、透過型液晶ディス
プレイ４１に表示される注目領域が投影光源４２により
作業対象者に投影し、結像位置調整レンズ４３を光軸方
向に動作させることにより、作業対象者の位置に注目領
域を結像させる。

【００１４】制御装置インタフェース部１２５は、実施
側端末制御装置１１との接続のためのインタフェースで
あり、ゴーグル装置１２に収容されている様々な装置と
の情報のやりとりを行う。

【００１５】マイク部１２６は、実施側端末１のオペレ
ータの音声を入力する装置である。イヤホン部１２７
は、指示側端末２のオペレータの音声を再生する装置で
ある。 実施側端末制御装置１１は、実施側端末主制御
部１１１、ゴーグルインタフェース部１１２、映像処理
部１１３、音声処理部１１４、通信インタフェース部１
１５を収容している。

【００１６】実施側端末主制御部１１１は、実施側端末
１を統括して制御をする統括制御機能、ゴーグル装置１
２に収容されている変位検出装置部１２２で測定される
情報からのゴーグル装置１２に収容されているカメラの
位置変位であるカメラ位置情報を算出するカメラ位置算
出機能、ゴーグル装置１２に収容されている距離検出装
置部１２３で測定される情報からコーグル装置１２に収
容されているカメラと作業対象物までの距離である対象
物距離情報を算出する距離算出機能、常時変動するカメ
ラ位置情報や対象物距離情報などに基づいてカメラのフ
ォーカスやチルト方向およびパン方向の画角を制御する
カメラ制御機能、常時変動するカメラ位置情報や対象物
距離情報などに基づいて表示装置部１２４で表示される
映像の結像位置を制御する結像位置制御機能、常時変動
するカメラ位置情報や対象物距離情報などに基づいて、
指示側端末２から送信される注目領域指定情報の表示装
置部１２４内の表示位置や図形形態を整合させる注目領
域指定情報表示制御機能、通信網３や指示側端末２との
接続／通信の制御を行う通信制御機能などを収容する。

【００１７】ゴーグルインタフェース部１１２は、ゴー
グル装置１２との接続のためのインタフェースであり、
ゴーグル装置１２に収容されているカメラ装置部１２
１、変位検出装置部１２２、距離検出装置部１２３、表
示装置部１２４、制御装置インタフェース部１２５、マ
イク部１２６、イヤホン部１２７など装置との情報のや
りとりを行う。

【００１８】映像処理部１１３は、ゴーグル装置１２に
収容されているカメラ装置部１２１で入力される映像
を、指示側端末２に伝送するため符号化などの処理を行
う。音声処理部１１４は、ゴーグル装置１２に収容され
ているマイク部１２６やイヤホン部１２７で入出力され
る音声を指示側端末２とやりとりするための情報形式に
変更する符号化／復号化やエコー除去などの処理を行
う。

【００１９】通信インタフェース部１１５は、音声情
報、映像情報、データ情報を多重分離し、通信網３に接
続するなどの処理を行う。以下、指示側端末２について
説明する。

【００２０】図３は指示側端末２のブロック図である。
指示側端末２は、指示側端末制御装置２１、表示装置２
２、ポインティングデバイス２３、マイク装置２４、ス
ピーカ装置２５で構成される。

【００２１】指示側端末制御装置２１は、指示側端末主
制御部２１１、表示装置インタフェース部２１２、映像
処理部２１３、音声処理部２１４、ポインティングデバ
イスインタフェース部２１５、通信インタフェース部２
１６を収容している。

【００２２】指示側端末主制御部２１１は、指示側端末
２を統括して制御する総合制御機能、ポインティングデ
バイス２３で指定される注目領域を実施側端末１に伝送
するための注目指定情報に変換する注目領域指定情報生
成機能、ポインティングデバイス２３を操作することに
より入力される情報を指示側端末制御装置２１にとりこ
むポイティングデバイス入力機能、通信網３や実施側端
末１との接続／通信の制御を行う通信制御機能などを収
容する。

【００２３】表示装置インタフェース部２１２は、表示
装置２２との接続のためのインフェースである。映像処
理部２１３は、実施側端末１から送信されてくる映像情
報の復号化などの処理を行う。

【００２４】音声処理部２１４は、マイク装置２４やス
ピーカ装置２５で入出力される音声を実施側端末１とや
りとりするための情報形式に変更する符号化／復号化や
エコー除去などの処理を行う。

【００２５】ポインティングデバイスインタフェース部
２１５は、ポインティングデバイス２３との接続のため
のインタフェースである。通信インタフェース部２１６
は、音声情報、映像情報、データ情報を多重分離し、通
信網３に接続するなどの処理を行う。

【００２６】表示装置２２は、実施側端末１のカメラ装
置部１２１で撮影される映像を表示するとともに、ポイ
ンティングデバイス２３で入力する注目領域指定情報を
表示する。

【００２７】ポインティングデバイス２３は、注目領域
を指定するための装置である。マイク装置２４は、指示
側端末２のオペレータの音声を入力する装置である。ス
ピーカ装置２５は、実施側端末１のオペレータの音声を
再生する装置である。以下、上述の構成の映像通信シス
テムの動作について説明する。

【００２８】実施側端末１は、立ち上げ時に映像の焦点
あわせを行っている位置、例えば映像の中心点を原点と
する実施側端末座標系の初期化を行い、初期化以降、ゴ
ーグル装置１２つまりはカメラ装置部１２１の位置座標
であるカメラ位置情報を算出する。指示側端末２と通信
回線が接続されている場合は、カメラ装置部１２１で撮
影される映像とともに、カメラ位置情報を指示側端末２
に送信する。

【００２９】カメラ位置情報は、映像フレーム毎に同期
して、毎フレームまたは一定のフレーム数毎に算出され
る。一定のフレーム数毎にカメラ位置情報を算出する場
合は、カメラ位置情報算出を行う映像フレーム間の途中
の映像フレームで大幅にシーンが変化することもあるの
で、例えば、映像の動きベクトルの予測誤差が一定の値
以上になった場合、カメラ位置情報を予測誤差が一定の
値以下になった映像フレームの時点で初期することも可
能である。

【００３０】初期化時のカメラ位置情報は、ゴーグル装
置１２に収容されている距離検出装置部１２３と実施側
端末主制御部１１１の距離算出機能で作業対象者５まで
の距離がｚ０と算出された場合、初期状態ではｘ軸、ｙ
軸の座標はともに０、パン方向画角回転座標も０とする
ので、（０，０，−ｚ０，０）となる（図５（ａ））。
ここで、作業対象者５までの距離を測定する距離検出装
置部１２３や距離算出機能などで実現する測距方式は、
一般的な自動焦点カメラで利用されている測距方式を利
用する。

【００３１】ここで、パン方向画角回転座標は、図６
（ａ）に示すように初期化時点のカメラ画角方向を０°
としたパン方向のカメラ画角の回転度数を座標としたも
のや、図６（ｂ）に示すように実施側端末座標系を初期
化した際の原点方向とカメラ画角方向のなす角の角度を
座標としたものである。また、パン方向だけでなくチル
ト方向画角の回転座標を活用しても良い。

【００３２】初期化以降、実施側端末１のオペレータ頭
部の移動に応じて、カメラ位置情報はゴーグル装置１２
に収容されている変位検出装置部および実施側端末主制
御部のカメラ位置算出機能により更新される。例えば、
カメラ位置情報が（０，０，−ｚ０，０）であった次の
更新で、変位検出装置部１２２で相対的に（△ｘ，△
ｙ，△ｚ，△θ）だけ移動したことを示す値が検出され
た場合、実施側端末主制御部１１１のカメラ位置算出機
能で、カメラ位置情報は（△ｘ，△ｙ，ｚ０＋△ｚ，△
θ）と更新される（図５（ｂ））。

【００３３】図７は、実施側端末１から指示側端末２へ
の映像、音声、データなどの各種情報を伝送する際のフ
ローチャートである。実施側端末１のカメラ装置部１２
１で撮影された映像は映像処理部１１３で符号化され、
マイク部１２６から入力された音声は音声処理部１１４
で符号化され、カメラ位置情報等のデータは実施側端末
主制御部１１１で生成され（ＳＰ７１、ＳＰ７２）、通
信インタフェース部１１５で多重化／送信される（ＳＰ
７３）。

【００３４】指示側端末２では、通信インタフェース部
２１６で実施側端末１から送信される映像、音声、デー
タが多重されている情報を受信／分離し（ＳＰ７４）、
映像情報は映像処理部２１３で復号し、音声情報は音声
処理部２１４で復号／エコー除去処理され（ＳＰ７
５）、表示装置２２やスピーカ装置２５などの各情報の
出力装置に出力される（ＳＰ７６）。また、同時に受信
されるカメラ位置情報は、指示側端末主制御部２１１で
一時的に蓄積されて（ＳＰ７５）、注目領域を指定する
際に利用される（ＳＰ７６）。

【００３５】ここで、カメラ位置情報には、そのカメラ
位置情報に関連する映像フレームのシーケンシャル番号
が付加され、映像情報とカメラ位置情報との時間関係の
整合を行うことも可能である。

【００３６】指示側端末２のオペレータは表示装置２２
の映像を見て、音声や注目領域を指定する情報で実施側
端末１のオペレータに作業指示を行う。注目領域は、指
示側端末のオペレータが指示する領域を実施側端末１の
オペレータに視覚的に認知できるようにする情報であ
り、ポインティングデバイス２３を用いて入力する。

【００３７】この注目領域は、例えばポインティングデ
バイス２３を用いて描画した短形や円などの図形であ
り、または、ポインティングデバイス２３の動作を反映
する指示ポインタ自体である。図８に、短形および指示
ポインタを用いた注目領域の例を示す。

【００３８】注目領域は、実施側端末１にその内容を伝
達するために注目領域指定情報に変換され、注目領域を
指定した時点の映像に付随して伝送されてくるカメラ位
置情報とともに実施側端末１に伝送される。注目領域指
定情報の情報形式は、本発明では限定されず、ポインテ
ィングデバイス２３の軌跡の描く図形の、ビットマップ
イメージ情報および表示位置であったり、ベクトル式や
ベジェ曲線などの数式および表示位置の情報であった
り、矩形、楕円、直線などの図形を識別する情報および
その大きさ、向き、表示位置などの情報であったり、こ
れら情報と表示位置情報を組み合わせた情報であっても
よい。

【００３９】また、ここで実施側端末１の座標系は、指
示側端末２のオペレータが注目領域指定情報を入力する
ごとに初期化することも可能である。加えて、指示側端
末２においては、表示されている注目領域も逐次伝送さ
れてくるカメラ位置情報に応じて、注目領域の表示を変
更する。

【００４０】図９は、実施側端末１のカメラ位置情報の
更新にともない、指示側端末２の表示装置２２上での注
目領域の表示が更新された例を示した図である。図９
（ａ）の位置９ｂでの表示装置画面が図９（ｂ）であ
り、注目領域が領域９ｂ２である。また、位置９ｃでの
表示装置画面が図９（ｃ）であり、注目領域が領域９ｃ
２である。実施側端末１では伝送されてくる注目領域指
定情報とそれを指定した時点でのカメラ位置情報と、そ
の時点でのカメラ位置情報に基づいて、実施側端末１の
表示装置１２４に表示する注目領域を表示形式を生成
し、逐次更新するカメラ位置情報に応じて、その表示形
式も更新される。図９（ａ）の領域９ｂ１および領域９
ｃ１が作業対象者５の実像に投影されている指示側端末
２のオペレータが指定した注目領域である。このとき併
せて、作業対象者５、もしくは実施側端末座標系の原点
までの距離に応じて実施側端末主制御部１１１の結像位
置制御機能により、表示装置１２４の結像位置を調整す
ることで、実施側端末１のオペレータが見ている実視界
の作業対象者５と同じ位置に注目領域を結像させる。ま
た、指示側端末２に送信している映像の領域を表示する
ことも可能であり、カメラ装置部１２１のズームや画
角、対象物までの距離、カメラ装置などにより送信映像
領域表示も更新される。

【００４１】図１０に注目領域や送信映像領域が重畳さ
れた作業実施者６の視界の例を示す。ここでは、表示装
置１２４として液晶プロジェクタを例として挙げたが、
本発明はこれに限定されず、レーザビーム投影ディスプ
レイ、網膜投影型ディスプレイ（Reflection Technolog
y 社のPrivate Eye ：電子情報通信学会誌 Vol.78 No.7
pp.703-704）など他の表示装置も適用可能である。

【００４２】これまでの説明では、実施側端末１の伝送
する映像を２次元映像とし、指示側端末２のポインティ
ングデバイス２３で入力される図形情報を注目領域指定
情報として用いるように説明したが、本発明ではこれに
限定されず、実施側端末１から指示側端末２へ伝送する
映像を作業対象物の動画ホログラフィー映像とし、指示
側端末２から実施側端末１に伝送する注目領域指定情報
を指示側端末２のオペレータの手や腕の動画ホログラフ
ィー映像を用いてもよい。図１１は、動画ホログラフィ
ー映像を用いた場合の実施側端末１のオペレータ（作業
実施者）の視界（図１１（ａ））および指示側端末２の
オペレータ（作業指示者）の視界（図１１（ｂ））の例
である。

【００４３】なお、カメラ装置１２１を装着しているオ
ペレータの頭部は、ブレが発生することもある。このブ
レを無視するようにカメラ位置の変位が定範囲内のであ
れば、指示側端末主制御部２１１や実施側端末主制御部
１１１で注目領域指定情報の表示位置や表示形式が変更
されないように制御してもよい。

【００４４】

【発明の効果】作業実施者が作業対象物実体を見ている
状況で、作業指示者の作業内容に関連した作業対象物の
位置をあわせて見ることができるので、作業指示者から
指示される作業内容を間違うことなく作業実施者が実施
することができる。

【図面の簡単な説明】

【図１】本実施例に関わる一実施例の全体構成図。

【図２】実施側端末のブロック図。

【図３】指示側端末のブロック図。

【図４】ゴーグル装置に収容されている表示装置の一例
である液晶プロジェクタの構成ブロック図。

【図５】カメラ位置情報を説明する図。

【図６】パン方向画家区回転座標を説明する図。

【図７】実施側端末から指示側端末への映像、音声、デ
ータなどの各種情報を伝送する際のフローチャート。

【図８】注目領域の例。

【図９】指示側端末の表示装置上での注目領域の表示が
更新された例を示した図。

【図１０】注目領域や送信映像領域が重畳された作業実
施者の視界の例を示した図。

【図１１】動画ホログラフィー映像を用いた場合の実施
側端末のオペレータ（作業実施者）および指示側端末の
オペレータ（作業指示書）の視界の例を示した図。

【符号の説明】

１ 実施側端末 ２ 指示側端末 ３ 通信網 ４ 液晶プロジェクタ ５ 作業対象者 ６ 作業実施者 １１ 実施側端末制御装置 １２ ゴーグル装置 ２１ 指示側端末制御装置 ２２ 表示装置 ２３ ポインティングデバイス ２４ マイク部 ２５ スピーカ部

Claims (4)

【特許請求の範囲】
1. 【請求項１】第一の端末と第二の端末とを通信網で相互
   に接続した通信システムにおいて、 前記第一の端末は、 第一の端末のオペレータの視界と同一、もしくは同等の
   映像が得られる位置から撮影する視界映像撮影手段と、 前記視界映像撮影手段で撮影した視界映像を前記第二の
   端末に伝送する視界映像伝送手段と、 前記視界映像に対し、前記第二の端末で入力した注目領
   域を指定する情報を受信する注目領域指定情報受信手段
   と、 前記注目領域指定情報受信手段で受信した注目領域指定
   情報を、第一の端末のオペレータの見ている実像に重畳
   して表示するために、前記注目領域指定情報の表示制御
   を行う注目領域指定情報表示制御手段と、 前記注目領域指定情報表示制御手段に基づき、前記注目
   領域指示情報を第一の端末のオペレータの見ている実像
   に表示する注目領域指定情報表示手段を具備し、 前記
   第二の端末は、 前記第一の端末から伝送される視界映像を受信する視界
   映像手段と、 前記視界映像受信手段で受信した視界映像を表示する視
   界映像表示手段と、 前記視界映像内の注目領域を指定する情報を入力する注
   目領域指定情報入力手段と、 前記注目領域指定情報入力手段により入力された注目領
   域指定情報を前記第一の端末に伝送する手段とを具備す
   ることを特徴とする映像通信システム。
2. 【請求項２】前記第一の端末と前記第二の端末には、各
   々のオペレータ間の通話手段を有し、注目領域指定情報
   には前記通話手段による会話情報も付帯することを特徴
   とする請求項１記載の映像通信システム。
3. 【請求項３】前記注目領域指定情報表示制御手段は、前
   記第一の端末のオペレータの実視界の座標系と、第二の
   端末に表示されている視界映像の座標系とを整合させる
   手段とすることを特徴とする請求項１または請求項２記
   載の映像通信システム。
4. 【請求項４】前記注目領域指定情報表示制御手段は、前
   記第一の端末のオペレータの実視界の座標系と、第二の
   端末に表示されている視界映像の座標系とを整合させる
   手段と、前記注目領域指定情報を第一の端末のオペレー
   タの実視界の焦点と同等な位置に表示させるよう前記注
   目領域指定情報の結像位置を調整する手段とを有するこ
   とを特徴とする請求項１または請求項２記載の映像通信
   システム。