JP3217723B2 - 遠隔通信システム及び遠隔通信方法 - Google Patents

遠隔通信システム及び遠隔通信方法

Info

Publication number
JP3217723B2
JP3217723B2 JP05924897A JP5924897A JP3217723B2 JP 3217723 B2 JP3217723 B2 JP 3217723B2 JP 05924897 A JP05924897 A JP 05924897A JP 5924897 A JP5924897 A JP 5924897A JP 3217723 B2 JP3217723 B2 JP 3217723B2
Authority
JP
Japan
Prior art keywords
worker
supervisor
image
displayed
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP05924897A
Other languages
English (en)
Other versions
JPH10257475A (ja
Inventor
▲すすむ▼ 舘
信之 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP05924897A priority Critical patent/JP3217723B2/ja
Priority to US09/038,629 priority patent/US6342915B1/en
Priority to EP98301824A priority patent/EP0865207A3/en
Priority to KR1019980009993A priority patent/KR100268614B1/ko
Publication of JPH10257475A publication Critical patent/JPH10257475A/ja
Application granted granted Critical
Publication of JP3217723B2 publication Critical patent/JP3217723B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Alarm Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、いわゆる現場にお
いて実際の作業を行う作業者と遠隔地でこの作業者を監
督する監督者との間の意思の疎通を図るための遠隔通信
システム及び遠隔通信方法に関する。
【0002】
【従来の技術】例えば、警備・保安関連、工場内におけ
る保全のための見回り等の作業は単独の人問が実施する
場合が多い。この現場における定型的な作業自体は、通
常状態においては、この現場に不慣れな人間が行っても
特に問題ない。しかし、何等かの異常が発生した場合に
備えて、管理室に現場の状況や現場における各機器の取
扱いや性能を熟知した監督者が待機している。
【0003】そして、作業者が現場において何等かの異
常を発見すると、この作業者は必要とあれば、管理室の
監督者に対して通常電話等の有線通信や携帯電話等の無
線通信を用いて異常を音声で知らせる。そして、監督者
から同じく有線又は無線によって音声で指示を仰ぐ。そ
して、監督者の指示に従って例えば緊急事態に対応する
操作を実施する。
【0004】
【発明が解決しようとする課題】しかしながら、上述し
たように作業者と監督者との間の情報交換を電話等の音
声のみで実施していると、次のような問題が発生する。
すなわち、現場における作業内容に習熟していない作業
者が一人で現場を巡回している場合、異常発生自体を見
落とす可能性が大きい。
【0005】また、たとえ異常発生を発見したとして
も、作業者はその異常状況を言葉でもってのみ監督者に
伝えるので、管理室に常駐している監督者はその異常の
具体的内容が詳細に把握できない問題がある。この場
合、監督者は異常状態に対する最適な処置の指示を作業
者に伝達できない。
【0006】したがって、監督者が異常発生現場に急行
することになるが、監督者が現場に到達するまでに一定
の時間が必要であり、緊急事態には対処できない。ま
た、現場の要所、要所に監視カメラを予め設置しておい
て、監督者が管理室でモニタ監視することが考えられ
る。しかし、この監視カメラは一般に広い視野の現場を
撮影して、異常発生の有無を監視することが目的である
ので、異常発生箇所のより詳細な映像を管理室で確認す
ることができない。また、撮影する方向が予め定められ
た一方向のみであるので異常発生箇所を異なる方向から
観察することができない。
【0007】本発明はこのような事情に鑑みてなされた
ものであり、作業者にこの作業者の視野と同一視野を有
したカメラを装着することによって、監督者から作業者
に対する音声指示のみならず実際の現場に対する視覚的
な指示も実行でき、たとえ作業者が現場の各設備に対し
て不慣れな者であっても、遠隔地にいる監督者は確実に
現場の状況を把握でき、かつ作業者に適格な指示を与え
ることができる遠隔通信システム及び通信方法を提供す
ることを目的とする。
【0008】
【課題を解決するための手段】上記課題を解消するため
に本発明の遠隔通信システムにおいては、作業者に装着
された作業者装置で収集された作業者の視野に存在する
物体の映像をこの作業者装置に対して遠隔地に配設され
た監督者装置へ送信してこの監督者装置の表示画面に表
示出力し、この監督者装置から作業者装置へ各種指示を
送信してこの作業者装置で指示出力する。
【0009】そして、作業者装置に対して、作業者の微
小移動量を検出する手段と、監督者装置から受信した指
示位置に基づいて物体上に該当位置を指示する手段と、
監督者装置から受信した音声信号に対応する音声を出力
する手段とを付加している。
【0010】また、監督者装置に対して、映像を表示し
た状態で監督者が操作指定した映像内における指示位置
を作業者装置へ送信する手段と、映像を表示した状態で
入力された音声を音声信号に変換して前記作業者装置へ
送信する手段とを付加している。
【0011】このように構成された遠隔通信システムに
おいては、作業者には作業者装置が装着されている。そ
して、作業者の視野に存在する物体の映像及び作業環境
の音は作業者装置で撮影入力されて監督者が常駐してい
る例えば管理室等に設置された監督者装置へ送信されて
表示画面に表示され音声出力される。また、監督者が監
督者装置の表示画面上に表示された物体の位置を指示す
ると、作業者が装着している作業者装置を介して、現場
に存在する実際の物体上に該当位置が指示される。
【0012】したがって、遠隔地にいる作業者の作業環
境の映像・音声が臨場感豊かに管理室に駐在する監督者
に提示でき、さらに、監督者の作業指示が的確に作業者
に戻されることになる。
【0013】また、別の発明は、作業者装置又は監督者
装置に対して、表示画面に表示される映像の振れを前記
検出された作業者の微小移動量を用いて抑制する手段を
付加している。
【0014】したがって、作業者が細かく振れる(移動
する)と、監督者装置の表示画面に表示されている物体
も連動して振動するが、作業者の微小移動量を検出し
て、微小移動量に対しては、表示画面の画像の移動を停
止することによって、画像の振れを抑制して、監督者に
とって見やすい映像としている。
【0015】また、別の発明は、上記発明の遠隔通信シ
ステムにおける作業者装置に対して、作業者の注視視点
を検出する手段を付加し、さらに、振れを抑制する手段
は、映像の振れを前記検出された注視視点へ固定的に安
定化するようにしている。
【0016】このように構成された遠隔通信システムに
おいては、監督者は作業者が視野内の物体のうち該当作
業者が注目している位置を簡単に確認できる。さらに、
別の発明においては、物体上に該当位置を指示する手段
は、物体上の該当位置をレーザ光線で照射している。こ
のように、レーザ光線を用いることによって作業者は監
督者の指示する実際の物体上の位置を即座に把握でき
る。
【0017】また、別の発明においては、物体上に該当
位置を指示する手段は、作業者が装着している眼鏡上に
該当位置を投影している。このように眼鏡上に該当位置
を投影したとしても、作業者は監督者の指示する実際の
物体上の位置を即座に把握できる。
【0018】また、本発明の遠隔通信方法は、作業者に
装着された作業者装置で収集された作業者の視野に存在
する物体の映像をこの作業者装置に対して遠隔地に配設
された監督者装置へ送信してこの監督者装置で表示画面
に表示出力し、この監督者装置から作業者装置へ各種指
示を送信し、この作業者装置で指示出力する。
【0019】そして、作業者装置にて作業者の微小移動
量を検出し、表示画面に表示される映像の振れを検出さ
れた作業者の微小移動量を用いて抑制し、監督者装置に
て映像を表示した状態で操作指定された映像内における
指示位置を前記作業者装置へ送信するとともに、映像を
表示した状態で入力された音声を音声信号に変換して作
業者装置へ送信し、作業者装置にて監督者装置から受信
した指示位置に基づいて物体上に該当位置を指示すると
ともに、監督者装置から受信した音声信号に対応する音
声を出力する。
【0020】このように構成された遠隔通信方法におい
ては、遠隔地にいる作業者の作業環境の映像・音声が臨
場感豊かに管理室に駐在する監督者に提示でき、さら
に、監督者の作業指示が的確に作業者に戻されることに
なる。
【0021】
【発明の実施の形態】以下本発明の一実施形態を図面を
用いて説明する。図1は遠隔通信方法を採用した遠隔通
信システムの概略構成図である。例えば、大規模プラン
トにおける管理室1内には監督者2が操作するコンピュ
ータで構成された監督者装置3が配設されている。一
方、プラントの各現場4を巡回する作業者5は、同じく
コンピュータで構成された作業者装置6が取付けられた
ヘルメット7を装着している。
【0022】各現場4には作業者装置6のアンテナ9に
対して電波を送受信する無線端末8が設置されている。
各現場4の各無線端末8はLANの伝送路10及び管理
室1内の送受信端末11を介して監督者装置3に接続さ
れている。したがって、監督者装置3と各現場4の作業
者装置6とは伝送路10及び無線端末8を介して任意に
情報交換が可能である。
【0023】図2(a)は作業者5の頭部5aに装着さ
れたヘルメット7に取付けられた作業者装置6の側面図
である。例えば、CCDセンサが組込まれたカメラ12
は作業者5の目5bとほぼ同一の視野を有しており、作
業者5の目5bの視野に入る物体を撮像する。
【0024】例えばレーザ光源としての位置指示装置1
3から出射されたレーザ光線13aは作業者5の眼鏡の
上部ハーフミラー部15で反射されて、前記物体の指定
位置に照射される。
【0025】図3に示す視線追尾センサ14に組込まれ
た赤外線源14aから出力される赤外線は、図2(b)
に示すように、作業者5の眼鏡の下部ハーフミラー部1
6で反射されて、作業者5の目5bの瞳孔を照らす。作
業者5の目5bの瞳孔の反射光は再度下部ハーフミラー
部16で反射されて二次元のイメージセンサ14bへ入
射する。そして、視線追尾センサ14は、イメージセン
サ14b上で結像された作業者5の目5bの瞳孔の位置
から作業者5の前記視野内における注視視点を検出す
る。
【0026】図2(a)に示すように、ヘルメット7に
は作業者5の音声及び現場の周囲音を検出する小型のマ
イク17が取付けられている。さらに、このヘルメット
7には作業者5の頭部5aの微小移動量を検出するため
の加速度センサ18が取付けられている。この加速度セ
ンサ18は互いに直角に3個配設されており、三次元方
向の各加速度αx ,αy ,αz を検出する。なお、加速
度センサ18の代りに例えばジャイロスコープ等の移動
センサを取付けてもよい。
【0027】また、作業者5の耳には監督者2の音声を
出力するためのイヤホン19が挿入されている。図3
は、遠隔通信システムを構成する監督者装置3及び作業
者装置6の概略構成を示すブロック図である。
【0028】コンピュータで構成された監督者装置3内
には、CRT表示装置21と、このCRT表示装置21
の表示画面21aの前面に取付けられたタッチパネル2
2と、スピーカ23と、マイク24と、前記送受信端末
11を構成する受信部11a及び送信部11bの各ハー
ド部材が組込まれている。
【0029】さらに、監督者装置3内にはアプリケーシ
ョンプログラム上に構成された映像安定化部25、映像
再生部26、指示位置算出部27の各ソフト構成部が組
込まれている。
【0030】また、作業者装置6内には、前述した加速
度センサ18、カメラ12、視線追縦センサ14、マイ
ク17、位置指示装置13、イヤホン19、及びアンテ
ナ9に接続された受信部9aと送信部9bとが組込まれ
ている。
【0031】このような作業者装置6において、作業者
5のヘルメット7に取付けられているカメラ12が作業
者5の視野に入る現場の各機器を含む種々の物体を撮像
する。また、作業者5が移動したり、頭5aを振ると、
加速度センサ18が作業者5の頭5sの各方向の加速度
αx ,αy ,αz を検出する。
【0032】また、作業者5の目5bの注視視点は常時
視線追尾センサ14にて検出されている。すなわち、た
とえ作業者5の頭が同一方向を向いていても、目5bの
視線方向を変えると、視線追尾センサ14aが検出して
いる注視視点が変動する。さらに、作業者5の音声や周
囲音はマイク17で収音されて音信号に変換される。
【0033】作業者装置6で得られた映像,加速度,注
視視点及び音信号の各データはアンテナ9、無線端末
8,伝送路10、受信端末11aを介して監督者装置3
へ送信される。映像,加速度,注視視点は映像安定化部
25へ入力される。また、音信号はスピーカ23へ印狩
されて、このスピーカ23で音出力される。
【0034】次に、映像安定化部25の構成及び動作を
説明する。図4は映像安定化部25の概略構成を示すブ
ロック図である。作業者5に装着されたカメラ12から
得られた物体の映像データ28は、映像安定化表示修正
部29へ入力される。視線追尾センサ14aから入力さ
れた作業者5の注視視点は注視視点位置監視部30へ入
力される。この注視視点位置監視部30は、入力した注
視視点を例えば0.1秒等の周期で、CRT表示装置2
1における表示画面21a上における座標(x,y)に
変換して、次の映像安定化表示修正算出部29へ送出す
る。また、注視視点位置監視部30は今回の周期で得た
注視視点の座標(x,y)と一つ前の周期で採取した注
視視点の座標(x,y)とを比較して両者が予め定めら
れた許容範囲以上離れたか否かを判断して、判断結果を
映像安定化表示修正算出部29へ送出する。
【0035】作業者5に装着された加速度センサ18か
ら得られる各方向の加速度αx ,αy ,αz は作業者移
動量算出部31へ入力される。作業者移動量算出部31
は入力された各加速度αx ,αy ,αz を2回積分して
例えば0.1秒の前記周期に相当する単位時間当りの移
動量Lx ,Ly ,Lz を算出して次の映像安定化表示修
正算出部29へ送出する。
【0036】なお、加速度センサ18の代りに、ジャイ
ロスコープが取付けられていた場合は、このジャイロス
コープから送出される各方向の単位時間当りの移動量を
そのまま次の映像安定化表示修正算出部29へ送出す
る。
【0037】また、監督者2がCRT表示装置21の表
示画面21aに表示中の動画の映像を停止して詳細に観
察する必要が生じた場合は、タッチパネル22の停止ボ
タンを押すと、ロックモード設定部32が起動して映像
安定化表示修正部29へロック指令を送出する。タッチ
パネル22の解除ボタンを押すと、ロックモード設定部
32が停止して映像安定化表示修正算出部29に対する
ロック指令が解除される。
【0038】映像安定化表示修正算出部29は、例えば
0.1秒等の周期で入力される各移動量Lx ,Ly ,L
z 及び注視視点の座標(x,y)を用いてカメラ12か
ら得られた映像データ28を安定化する。そして、安定
化された安定化済み画像データ33を次の映像処理部2
6へ送出する。映像処理部26は入力された安定化済み
画像データ33をCRT表示装置21の表示画面21a
に表示出力する。
【0039】図5は図4に示す映像安定化部25の各部
30,31,29が実行する映像安定処理の手順を示す
流れ図である。S(ステップ)1において、注視視点位
置監視部30が起動して注視視点の座標(x,y)を算
出する。次に、映像安定化表示修正算出部29が起動し
て、一つ前の周期で算出した注視視点の座標(x,y)
と比較して(S2)、両者の差が予め定められた許容範
囲内のときは、作業者5は現場における物体の同一位置
を注視していると判断する。
【0040】この場合、S3へ進み、作業者移動量算出
部31を起動して、加速度センサ18の各方向の各加速
度αx ,αy ,αz を読込み、x,y.z軸方向の各移
動量Lx ,Ly ,Lz を算出する。さらに、S4にて、
今回の注視視点の座標(x,y)の前回からの移動量Δ
X,ΔYを求める。
【0041】そして、S5において、先ず、作業者5の
移動や振れに起因する各移動量Lx,Ly ,Lz を打ち
消す方向に、カメラ12から得られたCRT表示装置2
1の表示画面21aに表示するための映像データ28全
体の位置を修正する。次に、作業者5の注視視点の微少
移動に起因する注視視点の移動量ΔX,ΔYが零になる
ように、先に振れ抑制した映像データ28全体の位置を
再度修正する。
【0042】そして、修正後の映像データを安定化済み
映像データ33として映像再生部26へ送出する。以上
の映像安定化処理が終了すると、S6にて前記単位時間
の経過後にS1へ戻り、次の周期の注視視点の座標
(x,y)を読取る。
【0043】また、S2にて、一つ前の周期で算出した
注視視点の座標(x,y)との差が許容範囲を外れた場
合は、作業者5は現場における物体の注視位置を移動し
たと判断する。
【0044】この場合、S7へ進み、作業者移動量算出
部31を起動して、加速度センサ18の各方向の各加速
度αx ,αy ,αz を読込み、x,y.z軸方向の前回
からの各移動量Lx ,Ly ,Lz を算出する。そして、
今回は各移動量Lx ,Ly ,Lz を[0]に初期化し、
さらに、注視視点の移動量ΔX,ΔYを算出することな
く、移動量ΔX,ΔYを[0]に初期化する(S8)。
そして、カメラ12から得られたCRT表示装置21の
表示画面21aに表示するための映像データ28全体の
位置の修正は実施しない(S9)。
【0045】すなわち、一つの周期(単位時間内)にお
いて現場の作業者5の注視視点が大きく移動した場合
は、加速度センサ18に基づいて得られる移動量を用い
て振れ抑制処理は実施しない。
【0046】以上の映像安定化処理が終了すると、S6
にて前記単位時間の経過後にS1へ戻り、次の周期の注
視視点の座標(x,y)を読取る。映像安定化部25の
具体的動作例を図6を用いて説明する。カメラ12から
得られた時刻tにおける実線で示す映像データ28aが
頭部5aの振動や移動によって単位時間経過後の時刻t
+1において、点線で示す映像データ28bへ変化した
する。
【0047】さらに、作業者5の時刻tにおける注視視
点34aが時刻t+1において、右斜め上の注視視点3
4bへ移動したとする。しかし、この周期(単位時間)
内における移動量は許容範囲35内に位置して、注視視
点はほ同じ位置と見なせる。
【0048】この場合、映像安定化部25から出力され
た安定化済み映像データ33においては、時刻t+1の
注視視点34bの描画位置を時刻tの時の場所と同一に
するため、時刻t+1の1表示画面分の映像データ全体
を点線矢印に示すように、右上に移動させる。なお、こ
の場合、斜線で示す無表示領域36が生じる。
【0049】そして、結果として、CRT表示装置21
の表示画面21a内において作業者5の注視視点が移動
することなく、監督者2にとって映像を安定して見るこ
とができる。
【0050】なお、この時、カメラ12として画角の広
いCCDカメラを使用して、CRT表示装置22の表示
画面21aにはその撮影された映像データの一部を表示
するようにすれば、安定化済み映像データ33における
無表示領域36が発生することを未然に防止できる。
【0051】次に、図3における指示位置算出部27の
構成及び動作を説明する。この指示位置算出部27は、
図7に示すように、タッチ位置座標値取得部37と投影
面上位置算出部38とレーザ射出角度算出部39とで構
成されている。
【0052】CRT表示装置21の表示画面21a上に
映像安定化部25で安定化された映像データの物体が表
示された状態において、監督者2がタッチパネル22を
介して作業者5に知らせたい位置を指で押すと、タッチ
位置座標値取得部37がタッチパネル22上におけるタ
ッチ位置を検出して撮影面上位置算出部38へ送出す
る。
【0053】撮影面上位置算出部38は映像安定化部2
5から入力された安定化された映像データ上、すなわち
図8に示すように撮影画面40(CRT表示装置21の
表示画面21a)上における指定座標(x1 ,y1 )を
算出して、次のレーザ光射出角度算出部39へ送出す
る。
【0054】レーザ光射出角度算出部39は、カメラ1
2の焦点距離fと等価なカメラモデルを想定して、作業
者5のヘルメット7に取付けられたレーザ光源13から
照射するレーザ光13aの図8に示す眼鏡の上側ハーフ
ミラー15に対する3次元的な各照射角度a,bを算出
する。
【0055】したがって、管理室1の監督者装置3のC
RT装置21の表示画面21aに作業社5の視野に存在
する物体が作業者5の注視視点を中心に安定的に表示さ
れた状態において、監督者2が現場の作業者5に「ここ
をみてくれ」と指示するために、タッチパネル22で実
際に「ここに」相当する部分を指し示し、マイク24で
指示を出すと、現場における実際の物体における具体的
な指示位置にレーザ光13aが照射さる。その結果、監
督者2は現場の作業者5に対して的確にその位置を指示
できる。
【0056】このように構成された遠隔通信システムに
おいては、遠隔地の現場1の作業者5と管理室1の監督
者2との間で、迅速にしかも臨場感高く互いの状況を把
握することができる。
【0057】実施形態システムの具体的な使用例とし
て、警備、保安巡回、工場での保全活動、緊急時での対
処法等がある。また、監督者2が複数の現場4にいる複
数の作業者5の業務を同時に監視することも可能とな
り、習熟した監督者が、各作業グループに同行して作業
を監視する必要がなくなり、省人化の効果もある。
【0058】なお、本発明は上述した実施形態に限定さ
れるものではない。実施形態システムにおいては、作業
者装置6のカメラ12で得られた映像データ28をCR
T表示装置21の表示画面21aに安定的に表示する映
像安定化部25を監督者装置3に組込んだが、作業者装
置6に組込むことも可能である。
【0059】さらに、実施形態システムにおいては、物
体上に監督者2が指定する位置を指示する位置指示装置
13としてレーザ光源を採用した。しかし、作業者5の
眼鏡に指示位置を投影するのみでもよい。この場合、作
業者5は、指示位置が投影された眼鏡を介して対象物体
を見ることになるので、やはり監督者2の指示した位置
を確実に確認できる。
【0060】また、カメラ12は作業者5のヘルメット
7に取付けられているので、作業者5が頭部5aを傾け
ると、監督者装置3の表示画面21aに表示された映像
も連動して傾斜するが、3次元の加速度センサ18で検
出される各方向の加速度αx,αy ,αz からカメラ1
2の傾斜角度を算出して、表示画面21aに表示された
映像の傾斜を修正することも可能である。
【0061】
【発明の効果】以上説明したように、本発明の遠隔通信
システム及び遠隔通信方法においては、遠隔地である現
場の状況を作業者の注視視点及び作業者の動きを捉える
ことにより、作業者が見ている物体の映像を後方の監督
者に安定して提示することができる。
【0062】さらに、後方の監督者が現場にチェックす
るように指し示した箇所が作業者に明示されるので、音
声を伴うことにより的確に作業者に指示が伝わる。すな
わち、現場の状況は臨場感豊かに後方に提示され、指示
内容も臨場感豊かに現場に伝わり、警備・保全などにお
ける巡回時の現場の作業者の負担が軽くなる。特に緊急
時対応において効果的である。
【図面の簡単な説明】
【図1】 本発明の一実施形態の遠隔通信方式が採用さ
れた遠隔通信システムの概略構成図
【図2】 作業者装置の側面図及び視線追尾センサの動
作原理を示す図
【図3】 同実施形態の遠隔通信システムの概略構成を
示すブロック図
【図4】 同遠隔通信システムに組込まれた映像安定部
の詳細ブロック図
【図5】 同映像安定部の動作を示す流れ図
【図6】 同映像安定部の動作を説明するための図
【図7】 同遠隔通信システムに組込まれた指示位置算
出部の詳細ブロック図
【図8】 同指示位置算出部の動作を説明するための図
【符号の説明】
1…管理室 2…監督者 3…監督者装置 4…現場 5…作業者 6…作業者装置 7…ヘルメット 12…カメラ 13…位置指示装置 14…視線追尾センサ 17,24…マイク 18…加速度センサ 18…イヤホン 21…CRT表示装置 25…映像安定化部 26…映像再生部 27…指示位置算出部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−211650(JP,A) 特開 平4−208995(JP,A) 特開 平5−183466(JP,A) 特開 平9−9366(JP,A) 特開 昭62−114528(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/18

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 作業者に装着された作業者装置で収集さ
    れた前記作業者の視野に存在する物体の映像をこの作業
    者装置に対して遠隔地に配設された監督者装置へ送信し
    てこの監督者装置の表示画面に表示出力し、この監督者
    装置から前記作業者装置へ各種指示を送信してこの作業
    者装置で指示出力する遠隔通信システムであって、 前記作業者装置は、 前記作業者の微小移動量を検出する手段と、前記監督者
    装置から受信した指示位置に基づいて前記物体上に該当
    位置を指示する手段と、前記監督者装置から受信した音
    声信号に対応する音声を出力する手段とを有し、 前記監督者装置は、 前記映像を表示した状態で操作指定された映像内におけ
    る指示位置を前記作業者装置へ送信する手段と、前記映
    像を表示した状態で入力された音声を音声信号に変換し
    て前記作業者装置へ送信する手段とを有することを特徴
    とする遠隔通信システム。
  2. 【請求項2】 前記作業者装置又は監督者装置は、前記
    表示画面に表示される映像の振れを前記検出された作業
    者の微小移動量を用いて抑制する手段を有することを特
    徴とする請求項1記載の遠隔通信システム。
  3. 【請求項3】 前記作業者装置は、前記作業者の注視視
    点を検出する手段を有し、 前記振れを抑制する手段は、前記映像の振れを前記検出
    された注視視点へ固定的に安定化することを特徴とする
    請求項2記載の遠隔通信システム。
  4. 【請求項4】 前記物体上に該当位置を指示する手段
    は、前記物体上の該当位置をレーザ光線で照射すること
    を特徴とする請求項1乃至3のいずれか1項記載の遠隔
    通信システム。
  5. 【請求項5】 前記物体上に該当位置を指示する手段
    は、前記作業者が装着している眼鏡上に該当位置を投影
    することを特徴とする請求項1乃至3のいずれか1項記
    載の遠隔通信システム。
  6. 【請求項6】 作業者に装着された作業者装置で収集さ
    れた前記作業者の視野に存在する物体の映像をこの作業
    者装置に対して遠隔地に配設された監督者装置へ送信し
    てこの監督者装置で表示画面に表示出力し、この監督者
    装置から前記作業者装置へ各種指示を送信し、この作業
    者装置で指示出力する遠隔通信方法であって、 前記作業者装置にて前記作業者の微小移動量を検出し、 前記表示画面に表示される映像の振れを前記検出された
    作業者の微小移動量を用いて抑制し、 前記監督者装置にて前記映像を表示した状態で操作指定
    された映像内における指示位置を前記作業者装置へ送信
    するとともに、前記映像を表示した状態で入力された音
    声を音声信号に変換して前記作業者装置へ送信し、 前記作業者装置にて前記監督者装置から受信した指示位
    置に基づいて前記物体上に該当位置を指示するととも
    に、前記監督者装置から受信した音声信号に対応する音
    声を出力することを特徴とする遠隔通信方法。
JP05924897A 1997-03-13 1997-03-13 遠隔通信システム及び遠隔通信方法 Expired - Lifetime JP3217723B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP05924897A JP3217723B2 (ja) 1997-03-13 1997-03-13 遠隔通信システム及び遠隔通信方法
US09/038,629 US6342915B1 (en) 1997-03-13 1998-03-12 Image telecommunication system
EP98301824A EP0865207A3 (en) 1997-03-13 1998-03-12 Image telecommunication system
KR1019980009993A KR100268614B1 (ko) 1997-03-13 1998-03-13 영상 원격 통신 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05924897A JP3217723B2 (ja) 1997-03-13 1997-03-13 遠隔通信システム及び遠隔通信方法

Publications (2)

Publication Number Publication Date
JPH10257475A JPH10257475A (ja) 1998-09-25
JP3217723B2 true JP3217723B2 (ja) 2001-10-15

Family

ID=13107905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05924897A Expired - Lifetime JP3217723B2 (ja) 1997-03-13 1997-03-13 遠隔通信システム及び遠隔通信方法

Country Status (4)

Country Link
US (1) US6342915B1 (ja)
EP (1) EP0865207A3 (ja)
JP (1) JP3217723B2 (ja)
KR (1) KR100268614B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016166074A (ja) * 2015-03-10 2016-09-15 東芝エレベータ株式会社 エレベータ保守作業支援装置

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010036306A (ko) * 1999-10-07 2001-05-07 이재현 이동 통신망을 이용한 보안 시스템 및 보안 방법
EP1585066A3 (en) * 2000-03-31 2008-11-05 FUJIFILM Corporation Work data collection method
EP1201082B1 (de) * 2000-04-28 2003-09-03 Swisscom Mobile AG Verfahren und system für videokonferenzen
JP4288843B2 (ja) * 2000-10-25 2009-07-01 沖電気工業株式会社 遠隔作業支援システム
US6900777B1 (en) * 2001-01-03 2005-05-31 Stryker Corporation Infrared audio/video interface for head-mounted display
US7474335B2 (en) * 2001-01-31 2009-01-06 International Business Machines Corporation Method, apparatus and program storage device for image position stabilizer
US8126276B2 (en) * 2001-02-21 2012-02-28 International Business Machines Corporation Business method for selectable semantic codec pairs for very low data-rate video transmission
US20030038878A1 (en) * 2001-08-21 2003-02-27 Lee Chinmei Chen Remotely initiated surveillance
US7466992B1 (en) 2001-10-18 2008-12-16 Iwao Fujisaki Communication device
US7158121B2 (en) * 2001-10-19 2007-01-02 American Standard International Inc. Enhanced touch-screen display system
US6894617B2 (en) * 2002-05-04 2005-05-17 Richman Technology Corporation Human guard enhancing multiple site integrated security system
US20030206100A1 (en) 2002-05-04 2003-11-06 Lawrence Richman Method and protocol for real time security system
US6753899B2 (en) 2002-09-03 2004-06-22 Audisoft Method and apparatus for telepresence
US7063256B2 (en) * 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
US7090134B2 (en) * 2003-03-04 2006-08-15 United Parcel Service Of America, Inc. System for projecting a handling instruction onto a moving item or parcel
US7307651B2 (en) * 2003-10-16 2007-12-11 Mark A. Chew Two-way mobile video/audio/data interactive companion (MVIC) system
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US20050278446A1 (en) * 2004-05-27 2005-12-15 Jeffery Bryant Home improvement telepresence system and method
US7561717B2 (en) * 2004-07-09 2009-07-14 United Parcel Service Of America, Inc. System and method for displaying item information
JP4582329B2 (ja) * 2005-07-22 2010-11-17 日本電気株式会社 バーチャル映像用信号生成方法および送受信端末
US20070204014A1 (en) * 2006-02-28 2007-08-30 John Wesley Greer Mobile Webcasting of Multimedia and Geographic Position for a Real-Time Web Log
JP4952204B2 (ja) * 2006-11-13 2012-06-13 コニカミノルタホールディングス株式会社 遠隔作業支援システム、及びその表示方法
US8339248B2 (en) * 2007-04-27 2012-12-25 Carroll David W Automated audio operation support device and methods
CN101355682B (zh) * 2007-07-23 2011-03-16 中兴通讯股份有限公司 一种宽带专线会议电视系统全网自动调速的方法
US20100066802A1 (en) * 2008-09-16 2010-03-18 Brian Dross Remote communications device and method for facilitating manual operations
US8289290B2 (en) * 2009-07-20 2012-10-16 Sony Ericsson Mobile Communications Ab Touch sensing apparatus for a mobile device, mobile device and method for touch operation sensing
JP5251813B2 (ja) * 2009-09-28 2013-07-31 ブラザー工業株式会社 作業支援システム、ヘッドマウントディスプレイ及びプログラム
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
JP5247854B2 (ja) 2011-07-06 2013-07-24 株式会社インスピーディア 集荷システムおよび集荷方法
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
WO2013176758A1 (en) 2012-05-22 2013-11-28 Intouch Technologies, Inc. Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
US8929573B2 (en) * 2012-09-14 2015-01-06 Bose Corporation Powered headset accessory devices
EP2897481B1 (en) 2012-09-18 2018-01-31 Bell Sports, Inc. Protective headwear assembly having a built-in camera
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9549583B2 (en) 2013-01-04 2017-01-24 Bell Sports, Inc. Helmet with integrated electronic components
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
JP6157170B2 (ja) * 2013-03-28 2017-07-05 大阪瓦斯株式会社 監視支援システム
JP2015052895A (ja) * 2013-09-06 2015-03-19 株式会社東芝 情報処理装置及び情報処理方法
WO2018011936A1 (ja) * 2016-07-14 2018-01-18 ヤマハ発動機株式会社 実装作業区域の作業支援システムおよび実装作業区域の作業支援方法
WO2018173445A1 (ja) * 2017-03-23 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US10471478B2 (en) 2017-04-28 2019-11-12 United Parcel Service Of America, Inc. Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same
CN113519166A (zh) * 2019-03-04 2021-10-19 麦克赛尔株式会社 远程操作指示系统和安装式设备
JP7318258B2 (ja) * 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
JP2022152338A (ja) * 2021-03-29 2022-10-12 コベルコ建機株式会社 作業支援システムおよび作業支援複合システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9014604D0 (en) 1990-06-30 1990-08-22 Kesteven Hargreaves Limited Camera mounting apparatus
JP2907988B2 (ja) * 1990-10-05 1999-06-21 株式会社日立製作所 ワイドテレビジョン受信機
JP3183928B2 (ja) 1992-01-24 2001-07-09 オリンパス光学工業株式会社 撮影装置の手ぶれ防止装置
US5544649A (en) * 1992-03-25 1996-08-13 Cardiomedix, Inc. Ambulatory patient health monitoring techniques utilizing interactive visual communication
EP0563937B1 (en) * 1992-04-03 1998-01-28 Hitachi, Ltd. Satellite communications multi-point video transmit system
GB2267625B (en) * 1992-05-20 1996-08-21 Northern Telecom Ltd Video services
US6023288A (en) * 1993-03-31 2000-02-08 Cairns & Brother Inc. Combination head-protective helmet and thermal imaging apparatus
US5619183A (en) * 1994-09-12 1997-04-08 Richard C. Ziegra Video audio data remote system
US5594498A (en) * 1994-10-14 1997-01-14 Semco, Inc. Personal audio/video surveillance system
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5926209A (en) 1995-07-14 1999-07-20 Sensormatic Electronics Corporation Video camera apparatus with compression system responsive to video camera adjustment
US5742335A (en) * 1995-07-19 1998-04-21 Cannon; Michael W. Examination system for architectural structure exteriors
US5864481A (en) * 1996-01-22 1999-01-26 Raytheon Company Integrated, reconfigurable man-portable modular system
US5844601A (en) * 1996-03-25 1998-12-01 Hartness Technologies, Llc Video response system and method
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US5933479A (en) * 1998-10-22 1999-08-03 Toyoda Machinery Usa Corp. Remote service system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016166074A (ja) * 2015-03-10 2016-09-15 東芝エレベータ株式会社 エレベータ保守作業支援装置

Also Published As

Publication number Publication date
JPH10257475A (ja) 1998-09-25
EP0865207A3 (en) 1999-10-06
KR100268614B1 (ko) 2000-10-16
KR19980080563A (ko) 1998-11-25
US6342915B1 (en) 2002-01-29
EP0865207A2 (en) 1998-09-16

Similar Documents

Publication Publication Date Title
JP3217723B2 (ja) 遠隔通信システム及び遠隔通信方法
US11169764B2 (en) Remote work-support system
US10609437B2 (en) Method for providing content using a head-mounted device, system for executing the method, and content display device
KR20110074519A (ko) 카메라 붐을 가진 텔레프리젠스 로봇
US11393177B2 (en) Information processing apparatus, information processing method, and program
WO2020194777A1 (ja) 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像
CN109120664A (zh) 远程通信方法、远程通信系统和自主移动装置
JP2018067773A (ja) 撮像装置とその制御方法、プログラム及び記憶媒体
JP5309499B2 (ja) エレベーターの防犯カメラ装置
JP2561561B2 (ja) ロボットハンドの遠隔操作システム
JPH05289739A (ja) 立体画像処理装置およびテレオペレーティングシステム
JP2003308117A (ja) 保全用システム
KR102409880B1 (ko) Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법
US11610343B2 (en) Video display control apparatus, method, and non-transitory computer readable medium
JPH10315166A (ja) 注視機能を付加した遠隔視覚提示装置
JP2018201077A (ja) 撮像装置およびその制御方法、画像処理装置およびその制御方法、作業支援システム、プログラム
JP2018056845A (ja) 作業支援装置、システム、方法及びプログラム
JP2022053421A (ja) 遠隔操作のための表示システム、表示方法およびプログラム
JP2021180421A (ja) 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
CN113519166A (zh) 远程操作指示系统和安装式设备
JP2007017025A (ja) 制御装置
JPH09163192A (ja) 遠隔監視装置
WO2023245316A1 (zh) 一种人机交互方法、装置、计算机装置和存储介质
WO2023188951A1 (ja) 遠隔指示システム
US20240127629A1 (en) System, information processing method, and information processing program

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070803

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090803

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 12

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term