JP2947726B2 - 遠隔操作支援用画像システム - Google Patents
遠隔操作支援用画像システムInfo
- Publication number
- JP2947726B2 JP2947726B2 JP7041658A JP4165895A JP2947726B2 JP 2947726 B2 JP2947726 B2 JP 2947726B2 JP 7041658 A JP7041658 A JP 7041658A JP 4165895 A JP4165895 A JP 4165895A JP 2947726 B2 JP2947726 B2 JP 2947726B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate
- corrected
- pair
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Drilling And Exploitation, And Mining Machines And Methods (AREA)
- Earth Drilling (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【産業上の利用分野】本発明は遠隔操作支援用画像シス
テムに関し、とくに遠隔操作員の顔の動きに自動追従し
て遠隔操作支援用の画像を移動させる画像システムに関
する。
テムに関し、とくに遠隔操作員の顔の動きに自動追従し
て遠隔操作支援用の画像を移動させる画像システムに関
する。
【０００２】
【従来の技術】トンネル構築工事等において、従来の発
破を用いる工法に代え、大型油圧式削岩機付きの掘削機
（以下、ブレーカということがある）を用いた工法（以
下、ブレーカ工法ということがある）の適用例が増えて
いる。トンネル工事で用いるブレーカの一例を図２に示
す。図２のブレーカ３は運転席のあるベースマシン3aと
先端にドリルやビット等の削岩機4aを取付けたブーム・
アーム（以下、腕部材ということがある）４とを有し、
運転員が腕部材４を所望の位置へ移動させ、腕部材４の
先端の削岩機4aを施工対象１に押し当てて掘削作業を行
なうものである。ブレーカ工法には従来の発破を用いる
工法に比し、(１)周辺環境への影響の減少、(２)地山の
緩み防止、(３)余掘低減効果、(４)火薬を取り扱わない
安全な作業等の有利な特徴がある。
破を用いる工法に代え、大型油圧式削岩機付きの掘削機
（以下、ブレーカということがある）を用いた工法（以
下、ブレーカ工法ということがある）の適用例が増えて
いる。トンネル工事で用いるブレーカの一例を図２に示
す。図２のブレーカ３は運転席のあるベースマシン3aと
先端にドリルやビット等の削岩機4aを取付けたブーム・
アーム（以下、腕部材ということがある）４とを有し、
運転員が腕部材４を所望の位置へ移動させ、腕部材４の
先端の削岩機4aを施工対象１に押し当てて掘削作業を行
なうものである。ブレーカ工法には従来の発破を用いる
工法に比し、(１)周辺環境への影響の減少、(２)地山の
緩み防止、(３)余掘低減効果、(４)火薬を取り扱わない
安全な作業等の有利な特徴がある。
【０００３】
【発明が解決しようとする課題】しかし従来のブレーカ
工法は、汎用の油圧式ショベル等を流用したブレーカ３
を用いることが多いので、例えばトンネル上部などの高
所掘削時に腕部材４を運転席より上方へ持上げた場合
に、運転席から腕部材４の先端や削岩機4aが見えにくい
問題点がある。この場合、腕部材４の先端の見えやすい
位置までブレーカ３を移動させる必要があるが、スペー
スの限られた工事現場でのブレーカ３の移動は手間がか
かるため、上記問題点はブレーカ工法の施工効率低下の
原因となり得る。またブレーカ工法には作業中に発生す
る振動、騒音、粉塵等のため、操作員に防塵マスクや防
塵眼鏡等の保護具の着用を余儀なくさせる問題点もあ
る。
工法は、汎用の油圧式ショベル等を流用したブレーカ３
を用いることが多いので、例えばトンネル上部などの高
所掘削時に腕部材４を運転席より上方へ持上げた場合
に、運転席から腕部材４の先端や削岩機4aが見えにくい
問題点がある。この場合、腕部材４の先端の見えやすい
位置までブレーカ３を移動させる必要があるが、スペー
スの限られた工事現場でのブレーカ３の移動は手間がか
かるため、上記問題点はブレーカ工法の施工効率低下の
原因となり得る。またブレーカ工法には作業中に発生す
る振動、騒音、粉塵等のため、操作員に防塵マスクや防
塵眼鏡等の保護具の着用を余儀なくさせる問題点もあ
る。
【０００４】このような問題の解決のため、ブレーカ３
上の腕部材４の先端が見やすい位置に撮像機を取付け、
その撮像機の出力画像を利用してブレーカ３を遠隔操作
することが考えられる。しかし腕部材４を動かしながら
作業を行なうブレーカ工法では、遠隔操作に必要な腕部
材４の画像を得るために腕部材４の移動に応じて撮像機
の撮影向きも変えねばならず、ブレーカの遠隔操作に加
えて撮像機の遠隔操作も必要となる。
上の腕部材４の先端が見やすい位置に撮像機を取付け、
その撮像機の出力画像を利用してブレーカ３を遠隔操作
することが考えられる。しかし腕部材４を動かしながら
作業を行なうブレーカ工法では、遠隔操作に必要な腕部
材４の画像を得るために腕部材４の移動に応じて撮像機
の撮影向きも変えねばならず、ブレーカの遠隔操作に加
えて撮像機の遠隔操作も必要となる。
【０００５】本発明者は全方向に180度の画角を有する
全周魚眼レンズ（以下、単に魚眼レンズという）に注目
した。魚眼レンズによれば撮像機を特定撮影向きに向け
たまま全方向の映像や画像（以下、全方向画像というこ
とがある）が得られる。しかし魚眼レンズはタル型歪曲
収差が大きく、その全方向画像Iaは例えば図５(Ａ)に示
すように極端に歪曲した円形像となるので、そのままで
は遠隔操作に利用できない。図５は全方向画像Iaの歪み
を補正するデジタル画像処理方法を示す。この画像処理
方法は、図５(Ａ)のように全方向画像Iaをデジタル化し
て複数の区画画像Ibに区分けし、魚眼レンズに固有の収
差を区画毎に記憶し、何等かの方法により選択した１以
上の区画画像Ib1の歪みを各区画の収差に基づいて補正
することにより、図５(Ｂ)に示す補正画像Igを得るもの
である。この画像処理方法を用いれば魚眼レンズの全方
向画像Iaを遠隔操作に利用することができる。
全周魚眼レンズ（以下、単に魚眼レンズという）に注目
した。魚眼レンズによれば撮像機を特定撮影向きに向け
たまま全方向の映像や画像（以下、全方向画像というこ
とがある）が得られる。しかし魚眼レンズはタル型歪曲
収差が大きく、その全方向画像Iaは例えば図５(Ａ)に示
すように極端に歪曲した円形像となるので、そのままで
は遠隔操作に利用できない。図５は全方向画像Iaの歪み
を補正するデジタル画像処理方法を示す。この画像処理
方法は、図５(Ａ)のように全方向画像Iaをデジタル化し
て複数の区画画像Ibに区分けし、魚眼レンズに固有の収
差を区画毎に記憶し、何等かの方法により選択した１以
上の区画画像Ib1の歪みを各区画の収差に基づいて補正
することにより、図５(Ｂ)に示す補正画像Igを得るもの
である。この画像処理方法を用いれば魚眼レンズの全方
向画像Iaを遠隔操作に利用することができる。
【０００６】そこで本発明の目的は、撮像機に対する機
械的駆動部がない遠隔操作支援用画像システムを提供す
るにある。
械的駆動部がない遠隔操作支援用画像システムを提供す
るにある。
【０００７】
【課題を解決するための手段】図１、図２及び図４を参
照するに、本発明の遠隔操作支援用画像システムは、遠
隔操作の作業機械３に、全方向画像の対IaL、IaRを魚眼
レンズ７で撮影する所定向きの２台の撮像機6a、6bと、
全方向画像対を複数の座標(x i 、y i )別の無歪み補正画像
対IgLi、IgRiに変換する画像処理装置13と、画像処理装
置13へ接続した座標受信機12と、画像処理装置13へ接続
されて座標受信機12で受信した指定座標(x i 、y i )の補正
画像対IgLi、IgRiを送信する画像送信機10とを取付け；
遠隔操作室５に、前記画像送信機10から補正画像対を受
信する画像受信機14と、受信した補正画像対を二眼視立
体表示する顔面装着型のゴーグル16と、ゴーグル装着顔
面の方向を計測する角度計測機18と、角度計測機18及び
手動座標設定機22に接続した指定座標算出機20と、指定
座標算出機20に接続されその出力を座標受信機12へ送信
する座標送信機23とを設けてなるものである。
照するに、本発明の遠隔操作支援用画像システムは、遠
隔操作の作業機械３に、全方向画像の対IaL、IaRを魚眼
レンズ７で撮影する所定向きの２台の撮像機6a、6bと、
全方向画像対を複数の座標(x i 、y i )別の無歪み補正画像
対IgLi、IgRiに変換する画像処理装置13と、画像処理装
置13へ接続した座標受信機12と、画像処理装置13へ接続
されて座標受信機12で受信した指定座標(x i 、y i )の補正
画像対IgLi、IgRiを送信する画像送信機10とを取付け；
遠隔操作室５に、前記画像送信機10から補正画像対を受
信する画像受信機14と、受信した補正画像対を二眼視立
体表示する顔面装着型のゴーグル16と、ゴーグル装着顔
面の方向を計測する角度計測機18と、角度計測機18及び
手動座標設定機22に接続した指定座標算出機20と、指定
座標算出機20に接続されその出力を座標受信機12へ送信
する座標送信機23とを設けてなるものである。
【０００８】作業開始時に前記手動座標設定機22の出力
のみを画像処理装置13へ送信し且つ該出力を変えながら
所望の補正画像対I gL0 、I gR0 が受信される時の該出力を
もって初期指定座標(x 0 、y 0 )とし且つその時のゴーグル
16装着顔面の方向を初期顔面方向とし、作業中に角度計
測機18で今回顔面方向と前記初期顔面方向とから顔面方
向偏差を求め、指定座標算出機20で前記初期指定座標と
前記今回顔面方向偏差とに基づき今回指定座標を算出し
て画像処理装置13へ送信することにより前記ゴーグル16
に表示する補正画像対IgLi、IgRiをゴーグル16装着顔面
の方向の変化に追従して移動させる。
のみを画像処理装置13へ送信し且つ該出力を変えながら
所望の補正画像対I gL0 、I gR0 が受信される時の該出力を
もって初期指定座標(x 0 、y 0 )とし且つその時のゴーグル
16装着顔面の方向を初期顔面方向とし、作業中に角度計
測機18で今回顔面方向と前記初期顔面方向とから顔面方
向偏差を求め、指定座標算出機20で前記初期指定座標と
前記今回顔面方向偏差とに基づき今回指定座標を算出し
て画像処理装置13へ送信することにより前記ゴーグル16
に表示する補正画像対IgLi、IgRiをゴーグル16装着顔面
の方向の変化に追従して移動させる。
【０００９】
【作用】図２は施工対象１をトンネル切羽とし作業機械
３を削岩機4a付きブレーカとした本発明の実施例を示
す。但し本発明はブレーカへの適用に限定されない。図
１及び図２の実施例を参照して本発明の作用を説明する
に、本発明は作業機械３に一対の魚眼レンズ７付き撮像
機6a及び6b、画像処理装置13、画像送信機10、及び座標
受信機12を取付ける。
３を削岩機4a付きブレーカとした本発明の実施例を示
す。但し本発明はブレーカへの適用に限定されない。図
１及び図２の実施例を参照して本発明の作用を説明する
に、本発明は作業機械３に一対の魚眼レンズ７付き撮像
機6a及び6b、画像処理装置13、画像送信機10、及び座標
受信機12を取付ける。
【００１０】一対の魚眼レンズ７付き撮像機6a、6bによ
り、施工対象１の左右一対の全方向画像IaL、IaRを撮影
する。後述する補正画像対IgLi、IgRiが二眼視立体画像
となるように、撮像機6a、6bは作業機械３上の施工対象
１を臨む所定位置に所定向きで取付ける。また撮像機6
a、6bの光学的条件を同一とする。撮像機6a、6bは例え
ば魚眼レンズ付きビデオカメラとすることができる。ま
たＡＤ変換器を設けて全方向画像対IaL、IaRをデジタル
画像として出力することができる。
り、施工対象１の左右一対の全方向画像IaL、IaRを撮影
する。後述する補正画像対IgLi、IgRiが二眼視立体画像
となるように、撮像機6a、6bは作業機械３上の施工対象
１を臨む所定位置に所定向きで取付ける。また撮像機6
a、6bの光学的条件を同一とする。撮像機6a、6bは例え
ば魚眼レンズ付きビデオカメラとすることができる。ま
たＡＤ変換器を設けて全方向画像対IaL、IaRをデジタル
画像として出力することができる。
【００１１】画像処理装置13は、一対の全方向画像
IaL、IaRに対し図４に示すデジタル画像処理を施し、一
対の補正画像IgLi、IgRiに変換する。全方向画像対
IaL、IaRが非デジタル画像の場合は入力部にＡＤ変換器
を設けてデジタル変換する。図４の画像処理を説明する
に、先ず図４(Ｂ)に示すように全方向画像対IaL、IaRを
所定座標系により複数の区画画像対IbL、IbRに区分けす
る。この座標系により全方向画像対IaL、IaR上の各画素
を座標(xi、yi)で指定することが可能となる。座標系の
一例は、ｘ座標を魚眼レンズ７の光軸方向からの方位偏
差とし、ｙ座標を仰角偏差とするものである。次に図４
(Ａ)の様な指定座標(xi、yi)に基づき、その指定画素を
含む区画画像対IbLi、IbRiを抽出する。図４(Ａ)及び
(Ｂ)に示す斜線を付した区画は、初期指定座標(x0、y0)
により抽出される区画画像対IbL0、IbR0、及び今回指定
座標(x1、y1)により抽出される区画画像対IbL1、IbR1を
示す。更に抽出した区画画像対IbLi、IbRiに対して図５
に示す歪み補正処理を施すことにより、図４(Ｄ)の無歪
みの補正画像対IgLi、IgRiが得られる。
IaL、IaRに対し図４に示すデジタル画像処理を施し、一
対の補正画像IgLi、IgRiに変換する。全方向画像対
IaL、IaRが非デジタル画像の場合は入力部にＡＤ変換器
を設けてデジタル変換する。図４の画像処理を説明する
に、先ず図４(Ｂ)に示すように全方向画像対IaL、IaRを
所定座標系により複数の区画画像対IbL、IbRに区分けす
る。この座標系により全方向画像対IaL、IaR上の各画素
を座標(xi、yi)で指定することが可能となる。座標系の
一例は、ｘ座標を魚眼レンズ７の光軸方向からの方位偏
差とし、ｙ座標を仰角偏差とするものである。次に図４
(Ａ)の様な指定座標(xi、yi)に基づき、その指定画素を
含む区画画像対IbLi、IbRiを抽出する。図４(Ａ)及び
(Ｂ)に示す斜線を付した区画は、初期指定座標(x0、y0)
により抽出される区画画像対IbL0、IbR0、及び今回指定
座標(x1、y1)により抽出される区画画像対IbL1、IbR1を
示す。更に抽出した区画画像対IbLi、IbRiに対して図５
に示す歪み補正処理を施すことにより、図４(Ｄ)の無歪
みの補正画像対IgLi、IgRiが得られる。
【００１２】必要に応じ、図４(Ｃ)に逆傾斜の斜線で示
すように、区画画像対IbLi、IbRiに隣接する区画画像対
を含めて補正画像対IgLi、IgRiに変換することができ
る。但し図４(Ｂ)の区画画像対IbL、IbRの区画数や大き
さ、図４(Ｃ)の隣接区画画像対の数は図４の例に限定さ
れない。
すように、区画画像対IbLi、IbRiに隣接する区画画像対
を含めて補正画像対IgLi、IgRiに変換することができ
る。但し図４(Ｂ)の区画画像対IbL、IbRの区画数や大き
さ、図４(Ｃ)の隣接区画画像対の数は図４の例に限定さ
れない。
【００１３】補正画像対IgLi、IgRiは画像送信機10によ
り遠隔操作室５へ送信する。図１の実施例では一対の補
正画像IgLi、IgRiを画像信号切替器11へ入力し、例えば
時分割方式により両画像を交互に画像送信機10から送信
している。但し画像信号切替器11は本発明に必須のもの
ではない。画像伝送は有線又は無線伝送とすることがで
きるが、好ましくは無線伝送とし、更に好ましくは画像
送信機10の送信向きを作業機械３の移動に応じて遠隔操
作可能とする。また座標受信機12は、遠隔操作室５から
の指定座標を受信して画像処理装置13に入力するもので
ある。
り遠隔操作室５へ送信する。図１の実施例では一対の補
正画像IgLi、IgRiを画像信号切替器11へ入力し、例えば
時分割方式により両画像を交互に画像送信機10から送信
している。但し画像信号切替器11は本発明に必須のもの
ではない。画像伝送は有線又は無線伝送とすることがで
きるが、好ましくは無線伝送とし、更に好ましくは画像
送信機10の送信向きを作業機械３の移動に応じて遠隔操
作可能とする。また座標受信機12は、遠隔操作室５から
の指定座標を受信して画像処理装置13に入力するもので
ある。
【００１４】図１及び図２を参照するに遠隔操作室５に
は、画像受信機14、座標送信機23、操作員２の左眼及び
右眼に装着可能な左右一対の液晶パネル16a、16b付きゴ
ーグル16、操作員２の顔面方向を計測する角度計測機1
8、並びに操作員２の手動入力に応じて座標信号を出力
する手動座標設定機22を設ける。ゴーグル16は画像受信
機14の受信画像を画像制御装置17経由で入力し、一対の
液晶パネル16a、16bに補正画像対IgLi、IgRiを二眼視立
体表示する。左液晶パネル16a及び右液晶パネル16bをそ
れぞれ左眼及び右眼で見ることにより、操作員２は補正
画像対IgLi、IgRiを立体視することができる。眼球と画
像の間の見掛け上の距離は例えば液晶パネル16a、16bと
眼球との間に設けた光学系により調節可能である。この
ような立体視用ゴーグル16及び画像制御装置17は従来技
術に属し、例えば見掛け上1.2ｍの距離に37型テレビに
相当する画面を表示するゴーグル型三次元ディスプレイ
が開発されている。
は、画像受信機14、座標送信機23、操作員２の左眼及び
右眼に装着可能な左右一対の液晶パネル16a、16b付きゴ
ーグル16、操作員２の顔面方向を計測する角度計測機1
8、並びに操作員２の手動入力に応じて座標信号を出力
する手動座標設定機22を設ける。ゴーグル16は画像受信
機14の受信画像を画像制御装置17経由で入力し、一対の
液晶パネル16a、16bに補正画像対IgLi、IgRiを二眼視立
体表示する。左液晶パネル16a及び右液晶パネル16bをそ
れぞれ左眼及び右眼で見ることにより、操作員２は補正
画像対IgLi、IgRiを立体視することができる。眼球と画
像の間の見掛け上の距離は例えば液晶パネル16a、16bと
眼球との間に設けた光学系により調節可能である。この
ような立体視用ゴーグル16及び画像制御装置17は従来技
術に属し、例えば見掛け上1.2ｍの距離に37型テレビに
相当する画面を表示するゴーグル型三次元ディスプレイ
が開発されている。
【００１５】図１に示す角度計測機18は、それぞれ法線
方向に識別可能な指向性電磁波を放射する６放射面で囲
まれた６面体の磁界発生手段19a、及び各電磁波に応じ
た電流を発生する６感応面に囲まれた６面体の磁界感応
手段19bを有し、磁界感応手段19bの各感応面の発生電流
に基づいて磁界発生手段19aの所定放射面の法線方向を
算出する（図３参照）。図１では磁界発生手段19aを操
作員２の頭側部に取付け、磁界感応手段19bを操作員２
の頭上の離隔固定位置に取付けている。但し取付け位置
は図１に限定されない。磁界発生手段19aの電磁波発生
方向をそれぞれX a、Ya、Za軸とし、例えば磁界発生手段
19aのXa軸を操作員２の顔面方向と一致させて取付ける
ことにより、磁界発生手段19aのXa軸方向から操作員２
の顔面方位及び仰角を算出することができる。但し本発
明は顔面方向の絶対値を必要とせず、初期顔面方向との
偏差が求まれば足りるので、たとえ磁界発生手段19aのX
a軸が操作員２の顔面方向と一致しない場合であって
も、角度計測機18の算出するXa軸方向の変化から操作員
２の顔面方向偏差が求められる。なお図１の角度計測機
18に替え、例えば方位計と傾斜計により操作員２の顔面
方位及び仰角の絶対値を計測する角度計測機18とするこ
とができる。
方向に識別可能な指向性電磁波を放射する６放射面で囲
まれた６面体の磁界発生手段19a、及び各電磁波に応じ
た電流を発生する６感応面に囲まれた６面体の磁界感応
手段19bを有し、磁界感応手段19bの各感応面の発生電流
に基づいて磁界発生手段19aの所定放射面の法線方向を
算出する（図３参照）。図１では磁界発生手段19aを操
作員２の頭側部に取付け、磁界感応手段19bを操作員２
の頭上の離隔固定位置に取付けている。但し取付け位置
は図１に限定されない。磁界発生手段19aの電磁波発生
方向をそれぞれX a、Ya、Za軸とし、例えば磁界発生手段
19aのXa軸を操作員２の顔面方向と一致させて取付ける
ことにより、磁界発生手段19aのXa軸方向から操作員２
の顔面方位及び仰角を算出することができる。但し本発
明は顔面方向の絶対値を必要とせず、初期顔面方向との
偏差が求まれば足りるので、たとえ磁界発生手段19aのX
a軸が操作員２の顔面方向と一致しない場合であって
も、角度計測機18の算出するXa軸方向の変化から操作員
２の顔面方向偏差が求められる。なお図１の角度計測機
18に替え、例えば方位計と傾斜計により操作員２の顔面
方位及び仰角の絶対値を計測する角度計測機18とするこ
とができる。
【００１６】本発明の画像システムの使用方法を説明す
るに、作業開始前に例えば操作員２がゴーグル16に表示
された補正画像対IgLi、IgRiを見ながら手動座標設定機
22を手動操作し、手動座標設定機22の出力座標を指定座
標算出機20経由で画像処理装置13へ送信し、所望の初期
補正画像対IgL0、IgR0をゴーグル16に表示する。この初
期補正画像対IgL0、IgR0に対応する初期指定座標(x0、y
0)を指定座標算出機20のメモリ20aに記憶する。同時に
操作員２の初期顔面方向を角度計測機18により計測し、
計測した初期顔面方向を指定座標算出機20のメモリ20a
に記憶する。遠隔作業を開始した後、角度計測機18によ
り操作員２の今回顔面方向を計測し、メモリ20aに記憶
した初期顔面方向との間の顔面方向偏差を算出する。算
出した顔面方向偏差とメモリ20aに記憶した初期指定座
標(x0、y0)とに基づき指定座標算出機20が今回指定座標
(xi、yi)を算出し、算出した今回指定座標(xi、yi)を座
標送信機23及び座標受信機12を介して画像処理装置13へ
送信し、補正画像対IgLi、IgRiを移動させる。この今回
顔面方向の計測から画像処理装置13への送信までのサイ
クルを繰返すことにより、補正画像対IgLi、IgRiを操作
員２の顔面方向の変化に追従して移動させることができ
る。
るに、作業開始前に例えば操作員２がゴーグル16に表示
された補正画像対IgLi、IgRiを見ながら手動座標設定機
22を手動操作し、手動座標設定機22の出力座標を指定座
標算出機20経由で画像処理装置13へ送信し、所望の初期
補正画像対IgL0、IgR0をゴーグル16に表示する。この初
期補正画像対IgL0、IgR0に対応する初期指定座標(x0、y
0)を指定座標算出機20のメモリ20aに記憶する。同時に
操作員２の初期顔面方向を角度計測機18により計測し、
計測した初期顔面方向を指定座標算出機20のメモリ20a
に記憶する。遠隔作業を開始した後、角度計測機18によ
り操作員２の今回顔面方向を計測し、メモリ20aに記憶
した初期顔面方向との間の顔面方向偏差を算出する。算
出した顔面方向偏差とメモリ20aに記憶した初期指定座
標(x0、y0)とに基づき指定座標算出機20が今回指定座標
(xi、yi)を算出し、算出した今回指定座標(xi、yi)を座
標送信機23及び座標受信機12を介して画像処理装置13へ
送信し、補正画像対IgLi、IgRiを移動させる。この今回
顔面方向の計測から画像処理装置13への送信までのサイ
クルを繰返すことにより、補正画像対IgLi、IgRiを操作
員２の顔面方向の変化に追従して移動させることができ
る。
【００１７】本発明によれば、操作員２は初期顔面方向
において所望の初期補正画像を得ることができ、その後
は顔面方向の変化に自動追従して補正画像が移動するの
で、操作員２は常に所望の補正画像を見ながら遠隔操作
を行なうことができる。また撮像機6a、6bを例えばベー
スマシン3aの運転席のキャビネット頂面等の適当な位置
に取付けることにより、従来の運転席からは見えにくい
場所を見やすくし、ブレーカ工法における施工効率の向
上が期待できる。
において所望の初期補正画像を得ることができ、その後
は顔面方向の変化に自動追従して補正画像が移動するの
で、操作員２は常に所望の補正画像を見ながら遠隔操作
を行なうことができる。また撮像機6a、6bを例えばベー
スマシン3aの運転席のキャビネット頂面等の適当な位置
に取付けることにより、従来の運転席からは見えにくい
場所を見やすくし、ブレーカ工法における施工効率の向
上が期待できる。
【００１８】こうして本発明の目的である「撮像機に対
する機械的駆動部がない遠隔操作支援用画像システム」
の提供が達成できる。
する機械的駆動部がない遠隔操作支援用画像システム」
の提供が達成できる。
【００１９】
【実施例】以上作業機械３の姿勢が変化しない場合につ
いて説明したが、作業機械３の姿勢が変化する場合は撮
像機6a、6bの撮影方向が変り、操作員２が顔面方向を変
えない場合であっても補正画像対IgLi、IgRiが不所望に
移動する。図１の実施例では、作業機械３に撮像機6a、
6bの撮影方向を計測する姿勢計測機31、及び姿勢計測機
31と座標受信機12と画像処理装置13とに接続された補正
座標算出機34を設け、作業機械３の姿勢変化に応じて指
定座標を補正することにより補正画像対IgLi、IgRiの不
所望の移動を避けている。姿勢計測機31の一例は互いに
垂直な３軸の回りの回転角度を計測する角度センサであ
る。
いて説明したが、作業機械３の姿勢が変化する場合は撮
像機6a、6bの撮影方向が変り、操作員２が顔面方向を変
えない場合であっても補正画像対IgLi、IgRiが不所望に
移動する。図１の実施例では、作業機械３に撮像機6a、
6bの撮影方向を計測する姿勢計測機31、及び姿勢計測機
31と座標受信機12と画像処理装置13とに接続された補正
座標算出機34を設け、作業機械３の姿勢変化に応じて指
定座標を補正することにより補正画像対IgLi、IgRiの不
所望の移動を避けている。姿勢計測機31の一例は互いに
垂直な３軸の回りの回転角度を計測する角度センサであ
る。
【００２０】図１の補正座標算出機34の作用を説明する
に、作業開始前に姿勢計測機31により撮像機6a、6bの初
期撮影方向を計測して補正座標算出機34のメモリ34aに
記憶する。作業開始後に姿勢計測機31により今回撮影方
向を撮影し、メモリ34aに記憶した初期撮影方向との撮
影方向偏差を求め、その撮影方向偏差に基づいて画像処
理装置13の補正座標系を算出する。遠隔操作室５から送
信される所定座標系による今回指定座標を座標受信機12
から補正座標算出機34へ入力し、前記算出した補正座標
系による今回指定座標に補正し、補正後の今回指定座標
を画像処理装置13へ入力することにより補正画像対
IgLi、IgRiの指定座標を撮像機6a、6bの撮影方向の変化
に追従して移動させる。図１の実施例によれば、たとえ
作業機械３の姿勢が変化した場合であっても補正画像対
IgLi、IgRiの不所望な移動が避けられるので、効率的な
遠隔操作が期待できる。
に、作業開始前に姿勢計測機31により撮像機6a、6bの初
期撮影方向を計測して補正座標算出機34のメモリ34aに
記憶する。作業開始後に姿勢計測機31により今回撮影方
向を撮影し、メモリ34aに記憶した初期撮影方向との撮
影方向偏差を求め、その撮影方向偏差に基づいて画像処
理装置13の補正座標系を算出する。遠隔操作室５から送
信される所定座標系による今回指定座標を座標受信機12
から補正座標算出機34へ入力し、前記算出した補正座標
系による今回指定座標に補正し、補正後の今回指定座標
を画像処理装置13へ入力することにより補正画像対
IgLi、IgRiの指定座標を撮像機6a、6bの撮影方向の変化
に追従して移動させる。図１の実施例によれば、たとえ
作業機械３の姿勢が変化した場合であっても補正画像対
IgLi、IgRiの不所望な移動が避けられるので、効率的な
遠隔操作が期待できる。
【００２１】図３の実施例は、遠隔操作室５内の機器配
置の一例を示す。図３の遠隔操作室５は工事監視用の一
台の魚眼レンズ７付き遠景撮像機26を設けている。遠景
撮像機26は魚眼レンズ７を用いて施工対象１の全方向遠
景画像を撮影し、撮影した全方向遠景画像を遠景画像処
理装置25へ入力する。画像処理装置25は、作業機械３の
画像処理装置13と同様に、全方向遠景画像を複数の区画
画像に区分けし且つ指定座標の区画画像を無歪みの補正
遠景画像に変換し、補正遠景画像を画像切替装置27へ入
力する。画像切替手段27は補正遠景画像と共に画像受信
機14からの補正画像対IgLi、IgRiを入力し、例えばフッ
トスイッチ等の切替指示手段28の操作に応じて補正遠景
画像又は補正画像対IgLi、IgRiの何れか一方の画像を選
択し、選択した画像を画像制御装置17経由でゴーグル16
へ出力する。補正遠景画像は施工対象１の全体的な状況
の把握に適し、操作員２は補正画像対IgLi、IgRiによる
遠隔操作の途中で適宜補正遠景画像に切替えて施工対象
１の全体状況を確認することができる。遠景画像処理装
置25への指定座標の入力は、画像切替手段27が補正遠景
画像を選択している時に指定座標算出機20を遠景画像処
理装置25と接続し、手動座標設定機22の出力座標又は指
定座標算出機20の算出する今回指定座標(xi、yi)を遠景
画像処理装置25へ入力することにより行なう。図３中の
符号29は、遠景画像処理装置25に対してズーミングを指
示するフットスイッチを示す。
置の一例を示す。図３の遠隔操作室５は工事監視用の一
台の魚眼レンズ７付き遠景撮像機26を設けている。遠景
撮像機26は魚眼レンズ７を用いて施工対象１の全方向遠
景画像を撮影し、撮影した全方向遠景画像を遠景画像処
理装置25へ入力する。画像処理装置25は、作業機械３の
画像処理装置13と同様に、全方向遠景画像を複数の区画
画像に区分けし且つ指定座標の区画画像を無歪みの補正
遠景画像に変換し、補正遠景画像を画像切替装置27へ入
力する。画像切替手段27は補正遠景画像と共に画像受信
機14からの補正画像対IgLi、IgRiを入力し、例えばフッ
トスイッチ等の切替指示手段28の操作に応じて補正遠景
画像又は補正画像対IgLi、IgRiの何れか一方の画像を選
択し、選択した画像を画像制御装置17経由でゴーグル16
へ出力する。補正遠景画像は施工対象１の全体的な状況
の把握に適し、操作員２は補正画像対IgLi、IgRiによる
遠隔操作の途中で適宜補正遠景画像に切替えて施工対象
１の全体状況を確認することができる。遠景画像処理装
置25への指定座標の入力は、画像切替手段27が補正遠景
画像を選択している時に指定座標算出機20を遠景画像処
理装置25と接続し、手動座標設定機22の出力座標又は指
定座標算出機20の算出する今回指定座標(xi、yi)を遠景
画像処理装置25へ入力することにより行なう。図３中の
符号29は、遠景画像処理装置25に対してズーミングを指
示するフットスイッチを示す。
【００２２】
【発明の効果】以上詳細に説明したように、本発明の遠
隔操作支援用画像システムは、魚眼レンズを用いて施工
対象の左右一対の全方向画像を撮影し、全方向画像対を
複数の区画画像に区分けし且つ指定座標の区画画像対を
無歪みの補正画像対に変換し、補正画像対を左右一対の
液晶パネルを有するゴーグルに二眼視立体表示し、ゴー
グルを装着した操作員の顔面方向の変化に追従して補正
画像対の指定座標を移動させるので、次の顕著な効果を
奏する。
隔操作支援用画像システムは、魚眼レンズを用いて施工
対象の左右一対の全方向画像を撮影し、全方向画像対を
複数の区画画像に区分けし且つ指定座標の区画画像対を
無歪みの補正画像対に変換し、補正画像対を左右一対の
液晶パネルを有するゴーグルに二眼視立体表示し、ゴー
グルを装着した操作員の顔面方向の変化に追従して補正
画像対の指定座標を移動させるので、次の顕著な効果を
奏する。
【００２３】(イ)ブレーカ等の作業機械の遠隔操作を１
人の操作員で簡単に行なうことが可能となる。 (ロ)ブレーカ工法の遠隔操作が可能となるので、従来の
振動、騒音、粉塵等の中での作業から操作員を解放する
ことができる。 (ハ)撮像機の撮影向きを回転させる方法等に比し、回転
部等がないので障害の発生する虞が少なく、画像送信の
信頼性向上を図ることができる。 (ニ)撮像機の取付け位置の調節により従来の運転席から
見えにくい位置の遠隔監視が可能となるので、見えやす
い位置へ作業機械を移動させる手間が省略でき、施工効
率の向上が期待できる。
人の操作員で簡単に行なうことが可能となる。 (ロ)ブレーカ工法の遠隔操作が可能となるので、従来の
振動、騒音、粉塵等の中での作業から操作員を解放する
ことができる。 (ハ)撮像機の撮影向きを回転させる方法等に比し、回転
部等がないので障害の発生する虞が少なく、画像送信の
信頼性向上を図ることができる。 (ニ)撮像機の取付け位置の調節により従来の運転席から
見えにくい位置の遠隔監視が可能となるので、見えやす
い位置へ作業機械を移動させる手間が省略でき、施工効
率の向上が期待できる。
【図１】は、本発明の一実施例のブロック図である。
【図２】は、施工対象、作業機械及び遠隔操作室の説明
図である。
図である。
【図３】は、遠隔操作室内の機器配置の一例の説明図で
ある。
ある。
【図４】は、本発明の全方向画像対の画像処理方法の説
明図である。
明図である。
【図５】は、従来の全方向画像の画像処理方法の説明図
である。
である。
１ 施工対象 ２ 操作員 ３ 作業機械 3a ベースマシーン ４ 可動腕部材 4a 削岩機 ５ 遠隔操作室 6a、6b 撮像機 ７ 魚眼レンズ 10 画像送信機 11 画像信号切替器 12 座標受信機 13 画像処理装置 14 画像受信機 16 ゴーグル 16a、16b 小形液晶パネル 17 画像制御装置 18 角度計測機 19a 磁界発生手段 19b 磁界感応手段 20 指定座標算出機 20a メモリ 22 手動座標設定機 23 座標送信機 25 遠景画像処理装置 26 遠景撮像機 27 画像切替装置 28 切替指示手段 29 ズーム指示手段 30 遠隔操作手段 31 姿勢計測機 34 補正座標算出機 34a メモリ Ia 全方向画像 Ib 区画画像 Ig 補正画像。
フロントページの続き (56)参考文献 特開 昭62−95521（ＪＰ，Ａ) 特開 平４−116540（ＪＰ，Ａ) 特開 平８−32860（ＪＰ，Ａ) 特開 平８−56295（ＪＰ，Ａ) 特開 平７−209700（ＪＰ，Ａ) 特開 平８−50317（ＪＰ，Ａ) 特開 昭60−1978（ＪＰ，Ａ) 特開 平４−81090（ＪＰ，Ａ) 実開 平４−24110（ＪＰ，Ｕ) 実開 平４−24109（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.6，ＤＢ名) G03B 15/00 H04N 5/232
Claims (3)
- 【請求項１】遠隔操作の作業機械に、全方向画像の対を
魚眼レンズで撮影する所定向きの２台の撮像機と、前記
全方向画像対を複数の座標別無歪み補正画像対に変換す
る画像処理装置と、前記画像処理装置へ接続した座標受
信機と、前記画像処理装置へ接続されて前記座標受信機
で受信した指定座標の前記補正画像対を送信する画像送
信機とを取付け； 遠隔操作室に、前記画像送信機から補正画像対を受信す
る画像受信機と、受信した補正画像対を二眼視立体表示
する顔面装着型のゴーグルと、ゴーグル装着顔面の方向
を計測する角度計測機と、前記角度計測機及び手動座標
設定機に接続した指定座標算出機と、前記指定座標算出
機に接続されその出力を前記座標受信機へ送信する座標
送信機とを設け； 作業開始時に前記手動座標設定機の出力のみを画像処理
装置へ送信し且つ該出力を変えながら所望の補正画像対
が受信される時の該出力をもって初期指定座標とし且つ
その時のゴーグル装着顔面の方向を初期顔面方向とし、
作業中に前記角度計測機で今回顔面方向と前記初期顔面
方向とから顔面方向偏差を求め、前記指定座標算出機で
前記初期指定座標と前記今回顔面方向偏差とに基づき今
回指定座標を算出して前記画像処理装置へ送信すること
により前記ゴーグルに表示する補正画像対をゴーグル装
着顔面の方向の変化に追従して移動させてなる遠隔操作
支援用画像システム。 - 【請求項２】請求項１の画像システムにおいて、前記作
業機械に、前記両撮像機の撮影方向を計測する姿勢計測
機、及び前記姿勢計測機と前記座標受信機と前記画像処
理装置とに接続された補正座標算出機を取付け、作業開
始前に前記姿勢計測機により前記両撮像機の初期撮影方
向を計測して前記補正座標算出機に記憶し、作業開始後
に前記姿勢計測機の計測する今回撮影方向と前記初期撮
影方向との撮影方向偏差を前記補正座標算出機により求
め且つ前記撮影方向偏差に基づき前記画像処理装置の補
正座標系を算出し、前記遠隔操作室から送信される前記
所定座標系の今回指定座標を前記補正座標系の今回指定
座標に補正したのち前記画像処理装置へ入力することに
より、前記補正画像対の指定座標を前記操作員の顔面方
向の変化及び前記両撮像機の撮影方向の変化に追従して
移動させてなる遠隔操作支援用画像システム。 - 【請求項３】請求項１又は２の画像システムにおいて、
前記遠隔操作室に前記施工対象の全方向遠景画像を魚眼
レンズで撮影する遠景撮像機と、前記全方向遠景画像を
前記所定座標系による複数の区画画像に区分けし且つ指
定座標の区画画像を無歪みの補正遠景画像に変換する遠
景画像処理装置と、前記画像受信機からの補正画像対及
び前記遠景画像処理装置からの補正遠景画像を入力し且
つ何れか一方の画像を選択して前記ゴーグルへ出力する
画像切替装置とを設け、前記画像切替装置による前記補
正遠景画像の選択時に前記遠景画像処理装置を前記指定
座標算出機と接続してなる遠隔操作支援用画像システ
ム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7041658A JP2947726B2 (ja) | 1995-03-01 | 1995-03-01 | 遠隔操作支援用画像システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7041658A JP2947726B2 (ja) | 1995-03-01 | 1995-03-01 | 遠隔操作支援用画像システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08234275A JPH08234275A (ja) | 1996-09-13 |
| JP2947726B2 true JP2947726B2 (ja) | 1999-09-13 |
Family
ID=12614479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7041658A Expired - Fee Related JP2947726B2 (ja) | 1995-03-01 | 1995-03-01 | 遠隔操作支援用画像システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2947726B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4116041A4 (en) * | 2020-05-13 | 2023-08-23 | Kobelco Construction Machinery Co., Ltd. | REMOTE MANEUVERING ASSIST DEVICE AND REMOTE MANEUVERING ASSIST METHOD |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4643773B2 (ja) | 1996-12-17 | 2011-03-02 | テセラ・テクノロジーズ・ハンガリー・ケイエフティー | 電子ズーム画像入力方式 |
| US8233073B2 (en) | 2006-03-29 | 2012-07-31 | DitigalOptics Corporation Europe Limited | Image capturing device with improved image quality |
| WO2008018156A1 (fr) * | 2006-08-10 | 2008-02-14 | Sanritz Automation Co., Ltd. | Procédé d'affichage d'image corrigée en fluctuation et système de commande à distance d'objet mobile utilisant le procédé |
| CN109288333B (zh) * | 2012-12-18 | 2021-11-30 | 艾斯适配有限公司 | 捕获和显示外观的装置、系统和方法 |
| JP7014007B2 (ja) | 2018-03-29 | 2022-02-01 | コベルコ建機株式会社 | 作業機械の遠隔操作システム |
| JP6940118B2 (ja) * | 2019-01-31 | 2021-09-22 | 株式会社三井Ｅ＆Ｓマシナリー | クレーンの運転支援システム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6295521A (ja) * | 1985-10-23 | 1987-05-02 | Towa Eng:Kk | 移動被写体の遠隔撮影装置 |
| JP2520230Y2 (ja) * | 1990-06-18 | 1996-12-11 | 株式会社アイチコーポレーション | カメラの遠隔操作装置 |
| JPH0424109U (ja) * | 1990-06-18 | 1992-02-27 | ||
| JP2710450B2 (ja) * | 1990-09-06 | 1998-02-10 | キヤノン株式会社 | 撮影方向変更装置 |
| JP3235809B2 (ja) * | 1994-01-18 | 2001-12-04 | キヤノン株式会社 | 光学機器の立体リンク機構 |
| JPH0832860A (ja) * | 1994-07-20 | 1996-02-02 | Fujitsu General Ltd | カメラの自動姿勢制御装置 |
| JPH0850317A (ja) * | 1994-08-05 | 1996-02-20 | Toyo Consultant Kk | 遠隔撮影装置 |
| JPH0856295A (ja) * | 1994-08-10 | 1996-02-27 | Sony Corp | 撮影機材保持装置 |
-
1995
- 1995-03-01 JP JP7041658A patent/JP2947726B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4116041A4 (en) * | 2020-05-13 | 2023-08-23 | Kobelco Construction Machinery Co., Ltd. | REMOTE MANEUVERING ASSIST DEVICE AND REMOTE MANEUVERING ASSIST METHOD |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08234275A (ja) | 1996-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3792901B2 (ja) | カメラ制御システム及びその制御方法 | |
| EP2991343B1 (en) | Image to be processed generating device, image to be processed generating method, and operation assistance system | |
| JPWO2005124735A1 (ja) | 画像表示システム、画像表示方法および画像表示プログラム | |
| JP2018121195A (ja) | 遠隔制御システム | |
| JP2947726B2 (ja) | 遠隔操作支援用画像システム | |
| KR20020014456A (ko) | 입체영상의 변형보정방법 및 시스템 | |
| JP2004272578A (ja) | 撮像装置及び歪み補正方法 | |
| JP2020167600A (ja) | 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ | |
| JP4952204B2 (ja) | 遠隔作業支援システム、及びその表示方法 | |
| WO2021230363A1 (ja) | 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム | |
| JP3206874B2 (ja) | 遠隔施工支援用の画像システム | |
| JP2022053421A (ja) | 遠隔操作のための表示システム、表示方法およびプログラム | |
| JP2019060184A (ja) | 掘削現場監視装置 | |
| JP2936544B2 (ja) | 視覚情報表示装置 | |
| JPH10291188A (ja) | 立体映像提示方法 | |
| JP2018056845A (ja) | 作業支援装置、システム、方法及びプログラム | |
| JP3014336B2 (ja) | 遠隔施工支援画像システム | |
| WO2023228331A1 (ja) | 遠隔機械操作システム、視覚提示装置、視覚提示方法およびプログラム | |
| JP3604443B2 (ja) | テレビジョンシステム | |
| JPH08227319A (ja) | 遠隔操作支援画像システム | |
| JP2752993B2 (ja) | 立体テレビ装置 | |
| JP7330926B2 (ja) | 撮影システムおよび遠隔操作システム | |
| JP2020045687A (ja) | 作業機械 | |
| JPH0617444A (ja) | 建設機械用遠隔操作装置 | |
| JPH06269008A (ja) | 実寸大表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |