JP3611394B2

JP3611394B2 - 作業機械のカメラ方向制御装置

Info

Publication number: JP3611394B2
Application number: JP02431996A
Authority: JP
Inventors: 龍二高田; 康雄田中; 豊渡辺; 誠二山下
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 1996-02-09
Filing date: 1996-02-09
Publication date: 2005-01-19
Anticipated expiration: 2016-02-09
Also published as: JPH09218713A

Description

【０００１】
【発明の属する技術分野】
本発明は、油圧ショベル等の作業機械に備えられ、操縦のために必要な所定の個所を撮影するカメラの向きを制御する作業機械のカメラ方向制御装置に関する。
【０００２】
【従来の技術】
油圧ショベル、油圧クレーン、ブルドーザ等の作業機械は、通常はオペレータが搭乗して作業を行なうが、災害地、地下等の危険な個所や、高温な環境、粉塵が発生する環境等劣悪な環境では、オペレータは搭乗せず、作業機械は遠隔地点にいるオペレータにより無人操縦（遠隔操縦）される。この場合、オペレータが作業現場を目視できるときは何等の支障もないが、充分に又は全く目視できないときは作業現場又は作業機械に設置されたカメラの映像を見ながら遠隔操縦がなされる。従来、このようなカメラの使用方法としていくつかの方法が提案されている。以下にこれらの方法を列挙する。
【０００３】
（１）作業現場に複数台のカメラを設置し、各カメラの映像をそれぞれ遠隔地のモニタに表示し、オペレータはこれら映像を見ながら遠隔操縦を行なう。
（２）１台のカメラを雲台に取付け、オペレータは遠隔地から雲台を操作してカメラを必要な個所に向けてその映像を得る。
（３）例えば特開平６−７８３０８号公報に記載されているように、走行車両に複数台のカメラを設置しておき、操舵用操作レバーに連動して２台のカメラを切り換え選択し、それらによる２つの画像を左右の目で見る。
（４）予め定められた所要の個所を１つのカメラで自動追尾することにより、１つのモニタに常に所要の個所の画像を表示する。なお、自動追尾技術は、例えば特開平４−３１０３９５号公報等により知られている。
【０００４】
【発明が解決しようとする課題】
上記（１）に記載の方法は、作業現場の相当広い領域を把握することができるが、作業機械の多様な作業に対応するには多数のカメラが必要であり、それに伴って通信回線、モニタも必要となり、コスト増を招き、かつ、複数のモニタをあれこれ見なければならず、遠隔操縦の操作性が悪化する。
上記（２）に記載の方法は、１台のカメラ、１台のモニタであるので、上記（１）のコストの問題は避けることができるが、作業機械の操作レバーとは別に雲台操作用の操作レバーを操作しなければならないので、遠隔操縦の操作性は著しく悪化する。
上記（３）に記載の方法は、カメラの通信回線の数を減少させ、雲台操作用の操作レバーも不要であり、モニタをあれこれ見る必要もなくすことができるが、カメラの数が多く、かつ、カメラを切り換えたときオペレータが見ている画像が不連続となるので、どの個所を見ているのか一時的に判らなくなり、遠隔操縦の操作性が悪くなる。
上記（４）に記載の方法は、カメラもモニタも１台で済み、雲台の操作も必要がない。しかし、作業機械では微操作を行なうことがしばしばあり、この場合、自動追尾では、作業機械の細かな動きにカメラが追尾するため視野も細かく動き、画像が見難くなって操作性が悪化する。
【０００５】
本発明の目的は、上記従来技術における課題を解決し、１台のカメラのみで、かつ、雲台操作用の操作レバーも使用せずに、操作性の良好な画像を得ることができる作業機械のカメラ方向制御装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、請求項１に記載の発明は、上下方向に駆動するアーム状の作業部材と、雲台に取り付けられ前記作業部材の所定個所を撮影するカメラとを備え、モニタで前記カメラから送信された映像信号を受信し、前記モニタに表示された映像を見ながら前記作業部材を操縦する作業機械において、操作性の良好な画像を得るために前記カメラの視野中心と前記カメラから見た前記作業部材の前記所定個所方向との角度が、前記視野中心の上方側における第１の角度および前記視野中心の下方側における第２の角度の角度範囲内にあるときには前記雲台を停止させ前記カメラで撮像した映像を前記モニタに表示し、前記第１の角度又は前記第２の角度を超えたときには前記作業部材の前記所定個所を追って前記雲台を所定の角速度で駆動させながら前記カメラで撮像した映像を前記モニタに表示する制御を行うことを特徴とする。
【０００７】
又、請求項２に記載の発明は、上記の構成において、前記視野中心の下方側における第２の角度を、前記視野中心の上方側における第１の角度より小さく選定したことを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明を図示の実施の形態に基づいて説明する。
図１は本発明の実施の形態に係る遠隔操縦油圧ショベルのカメラ方向制御装置のブロック図である。この図で、１は油圧ショベルであり、下部走行体１１、上部旋回体１２、ブーム１３、アーム１４、バケット１５で構成されている。ブーム１３、アーム１４、バケット１５で作業部材を構成している。１３Ｓ、１４Ｓ、１５Ｓはそれぞれブームシリンダ、アームシリンダ、バケットシリンダである。１５ｐはアーム１４とバケット１５とを結合するピンである。１６はこれら各油圧シリンダの駆動を個々に制御する各コントロールバルブより成るコントロールバルブ群、１７は各コントロールバルブのそれぞれに駆動信号を与える各比例弁より成る比例弁群を示す。１８はブーム１３の回転角度を検出してこれに比例した電気信号を出力するブーム角検出器である。アームの回転角度を検出するアーム角検出器およびバケットの回転角度を検出するバケット角検出器も設けられているがそれらの図示は省略する。なお、θは、上記ブーム角検出器１８、図示されていないアーム角検出器、および図示されていないバケット角検出器で検出されたブーム角度、アーム角度、バケット角度の各検出信号を総合して表わす。
【０００９】
３は油圧ショベル１から離れた遠隔地に設置された操作レバー群であり、油圧ショベル１の各油圧シリンダ、下部走行体１１を走行させる走行モータ、上部旋回体１２を旋回させる旋回モータ等の油圧アクチュエータを操作する。４は遠隔地に設置されコンピュータにより構成される操作側コントローラであり、操作レバー群３の各操作レバーの操作量、操作方向の信号をディジタル値に変換するＡ／Ｄ変換器４１、所要の演算制御を行なうＣＰＵ４２、ＣＰＵ４２の処理手順を記憶するＲＯＭ４３、演算制御の結果等を記憶するＲＡＭ４４、および通信インタフェース４５で構成されている。
【００１０】
５は油圧ショベル１に搭載されコンピュータで構成される車体側コントローラであり、通信インタフェース５１、所要の演算制御を行なうＣＰＵ５２、ＣＰＵ５２の処理手順を記憶するＲＯＭ５３、演算制御の結果等を記憶するＲＡＭ５４、Ｄ／Ａ変換器５５、５７およびＡ／Ｄ変換器５６、５８で構成されている。ＲＯＭ５３には、油圧ショベル１の姿勢をＡ／Ｄ変換器５８を介して入力したブーム角検出器１８、アーム角検出器、およびバケット角検出器の各検出信号θに基づいて計算するための姿勢計算プログラム、各操作レバーの操作量と操作方向をこれらに応じた各比例弁の駆動信号に変換するレバー変換テーブル等が格納されている。変換された駆動信号はＤ／Ａ変換器５７を介して各比例弁に出力される。なお、姿勢計算プログラムによる姿勢計算は、例えば特開昭５７−１０４７３１号公報等によりよく知られている。又、ＲＯＭ５３におけるカメラ制御プログラム、雲台駆動プログラム、雲台回転角テーブルについては後述する。
【００１１】
６は操作側コントローラ４と車体側コントローラ５との間の信号の授受を無線で行なうための無線機である。８は油圧ショベル１の上部旋回体１２に雲台８１を介して取り付けられたカメラである。雲台８１は図示しないが２つのモータおよびこれら各モータの回転角度を検出する各エンコーダで構成され、一方のモータを駆動することによりカメラ８を垂直方向（紙面と平行な面内）に傾け、他方のモータを駆動することによりカメラ８を水平方向（紙面に垂直な面内）に回転させることができる。９は遠隔地に設けられカメラ８で撮影した映像を表示するモニタ、１０はカメラ８の映像信号を無線で送受信する無線機である。
【００１２】
ここで、車体側コントローラ５のＲＯＭ５３に格納されているカメラ制御プログラムはカメラ８の姿勢を制御するためのプログラム、雲台制御プログラムは、雲台８１のエンコーダからの信号をＡ／Ｄ変換器５６を介して入力し、カメラ制御プログラムに従ったカメラ姿勢となるようにＤ／Ａ変換器５５を介して雲台８１のモータに駆動信号を与えるためのプログラムである。
【００１３】
図２は油圧ショベル１の側面図である。この図で、図１に示す部分と同一部分には同一符号を付して説明を省略する。Ｃ_Ｂは油圧ショベル１の車体、例えば上部旋回体１２に対して定められた姿勢計算の基準となる水平線（車体水平線）、両側の線Ｃ_Ａ、Ｃ_Ａはカメラ８の視野範囲、Ｃ_Ｃはカメラ８の視野中心を示す。視野中心Ｃ_Ｃは、雲台８１のエンコーダからの信号により求められる。Ｂはカメラ８から見たピン１５ｐの方向を示す。この方向は、姿勢計算プログラムに基づいて計算したピン１５ｐの位置と、雲台８１の駆動状態から得られるカメラ８の中心位置から算出される。φ_Ｃは車体水平線Ｃ_Ｂに対する視野中心Ｃ_Ｃの角度を示し、φ_Ｂは車体水平線Ｃ_Ｂに対するピン１５ｐの方向Ｂの角度を示す。なお、角度α_ｕ１、α_ｕ２、α_ｄ１、α_ｄ２については後述する。
【００１４】
次に、本実施の形態の動作を、図３、図４、および図５を参照して説明する。図３は視野中心Ｃ_Ｃに対するピン１５ｐの方向Ｂの角度φ（φ＝φ_Ｂ−φ_Ｃ）と雲台回転角速度ωの関係を示す図であり、横軸に角度φ、縦軸に雲台回転角速度ωがとってある。なお、角度φは、視野中心Ｃ_Ｃから上方への角度を正、下方への角度を負とし、雲台回転角速度ωは、視野中心Ｃ_Ｃから上方への角速度を正、下方への角速度を負とする。
【００１５】
図示のように、本実施の形態では、ピン１５ｐの方向Ｂが視野中心Ｃ_Ｃの上方にあるときには、両者の角度の差φが角度α_ｕ１未満では雲台８１は静止状態にしておき、角度α_ｕ１以上のときに雲台８１を（カメラ８を）一定の角速度（ω_１）で上方へ駆動する。この状態でカメラ８の視野中心Ｃ_Ｃがピン１５ｐを追いかけ、前者の移動速度が後者の移動速度に比較して遅いと両者の角度差φが小さくなり、やがて角度差φは角度α_ｕ１に達するが、雲台８１はそのまま駆動され、角度差φが角度α_ｕ１より小さい角度α_ｕ２になったときに雲台８１が停止される。
【００１６】
同様に、ピン１５ｐの方向Ｂが視野中心Ｃ_Ｃの下方にあるときには、両者の角度の差φが角度α_ｄ１未満では雲台８１は静止状態にしておき、角度α_ｄ１以上のときに雲台８１を（カメラ８を）一定の角速度（ω_１）で下方へ駆動する。カメラ８の視野中心Ｃ_Ｃがピン１５ｐを追いかけ、やがて角度差φが角度α_ｄ１に達しても雲台８１はそのまま駆動され、角度差φが角度α_ｄ１より小さい角度α_ｄ２になったときに雲台８１が停止される。上記の各角度α_ｕ１、α_ｕ２、α_ｄ１、α_ｄ２が図２に示され、又、これら各角度α_ｕ１、α_ｕ２、α_ｄ１、α_ｄ２および上記角速度ω_１は車体側コントローラ５のＲＯＭ５３又はＲＡＭ５４、或いは別途設けたＥＥＰＲＯＭに格納される。
【００１７】
このように、角度差φが角度α_ｕ１〜α_ｄ１の角度範囲（不感帯）では、雲台８１が動きを開始しないようにしたので、微操作を行なっても画像は静止したままで見易く、オペレータの操作が容易になる。又、駆動開始の角度差と駆動停止の角度差を異なる角度としたので、ピン１５ｐが駆動開始角度近辺で動いても、これに応じて雲台８１が駆動と停止を繰り返すことはなく、したがってカメラ８の視野が細かく変動することはなく、画像が見易くオペレータの操作が容易になる。
【００１８】
さらに、本実施の形態では、ピン１５ｐの下方への移動開始角度差α_ｄ１を上方への移動開始角度差α_ｕ１より小さく選定している。このように選定することにより次のような効果を得る。通常、図１、図２に示される油圧ショベル１では、バケット１５を手前に引いて掘削する作業が極めて多い。このような掘削作業を行なう場合、オペレータはバケット１５の手前側（これから掘削される側）をより広い範囲で観察できることが必要である。本実施の形態では、上記のように、下方の移動開始角度差φ_ｄ１を小さくすることにより、早い時点で追尾を開始させ、掘削作業時にバケット１５を下方へ移動させるとき、バケット１５の手前側をより広い範囲でみることができ、この結果、オペレータにとってはこれから掘削する個所を確実に把握することができ、操作が極めて容易になる。
【００１９】
上記図３に示す角度差φと雲台回転角ωの関係を実際のバケット１５のピン１５ｐの移動に関連させてさらに図４により説明する。図４の（ａ）は角度差φの変化を示す図、図４の（ｂ）はモニタ９の表示画面を示す図である。図４の（ａ）で、φ_Ｂ、φ_Ｃは図２に示す車体水平線Ｂからのピン１５ｐの方向Ｂと視野中心Ｃ_Ｃの角度を示し、α_ｕ１、α_ｕ２、α_ｄ１、α_ｄ２は図２に示す特性における角度差を示す。最初、ピン１５ｐは停止しているとする。この場合、角度差φ（φ_Ｂ −φ_Ｃ）は不感帯内にあり、雲台８１は停止されている。この状態におけるモニタ９の表示画面９１に表示された画像が図４の（ｂ）の左端に図示されている。図４の（ｂ）で、１５Ｅはバケット１５の画像、Ｃは表示画面９１の中心を示す。この場合、ピン１５ｐは中心Ｃに一致している。
【００２０】
時刻ｔ_０において掘削等のためピン１５ｐが下方に移動すると、角度差φ_Ｂも下方に移動し角度差φも変化するが、それが不感帯にある間は雲台は停止状態を保持している。したがって、モニタ９の表示画面９１では、バケット１５が下方へ移動している状態が表示される。ピン１５ｐがさらに移動を続け、時刻ｔ_１に至って角度差φが角度α_ｄ１になる位置に達すると（このときの表示画面９１の表示は、バケット１５の画像１５Ｅが図４の（ｂ）の中央の表示画面に示すように画面の下方にある）同時に、雲台８１が駆動を開始し、カメラ８の視野中心φ_Ｃも角速度ω_１で下方に移動せしめられる。即ち、カメラ８がピン１５ｐを追尾してゆき、このため車体水平線φ_Ｂと視野中心φ_Ｃの両者が下方へ移動してゆき、表示画面９１では図４の（ｂ）の中央に示す画面が保持される。この場合、角速度ω_１はバケット１５の画像１５Ｅが表示画面９１から消えない角速度に予め選定されている。バケット１５が目的位置に近付き、その移動速度が遅くなるとこれに従って角度差φは小さくなり、表示画面９１ではバケット１５の画像１５Ｅが上方に移動してゆく。時刻ｔ_２になって角度差φが角度α_ｄ２以下になると、雲台８１は停止し、バケット１５の画像１５Ｅは表示画面９１の中心Ｃ付近に表示された状態となる。
【００２１】
この状態から、続いて、バケット１５が上方へ移動すると、これに従って表示画面９１の画像１５Ｅが上方へ移動するが雲台は停止状態を継続し、カメラ８の視野中心Ｃ_Ｃはそのままの位置にある。やがて時刻ｔ_３になって角度差φが角度α_ｕ１以上になると（このときの表示画面９１の表示は、バケット１５の画像１５Ｅが図４の（ｂ）の右端の表示画面に示すように画面の上方にある）同時に、雲台８１が駆動を開始し、カメラ８の視野中心φ_Ｃも角速度ω_１で上方に移動せしめられ、カメラ８がピン１５ｐを追尾してゆき、表示画面９１では図４の（ｂ）の右端に示す画面が保持される。バケット１５が目的位置に近付き、その移動速度が遅くなるとこれに従って角度差φは小さくなり、表示画面９１ではバケット１５の画像１５Ｅが下方に移動してゆく。時刻ｔ_４になって角度差φが角度α_ｕ２以下になると、雲台８１は停止し、バケット１５の画像１５Ｅは表示画面９１の中心Ｃ付近に表示された状態となり、以後、画像１５Ｅは角度差φが不感帯にある限り表示画面９１においてバケット１５の移動に従って移動する。
【００２２】
次に、上記の動作を行なうための車体側コントローラ５の処理を、図５に示すフローチャートを参照して説明する。まず、ＣＰＵ５２は、姿勢計算プログラムに基づいて計算したピン１５ｐの位置と雲台８１のエンコーダ出力から得られるカメラ８の視野中心位置から、車体水平線Ｃ_B とピン１５ｐの方向Ｂとの間の角度φ_B を算出し（図５に示す手順Ｓ₁ ）、次いで、上記エンコーダの出力から得られるカメラ８の視野中心Ｃ_C と車体水平線Ｃ_B との間の角度φ_C を算出し（手順Ｓ₂ ）、さらに両者の角度差φ（φ＝φ_B −φ_C ）を演算する（手順Ｓ₃ ）。次に、ＣＰＵ５２は角度差φが設定された角度α_u1以上であるか否か判断し（手順Ｓ₄ ）、以上でなければ今度は角度α _d1以下であるか否か判断し（手順Ｓ₅ ）、角度差φが角度α _d1以下でなければ、次に角度差φが角度α_u2以下で角度α_d2以上であるか否か判断する（手順Ｓ₆ ）。
【００２３】
角度差φが角度α_ｕ２以下で、かつ、角度α_ｄ２以上でなければ、角度差φは角度α_ｕ１未満で角度α_ｕ２を超える値の間にあるか、又は角度α_ｄ１未満で角度α_ｄ２を超える値の間にあるかいずれかであるから、この場合は現在の雲台８１の駆動状態を保持すればよい。そこで、雲台８１が停止状態か否かを判断し（手順Ｓ_７）、駆動状態であればそれを継続し（手順Ｓ_８）、停止状態であれば停止を継続する（手順Ｓ_９）。一方、手順Ｓ_４の処理で角度差φが角度α_ｕ１以上の値であれば雲台８１のモータに角速度ω_１で雲台８１を上方へ駆動するように指令し（手順Ｓ_１０）、手順Ｓ_５の処理で角度差φが角度α_ｄ１以下であれば雲台８１のモータに角速度ω_１で雲台８１を下方へ駆動するように指令する（手順Ｓ_１１）。又、手順Ｓ_６の処理で角度差φが角度α_ｕ２未満で角度α_ｄ２を超えた値であれば雲台８１のモータへ停止指令を出力する（手順Ｓ_９）。
【００２４】
このように、本実施の形態では、小さな角度差において不感帯を設けたので、微操作を行なっても画像は静止したままで見易く、オペレータの操作が容易になる。又、駆動開始の角度差と駆動停止の角度差を異なる角度としたので、ピン１５ｐが駆動開始角度近辺で動いても、これに応じて雲台８１が駆動と停止を繰り返すことはなく、したがってカメラ８の視野が細かく変動することはなく、画像が見易くオペレータの操作が容易になる。さらに、本実施の形態では、ピン１５ｐの下方への移動開始角度差α_ｄ１を上方への移動開始角度差α_ｕ１より小さく選定したので、掘削作業時に、バケット１５を下方へ移動させるときバケット１５の手前側をより広い範囲でみることができ、この結果、オペレータにとってはこれから掘削する個所を確実に把握することができ、操作が極めて容易になる。
【００２５】
なお、上記実施の形態の説明では、角度差φに対して雲台を一定角速度ω_１で駆動する例について説明したが、これに限ることはなく、角度差φに応じて雲台角速度を定めることもできる。この場合の角度差φと雲台角速度との関係を図６に示す。この図で、横軸に角度差φ、縦軸に雲台角速度がとってあり、又、角度α_ｕ１、α_ｕ２、α_ｄ１、α_ｄ２は図３に示す特性と同一の意味をもっている。この図に示す駆動中の雲台角速度の特性は、図から明らかなように角度差φに比例するが、比例以外の適宜の関係を選定することもできる。図６に示す特性又は定められた前記適宜の関係は、ＲＯＭ５２又はＲＡＭ５４或いは別途設けられたＥＥＰＲＯＭに格納され、角度差φが演算される毎に読み出されることとなる。
【００２６】
さらに、上記実施の形態の説明では、油圧ショベルを例示して説明したが、他の作業機械にも適用できるのは明らかである。又、カメラによる追尾位置をバケットのピンとしたが、これに限ることはなく、その作業機械に適宜な位置を選定することができる。さらに又、雲台の駆動開始の角度差と駆動停止の角度差を異なる角度とする例について説明したが必ずしも異なる角度とする必要はなく、又、ピンの下方への移動開始角度差を上方への移動開始角度差より小さく選定する例について説明したが、両者同一角度差としてもよい。
【００２７】
【発明の効果】
以上述べたように、本発明では、カメラの視野中心の上方側における第１の角度、および下方側における第２の角度の角度範囲内において不感帯を設けたので、上下方向に駆動する作業部材を介して微操作を行なった際に、カメラが取り付けられた雲台を停止状態に保つことができ、したがってこのときモニタで表示される画像は静止したままで見易く、オペレータの該当する微操作が容易になる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る遠隔操縦油圧ショベルのカメラ方向制御装置のブロック図である。
【図２】油圧ショベルの側面図である。
【図３】バケットピン方向と視野中心方向との角度差と、雲台回転角速度との関係を示す図である。
【図４】バケットピン方向と視野中心方向との角度差と、雲台回転角速度との関係を実際の上部旋回体の駆動に関連させて説明する図である。
【図５】図１に示す装置の動作を説明するフローチャートである。
【図６】バケットピン方向と視野中心方向との角度差と、雲台回転角速度との関係を示す図である。
【符号の説明】
１油圧ショベル
４操作側コントローラ
５車体側コントローラ
８カメラ
９モニタ
１５バケット
１５ｐバケットのピン
８１雲台

Claims

上下方向に駆動するアーム状の作業部材と、雲台に取り付けられ前記作業部材の所定個所を撮影するカメラとを備え、モニタで前記カメラから送信された映像信号を受信し、前記モニタに表示された映像を見ながら前記作業部材を操縦する作業機械において、
操作性の良好な画像を得るために前記カメラの視野中心と前記カメラから見た前記作業部材の前記所定個所方向との角度が、前記視野中心の上方側における第１の角度および前記視野中心の下方側における第２の角度の角度範囲内にあるときには前記雲台を停止させ前記カメラで撮像した映像を前記モニタに表示し、前記第１の角度又は前記第２の角度を超えたときには前記作業部材の前記所定個所を追って前記雲台を所定の角速度で駆動させながら前記カメラで撮像した映像を前記モニタに表示する制御を行うことを特徴とする作業機械のカメラ方向制御装置。
請求項１記載の作業機械のカメラ方向制御装置において、前記視野中心の下方側における第２の角度を、前記視野中心の上方側における第１の角度より小さく選定したことを特徴とする作業機械のカメラ方向制御装置。