JPH10299032A

JPH10299032A - 作業用走行車の視界改善装置および方法

Info

Publication number: JPH10299032A
Application number: JP9118749A
Authority: JP
Inventors: Kihachi Sasaki; 喜八佐々木; Hiromasa Miyano; 博匡宮野; Kazuo Watanabe; 和夫渡邊; Tsuneo Hisatake; 経夫久武; Naoyuki Moriya; 直行守屋; Akira Kojima; 皓小島
Original assignee: KENSETSUSHO KANTO CHIHO KENSET; KENSETSUSHO KANTO CHIHO KENSETSU KYOKUCHO; Caterpillar Mitsubishi Ltd; Shin Caterpillar Mitsubishi Ltd
Current assignee: KENSETSUSHO KANTO CHIHO KENSET; KENSETSUSHO KANTO CHIHO KENSETSU KYOKUCHO; Caterpillar Japan Ltd; Caterpillar Mitsubishi Ltd
Priority date: 1997-04-22
Filing date: 1997-04-22
Publication date: 1998-11-10
Anticipated expiration: 2017-04-22
Also published as: JP3351984B2

Abstract

(57)【要約】【課題】運転席から直視することのできない周辺作業
者や障害物の確認を容易にする。【解決手段】死角風景を撮影するカメラ２０を機外に
設置すると共に、該カメラ２０が撮影した死角風景を機
内に設置したモニタ１９で表示するものとし、さらに、
モニタ１９の表示面を、死角方向を見る際のオペレータ
の略視線上に配置する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、油圧ショベル等の
作業用走行車の視界改善装置および方向の技術分野に属
するものである。

【０００２】

【従来の技術】一般に、キャブ仕様の作業用走行車で
は、キャブの前後および左右に窓を設けてオペレータの
視界を可及的に広く確保しているが、例えば油圧ショベ
ルにおいては、右側の窓を介したオペレータの視界に、
ブームの基端部によって遮られる死角が存在する一方、
後側の窓を介したオペレータの視界には、エンジンフー
ドによって遮られる死角が存在するのが実状である。

【０００３】

【発明が解決しようとする課題】そこで、オペレータか
ら死角となる車外風景を撮影するカメラを機外に設置す
る一方、該カメラが撮影した死角風景を表示するモニタ
を機内に設置して、直視不可能な周辺作業者や障害物の
確認を容易にすることが提案されるが、単に死角映像を
表示したとしても、死角映像と実像（オペレータから見
える車外風景）との位置関係（重なりや繋がり）を直感
的に認識することが難しいため、死角映像を有効利用で
きない許りか、死角映像の認識を誤る可能性もあり、ま
た、複数の死角映像を表示する場合には、映像認識がさ
らに難しくなるという不都合があった。

【０００４】

【課題を解決するための手段】本発明は、上記の如き実
情に鑑みこれらの課題を解決することができる作業用走
行車の視界改善装置を提供することを目的として創作さ
れたものであって、窓が形成されたキャブ内に、オペレ
ータが着座する運転席を設けてなる作業用走行車であっ
て、該作業用走行車に、運転席に着座したオペレータか
ら死角となる車外風景を撮影するカメラと、該カメラが
撮影した死角風景を表示するモニタとを設けるにあた
り、該モニタの表示面を、前記死角方向を見る際のオペ
レータの略視線上に配置したものである。つまり、オペ
レータが死角方向を見た場合に、視界を遮る部材が恰も
透けているようなイメージで死角映像を見ることができ
るため、死角映像と実像との関係を直感的に認識するこ
とが可能になり、その結果、直視できない周辺作業者や
障害物を死角映像に基づいて容易に確認できる許りか、
死角映像を誤認する不都合も可及的に防止することがで
きる。

【０００５】また、前記モニタを窓面に取付けたもので
ある。つまり、死角映像と実像（窓から見える車外風
景）との関係を明確化することができるため、直視でき
ない周辺作業者や障害物の確認がさらに容易になり、し
かも、窓面は一般的にフラットであるため、モニタの取
付けも容易にすることができる。

【０００６】また、前記モニタを非透過型とし、該モニ
タを、オペレータ視界に死角が発生する窓面の一部に取
付けたものである。つまり、実像と死角映像との関係を
容易に認識することができ、しかも、窓面全体にモニタ
を取付ける場合に比してコストを低減できる許りでな
く、全体映像と死角映像との合成処理を不要にして制御
部の負担を軽減することができる。

【０００７】また、前記モニタを投影型とし、死角風景
を窓面に投影するものである。つまり、視界を遮る部材
と死角映像が重合状に見えるため、視界を遮る部材が透
けるイメージをさらに高めることができ、しかも、モニ
タ自身がオペレータの視界を遮る不都合も解消すること
ができる。

【０００８】また、ミラー装置を介したオペレータ視界
の死角部分をカメラで撮影すると共に、該カメラの撮影
画像を、ミラー装置の略死角対応位置に取付けたモニタ
に表示するものである。つまり、ミラー装置を介したオ
ペレータ視界の死角部分がミラー装置上でモニタ表示さ
れるため、オペレータがミラー装置を見た場合に、視界
を遮る部材が恰も透けているようなイメージで死角部分
を見ることができる。

【０００９】また、前記カメラが撮影した死角風景を、
オペレータから見える仮想死角風景と略同一のサイズで
モニタに表示させるものである。つまり、死角映像を実
像に近いイメージで見ることができるため、直視できな
い周辺作業者や障害物の確認をさらに容易にすることが
できる。

【００１０】また、前記カメラが撮影した死角風景に、
死角を作り出す部材の輪郭線を合成する輪郭合成手段を
設けたものである。つまり、視界を遮る部材と死角映像
との関係が明確になるため、直視できない周辺作業者や
障害物の確認をさらに容易にすることができる。

【００１１】また、窓が形成されたキャブ内に、オペレ
ータが着座する運転席を設けてなる作業用走行車であっ
て、該作業用走行車に、運転席に着座したオペレータか
ら死角となる車外風景を撮影する死角撮影用カメラと、
オペレータ目線の全体的な車外風景を撮影する全体撮影
用カメラと、両カメラの撮影画像を合成するカメラ画像
合成手段と、合成したカメラ画像に、死角を作り出す部
材の輪郭線を合成する輪郭合成手段と、輪郭線を合成し
た画像を表示するモニタとを設けたものである。つま
り、実像（全体映像）と死角映像との関係が実際にモニ
タ表示されるため、直視できない周辺作業者や障害物
を、モニタ位置に拘わらず容易に確認できる許りか、死
角映像の誤認も可及的に防止することができる。

【００１２】また、死角を作り出す部材が作動部材であ
る場合に、作動部材の作動位置を検出し、該作動位置に
対応した輪郭線をカメラ画像に合成する輪郭合成手段を
設けたものである。つまり、映像に合成される輪郭線が
作動部材の動きに合わせて動くため、作動部材と死角映
像との関係を動的に認識することができる。

【００１３】また、オペレータの目の位置に応じて表示
画像を調整する表示画像調整手段を設けたものである。
つまり、オペレータの座高差等に応じて視点が変化した
としても、各オペレータの視点に適合した画像表示を行
うことができる。

【００１４】また、窓が形成されたキャブ内に、オペレ
ータが着座する運転席を設けてなる作業用走行車におい
て、前記運転席に着座したオペレータから死角となる車
外風景をカメラで撮影し、該撮影した死角風景を、死角
方向を見る際のオペレータの略視線上に配置したモニタ
に表示するものである。つまり、オペレータが死角方向
を見た場合に、視界を遮る部材が恰も透けているような
イメージで死角映像を見ることができるため、死角映像
と実像との関係を直感的に認識することが可能になり、
その結果、直視できない周辺作業者や障害物を死角映像
に基づいて容易に確認できる許りか、死角映像を誤認す
る不都合も可及的に防止することができる。

【００１５】

【発明の実施の形態】次に、本発明の実施の形態の一つ
を図面に基づいて説明する。図面において、１は油圧シ
ョベルであって、該油圧ショベル１は、左右一対の履帯
式走行装置２を備える下部走行体３、該下部走行体３の
上部に旋回自在に設けられる上部旋回体４、該上部旋回
体４の前端部に連結される作業部５等で構成されてお
り、また、前記作業部５は、上部旋回体４の前端部に回
動自在に連結されるブーム６、該ブーム６の先端部に回
動自在に連結されるアーム７、該アーム７の先端部に回
動自在に連結されるバケット８、ブーム６を作動させる
ブームシリンダ９、アーム７を作動させるアームシリン
ダ１０、バケット８を作動させるバケットシリンダ１１
等で構成されているが、これらの基本構成は何れも従来
通りである。

【００１６】１２は前記上部旋回体４に設けられるキャ
ブであって、該キャブ１２の内部には、オペレータが着
座する運転席１３、該運転席１３の左右両側方に配置さ
れる左右一対の作業レバー１４Ｌ、１４Ｒ、運転席１３
の前方に配置される左右一対の走行レバー１５Ｌ、１５
Ｒ（もしくは走行ペダル１６Ｌ、１６Ｒ）等が設けられ
る一方、キャブ１２の前後および左右の壁面には、オペ
レータの視界を確保する窓１７Ａ〜１７Ｄが形成されて
いるが、後側窓１７Ｂを介したオペレータの視界には、
上部旋回体４の後部（エンジンフード１８等）によって
遮られる後方死角が存在する一方、右側窓１７Ｄを介し
たオペレータの視界には、作業部５（ブーム６の基端部
等）によって遮られる側方死角が存在している。

【００１７】１９Ａおよび１９Ｂはキャブ１２の窓面に
取付けられる液晶型モニタ（例えば非透過型ＬＣＤスク
リーン）であって、該モニタ１９Ａ、１９Ｂのうち、後
側窓１７Ｂの窓面に取付けられる後部モニタ１９Ａは、
オペレータ視線で上部旋回体４の後部が見える窓面下半
部の略全幅、つまりオペレータ視界で死角となる部分の
みに取付けられる一方、右側窓１７Ｄの窓面に取付けら
れる側部モニタ１９Ｂは、窓面全体に取付けられてい
る。

【００１８】２０Ａ〜２０Ｃは上部旋回体４に設置され
るカメラ（ＣＣＤイメージセンサ）であって、該カメラ
２０Ａ〜２０Ｃのうち、広角レンズを備えるカメラ２０
Ａ、２０Ｂは、オペレータから死角となる車外風景を撮
影すべく、エンジンフード１８の後方位置およびブーム
６の基端部右側方位置に設置される一方、標準レンズを
備えるカメラ２０Ｃは、右側窓１７Ｄから見えるオペレ
ータの仮想全体風景を撮影すべく、右側窓１７Ｄの外面
部に設置されている。

【００１９】２１は所謂マイクロコンピュータを用いて
構成されるモニタ制御装置であって、該モニタ制御装置
２１の入力側には、前述したカメラ２０Ａ〜２０Ｃ、ブ
ーム６の回動角を検出するブームセンサ２２、アーム７
の回動角を検出するアームセンサ２３、バケット８の回
動角を検出するバケットセンサ２４、オペレータの視点
を設定する視点設定器２５等が所定の入力インタフェー
ス回路を介して接続される一方、出力側には、前述した
モニタ１９Ａ、１９Ｂが所定の出力インタフェース回路
を介して接続されている。つまり、モニタ制御装置２１
のメモリ（ＲＯＭ）には、モニタ１９Ａ、１９Ｂを表示
制御するモニタ制御の制御ルーチンが予め書き込まれて
おり、以下、モニタ制御の制御手順をフローチャートに
基づいて説明する。

【００２０】前記モニタ制御では、まず、視点設定処理
および作業部姿勢認識処理を実行する。即ち、視点設定
処理においては、固定データとして与えられるオペレー
タの視点座標（三次元座標）を、視点設定器２５の操作
信号に基づいて変化させる一方、作業部姿勢認識処理に
おいては、固定データとして与えられる作業部輪郭座標
を、ブームセンサ２２、アームセンサ２３およびバケッ
トセンサ２４の検出信号に基づいて変化させるが、両処
理を実行した後は、モニタ毎に別定義されるサブルーチ
ン（後部モニタ制御および側部モニタ制御）を実行する
ようになっている。

【００２１】さて、後部モニタ１９Ａを制御する後部モ
ニタ制御では、後部広角カメラ２０Ａの撮影画像におけ
る死角領域を、オペレータの視点座標、後側窓１７Ｂの
窓枠座標、上部旋回体４の後部輪郭座標、後部広角カメ
ラ２０Ａの位置座標、向きデータ、撮影角度データ等に
基づいて演算する。そして、死角領域を演算した後は、
後部広角カメラ２０Ａの撮影画像から対応する部分を切
り取ると共に、切り取った画像を後部モニタ１９Ａに表
示するようになっている。即ち、オペレータが上部旋回
体４の後部を見る際の視線上に後部モニタ１９Ａを設置
すると共に、該後部モニタ１９Ａに、後部広角カメラ２
０Ａで撮影した死角映像を表示するため、オペレータ
は、上部旋回体４の後部が恰も透けているようなイメー
ジで死角映像を見ることができ、しかも、後部モニタ１
９Ａは、後側窓１７Ｂの下半部に略全幅に亘って設けら
れているため、オペレータから見える仮想死角風景と略
同一のサイズで死角映像が表示されるようになってい
る。

【００２２】一方、側部モニタ１９Ｂを制御する側部モ
ニタ制御では、側部広角カメラ２０Ｂの撮影画像におけ
る死角領域を、オペレータの視点座標、右側窓１７Ｄの
窓枠座標、作業部５の輪郭座標（作業部姿勢認識処理の
処理結果）、側部広角カメラ２０Ｂの位置座標、向きデ
ータ、撮影角度データ等に基づいて演算する一方、側部
標準カメラ２０Ｃの撮影画像における有効領域（オペレ
ータが右側窓１７Ｄを介して見える全体風景）を、オペ
レータの視点座標、右側窓１７Ｄの窓枠座標、側部標準
カメラ２０Ｃの位置座標、向きデータ、撮影角度データ
等に基づいて演算する。そして、両領域を演算した後
は、両カメラ２０Ｂ、２０Ｃの撮影画像から対応する部
分を切り取って合成すると共に、合成画像を側部モニタ
１９Ｂに表示するようになっている。即ち、オペレータ
が右側方を見る際の視線上に側部モニタ１９Ｂを設置す
ると共に、該側部モニタ１９Ｂに、側部広角カメラ２０
Ｂで撮影した死角映像と、側部標準カメラ２０Ｃで撮影
した全体映像とを合成表示するため、オペレータは、作
業部５が恰も透けているようなイメージで死角映像およ
び全体映像を見ることが可能であるが、さらに側部モニ
タ制御では、オペレータから見える作業部５の仮想輪郭
線を、オペレータの視点座標、右側窓１７Ｄの窓枠座
標、作業部５の輪郭座標（作業部姿勢認識処理の処理結
果）等に基づいて演算すると共に、演算した仮想輪郭線
を側部モニタ２９Ｂの表示画像に合成するため、全体映
像と死角映像との関係が明確になる許りでなく、作業部
５の動きも容易に認識することができるようになってい
る。

【００２３】叙述の如く構成されたものにおいて、オペ
レータから死角となる車外風景を撮影するカメラ２０
Ａ、２０Ｂを機外に設置する一方、該カメラ２０Ａ、２
０Ｂが撮影した死角風景を表示するモニタ１９Ａ、１９
Ｂを機内に設置して、直視できない周辺作業者や障害物
の確認を可能にするものであるが、前記モニタ１９Ａ、
１９Ｂを、死角方向を見る際のオペレータの視線上に配
置したため、オペレータは、視界を遮る部材が恰も透け
ているようなイメージで死角映像を見ることができる。
従って、死角映像と実像との関係を直感的に認識するこ
とが可能になり、その結果、直視できない周辺作業者や
障害物を死角映像に基づいて容易に確認できる許りか、
死角映像を誤認する不都合も可及的に防止することがで
きる。

【００２４】また、前記モニタ１９Ａ、１９Ｂを窓面に
取付けているため、死角映像と実像（または全体映像）
との関係が明確になって周辺作業者や障害物の確認がさ
らに容易になり、しかも、窓面はフラットであるため、
モニタ１９Ａ、１９Ｂを容易に取付けることができる。

【００２５】また、前記モニタ１９Ａ、１９Ｂが表示す
る死角風景は、オペレータから見える仮想死角風景と略
同一のサイズであるため、死角映像を実像に近いイメー
ジで見ることができ、その結果、直視できない周辺作業
者や障害物の確認をさらに容易にすることができる。

【００２６】また、右側窓１７Ｄの窓面全体に取付けた
側部モニタ１９Ｂは、側部広角カメラ２０Ｂで撮影した
死角映像と、側部標準カメラ２０Ｃで撮影した全体映像
とを合成表示するが、オペレータから見える作業部５の
仮想輪郭線を表示画像に合成するため、全体映像と死角
映像との関係が明確になる許りでなく、作業部５の動き
も容易に認識することができる。

【００２７】また、後部モニタ１９Ａは、後側窓１７Ｂ
の一部（死角部分）に取付けられているため、実像と死
角映像との関係を容易に認識することができ、しかも、
窓面全体に取付ける場合の様に大型のモニタを必要とし
ないため、コストを可及的に抑えることができる許りで
なく、全体映像と死角映像との合成処理を不要にしてモ
ニタ制御装置２１の負担を軽減することができる。

【００２８】また、オペレータの視点座標を設定する視
点設定器２５を設けたため、オペレータの目の位置に応
じて表示画像を調整することが可能になり、その結果、
オペレータの座高差等に拘わらず各オペレータの視点に
適合した画像表示を行うことができる。

【００２９】尚、本発明は、前記実施形態に限定されな
いものであることは勿論であって、例えば前記実施形態
では、右側窓１７全体に側部モニタ１９Ｂを取付けてい
るが、図１０に示す様に、側部モニタ１９Ｂを小型モニ
タとし、右側窓１７の死角部分の一部に取付けてもよ
い。そしてこの場合には、死角映像の後方に死角を作り
出す作動部材（ブーム）が見えるため、死角映像の認識
が容易になり、しかも、モニタの小型化によってコスト
を抑えることができる許りでなく、全体映像と死角映像
との合成処理を不要にしてモニタ制御装置２１の負担を
軽減することができる。

【００３０】また、死角映像を表示するモニタを投影型
（プロジェクター型）とし、死角風景を窓面に投影する
ように構成することができる。そしてこの場合には、視
界を遮る部材と死角映像が重合状に見えるため、視界を
遮る部材が透けるイメージをさらに高めることができ、
しかも、モニタ自身がオペレータの視界を遮る不都合も
解消することができる。

【００３１】また、前記実施形態の側部モニタの如く、
死角映像、全体映像および輪郭線を合成表示する場合に
は、死角映像を誤認する可能性が低いため、モニタを死
角方向を見る際の視線上に配置しない場合であっても、
十分な効果を得ることが可能である。

【００３２】また、前記実施形態では、撮影映像の死角
領域（または死角を作る部材の輪郭）を座標データ等に
基づいて幾何学的に演算しているが、死角映像（死角以
外の映像を含む）と全体映像とを比較し、その差分を抽
出しても略同様の結果を得ることができる。そしてこの
場合には、工場生産ラインにおいて製品の形状や部品の
欠損を検査するために用いられる差分抽出法等の既存の
画像処理技術を利用することが可能であるが、同じシス
テムを用いて過去の映像と現在の映像とを比較すれば、
作業領域内への新たな侵入者等を差分抽出することも可
能になる。

【００３３】また、前記実施形態では、オペレータの直
接視界を改善する装置および方法を示しているが、オペ
レータがミラー装置２６（サイドミラー、ルームミラー
等の死角監視装置）を介して得られる間接視界を改善す
ることも可能である。つまり、図１１に示す様に、ミラ
ー装置２６（サイドミラー）を介したオペレータ視界の
死角部分をカメラ２０Ａで撮影すると共に、該カメラ２
０Ａの撮影画像を、ミラー装置２６の略死角対応位置に
取付けたモニタ２７に表示するようにすれば、オペレー
タがミラー装置２６を見た場合に、視界を遮る部材が恰
も透けているようなイメージで死角部分を見ることがで
きる。

【図面の簡単な説明】

【図１】油圧ショベルの斜視図である。

【図２】同上平面図である。

【図３】キャブの内部斜視図である。

【図４】（Ａ）は後側窓の正面図、（Ｂ）は右側窓の正
面図である。

【図５】モニタ制御装置の入出力を示すブロック図であ
る。

【図６】モニタ制御を示すフローチャートである。

【図７】後部モニタ制御を示すフローチャートである。

【図８】側部モニタ制御を示すフローチャートである。

【図９】死角風景の表示概念を示す説明図である。

【図１０】他例を示す右側窓の正面図である。

【図１１】他例を示すミラー装置の正面図である。

【符号の説明】

１油圧ショベル３下部走行体４上部旋回体５作業部１２キャブ１３運転席１７窓１９モニタ２０カメラ２１モニタ制御装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者宮野博匡千葉県松戸市初富飛地７−１建設省関東地方建設局関東技術事務所内 (72)発明者渡邊和夫東京都港区芝公園三丁目５−８社団法人日本建設機械化協会内 (72)発明者久武経夫東京都世田谷区用賀四丁目10番１号新キャタピラー三菱株式会社内 (72)発明者守屋直行東京都世田谷区用賀四丁目10番１号新キャタピラー三菱株式会社内 (72)発明者小島皓東京都世田谷区用賀四丁目10番１号新キャタピラー三菱株式会社内

Claims

【特許請求の範囲】

【請求項１】窓が形成されたキャブ内に、オペレータ
が着座する運転席を設けてなる作業用走行車であって、
該作業用走行車に、運転席に着座したオペレータから死
角となる車外風景を撮影するカメラと、該カメラが撮影
した死角風景を表示するモニタとを設けるにあたり、該
モニタの表示面を、前記死角方向を見る際のオペレータ
の略視線上に配置した作業用走行車の視界改善装置。
【請求項２】請求項１において、モニタを窓面に取付
けた作業用走行車の視界改善装置。
【請求項３】請求項１において、モニタを非透過型と
し、該モニタを、オペレータ視界に死角が発生する窓面
の一部に取付けた作業用走行車の視界改善装置。
【請求項４】請求項１において、モニタを投影型と
し、死角風景を窓面に投影する作業用走行車の視界改善
装置。
【請求項５】請求項１において、ミラー装置を介した
オペレータ視界の死角部分をカメラで撮影すると共に、
該カメラの撮影画像を、ミラー装置の略死角対応位置に
取付けたモニタに表示する作業用走行車の視界改善装
置。
【請求項６】請求項１において、カメラが撮影した死
角風景を、オペレータから見える仮想死角風景と略同一
のサイズでモニタに表示させる作業用走行車の視界改善
装置。
【請求項７】請求項１において、カメラが撮影した死
角風景に、死角を作り出す部材の輪郭線を合成する輪郭
合成手段を設けた作業用走行車の視界改善装置。
【請求項８】窓が形成されたキャブ内に、オペレータ
が着座する運転席を設けてなる作業用走行車であって、
該作業用走行車に、運転席に着座したオペレータから死
角となる車外風景を撮影する死角撮影用カメラと、オペ
レータ目線の全体的な車外風景を撮影する全体撮影用カ
メラと、両カメラの撮影画像を合成するカメラ画像合成
手段と、合成したカメラ画像に、死角を作り出す部材の
輪郭線を合成する輪郭合成手段と、輪郭線を合成した画
像を表示するモニタとを設けた作業用走行車の視界改善
装置。
【請求項９】請求項７もしくは請求項８において、死
角を作り出す部材が作動部材である場合に、作動部材の
作動位置を検出し、該作動位置に対応した輪郭線をカメ
ラ画像に合成する輪郭合成手段を設けた作業用走行車の
視界改善装置。
【請求項１０】請求項１もしくは請求項８において、
オペレータの目の位置に応じて表示画像を調整する表示
画像調整手段を設けた作業用走行車の視界改善装置。
【請求項１１】窓が形成されたキャブ内に、オペレー
タが着座する運転席を設けてなる作業用走行車におい
て、前記運転席に着座したオペレータから死角となる車
外風景をカメラで撮影し、該撮影した死角風景を、死角
方向を見る際のオペレータの略視線上に配置したモニタ
に表示する作業用走行車の視界改善方法。