JP7009327B2 - ショベル - Google Patents

ショベル Download PDF

Info

Publication number
JP7009327B2
JP7009327B2 JP2018130956A JP2018130956A JP7009327B2 JP 7009327 B2 JP7009327 B2 JP 7009327B2 JP 2018130956 A JP2018130956 A JP 2018130956A JP 2018130956 A JP2018130956 A JP 2018130956A JP 7009327 B2 JP7009327 B2 JP 7009327B2
Authority
JP
Japan
Prior art keywords
image
guideline
upper swivel
swivel body
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018130956A
Other languages
English (en)
Other versions
JP2018184830A (ja
Inventor
岳哉 泉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Priority to JP2018130956A priority Critical patent/JP7009327B2/ja
Publication of JP2018184830A publication Critical patent/JP2018184830A/ja
Application granted granted Critical
Publication of JP7009327B2 publication Critical patent/JP7009327B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ショベルに関する。
従来の油圧ショベル等の建設機械は、一般的な自動車等と比較して大型であり、また特有の形状を有しているため、特に建設機械の周囲に死角ができ易い。そのため、建設機械の周囲において建設機械の誘導や作業状況の管理を行う周囲作業者がいる場合や、木や壁等の障害物等があるような現場においては、より広い視界を確保することが必要となる。
そこで、従来では、建設機械の周囲の視界領域を広げて安全を確保するため、建設機械の運転席から直接視認しにくい建設機械の後方領域にカメラ等を設置し、そのカメラで撮影された後方視野画像を運転席のモニタ上に表示する技術が知られている(例えば、特許文献1参照)。
特開2005-188160号公報
本発明は、ショベルの死角をより確実に撮影できるようにするショベルを提供することを目的とする。
本発明の一実施形態に係るショベルは、下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体の一部が映りこむように前記上部旋回体に搭載される撮像手段と、を備え、前記撮像手段は、前記上部旋回体の上面と後端面との間の後端縁に配置される第1撮像手段と、前記上部旋回体に配置される第2撮像手段と、を有し、前記第1撮像手段は、撮像素子面を地面方向に所定の角度だけ傾けた状態で、水平方向の背景が映るように且つ前記上部旋回体の一部が映りこむように地面方向の下方へ傾斜して前記上部旋回体に支持され、前記上部旋回体の前記後端面から前記上部旋回体の外側へと突出せず、前記第2撮像手段は、撮像素子面を地面方向に所定の角度だけ傾けた状態で、水平方向の背景が映るように且つ前記上部旋回体の一部が映りこむように地面方向の下方へ傾斜して前記上部旋回体に支持され、前記上部旋回体の側端面から前記上部旋回体の外側へと突出せず、前記第1撮像手段が撮像した第1画像と前記第2撮像手段が撮像した第2画像とを合成した、水平方向の背景の画像とショベルの周囲の地面の画像とを含み、且つ、ショベルのイメージ画像とガイドラインとを含む合成画像を表示装置に表示させ、前記ガイドラインは、前記上部旋回体の輪郭端部から予め設定されている固定された距離だけ離れた位置に表示され、且つ、前記イメージ画像の後方、後側方、及び側方の画像部分にわたって連続的に表示され、前記イメージ画像の後側方の画像部分には、前記第1撮像手段の撮像範囲と前記第2撮像手段の撮像範囲とが重複する重複領域に対応する画像が表示される。
なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、例えば、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。
上述の手段によれば、ショベルの死角をより確実に撮影できるショベルを提供できる。
建設機械の概略構成例を示す図である。 建設機械における周囲画像表示装置の第1の実施例を示す図である。 本実施形態における周囲画像表示処理手順の一例を示すフローチャートである。 第1の実施例におけるモニタ画面例を示す図である。 建設機械における周囲画像表示装置の第2の実施例を示す図である。 第2の実施例におけるガイドラインの一例を示す図である。 建設機械における周囲画像表示装置の第3の実施例を示す図である。
<本発明の一実施形態について>
特許文献1に示す手法では、モニタ画面にカメラからの画像に重ね合わせるようにして、距離表示ラインとしての目盛り(ガイドライン)が表示されるように設定している。また、この目盛りは、カメラを設置した建設機械の上部旋回体の旋回中心を中心とする円弧状のラインである。
目盛り等のガイドラインは、建設機械の進行方向や、機械との距離を目安として表示されており、ガイドラインを表示する場合は、白や緑、赤等の単色の線で表示されていた。
しかしながら、建設機械は、様々な作業現場で使用され、例えば産業廃棄物処理場等では周囲に様々な物が散乱している等、作業現場の周囲環境が多岐に亘る。
本発明の一実施形態は、上述した問題点に鑑みなされたものであり、どのような環境下においても、周囲の画像と共に表示されるガイドラインを認識させるショベルを提供することを目的とする。
本発明の一実施形態は、例えば建設機械の周囲画像(単に画像だけでなく、映像も含む)を表示する表示装置において、予め所定の場所に設置されたカメラ(撮像手段)等により、建設機械の所定の周囲の領域の画像を撮影して表示する際、その表示画面に対して、例えば色情報の異なる少なくとも2つの色を用いたガイドラインを生成して表示する。なお、生成されるガイドラインとしては、例えば白と黒のラインが交互に現れるような白黒ラインで表現することができる。
また、従来技術におけるカメラ画像上のガイドラインは、画像の上に重ねて表示するため、ガイドラインに隠れて見ることができない背景部分が存在する。そこで、本発明の一実施形態では、例えば、ガイドラインを形成する少なくとも2つの色情報(例えば、白、黒)のうちの少なくとも1つ(例えば、白色)を、そのガイドラインが表示される元画像の背景部分の輝度を上げて半透明にして白く表示させることができる。また、本発明の一実施形態では、黒色のラインについても同様に、そのガイドラインが表示される元画像の背景部分の輝度を下げて半透明にして黒く表示させることができる。これにより、本発明の一実施形態では、ガイドラインを表示することで、その下の背景画像を隠すことなく、元画像の視認性を向上させることができる。なお、上述したように半透明にする色情報は、1色でもよく複数色でもよい。
以下に、本発明の一実施形態における建設機械を好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、建設機械の一例として油圧ショベルの例を用いて説明するが、本発明においてはこれに限定されるものではなく、例えば油圧クレーン、ホイールローダ、ブルドーザ、フォークリフト等の各種建設機械等であってもよい。
<建設機械の概略構成例>
まず、本実施形態における建設機械の概略構成例について図を用いて説明する。図1は、建設機械の概略構成例を示す図である。なお、本実施形態では、図1(A)に示すように、例えば建設機械10の運転席11から死角となる周囲領域を撮影して画像(単に画像だけでなく、映像も含む)を取得するカメラ(撮像手段)12が少なくとも1つ設けられている。具体的には、図1(B)に示すように、建設機械10の後方(リア)と両側方(サイド)にカメラ12-1~12-3(以下、必要に応じて「カメラ12」と総称する)が設けられているが、本発明においてはこれに限定されるものではない。例えば、カメラ12は、後方に1台だけであってもよい。また、本実施形態では、カメラ12を建設機械10に設けずに、建設機械10の死角を撮影できる外部の場所に設置されていてもよい。
ここで、各カメラ12-1~12-3は、例えば非同期のNTSC(National Television System Committee)カラーカメラ等を用いることができるが、本発明においてはこれに限定されるものではない。また、カメラ12は、撮影方向によって明るさが異なる環境になっても、ある程度の明るさの均一性を有するために、個別のオートゲインコントロールを有していてもよい。また、カメラ12は、例えば薄暮や夜間等でも視界を確保するため、高感度のCCD(Charge Coupled Device)センサを有していてもよい。
本実施形態では、各カメラ12-1~12-3から得られる画像を、それぞれのカメラ12の設置位置と画角等の関係から図1(B)に示すように建設機械10の接地面に投影して合成する。そのため、各カメラ12-1~12-3は、例えば図1(A)に示すように、CCD面を地面方向に所定の角度θだけ傾けて設置される。これにより、建設機械10の接地面が、表示対象平面になる(図1(A))。
また、本実施形態では、画像合成時に、図1(B)に示すように、カメラ12-1から得られる画像とカメラ12-2から得られる画像の重複領域、及び、カメラ12-1から得られる画像とカメラ12-3から得られる画像の重複領域が存在する。このような重複領域については、既知の手法を用いて重複領域に位置する物体(例えば、障害物等)が合成画像上から消失しないようにする画像境界処理を行う。
これにより、本実施形態では、建設機械10の周囲状況を、画像を切り替えることなく、建設機械10と上述した周囲作業者や障害物との位置関係を把握し易い映像で運転席11内の周囲画像表示装置に表示させることができる。
なお、カメラ12の設置方法としては、例えば建設機械10にカメラ12を設置する場合、カメラ12本体が建設機械10から突出することがないこと、作業中の振動や衝撃等で姿勢が変化しにくいこと、油圧ショベル等の機能性や外観を著しく損なわないこと等が条件となる。なお、本実施形態では、カメラ映像上での障害物等の見え方を均等にするため、可能な限り左右対象の配置とし、撮影方向の偏りなく設置する。
ここで、カメラ12の設置時におけるカメラ姿勢の一例について説明する。まず、カメラ12の仰角(上下首振り)は、カメラ12直下の路面から、カメラ12の高さ程度の大型障害物までを共に視野範囲内とするため、全てのカメラ12-1~12-3で鉛直下方より約55度程度に設定した。なお、実際には、視野下端に建設機械10の一部が映りこむため、路面上で建設機械10の近傍の約30~40cm程度までは視野範囲外となる。
また、カメラ12の方位角(左右首振り)は、撮影方向の対称性を重視し、全てのカメラ12-1~12-3を建設機械10本体端面と直交させ、約90度間隔での設置とした。なお、本発明においては、これに限定されるものではなく、例えば大型の建設機械10で左右前方に死角が生じる場合には、側方カメラ12-2,12-3をやや前方に向けて設置することができる。
また、カメラ12の回転角(光軸周りの回転)は、全てのカメラ12-1~12-3で常に0度とした。本実施形態では、周囲画像表示装置において、上述したようにカメラ12から所定の時間間隔で得られる画像又は連続して得られる画像又は映像に対して、ガイドラインを合成して、例えばモニタ等の表示手段に表示する。
なお、本実施形態では、運転席11の上部に、建設機械の周囲の照度を測定する照度センサ(照度検出手段)13を設けていてもよい。本実施形態では、照度センサ13を用いることで、カメラ12により撮影された画像に合成するガイドラインの内容を調整することができる。また、上述した建設機械10に対するカメラ12や照度センサ13の設置位置や数等については、本発明においてはこれに限定されるものではない。
<周囲画像表示装置:機能構成例>
次に、上述した建設機械10の周囲画像表示装置について、図を用いて具体的に説明する。
<第1の実施例>
図2は、建設機械における周囲画像表示装置の第1の実施例を示す図である。図2に示す表示装置20は、画像合成手段21と、ガイドライン設定手段22と、ガイドライン生成手段23と、表示手段24とを有するよう構成されている。
画像合成手段21は、上述した図1に示すカメラ12-1~12-3から得られる画像を合成する。なお、本実施形態においては、これに限定されるものではなく、例えば各カメラ12-1~12-3から得られたそれぞれの画像を合成せずに後段の処理に出力してもよく、また全ての画像を合成せず、選択された2以上の画像のみを合成するようにしてもよい。画像合成手段21は、合成された画像をガイドライン生成手段23に出力する。
なお、画像合成手段21は、各カメラ12-1~12-3から得られたそれぞれの画像の平均輝度を求め、求めたそれぞれの平均輝度の差に基づいて、合成後の各画像の明るさ(輝度)にばらつきがでないように調整することができる。これにより、本実施形態では、操作者がより見やすい合成画像を生成することができる。
ガイドライン設定手段22は、画像合成手段21により得られる画像に対して表示させるガイドラインの設定を行う。なお、ガイドラインは、例えば建設機械10からの距離の基準となるラインや、安全区域と危険区域との境目となるライン等を意味するが、本発明においてはこれに限定されるものでない。
したがって、ガイドライン設定手段22は、上述したガイドラインをどのような位置に表示させるかを設定する。具体的には、例えば建設機械10の輪郭端部からの距離(例えば、5m等)、又は、建設機械10或いは運転席11の中心から、建設機械の輪郭形状に相似させて拡大させたときの拡大率(例えば、200%)等を設定することができる。
更に、ガイドライン設定手段22は、機種毎にガイドラインを表示させる距離が予め設定されている場合には、その周囲画像表示装置20が設置された建設機械の機種情報を設定する。これにより、本実施形態では、例えば機種Aを設定すれば建設機械10の輪郭端部から約1.5mが設定され、機種Bを設定すれば建設機械10の輪郭端部から約3.0mが設定される。なお、ガイドラインをどのような位置に表示させるかの設定手法については、上述した内容に限定されるものではない。
また、ガイドライン設定手段22は、例えばガイドラインに含まれる色として、例えば色情報の異なる少なくとも2つの色を設定する。なお、色情報としては、例えば輝度(コントラスト、画面の明るさ)、色相(色合い)、彩度(鮮やかさの度合い)、明度(明るさ)等があるが、本発明においてはこれに限定されるものではない。
また、ガイドライン設定手段22は、例えば白と黒を含む色情報を設定し、その少なくとも2色を交互に配置した白黒ラインで表示したり、又は、少なくとも2色を隣接させたガイドラインを表示したり、少なくとも2色のラインを交互に複数隣接させてストライプ状(縞模様)に表示させるように設定する。これにより、本実施形態では、例えばカメラ画像が白っぽい(明るい)場合には、黒ラインでガイドラインを確認することができ、またカメラ画像が黒っぽい(暗い)場合には、白ラインでガイドラインを確認することができる。
したがって、本実施形態によれば、建設機械10がどのような状況下においても、操作者が表示手段24の画面に表示されるガイドラインを容易に視認することができる。更に、本実施形態では、背景との色の差ではなく、白と黒とのコントラストの差で表現しているため、例えば操作者が色弱な場合であっても、ガイドラインの識別が可能となる。
なお、本実施形態では、上述した白と黒に限定されるものではなく、他の2色であってもよい。また、上述した色情報を設定する場合には、表示手段24の画面に設定可能な全ての色情報等を表示し、操作者(運転者、作業員、オペレータ等も含む)に選択させることで、設定を行わせてもよい。
更に、ガイドライン設定手段22は、ガイドラインの幅、模様、太さ(厚さ)、交互に配置される異なる色毎の長さ等を詳細設定情報として設定することができる。なお、これらの詳細設定情報は、操作者が任意に設定してもよく、また表示手段24から画面サイズや解像度等の画面情報を取得し、取得した画面情報に対応させた値に自動で設定させてもよい。これにより、本実施形態では、例えばガイドラインが画面上で小さすぎたり、大きすぎたりすることなく適切に表示させることができる。
ガイドライン設定手段22により設定された各種内容は、ガイドライン設定手段22内に設けられたメモリ(記憶手段)等に記憶される。ここで、ガイドライン設定手段22で設定される内容は、建設機械10による実際の操作前や後に行われていてもよく、建設機械10の操作中に設定することもできる。
ガイドライン生成手段23は、ガイドライン設定手段22により設定された内容に基づいて、ガイドラインを生成する。具体的には、ガイドライン生成手段23は、例えば建設機械10からの距離や安全区域と危険区域との境界等を示すガイドラインを生成する。また、ガイドライン生成手段23は、生成されたガイドラインを画像合成手段21により得られる画像上に合成し、ガイドラインが合成された画像を表示手段24に出力する。
更に、ガイドライン生成手段23は、ガイドライン設定手段22により得られる設定情報に基づいて、ガイドラインの幅、及び/又は、交互に配置される色情報の異なる色毎の長さを調整することができる。
表示手段24は、ガイドライン生成手段23により生成された画像を表示する。また、表示手段24は、ガイドライン設定手段22により画面サイズや画面の解像度等の画面情報の取得要求があった場合に、対応する情報をガイドライン設定手段22に出力する。なお、表示手段24としては、例えば液晶カラーモニタ等を用いることができるが、本発明においてはこれに限定されるものではない。
<周囲画像表示処理手順>
ここで、本実施形態における周囲画像表示処理手順について、フローチャートを用いて説明する。図3は、本実施形態における周囲画像表示処理手順の一例を示すフローチャートである。なお、図3の例では、予めガイドライン設定手段22により各種情報が設定されているものとする。
図3に示す周囲画像表示処理は、建設機械10に設けられたカメラ12から建設機械10の周囲の画像を取得し(S01)、次に、その取得した画像を合成するか否かを判断する(S02)。
つまり、本実施形態では、例えばカメラ12が1台の場合には、画像を合成する必要がなく、また2台以上であっても予め設定された条件に基づき、得られた画像を合成せずにそれぞれ画面に表示させることもできる。なお、合成が必要であるかどうかは、例えば建設機械10の操作者等により予め設定されていてもよく、予め固定値(合成する/合成しない)が設定されていてもよく、取得した画像の内容に応じて適宜設定されてもよい。
ここで、周囲画像表示処理は、S02の処理において、合成が必要である場合(S02において、YES)、得られた複数の画像を合成する(S03)。また、周囲画像表示処理は、複数の画像の合成が必要ない場合(S02において、NO)、又はS03の処理が終了後、予め設定されたガイドライン設定情報に基づいてガイドラインを生成し(S04)、生成したガイドラインにより、S03の処理により得られる合成画像又はS01の処理で取得したままの画像に合成する(S05)。
また、周囲画像表示処理は、合成した画像をモニタ等の表示手段24に表示する(S06)。なお、上述した周囲画像表示処理は、操作者からの終了指示や、周囲画像表示装置20又は建設機械10の電源がOFFになるまで繰り返し行われる。
<モニタ画面例>
ここで、上述した表示手段24で表示されるモニタ画面例について、図を用いて説明する。図4は、第1の実施例におけるモニタ画面例を示す図である。図4(A),(B)に示すモニタ画面30には、周囲画像表示装置20が設置されている建設機械10の種類に対応させて、予め設定された建設機械10のイメージ画像に対して、その周囲にカメラ12-1~12-3の合成画像31が表示されており、更に合成画像31上には、ガイドライン32(図4(A)におけるガイドライン32-1、図4(B)におけるガイドライン32-2)が表示されている。
本実施形態におけるガイドライン32は、建設機械10の輪郭の位置(端部)から所定の距離だけ離れた位置に設けられている。したがって、本実施形態では、各建設機械10の種類や大きさ毎にそれぞれ対応する輪郭形状が設定される
モニタ画面30について具体的に説明すると、図4(A)に示すガイドライン32-1は、一例として白と黒の2色が所定の間隔で交互に配置されたラインである。なお、交互に配置される各色の間隔等については、特に限定されるものではないが、少なくとも交互に配置されている白又は黒のそれぞれの領域が画面上で視認できる程度の間隔以上であることが好ましい。
また、本実施形態では、ガイドライン32-1全体における白と黒の比率も略同一となるように生成するのが好ましい。これにより、建設機械10の操作者は、1つのガイドライン32-1で、背景が明るい場合には、黒の点線としてガイドラインを視認することができ、背景が暗い場合には、白の点線としてガイドラインを視認することができる。なお、交互に配列される色については、白と黒に限定されるものではなく、白又は黒から選択される1色と他の異なる1色でもよく、白黒以外の異なる2色であってもよく、全色から選択される異なる3色以上であってもよい。
また、本実施形態では、例えば図4(B)に示すように、2色のラインを並列に隣接させて1つのガイドライン32-2を生成してもよい。これにより、図4(A)に示すような点線表示等にはならずに、背景色が変わっても何れかのライン(実線)を画面上から容易に視認することができる。なお、図4(B)の例では、白ラインの外側に黒ラインを隣接させたラインを生成しているが、本発明においてはこれに限定されるものではなく、例えば黒ラインの外側に白ラインを隣接させたガイドラインを生成してもよく、また白ラインと黒ラインとを複数用いてストライプ状(縞模様)のガイドラインを生成してもよい。
上述したように、本実施形態では、例えば、2つの色情報を所定の幅で交互に複数配置したガイドライン、又は、2つの色情報のそれぞれを用いて生成された少なくとも2本のラインを並列に隣接させたガイドライン等を生成し、周囲画像に合成する。これにより、例えば黒っぽい(暗い)背景では、白ラインを認識することができ、白っぽい(明るい)背景では、黒ラインを認識することができる。
<第2の実施例>
上述した第1の実施例に基づくガイドライン32は、画像の上に重ねて表示するため、ガイドラインに隠れて見ることができない背景の部分が存在する。そこで、本発明の一実施形態では、ガイドラインを形成する少なくとも2つの色情報のうちの1つ(例えば、白色)を、その元画像である背景色の輝度を上げて半透明にして白く表示させるようにする。これにより、ガイドラインの下の背景画像を隠すことがなく、元画像の視認性を向上させることができる。
また、本発明の一実施形態では、上述とは逆に、黒色のガイドライン部分を元画像情報の輝度を下げて半透明にして黒く表示することで、ガイドラインの下の背景画像を隠すことがなく、元画像の視認性を向上させることができる。なお、半透明にする対象の色情報は、1色でもよく複数色でもよい。
上述した内容を第2の実施例として以下に説明する。図5は、建設機械における周囲画像表示装置の第2の実施例を示す図である。なお、上述した第2の実施例では、上述した第1の実施例と同様の機能を有するブロック構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。
図5に示す表示装置40は、画像合成手段21と、画像解析手段41と、ガイドライン設定手段22と、ガイドライン生成手段42と、表示手段24とを有するよう構成されている。
第2の実施例において、画像解析手段41は、画像合成手段21により得られる合成画像の画素毎の色情報を取得する。なお、図5の例では、色情報の一例として輝度情報を用いるが、本発明においてはこれに限定されるものではない。例えば、カメラ12-1~12-3により撮影された画像中に対し、ガイドラインを合成する位置の画像の色情報としては、例えば色相、彩度、明度、輝度等がある。そのため、ガイドライン生成手段42は、上述した色相、彩度、明度、輝度のうち少なくとも1つの色情報を調整して、2つの色情報を有するガイドラインを生成することができる。
ガイドライン設定手段22では、上述した設定の他に、ガイドラインを合成する部分の背景画素の解像度をどの程度上げるのか(上限値)又は下げるのか(下限値)を設定する。
具体的には、ガイドライン設定手段22は、例えば画素の輝度の上下させる幅を設定する。例えば、本実施形態では、背景画素の輝度に対して50上げた色と100下げた色とを用いて、それらを交互に配置したガイドラインが生成されるように、上限値及び下限値を設定する。上述したように設定された情報は、ガイドライン生成手段42に出力される。
ガイドライン生成手段42は、ガイドライン設定手段22により得られる設定情報に基づいて、画像解析手段41により解析された各画素の色情報から、ガイドラインを表示する位置(座標)に対応する画素の輝度を取得し、取得した画像に対して設定情報で設定された上限値と下限値とにより輝度の上下の調整を行い、それぞれで得られた2つの色を所定の間隔で交互に配置してガイドラインを生成する。これにより、背景が半透明のガイドラインを生成することができる。
また、ガイドライン生成手段42は、生成された画像を表示手段24に出力し、表示手段24からガイドライン付きの画像を表示する。
なお、上述した上限値及び下限値については、例えばカメラ12から取得される画像の平均輝度を求め、求めた平均輝度に合わせて上限値及び下限値を設定してもよい。第2の実施例では、元画像の各画素の平均輝度を求めることにより、建設機械10の周囲の明るさを把握することができ、それに応じて適切なガイドラインを生成して表示することができる。
例えば、平均輝度が80の場合には、建設機械10の周囲が全体的に暗いため、上限値を+100(つまり、輝度180)とし、下限値を-30(つまり、輝度50)としたラインを用いることができる。なお、これらの輝度の上限値、下限値は、輝度0が純黒、輝度255が純白を基準として設定される。また、本実施形態では、上限値と下限値を均一の値(例えば、±50)としてもよい。
更に、ガイドライン生成手段42は、ガイドライン設定手段22により得られる設定情報に基づいて、例えば周囲の画像の平均輝度に応じてガイドラインの幅、及び/又は、交互に配置される色情報の異なる色毎の長さを調整することができる。
ここで、図6は、第2の実施例におけるガイドラインの一例を示す図である。図6の例では、上述した図4に示す画面例のうち、ガイドライン付近を拡大して表示させたものである。なお、図6の例では、少なくとも2つの色が交互に配置されたガイドライン51の例を示しているが、本発明においてはこれに限定されるものではない。
図6に示す例では、ガイドラインの領域53-1では、元画像から輝度を予め設定された上限値に対応させて上げた領域が表示され、領域53-2では、元画像から輝度を予め設定された下限値に対応させて下げた領域が表示される。このように、図6に示すガイドライン51では、半透明に表示されているため、背景に木等の障害物52や周囲作業者等がいる場合にも、ガイドラインで隠れることなく、容易に把握することができる。なお、本実施形態では、図6に示すように複数の色情報が交互に配置されたガイドラインに限定されるものではなく、例えば上述したように複数の色情報からなるラインを隣接させた縞模様のガイドラインを生成したものであってもよい。
<第3の実施例>
第3の実施例では、例えば建設機械10に上述した照度センサ(照度検出手段)13が設けられている場合に、その照度センサ13を用いることで、建設機械10の周囲の明るさ(照度)を検出し、検出された照度に対応させてガイドラインの内容を調整する。
図7は、建設機械における周囲画像表示装置の第3の実施例を示す図である。なお、上述した第3の実施例では、上述した第1の実施例と同様の機能を有するブロック構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。
図7に示す表示装置60は、画像合成手段21と、ガイドライン設定手段22と、ガイドライン生成手段61と、表示手段24とを有するよう構成されている。
第3の実施例において、照度センサ13は、白熱電球や蛍光灯・太陽光といった各種発光源の明るさを検出する。なお、本実施形態で用いられる照度センサ13は、例えば光源の種類が変わっても、明るさに対するセンサの出力値がほぼ同等に再現され、照度の大小に応じてセンサ出力の線形性が優れており、更に受光感度が高く、低い照度でも検出することができる。
照度センサ13は、得られた照度(明るさ)をガイドライン生成手段61に出力する。また、ガイドライン設定手段22では、上述した第1の実施例における設定の他に、例えばガイドラインを合成する部分の背景画素の解像度をどの程度上げるのか(上限値)又は下げるのか(下限値)を、照度センサ13から得られる照度に基づいて設定する。
具体的には、ガイドライン設定手段22は、照度センサ13の照度に基づいて画素の輝度の上下させる幅を設定する。例えば、照度が所定値より少ない場合には、建設機械10の周囲が全体的に暗いため、背景の画像の輝度(例えば、輝度80)に対して、上限値を+100(つまり、輝度180)とし、下限値を-30(つまり、輝度50)としたラインを用いることができる。また、本実施形態では、上限値と下限値を均一の値(例えば、±50)としてもよい。
なお、第3の実施例では、照度センサ13からの照度に応じて、上述したガイドラインの上限値及び下限値を設定するだけでなく、画面全体の明るさを変更してもよい。また、第3の実施例では、建設機械10の周囲の照度だけでなく、運転席11内の照度を運転席内に設けた照度センサで検出し、その検出した運転席11内の照度に対応させてガイドラインの輝度の上限値や下限値、又は画面全体の明るさ等を調整することもできる。なお、上述した調整は、ガイドライン生成手段61の処理に含めることができ、また画像合成手段21内に含めてもよい。上述の処理を画像合成手段21に含める場合には、照度センサ13により得られる照度を画像合成手段21に出力する。
更に、ガイドライン生成手段61は、ガイドライン設定手段22により得られる設定情報に基づいて、例えば周囲の照度に応じてガイドラインの幅、及び/又は、交互に配置される色情報の異なる色毎の長さを調整することができる。
第3の実施例は、上述した処理を行うことにより、上述した図6に示すような半透明のガイドラインを生成することができる。つまり、第3の実施例においても、ガイドライン51は、背景に木等の障害物52や周囲作業者等がいる場合にも、ガイドラインで隠れることなく、容易に把握することができる。
なお、本実施形態では、上述した第1~第3の各実施例を適宜組み合わせることもできる。また、本実施形態において、表示手段24の画面に表示されるガイドラインは、1本に限定されず、例えば建設機械10からの所定距離間隔で複数のガイドラインを画面に表示させてもよく、更に障害物との距離、作業現場の状況(地面の状況、天候、日中、夜間等)、操作者の操作レベル等に応じて複数のガイドラインを画面に表示させてもよい。
上述したように本発明の一実施形態によれば、建設機械がどのような環境下においても、周囲の画像と共に表示されるガイドラインを容易に認識させることができる。また、本発明の一実施形態では、例えば白と黒に近似する色を用いることにより、例えばカメラ画像が白っぽい(明るい)場合には、黒ラインでガイドラインを確認することができ、またカメラ画像が黒っぽい(暗い)場合には、白ラインでガイドラインを確認することができる。
したがって、本発明の一実施形態によれば、建設機械がどのような状況下においてもガイドラインを画面で確認することができる。更に、本発明の一実施形態によれば、例えばモニタを確認する人(操作者等)が色弱である場合でも、背景との色の差ではなく、白と黒のコントラストの差で表現しているため、容易に識別することができる。
更に、本発明の一実施形態では、ガイドラインに含まれる少なくとも2つの色情報のうちの少なくとも1つを、その元画像である背景色の輝度を上げて半透明にして表示させるようにする。これにより、ガイドラインの下の背景画像を隠すことなく、元画像の視認性を向上させることができる。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
10 建設機械
11 運転席
12 カメラ(撮像手段)
13 照度センサ(照度検出手段)
20,40,60 表示装置
21 画像合成手段
22 ガイドライン設定手段
23,42,61 ガイドライン生成手段
24 表示手段
30 モニタ画面
31 合成画像
32,51 ガイドライン
41 画像解析手段
52 障害物

Claims (2)

  1. 下部走行体と、
    前記下部走行体に搭載される上部旋回体と、
    前記上部旋回体の一部が映りこむように前記上部旋回体に搭載される撮像手段と、を備え、
    前記撮像手段は、前記上部旋回体の上面と後端面との間の後端縁に配置される第1撮像手段と、前記上部旋回体に配置される第2撮像手段と、を有し、
    前記第1撮像手段は、撮像素子面を地面方向に所定の角度だけ傾けた状態で、水平方向の背景が映るように且つ前記上部旋回体の一部が映りこむように地面方向の下方へ傾斜して前記上部旋回体に支持され、前記上部旋回体の前記後端面から前記上部旋回体の外側へと突出せず、
    前記第2撮像手段は、撮像素子面を地面方向に所定の角度だけ傾けた状態で、水平方向の背景が映るように且つ前記上部旋回体の一部が映りこむように地面方向の下方へ傾斜して前記上部旋回体に支持され、前記上部旋回体の側端面から前記上部旋回体の外側へと突出せず、
    前記第1撮像手段が撮像した第1画像と前記第2撮像手段が撮像した第2画像とを合成した、水平方向の背景の画像とショベルの周囲の地面の画像とを含み、且つ、ショベルのイメージ画像とガイドラインとを含む合成画像を表示装置に表示させ、
    前記ガイドラインは、前記上部旋回体の輪郭端部から予め設定されている固定された距離だけ離れた位置に表示され、且つ、前記イメージ画像の後方、後側方、及び側方の画像部分にわたって連続的に表示され、
    前記イメージ画像の後側方の画像部分には、前記第1撮像手段の撮像範囲と前記第2撮像手段の撮像範囲とが重複する重複領域に対応する画像が表示される、
    ショベル。
  2. 平面視で、前記第2撮像手段は、その光軸が、前記上部旋回体の前記側端面に直交する方向か、該直交する方向と比べて前方側に傾いた方向を向くように配置されている、
    請求項1のショベル。
JP2018130956A 2018-07-10 2018-07-10 ショベル Active JP7009327B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018130956A JP7009327B2 (ja) 2018-07-10 2018-07-10 ショベル

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018130956A JP7009327B2 (ja) 2018-07-10 2018-07-10 ショベル

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015235134A Division JP6746303B2 (ja) 2015-12-01 2015-12-01 ショベル

Publications (2)

Publication Number Publication Date
JP2018184830A JP2018184830A (ja) 2018-11-22
JP7009327B2 true JP7009327B2 (ja) 2022-01-25

Family

ID=64355462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018130956A Active JP7009327B2 (ja) 2018-07-10 2018-07-10 ショベル

Country Status (1)

Country Link
JP (1) JP7009327B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005188160A (ja) 2003-12-26 2005-07-14 Hitachi Constr Mach Co Ltd 旋回式作業車両の後方視野表示装置
JP2007278025A (ja) 2006-04-11 2007-10-25 Komatsu Ltd 建設機械の監視装置
JP2008179940A (ja) 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2009113561A (ja) 2007-11-02 2009-05-28 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用モニター装置
JP2010204957A (ja) 2009-03-03 2010-09-16 Kobelco Contstruction Machinery Ltd 作業機械及び後方カメラの映像処理方法
EP2233647A1 (en) 2007-12-10 2010-09-29 Hitachi Construction Machinery Co., Ltd Construction machine
WO2011129276A1 (ja) 2010-04-12 2011-10-20 住友重機械工業株式会社 画像生成装置及び操作支援システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4776491B2 (ja) * 2006-10-06 2011-09-21 日立建機株式会社 作業機械の周囲監視装置
JP5128566B2 (ja) * 2009-09-28 2013-01-23 住友重機械工業株式会社 周囲画像提示装置及び操作支援システム
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005188160A (ja) 2003-12-26 2005-07-14 Hitachi Constr Mach Co Ltd 旋回式作業車両の後方視野表示装置
JP2008179940A (ja) 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2007278025A (ja) 2006-04-11 2007-10-25 Komatsu Ltd 建設機械の監視装置
JP2009113561A (ja) 2007-11-02 2009-05-28 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用モニター装置
EP2233647A1 (en) 2007-12-10 2010-09-29 Hitachi Construction Machinery Co., Ltd Construction machine
JP2010204957A (ja) 2009-03-03 2010-09-16 Kobelco Contstruction Machinery Ltd 作業機械及び後方カメラの映像処理方法
WO2011129276A1 (ja) 2010-04-12 2011-10-20 住友重機械工業株式会社 画像生成装置及び操作支援システム

Also Published As

Publication number Publication date
JP2018184830A (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
JP5888956B2 (ja) ショベル及び該ショベルの周囲画像表示方法
US9836938B2 (en) Shovel having audio output device installed in cab
US9715015B2 (en) Periphery-monitoring device for working machines
US9432634B2 (en) Image generation device and operation support system
JP6541734B2 (ja) ショベル
JP6324665B2 (ja) 作業機械用周辺監視装置
JP6740259B2 (ja) 作業機械
JP6378801B2 (ja) ショベル
JP6746303B2 (ja) ショベル
JP5805574B2 (ja) 作業機械用周辺監視装置
JP7009327B2 (ja) ショベル
JP6257918B2 (ja) ショベル
JP2023078305A (ja) ショベル
JP6257919B2 (ja) ショベル
JP7178334B2 (ja) ショベル及びショベルの表示装置
JP7237882B2 (ja) ショベル
JP7130547B2 (ja) ショベル及びショベル用周辺監視装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20180726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200826

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200902

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200908

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201002

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20201006

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210302

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210511

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210824

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211012

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20211014

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211015

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211124

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220111

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220112

R150 Certificate of patent or registration of utility model

Ref document number: 7009327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150