JP6881781B2 - クレーンの運転支援システム及び運転支援方法。 - Google Patents

クレーンの運転支援システム及び運転支援方法。 Download PDF

Info

Publication number
JP6881781B2
JP6881781B2 JP2019015696A JP2019015696A JP6881781B2 JP 6881781 B2 JP6881781 B2 JP 6881781B2 JP 2019015696 A JP2019015696 A JP 2019015696A JP 2019015696 A JP2019015696 A JP 2019015696A JP 6881781 B2 JP6881781 B2 JP 6881781B2
Authority
JP
Japan
Prior art keywords
image
crane
traveling
imaging range
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019015696A
Other languages
English (en)
Other versions
JP2020121871A (ja
Inventor
高志 伊東
高志 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsui E&S Machinery Co Ltd
Original Assignee
Mitsui E&S Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsui E&S Machinery Co Ltd filed Critical Mitsui E&S Machinery Co Ltd
Priority to JP2019015696A priority Critical patent/JP6881781B2/ja
Publication of JP2020121871A publication Critical patent/JP2020121871A/ja
Application granted granted Critical
Publication of JP6881781B2 publication Critical patent/JP6881781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明はクレーンの運転支援システム及び運転支援方法に関する。
クレーンは、その運転手の死角となる位置や運転手から遠方にある位置のように、運転手が目視し難い位置の映像を撮像する撮像装置を備える場合があり、さらに撮像した映像を表示する表示部を運転室に備える場合がある。
また、遠隔操作を行うクレーンは、クレーンから離れた場所に運転席を設ける場合が多く、運転席から荷役対象を目視し難いため、表示部を運転室に設ける必要がある。
特許文献1には、門型クレーンの遠隔操作パネルとして、該クレーンに設けられた監視カメラの映像を表示するカメラ映像部と、該クレーンの作業状況を表示するクレーン状態アニメーション表示部を備えたタッチパネルが記載されている。
クレーンに設けた撮像装置はズーム機能を備えるのが一般的である。例えば特許文献2には、カメラ画像を拡大して表示する機能を備えた表示部が記載されている。
特開2012−041132号公報 特開2018−34945号公報
特許文献1、2でクレーンを移動させると撮像装置は移動し、撮像範囲が変わる。撮像装置をコンテナクレーンのトロリのような可動部に設けると、可動部の移動でも撮像範囲が変わる。また、撮像装置の倍率を変更すると画角が変化し、撮像範囲が拡大又は縮小する。
しかしながら特許文献1、2では、撮像装置の撮像範囲が変化した場合、変化後の撮像範囲を正確に運転手が把握することはできない。そのため、現在の撮像装置の撮像範囲が正確に分かりにくいという問題があった。
本発明は上記課題に鑑みてなされたもので、撮像装置の撮像範囲を正確に運転手が把握できるクレーンの運転支援システムの提供を目的とする。
上記の課題を解決するため、本発明のクレーンの運転支援システムは、周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援システムであって、前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得する位置取得部と、前記撮像装置に接続され、前記撮像装置が撮像した映像を取得して表示する映像表示部と、前記撮像装置、前記位置取得部、及び前記映像表示部に接続され、前記位置情報を前記位置取得部から逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、前記撮像範囲画像に前記クレーンの外形を示すクレーン画像を重ねて処理画像を生成する制御部と、前記制御部に接続され、前記処理画像を表示する撮像範囲表示部と、前記クレーンを走行させる走行装置と、を備え、前記制御部は、前記クレーンが走行中であるか否かを前記走行装置の駆動の有無から判断し、前記クレーンの走行時は、前記処理画像として前記クレーンの走行方向に直交する方向から見た画像を生成し、走行中でない場合、前記処理画像として、前記クレーンの走行方向から見た図を生成することを特徴とする。
本発明のクレーンの運転支援方法は、周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援方法であって、前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得し、前記撮像装置が撮像した映像を取得して映像表示部に表示し、前記位置情報を逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、前記撮像範囲画像に前記クレーンを示すクレーン画像を重ねて処理画像を生成して撮像範囲表示部に表示させ、前記処理画像を生成する際に、前記クレーンが走行中であるか否かを前記クレーンの走行装置の駆動の有無から判断し、前記クレーンが走行中であると判断した場合は、前記処理画像として前記クレーンの走行方向に直交する方向から見た画像を生成し、走行中でないと判断した場合は、前記処理画像として、前記クレーンの走行方向から見た図を生成することを特徴とする。
本発明では、現在の撮像装置の位置と画角を示す情報から、クレーンにおける現在の撮像装置の撮像範囲を示す画像が逐次生成され、クレーン画像と共に撮像範囲表示部に表示される。
そのため、撮像範囲表示部を見れば、撮像装置の撮像範囲を運転手が正確に把握できる。
本発明によれば、撮像装置の撮像範囲を正確に運転手が把握できるクレーンの運転支援システムを提供できる。
本実施形態に係るクレーンの運転支援システムの適用対象であるクレーンをクレーンの走行方向から見た図である。 本実施形態に係るクレーンの運転支援システムを示す機能ブロック図である。 図2の映像表示部に表示される映像の例を示す図であって、トロリに設置された撮像装置が撮像した映像を示す。 図2の撮像範囲表示部に表示される処理画像の例を示す図である。 図2の撮像範囲表示部に表示される処理画像の例を示す図であって、図4のz方向から見た図である。 本実施形態に係るクレーンの運転支援システムを用いた運転支援方法の例を示すフロー図である。
以下、図面に基づき本発明に好適な実施形態を詳細に説明する。
まず、図1を参照して本実施形態に係るクレーンの運転支援システムが適用されるクレーンの構成の概要を説明する。ここでは、クレーン1として、岸壁10に設置され、一対のレール5に沿って走行可能で、岸壁10に接岸したコンテナ船48との間で荷役対象としてのコンテナ49の荷役を行う岸壁クレーンが例示されている。
図1に示すようにクレーン1は、一対の脚構造体3、脚構造体3の下端に設けられ、一対のレール5上をy方向(走行方向)に走行する走行装置7、脚構造体3の上部に支持され、走行方向に直交するx方向(横行方向)に延在する桁9を備える。クレーン1は、桁9に支持されて横行方向に走行するトロリ11、トロリ11に支持されて上下方向(z方向)に移動してコンテナ49を吊り上げる吊り具であるスプレッダ13も備える。クレーン1は、走行装置7、トロリ11、及びクレーン1の周囲を逐次撮像する撮像装置17、19、21、23、トロリ11を駆動するワイヤを巻き取るドラム等を備えた機械室34も備える。
撮像装置17はトロリ11に設置されて、スプレッダ13及びスプレッダ13の着床目標である着床目標面を撮像する。撮像装置17はトロリ11の移動に伴って移動するため、撮像装置17のクレーン1における位置は、トロリ11の移動で変化する。撮像装置19、21は、クレーン1を走行させる際に走行方向を撮像する装置であり、撮像方向がクレーン1の走行方向を向くようにポータルタイ25に固定される。撮像装置23は、脚構造体3の間に進入する車両等を撮像する装置であり、撮像方向が地面側を向くようにポータルタイ25に固定される。図1に示すように、クレーン1は遠隔操作方式のクレーンであり、走行装置7、トロリ11、スプレッダ13等を操作する運転室15は、クレーン1と別の場所に設けられる。以上がクレーン1の概略構成の説明である。
次に、図1〜図5を参照して、本実施形態に係るクレーン1の運転支援システム27の構成を説明する。
図2に示すように、クレーン1の運転支援システム27は、位置取得部29、映像表示部31、制御部33、及び撮像範囲表示部35を備える。
位置取得部29は、撮像装置17、19、21、23のうち、映像を撮像中の装置の、クレーン1における現在位置を位置情報として逐次取得する。撮像装置17はトロリ11と一体となって移動するため、機械室34の図示しないドラムに設けたエンコーダ等でトロリ11の位置を検出することで、撮像装置17の位置を取得できる。この場合はこのエンコーダが位置取得部29になる。
撮像装置19、21、23は一対の脚構造体3を連結する梁であるポータルタイ25に固定されており、クレーン1に対して相対移動しないので、必ずしも位置取得部29として位置センサ等を設ける必要はない。例えばこれらの撮像装置の位置を予め図示しない記憶部等に記憶し、必要に応じて制御部33が記憶部から位置を取得してもよい。この場合、制御部33が位置取得部29を兼ねる。
位置取得部29を設ける位置や取得方式はこれらに限定しない。また、位置取得部29は、撮像装置17、19、21、23毎に設けてもよいし、1つの位置取得部29で撮像装置17、19、21、23のうちの複数の位置を検出してもよい。
映像表示部31は、撮像装置17、19、21、23のいずれかが撮像した映像を取得して表示する装置である。映像表示部31の具体的な構成は特に限定されず、液晶等の公知の表示装置を用いればよい。図2では撮像装置17、19、21、23に映像表示部31が接続されており、映像表示部31は、これらの装置から映像を取得して表示する。ただし、映像表示部31が映像を取得する経路は図1に構成に限定されない。例えば制御部33を介して映像を取得して映像表示部31に表示させる構成でもよい。
図1及び図2では映像表示部31は1つのみ図示している。この構成では、1つの映像表示部31の画面を分割して、撮像装置17、19、21、23の映像を表示する領域を割り当てることで、いずれの装置が撮影した映像も表示できる。しかしながら映像表示部31の数は1つに限定されない。撮像装置17、19、21、23の表示用に4つの異なる映像表示装置を用いてもよい。
撮像装置17が撮像した映像を映像表示部31に表示させた場合の例を図3に示す。
撮像装置17はスプレッダ13及びスプレッダ13の着床目標である着床目標面10aを撮像する装置である。そのため、撮像装置17が撮像した映像は、トロリ11の側方からスプレッダ13及び着床目標面10aを見下ろす映像となる。
制御部33は、クレーン1における撮像装置17、19、21、23の現在の撮像範囲を図示する画像である撮像範囲画像39を生成する装置である。
制御部33は、撮像範囲画像39とクレーン画像40を重ねて処理画像41を生成する装置でもある。
具体的には制御部33は、位置取得部29から撮像装置17、19、21、23の位置を示す位置情報を逐次取得し、撮像装置17、19、21、23の画角を示す画角情報を撮像装置17、19、21、23から逐次取得する。さらに位置情報及び画角情報を基に、撮像範囲画像39を生成する。撮像範囲画像39の例を図4に示す。図4の撮像範囲画像39aは撮像装置17の撮像範囲を示す画像であり、撮像範囲画像39bは撮像装置23の撮像範囲を示す画像である。撮像範囲画像39aは、撮像装置17の画角θaを反映した画像である。撮像範囲画像39bは、撮像装置23の画角θbを反映した画像である。撮像倍率は画角で決まるため、画角情報は撮像装置17、19、21、23が撮像の際の映像の倍率設定のために各々保持している情報である。そのため、画角情報は、撮像装置17、19、21、23から制御部33が取得すればよい。このように、撮像範囲画像39の生成に必要な画角情報の取得が容易である点も本実施形態の有利な点である。さらに、撮像範囲画像39は図4に示すように、撮像方向に直交する方向から見ると2等辺三角形で表示される。2等辺が交差する頂点は撮像装置の位置も示すため、撮像範囲画像39を見れば、撮像装置の位置が分かる点も本実施形態の有利な点である。
なお、ここでいう撮像範囲とは、正確には映像表示部31に表示される映像の範囲を意味する。例えば撮像装置17、19、21、23のレンズが光軸方向から見て円形の場合、撮像可能な範囲は、本来は円錐状になる。しかしながら映像表示部31の表示領域は通常は矩形であるため、映像表示部31に表示される映像の範囲は円錐の底面を矩形に切り取った領域を底面とする4角錐状になる。
制御部33は、必要に応じて位置情報を基にクレーン1における撮像装置17、19、21、23の位置を示す位置画像37を生成する。位置画像37の例を図4に示す。図4の位置画像37aは撮像装置17の位置を示す画像、ここでは撮像装置17を囲む円環状の画像である。図4の位置画像37bは撮像装置23の位置を示す円環状の画像である。図4では位置画像37aと位置画像37bは同じ形状と色彩で表示されているが、位置画像37aと位置画像37bが異なる装置を示すことを運転手が視覚的に認識できるように、異なる形状や色彩で表示してもよい。また、位置画像37aと位置画像37bに、撮像装置17、23を区別する文字等を付してもよい。
撮像範囲画像39に加えて位置画像37も生成することで、クレーン1における撮像装置17、19、21、23の位置を運転手がより正確に把握できる。
さらに制御部33は、必要に応じてクレーン1の周辺にある地形及び構造物の形状を図示する周辺画像43を生成する。周辺画像43の例を図4に示す。図4では地形及び構造物の形状を図示する画像として、岸壁画像45、コンテナ船画像47、コンテナ画像51、及び海面画像53を示す。岸壁画像45は岸壁10の位置と形状を示す画像である。コンテナ船画像47はコンテナ船48の位置と形状を示す画像である。コンテナ画像51はコンテナ船48に蔵置されたコンテナ49の配置を示す画像である。海面画像53は海面の高さを示す画像である。
岸壁画像45、コンテナ船画像47、コンテナ画像51は、例えばクレーン1の周辺にある地形及び構造物の形状を示す情報を図2に示すTOS(Terminal Operation System)32から制御部33が取得して、取得した情報を基に、制御部33が画像化することで得られる。海面画像53は、例えばクレーン1に設けた図示しないレーザ変位計で潮位を測定することで得られる。
制御部33は、クレーン1を示す画像であるクレーン画像40も取得する。
クレーン画像40はクレーン1の外形を示す画像である。クレーン画像40の表示の際は、トロリ11等の可動部が移動中の場合、移動に応じて逐次トロリ11の位置を変更した画像がクレーン画像40として用いられる。図4にクレーン画像40の例を示す。クレーン画像40はクレーン1の外形を視認できる画像であれば、具体的な表示態様は限定しない。例えば図4ではクレーン画像40として、クレーン1の全体図を示しているが、クレーン1と位置画像37及び撮像範囲画像39の位置関係が分かれば、必ずしもクレーン1全体の外形を表示しなくてもよい。
クレーン画像40の取得手段は特に限定しない。あらかじめ図示しない記憶部等に記憶されたクレーン1の模式図を示す画像を用いてもよいし、クレーン1を実際に撮像した映像に制御部33が画像処理等を施してクレーン画像40を生成してもよい。
制御部33は、撮像範囲画像39にクレーン画像40を重ね、さらに必要に応じて位置画像37と周辺画像43を重ねて処理画像41を生成する。
処理画像41の例を図4に示す。処理画像41には位置画像37、撮像範囲画像39、クレーン画像40及び周辺画像43が重ねて表示されている。
そのため、処理画像41におけるクレーン画像40と撮像範囲画像39の位置関係を見れば、対応する撮像装置の現在の撮像範囲を運転手が正確に把握できる。
また、処理画像41におけるクレーン画像40と位置画像37の位置関係を見れば、対応する撮像装置のクレーン1における現在位置を運転手が正確に把握できる。
さらに、撮像範囲画像39と周辺画像43の位置関係を見れば、撮像蔵置の撮像範囲外にある地形や構造物も運転手が把握できる。
この点について、より具体的に説明する。
図1に示すように、コンテナ船48は多数のコンテナ49を船倉及び甲板に蔵置している。そのため、撮像装置17がコンテナ船48の上方に位置する場合、撮像装置17が撮像した画像は図3に示すように、コンテナ船48に蔵置されたコンテナ49で画面が埋め尽くされた画像となる。この画像には、撮像装置17の位置を示す目印となる情報がないので、撮像装置17のクレーン1における現在位置及び撮像範囲を運転手が把握するのが困難な場合がある。
この場合でも、図4に示す処理画像41におけるクレーン画像40と撮像範囲画像39aの位置関係を見れば、撮像装置17のクレーン1における撮像範囲を運転手が把握できる。
また、位置画像37を含む処理画像41を表示することで、撮像装置17のクレーン1における現在位置を正確に把握できる。
さらに、周辺画像43を含む処理画像41を表示することで、撮像装置17、19、21、23の撮像範囲外の地形や構造物の位置と大きさも撮像範囲表示部35に表示されるため、撮像範囲外の地形や構造物にクレーン1が衝突する事故を防止できる。
例えば、撮像装置17が図4に示す画角θcで下方を撮像しており、映像表示部31に表示されるコンテナ49の映像は図3の領域Rcで示す範囲の映像であったとする。図4に示すようにスプレッダ13が吊り上げているコンテナ49bのx方向海側には、コンテナ49bと略同じ鉛直方向高さでコンテナ49aがコンテナ船48に蔵置されている。そのため、スプレッダ13をこの鉛直方向高さのままでx方向海側に移動させると、コンテナ49bがコンテナ49aに接触する恐れがある。
ここで、撮像装置17の撮像倍率を高くすることで、撮像装置17の画角が図4に示す画角θaに変更されたとする。この状態で映像表示部31に表示されるコンテナ49の映像範囲は図3の点線で囲んだ領域Raを拡大した映像となる。領域Raを表示した映像では領域Rcを表示した映像よりも個々のコンテナ49が拡大されて細部が見やすくなる。一方で画角θaは画角θcよりも角度が小さいため、撮像範囲が領域Raより狭くなる。例えば領域Rcに含まれていたコンテナ49aが、領域Raに含まれないので、映像表示部31に領域Raを映す場合、コンテナ49aは表示されない。ところが、領域Raが表示された映像表示部31を見た運転手は、コンテナ49の表示が大きくなったことから撮像範囲が狭くなったことはわかるが、コンテナ49aが表示されなくなったことに気付かない可能性がある。そのため、コンテナ49aが無いと運転手が誤認してx方向海側にスプレッダ13を移動させることで、両者が接触する恐れがある。
一方で、図4に示す処理画像41を運転手が見れば、領域Raが映像表示部31に表示されている場合、コンテナ49aが撮像装置17の撮像範囲外にあり、コンテナ49bの鉛直方向高さが、コンテナ49aの鉛直方向高さと略等しいことが分かる。そのため、x方向海側にスプレッダ13を移動させると、コンテナ49bにコンテナ49aが接触する恐れがあることを運転手が認識できる。よって、x方向海側にスプレッダ13を移動させる前にコンテナ49bがコンテナ49aの上面よりも鉛直方向上方に位置する高さまでスプレッダ13を移動させる等の、適切な荷役操作を運転手が選択できる。これにより、コンテナ49aにコンテナ49bが接触する事故を回避できる。
処理画像41は、撮像装置17、19、21、23のうち、実際に撮像中の撮像装置に対応する撮像範囲画像39を少なくとも表示すればよい。この構成とすることで、映像表示部31に映像を表示中の装置と、その装置のクレーン1における撮像範囲を運転手が正確に把握できる。また、撮像範囲が表示されない装置は、映像表示部31に映像を表示中ではないこともわかる。例えば図4では撮像装置17、19、21、23のうち、撮像装置17、23の撮像範囲画像39のみを示しているが、これは撮像装置19、21が撮像中ではないことを意味する。
図4では処理画像41として、クレーン1の走行方向から見たクレーン1における撮像装置17の撮像範囲を示す画像が表示されている。図4ではy方向から見た画像が表示されている。
処理画像41として、y方向からみた画像を生成することで、トロリ11のような可動部に撮像装置17がある場合に、トロリ11の可動に伴う撮像装置17の位置の変化が撮像範囲表示部35に表示される。よって、トロリ11の移動に伴う撮像装置17の撮像範囲の変化を正確に運転手が把握できる。
ただし、処理画像41はy方向から見た画像には限定されない。
例えば、クレーン1の上面図(図5のz方向から見た図)を示す画像を処理画像41としてもよい。これらはクレーン1の走行方向に直交する方向から見た画像である。図5に、処理画像41としてクレーン1のz方向から見た図を示す画像を用いた例を示す。
図5では、クレーン1の移動に伴い、クレーン画像40の位置が変化するのを運転手が視認できる。図5ではクレーン1の移動に伴い、撮像装置17、19、21の撮像範囲画像39a、39c、39dの位置が変化するのも運転手が視認できる。撮像装置17、19、23の位置画像37a、37c、37dの位置が変化するのも運転手が視認できる。
図5に示す処理画像41は、クレーン1の走行中に撮像範囲表示部35に表示させる画像として有用である。これはクレーン1の走行中は、走行方向前方にあるシャーシ等の構造物とクレーン1との衝突事故を防ぐために、走行方向を撮像する撮像装置19、21の撮像位置と撮像範囲を正確に運転手が認識する必要があるためである。
なお、処理画像41として、図5に示すようにx方向から見た図を表示する場合、クレーン1の現在位置に関する位置情報も取得する必要がある。この位置情報は、例えばクレーン1の走行装置7の駆動輪の回転数や回転方向に係る情報をPLC30から制御部33が取得することでも求められるが、変位計等でクレーン1の位置を実測してもよい。
処理画像41として、クレーン1が走行している場合とそれ以外の場合で、異なる方向から見た画像を生成してもよい。
例えば、クレーン1の走行時は、処理画像41として、図5に示すように、z方向から見た図を生成し、それ以外は、図4に示すように、y方向から見た図を生成してもよい。この構成とすることで、クレーン1の走行中は、処理画像41として、クレーン1の走行方向に直交する方向から見た画像が表示されるので、クレーン1がレール5に沿って走行していることがわかる。また、クレーン1の荷役中は、クレーン1は走行しないので、処理画像41としてクレーン1の走行方向から見た画像が表示される。そのため、トロリ11が移動中であることも分かる。
なお、クレーン1が走行中であるか否かは、例えば走行装置7の駆動の有無に係る情報をクレーン1に設けられたPLC30等から取得し、当該情報を基に制御部33が判断する。
このように、クレーン1において動いている対象であるトロリ11又はクレーン1自体の動作が見える画像を処理画像41として常に表示することで、撮像装置17、19、21、23の撮像位置の変化をより正確に把握できる。
あるいはトロリ11とクレーン1の両方の動作が見える画像を斜視図として処理画像41を生成してもよい。この構成では、クレーン1が走行している場合とそれ以外の場合で、異なる方向から見た画像を生成する必要がない点で有利である。ただし、処理画像41は、撮像装置17、19、21、23のうち、撮像中の装置の少なくとも1つの光軸に対して交差する方向である必要がある。
図2に示すように、制御部33は、撮像装置17、19、21、23、位置取得部29、映像表示部31、及び撮像範囲表示部35に接続されている。制御部33は例えばコンピュータの中央演算装置等である。クレーン1の運転を制御する図示しない運転制御部が、運転支援システム27の制御部33を兼ねてもよい。
撮像範囲表示部35は処理画像41を表示する装置である。撮像範囲表示部35の具体的な構成は特に限定されず、液晶等の公知の表示部を用いればよい。
撮像範囲表示部35は、映像表示部31と同じ表示部であってもよい。この場合、撮像装置17、19、21、23が撮像した映像と処理画像41を別々に映像表示部31に表示してもよいし、映像の一部分に処理画像41を重ねて表示してもよい。
映像と処理画像41を重ねて表示する場合は、処理画像41を表示する位置、大きさを運転手が調整できる構成が好ましく、必要なときのみ運転手の操作等で処理画像41を表示させる構成がより好ましい。
以上が本実施形態に係るクレーン1の運転支援システム27の概略構成の説明である。
次に、本実施形態に係るクレーン1の運転支援システム27を用いた運転支援方法の例について、図6を参照して簡単に説明する。なお、以下に示す例は、クレーン1の走行中は処理画像41として図4のz方向から見た画像を生成し、それ以外は処理画像41として図4のy方向から見た画像を生成する場合を示す例である。
まず制御部33は撮像装置17、19、21、23のいずれかあるいは複数を用いてクレーン1の周囲の映像を撮像し、撮像した映像を映像表示部31に表示させる(図6のS0)。なお、撮像を行う撮像装置は、制御部33ではなく運転手が運転室15の操縦桿を操作する等して選択してもよい。この場合、制御部33には運転手が選択した撮像装置を示す情報が操縦桿等から入力される。
次に制御部33は、撮像装置17、19、21、23のうち、映像表示部31に映像を表示中の装置の、クレーン1における現在の位置情報を位置取得部29から取得する(図6のS1)。
次に制御部33は、撮像装置17、19、21、23のうち、映像表示部31に映像を表示中の装置の現在の画角情報を取得する(図6のS2)。
次に制御部33は、必要に応じてTOS32等から周辺情報を取得する(図6のS3)。なお、S1〜S3は必ずしも図6に示す順番で行う必要はなく、順番を入れ替えてもよい。
次に、制御部33は、走行装置7の駆動の有無に係る情報をクレーン1に設けられたPLC30等から取得する等して、クレーン1が走行中であるか否かを判断し、走行中の場合はS5−1に進み、それ以外はS5−2に進む(図6のS4)。
クレーン1が走行中であると判断した場合、制御部33は、位置情報及び画角情報を基に、撮像範囲画像39として、図4のz方向から見た画像を生成する(図6のS5−1)。
さらに制御部33は必要に応じて、位置情報を基に位置画像37として、図4のz方向から見た画像を生成する(図6のS6−1)。
さらに制御部33は、S3を実施している場合、周辺情報を基に周辺画像43として、図4のz方向から見た画像を生成する(図6の7−1)。なお、S5−1、S6−1、S7−1は必ずしも図6に示す順番で行う必要はなく、順番を入れ替えてもよい。
制御部33は、クレーン1が走行中以外の状態にあると判断した場合、例えば走行装置7の動作が停止中と判断した場合、制御部33は、位置情報及び画角情報を基に、撮像範囲画像39として、図4のy方向から見た画像を生成する(図6のS5−2)。
さらに制御部33は必要に応じて、位置情報を基に位置画像37として、図4のy方向から見た画像を生成する(図6のS6−2)。
さらに制御部33は、S3を実施している場合、周辺情報を基に周辺画像43として、図4のy方向から見た画像を生成する(図6のS7−2)。なお、S5−2、S6−2、S7−2は必ずしも図6に示す順番で行う必要はなく、順番を入れ替えてもよい。
次に、制御部33は、位置画像37、撮像範囲画像39、周辺画像43をクレーン画像40に重ねて処理画像41を生成する(図6のS8)。
最後に制御部33は、処理画像41を撮像範囲表示部35に送信して、処理画像41を表示させ、S0に戻る(図6のS9)。
以上が、本実施形態に係るクレーン1の運転支援システム27を用いた運転支援方法の例の説明である。
このように、本実施形態の運転支援システム27では、撮像装置17の現在位置と画角から、クレーン1における撮像装置17の撮像範囲を示す画像を制御部33が生成して、クレーン画像40に重ねて撮像範囲表示部35に表示する。
そのため、撮像装置17の撮像範囲の変化を運転手が容易に把握できる。
以上、本発明を実施形態に基づき説明したが、本発明は実施形態に限定されない。当業者であれば本発明の技術思想の範囲内で各種変形例及び改良例を創出するのは当然のことであり、これらも本発明に含まれる。
例えば、本実施形態では、運転支援システム27の適用対象として、岸壁クレーンを例示しているが、クレーンであれば、運転支援システム27の適用対象は岸壁クレーンに限定されない。例えばジブクレーン、門型クレーン、アンローダ等にも運転支援システム27は適用できる。
また、本実施形態では、運転支援システム27の適用対象として、遠隔操作方式のクレーン1を例示しているが、運転支援システム27の適用対象は遠隔操作方式に限定されない。例えば運転室15がクレーン1のトロリ11等に設けられる場合にも運転支援システム27は適用できる。この場合、運転室の位置を位置情報とし、運転室における運転手の視野を画角情報として、運転手の視野の範囲を撮像範囲画像39として生成してもよい。
1 クレーン
3 脚構造体
5 レール
7 走行装置
9 桁
10 岸壁
10a 着床目標面
11 トロリ
13 スプレッダ
15 運転室
17、19、21、23 撮像装置
25 ポータルタイ
27 運転支援システム
29 位置取得部
30 PLC
31 映像表示部
32 TOS
33 制御部
34 機械室
35 撮像範囲表示部
37、37a、37b、37c、37d 位置画像
39、39a、39b、39c、39d 撮像範囲画像
40 クレーン画像
41 処理画像
43 周辺画像
45 岸壁画像
47 コンテナ船画像
48 コンテナ船
49、49a、49b コンテナ
51 コンテナ画像
53 海面画像

Claims (5)

  1. 周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援システムであって、
    前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得する位置取得部と、
    前記撮像装置に接続され、前記撮像装置が撮像した映像を取得して表示する映像表示部と、
    前記撮像装置、前記位置取得部、及び前記映像表示部に接続され、
    前記位置情報を前記位置取得部から逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、
    前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、
    前記撮像範囲画像に前記クレーンの外形を示すクレーン画像を重ねて処理画像を生成する制御部と、
    前記制御部に接続され、前記処理画像を表示する撮像範囲表示部と、
    前記クレーンを走行させる走行装置と、を備え
    前記制御部は、前記クレーンが走行中であるか否かを前記走行装置の駆動の有無から判断し、
    前記クレーンの走行時は、前記処理画像として前記クレーンの走行方向に直交する方向から見た画像を生成し、
    走行中でない場合、前記処理画像として、前記クレーンの走行方向から見た図を生成することを特徴とするクレーンの運転支援システム。
  2. 前記制御部は、
    前記位置情報を基に前記撮像装置の現在位置を示す画像である位置画像を生成し、
    前記位置画像と、前記撮像範囲画像に前記クレーン画像を重ねて前記処理画像を生成して前記撮像範囲表示部に表示させる請求項1に記載のクレーンの運転支援システム。
  3. 前記制御部は、
    前記クレーンの周辺にある地形及び構造物の形状を示す周辺情報を取得して、これらを図示する周辺画像を生成し、前記クレーン画像と、前記撮像範囲画像と、前記周辺画像を重ねて前記処理画像を生成し、前記撮像範囲表示部に表示させる請求項1に記載のクレーンの運転支援システム。
  4. 前記制御部は、
    前記処理画像として、前記クレーンの走行方向に直交する方向か、又は前記クレーンの走行方向から見た画像を生成する請求項1〜3のいずれかに記載のクレーンの運転支援システム。
  5. 周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援方法であって、
    前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得し、
    前記撮像装置が撮像した映像を取得して映像表示部に表示し、
    前記位置情報を逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、
    前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、
    前記撮像範囲画像に前記クレーンを示すクレーン画像を重ねて処理画像を生成して撮像範囲表示部に表示させ
    前記処理画像を生成する際に、
    前記クレーンが走行中であるか否かを前記クレーンの走行装置の駆動の有無から判断し、
    前記クレーンが走行中であると判断した場合は、前記処理画像として前記クレーンの走行方向に直交する方向から見た画像を生成し、
    走行中でないと判断した場合は、前記処理画像として、前記クレーンの走行方向から見た図を生成することを特徴とするクレーンの運転支援方法。
JP2019015696A 2019-01-31 2019-01-31 クレーンの運転支援システム及び運転支援方法。 Active JP6881781B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019015696A JP6881781B2 (ja) 2019-01-31 2019-01-31 クレーンの運転支援システム及び運転支援方法。

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019015696A JP6881781B2 (ja) 2019-01-31 2019-01-31 クレーンの運転支援システム及び運転支援方法。

Publications (2)

Publication Number Publication Date
JP2020121871A JP2020121871A (ja) 2020-08-13
JP6881781B2 true JP6881781B2 (ja) 2021-06-02

Family

ID=71992106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019015696A Active JP6881781B2 (ja) 2019-01-31 2019-01-31 クレーンの運転支援システム及び運転支援方法。

Country Status (1)

Country Link
JP (1) JP6881781B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312894A (ja) * 1993-04-28 1994-11-08 Mitsubishi Heavy Ind Ltd クレーンの運転装置
JP4960659B2 (ja) * 2006-06-20 2012-06-27 クボテック株式会社 3次元仮想空間を利用したビデオカメラ撮影制御装置およびビデオカメラ撮影制御方法

Also Published As

Publication number Publication date
JP2020121871A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
US9667923B2 (en) Camera attitude detection device and work region line display device
CN110088035B (zh) 起重机
JP5876679B2 (ja) 性能線表示装置
RU2625438C2 (ru) Система изображения сверху для экскаватора
EP2003018A2 (en) Camera system and mechanical apparatus
WO2014046213A1 (ja) 作業車の周囲情報取得装置
US20140354813A1 (en) Surroundings Monitoring Device for Work Machine
WO2013118705A1 (ja) 運搬車両の周囲監視装置
WO2015145725A1 (ja) 情報提示装置、クレーンシステム及び情報提示方法
CN111943050B (zh) 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
JP5971994B2 (ja) クレーン作業監視装置
JP5380747B2 (ja) 吊荷下方の監視システム及び監視方法
JP2011079648A (ja) 固定映像表示システム
JP2018095367A (ja) クレーン
KR101243455B1 (ko) 타워크레인 네비게이션 시스템
JP6881781B2 (ja) クレーンの運転支援システム及び運転支援方法。
JP2022078986A (ja) クレーン、特に移動式クレーン
JP5595822B2 (ja) 画像生成システム
JPH06312894A (ja) クレーンの運転装置
JP6421451B2 (ja) カメラ姿勢検出装置
JP2006256848A (ja) 荷役支援方法および荷役支援システム
JP2018039477A (ja) 画像表示システム
JP6879618B2 (ja) クレーンの運転支援システム及び運転支援方法
JP7351231B2 (ja) 吊荷監視装置、クレーン、吊荷監視方法及びプログラム
JP6686561B2 (ja) クレーンの操作支援装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210423

R150 Certificate of patent or registration of utility model

Ref document number: 6881781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111