JP7143578B2 - 作業車両 - Google Patents

作業車両 Download PDF

Info

Publication number
JP7143578B2
JP7143578B2 JP2017200984A JP2017200984A JP7143578B2 JP 7143578 B2 JP7143578 B2 JP 7143578B2 JP 2017200984 A JP2017200984 A JP 2017200984A JP 2017200984 A JP2017200984 A JP 2017200984A JP 7143578 B2 JP7143578 B2 JP 7143578B2
Authority
JP
Japan
Prior art keywords
image
control unit
video data
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017200984A
Other languages
English (en)
Other versions
JP2019075712A (ja
Inventor
将史 高橋
洋幸 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd filed Critical Tadano Ltd
Priority to JP2017200984A priority Critical patent/JP7143578B2/ja
Priority to US16/754,546 priority patent/US10919584B2/en
Priority to EP18868136.5A priority patent/EP3668088B1/en
Priority to CN201880055801.4A priority patent/CN111052734B/zh
Priority to PCT/JP2018/036831 priority patent/WO2019077993A1/ja
Publication of JP2019075712A publication Critical patent/JP2019075712A/ja
Application granted granted Critical
Publication of JP7143578B2 publication Critical patent/JP7143578B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、自走可能な作業車両に関する。
一般的にラフテレーンクレーン等と呼ばれる作業車両は、走行体を走行させるための操作部と、旋回体及びブームを動作させる操作部とが同一のキャビン内に配置されている。また、作業車両は大型で死角が生じやすく、オペレータがキャビンから作業車両の周囲の状況を把握するのは容易でない。そこで、例えば特許文献1に記載の作業車両は、複数のカメラで撮影した作業車両の周囲の映像を、キャビン内のディスプレイに表示させる。これにより、キャビンに搭乗するオペレータは、作業車両の周囲の状況を適切に把握することができる。
また、上記構成の作業車両において、キャビンを支持する旋回体が走行体上で旋回するので、走行体に取り付けられたカメラの映像をキャビン内で表示させようとすると、走行体から旋回体へ映像データを伝送する方法が課題となる。そこで、例えば特許文献2には、走行体のカメラで撮影した画像データを、旋回体に無線送信するクレーン車が開示されている。
特開2013-253402号公報 特開2017-61382号公報
しかしながら、無線通信は、有線通信と比較して遅延が大きいという課題がある。そのため、例えば、走行体に取り付けられた複数のカメラの映像データを独立して送信した場合に、一部の映像データに伝送遅延が生じて、同時刻に撮影された複数の映像をディスプレイに表示できない可能性がある。
本発明は、上記の事情に鑑みてなされたものであり、その目的は、走行体に取り付けられた複数のカメラの映像データを作業体に無線送信する作業車両において、各カメラで同時刻に撮影された映像をキャビン内で表示させる技術を提供することにある。
(1) 本発明に係る作業車両は、走行体と、上記走行体に旋回可能に支持された作業体と、上記作業体に支持されたキャビンと、上記走行体に取り付けられた第1カメラ及び第2カメラと、上記キャビンの内部空間に配置されており、上記走行体を走行させ、且つ上記作業体を動作させるオペレータの操作を受け付ける操作部と、上記キャビンの内部空間に配置されたディスプレイと、上記走行体に取り付けられており、第1無線通信部を備える第1制御部と、上記作業体に取り付けられており、第2無線通信部を備える第2制御部とを備える。上記第1制御部は、上記第1カメラが撮影した第1映像に対応する第1映像データ及び上記第2カメラが撮影した第2映像に対応する第2映像データを同期させて、上記第1無線通信部を通じて上記第2制御部に無線送信する送信処理を実行する。上記第2制御部は、同期された上記第1映像データ及び上記第2映像データを、上記第2無線通信部を通じて上記第1制御部から無線受信する受信処理と、上記受信処理で受信した上記第1映像データ及び上記第2映像データで示される映像を纏めて上記ディスプレイに表示させる表示処理とを実行する。
上記構成によれば、第1映像データ及び第2映像データが同期された状態で第1制御部から第2制御部に無線送信されるので、各カメラで同時刻に撮影された映像をキャビン内で表示させることができる。しかも、映像信号は通信ケーブル等を介さずに送信されるためノイズの影響を受けない。
(2) 一例として、上記第1制御部は、上記第1映像及び上記第2映像を合成した合成映像を示す合成映像データを生成する第1合成処理を実行し、上記送信処理において、上記第1合成処理で生成した上記合成映像データを、上記第1無線通信部を通じて上記第2制御部に無線送信する。
(3) 他の例として、上記第1映像及び上記第2映像は、複数の画像を撮影順に配列したものである。上記第1制御部は、上記第1映像及び上記第2映像に含まれる複数の上記画像それぞれに、当該画像の撮影時刻を示すタイムスタンプを付加する付加処理を実行し、上記送信処理において、上記付加処理で上記タイムスタンプを付加した上記第1映像に対応する第1映像データ及び上記第2映像に対応する第2映像データを、上記第1無線通信部を通じて上記第2制御部に無線送信する。
(4) 好ましくは、上記第1カメラは、上記走行体の前方に向けて上記走行体に取り付けられている。上記第2カメラは、上記走行体の後方に向けて上記走行体に取り付けられている。
(5) さらに好ましくは、該作業車両は、上記作業体の右方に向けて上記作業体に取り付けられた第3カメラと、上記作業体の左方に向けて上記作業体に取り付けられた第4カメラとを備える。上記第2制御部は、上記第1映像及び上記第2映像に、上記第3カメラが撮影した第3映像及び上記第4カメラが撮影した第4映像を合成して、合成映像を示す合成映像データを生成する第2合成処理を実行し、上記表示処理において、上記第2合成処理で生成した上記合成映像データに対応する合成映像を、上記ディスプレイに表示させる。
(6) さらに好ましくは、上記第2制御部は、上記第2合成処理において、上記第1映像と、上記第2映像と、上記第3映像と、上記第4映像とを用いて、該作業車両の周囲を上方から俯瞰した上記第2合成映像を生成する。
上記構成によれば、キャビンに搭乗するオペレータは、作業車両の周囲の状況を適切に把握して、走行体を走行させ、作業体を動作させることができる。
(7) 例えば、上記第1無線通信部及び上記第2無線通信部は、Wi-Fi(登録商標)、Bluetooth(登録商標)、或いはワイヤレスHDMI(登録商標)に準拠した手順で無線通信する。
本発明によれば、第1映像データ及び第2映像データが同期された状態で第1制御部から第2制御部に無線送信されるので、各カメラで同時刻に撮影された映像をキャビン内で表示させることができる。
図1は、実施形態に係るラフテレーンクレーン10の斜視図である。 図2は、実施形態に係るラフテレーンクレーン10の平面図である。 図3は、キャビン40内の構成要素の配置図である。 図4は、実施形態に係るラフテレーンクレーン10のブロック図である。 図5は、交差点に進入するラフテレーンクレーン10を示す平面図である。 図6は、図5のラフテレーンクレーン10のディスプレイ44の表示例である。 図7は、映像データF、B、R、Lを合成して、第2合成映像データを生成する方法の一例を説明するための図である。 図8は、映像データF、B、R、Lを合成して、第2合成映像データを生成する方法の他の例を説明するための図である。 図9は、変形例2に係るラフテレーンクレーン10のブロック図である。
以下、本発明の好ましい実施形態が、適宜図面が参照されつつ説明される。なお、本実施形態は、本発明の一態様にすぎず、本発明の要旨を変更しない範囲で実施態様が変更されてもよいことは言うまでもない。また、下記の実施形態及び変形例は、任意の組み合わせで組み合わせることができる。
[ラフテレーンクレーン10]
本実施形態に係るラフテレーンクレーン10は、図1及び図2に示されるように、下部走行体20と、上部旋回体30とを主に備える。ラフテレーンクレーン10は、下部走行体20によって目的地まで走行し、当該目的地で上部旋回体30に所定の動作をさせるものである。ラフテレーンクレーン10は、作業車両の一例である。
[下部走行体20]
下部走行体20は、左右一対の前輪21と、左右一対の後輪22とを有する。前輪21は、後述するステアリング42Bによって操舵される操舵輪である。後輪22は、トランスミッション(図示省略)を介して伝達されるエンジン(図示省略)の駆動力によって回転される駆動輪である。
また、下部走行体20は、アウトリガ23、24を有する。アウトリガ23は下部走行体20の前端に配置され、アウトリガ24は下部走行体20の後端に配置される。アウトリガ23、24は、下部走行体20から左右方向に張り出した位置において地面に接地する張出状態と、地面から離間した状態で下部走行体20に格納される格納状態とに状態変化が可能である。上部旋回体30の動作時にアウトリガ23、24を張出状態とすることにより、ラフテレーンクレーン10の姿勢が安定する。一方、アウトリガ23、24は、下部走行体20の走行時に格納状態とされる。
[上部旋回体30]
上部旋回体30は、旋回ベアリング(図示省略)を介して下部走行体20に旋回可能に支持されている。上部旋回体30は、旋回モータ71(図4参照)の駆動力が伝達されて旋回する。上部旋回体30の旋回角度は、例えば、下部走行体20の前進方向を0°としたときの時計回り方向の角度で表される。上部旋回体30は、伸縮ブーム32と、フック33と、キャビン40とを主に備える。上部旋回体30、伸縮ブーム32、及びフック33は、作業体の一例である。
伸縮ブーム32は、起伏シリンダ72(図2及び図4参照)によって起伏され、伸縮シリンダ73(図4参照)によって伸縮される。伸縮ブーム32の基端32Aは、下部走行体20の前端及び後端の間において、上部旋回体30に支持されている。また、図2に示されるように、伸縮ブーム32を最も倒伏させ且つ最も短くした状態において、伸縮ブーム32の先端32Bは、下部走行体20の前端より前方に位置している。以下、上部旋回体30の旋回角度が0°で、伸縮ブーム32を最も倒伏させ、且つ伸縮ブーム32を最も短くした状態を、ラフテレーンクレーン10の走行姿勢と表記する。すなわち、ラフテレーンクレーン10の走行姿勢において、伸縮ブーム32は、下部走行体20の前端より前方にまで延設されている。
また、伸縮ブーム32の先端32Bには、作業半径及び作業高さを延伸させるためのジブ(図示省略)が着脱可能であってもよい。フック33は、伸縮ブーム32の先端32B或いはジブの先端にワイヤ38によって吊り下げられており、ワイヤ38を巻き取り或いは繰り出すウインチ74(図4参照)によって昇降される。
[キャビン40]
キャビン40は、ラフテレーンクレーン10を操作するオペレータが搭乗するための内部空間を有する箱型である。キャビン40は、下部走行体20の前端より後方で且つ伸縮ブーム32の基端32Aより前方において、上部旋回体30に支持されている。また、キャビン40は、伸縮ブーム32の右隣に配置されている。但し、伸縮ブーム32及びキャビン40の位置関係は前述の例に限定されず、伸縮ブーム32の左隣にキャビン40が配置されていてもよい。キャビン40の内部空間には、図3に示されるように、座席41と、第1操作部42と、第2操作部43と、ディスプレイ44とが収容されている。
第1操作部42は、下部走行体20を走行させるためのオペレータの指示を受け付ける。より詳細には、第1操作部42は、複数のペダル42Aと、ステアリング42Bとを主に備える。ペダル42Aは、下部走行体20を加速或いは減速させる指示を受け付けるものであって、アクセルペダル、ブレーキペダル、クラッチペダル等である。ステアリング42Bは、下部走行体20の進行方向を指示する操作を受け付けるものである。第1操作部42の構成は既に周知なので、詳細な説明は省略する。
第2操作部43は、アウトリガ23、24を状態変化させ、上部旋回体30を旋回させ、伸縮ブーム32を伸縮及び起伏させ、フック33を昇降させる指示を受け付ける。第2操作部43は、例えば、レバー43A、ペダル43B、或いはスイッチ(図示省略)等によって構成される。第2操作部43の構成は既に周知なので、詳細な説明は省略する。
ディスプレイ44は、キャビン40内において、左右方向の中央より左方に偏った位置に配置されている。より詳細には、ディスプレイ44は、ステアリング42Bの左隣に配置されている。ディスプレイ44は、ラフテレーンクレーン10の状態を表示する。より詳細には、ディスプレイ44は、下部走行体20の速度、アウトリガ23、24の状態、上部旋回体30の旋回角、伸縮ブーム32の伸縮長さ及び起伏角等を表示する。さらに、ディスプレイ44は、後述するカメラ61~64が撮影した映像を表示する。
座席41に座ったオペレータは、第1操作部42及び第2操作部43を操作することができ、且つディスプレイ44に表示された情報を視認することができる。より詳細には、オペレータは、座席41に座った状態で、下部走行体20を走行させることができ、上部旋回体30及び伸縮ブーム32を動作させることができる。また、ラフテレーンクレーン10の走行姿勢において、伸縮ブーム32の上端は、座席41に座ったオペレータの視線より高い位置にある。すなわち、走行姿勢のラフテレーンクレーン10の座席41に座ったオペレータは、下部走行体20のすぐ前と、下部走行体20の左側とが見難い状態で、ラフテレーンクレーン10を走行させなければならない。
[カメラ61~64]
カメラ61~64は、被写体を撮影して映像データを生成する。換言すれば、カメラ61~64は、映像(動画像)を示す映像データを生成する。カメラ61~64は、俯瞰画像を生成するために用いる広角(例えば、80°~240°)のカメラであるのが望ましい。カメラ61~64は、図1及び図2に示されるように、ラフテレーンクレーン10の各部に取り付けられて、互いに異なる向きに向けられている。なお、カメラ61~64の位置及び向きを明らかにするために、図1及び図2にはカメラ61~64を大きく図示しているが、小型のカメラが望ましい。
カメラ61は、下部走行体20の前端で且つ左右方向の中央に取り付けられている。また、カメラ61は、最も倒伏した伸縮ブーム32より下方に取り付けられている。本実施形態に係るカメラ61はフロントバンパーに取り付けられているが、カメラ61の具体的な取付位置はこれに限定されない。そして、カメラ61は、ラフテレーンクレーン10の前方に向けられている。すなわち、カメラ61は、80°~240°の画角でラフテレーンクレーン10の前方を撮影している。カメラ61は第1カメラの一例であり、カメラ61が撮影する映像は第1映像の一例である。
カメラ62は、上部旋回体30の右端に取り付けられている。本実施形態に係るカメラ62はキャビン40の後方に取り付けられているが、カメラ62の具体的な取付位置はこれに限定されない。そして、カメラ62は、走行姿勢のラフテレーンクレーン10の右方に向けられている。すなわち、カメラ62は、80°~240°の画角でラフテレーンクレーン10の右方を撮影している。カメラ62は、第3カメラの一例であり、カメラ62が撮影する映像は第3映像の一例である。
カメラ63は、上部旋回体30の左端に取り付けられている。本実施形態に係るカメラ63は前後方向においてカメラ62と同じ位置に取り付けられているが、カメラ63の具体的な取付位置はこれに限定されない。そして、カメラ63は、走行姿勢のラフテレーンクレーン10の左方に向けられている。すなわち、カメラ63は、80°~240°の画角でラフテレーンクレーン10の左方を撮影している。カメラ62は、第4カメラの一例であり、カメラ62が撮影する映像は第4映像の一例である。
カメラ64は、下部走行体20の後端で且つ左右方向の中央に取り付けられている。カメラ64は、例えば、カウンタウェイト(図示省略)を支持するウェイト支持部に取り付けられていてもよい。カメラ64は、ラフテレーンクレーン10の後方に向けられている。すなわち、カメラ64は、80°~240°の画角でラフテレーンクレーン10の後方を撮影している。カメラ64は、第2カメラの一例であり、カメラ64が撮影する映像は第2映像の一例である。
[第1制御部51、第2制御部53]
ラフテレーンクレーン10は、図4に示されるように、第1制御部51と、第1記憶部52と、第2制御部53と、第2記憶部54とを備える。第1制御部51及び第1記憶部52は、下部走行体20に設けられている。第2制御部53及び第2記憶部54は、上部旋回体30に設けられている。そして、第1制御部51及び第2制御部53は、スリップリング50を通る複数の通信ケーブル(図示省略)によって相互に接続されている。
第1制御部51及び第2制御部53は、ラフテレーンクレーン10の動作を制御する。第1制御部51及び第2制御部53は、第1記憶部52及び第2記憶部54に記憶されたプログラムを実行するCPU(Central Processing Unit)によって実現されてもよいし、ハードウェア回路によって実現されてもよいし、これらの組み合わせであってもよい。第1記憶部52及び第2記憶部54は、CPUによって実行されるプログラム、及びプログラムの実行中に一時記憶される各種情報を記憶する。
第1制御部51は、カメラ61、64の動作を制御する。すなわち、第1制御部51は、カメラ61、64に撮影を開始させ、カメラ61、64が生成した第1映像データ(以下、「映像データF」と表記する。)及び第2映像データ(以下、「映像データB」と表記する。)を取得する。また、第1制御部51は、カメラ61、64から取得した映像データB、Fを合成して第1合成映像データを生成し、生成した第1合成映像データをスリップリング50を通る通信ケーブルを通じて第2制御部53に送信する。第1合成映像データを生成する処理の詳細は、後述する。
第2制御部53は、スリップリング50を通る通信ケーブルを通じて第1制御部51から第1合成データを受信する。また、第2制御部53は、カメラ62、63の動作を制御する。すなわち、第2制御部53は、カメラ62、63に撮影を開始させ、カメラ62、63が生成した第3映像データ(以下、「映像データR」と表記する。)及び第4映像データ(以下、「映像データL」と表記する。)を取得する。さらに、第2制御部53は、第1合成データと、映像データRと、映像データLとを合成して第2合成映像データを生成し、第2合成映像データで示される第2合成映像をディスプレイ44に表示させる。第2合成映像データを生成する処理の詳細は、後述する。
また、第2制御部53は、第1操作部42及び第2操作部43から出力される操作信号を取得する。そして、第2制御部53は、第2操作部43から出力される操作信号に従って、供給する作動油の方向及び流量を制御することによって、旋回モータ71、起伏シリンダ72、伸縮シリンダ73、及びウインチ74等のアクチュエータを動作させる。但し、本発明のアクチュエータは油圧式に限定されず、電動式等であってもよい。また図示は省略するが、第2制御部53は、第1操作部42から出力される操作信号に従って、前輪21の舵角を変更し、エンジンの回転数を制御し、ブレーキ(図示省略)を作動させる。
さらに、第2制御部53は、上部旋回体30の旋回角度を検出する旋回角センサ(図示省略)、伸縮ブーム32の起伏角度を検出する起伏角センサ(図示省略)、伸縮ブーム32の伸縮長さを検出する長さセンサ、及びウインチ74によるワイヤ38の操出長さを検出するワイヤセンサから出力される検出信号を取得する。そして、第2制御部53は、上部旋回体30の旋回角度、伸縮ブーム32の起伏角度、伸縮ブーム32の伸縮長さ、及びワイヤ38の操出長さを、各種センサから取得した検出信号に基づいて把握する。
図5は、前進走行中のラフテレーンクレーン10が交差点に進入する状態を示す平面図である。図5のラフテレーンクレーン10の周囲には、左前方の横断歩道を横断中の人81と、左側を併走する自転車82とが存在している。しかしながら、図5のラフテレーンクレーン10のキャビン40に搭乗するオペレータは、伸縮ブーム32が邪魔になって、人81及び自転車82を視認することができない。
図6は、図5に示されるラフテレーンクレーン10のディスプレイ44に表示される映像である。図5に示される映像は、カメラ61~64が撮影した映像を合成したものである。より詳細には、図5に示される映像は、ラフテレーンクレーン10の周囲を上方から俯瞰した俯瞰映像である。以下、図5に示される映像をディスプレイ44に表示させるための第1制御部51及び第2制御部53の動作を、図7を参照して説明する。
まず、第1制御部51及び第2制御部53は、カメラ61~64に同時に撮影を開始させる。第2制御部53は、例えば、ディスプレイ44に映像を表示させる指示を第2操作部43を通じて受け付けたことに応じて、第1制御部51を通じてカメラ61、64に撮影開始を指示すると共に、カメラ62、63に撮影開始を指示する。但し、カメラ61~64の撮影開始のトリガは前述の例に限定されず、例えば、エンジンが始動されたタイミングでもよいし、アウトリガ23、24が格納状態及び張出状態の一方から他方に状態変化したタイミングでもよい。
カメラ61~64が撮影する映像は、例えば図7及び図8に示されるように、撮影順に配列された複数の画像(すなわち、静止画像)によって構成される。カメラ61~64は、所定の時間間隔(例えば、1/60秒間隔)で撮影した複数の画像を含む映像データを、第1制御部51及び第2制御部53に出力する。換言すれば、第1制御部51は、撮影順に配列された複数の画像F、F、F、・・・を含む映像データFをカメラ61から取得し、撮影順に配列された複数の画像B、B、B、・・・を含む映像データBをカメラ64から取得する。また、第2制御部53は、撮影順に配列された複数の画像R、R、R、・・・を含む映像データRをカメラ62から取得し、撮影順に配列された複数の画像L、L、L、・・・を含む映像データLをカメラ63から取得する。
次に、第1制御部51は、映像データFで示される映像と、映像データBで示される映像とを合成して、第1合成映像を示す第1合成映像データを生成する。より詳細には、第1制御部51は、映像データF、Bの対応する画像を合成して合成画像を生成し、生成した複数の合成画像を撮影順に配列して第1合成映像データを生成する。対応する画像とは、例えば、映像データF、Bそれぞれに含まれる複数の画像のうち、撮影順が同一の画像、或いは同一時刻に撮影された画像等を指す。第1合成映像データを生成する処理は、第1合成処理の一例である。第1合成処理で生成される合成画像は、ラフテレーンクレーン10の前方及び後方を上方から俯瞰した俯瞰画像である。俯瞰画像を生成するアルゴリズムは周知なので詳細な説明は省略するが、例えば以下の方法が考えられる。
まず、第1制御部51は、画像F、Bの各画素の座標値にレンズ歪み係数やアスペクト比等に基づく係数を乗じて、レンズによる歪みを補正する補正処理を実行する。また、第1制御部51は、画像F、Bの各画素の座標値にカメラ取付角等に基づく種々の係数を乗じて、ラフテレーンクレーン10の上方に設定した仮想視点から見下ろした画像(個別の俯瞰画像)に変換する俯瞰処理を実行する。そして、第1制御部51は、ラフテレーンクレーン10の形状を模したクレーン画像を中央に配置し、俯瞰処理で変換した画像Fをクレーン画像の上方に配置し、俯瞰処理で変換した画像Bをクレーン画像の下方に配置して、画像F、Bを合成した合成画像Cを生成する、合成画像C、Cを生成する方法も同様である。
次に、第1制御部51は、第1合成処理で生成した第1合成映像データを、スリップリング50を通る通信ケーブルを通じて第2制御部53に送信する。この処理は、送信処理の一例である。次に、第2制御部53は、通信ケーブルを通じて第1制御部51から第1合成映像データを受信する。この処理は、受信処理の一例である。次に、第2制御部53は、第1合成映像データで示される映像と、映像データRで示される映像と、映像データLで示される映像とを合成して、第2合成映像を示す第2合成映像データを生成する。この処理は、第2合成処理の一例である。以下、第1合成処理との共通点の詳細な説明は省略して、相違点を中心に説明する。
第2制御部53は、第1合成映像データ及び映像データR、Lの対応する画像を合成して合成画像を生成し、生成した複数の合成画像を撮影順に配列した第2合成映像データを生成する。すなわち、第2制御部53は、画像R、Lに対して補正処理及び俯瞰処理を実行する。そして、第2制御部53は、合成画像Cのクレーン画像の右方に俯瞰処理で変換した画像Rを配置し、合成画像Cのクレーン画像の左方に俯瞰処理で変換した画像Lを配置して、合成画像C及び画像R、Lを合成した合成画像C’を生成する。合成画像C’、C’を生成する方法も同様である。
そして、第2制御部53は、第2合成処理で生成した合成画像C’、C’、C’、・・・を含む第2合成映像をディスプレイ44に表示させる。この処理は、表示処理の一例である。第1合成処理、送信処理、受信処理、第2合成処理、及び表示処理は、並行して実行される。すなわち、カメラ61~64によって撮影された画像がリアルタイムで合成されて、ディスプレイ44に表示される。これにより、オペレータは、ラフテレーンクレーン10の周囲の状況を、キャビン40内でリアルタイムに把握することができる。
[実施形態の作用効果]
上記の実施形態によれば、複数のカメラ61、64で撮影した映像を合成した第1合成映像データを、下部走行体20及び上部旋回体30の間で無線送信するので、複数の映像データF、Bを別々に有線送信する場合と比較して、スリップリング50に追加する通信ケーブルの数を削減することができる。しかも、第1合成映像データは通信ケーブル等を介さずに送信されるためノイズの影響を受けず、カメラ映像の乱れが回避される。その結果、画質が向上するという利点がある。
また、上記の実施形態では、カメラ61~64で撮影した映像が俯瞰画像に変換されてディスプレイ44に表示される。これにより、キャビン40に搭乗するオペレータは、ラフテレーンクレーン10の周囲の状況を適切に把握して、下部走行体20を走行させ、アウトリガ23、24を状態変化させ、上部旋回体30を旋回させ、伸縮ブーム32を起伏及び伸縮させ、フック33を昇降させることができる。
[変形例1]
なお、第1合成処理及び第2合成処理の具体例は、図7の例に限定されない。他の例として、第1制御部51は、図8に示されるように、画像データFに含まれる画像F、F、F、・・・と、画像データBに含まれる画像B、B、B、・・・とを交互に配列した合成映像F、B、F、B、F、B、・・・を生成してもよい。すなわち、第1制御部51は、第1合成処理において、複数の映像を空間的に合成してもよいし、複数の映像を時間的に合成してもよい。そして、第2制御部53は、第1合成映像データに含まれる画像F、Bと、映像データRに含まれる画像Rと、映像データLに含まれる画像Lとを合成して合成画像C’を生成すればよい。
[変形例2]
また、第1制御部51及び第2制御部53の間における映像データの通信経路は、有線に限定されない。他の例として、図9に示されるように、第1制御部51は第1無線通信部55を備え、第2制御部53は第2無線通信部56を備えてもよい。第1無線通信部55及び第2無線通信部56は、例えば、所定の無線通信プロトコルに準拠した無線信号及び映像データの一方から他方に変換する変換回路と、変換回路で変換した無線信号を送受信するアンテナとを備えるハードウェアである。無線通信プロトコルとしては、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ワイヤレスHDMI(登録商標)等を採用することができる。
そして、第1制御部51は、送信処理において、第1無線通信部55を通じて第2制御部53に第1合成映像データを無線送信してもよい。また、第2制御部53は、受信処理において、第2無線通信部56を通じて第1制御部51から第1合成映像データを無線送信してもよい。変形例2によれば、映像データ用の通信ケーブルをスリップリング50に追加することなく、下部走行体20に取り付けられたカメラ61、64の映像データを上部旋回体30に送信することができる。
また、変形例2によれば、映像データF、Bを合成した第1合成映像データが第1制御部51から第2制御部53に送信されるので、複数の映像データF、Bを確実に同期させることが可能になる。但し、映像データF、Bを同期させる具体的な方法は、映像データF、Bを合成することに限定されない。
他の例として、第1制御部51は、映像データFに含まれる各画像F、F、F、・・・それぞれに撮影時刻を示すタイムスタンプを付加し、タイムスタンプを付加した映像データFを第1無線通信部55を通じて第2制御部53に無線送信してもよい。これにより、画像にタイムスタンプが付加され、リアルタイム映像かどうかが判断可能となる。同様に、第1制御部51は、映像データBに含まれる各画像B、B、B、・・・それぞれに撮影時刻を示すタイムスタンプを付加し、タイムスタンプを付加した映像データBを第1無線通信部55を通じて第2制御部53に無線送信してもよい。画像にタイムスタンプを付加する処理は、付加処理の一例である。
第2制御部53は、タイムスタンプが付加された映像データF、Bを第2無線通信部56を通じて第1制御部51から無線受信する。また、第2制御部53は、映像データRに含まれる各画像R、R、R、・・・それぞれに撮影時刻を示すタイムスタンプを付加し、映像データLに含まれる各画像L、L、L、・・・それぞれに撮影時刻を示すタイムスタンプを付加する。そして、第2制御部53は、映像データF、B、R、Lに含まれる複数の画像のうち、同一時刻を示すタイムスタンプが付加された4つの画像を合成して合成映像を生成し、生成した合成映像をディスプレイ44に表示させればよい。
[その他の変形例]
カメラ61~64の取付位置及び数は、前述の例に限定されない。一例として、カメラ62、63は、下部走行体20に取り付けられていてもよい。下部走行体20にカメラ61~64が取り付けられている場合、第1制御部51は、映像データF、B、R、Lを合成して或いは同期させて、第2制御部53に送信すればよい。また、カメラ62、63は、省略されてもよい。さらには、下部走行体20及び上部旋回体30の任意の位置に、他のカメラがさらに取り付けられていてもよい。
また、ディスプレイ44に表示される映像は、俯瞰映像に限定されない。すなわち、第2制御部53は、ディスプレイ44を複数の領域に区画して、カメラ61~64それぞれで撮影された映像を各領域に表示させてもよい。この場合のカメラ61~64は、広角カメラである必要はなく、標準的な画角(例えば、25°~50°)のカメラであってもよい。さらに、カメラ61~64の取付位置及び数は前述の例に限定されず、例えば、下部走行体20のすぐ前、下部走行体20の左方等を重点的に撮影してもよい。
10・・・ラフテレーンクレーン
20・・・下部走行体
30・・・上部旋回体
32・・・伸縮ブーム
40・・・キャビン
42・・・第1操作部
43・・・第2操作部
44・・・ディスプレイ
50・・・スリップリング
51・・・第1制御部
53・・・第2制御部
55・・・第1無線通信部
56・・・第2無線通信部
61,62,63,64・・・カメラ


Claims (6)

  1. 走行体と、
    上記走行体に旋回可能に支持された作業体と、
    上記作業体に支持されたキャビンと、
    上記走行体に取り付けられた第1カメラ及び第2カメラと、
    上記キャビンの内部空間に配置されており、上記走行体を走行させ、且つ上記作業体を動作させるオペレータの操作を受け付ける操作部と、
    上記キャビンの内部空間に配置されたディスプレイと、
    上記走行体に取り付けられており、第1無線通信部を備える第1制御部と、
    上記作業体に取り付けられており、第2無線通信部を備える第2制御部とを備える作業車両であって、
    上記第1制御部は、上記第1カメラが撮影した第1映像に対応する第1映像データ及び上記第2カメラが撮影した第2映像に対応する第2映像データを同期させて、上記第1無線通信部を通じて上記第2制御部に無線送信する送信処理を実行し、
    上記第2制御部は、
    同期された上記第1映像データ及び上記第2映像データを、上記第2無線通信部を通じて上記第1制御部から無線受信する受信処理と、
    上記受信処理で受信した上記第1映像データ及び上記第2映像データで示される映像を纏めて上記ディスプレイに表示させる表示処理とを実行し、
    上記第1映像及び上記第2映像は、複数の画像を撮影順に配列したものであり、
    上記第1制御部は、
    上記第1映像及び上記第2映像に含まれる複数の上記画像それぞれに、当該画像の撮影時刻を示すタイムスタンプを付加する付加処理を実行し、
    上記送信処理において、上記付加処理で上記タイムスタンプを付加した第1映像に対応する第1映像データ及び第2映像に対応する第2映像データを、上記第1無線通信部を通じて上記第2制御部に無線送信する作業車両。
  2. 上記表示処理は、
    上記第1映像データに含まれる上記画像と、上記第2映像データに含まれる上記画像との2つの画像の合成を繰り返し実行して複数の合成画像を生成し、複数の当該合成画像を示す複数の合成画像データからなる合成映像データを生成する合成処理と、
    上記合成映像データを上記ディスプレイに入力する処理と、を有し、
    合成される2つの上記画像は、同一時刻を示す上記タイムスタンプが付加されている請求項1に記載の作業車両。
  3. 上記第1カメラは、上記走行体の前方に向けて上記走行体に取り付けられており、
    上記第2カメラは、上記走行体の後方に向けて上記走行体に取り付けられている請求項に記載の作業車両。
  4. 該作業車両は、
    上記作業体の右方に向けて上記作業体に取り付けられており、第3映像を示す第3映像データを上記第2制御部へ出力する第3カメラと、
    上記作業体の左方に向けて上記作業体に取り付けられており、第4映像を示す第4映像データを上記第2制御部へ出力する第4カメラと、を備え、
    上記第3映像及び上記第4映像は、複数の画像を撮影順に配列したものであり、
    上記第2制御部は、
    上記第3映像データ及び上記第4映像データを取得する処理と、
    取得した複数の上記画像にそれぞれ上記タイムスタンプを付加する処理と、をさらに実行し、
    上記表示処理は、
    上記第1映像データに含まれる上記画像と、上記第2映像データに含まれる上記画像と、上記第3映像データに含まれる上記画像と、上記第4映像データに含まれる上記画像との4つの画像の合成を繰り返し実行して複数の合成画像を生成し、複数の当該合成画像を示す複数の合成画像データからなる合成映像データを生成する合成処理と、
    上記合成映像データを上記ディスプレイに入力する処理と、を有し、
    合成される4つの上記画像は、同一時刻を示す上記タイムスタンプが付加されている請求項に記載の作業車両。
  5. 上記合成映像データが示す合成映像は、該作業車両の周囲を上方から俯瞰した映像である請求項に記載の作業車両。
  6. 上記第1無線通信部及び上記第2無線通信部は、Wi-Fi(登録商標)、Bluetooth(登録商標)、或いはワイヤレスHDMI(登録商標)に準拠した手順で無線通信する請求項1からのいずれかに記載の作業車両。

JP2017200984A 2017-10-17 2017-10-17 作業車両 Active JP7143578B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017200984A JP7143578B2 (ja) 2017-10-17 2017-10-17 作業車両
US16/754,546 US10919584B2 (en) 2017-10-17 2018-10-02 Work vehicle
EP18868136.5A EP3668088B1 (en) 2017-10-17 2018-10-02 Work vehicle
CN201880055801.4A CN111052734B (zh) 2017-10-17 2018-10-02 作业车辆
PCT/JP2018/036831 WO2019077993A1 (ja) 2017-10-17 2018-10-02 作業車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017200984A JP7143578B2 (ja) 2017-10-17 2017-10-17 作業車両

Publications (2)

Publication Number Publication Date
JP2019075712A JP2019075712A (ja) 2019-05-16
JP7143578B2 true JP7143578B2 (ja) 2022-09-29

Family

ID=66543387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017200984A Active JP7143578B2 (ja) 2017-10-17 2017-10-17 作業車両

Country Status (1)

Country Link
JP (1) JP7143578B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115362121A (zh) * 2020-03-27 2022-11-18 住友重机械建机起重机株式会社 施工机械及移动式起重机

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011151742A (ja) 2010-01-25 2011-08-04 Tadano Ltd 画像表示システム
JP2013142037A (ja) 2012-01-12 2013-07-22 Tadano Ltd 作業車用の吊荷監視カメラ装置
JP2014216797A (ja) 2013-04-24 2014-11-17 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP2015139158A (ja) 2014-01-23 2015-07-30 クラリオン株式会社 重機用周辺監視装置
WO2015122245A1 (ja) 2014-02-17 2015-08-20 日立建機株式会社 産業機械の監視画像表示装置
WO2016158265A1 (ja) 2015-03-31 2016-10-06 株式会社小松製作所 作業機械
WO2016174754A1 (ja) 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2016194237A (ja) 2015-03-31 2016-11-17 株式会社小松製作所 作業機械
JP2017047999A (ja) 2015-09-01 2017-03-09 株式会社タダノ 移動式クレーンの周囲表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011151742A (ja) 2010-01-25 2011-08-04 Tadano Ltd 画像表示システム
JP2013142037A (ja) 2012-01-12 2013-07-22 Tadano Ltd 作業車用の吊荷監視カメラ装置
JP2014216797A (ja) 2013-04-24 2014-11-17 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP2015139158A (ja) 2014-01-23 2015-07-30 クラリオン株式会社 重機用周辺監視装置
WO2015122245A1 (ja) 2014-02-17 2015-08-20 日立建機株式会社 産業機械の監視画像表示装置
WO2016158265A1 (ja) 2015-03-31 2016-10-06 株式会社小松製作所 作業機械
JP2016194237A (ja) 2015-03-31 2016-11-17 株式会社小松製作所 作業機械
WO2016174754A1 (ja) 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2017047999A (ja) 2015-09-01 2017-03-09 株式会社タダノ 移動式クレーンの周囲表示装置

Also Published As

Publication number Publication date
JP2019075712A (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
JP4977667B2 (ja) 作業機械の視野補助装置
JP5597596B2 (ja) 作業車両の周辺監視装置
JP5546427B2 (ja) 作業機械の周囲監視装置
JP5814187B2 (ja) 自走式産業機械の表示装置
US10661712B2 (en) Bird's-eye view image system, bird's-eye view image display method and program
CN111052734B (zh) 作业车辆
JP6321977B2 (ja) 重機用周辺監視装置
WO2017038183A1 (ja) 移動式クレーンの周囲表示装置
JP5495071B2 (ja) 車両周辺監視装置
JP5938292B2 (ja) 運搬車両の監視装置
JP6352797B2 (ja) 作業機械の周囲監視装置
JP6958216B2 (ja) 作業車両
JP7143578B2 (ja) 作業車両
CN113423543B (zh) 作业机械用显示系统
JP6713884B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP6988206B2 (ja) クレーン車
JP2019014585A (ja) クレーン車
WO2020256101A1 (ja) 画像システムおよび画像システムを備える作業車両
JP4608268B2 (ja) 画像生成方法および装置
JP7351478B2 (ja) 表示システム、遠隔操作システム、及び表示方法
JP2014222877A (ja) 作業車両の周辺監視装置
JP2023179496A (ja) 画像処理装置及び画像処理方法
JP2024025480A (ja) 操作支援装置、遠隔操作システムおよび自動運転システム
JP2023032997A (ja) 遠隔操作システム
JP2022103655A (ja) 移動体周囲モニタリング装置及び方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7143578

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150