JP6958216B2 - 作業車両 - Google Patents

作業車両 Download PDF

Info

Publication number
JP6958216B2
JP6958216B2 JP2017200982A JP2017200982A JP6958216B2 JP 6958216 B2 JP6958216 B2 JP 6958216B2 JP 2017200982 A JP2017200982 A JP 2017200982A JP 2017200982 A JP2017200982 A JP 2017200982A JP 6958216 B2 JP6958216 B2 JP 6958216B2
Authority
JP
Japan
Prior art keywords
control unit
video data
camera
image
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017200982A
Other languages
English (en)
Other versions
JP2019075711A (ja
Inventor
将史 高橋
洋幸 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd filed Critical Tadano Ltd
Priority to JP2017200982A priority Critical patent/JP6958216B2/ja
Priority to PCT/JP2018/036831 priority patent/WO2019077993A1/ja
Priority to CN201880055801.4A priority patent/CN111052734B/zh
Priority to EP18868136.5A priority patent/EP3668088B1/en
Priority to US16/754,546 priority patent/US10919584B2/en
Publication of JP2019075711A publication Critical patent/JP2019075711A/ja
Application granted granted Critical
Publication of JP6958216B2 publication Critical patent/JP6958216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

この発明は、自走可能な作業車両に関する。
一般的にラフテレーンクレーン等と呼ばれる作業車両は、走行体を走行させるための操作部と、旋回体及びブームを動作させる操作部とが同一のキャビン内に配置されている。また、作業車両は大型で死角が生じやすく、オペレータがキャビンから作業車両の周囲の状況を把握するのは容易でない。そこで、例えば特許文献1に記載の作業車両は、複数のカメラで撮影した作業車両の周囲の映像を、キャビン内のディスプレイに表示させる。これにより、キャビンに搭乗するオペレータは、作業車両の周囲の状況を適切に把握することができる。
特開2013−253402号公報
上記構成の作業車両において、キャビンを支持する旋回体が走行体上で旋回するので、走行体に取り付けられたカメラの映像をキャビン内で表示させようとすると、映像データを伝送する方法が課題となる。特に走行体に複数のカメラが取り付けられている場合に、例えば、通信ケーブルの引き回し方や、複数の映像データの同期させ方等を考慮することが必要となる。つまり、限られた通信ケーブルの中から上記映像データを伝送するケーブルを割り当てなければならないが、その場合に、車両制御に割り当てる通信ケーブルに制約が生じてしまうおそれがある。もっとも、上記映像データ専用ケーブルを設けることも考えれるが、ケーブル設置スペースやコストの面から無理がある。
本発明は、上記の事情に鑑みてなされたものであり、その目的は、走行体に取り付けられた複数のカメラの映像を、作業体に設けられたキャビン内で表示させる作業車両において、走行体及び作業体の間で映像データを適切に伝送する技術を提供することにある。
(1) 本発明に係る作業車両は、走行体と、上記走行体に旋回可能に支持された作業体と、上記作業体に支持されたキャビンと、上記走行体に取り付けられた第1カメラ及び第2カメラと、上記キャビンの内部空間に配置されており、上記走行体を走行させ、且つ上記作業体を動作させるオペレータの操作を受け付ける操作部と、上記キャビンの内部空間に配置されたディスプレイと、上記走行体に取り付けられた第1制御部と、上記作業体に取り付けられた第2制御部とを備える。上記第1制御部は、上記第1カメラが撮影した第1映像及び上記第2カメラが撮影した第2映像を合成して、合成映像を示す合成映像データを生成する第1合成処理と、上記第1合成処理で生成した上記合成映像データを、上記第2制御部に送信する送信処理とを実行する。上記第2制御部は、上記第1制御部から上記合成映像データを受信する受信処理と、上記受信処理で受信した上記合成映像データで示される上記合成映像を、上記ディスプレイに表示させる表示処理とを実行する。
上記構成によれば、複数のカメラで撮影した映像を合成した合成映像データを、走行体及び作業体の間で送信するので、複数の映像データを別々に送信する場合と比較して、例えば以下のような効果が期待できる。一例として、映像データを有線送信する場合に、走行体及び作業体の間に設けられたスリップリングに追加する通信ケーブルの数を削減することができる。他の例として、映像データを無線送信する場合に、複数の映像データを確実に同期させることが可能となる。
(2) 一例として、上記第1映像及び上記第2映像は、複数の画像を撮影順に配列したものである。上記第1制御部は、上記第1合成処理において、上記第1映像及び上記第2映像の互いに対応する前記画像を合成した複数の合成画像を撮影順に配列した前記合成映像を生成する。
(3) 他の例として、上記第1映像及び上記第2映像は、複数の画像を撮影順に配列したものである。上記第1制御部は、上記第1合成処理において、上記第1映像に含まれる前記画像と、上記第2映像に含まれる前記画像とを交互に配列した前記合成映像を生成する。
(4) 好ましくは、上記第1カメラは、上記走行体の前方に向けて上記走行体に取り付けられている。上記第2カメラは、上記走行体の後方に向けて上記走行体に取り付けられている。
(5) さらに好ましくは、該作業車両は、上記作業体の右方に向けて上記作業体に取り付けられた第3カメラと、上記作業体の左方に向けて上記作業体に取り付けられた第4カメラとを備える。上記第2制御部は、上記受信処理で受信した上記合成映像データで示される上記合成映像に、上記第3カメラが撮影した第3映像及び上記第4カメラが撮影した第4映像をさらに合成する第2合成処理を実行し、上記表示処理において、上記第2合成処理で上記第3映像及び上記第4映像を合成した上記合成映像を、上記ディスプレイに表示させる。
(6) さらに好ましくは、上記第2制御部は、上記第2合成処理において、上記第1映像と、上記第2映像と、上記第3映像と、上記第4映像とを用いて、該作業車両の周囲を上方から俯瞰した上記合成映像を生成する。
上記構成によれば、キャビンに搭乗するオペレータは、作業車両の周囲の状況を適切に把握して、走行体を走行させ、作業体を動作させることができる。
(7) 一例として、上記第1制御部及び上記第2制御部は、上記走行体及び上記作業体の間に設けられたスリップリングを通る通信ケーブルによって有線接続されている。上記第1制御部は、上記送信処理において、上記通信ケーブルを通じて上記第2制御部に上記合成映像データを送信する。上記第2制御部は、上記受信処理において、上記通信ケーブルを通じて上記第1制御部から上記合成映像データを受信する。
(8) 他の例として、上記第1制御部は、第1無線通信部を備える。上記第2制御部は、第2無線通信部を備える。上記第1制御部は、上記送信処理において、上記第1無線通信部を通じて上記第2制御部に上記合成映像データを無線送信する。上記第2制御部は、上記受信処理において、上記第2無線通信部を通じて上記第1制御部から上記合成映像データを無線受信する。
本発明によれば、複数のカメラで撮影した映像を合成した合成映像データを、走行体及び作業体の間で送信するので、スリップリングに追加する通信ケーブルの数が削減されたり、複数の映像データを確実に同期させることが可能となる。その結果、複数のカメラが撮影した映像信号同士が干渉が抑えられ、画質が向上する。
図1は、実施形態に係るラフテレーンクレーン10の斜視図である。 図2は、実施形態に係るラフテレーンクレーン10の平面図である。 図3は、キャビン40内の構成要素の配置図である。 図4は、実施形態に係るラフテレーンクレーン10のブロック図である。 図5は、交差点に進入するラフテレーンクレーン10を示す平面図である。 図6は、図5のラフテレーンクレーン10のディスプレイ44の表示例である。 図7は、映像データF、B、R、Lを合成して、第2合成映像データを生成する方法の一例を説明するための図である。 図8は、映像データF、B、R、Lを合成して、第2合成映像データを生成する方法の他の例を説明するための図である。 図9は、変形例2に係るラフテレーンクレーン10のブロック図である。
以下、本発明の好ましい実施形態が、適宜図面が参照されつつ説明される。なお、本実施形態は、本発明の一態様にすぎず、本発明の要旨を変更しない範囲で実施態様が変更されてもよいことは言うまでもない。また、下記の実施形態及び変形例は、任意の組み合わせで組み合わせることができる。
[ラフテレーンクレーン10]
本実施形態に係るラフテレーンクレーン10は、図1及び図2に示されるように、下部走行体20と、上部旋回体30とを主に備える。ラフテレーンクレーン10は、下部走行体20によって目的地まで走行し、当該目的地で上部旋回体30に所定の動作をさせるものである。ラフテレーンクレーン10は、作業車両の一例である。
[下部走行体20]
下部走行体20は、左右一対の前輪21と、左右一対の後輪22とを有する。前輪21は、後述するステアリング42Bによって操舵される操舵輪である。後輪22は、トランスミッション(図示省略)を介して伝達されるエンジン(図示省略)の駆動力によって回転される駆動輪である。
また、下部走行体20は、アウトリガ23、24を有する。アウトリガ23は下部走行体20の前端に配置され、アウトリガ24は下部走行体20の後端に配置される。アウトリガ23、24は、下部走行体20から左右方向に張り出した位置において地面に接地する張出状態と、地面から離間した状態で下部走行体20に格納される格納状態とに状態変化が可能である。上部旋回体30の動作時にアウトリガ23、24を張出状態とすることにより、ラフテレーンクレーン10の姿勢が安定する。一方、アウトリガ23、24は、下部走行体20の走行時に格納状態とされる。
[上部旋回体30]
上部旋回体30は、旋回ベアリング(図示省略)を介して下部走行体20に旋回可能に支持されている。上部旋回体30は、旋回モータ71(図4参照)の駆動力が伝達されて旋回する。上部旋回体30の旋回角度は、例えば、下部走行体20の前進方向を0°としたときの時計回り方向の角度で表される。上部旋回体30は、伸縮ブーム32と、フック33と、キャビン40とを主に備える。上部旋回体30、伸縮ブーム32、及びフック33は、作業体の一例である。
伸縮ブーム32は、起伏シリンダ72(図2及び図4参照)によって起伏され、伸縮シリンダ73(図4参照)によって伸縮される。伸縮ブーム32の基端32Aは、下部走行体20の前端及び後端の間において、上部旋回体30に支持されている。また、図2に示されるように、伸縮ブーム32を最も倒伏させ且つ最も短くした状態において、伸縮ブーム32の先端32Bは、下部走行体20の前端より前方に位置している。以下、上部旋回体30の旋回角度が0°で、伸縮ブーム32を最も倒伏させ、且つ伸縮ブーム32を最も短くした状態を、ラフテレーンクレーン10の走行姿勢と表記する。すなわち、ラフテレーンクレーン10の走行姿勢において、伸縮ブーム32は、下部走行体20の前端より前方にまで延設されている。
また、伸縮ブーム32の先端32Bには、作業半径及び作業高さを延伸させるためのジブ(図示省略)が着脱可能であってもよい。フック33は、伸縮ブーム32の先端32B或いはジブの先端にワイヤ38によって吊り下げられており、ワイヤ38を巻き取り或いは繰り出すウインチ74(図4参照)によって昇降される。
[キャビン40]
キャビン40は、ラフテレーンクレーン10を操作するオペレータが搭乗するための内部空間を有する箱型である。キャビン40は、下部走行体20の前端より後方で且つ伸縮ブーム32の基端32Aより前方において、上部旋回体30に支持されている。また、キャビン40は、伸縮ブーム32の右隣に配置されている。但し、伸縮ブーム32及びキャビン40の位置関係は前述の例に限定されず、伸縮ブーム32の左隣にキャビン40が配置されていてもよい。キャビン40の内部空間には、図3に示されるように、座席41と、第1操作部42と、第2操作部43と、ディスプレイ44とが収容されている。
第1操作部42は、下部走行体20を走行させるためのオペレータの指示を受け付ける。より詳細には、第1操作部42は、複数のペダル42Aと、ステアリング42Bとを主に備える。ペダル42Aは、下部走行体20を加速或いは減速させる指示を受け付けるものであって、アクセルペダル、ブレーキペダル、クラッチペダル等である。ステアリング42Bは、下部走行体20の進行方向を指示する操作を受け付けるものである。第1操作部42の構成は既に周知なので、詳細な説明は省略する。
第2操作部43は、アウトリガ23、24を状態変化させ、上部旋回体30を旋回させ、伸縮ブーム32を伸縮及び起伏させ、フック33を昇降させる指示を受け付ける。第2操作部43は、例えば、レバー43A、ペダル43B、或いはスイッチ(図示省略)等によって構成される。第2操作部43の構成は既に周知なので、詳細な説明は省略する。
ディスプレイ44は、キャビン40内において、左右方向の中央より左方に偏った位置に配置されている。より詳細には、ディスプレイ44は、ステアリング42Bの左隣に配置されている。ディスプレイ44は、ラフテレーンクレーン10の状態を表示する。より詳細には、ディスプレイ44は、下部走行体20の速度、アウトリガ23、24の状態、上部旋回体30の旋回角、伸縮ブーム32の伸縮長さ及び起伏角等を表示する。さらに、ディスプレイ44は、後述するカメラ61〜64が撮影した映像を表示する。
座席41に座ったオペレータは、第1操作部42及び第2操作部43を操作することができ、且つディスプレイ44に表示された情報を視認することができる。より詳細には、オペレータは、座席41に座った状態で、下部走行体20を走行させることができ、上部旋回体30及び伸縮ブーム32を動作させることができる。また、ラフテレーンクレーン10の走行姿勢において、伸縮ブーム32の上端は、座席41に座ったオペレータの視線より高い位置にある。すなわち、走行姿勢のラフテレーンクレーン10の座席41に座ったオペレータは、下部走行体20のすぐ前と、下部走行体20の左側とが見難い状態で、ラフテレーンクレーン10を走行させなければならない。
[カメラ61〜64]
カメラ61〜64は、被写体を撮影して映像データを生成する。換言すれば、カメラ61〜64は、映像(動画像)を示す映像データを生成する。カメラ61〜64は、俯瞰画像を生成するために用いる広角(例えば、80°〜240°)のカメラであるのが望ましい。カメラ61〜64は、図1及び図2に示されるように、ラフテレーンクレーン10の各部に取り付けられて、互いに異なる向きに向けられている。なお、カメラ61〜64の位置及び向きを明らかにするために、図1及び図2にはカメラ61〜64を大きく図示しているが、小型のカメラが望ましい。
カメラ61は、下部走行体20の前端で且つ左右方向の中央に取り付けられている。また、カメラ61は、最も倒伏した伸縮ブーム32より下方に取り付けられている。本実施形態に係るカメラ61はフロントバンパーに取り付けられているが、カメラ61の具体的な取付位置はこれに限定されない。そして、カメラ61は、ラフテレーンクレーン10の前方に向けられている。すなわち、カメラ61は、80°〜240°の画角でラフテレーンクレーン10の前方を撮影している。カメラ61は第1カメラの一例であり、カメラ61が撮影する映像は第1映像の一例である。
カメラ62は、上部旋回体30の右端に取り付けられている。本実施形態に係るカメラ62はキャビン40の後方に取り付けられているが、カメラ62の具体的な取付位置はこれに限定されない。そして、カメラ62は、走行姿勢のラフテレーンクレーン10の右方に向けられている。すなわち、カメラ62は、80°〜240°の画角でラフテレーンクレーン10の右方を撮影している。カメラ62は、第3カメラの一例であり、カメラ62が撮影する映像は第3映像の一例である。
カメラ63は、上部旋回体30の左端に取り付けられている。本実施形態に係るカメラ63は前後方向においてカメラ62と同じ位置に取り付けられているが、カメラ63の具体的な取付位置はこれに限定されない。そして、カメラ63は、走行姿勢のラフテレーンクレーン10の左方に向けられている。すなわち、カメラ63は、80°〜240°の画角でラフテレーンクレーン10の左方を撮影している。カメラ62は、第4カメラの一例であり、カメラ62が撮影する映像は第4映像の一例である。
カメラ64は、下部走行体20の後端で且つ左右方向の中央に取り付けられている。カメラ64は、例えば、カウンタウェイト(図示省略)を支持するウェイト支持部に取り付けられていてもよい。カメラ64は、ラフテレーンクレーン10の後方に向けられている。すなわち、カメラ64は、80°〜240°の画角でラフテレーンクレーン10の後方を撮影している。カメラ64は、第2カメラの一例であり、カメラ64が撮影する映像は第2映像の一例である。
[第1制御部51、第2制御部53]
ラフテレーンクレーン10は、図4に示されるように、第1制御部51と、第1記憶部52と、第2制御部53と、第2記憶部54とを備える。第1制御部51及び第1記憶部52は、下部走行体20に設けられている。第2制御部53及び第2記憶部54は、上部旋回体30に設けられている。そして、第1制御部51及び第2制御部53は、スリップリング50を通る複数の通信ケーブル(図示省略)によって相互に接続されている。
第1制御部51及び第2制御部53は、ラフテレーンクレーン10の動作を制御する。第1制御部51及び第2制御部53は、第1記憶部52及び第2記憶部54に記憶されたプログラムを実行するCPU(Central Processing Unit)によって実現されてもよいし、ハードウェア回路によって実現されてもよいし、これらの組み合わせであってもよい。第1記憶部52及び第2記憶部54は、CPUによって実行されるプログラム、及びプログラムの実行中に一時記憶される各種情報を記憶する。
第1制御部51は、カメラ61、64の動作を制御する。すなわち、第1制御部51は、カメラ61、64に撮影を開始させ、カメラ61、64が生成した第1映像データ(以下、「映像データF」と表記する。)及び第2映像データ(以下、「映像データB」と表記する。)を取得する。また、第1制御部51は、カメラ61、64から取得した映像データB、Fを合成して第1合成映像データを生成し、生成した第1合成映像データをスリップリング50を通る通信ケーブルを通じて第2制御部53に送信する。第1合成映像データを生成する処理の詳細は、後述する。
第2制御部53は、スリップリング50を通る通信ケーブルを通じて第1制御部51から第1合成データを受信する。また、第2制御部53は、カメラ62、63の動作を制御する。すなわち、第2制御部53は、カメラ62、63に撮影を開始させ、カメラ62、63が生成した第3映像データ(以下、「映像データR」と表記する。)及び第4映像データ(以下、「映像データL」と表記する。)を取得する。さらに、第2制御部53は、第1合成データと、映像データRと、映像データLとを合成して第2合成映像データを生成し、第2合成映像データで示される第2合成映像をディスプレイ44に表示させる。第2合成映像データを生成する処理の詳細は、後述する。
また、第2制御部53は、第1操作部42及び第2操作部43から出力される操作信号を取得する。そして、第2制御部53は、第2操作部43から出力される操作信号に従って、供給する作動油の方向及び流量を制御することによって、旋回モータ71、起伏シリンダ72、伸縮シリンダ73、及びウインチ74等のアクチュエータを動作させる。但し、本発明のアクチュエータは油圧式に限定されず、電動式等であってもよい。また図示は省略するが、第2制御部53は、第1操作部42から出力される操作信号に従って、前輪21の舵角を変更し、エンジンの回転数を制御し、ブレーキ(図示省略)を作動させる。
さらに、第2制御部53は、上部旋回体30の旋回角度を検出する旋回角センサ(図示省略)、伸縮ブーム32の起伏角度を検出する起伏角センサ(図示省略)、伸縮ブーム32の伸縮長さを検出する長さセンサ、及びウインチ74によるワイヤ38の操出長さを検出するワイヤセンサから出力される検出信号を取得する。そして、第2制御部53は、上部旋回体30の旋回角度、伸縮ブーム32の起伏角度、伸縮ブーム32の伸縮長さ、及びワイヤ38の操出長さを、各種センサから取得した検出信号に基づいて把握する。
図5は、前進走行中のラフテレーンクレーン10が交差点に進入する状態を示す平面図である。図5のラフテレーンクレーン10の周囲には、左前方の横断歩道を横断中の人81と、左側を併走する自転車82とが存在している。しかしながら、図5のラフテレーンクレーン10のキャビン40に搭乗するオペレータは、伸縮ブーム32が邪魔になって、人81及び自転車82を視認することができない。
図6は、図5に示されるラフテレーンクレーン10のディスプレイ44に表示される映像である。図5に示される映像は、カメラ61〜64が撮影した映像を合成したものである。より詳細には、図5に示される映像は、ラフテレーンクレーン10の周囲を上方から俯瞰した俯瞰映像である。以下、図5に示される映像をディスプレイ44に表示させるための第1制御部51及び第2制御部53の動作を、図7を参照して説明する。
まず、第1制御部51及び第2制御部53は、カメラ61〜64に同時に撮影を開始させる。第2制御部53は、例えば、ディスプレイ44に映像を表示させる指示を第2操作部43を通じて受け付けたことに応じて、第1制御部51を通じてカメラ61、64に撮影開始を指示すると共に、カメラ62、63に撮影開始を指示する。但し、カメラ61〜64の撮影開始のトリガは前述の例に限定されず、例えば、エンジンが始動されたタイミングでもよいし、アウトリガ23、24が格納状態及び張出状態の一方から他方に状態変化したタイミングでもよい。
カメラ61〜64が撮影する映像は、例えば図7及び図8に示されるように、撮影順に配列された複数の画像(すなわち、静止画像)によって構成される。カメラ61〜64は、所定の時間間隔(例えば、1/60秒間隔)で撮影した複数の画像を含む映像データを、第1制御部51及び第2制御部53に出力する。換言すれば、第1制御部51は、撮影順に配列された複数の画像F、F、F、・・・を含む映像データFをカメラ61から取得し、撮影順に配列された複数の画像B、B、B、・・・を含む映像データBをカメラ64から取得する。また、第2制御部53は、撮影順に配列された複数の画像R、R、R、・・・を含む映像データRをカメラ62から取得し、撮影順に配列された複数の画像L、L、L、・・・を含む映像データLをカメラ63から取得する。
次に、第1制御部51は、映像データFで示される映像と、映像データBで示される映像とを合成して、第1合成映像を示す第1合成映像データを生成する。より詳細には、第1制御部51は、映像データF、Bの対応する画像を合成して合成画像を生成し、生成した複数の合成画像を撮影順に配列して第1合成映像データを生成する。対応する画像とは、例えば、映像データF、Bそれぞれに含まれる複数の画像のうち、撮影順が同一の画像、或いは同一時刻に撮影された画像等を指す。第1合成映像データを生成する処理は、第1合成処理の一例である。第1合成処理で生成される合成画像は、ラフテレーンクレーン10の前方及び後方を上方から俯瞰した俯瞰画像である。俯瞰画像を生成するアルゴリズムは周知なので詳細な説明は省略するが、例えば以下の方法が考えられる。
まず、第1制御部51は、画像F、Bの各画素の座標値にレンズ歪み係数やアスペクト比等に基づく係数を乗じて、レンズによる歪みを補正する補正処理を実行する。また、第1制御部51は、画像F、Bの各画素の座標値にカメラ取付角等に基づく種々の係数を乗じて、ラフテレーンクレーン10の上方に設定した仮想視点から見下ろした画像(個別の俯瞰画像)に変換する俯瞰処理を実行する。そして、第1制御部51は、ラフテレーンクレーン10の形状を模したクレーン画像を中央に配置し、俯瞰処理で変換した画像Fをクレーン画像の上方に配置し、俯瞰処理で変換した画像Bをクレーン画像の下方に配置して、画像F、Bを合成した合成画像Cを生成する、合成画像C、Cを生成する方法も同様である。
次に、第1制御部51は、第1合成処理で生成した第1合成映像データを、スリップリング50を通る通信ケーブルを通じて第2制御部53に送信する。この処理は、送信処理の一例である。次に、第2制御部53は、通信ケーブルを通じて第1制御部51から第1合成映像データを受信する。この処理は、受信処理の一例である。次に、第2制御部53は、第1合成映像データで示される映像と、映像データRで示される映像と、映像データLで示される映像とを合成して、第2合成映像を示す第2合成映像データを生成する。この処理は、第2合成処理の一例である。以下、第1合成処理との共通点の詳細な説明は省略して、相違点を中心に説明する。
第2制御部53は、第1合成映像データ及び映像データR、Lの対応する画像を合成して合成画像を生成し、生成した複数の合成画像を撮影順に配列した第2合成映像データを生成する。すなわち、第2制御部53は、画像R、Lに対して補正処理及び俯瞰処理を実行する。そして、第2制御部53は、合成画像Cのクレーン画像の右方に俯瞰処理で変換した画像Rを配置し、合成画像Cのクレーン画像の左方に俯瞰処理で変換した画像Lを配置して、合成画像C及び画像R、Lを合成した合成画像C’を生成する。合成画像C’、C’を生成する方法も同様である。
そして、第2制御部53は、第2合成処理で生成した合成画像C’、C’、C’、・・・を含む第2合成映像をディスプレイ44に表示させる。この処理は、表示処理の一例である。第1合成処理、送信処理、受信処理、第2合成処理、及び表示処理は、並行して実行される。すなわち、カメラ61〜64によって撮影された画像がリアルタイムで合成されて、ディスプレイ44に表示される。これにより、オペレータは、ラフテレーンクレーン10の周囲の状況を、キャビン40内でリアルタイムに把握することができる。
[実施形態の作用効果]
上記の実施形態によれば、複数のカメラ61、64で撮影した映像を合成した第1合成映像データを、下部走行体20及び上部旋回体30の間で有線送信するので、複数の映像データF、Bを別々に有線送信する場合と比較して、スリップリング50に追加する通信ケーブルの数を削減することができる。これにより、通信ケーブルの架装スペースが縮小すると共にコストダウンが図られる。加えて、複数のカメラ61,64が出力する映像信号同士の干渉が抑えられ、画質が向上するという利点もある。
また、上記の実施形態では、カメラ61〜64で撮影した映像が俯瞰画像に変換されてディスプレイ44に表示される。これにより、キャビン40に搭乗するオペレータは、ラフテレーンクレーン10の周囲の状況を適切に把握して、下部走行体20を走行させ、アウトリガ23、24を状態変化させ、上部旋回体30を旋回させ、伸縮ブーム32を起伏及び伸縮させ、フック33を昇降させることができる。
[変形例1]
なお、第1合成処理及び第2合成処理の具体例は、図7の例に限定されない。他の例として、第1制御部51は、図8に示されるように、画像データFに含まれる画像F、F、F、・・・と、画像データBに含まれる画像B、B、B、・・・とを交互に配列した合成映像F、B、F、B、F、B、・・・を生成してもよい。すなわち、第1制御部51は、第1合成処理において、複数の映像を空間的に合成してもよいし、複数の映像を時間的に合成してもよい。そして、第2制御部53は、第1合成映像データに含まれる画像F、Bと、映像データRに含まれる画像Rと、映像データLに含まれる画像Lとを合成して合成画像C’を生成すればよい。
[変形例2]
また、第1制御部51及び第2制御部53の間における映像データの通信経路は、有線に限定されない。他の例として、図9に示されるように、第1制御部51は第1無線通信部55を備え、第2制御部53は第2無線通信部56を備えてもよい。第1無線通信部55及び第2無線通信部56は、例えば、所定の無線通信プロトコルに準拠した無線信号及び映像データの一方から他方に変換する変換回路と、変換回路で変換した無線信号を送受信するアンテナとを備えるハードウェアである。無線通信プロトコルとしては、例えば、Wi−Fi(登録商標)、Bluetooth(登録商標)、ワイヤレスHDMI(登録商標)等を採用することができる。
そして、第1制御部51は、送信処理において、第1無線通信部55を通じて第2制御部53に第1合成映像データを無線送信してもよい。また、第2制御部53は、受信処理において、第2無線通信部56を通じて第1制御部51から第1合成映像データを無線送信してもよい。変形例2によれば、映像データ用の通信ケーブルをスリップリング50に追加することなく、下部走行体20に取り付けられたカメラ61、64の映像データを上部旋回体30に送信することができる。
また、変形例2によれば、映像データF、Bを合成した第1合成映像データが第1制御部51から第2制御部53に送信されるので、複数の映像データF、Bを確実に同期させることが可能になる。但し、映像データF、Bを同期させる具体的な方法は、映像データF、Bを合成することに限定されない。
他の例として、第1制御部51は、映像データFに含まれる各画像F、F、F、・・・それぞれに撮影時刻を示すタイムスタンプを付加し、タイムスタンプを付加した映像データFを第1無線通信部55を通じて第2制御部53に無線送信してもよい。同様に、第1制御部51は、映像データBに含まれる各画像B、B、B、・・・それぞれに撮影時刻を示すタイムスタンプを付加し、タイムスタンプを付加した映像データBを第1無線通信部55を通じて第2制御部53に無線送信してもよい。画像にタイムスタンプを付加する処理は、付加処理の一例である。
第2制御部53は、タイムスタンプが付加された映像データF、Bを第2無線通信部56を通じて第1制御部51から無線受信する。また、第2制御部53は、映像データRに含まれる各画像R、R、R、・・・それぞれに撮影時刻を示すタイムスタンプを付加し、映像データLに含まれる各画像L、L、L、・・・それぞれに撮影時刻を示すタイムスタンプを付加する。そして、第2制御部53は、映像データF、B、R、Lに含まれる複数の画像のうち、同一時刻を示すタイムスタンプが付加された4つの画像を合成して合成映像を生成し、生成した合成映像をディスプレイ44に表示させればよい。
[その他の変形例]
カメラ61〜64の取付位置及び数は、前述の例に限定されない。一例として、カメラ62、63は、下部走行体20に取り付けられていてもよい。下部走行体20にカメラ61〜64が取り付けられている場合、第1制御部51は、映像データF、B、R、Lを合成して或いは同期させて、第2制御部53に送信すればよい。また、カメラ62、63は、省略されてもよい。さらには、下部走行体20及び上部旋回体30の任意の位置に、他のカメラがさらに取り付けられていてもよい。
また、ディスプレイ44に表示される映像は、俯瞰映像に限定されない。すなわち、第2制御部53は、ディスプレイ44を複数の領域に区画して、カメラ61〜64それぞれで撮影された映像を各領域に表示させてもよい。この場合のカメラ61〜64は、広角カメラである必要はなく、標準的な画角(例えば、25°〜50°)のカメラであってもよい。さらに、カメラ61〜64の取付位置及び数は前述の例に限定されず、例えば、下部走行体20のすぐ前、下部走行体20の左方等を重点的に撮影してもよい。
10・・・ラフテレーンクレーン
20・・・下部走行体
30・・・上部旋回体
32・・・伸縮ブーム
40・・・キャビン
42・・・第1操作部
43・・・第2操作部
44・・・ディスプレイ
50・・・スリップリング
51・・・第1制御部
53・・・第2制御部
55・・・第1無線通信部
56・・・第2無線通信部
61,62,63,64・・・カメラ

Claims (8)

  1. 走行体と、
    上記走行体に旋回可能に支持された作業体と、
    上記作業体に支持されたキャビンと、
    上記走行体に取り付けられた第1カメラ及び第2カメラと、
    上記キャビンの内部空間に配置されており、上記走行体を走行させ、且つ上記作業体を動作させるオペレータの操作を受け付ける操作部と、
    上記キャビンの内部空間に配置されたディスプレイと、
    上記走行体に取り付けられた第1制御部と、
    上記作業体に取り付けられた第2制御部とを備える作業車両であって、
    上記第1制御部は、
    上記第1カメラが撮影した第1映像及び上記第2カメラが撮影した第2映像を合成して、合成映像を示す合成映像データを生成する第1合成処理と、
    上記第1合成処理で生成した上記合成映像データを、上記第2制御部に送信する送信処理とを実行し、
    上記第2制御部は、
    上記第1制御部から上記合成映像データを受信する受信処理と、
    上記受信処理で受信した上記合成映像データで示される上記合成映像を、上記ディスプレイに表示させる表示処理とを実行する作業車両。
  2. 上記第1映像及び上記第2映像は、複数の画像を撮影順に配列したものであり、
    上記第1制御部は、上記第1合成処理において、上記第1映像及び上記第2映像の互いに対応する前記画像を合成した複数の合成画像を撮影順に配列した前記合成映像を生成する請求項1に記載の作業車両。
  3. 上記第1映像及び上記第2映像は、複数の画像を撮影順に配列したものであり、
    上記第1制御部は、上記第1合成処理において、上記第1映像に含まれる前記画像と、上記第2映像に含まれる前記画像とを交互に配列した前記合成映像を生成する請求項1に記載の作業車両。
  4. 上記第1カメラは、上記走行体の前方に向けて上記走行体に取り付けられており、
    上記第2カメラは、上記走行体の後方に向けて上記走行体に取り付けられている請求項1から3のいずれかに記載の作業車両。
  5. 該作業車両は、
    上記作業体の右方に向けて上記作業体に取り付けられた第3カメラと、
    上記作業体の左方に向けて上記作業体に取り付けられた第4カメラとを備えており、
    上記第2制御部は、
    上記受信処理で受信した上記合成映像データで示される上記合成映像に、上記第3カメラが撮影した第3映像及び上記第4カメラが撮影した第4映像をさらに合成する第2合成処理を実行し、
    上記表示処理において、上記第2合成処理で上記第3映像及び上記第4映像を合成した上記合成映像を、上記ディスプレイに表示させる請求項4に記載の作業車両。
  6. 上記第2制御部は、上記第2合成処理において、上記第1映像と、上記第2映像と、上記第3映像と、上記第4映像とを用いて、該作業車両の周囲を上方から俯瞰した上記合成映像を生成する請求項5に記載の作業車両。
  7. 上記第1制御部及び上記第2制御部は、上記走行体及び上記作業体の間に設けられたスリップリングを通る通信ケーブルによって有線接続されており、
    上記第1制御部は、上記送信処理において、上記通信ケーブルを通じて上記第2制御部に上記合成映像データを送信し、
    上記第2制御部は、上記受信処理において、上記通信ケーブルを通じて上記第1制御部から上記合成映像データを受信する請求項1から6のいずれかに記載の作業車両。
  8. 上記第1制御部は、第1無線通信部を備えており、
    上記第2制御部は、第2無線通信部を備えており、
    上記第1制御部は、上記送信処理において、上記第1無線通信部を通じて上記第2制御部に上記合成映像データを無線送信し、
    上記第2制御部は、上記受信処理において、上記第2無線通信部を通じて上記第1制御部から上記合成映像データを無線受信する請求項1から6のいずれかに記載の作業車両。
JP2017200982A 2017-10-17 2017-10-17 作業車両 Active JP6958216B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017200982A JP6958216B2 (ja) 2017-10-17 2017-10-17 作業車両
PCT/JP2018/036831 WO2019077993A1 (ja) 2017-10-17 2018-10-02 作業車両
CN201880055801.4A CN111052734B (zh) 2017-10-17 2018-10-02 作业车辆
EP18868136.5A EP3668088B1 (en) 2017-10-17 2018-10-02 Work vehicle
US16/754,546 US10919584B2 (en) 2017-10-17 2018-10-02 Work vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017200982A JP6958216B2 (ja) 2017-10-17 2017-10-17 作業車両

Publications (2)

Publication Number Publication Date
JP2019075711A JP2019075711A (ja) 2019-05-16
JP6958216B2 true JP6958216B2 (ja) 2021-11-02

Family

ID=66543337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017200982A Active JP6958216B2 (ja) 2017-10-17 2017-10-17 作業車両

Country Status (1)

Country Link
JP (1) JP6958216B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256101A1 (ja) * 2019-06-20 2020-12-24 株式会社タダノ 画像システムおよび画像システムを備える作業車両
JP7467294B2 (ja) 2020-09-14 2024-04-15 株式会社加藤製作所 建設機械

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5462008B2 (ja) * 2010-01-25 2014-04-02 株式会社タダノ 画像表示システム
JP2013142037A (ja) * 2012-01-12 2013-07-22 Tadano Ltd 作業車用の吊荷監視カメラ装置
JP6321977B2 (ja) * 2014-01-23 2018-05-09 クラリオン株式会社 重機用周辺監視装置
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
CN107406035B (zh) * 2015-03-31 2020-09-25 株式会社小松制作所 工程作业机械
JP2016194237A (ja) * 2015-03-31 2016-11-17 株式会社小松製作所 作業機械
JPWO2016174754A1 (ja) * 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6589468B2 (ja) * 2015-09-01 2019-10-16 株式会社タダノ 移動式クレーンの周囲表示装置

Also Published As

Publication number Publication date
JP2019075711A (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
CA2808260C (en) Work vehicle periphery monitoring apparatus
EP1916846B1 (en) Device and method for monitoring vehicle surroundings
JP5814187B2 (ja) 自走式産業機械の表示装置
JP6321977B2 (ja) 重機用周辺監視装置
US10661712B2 (en) Bird's-eye view image system, bird's-eye view image display method and program
CN111052734B (zh) 作业车辆
WO2019189430A1 (ja) 建設機械
WO2017038183A1 (ja) 移動式クレーンの周囲表示装置
JP5938292B2 (ja) 運搬車両の監視装置
JP6958216B2 (ja) 作業車両
JP6765312B2 (ja) 作業車遠隔制御システム
WO2014103272A1 (ja) カメラシステム、カメラモジュールおよびカメラ制御方法
JP7143578B2 (ja) 作業車両
JP7099358B2 (ja) 作業機械用表示システム
JP2019189422A (ja) クレーン車
JP4449537B2 (ja) 車外情報表示装置
JP6988206B2 (ja) クレーン車
JP6713884B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2019014585A (ja) クレーン車
WO2020256101A1 (ja) 画像システムおよび画像システムを備える作業車両
JP7055158B2 (ja) 作業車
JP2022103655A (ja) 移動体周囲モニタリング装置及び方法並びにプログラム
JP6787729B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2023179496A (ja) 画像処理装置及び画像処理方法
JP2024025480A (ja) 操作支援装置、遠隔操作システムおよび自動運転システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R150 Certificate of patent or registration of utility model

Ref document number: 6958216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150