JP6756555B2 - 俯瞰画像システム、俯瞰画像表示方法およびプログラム - Google Patents

俯瞰画像システム、俯瞰画像表示方法およびプログラム Download PDF

Info

Publication number
JP6756555B2
JP6756555B2 JP2016176872A JP2016176872A JP6756555B2 JP 6756555 B2 JP6756555 B2 JP 6756555B2 JP 2016176872 A JP2016176872 A JP 2016176872A JP 2016176872 A JP2016176872 A JP 2016176872A JP 6756555 B2 JP6756555 B2 JP 6756555B2
Authority
JP
Japan
Prior art keywords
bird
eye view
image
view image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016176872A
Other languages
English (en)
Other versions
JP2018042207A (ja
Inventor
敬樹 石原
敬樹 石原
啓二 佐藤
啓二 佐藤
秀幸 東
秀幸 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Tadano Ltd filed Critical Clarion Co Ltd
Priority to JP2016176872A priority Critical patent/JP6756555B2/ja
Priority to EP17848892.0A priority patent/EP3512194B1/en
Priority to PCT/JP2017/032534 priority patent/WO2018047954A1/ja
Priority to CN201780053672.0A priority patent/CN109661813B/zh
Priority to US16/329,420 priority patent/US10661712B2/en
Publication of JP2018042207A publication Critical patent/JP2018042207A/ja
Application granted granted Critical
Publication of JP6756555B2 publication Critical patent/JP6756555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88Safety gear
    • B66C23/90Devices for indicating or limiting lifting moment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88Safety gear
    • B66C23/90Devices for indicating or limiting lifting moment
    • B66C23/905Devices for indicating or limiting lifting moment electrical
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Jib Cranes (AREA)

Description

本発明は、作業車両に用いる俯瞰画像システム、俯瞰画像表示方法およびプログラムに関する。
作業車両は、大型であり死角が生じ易く、バックミラー等の位置を工夫しているが、運転席からの周辺の視認が容易ではない。
このため、作業車両では、当該作業車両を中心とした周辺の俯瞰画像を形成して作業者に呈示する俯瞰画像システムを用いることが考えられている(例えば、特許文献1等参照)。この従来の俯瞰画像システムは、車体の周辺を撮影すべく複数のカメラを当該車体に設け、その各カメラで撮影した画像を上方の仮想視点から見下ろした画像に変換しつつ組み合わせて、車体の周辺の俯瞰画像を形成する。このため、従来の俯瞰画像システムは、車体の周辺における運転席からは死角となる位置であっても俯瞰画像に表示することができ、作業車両の安全性を高めることができる。
特開2015−154406号公報
ところで、作業車両では、走行体の上に旋回可能に旋回台が設けられ、その旋回台にキャビン(運転席)が設けられているものがある。このような作業車両は、上記した作業車両と同様に、走行体の周辺にキャビンからの死角を完全に無くすことは困難であるので、複数のカメラを用いて走行体の周辺の俯瞰画像を形成し、走行体の周辺を全周に亘り視認可能とすることが望ましい。
本発明は、上記の事情に鑑みて為されたもので、キャビンを有する旋回台が設けられた走行体の周辺の視認を全周に亘り可能とする俯瞰画像システムを提供することを目的とする。
本発明の俯瞰画像システムは、走行体に旋回可能な旋回台が設けられた作業車両の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を生成して前記表示部に表示させる制御部と、を備え、前記各カメラは、前記走行体における前進側で前記走行体に設けられた前方カメラと、前記走行体における後退側で前記走行体に設けられた後方カメラと、前記旋回台に設けられたキャビンにおける右側で前記旋回台に設けられた右方カメラと、前記キャビンにおける左側で前記旋回台に設けられた左方カメラと、で構成され、前記前方カメラを第1前方カメラとし、かつ前記後方カメラを第1後方カメラとして、前記各カメラは、さらに、前記キャビンにおける正面側で前記旋回台に設けられた第2前方カメラと、前記キャビンにおける背面側で前記旋回台に設けられた第2後方カメラと、を有し、前記制御部は、前記走行体の前進側と前記キャビンの正面側とが一致されて前記走行体を走行させる走行モードとされると、前記第1前方カメラの画像と前記第1後方カメラの画像と前記右方カメラの画像と前記左方カメラの画像とで前記俯瞰画像を生成し、前記走行体に対して前記旋回台を旋回可能とする作業モードとされると、前記第2前方カメラの画像と前記第2後方カメラの画像と前記右方カメラの画像と前記左方カメラの画像とで前記俯瞰画像を生成することを特徴とする。
本発明の俯瞰画像システムによれば、キャビンを有する旋回台が設けられた走行体の周辺の視認を全周に亘り可能にできる。また、この俯瞰画像システムは、走行俯瞰画像として走行体の周辺を全周に亘り連続する画像を生成できるとともに、作業俯瞰画像として旋回台の周辺を全周に亘り連続する画像を生成でき、作業車両のモードに応じて作業者が必要とする各俯瞰画像を生成できる。
作業車両の一例としてのクレーン車1を側方から見た様子を模式的に示す説明図である。 走行モードMdにおけるクレーン車1を鉛直方向の上側(上方)から見た(平面視した)様子を模式的に示す説明図である。 作業モードMwにおけるクレーン車1の態様の一例を示す図2と同様の説明図である。 クレーン車1に用いる俯瞰画像システムの一例としての俯瞰画像システム10の構成をブロック図で示す説明図である。 走行モードMdにおける走行俯瞰画像Pd(俯瞰画像P)を表示部13に表示させた様子を示す説明図である。 作業モードMwにおける作業俯瞰画像Pw(俯瞰画像P)を表示部13に表示させた様子を示す説明図である。 制御部12が実行する俯瞰画像表示処理の一例を示すフローチャートである。 前方スルー画像Psを表示部13に表示させた様子を示す説明図である。
以下に、本発明に係る一例としての俯瞰画像システムを、一例としての作業車両に用いた実施例について図面を参照しつつ説明する。なお、図5および図6は、各俯瞰画像Pの理解を容易とすべく表示部13に対応する俯瞰画像Pのみを表示した様子を示しているが、操作部14を併せて表示してもよく、必ずしも実際の態様と一致しない。
本発明に係る俯瞰画像システムの一実施形態に係る実施例1の俯瞰画像システム10を、図1から図8を用いて説明する。実施例1の俯瞰画像システム10は、図1および図2に示すように、作業車両の一例としてのクレーン車1に用いる。そのクレーン車1は、走行体(キャリヤ)2と旋回台3とを備える。
その走行体2は、走行機能を有する車両の本体部分(車体)となり、複数の車輪と、車輪および旋回台3を駆動する駆動源と、を有する。走行体2は、図2に示すように、平面視して前後(図2を正面視した上下であり、上側を前側とする)に長尺な略長方形状を呈する。この走行体2は、前側(上側)を車両進行方向として進行すること、後側(下側)へと後退すること、操舵により左右へと曲がること、を可能とすべく構成されている。この走行体2には、前側および後側に各々左右一対のアウトリガ4(図1参照(走行体2の左側のみ図示))が設けられる。各アウトリガ4は、左右に張り出しおよび格納を可能とし、適宜張り出して接地することで後述するブーム7を用いた作業時(後述する作業モードMw)に走行体2を安定して支持する。
旋回台3は、図1および図2に示すように、走行体2の上部に水平旋回可能に設けられ、一体的に旋回可能なキャビン5とブームサポート6とを有する。そのキャビン5は、作業者(オペレータ)が乗車する場所であり、図2を正面視した上側が正面側となるように構成される。このキャビン5には、作業者が各種の操作を行うための操作部が設けられる。その各種の操作としては、例えば、旋回台3の旋回、後述するブーム7の起伏および伸縮、ブームサポート6に設けたウインチの巻上および巻下、各アウトリガ4の張出および格納、エンジンの始動および停止、走行体2の走行等がある。この旋回台3では、車両進行方向(前進側)に対して右側にキャビン5を設けている。旋回台3は、キャビン5およびブームサポート6が走行体2上に収まる大きさ寸法とされ、実施例1では、幅寸法(図2を正面視して左右方向の寸法)が走行体2と略等しくされ、長さ寸法(図2を正面視して上下方向の寸法)が走行体2よりも小さくされている。
そのブームサポート6は、ブーム7を取り付ける箇所であり、ブーム7の基端部がブーム根本支点ピンを介して取り付けられ、そのブーム根本支点ピンを中心にしてブーム7を起伏可能とする。また、ブームサポート6では、ブーム7との間に起伏用シリンダが設けられ、起伏用シリンダを伸縮することでブーム7が起伏される。このブーム7は、旋回台3において、キャビン5の左側で前後方向に伸びる位置関係とされる。ブーム7は、実施例1では、図1に示すように、走行時等の非使用時において水平に配置している。このブーム7は、図2を正面視して上側(先端箇所)が、旋回台3における走行体2からの突出する箇所となる。なお、ブーム7は、先端が下がって配置された所謂スラントブームとしてもよい。
このブーム7は、内部で伸縮シリンダにより連結された基端ブーム部と中間ブーム部と先端ブーム部とを有し、中間ブーム部と先端ブーム部とを順に基端ブーム部内に外側から内側へと入れ子式に組み合わせて収納して構成され、各伸縮シリンダが伸縮することで伸縮する。ブーム7は、先端ブーム部のシーブにワイヤが掛け回されてフックが吊下げられ、走行時(後述する走行モードMd(図2等参照))等の非使用時では各ブーム部を収納した状態とされる。
クレーン車1は、上述したようにブーム7を収納し、走行体2の前側(車両進行方向)と旋回台3におけるキャビン5(その中の作業者)の正面側(正面方向)とを一致させた状態(図2参照)を走行モードMdとし、その状態で走行による移動が行われる。また、クレーン車1は、停止されて作業モードMwとすることで、図3に示すように、ブーム7を使用すべく旋回台3を走行体2に対して旋回させることができる。クレーン車1は、実施例1では、シフトスイッチを前進、中立、後退とすることで走行モードMdとなり、車両駆動用のエンジン動力を作業機の駆動のために取り出す機構であるPTO(Power take−off)を駆動させるPTOスイッチをON状態とすることで作業モードMwとなる。このクレーン車1は、作業モードMwでは、図3では図示を省略しているが各アウトリガ4を左右に適宜張り出して接地することで、適宜旋回されつつブーム7が使用される旋回台3が設けられた走行体2を安定して支持する。このクレーン車1に俯瞰画像システム10を用いている。
その俯瞰画像システム10は、クレーン車1を鉛直方向の上側(上方)の仮想視点から見下ろした様子を示す各俯瞰画像P(図5、図6参照)を呈示するもので、図4に示すように、6つのカメラ11と制御部12と表示部13と操作部14と情報取得部15と記憶部16とを備える。その各カメラ11は、クレーン車1における走行体2の周辺の画像を取得することと、クレーン車1における旋回台3の周辺の画像を取得することと、を鑑みて所定の位置に設けられ、例えば略180度の画角の広角カメラを用いる。この走行体2の周辺の画像とは、鉛直方向の上側(上方)から見て走行体2を取り囲む地面(走行している面)の画像であり、当該走行体2と隣接する位置から当該走行体2を中心とする所定の距離の位置までの領域の地面の画像である(図5参照)。また、旋回台3の周辺の画像とは、基本的に鉛直方向の上側(上方)から見て旋回台3を取り囲む地面(走行している面)の画像であり、当該旋回台3と隣接する位置から当該旋回台3を中心とする所定の距離の位置までの領域の地面の画像である(図6参照)。ここで、旋回台3は、走行体2の上方で旋回可能とされているので、後述するように、この旋回台3の周辺の画像には、走行体2の一部が写り込む場合がある(図6参照)。
各カメラ11は、図1および図2に示すように、走行体2を基準として、前方の画像を取得する第1前方カメラ11Aと、後方の画像を取得する第1後方カメラ11Bと、右方の画像を取得する右方カメラ11Cと、左方の画像を取得する左方カメラ11Dと、を有する。その第1前方カメラ11Aは、走行体2における前進側で当該走行体2の端部(前端)に設け、第1後方カメラ11Bは、走行体2における後退側で当該走行体2の端部(後端)に設けている。また、右方カメラ11Cは、キャビン5における右側となる旋回台3の右端に設け、左方カメラ11Dは、キャビン5における左側となる旋回台3の左端に設けている。
ここで、走行体2は、前後(車両進行方向)に長尺な略長方形状を呈するので、広角カメラを用いても左右に1台ずつ設けただけでは両側の領域の画像を全域に亘り取得するのは困難である。また、俯瞰画像システム10を用いたクレーン車1は、走行体2と旋回台3との幅寸法が略等しくされているので、走行体2の前側と旋回台3(キャビン5)の正面側とが一致される走行モードMdでは、旋回台3における両側端が走行体2の両側端と略一致する。このため、俯瞰画像システム10は、右方カメラ11Cおよび左方カメラ11Dを旋回台3の両側に設けることで、これらの設置位置を走行体2に設けた第1前方カメラ11Aおよび第1後方カメラ11Bよりも高くすることができ、旋回台3の両側すなわち走行モードMdにおける走行体2の両側の領域(後述する右方領域A3および左方領域A4(図5参照))の画像を全域に亘り取得できる。これにより、俯瞰画像システム10は、走行モードMdにおいて、右方カメラ11Cおよび左方カメラ11Dが取得した走行体2の両側の画像と、第1前方カメラ11Aおよび第1後方カメラ11Bが取得した走行体2の前後側の画像と、で走行体2の周辺の画像を全周に亘り取得できる(図5参照)。
加えて、各カメラ11は、旋回台3を基準として、前方の画像を取得する第2前方カメラ11Eと、後方の画像を取得する第2後方カメラ11Fと、を有する。第2前方カメラ11Eは、キャビン5における正面側となる旋回台3の前端に設け、第2後方カメラ11Fは、キャビン5における背面側となる旋回台3の後端に設けている。このため、俯瞰画像システム10は、右方カメラ11Cおよび左方カメラ11Dが取得した旋回台3の両側の画像と、第2前方カメラ11Eおよび第2後方カメラ11Fが取得した旋回台3の前後側の画像と、で旋回台3の周辺の画像を全周に亘り取得できる。なお、各カメラ(11)は、走行体2や旋回台3の周辺の画像を全周に亘り切れ目なく取得するものであれば、詳細な位置は適宜設定すればよく、実施例1の構成(図1および図2に示す位置)に限定されない。
制御部12は、図4に示すように、6つのカメラ11と表示部13と操作部14と情報取得部15と記憶部16とに接続される。この制御部12は、記憶部(内蔵する内蔵メモリ12a)や演算部を有するマイクロコンピュータであり、実施例1ではキャビン5に設けられる。制御部12は、記憶部16あるいは内蔵メモリ12aに格納されたプログラムに基づき、各カメラ11、表示部13、操作部14、情報取得部15および記憶部16の動作を統括的に制御し、各カメラ11や操作部14や情報取得部15から適宜情報を取得する。この制御部12は、各カメラ11からの信号に基づく各俯瞰画像P(その画像データ)の生成処理や、その各俯瞰画像Pを表示部13に表示させる表示処理や、操作部14に為された操作の判断処理や、情報取得部15が取得した各種情報の取得処理等の制御を行う。制御部12は、実施例1では、記憶部16あるいは内蔵メモリ12aに格納されたプログラムに基づき、各カメラ11が取得した画像(その画像データ)から各俯瞰画像P(その画像データ)を生成する画像処理部17を有する。
その画像処理部17は、一例として、次のような各処理を行うことで各俯瞰画像P(その画像データ)を生成する生成処理を行う。なお、この生成処理は、用いるカメラ11の種類(11A〜11F)や用いる係数等が異なることを除くと、後述する走行俯瞰画像Pd(図5参照)であっても作業俯瞰画像Pw(図6参照)であっても同様であるので、単に俯瞰画像Pとして説明する。先ず、画像処理部17は、入力画素の座標値にレンズ歪み係数やアスペクト比等に基づく係数を乗じて出力画素の座標値に変換することで、レンズによる歪みを補正する歪み補正処理を行う。また、画像処理部17は、適宜選択した入力画素の座標値にカメラ取付角等に基づく種々の係数を乗じて出力画素の全ての座標値を形成することで、クレーン車1の上方に設定した仮想視点から見下ろした撮影画像(個別の俯瞰画像)に変換する俯瞰変換処理を行う。さらに、画像処理部17は、対応する座標値の輝度を線形補間等することで繋ぎ目の違和感を無くしつつ上記した各処理を行った各カメラ11からの隣り合う撮影画像を1枚の画像として繋ぎ合わせて俯瞰画像Pを生成する画像合成処理を行う。なお、画像処理部17は、生成処理として、俯瞰画像P(その画像データ)を生成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施例1の各処理に限定されない。
ここで、画像処理部17は、クレーン車1におけるモード(走行モードMdまたは作業モードMw)に応じて、用いるカメラを切り替えて俯瞰画像Pを生成する。具体的には、画像処理部17は、クレーン車1が走行モードMdであると、第1前方カメラ11Aの画像と第1後方カメラ11Bの画像と右方カメラ11Cの画像と左方カメラ11Dの画像とを用いて、上記した各処理により俯瞰画像Pとしての走行俯瞰画像Pd(図5参照)を生成する。走行俯瞰画像Pdは、その第1前方カメラ11Aと第1後方カメラ11Bと右方カメラ11Cと左方カメラ11Dとを上記した位置関係としているので、図5に示すように、走行体2の周辺を全周に亘り連続する画像となる。この走行俯瞰画像Pdは、第1前方カメラ11Aが取得した走行体2の前方(前進側)の前方領域A1の画像と、第1後方カメラ11Bが取得した走行体2の後方(後退側)の後方領域A2の画像と、右方カメラ11Cが取得した旋回台3すなわち走行体2の右方(右側)の右方領域A3の画像と、左方カメラ11Dが取得した旋回台3すなわち走行体2の左方(左側)の左方領域A4の画像と、で構成される。
また、画像処理部17は、クレーン車1が作業モードMwであると、第2前方カメラ11Eの画像と第2後方カメラ11Fの画像と右方カメラ11Cの画像と左方カメラ11Dの画像とを用いて、上記した各処理により俯瞰画像Pとしての作業俯瞰画像Pw(図6参照)を生成する。作業俯瞰画像Pwは、その第2前方カメラ11Eと第2後方カメラ11Fと右方カメラ11Cと左方カメラ11Dとを上記した位置関係としているので、図6に示すように、旋回台3の周辺を全周に亘り連続する画像となる。この作業俯瞰画像Pwは、第2前方カメラ11Eが取得した旋回台3の前方(正面側)の前方領域A5の画像と、第2後方カメラ11Fが取得した旋回台3の後方(背面側)の後方領域A6の画像と、右方カメラ11Cが取得した旋回台3の右方(右側)の右方領域A7の画像と、左方カメラ11Dが取得した旋回台3の左方(左側)の左方領域A8の画像と、で構成される。このため、作業俯瞰画像Pwには、例えば図3に示すように走行体2に対して旋回台3が約90度旋回されていると、図6に示すように、第2前方カメラ11Eが取得する前方領域A5、右方カメラ11Cが取得する右方領域A7および左方カメラ11Dが取得する左方領域A8に走行体2が部分的に写る。また、作業俯瞰画像Pwには、旋回台3の旋回の度合いによっては、第2後方カメラ11Fが取得する後方領域A6にも走行体2が部分的に写る。このように、作業俯瞰画像Pwは、旋回台3の旋回の度合いに応じた位置に走行体2を写すこととなり、旋回台3の旋回方向とは逆方向に回転させつつ周辺画像の一部として走行体2を表示する。
このように画像合成された各俯瞰画像Pでは、各カメラ11が上記したように設けられているため、クレーン車1における各カメラ11の設置位置の外方の画像となり当該設置位置の内方の領域の画像情報が欠落する。すなわち、走行俯瞰画像Pdでは、走行体2の外方の画像となり当該走行体2が存在する領域の画像情報が欠落し、作業俯瞰画像Pwでは、旋回台3の外方の画像となり当該旋回台3が存在する領域の画像情報が欠落する。このため、画像処理部17は、各俯瞰画像Pにおける欠落箇所を例えば画素値ゼロ(黒表示)とする。
そして、画像処理部17は、画像合成された各俯瞰画像Pの欠落箇所に、クレーン車1を模擬的に可視化して表す作業車両標識M(図5、図6参照)を重畳する重畳処理を行う。その作業車両標識Mは、図5に示すように、各俯瞰画像Pにおける作業車両としてのクレーン車1の位置および大きさを可視化して示すもので、基本的に、走行体2を示す走行体標識部M2とその上のブーム7等を含む旋回台3を示す旋回台標識部M3とを有する。作業車両標識Mは、実際のクレーン車1の俯瞰写真を用いてもよくクレーン車1を俯瞰して示す図柄を用いてもよい。
ここで、画像処理部17は、クレーン車1におけるモード(走行モードMdまたは作業モードMw)、すなわち生成した俯瞰画像Pに応じて、重畳する作業車両標識Mを切り替える。具体的には、画像処理部17は、走行モードMdで走行俯瞰画像Pdを生成した場合には、図5に示すように、走行体2が存在する欠落領域に、走行体標識部M2上に旋回台標識部M3を重ねた作業車両標識Mを重畳させる。このときの作業車両標識Mは、走行モードMdであるクレーン車1(図2参照)と同様に、走行体標識部M2の前側(走行体2の前進側に相当する箇所)と旋回台標識部M3の正面側(旋回台3におけるキャビン5の正面側に相当する箇所)とを一致させている。また、画像処理部17は、作業モードMwで作業俯瞰画像Pwを生成した場合には、図6に示すように、旋回台3が存在する欠落領域に、旋回台標識部M3のみから為る作業車両標識Mを重畳させる。これは、作業俯瞰画像Pwが旋回台3の周辺の全周に亘る画像であり、上述したように作業俯瞰画像Pwには走行体2が写り込むので、旋回台標識部M3のみを示せば実際のクレーン車1のように走行体2上に旋回台標識部M3が存在した状態となることによる。
制御部12は、画像処理部17で生成した各俯瞰画像P(その画像データ)を、表示部13に出力して当該表示部13に表示(図5、図6参照)させるとともに、その各俯瞰画像Pを適宜記憶部16に格納する。このとき、制御部12は、走行体標識部M2の前側および旋回台標識部M3の正面側と、各俯瞰画像Pにおける前方領域A1、A5と、を、表示部13を正面視した上側に位置させて、その各俯瞰画像Pを表示部13に表示させる。このため、各俯瞰画像Pは、キャビン5から見て正面となる前方領域A1、A5および旋回台標識部M3の正面側が、表示部13の上側に位置して表示されるので、キャビン5の中に居る作業者の感覚に一致される。そして、制御部12は、操作部14に為された操作情報(データ)や、情報取得部15が取得した各種情報(データ)が入力される。
表示部13は、各俯瞰画像Pやクレーン車1における各種情報を表示可能であり、実施例1では旋回台3のキャビン5内に設けている。この表示部13は、制御部12の制御下で、各カメラ11で取得された画像に基づき生成された各俯瞰画像P(図5、図6参照)を即時連続的に(リアルタイムで)表示できる。表示部13は、実施例1では、タッチパネルの機能を搭載する。
操作部14は、俯瞰画像システム10における各種機能を利用するための操作部であり、入力操作された情報を制御部12へと出力する。この操作部14は、実施例1では、タッチパネルの機能を搭載する表示部13に表示された画面(その中の各種アイコン等)として構成される。操作部14は、表示部13に表示させる画像の切替の操作や、俯瞰画像システム10やクレーン車1における各種の設定の操作等を行うことができる。なお、操作部14は、表示部13とは独立してキャビン5内に設けてもよく、表示部13の画面の周囲にスイッチとして設けてもよい。
情報取得部15は、クレーン車1に関する各種の動作情報を取得し、その各動作情報(データ)を制御部12へと出力する。その各動作情報は、例えば、クレーン車1が走行モードMdであるか作業モードMwであるかの別を示すモード情報や、旋回台3(ブーム7)の旋回角度やブーム7の起伏角度および長さを示す姿勢情報がある。情報取得部15は、実施例1では、走行モードMdであることを示すモード情報としてクレーン車1のシフトスイッチが前進、中立、後退とされているか否かを取得(検知)し、作業モードMwであることを示すモード情報としてクレーン車1のPTOスイッチがON状態とされているか否かを取得(検知)する。
このように、俯瞰画像システム10は、クレーン車1が走行モードMdであると、走行体2に設けた第1前方カメラ11Aおよび第1後方カメラ11Bと、旋回台3に設けた右方カメラ11Cおよび左方カメラ11Dと、で走行体2の周辺の画像を前後左右に分けて各々取得し、その各画像(そのデータ)を制御部12(その画像処理部17)に出力する。画像処理部17は、上述したように、各カメラ11が取得した画像(その画像データ)に各処理を行って走行俯瞰画像Pd(俯瞰画像P)を生成し、その走行俯瞰画像Pdに走行体標識部M2上に旋回台標識部M3を重ねた作業車両標識Mを重畳させる。その作業車両標識Mが重畳された走行俯瞰画像Pdは、制御部12の制御下で表示部13に表示される(図5参照)。これにより、俯瞰画像システム10は、クレーン車1の走行モードMdにおいて、走行体2の周辺の視認を容易とする。
また、俯瞰画像システム10は、クレーン車1が作業モードMwであると、旋回台3に設けた第2前方カメラ11E、第2後方カメラ11F、右方カメラ11Cおよび左方カメラ11Dで旋回台3の周辺の画像を前後左右に分けて各々取得し、その各画像(そのデータ)を制御部12(その画像処理部17)に出力する。画像処理部17は、上述したように、各カメラ11が取得した画像(その画像データ)に各処理を行って作業俯瞰画像Pw(俯瞰画像P)を生成し、その作業俯瞰画像Pwに旋回台標識部M3のみから為る作業車両標識Mを重畳させる。その作業車両標識Mが重畳された作業俯瞰画像Pwは、制御部12の制御下で表示部13に表示される(図6参照)。これにより、俯瞰画像システム10は、クレーン車1の作業モードMwにおいて、旋回台3の周辺の視認を容易とする。
このように、俯瞰画像システム10は、クレーン車1のモードに拘わらず旋回台3に設けた右方カメラ11Cおよび左方カメラ11Dを共通して用いるとともに、クレーン車1のモードに応じて、走行体2に設けた第1前方カメラ11Aおよび第1後方カメラ11Bと、旋回台3に設けた第2前方カメラ11Eおよび第2後方カメラ11Fと、を使い分けることで、モードに適応する俯瞰画像Pを呈示する。
次に、俯瞰画像システム10において、制御部12の制御下で各俯瞰画像Pを生成して表示部13に表示させる俯瞰画像表示処理について、図7を用いて説明する。その図7は、実施例1における制御部12にて実行される俯瞰画像表示処理(俯瞰画像表示方法)を示すフローチャートである。この俯瞰画像表示処理は、制御部12の内蔵メモリ12aもしくは記憶部16に記憶されたプログラムに基づいて、制御部12が実行する。以下では、この図7のフローチャートの各ステップ(各工程)について説明する。この図7のフローチャートは、俯瞰画像システム10が俯瞰画像表示処理を実行する状態とされることにより開始される。俯瞰画像システム10は、常に俯瞰画像表示処理を実行する状態とされていてもよく、操作部14の操作で実行の有無を切り替え可能としてもよい。なお、この例では、クレーン車1において走行モードMdおよび作業モードMwの2つのモードのみが設定されているものとする。
ステップS1は、クレーン車1が走行モードMdであるか否かを判断し、YESの場合はステップS2へ進み、NOの場合はステップS7へ進む。このステップS1は、情報取得部15を介してモード情報を取得し、クレーン車1が走行モードMdであるか作業モードMwであるかの別を判断する。ステップS1は、実施例1では、クレーン車1のシフトスイッチが前進、中立、後退とされていると走行モードMdであると判断し、クレーン車1のPTOスイッチがON状態とされていると作業モードMwであると判断する。
ステップS2は、走行モードMdに対応する各カメラ11からの画像(その画像データ)を取得して、ステップS3へ進む。このステップS2は、走行モードMdであるので、その走行モードMdに対応する各カメラ11、すなわち第1前方カメラ11Aと第1後方カメラ11Bと右方カメラ11Cと左方カメラ11Dとからの各画像(画像データ)を制御部12が取得する。
ステップS3は、走行俯瞰画像Pd(その画像データ)を生成して、ステップS4へ進む。このステップS3は、上述したように制御部12の画像処理部17が、走行体2の周辺を示しかつ当該走行体2が存在する領域の画像情報が欠落した俯瞰画像Pとしての走行俯瞰画像Pd(その画像データ)を生成する。
ステップS4は、走行モードMdに対応する作業車両標識Mを走行俯瞰画像Pdに重畳させて、ステップS5へ進む。このステップS4は、上述したように制御部12の画像処理部17が、走行モードMdに対応する作業車両標識M、すなわち走行体標識部M2上に旋回台標識部M3を重ねた作業車両標識Mを走行俯瞰画像Pdに重畳(その画像データを生成)する。
ステップS5は、作業車両標識Mを重畳させた走行俯瞰画像Pdを表示部13に表示させて、ステップS6へ進む。このステップS5は、制御部12が、上述したようにステップS4で画像処理部17が生成し走行モードMdに対応する作業車両標識Mを重畳した走行俯瞰画像Pd(その画像データ)を、表示部13に表示させる(図5参照)。
ステップS6は、走行モードMdが終了したか否かを判断し、YESの場合はステップS12へ進み、NOの場合はステップS2へ戻る。このステップS6は、情報取得部15を介してモード情報を取得し、クレーン車1が走行モードMdを終了したか否かを判断する。ステップS6は、実施例1では、クレーン車1のシフトスイッチが前進、中立、後退から他の状態とされると走行モードMdを終了したと判断する。
ステップS7は、作業モードMwに対応する各カメラ11からの画像(その画像データ)を取得して、ステップS8へ進む。このステップS7は、走行モードMdではない、すなわち作業モードMwであるので、その作業モードMwに対応する各カメラ11、すなわち第2前方カメラ11Eと第2後方カメラ11Fと右方カメラ11Cと左方カメラ11Dとからの各画像(画像データ)を制御部12が取得する。
ステップS8は、作業俯瞰画像Pw(その画像データ)を生成して、ステップS9へ進む。このステップS8は、上述したように制御部12の画像処理部17が、旋回台3の周辺を示しかつ当該旋回台3が存在する領域の画像情報が欠落した俯瞰画像Pとしての作業俯瞰画像Pw(その画像データ)を生成する。
ステップS9は、作業モードMwに対応する作業車両標識Mを作業俯瞰画像Pwに重畳させて、ステップS10へ進む。このステップS9は、上述したように制御部12の画像処理部17が、作業モードMwに対応する作業車両標識M、すなわち旋回台標識部M3のみから為る作業車両標識Mを作業俯瞰画像Pwに重畳(その画像データを生成)する。
ステップS10は、作業車両標識Mを重畳させた作業俯瞰画像Pwを表示部13に表示させて、ステップS11へ進む。このステップS10は、制御部12が、上述したようにステップS9で画像処理部17が生成し作業モードMwに対応する作業車両標識Mを重畳した作業俯瞰画像Pw(その画像データ)を、表示部13に表示させる(図6参照)。
ステップS11は、ステップS10での作業俯瞰画像Pwを表示部13に表示させることに続き、作業モードMwが終了したか否かを判断し、YESの場合はステップS12へ進み、NOの場合はステップS7へ戻る。このステップS11では、情報取得部15を介してモード情報を取得し、クレーン車1が作業モードMwを終了したか否かを判断する。ステップS11は、実施例1では、クレーン車1のPTOスイッチがON状態からOFF状態とされると作業モードMwを終了したと判断する。
ステップS12は、この俯瞰画像表示処理を終了するか否かを判断し、YESの場合は俯瞰画像表示処理を終了し、NOの場合はステップS1へ戻る。このステップS12は、継続されたモード(走行モードMd、作業モードMw)が終了された場面なので、制御部12が俯瞰画像表示処理を終了するか否かすなわち表示部13での各俯瞰画像Pの表示を止めるか否かを判断する。この判断は、例えば、操作部14の操作に基づいて行ってもよく、俯瞰画像システム10の電源が切られることやクレーン車1のエンジンが停止されることで行ってもよい。なお、この俯瞰画像表示処理を終了するか否かの判断は、走行モードMdが継続されている間(ステップS2からS6)、あるいは、作業モードMwが継続されている間(ステップS7からS11)に行うことで、クレーン車1のモードに拘わらず各俯瞰画像Pの表示を止めることができる。
次に、実施例1の俯瞰画像システム10の動作について説明する。俯瞰画像システム10は、俯瞰画像表示処理を実行する状態とされ、クレーン車1が走行モードMdとされると、図7のフローチャートでステップS1→S2→S3へと進むことで、制御部12(画像処理部17)が走行体2の周辺の走行俯瞰画像Pdを生成する。そして、図7のフローチャートでステップS4へと進むことで、走行体標識部M2上に旋回台標識部M3を重ねた作業車両標識Mを走行俯瞰画像Pdに重畳させ、ステップS5へと進むことで、その重畳された走行俯瞰画像Pdを表示部13に表示させる(図5参照)。このことが、図7のフローチャートのステップS6で、クレーン車1の走行モードMdが終了するまで継続される。
また、俯瞰画像システム10は、俯瞰画像表示処理を実行する状態とされ、クレーン車1が作業モードMwとされると、図7のフローチャートでステップS1→S7→S8へと進むことで、制御部12(画像処理部17)が旋回台3の周辺の作業俯瞰画像Pwを生成する。そして、図7のフローチャートでステップS9へと進むことで、旋回台標識部M3のみから為る作業車両標識Mを作業俯瞰画像Pwに重畳させ、ステップS10へと進むことで、その重畳された作業俯瞰画像Pwを表示部13に表示させる(図6参照)。このことが、図7のフローチャートのステップS11で、クレーン車1の作業モードMwが終了するまで継続される。
そして、俯瞰画像システム10は、上記したことを、図7のフローチャートのステップS12で、俯瞰画像表示処理を終了すると判断するまで継続する。これにより、俯瞰画像システム10は、クレーン車1のモードに応じた周辺の各俯瞰画像Pを、表示部13を介して作業者にリアルタイムで呈示する。また、俯瞰画像システム10は、クレーン車1のモードに応じて、各俯瞰画像Pに重畳する作業車両標識Mの態様を変化させるので、実際のクレーン車1を俯瞰した状態に近い状態の各俯瞰画像Pを作業者に呈示する。
上記した構成であるため、本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10は、以下の各作用効果を得られる。
俯瞰画像システム10は、走行モードMdにおいて、走行体2に設けた第1前方カメラ11Aおよび第1後方カメラ11Bと、旋回台3に設けた右方カメラ11Cおよび左方カメラ11Dと、が各々取得した画像を用いて走行体2の周辺の画像である走行俯瞰画像Pd(俯瞰画像P)を生成する。このため、俯瞰画像システム10は、右方カメラ11Cおよび左方カメラ11Dの設置位置を第1前方カメラ11Aおよび第1後方カメラ11Bよりも高くすることができ、走行体2が前後(車両進行方向)に長尺であるにも拘らず当該走行体2の両側の領域の画像を、それぞれ1台のカメラで取得できる。これにより、俯瞰画像システム10は、4つのカメラ11からの画像を用いることで、前後(車両進行方向)に長尺な走行体2の周辺の全周に亘る画像である走行俯瞰画像Pdを適切に生成して作業者に呈示できる。
また、俯瞰画像システム10は、作業モードMwにおいて、旋回台3に設けた第2前方カメラ11E、第2後方カメラ11F、右方カメラ11Cおよび左方カメラ11Dが各々取得した画像を用いて旋回台3の周辺の画像である作業俯瞰画像Pw(俯瞰画像P)を生成する。このため、俯瞰画像システム10は、走行体2に対する旋回台3の旋回姿勢に拘わらず、旋回台3を基準とした正面側、背面側および両側の領域の画像を、常に同じ組み合わせで取得できる。これにより、俯瞰画像システム10は、4つのカメラ11からの画像を用いることで、走行体2に対して旋回される旋回台3の周辺の全周に亘る画像である作業俯瞰画像Pwを適切に生成して作業者に呈示できる。
さらに、俯瞰画像システム10は、クレーン車1のモードに拘わらず旋回台3に設けた右方カメラ11Cおよび左方カメラ11Dを共通して用いるとともに、クレーン車1のモードに応じて、走行体2に設けた第1前方カメラ11Aおよび第1後方カメラ11Bと、旋回台3に設けた第2前方カメラ11Eおよび第2後方カメラ11Fと、を使い分けている。このため、俯瞰画像システム10は、用いるカメラの台数の増加を抑制しつつ、走行体2の周辺の走行俯瞰画像Pdおよび旋回台3の周辺の作業俯瞰画像Pwを適切に生成できる。また、俯瞰画像システム10は、第1前方カメラ11Aおよび第1後方カメラ11Bと、第2前方カメラ11Eおよび第2後方カメラ11Fと、を切り替えるだけで走行俯瞰画像Pdと作業俯瞰画像Pwとの双方に対応できるので、簡易な構成で走行俯瞰画像Pdおよび作業俯瞰画像Pwを適切に生成できる。
俯瞰画像システム10は、走行俯瞰画像Pdには走行体標識部M2上に旋回台標識部M3を重ねた作業車両標識Mを重畳し、作業俯瞰画像Pwには旋回台標識部M3のみから為る作業車両標識Mを重畳する。ここで、クレーン車1は、走行モードMdでは、走行体2が移動するので、走行俯瞰画像Pdは、走行体2の周辺を全周に亘る画像であることが望ましい。また、クレーン車1は、作業モードMwでは、走行体2が移動せず、その上で旋回される旋回台3が移動するので、作業俯瞰画像Pwは、旋回台3の周辺を全周に亘る画像であることが望ましい。そして、作業俯瞰画像Pwに用いる第2前方カメラ11E、第2後方カメラ11F、右方カメラ11Cおよび左方カメラ11Dは、走行体2に対する旋回台3の旋回姿勢に応じて当該走行体2の画像を部分的に取得する。これらのことから、俯瞰画像システム10は、クレーン車1のモードに応じて作業者が必要とする各俯瞰画像Pを生成でき、それらに重畳する作業車両標識Mを当該モードに応じつつ実際のクレーン車1を俯瞰した状態に近いものにできる。すなわち、俯瞰画像システム10は、走行俯瞰画像Pdが走行体2の周辺を示すので、走行体標識部M2上に旋回台標識部M3を重ねた作業車両標識Mを重畳することで、走行モードMdにおける実際のクレーン車1の周囲を俯瞰した状態に近いものにできる。また、俯瞰画像システム10は、作業俯瞰画像Pwが旋回台3の周辺を走行体2とともに表示するので、旋回台標識部M3のみから為る作業車両標識Mを重畳することで、旋回台3の旋回姿勢に応じて旋回台標識部M3に対して作業俯瞰画像Pw上の走行体2が逆方向に旋回し、作業モードMwにおける実際のクレーン車1の周囲を旋回台3を中心として俯瞰した状態に近いものにできる。このため、俯瞰画像システム10は、作業者が違和感を覚えることなく周辺の状況の容易かつ適切な把握を可能とする各俯瞰画像Pを呈示できる。
俯瞰画像システム10は、走行俯瞰画像Pdに重畳する作業車両標識Mを、走行体標識部M2の前側と旋回台標識部M3の正面側とを一致させつつ表示部13における上側に向けている(図5参照)。このため、俯瞰画像システム10は、走行モードMdで呈示する走行俯瞰画像Pd(図5参照)をキャビン5に居る作業者から見た感覚に近い態様とすることができ、その旋回台標識部M3を走行モードMdで走行するクレーン車1(図2参照)と同様の態様にできる。これにより、俯瞰画像システム10は、走行モードMdにおいて、走行体2の周辺の視認をより容易なものにできる。
俯瞰画像システム10は、作業俯瞰画像Pwに重畳する作業車両標識Mを、旋回台標識部M3の正面側を表示部13における上側に向けている(図6参照)。このため、俯瞰画像システム10は、作業モードMwで呈示する作業俯瞰画像Pw(図6参照)をキャビン5に居る作業者から見た感覚に近い態様とすることができ、その旋回台標識部M3を作業モードMwで駆動するクレーン車1(図3参照)と同様の態様にできる。これにより、俯瞰画像システム10は、作業モードMwにおいて、旋回台3の周辺の視認をより容易なものにできる。
したがって、本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10では、キャビン5を有する旋回台3が設けられた走行体2の周辺の視認を全周に亘り可能とできる。
以上、本発明の俯瞰画像システムを実施例1に基づき説明してきたが、具体的な構成については実施例1に限られるものではなく、本発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。また、構成部材の数、位置、形状等は実施例に限定されず、本発明を実施する上で好適な数、位置、形状等にできる。
なお、上記した実施例1では本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10について説明したが、走行体に旋回可能な旋回台が設けられた作業車両の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を生成して前記表示部に表示させる制御部と、を備え、前記各カメラは、前記走行体における前進側で前記走行体に設けられた前方カメラと、前記走行体における後退側で前記走行体に設けられた後方カメラと、前記旋回台に設けられたキャビンにおける右側で前記旋回台に設けられた右方カメラと、前記キャビンにおける左側で前記旋回台に設けられた左方カメラと、で構成される俯瞰画像システムであればよく、上記した実施例1に限定されない。
また、上記した実施例1では俯瞰画像システム10を用いる作業車両としてクレーン車1を示していたが、走行体(2)に旋回可能な旋回台(3)が設けられた作業車両であれば、他の構成の作業車両でもよく、上記した実施例1に限定されない。
さらに、上記した実施例1では図5または図6に示すように各俯瞰画像Pに作業車両標識Mを重畳させていたが、各カメラ11の設置位置によっては作業車両標識Mが各俯瞰画像Pを部分的に隠してしまう場合がある。その各俯瞰画像Pを隠す箇所としては、例えば、図5に示す走行俯瞰画像Pdでは点線で囲んだブーム7の先端箇所が該当し、図6に示す作業俯瞰画像Pwでは点線で囲んだキャビン5の一部およびブーム7の先端側の約半分が該当する。これらの隠す箇所は、クレーン車1を鉛直方向上側から見た状態において、走行俯瞰画像Pdでは旋回台3における走行体2よりも外側に位置する箇所であり、作業俯瞰画像Pwでは前方が旋回台3における第2前方カメラ11Eよりも前方に位置する箇所でかつ後方および両側方が旋回台3よりも外側に位置する箇所である。このため、俯瞰画像システム10では、各俯瞰画像Pを全周に亘り切れ目なく視認させるべく、これらの隠す箇所を外形を線で示しつつその内側を透明としたり半透明化したりまたは非表示としたりした作業車両標識Mを各俯瞰画像Pに重畳させてもよい。このことは、各俯瞰画像Pおよび作業車両標識Mにおける隠す箇所の表示を加工することで実行できる。
上記した実施例1では、作業モードMwにおいて作業俯瞰画像Pwを表示部13に表示させていたが、他の画像を表示させてもよく、実施例1に限定されない。その他の表示としては、例えば、図8に示すように、第2前方カメラ11Eで取得した画像を何らの加工を施さないで表示する前方スルー画像Psが挙げられる。この図8に示す例では、図3に示すように旋回台3を走行体2に対して旋回させた状態の前方スルー画像Psであるので、この前方スルー画像Psには走行体2は写っていないが、旋回台3の回転姿勢によっては走行体2が部分的に写ることとなる。このように前方スルー画像Psを表示することで、作業者の正面ではあってもキャビン5からは死角となる箇所を視認できるので、前方の状況の容易かつ適切な把握が可能となる。この前方スルー画像Psの表示は、作業俯瞰画像Pwと切り替え可能とすることで使い勝手を向上できる。また、作業俯瞰画像Pwと前方スルー画像Psとの双方を同時に表示部13に表示させることとしてもよい。さらに、表示部13は、他の画像として、他のカメラ(11A〜11D、11F)で取得したスルー画像や各カメラ(11A〜11F)に基づく画像を表示(切り替え可能とすることや同時に表示させることも含む)させるものとしてもよく、図8の例に限定されない。これらのことは、走行モードMdであっても同様である。
1 (作業車両の一例としての)クレーン車
2 走行体
3 旋回台
5 キャビン
10 俯瞰画像システム
11 カメラ
11A 第1前方カメラ(前方カメラ)
11B 第1後方カメラ(後方カメラ)
11C 右方カメラ
11D 左方カメラ
11E 第2前方カメラ
11F 第2後方カメラ
12 制御部
13 表示部
M 作業車両標識
M2 走行体標識部
M3 旋回台標識部
Md 走行モード
Mw 作業モード
P 俯瞰画像

Claims (3)

  1. 走行体に旋回可能な旋回台が設けられた作業車両の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を生成して前記表示部に表示させる制御部と、を備え、
    前記各カメラは、前記走行体における前進側で前記走行体に設けられた前方カメラと、前記走行体における後退側で前記走行体に設けられた後方カメラと、前記旋回台に設けられたキャビンにおける右側で前記旋回台に設けられた右方カメラと、前記キャビンにおける左側で前記旋回台に設けられた左方カメラと、で構成され
    前記前方カメラを第1前方カメラとし、かつ前記後方カメラを第1後方カメラとして、
    前記各カメラは、さらに、前記キャビンにおける正面側で前記旋回台に設けられた第2前方カメラと、前記キャビンにおける背面側で前記旋回台に設けられた第2後方カメラと、を有し、
    前記制御部は、前記走行体の前進側と前記キャビンの正面側とが一致されて前記走行体を走行させる走行モードとされると、前記第1前方カメラの画像と前記第1後方カメラの画像と前記右方カメラの画像と前記左方カメラの画像とで前記俯瞰画像を生成し、前記走行体に対して前記旋回台を旋回可能とする作業モードとされると、前記第2前方カメラの画像と前記第2後方カメラの画像と前記右方カメラの画像と前記左方カメラの画像とで前記俯瞰画像を生成することを特徴とする俯瞰画像システム。
  2. 前記制御部は、前記作業車両を可視化して表す作業車両標識を前記俯瞰画像に重畳して前記表示部に表示させ、
    前記作業車両標識は、前記走行体を示す走行体標識部と、前記旋回台を示す旋回台標識部と、を有し、
    前記制御部は、前記走行モードとされると前記俯瞰画像に重畳する前記作業車両標識として前記走行体標識部と前記旋回台標識部とを表示させ、前記作業モードとされると前記俯瞰画像に重畳する前記作業車両標識として前記旋回台標識部のみを表示させることを特徴とする請求項1に記載の俯瞰画像システム。
  3. 前記制御部は、前記走行体標識部における前記走行体の前進側に相当する箇所を前記表示部での上側に向けて前記走行体標識部を表示させ、前記旋回台標識部における前記旋回台における前記キャビンの正面側に相当する箇所を前記表示部での上側に向けて前記旋回台標識部を表示させることを特徴とする請求項2に記載の俯瞰画像システム。
JP2016176872A 2016-09-09 2016-09-09 俯瞰画像システム、俯瞰画像表示方法およびプログラム Active JP6756555B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016176872A JP6756555B2 (ja) 2016-09-09 2016-09-09 俯瞰画像システム、俯瞰画像表示方法およびプログラム
EP17848892.0A EP3512194B1 (en) 2016-09-09 2017-09-08 Bird's-eye view image system, bird's-eye view image display method and program
PCT/JP2017/032534 WO2018047954A1 (ja) 2016-09-09 2017-09-08 俯瞰画像システム、俯瞰画像表示方法及びプログラム
CN201780053672.0A CN109661813B (zh) 2016-09-09 2017-09-08 俯瞰图像系统、俯瞰图像显示方法以及存储有程序的计算机可读取的记录介质
US16/329,420 US10661712B2 (en) 2016-09-09 2017-09-08 Bird's-eye view image system, bird's-eye view image display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016176872A JP6756555B2 (ja) 2016-09-09 2016-09-09 俯瞰画像システム、俯瞰画像表示方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018042207A JP2018042207A (ja) 2018-03-15
JP6756555B2 true JP6756555B2 (ja) 2020-09-16

Family

ID=61562325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016176872A Active JP6756555B2 (ja) 2016-09-09 2016-09-09 俯瞰画像システム、俯瞰画像表示方法およびプログラム

Country Status (5)

Country Link
US (1) US10661712B2 (ja)
EP (1) EP3512194B1 (ja)
JP (1) JP6756555B2 (ja)
CN (1) CN109661813B (ja)
WO (1) WO2018047954A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019131955A1 (ja) * 2017-12-27 2021-01-14 住友建機株式会社 ショベル及びショベルの出力装置
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP7147248B2 (ja) 2018-04-27 2022-10-05 株式会社タダノ クレーン車
EP3960938A4 (en) * 2019-04-26 2022-06-22 Sumitomo Construction Machinery Co., Ltd. EXCAVATOR
WO2020256101A1 (ja) * 2019-06-20 2020-12-24 株式会社タダノ 画像システムおよび画像システムを備える作業車両
JP7518664B2 (ja) 2020-05-27 2024-07-18 株式会社アイチコーポレーション 作業車
CN112019752A (zh) * 2020-09-11 2020-12-01 三一汽车起重机械有限公司 一种全景监控方法、全景监控系统及起重机
AU2022258326A1 (en) 2021-04-12 2023-11-23 Structural Services, Inc. Systems and methods for assisting a crane operator
CN113225527A (zh) * 2021-04-14 2021-08-06 三一海洋重工有限公司 一种全景视频监控方法、装置及一种工程设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7448812B2 (en) * 2004-05-27 2008-11-11 Heibel Thomas S Camera mount
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
JP5462008B2 (ja) * 2010-01-25 2014-04-02 株式会社タダノ 画像表示システム
JP5473870B2 (ja) * 2010-11-15 2014-04-16 住友建機株式会社 建設機械のモニター装置
CN102175222B (zh) * 2011-03-04 2012-09-05 南开大学 基于立体视觉的吊车避障系统
JP5841821B2 (ja) * 2011-12-07 2016-01-13 富士通テン株式会社 画像処理装置、車両、画像処理方法、及び、プログラム
JP6321977B2 (ja) * 2014-01-23 2018-05-09 クラリオン株式会社 重機用周辺監視装置
JP6313992B2 (ja) 2014-02-18 2018-04-18 クラリオン株式会社 牽引車用周囲監視装置
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
WO2015125979A1 (ja) * 2015-04-28 2015-08-27 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法

Also Published As

Publication number Publication date
JP2018042207A (ja) 2018-03-15
US10661712B2 (en) 2020-05-26
US20190248289A1 (en) 2019-08-15
CN109661813B (zh) 2020-10-02
WO2018047954A1 (ja) 2018-03-15
EP3512194B1 (en) 2021-04-21
CN109661813A (zh) 2019-04-19
EP3512194A1 (en) 2019-07-17
EP3512194A4 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
JP6756555B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP5814187B2 (ja) 自走式産業機械の表示装置
JP6167042B2 (ja) 自走式産業機械の周囲監視装置
JP5779244B2 (ja) 作業機械の周囲監視装置
JP5269026B2 (ja) 作業機械の周囲監視装置
JP6589468B2 (ja) 移動式クレーンの周囲表示装置
JP6014664B2 (ja) 自走式産業機械の表示装置
JP5775283B2 (ja) 作業機械のモニタ装置
JP2012051678A (ja) 視界補助システム
KR20140060321A (ko) 작업기의 주위 감시 장치
WO2013046593A1 (ja) 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP2008312004A (ja) カメラシステム及び機械装置
KR20140035440A (ko) 작업 기계의 주위 감시 장치
JP5066198B2 (ja) 作業機械のモニタ装置
JP2014064208A (ja) 作業車両用周辺監視システム及び作業車両
JP5841821B2 (ja) 画像処理装置、車両、画像処理方法、及び、プログラム
JP6713884B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2018039477A (ja) 画像表示システム
JP2018039648A (ja) 画像表示システム
JP6756554B2 (ja) 画像表示システム
JP6787729B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
WO2021060466A1 (ja) クレーン情報表示システム
JP2018039476A (ja) 画像表示システム
JP2016184940A (ja) ダンプトラックの表示装置
JP2014143713A (ja) 作業車両用周辺監視システム及び作業車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200827

R150 Certificate of patent or registration of utility model

Ref document number: 6756555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150