JP6507257B2 - 作業車両 - Google Patents

作業車両 Download PDF

Info

Publication number
JP6507257B2
JP6507257B2 JP2017542621A JP2017542621A JP6507257B2 JP 6507257 B2 JP6507257 B2 JP 6507257B2 JP 2017542621 A JP2017542621 A JP 2017542621A JP 2017542621 A JP2017542621 A JP 2017542621A JP 6507257 B2 JP6507257 B2 JP 6507257B2
Authority
JP
Japan
Prior art keywords
imaging unit
imaging
stereo camera
optical axis
cab
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017542621A
Other languages
English (en)
Other versions
JPWO2017056267A1 (ja
Inventor
晶祥 出口
晶祥 出口
俊 齊藤
俊 齊藤
博義 山口
博義 山口
駿 川本
駿 川本
大樹 菅原
大樹 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of JPWO2017056267A1 publication Critical patent/JPWO2017056267A1/ja
Application granted granted Critical
Publication of JP6507257B2 publication Critical patent/JP6507257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/16Cabins, platforms, or the like, for drivers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D25/00Superstructure or monocoque structure sub-units; Parts or details thereof not otherwise provided for
    • B62D25/04Door pillars ; windshield pillars

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、作業車両に関する。
作業車両による作業では、現況地形は作業の進行に伴って変化する。そのため、作業の進行に平行して、現況地形データの取得が必要となる。現況地形データを取得するための手段の1つとして、ステレオカメラによる距離計測がある。
従来、第1の撮像部および第2の撮像部を有するステレオカメラと、ステレオカメラの撮像方向を変更可能な撮像方向変更手段とを備える、建設機械が提案されている(たとえば、特開2013−36243号公報(特許文献1)参照)。また、車体に複数のステレオカメラが取り付けられ、複数のステレオカメラによりステレオ画像を得る建設機械が提案されている(たとえば、特開2014−215039号公報(特許文献2))。
特許文献2には、互いに同期のとれた2台のカメラをもって構成されたステレオカメラを、所定の間隔を隔てて複数台車体に取り付け、広範な領域について障害物の位置を計測する技術が開示されている。
特開2013−36243号公報 特開2014−215039号公報
建設事業における施行工程の生産性を向上するには、作業対象の現況地形を精度よく効率的に計測し、作業対象の目標形状である設計地形と現況地形との両方に基づいて、作業対象が施行される必要がある。
本発明の目的は、作業対象の現況地形を精度よく撮像できる、撮像装置を備えた作業車両を提供することである。
本発明者らは、ステレオカメラで撮像される撮像データの精度を向上するためには、三角測量の原理上、ステレオカメラを構成する2つの撮像部の間隔を大きくするのが望ましいとの知見に基づいて、本発明を完成するに至った。
すなわち、本発明に係る撮像装置は、作業車両に設けられている。作業車両は、車両本体を有している。撮像装置は、車両本体に取り付けられた第1のステレオカメラと、車両本体に取り付けられた第2のステレオカメラと、を備えている。第1のステレオカメラは、第1の撮像部と、第1の撮像部よりも車両本体の左右方向の右側に配置される第2の撮像部とを有している。第2のステレオカメラは、第3の撮像部と、第3の撮像部よりも車両本体の左右方向の右側に配置される第4の撮像部とを有している。第1の撮像部と第3の撮像部とは、左撮像部群を構成している。第2の撮像部と第4の撮像部とは、右撮像部群を構成している。左撮像部群と右撮像部群とは、車両本体の左右方向に間隔を空けて配置されている。
上記の撮像装置において、車両本体の左右方向の左側から右側へ順に、第1の撮像部、第3の撮像部、第2の撮像部、第4の撮像部が配置されている。
上記の撮像装置において、車両本体の左右方向における第3の撮像部と第2の撮像部との間隔は、第1の撮像部と第3の撮像部との間隔より広く、第2の撮像部と第4の撮像部との間隔より広い。
上記の撮像装置において、作業車両は、キャブをさらに有している。キャブは、一対のフロントピラーを有している。左撮像部群と右撮像部群とは、車両本体の左右方向におけるキャブの中心よりもフロントピラーに近く配置されている。
上記の撮像装置において、作業車両は、キャブをさらに有している。キャブは、前窓を有している。第1のステレオカメラと第2のステレオカメラとは、キャブ内に、前窓の上縁に沿って配置されている。
本発明によれば、作業対象の現況地形を精度よく撮像することができる。
本発明の一実施形態における油圧ショベルの構成を概略的に示す斜視図である。 図1に示す油圧ショベルに適用される油圧回路図である。 図1に示す油圧ショベルの油圧シリンダ、位置センサおよびコントローラの関係を概略的に示す図である。 キャブ内の前方上縁部分を後方から見上げた状態を示す斜視図である。 キャブ内の前方上縁部分を後方から見上げた状態を示す斜視図である。 ステレオカメラのベース部への取り付け状況を示す斜視図である。 前窓の構成の概略を示す斜視図である。 側面視した第1のステレオカメラの撮像部の模式図である。 側面視した第2のステレオカメラの撮像部の模式図である。 ステレオカメラによる撮像範囲を示す模式図である。 ステレオカメラによる撮像範囲を示す模式図である。 平面視したステレオカメラの撮像部の模式図である。 ステレオ画像データ合成システムの構成を示す機能ブロック図である。 画像データの合成の一例を示す図である。 撮像される地形の一例を示す模式図である。 各々の撮像部による撮像の例を示す図である。 各々の撮像部による撮像の例を示す図である。 実施形態に基づく画像データ生成方法を説明するフロー図である。 ステレオカメラの画角外への作業機の移動を示す模式図である。 ベース部に対する各々の撮像部の配置を示す模式図である。 ベース部に対する各々の撮像部の配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。
以下、本発明の実施形態について図に基づいて説明する。
まず、本発明の一実施形態における油圧ショベルの構成について説明する。
図1は、本発明の一実施形態における油圧ショベル1の構成を概略的に示す斜視図である。図1に示されるように、本実施形態の油圧ショベル1は、走行体2と、旋回体3と、作業機4とを主に有している。走行体2と旋回体3とにより、油圧ショベル1の車両本体が構成されている。
走行体2は、左右一対の履帯2aを有している。左右一対の履帯2aが回転駆動することにより、油圧ショベル1が自走可能に構成されている。
旋回体3は、走行体2に対して旋回自在に設置されている。旋回体3は、キャブ5と、エンジンフード6と、カウンタウェイト7とを主に有している。
キャブ5は、旋回体3の前方左側(車両前側)に配置されている。キャブ5の内部に、運転室が形成されている。運転室は、オペレータが油圧ショベル1を操作するための空間である。運転室内には、オペレータが着座するための運転席8が配置されている。旋回体3の上面には、アンテナ9が設置されている。
なお本実施形態においては、作業機4を基準として各部の位置関係について説明する。
作業機4のブーム4aは、旋回体3に対して、ブームピンを中心に回転移動する。旋回体3に対して回動するブーム4aの特定の部分、たとえばブーム4aの先端部が移動する軌跡は円弧状であり、その円弧を含む平面が特定される。油圧ショベル1を平面視した場合に、当該平面は直線として表される。この直線の延びる方向が、車両本体の前後方向、または旋回体3の前後方向であり、以下では単に前後方向ともいう。車両本体の左右方向(車幅方向)、または旋回体3の左右方向とは、平面視において前後方向と直交する方向であり、以下では単に左右方向ともいう。左右方向とは、ブームピンの延びる方向をいう。車両本体の上下方向、または旋回体3の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向であり、以下では単に上下方向ともいう。
前後方向において、車両本体から作業機4が突き出している側が前方向であり、前方向と反対方向が後方向である。前方向を視て左右方向の右側、左側がそれぞれ右方向、左方向である。上下方向において地面のある側が下側、空のある側が上側である。
前後方向とは、キャブ5内の運転席8に着座したオペレータの前後方向である。左右方向とは、運転席8に着座したオペレータの左右方向である。上下方向とは、運転席8に着座したオペレータの上下方向である。運転席8に着座したオペレータに正対する方向が前方向であり、運転席8に着座したオペレータの背後方向が後方向である。運転席8に着座したオペレータが正面に正対したときの右側、左側がそれぞれ右方向、左方向である。運転席8に着座したオペレータの足元側が下側、頭上側が上側である。
エンジンフード6およびカウンタウェイト7の各々は、旋回体3の後方側(車両後側)に配置されている。エンジンフード6は、エンジンルームの少なくとも上方を覆うように配置されている。エンジンルーム内には、エンジンユニット(エンジン、排気処理ユニットなど)が収納されている。カウンタウェイト7は、採掘時などにおいて車両本体のバランスをとるために、エンジンルームの後方に配置されている。
作業機4は、土砂の掘削などの作業を行うためのものである。作業機4は、旋回体3の前方側に取り付けられている。作業機4は、たとえばブーム4a、アーム4b、バケット4c、油圧シリンダ4d,4e,4fなどを有している。ブーム4a、アーム4bおよびバケット4cの各々が油圧シリンダ4f,4e,4dによって駆動されることにより、作業機4は駆動可能である。
ブーム4aの基端部は、ブームピンを介して、旋回体3に連結されている。ブーム4aは、ブームピンを中心に回転可能に設けられている。アーム4bの基端部は、アームピンを介して、ブーム4aの先端部に連結されている。アーム4bは、アームピンを中心に回転可能に設けられている。バケット4cは、バケットピンを介して、アーム4bの先端部に連結されている。バケット4cは、バケットピンを中心に回転可能に設けられている。
作業機4は、キャブ5に対し右側に設けられている。なお、キャブ5と作業機4との配置は図1に示す例に限られるものではなく、たとえば旋回体3の前方右側に配置されたキャブ5の左側に作業機4が設けられていてもよい。
ブーム4aに、ロータリエンコーダ15が取り付けられている。ロータリエンコーダ15は、ブーム4aに対するアーム4bの回動角度に対応するパルス信号を出力する。車両本体にも、ロータリエンコーダが取り付けられている。車両本体に取り付けられているロータリエンコーダは、車両本体に対するブーム4aの回動角度に対応するパルス信号を出力する。
キャブ5は、運転席8を覆って配置されている屋根部分と、屋根部分を支持する複数のピラーとを含んでいる。複数のピラーは、フロントピラー40と、リアピラー46と、中間ピラー44とを有している。フロントピラー40は、運転席8に対し前方の、キャブ5のコーナ部に配置されている。リアピラー46は、運転席8に対し後方の、キャブ5のコーナ部に配置されている。中間ピラー44は、フロントピラー40とリアピラー46との間に配置されている。各々のピラーは、キャブ5の床部に連結されている下端と、キャブ5の屋根部分に連結されている上端とを有している。
フロントピラー40は、右ピラー41と、左ピラー42とを有している。右ピラー41は、キャブ5の前方右隅に配置されている。左ピラー42は、キャブ5の前方左隅に配置されている。キャブ5に対し右方に、作業機4が配置されている。右ピラー41は、作業機4に近い側に配置されている。左ピラー42は、作業機4から離れる側に配置されている。
右ピラー41と、左ピラー42と、一対のリアピラー46とによって囲まれた空間は、キャブ5の室内空間を形成している。運転席8は、キャブ5の室内空間に収容されている。運転席8は、キャブ5の床部のほぼ中央部に配置されている。キャブ5の左側面には、オペレータがキャブ5に乗降するためのドアが設けられている。
右ピラー41と左ピラー42との間には、前窓47が配置されている。前窓47は、運転席8に対し前方に配置されている。前窓47は、透明材料により形成されている。運転席8に着座しているオペレータは、前窓47を通して、キャブ5の外部を視認可能である。たとえば運転席8に着座しているオペレータは、前窓47を通して、土砂を掘削するバケット4c、および施工対象の現況地形などを、直接見ることができる。
図2は、図1に示す油圧ショベル1に適用される油圧回路図である。エンジン25は、旋回体3の後方側のエンジンルーム内に搭載されている。図2に示されるように、エンジン25には、PTO(Power Take Offの略称)装置29が取り付けられている。PTO装置には、複数の油圧ポンプ31a,31b,32a,32b,33a,33b,34が連結されている。
油圧ポンプ34は、操作レバー13により操作されるパイロット圧操作弁12に、パイロット圧を供給する。他の油圧ポンプ31a〜33bは、作業機4を駆動する各油圧シリンダ4d,4e,4f、旋回体3を旋回駆動する旋回モータ、および走行体2に設けた左右走行モータ37a,37bなどの、各アクチュエータに圧油を供給する。
油圧ポンプ31a,31bから吐出された圧油は、それぞれ右走行モータ用切換弁14a、ブーム用切換弁14b、バケット用切換弁14cおよびアーム用切換弁14dを介して、右走行モータ37b、ブームシリンダ4f、アームシリンダ4eおよびバケットシリンダ4dに供給される。これら切換弁14a〜14dのパイロット操作部には、それぞれに対応したパイロット圧が、パイロット圧操作弁12から供給される。
油圧ポンプ31a,31bおよび油圧ポンプ32a,32bの吐出管路には、それぞれのポンプ吐出圧を検出する圧力センサ35a,35bが設けられている。油圧ポンプ33a,33bの吐出管路には、それぞれのポンプ吐出圧を検出する圧力センサ36が設けられている。
切換弁14a〜14dと各アクチュエータとを接続する管路には、各アクチュエータの負荷圧を検出する圧力センサ16a,16b,17a,17b,18a,18b,19a,19bがそれぞれ設けられている。旋回モータ、左走行モータ37aに関しても、上記と同様に、その接続管路にそれぞれの負荷圧を検出する圧力センサ(図示せず)が設けられている。
これらの圧力センサの検出信号は、コントローラ20に入力される。コントローラ20は、上記圧力センサからの各アクチュエータの負荷圧検出値に基づき、それぞれの作業機や走行体2の走行駆動部などの負荷頻度(負荷レベル毎の発生頻度であり、負荷量に対応する。)を求める。
エンジン25の燃料噴射ポンプ26には、エンジンコントローラ22から燃料噴射量指令が入力される。エンジンコントローラ22には、エンジン25の出力回転軸に設けたエンジン回転数センサ27の検出信号が、フィードバック信号として入力される。エンジンコントローラ22は、このエンジン回転数のフィードバック信号に基づき、エンジン25を所定馬力で駆動するように燃料噴射量指令を演算して出力すると共に、コントローラ20にエンジン回転数および出力した燃料噴射量指令値を入力する。
コントローラ20と、エンジンコントローラ22と、モニタ21とは、双方向の通信ケーブル23を介して接続されており、油圧ショベル1内の通信ネットワークを形成している。モニタ21、コントローラ20およびエンジンコントローラ22は、ネットワーク通信ケーブル23,23を経由して互いに情報を送受信可能となっている。モニタ21、コントローラ20、エンジンコントローラ22はそれぞれ、マイクロコンピュータなどのコンピュータ装置を主体として構成されている。
コントローラ20と外部の監視局76との間で、情報の送受信が可能となっている。コントローラ20と監視局76とは、衛星通信を介して通信している。コントローラ20には、通信端末71が接続されている。通信端末71には、図1に示す旋回体3に搭載されたアンテナ9が接続されている。
通信地球局74は、通信衛星73と専用通信回線で通信する。ネットワーク管制局75は、通信地球局74に、専用回線で結ばれている。地上の監視局76は、ネットワーク管制局75に、インターネットなどを経由して接続されている。これにより、通信端末71、通信衛星73、通信地球局74およびネットワーク管制局75を経由して、コントローラ20と所定の監視局76との間でデータが送受信される。
3次元CAD(Computer Aided Design)で作成された施工設計データは、予めコントローラ20に保存されている。モニタ21は、キャブ5内に配置されている。モニタ21は、画面上に、油圧ショベル1の現状位置および施行対象の現況地形をリアルタイムで更新表示し、オペレータが油圧ショベル1の作業状態を常時確認できるようになっている。
コントローラ20は、施工設計データ、作業機4の位置および姿勢、ならびに現況地形をリアルタイムで比較する。コントローラ20は、その比較結果に基づいて、油圧回路を駆動することにより、作業機4を制御する。より具体的には、施工設計データに従った施工されるべき位置とバケット4cの位置とを合わせ、その後所定の掘削または整地などの施工が行われる。これにより、施工設計データに基づいて油圧ショベル1の作業機4が自動制御されるので、施工効率および施工精度を向上することができ、高品質の建設施工を容易に行うことが可能になる。
図3は、図1に示す油圧ショベル1の油圧シリンダ、位置センサ10およびコントローラ20の関係を概略的に示す図である。図3に示されるように、油圧シリンダ(バケットシリンダ4d、アームシリンダ4e、ブームシリンダ4f)にはそれぞれ、油圧シリンダのストローク量を回転量として検出する位置センサ10が取り付けられている。
位置センサ10は、コントローラ20に電気的に接続されている。コントローラ20は、位置センサ10の検出信号に基づいて、バケットシリンダ4d、アームシリンダ4e、ブームシリンダ4fのストローク長を計測する。
油圧シリンダは、シリンダチューブと、シリンダチューブに対して相対的に移動可能なシリンダロッドとを有している。位置センサ10は、シリンダロッドの直線運動に従って回転する回転ローラを有している。位置センサ10は、回転ローラの回転速度と回転数とに基づいて、シリンダチューブに対するシリンダロッドの変位量(ストローク長)を計測する。
図4は、キャブ5内の前方上縁部分を後方から見上げた状態を示す斜視図である。右ピラー41の上部は、右ルーフビーム48aにつながっている。左ピラー42の上部は、左ルーフビーム48bにつながっている。右ルーフビーム48aは、右ピラー41の上部と右側のリアピラー46の上部との間に架け渡されている。左ルーフビーム48bは、左ピラー42の上部と左側のリアピラー46の上部との間に架け渡されている。右ルーフビーム48aと左ルーフビーム48bとの間には、ルーフパネル49が装着されている。ルーフパネル49は、キャブ5の屋根部分を構成している。
前窓47の上縁に沿って、ベース部90が配置されている。ベース部90は、詳細を後述するように、前窓47の上枠部分に取り付けられている。ベース部90は、右ピラー41と左ピラー42との間に、左右方向に延在している。ベース部90は、ルーフパネル49の前縁に沿って配置されている。
左ピラー42の近傍において、ベース部90に、左ケース81が取り付けられている。右ピラー41の近傍において、ベース部90に、右ケース82が取り付けられている。左ケース81と右ケース82とは、中空に形成されている。左ケース81と右ケース82とは、ベース部90から後方に突き出すように配置されている。
ベース部90の延びる方向に沿って、ケーブル24が配置されている。ケーブル24は、前窓47の上縁に沿って左右方向に延び、さらに右ルーフビーム48aに沿って前後方向に延びている。ケーブル24は、左ケース81の内部空間につながり、かつ右ケース82の内部空間につながっている。ケーブル24は、サポート98(図6)を介して、ベース部90によって支持されている。
図5は、図4と同様に、キャブ5内の前方上縁部分を後方から見上げた状態を示す斜視図である。図5には、図4に示す左ケース81および右ケース82がベース部90から取り外された状態が図示されている。左ケース81および右ケース82がベース部90から取り外されたため、左ケース81内に収容されている第1の撮像部51および第3の撮像部61と、右ケース82内に収容されている第2の撮像部52および第4の撮像部62とが、図5において図示されている。
第1の撮像部51と第2の撮像部52とは、互いに同期がとられており、第1のステレオカメラ50を構成している。第1のステレオカメラ50は、第1の撮像部51と第2の撮像部52とを含んで構成されている。第1のステレオカメラ50は、車両本体よりも前方の前方領域を撮像するための撮像装置である。第1のステレオカメラ50は、たとえば、作業機4が作業を行う作業領域を撮像可能である。第1の撮像部51は、第2の撮像部52よりも左右方向の左側に配置されている。第2の撮像部52は、第1の撮像部51よりも左右方向の右側に配置されている。
第3の撮像部61と第4の撮像部62とは、互いに同期がとられており、第2のステレオカメラ60を構成している。第2のステレオカメラ60は、第3の撮像部61と第4の撮像部62とを含んで構成されている。第2のステレオカメラ60は、車両本体よりも前方の前方領域を撮像するための撮像装置である。第2のステレオカメラ60は、たとえば、作業機4が作業を行う作業領域を撮像可能である。第3の撮像部61は、第4の撮像部62よりも左右方向の左側に配置されている。第4の撮像部62は、第3の撮像部61よりも左右方向の右側に配置されている。
第1のステレオカメラ50と第2のステレオカメラ60とは、左右方向に並んで配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、左右方向に並んで配置されている。左右方向の左側から右側へ順に、第1の撮像部51、第3の撮像部61、第2の撮像部52、第4の撮像部62が配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、同じ装置である。
左右方向における第3の撮像部61と第2の撮像部52との間隔は、左右方向における第1の撮像部51と第3の撮像部61との間隔より広くなっている。左右方向における第3の撮像部61と第2の撮像部52との間隔は、左右方向における第2の撮像部52と第4の撮像部62との間隔より広くなっている。左右方向における第1の撮像部51と第2の撮像部52との間隔と、左右方向における第3の撮像部61と第4の撮像部62との間隔とは、互いに等しくなっている。
第1のステレオカメラ50と第2のステレオカメラ60とは、キャブ5の内部に、前窓47の上縁に沿って配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、キャブ5の内部に、前窓47の上縁に沿って配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、前窓47に面して配置されている。
第1のステレオカメラ50と第2のステレオカメラ60とは、図5中に示す左右方向に延びる破線上に並んで、上下方向において同じ位置に配置されている。第1のステレオカメラ50の第1の撮像部51と第2の撮像部52とは、同じ高さに配置されている。第2のステレオカメラ60の第3の撮像部61と第4の撮像部62とは、同じ高さに配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、図5中に示す破線上に並んで、上下方向において同じ位置に配置されている。
第1の撮像部51と第3の撮像部61とは、左撮像部群を構成している。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成している。左撮像部群は、図4に示す左ケース81内に収容されている。右撮像部群は、図4に示す右ケース82内に収容されている。左撮像部群と右撮像部群とは、左右方向に間隔を空けて配置されている。
左撮像部群は、左ピラー42の近傍に配置されている。左右方向における、キャブ5の中心と左撮像部群との距離は、左ピラー42と左撮像部群との距離よりも大きい。左撮像部群は、左右方向におけるキャブ5の中心よりも、左ピラー42に近く配置されている。左右方向におけるキャブ5の中心と左ピラー42との間の領域を、仮想的に左右方向に2分割した場合、2分割された2つの領域のうち左ピラー42に近い領域内に、左撮像部群が配置されている。左撮像部群は、左ピラー42に寄って配置されている。
右撮像部群は、右ピラー41の近傍に配置されている。左右方向における、キャブ5の中心と右撮像部群との距離は、右ピラー41と右撮像部群との距離よりも大きい。右撮像部群は、左右方向におけるキャブ5の中心よりも、右ピラー41に近く配置されている。左右方向におけるキャブ5の中心と右ピラー41との間の領域を、仮想的に左右方向に2分割した場合、2分割された2つの領域のうち右ピラー41に近い領域内に、右撮像部群が配置されている。右撮像部群は、右ピラー41に寄って配置されている。
各々の撮像部は、光学処理部と、受光処理部と、画像処理部とを備えている。光学処理部は、集光のためのレンズを有している。後述する撮像部の光軸は、レンズ面中央を通り、レンズ面に垂直な軸である。受光処理部は、撮像素子を有している。撮像素子は、たとえばCMOSである。撮像素子は、受光面を有している。受光面は、上記の光軸に直交する面である。受光面は、平坦な矩形状であり、縦長に配置されている。撮像部は、撮像素子の受光面の縦の辺(長尺の辺)が鉛直方向に沿うように、配置されている。
図6は、第1のステレオカメラ50と第2のステレオカメラ60とのベース部90への取り付け状況を示す斜視図である。図5を併せて参照して、図6中の右側が車両本体の右方向に相当し、図6中の左側が車両本体の左方向に相当する。図6に示すように、ベース部90は、前窓47の上枠部分に取り付けられる取付アングル91を有している。取付アングル91は、山形鋼状の形状を有しており、互いに略直角に折れ曲がった2つの辺を有している。
取付アングル91の一方の辺には、厚み方向に一方の辺を貫通する複数の貫通孔が形成されている。この貫通孔の各々をボルト95が貫通して、前窓47の上枠部分にボルト95が締結されることにより、取付アングル91は前窓47に取り付けられる。
取付アングル91の他方の辺には、取付片92が固定されている。取付片92は矩形箱状の外形を有している。取付片92の外表面のうち一面が取付アングル91の一方の辺に接触しており、他の一面が取付アングル91の他方の辺に接触している。取付片92にはナット穴が形成されている。
取付アングル91の他方の辺にはまた、取付プレート93が設けられている。ベース部90は、取付アングル91と、取付片92と、取付プレート93とを含んで構成されている。取付プレート93は、細長い平板状の形状を有している。取付プレート93は、取付アングル91の延在方向と平行に延びている。取付プレート93は、取付アングル91の他方の辺に直交し取付アングル91の一方の辺に平行な方向に延びている。取付アングル91と取付プレート93とは一体で、ギリシャ文字の大文字のパイ状に似た形状を有している。
取付プレート93には、厚み方向に取付プレート93を貫通する複数の貫通孔が形成されている。複数の貫通孔の一部をボルト96が各々貫通して、取付片92に形成されたナット穴にボルト96が締結されることにより、取付プレート93は取付片92を介して取付アングル91に固定される。取付プレート93の縁部分が取付アングル91の他方の辺に直接固定されていてもよい。
取付プレート93には、ブラケット101が取り付けられている。ブラケット101に形成された貫通孔と取付プレート93に形成された貫通孔とをボルト97が各々貫通して、取付片92に形成されたナット穴にボルト97が締結されることにより、ブラケット101は取付プレート93に固定される。ブラケット101は、取付プレート93と取付片92とを介して、取付アングル91に固定される。
ブラケット101は、角張ったC字状の形状を有している。ブラケット101は、細長い一枚の平板の両端部分を屈曲することによって形成されてもよい。ブラケット101は、ブラケット101の中央部分を構成している固定部102と、ブラケット101の一方端を構成している突出部103と、ブラケット101の他方端を構成している突出部104とを有している。固定部102は、ボルト97によって取付プレート93に固定されている。突出部103および突出部104は、固定部102に対して屈曲して、取付プレート93から離れる側に突き出している。
突出部103には、第1のステレオカメラ50の第1の撮像部51が取り付けられている。第1の撮像部51は、平板状の突出部103の表面のうち、右方向を向く表面に取り付けられている。突出部104には、第2のステレオカメラ60の第3の撮像部61が取り付けられている。第3の撮像部61は、平板状の突出部104の表面のうち、右方向を向く表面に取り付けられている。
取付プレート93には、ブラケット111が取り付けられている。ブラケット111に形成された貫通孔と取付プレート93に形成された貫通孔とをボルト97が各々貫通して、取付片92に形成されたナット穴にボルト97が締結されることにより、ブラケット111は取付プレート93に固定される。ブラケット111は、取付プレート93と取付片92とを介して、取付アングル91に固定される。
ブラケット111は、角張ったC字状の形状を有している。ブラケット111は、細長い一枚の平板の両端部分を屈曲することによって形成されてもよい。ブラケット111は、ブラケット111の中央部分を構成している固定部112と、ブラケット111の一方端を構成している突出部113と、ブラケット111の他方端を構成している突出部114とを有している。固定部112は、ボルト97によって取付プレート93に固定されている。突出部113および突出部114は、固定部112に対して屈曲して、取付プレート93から離れる側に突き出している。
突出部113には、第1のステレオカメラ50の第2の撮像部52が取り付けられている。第2の撮像部52は、平板状の突出部113の表面のうち、右方向を向く表面に取り付けられている。突出部104には、第2のステレオカメラ60の第4の撮像部62が取り付けられている。第4の撮像部62は、平板状の突出部114の表面のうち、右方向を向く表面に取り付けられている。
図7は、前窓47の構成の概略を示す斜視図である。前窓47は、上枠部分47a、左枠部分47b、右枠部分47cおよび図示しない下枠部分によって形成された矩形環状の枠体が、強化ガラスなどの透明材料の周縁を取り囲んで、形成されている。
図7に示すように、前窓47の上枠部分47aには、複数の座47sが設けられている。座47sは、図6に示す取付アングル91の一方の辺に形成された貫通孔と同数形成されている。座47sは、図6に示すボルト95と同数形成されている。座47sには、ナット穴が形成されている。取付アングル91の一方の辺に形成された貫通孔の各々をボルト95が貫通して、座47sにボルト95が締結されることにより、取付アングル91は座47sに取り付けられる。
取付アングル91の座47sへの取り付けによって、ベース部90の全体と、ベース部90に取り付けられたブラケット101,111と、ブラケット101に取り付けられた第1の撮像部51および第3の撮像部61と、ブラケット111に取り付けられた第2の撮像部52および第4の撮像部62とが、前窓47の上縁に沿って配置される。第1の撮像部51と第2の撮像部52とは、第1のステレオカメラ50を構成している。第3の撮像部61と第4の撮像部62とは、第2のステレオカメラ60を構成している。第1のステレオカメラ50と第2のステレオカメラ60とは、図5に示すように、キャブ5内に、前窓47の上縁に沿って配置されている。
図8は、側面視した第1のステレオカメラ50の模式図である。図8中の左側は車両本体の前側であり、図8中の右側は車両本体の後側であり、図8中の上側は車両本体の上側であり、図8中の下側は車両本体の下側である。図8中の左右方向は車両本体の前後方向であり、図8中の上下方向は車両本体の上下方向である。図8中には、第1のステレオカメラ50を構成する撮像部のうち、第2の撮像部52のみが図示されている。図8中に一点鎖線で示す光軸AX2は、第2の撮像部52の光軸を示している。
図8に示すように、第2の撮像部52は、前窓47に面して配置されている。第2の撮像部52は、キャブ5の前方を見下ろす角度で配置されている。第2の撮像部52の光軸AX2は、キャブ5の前方で、水平方向に対して下向きの角度を形成している。光軸AX2は、車両本体の前方で、水平方向に対して俯角をなして傾斜している。
図8中には、第1のステレオカメラ50を構成する撮像部のうち、第2の撮像部52が代表的に図示されているが、側面視において第1の撮像部51は第2の撮像部52と同じ位置に配置されている。側面視において、第1の撮像部51の光軸は、図8に示す第2の撮像部52の光軸AX2と同じ方向に延びている。第1の撮像部51の光軸は、車両本体の前方で、水平方向に対して俯角をなして傾いている。
図9は、側面視した第2のステレオカメラ60の模式図である。図9には、図8に示した第2の撮像部52に替えて、第2のステレオカメラ60の第4の撮像部62が図示されている。図9中には、第2のステレオカメラ60を構成する撮像部のうち、第4の撮像部62のみが図示されている。図9中に一点鎖線で示す光軸AX4は、第4の撮像部62の光軸を示している。
図9に示すように、第4の撮像部62は、前窓47に面して配置されている。第4の撮像部62は、キャブ5の前方を僅かに見下ろす角度で配置されている。第4の撮像部62の光軸AX4は、キャブ5の前方で、水平方向に対して下向きの角度を形成している。光軸AX4は、車両本体の前方で、水平方向に対して俯角をなして傾斜している。
図9中には、第2のステレオカメラ60を構成する撮像部のうち、第4の撮像部62が代表的に図示されているが、側面視において第3の撮像部61は第4の撮像部62と同じ位置に配置されている。側面視において、第3の撮像部61の光軸は、図9に示す第4の撮像部62の光軸AX4と同じ方向に延びている。第3の撮像部61の光軸は、車両本体の前方で、水平方向に対して俯角をなして傾いている。
図8と図9とを比較して、第1のステレオカメラ50の光軸(図8,9に示す側面視においては、第1の撮像部51の光軸および第2の撮像部52の光軸AX2と一致する)は、第2のステレオカメラ60の光軸(図8,9に示す側面視においては、第3の撮像部61の光軸および第4の撮像部62の光軸AX4と一致する)よりも、水平方向に対して大きな角度で傾いている。第1のステレオカメラ50の光軸の俯角は、第2のステレオカメラ60の光軸の俯角よりも、大きくなっている。
図10は、第1のステレオカメラ50による撮像範囲R1、および第2のステレオカメラ60による撮像範囲R2を示す模式図である。上述したように、第1のステレオカメラ50と第2のステレオカメラ60とは、キャブ5内の前方上部に配置されている。第1のステレオカメラ50と第2のステレオカメラ60とは、上下方向において同じ位置に配置されている。図10に示すように、側方視において、第1のステレオカメラ50と第2のステレオカメラ60とは、互いに重なっている。第1の撮像部51と第2の撮像部52と第3の撮像部61と第4の撮像部62とは、側方視において互いに重なる位置に、配置されている。
図10中に示す光軸AX2は、図8を参照して説明した第2の撮像部52の光軸を示す。光軸AX1は、第1の撮像部51の光軸であり、図10に示す側面視において光軸AX2と同じ方向に延びている。図10中に示す光軸AX4は、図9を参照して説明した第4の撮像部62の光軸を示す。光軸AX3は、第3の撮像部61の光軸であり、図10に示す側面視において光軸AX4と同じ方向に延びている。
図10に示す油圧ショベル1は、作業機4で法面T1の作業を行っている。法面T1は、上方地面T4と下方地面T5との間で、上下方向に対して傾斜している地面である。法肩T2は、法面T1の最上部の端である。法尻T3は、法面T1の最下部の端である。法肩T2は、法面T1と上方地面T4との境界をなしている。法尻T3は、法面T1と下方地面T5との境界をなしている。
図10中に右上から左下へ延びる斜線によるハッチングが施された範囲は、水平面にある油圧ショベル1に搭載される第1のステレオカメラ50の垂直面における画角内の範囲を示す。第1のステレオカメラ50は、その画角内に含まれる地形を撮像する。図10中に示す撮像範囲R1は、第1のステレオカメラ50が撮像する垂直面における第1の撮像範囲を示す。撮像範囲R1は、下方地面T5の一部と、法尻T3と、法面T1の一部とを含んでいる。
図10中に左上から右下へ延びる斜線によるハッチングが施された範囲は、水平面にある油圧ショベル1に搭載される第2のステレオカメラ60の垂直面における画角内の範囲を示す。第2のステレオカメラ60は、その画角内に含まれる地形を撮像する。図10中に示す撮像範囲R2は、第2のステレオカメラ60が撮像する垂直面における第2の撮像範囲を示す。撮像範囲R2は、法面T1の一部を含んでいる。
第1のステレオカメラ50の光軸(図10に示す側面視においては、第1の撮像部51の光軸AX1および第2の撮像部52の光軸AX2と一致する)の俯角は、第2のステレオカメラ60の光軸(図10に示す側面視においては、第3の撮像部61の光軸AX3および第4の撮像部62の光軸AX4と一致する)の俯角よりも大きい。そのため、第1のステレオカメラ50は、相対的に下方の撮像範囲R1を撮像する。第2のステレオカメラ60は、相対的に上方の撮像範囲R2を撮像する。第2のステレオカメラ60は、第1のステレオカメラ50が撮像する撮像範囲R1よりも上方の撮像範囲R2を撮像する。
撮像範囲R1と撮像範囲R2とは、一部重なっている。撮像範囲R1の上縁部分と、撮像範囲R2の下縁部分とは、互いに重畳している。第1のステレオカメラ50の画角と第2のステレオカメラ60の画角とは、一部が重畳している。第1の撮像部51、第2の撮像部52、第3の撮像部61、および第4の撮像部62の画角は、一部が重畳している。撮像範囲R1の下縁と撮像範囲R2の上縁とは、約90度の角を成す(図10では、図を見やすくするため、90度より小さい角にされている)。約90度の垂直画角により、油圧ショベル1の作業機4が作業する作業領域を含む領域を撮像することができる。
図11は、図10と同様に、第1のステレオカメラ50による垂直面における撮像範囲R1、および第2のステレオカメラ60による垂直面における撮像範囲R2を示す模式図である。図11に示す油圧ショベル1は、図10に示す法面T1を有する地形とは異なる地形である、平面T6の作業を行っている。
第1のステレオカメラ50の光軸(図11に示す側面視においては、第1の撮像部51の光軸AX1および第2の撮像部52の光軸AX2と一致する)の俯角は、第2のステレオカメラ60の光軸(図11に示す側面視においては、第3の撮像部61の光軸AX3および第4の撮像部62の光軸AX4と一致する)の俯角よりも大きい。そのため、第1のステレオカメラ50は、相対的に車両本体に近い撮像範囲R1を撮像する。第2のステレオカメラ60は、相対的に車両本体から離れる撮像範囲R2を撮像する。第2のステレオカメラ60は、第1のステレオカメラ50が撮像する撮像範囲R1よりも遠方の撮像範囲R2を撮像する。撮像範囲R1と撮像範囲R2とは、一部重なっている。撮像範囲R2により、作業機4が作業する作業領域より車両本体から遠い領域を撮像することができる。
図12は、平面視した第1のステレオカメラ50および第2のステレオカメラ60の、第1〜4の撮像部の模式図である。図12中には、キャブ5内に取り付けられたベース部90、ベース部90に支持された第1の撮像部51、第2の撮像部52、第3の撮像部61および第4の撮像部62、ならびに作業機4を平面視した状態が、模式的に図示されている。図12中の右側が車両本体の右方向に相当し、図12中の左側が車両本体の左方向に相当する。図12中の上側が車両本体の前方向に相当し、図12中の下側が車両本体の後方向に相当する。
図12中には、上述した第1の撮像部51、第2の撮像部52、第3の撮像部61、および第4の撮像部62の各々の光軸AX1,AX2,AX3,AX4が図示されている。図12中にはまた、作業機4の中心軸Cが一点鎖線で図示されている。図12に示すように、平面視した作業機4の延在方向に延び、かつ、当該延在方向に直交する方向である短手方向における作業機4の中心を通る線を、作業機4の中心軸Cという。上述した通り、本実施形態の作業機4は旋回体3の前方側に軸支されているため、作業機4の中心軸Cは、車両本体の前後方向に延びている。
第1の撮像部51の光軸AX1と、第2の撮像部52の光軸AX2とは、図12に示すように、平面視において作業機4の中心軸Cの延びる方向に対して傾斜している。光軸AX1,AX2は、平面視において、車両本体から前方に離れるにつれて作業機4に近づく方向に延びている。平面視した光軸AX1,AX2は、車両本体の前方で、作業機4の中心軸Cと交差する。
なお、平面視における第1のステレオカメラ50の光軸は、第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2との交点を通り、光軸AX1と光軸AX2とのなす角を二等分し、第1の撮像部51と第2の撮像部52との中間点を通る直線の延びる方向として、定義される。
第1の撮像部51は、車両本体の左右方向において、第2の撮像部52よりも作業機4から離れる位置に配置されている。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、平面視において、作業機4の中心軸Cの延びる方向に対して、互いに異なる角度で傾斜している。第1の撮像部51の光軸AX1が作業機4の中心軸Cの延びる方向に対して傾斜する角度は、第2の撮像部52の光軸AX2が作業機4の中心軸Cの延びる方向に対して傾斜する角度よりも、大きくなっている。
第1の撮像部51と第2の撮像部52とは、各々の光軸AX1,AX2が平行ではなく、各々の光軸AX1,AX2が車両本体の前方において交差するように配置されている。そのため、第1の撮像部51が撮像する撮像範囲と、第2の撮像部52が撮像する撮像範囲とが、確実に一部重なり合っている。これにより、第1の撮像部51と第2の撮像部52とを車両本体の左右方向に間隔を空けて配置した場合でも、第1のステレオカメラ50で撮像しようとする対象物の一対の画像を確実に取得することができ、これら一対の画像をステレオ処理することで撮像対象物の3次元画像を構築することが可能である。
第3の撮像部61の光軸AX3と、第4の撮像部62の光軸AX4とは、図12に示すように、平面視において作業機4の中心軸Cの延びる方向に対して傾斜している。光軸AX3,AX4は、平面視において、車両本体から前方に離れるにつれて作業機4に近づく方向に延びている。平面視した光軸AX3,AX4は、車両本体の前方で、作業機4の中心軸Cと交差する。
なお、平面視における第2のステレオカメラ60の光軸は、第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4との交点を通り、光軸AX3と光軸AX4とのなす角を二等分し、第3の撮像部61と第4の撮像部62との中間点を通る直線の延びる方向として、定義される。
第3の撮像部61は、車両本体の左右方向において、第4の撮像部62よりも作業機4から離れる位置に配置されている。第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、平面視において、作業機4の中心軸Cの延びる方向に対して、互いに異なる角度で傾斜している。第3の撮像部61の光軸AX3が作業機4の中心軸Cの延びる方向に対して傾斜する角度は、第4の撮像部62の光軸AX4が作業機4の中心軸Cの延びる方向に対して傾斜する角度よりも、大きくなっている。
第3の撮像部61と第4の撮像部62とは、各々の光軸AX3,AX4が平行ではなく、各々の光軸AX3,AX4が車両本体の前方において交差するように配置されている。そのため、第3の撮像部61が撮像する撮像範囲と、第4の撮像部62が撮像する撮像範囲とが、確実に一部重なり合っている。これにより、第3の撮像部61と第4の撮像部62とを車両本体の左右方向に間隔を空けて配置した場合でも、第2のステレオカメラ60で撮像しようとする対象物の一対の画像を確実に取得することができ、これら一対の画像をステレオ処理することで撮像対象物の3次元画像を構築することが可能である。
図13は、第1のステレオカメラ50および第2のステレオカメラ60を用いた画像データ生成システムの構成を示す機能ブロック図である。図13に示すように、第1のステレオカメラ50は、第1の撮像部51と第2の撮像部52とを有している。第2のステレオカメラ60は、第3の撮像部61と第4の撮像部62とを有している。
第1のステレオカメラ50は、コントローラ20に電気的に接続されている。第1の撮像部51と第2の撮像部52とは、車両本体に対して前方の前方領域(図10,11に示す撮像範囲R1)を、同期して撮像する。第1の撮像部51および第2の撮像部52が撮像した2次元画像は、コントローラ20に入力される。コントローラ20は、入力された2つの2次元画像に係るデータを、外部の監視局76へ送信する。
監視局76は、ステレオマッチング部761を有している。ステレオマッチング部761は、画像データ生成システムの一部を構成している。ステレオマッチング部761は、第1の撮像部51と第2の撮像部52とが異なる角度から同時に撮像した2次元画像をステレオマッチングし、撮像対象である前方領域の3次元形状に係る画像データを算出する。より具体的には、ステレオマッチング部761は、第1の撮像部51と第2の撮像部52との視差に基づいて、三角測量の原理を用いて、第1の撮像部51から撮像対象である前方領域までの距離と、第2の撮像部52から前方領域までの距離を算出して、前方領域の3次元形状を求める。
第2のステレオカメラ60は、コントローラ20に電気的に接続されている。第3の撮像部61と第4の撮像部62とは、車両本体に対して前方の前方領域(図10,11に示す撮像範囲R2)を、同期して撮像する。第3の撮像部61および第4の撮像部62が撮像した2次元画像は、コントローラ20に入力される。コントローラ20は、入力された2つの2次元画像に係るデータを、外部の監視局76へ送信する。
監視局76は、ステレオマッチング部762を有している。ステレオマッチング部762は、画像データ生成システムの一部を構成している。ステレオマッチング部762は、第3の撮像部61と第4の撮像部62とが異なる角度から同時に撮像した2次元画像をステレオマッチングし、撮像対象である前方領域の3次元形状に係る画像データを算出する。より具体的には、ステレオマッチング部762は、第3の撮像部61と第4の撮像部62との視差に基づいて、三角測量の原理を用いて、第3の撮像部61から撮像対象である前方領域までの距離と、第4の撮像部62から前方領域までの距離を算出して、前方領域の3次元形状を求める。
図10,11を参照して説明した通り、第2のステレオカメラ60は、第1のステレオカメラ50が撮像する撮像範囲R1よりも上方または遠方の撮像範囲R2を撮像する。撮像範囲R1の上縁部分と、撮像範囲R2の下縁部分とは、互いに重畳している。そのため、ステレオマッチング部762で求められる前方領域の3次元形状は、ステレオマッチング部761で求められる前方領域の3次元形状に対して上方または遠方の地形を示している。ステレオマッチング部762で求められる3次元形状の下縁部分と、ステレオマッチング部761で求められる三次元形状の上縁部分とは、形状を共通している。
監視局76はさらに、上下ステレオ画像データ合成部763を有している。上下ステレオ画像データ合成部763は、ステレオマッチング部761により算出された画像データと、ステレオマッチング部762により算出された画像データとを、1つに合成する。この画像データの合成は、第1のステレオカメラ50と第2のステレオカメラ60との相対位置に基づいて、一方の画像データの座標系上に他方の画像データを投影することにより、行われる。2つの画像データを、共通した3次元形状が重畳するように縦に並べて合成することにより、図10に示す法面T1の法尻T3から法肩T2に至る範囲が広く合成された画像データを取得できる。
図14は、画像データの合成の一例を示す図である。図14中に示す取得画像I1は、第1のステレオカメラ50の第1の撮像部51が撮像した2次元画像を示す。取得画像I2は、第1のステレオカメラ50の第2の撮像部52が撮像した2次元画像を示す。取得画像I3は、第2のステレオカメラ60の第3の撮像部61が撮像した2次元画像を示す。取得画像I4は、第2のステレオカメラ60の第4の撮像部62が撮像した2次元画像を示す。
図14において模式的に示し、かつ後述する図16,17でより詳細に示すように、取得画像I1〜I4は、縦長の形状を有している。上述したように、各々の撮像部の撮像素子の受光面が縦長に配置されていることにより、各々の撮像部が撮像した取得画像I1〜I4は、縦長の形状を有している。各々の撮像部は、縦長の画像を撮像可能に構成されている。第1のステレオカメラ50と第2のステレオカメラ60とは、縦長の画像を撮像可能に構成されている。
視差画像D1は、取得画像I1と取得画像I2とのステレオマッチング処理を行うことにより生成された画像を示す。視差画像D2は、取得画像I3と取得画像I4とのステレオマッチング処理を行うことにより生成された画像を示す。取得画像I1中の画素と取得画像I2中の画素との視差値を算出することにより、視差画像D1が作成される。取得画像I3中の画素と取得画像I4中の画素との視差値を算出することにより、視差画像D2が作成される。
地形データTは、視差画像D1と視差画像D2とを合成して得られる、車両本体の前方の現況地形を3次元的に示す画像データである。視差画像D1と視差画像D2とを縦に並べて合成することにより、図10に示す法面T1の法尻T3から法肩T2に至る範囲が広く合成された、地形データTが作成される。地形データTは、車両本体の前方の現況地形の3次元形状を含んでいる。
図15は、撮像される地形の一例を示す模式図である。図15に示す地形は、図10を参照して説明した地形と同様に、法面T1を有している。法面T1は、上方地面T4と下方地面T5との間で、上下方向に対して傾斜している。法面T1と上方地面T4との境界が法肩T2であり、法面T1と下方地面T5との境界が法尻T3である。
図16は、各々の撮像部による撮像の例を示す図である。図16(a)は、第1の撮像部51が図15に示す地形を撮像した2次元画像を示す。図16(b)は、第3の撮像部61が図15に示す地形を撮像した2次元画像を示す。図16(c)は、第2の撮像部52が図15に示す地形を撮像した2次元画像を示す。図16(d)は、第4の撮像部62が図15に示す地形を撮像した2次元画像を示す。
第1のステレオカメラ50を構成する第1の撮像部51および第2の撮像部52が撮像した撮像には、図16(a)および図16(c)に示すように、法肩T2と法尻T3との両方が含まれている。第1のステレオカメラ50による撮像には、高さ方向における法面T1の全体が含まれている。
第2のステレオカメラ60を構成する第3の撮像部61および第4の撮像部62が撮像した撮像には、図16(b)および図16(d)に示すように、法肩T2が含まれているが、法尻T3は含まれていない。第2のステレオカメラ60による撮像には、高さ方向における法面T1の上端部分と、法面T1よりも上方の地形とが含まれている。
第1のステレオカメラ50による撮像の上縁部分と、第2のステレオカメラ60による撮像の下縁部分とは、図16に示すように、形状を共通している。第1のステレオカメラ50の撮像範囲と、第2のステレオカメラ60の撮像範囲とで、互いに重畳する領域が存在している。そのため、第1のステレオカメラ50による撮像と、第2のステレオカメラ60による撮像とを、第1のステレオカメラ50による撮像を下側、第2のステレオカメラ60による撮像を上側にして縦に並べて合成することにより、法面T1に対して下方の下方地面T5から法面T1に対して上方の上方地面T4にまで至る範囲が広く合成された画像データを生成することが可能になる。
図17は、各々の撮像部による撮像の例を示す図である。図17には、図16に示す撮像と同じ地形を撮像した画像が示されているが、第1のステレオカメラ50および第2のステレオカメラ60による撮像内に、作業機4が含まれている。第1のステレオカメラ50および第2のステレオカメラ60の画角内に、作業機4が存在している。作業機4によって法面T1の現況地形が一部隠されているため、図17に示す撮像を使用しても現況地形を正確に把握することができない。以下では、車両本体の前方の前方領域の画像データをより高精度に生成できる画像データ生成方法について説明する。
図18は、実施形態に基づく画像データ生成方法を説明するフロー図である。まず、図17に示したようにステレオカメラの画角内にある作業機4を、画角外へ移動する(ステップS1)。図19は、ステレオカメラの画角外への作業機4の移動を示す模式図である。図19(a)には、作業機4が作業を行っている油圧ショベル1が示されており、図19(b)には、作業機4がステレオカメラの画角外へ移動した状態の油圧ショベル1が示されている。
図2,3に示すコントローラ20は、位置センサ10の検出信号に基づいて、バケットシリンダ4d、アームシリンダ4e、ブームシリンダ4fのストローク長を計測する。各油圧シリンダのストローク長に基づいて、コントローラ20は、作業機4の現在位置を計測する。作業機4の現在位置と、第1のステレオカメラ50および第2のステレオカメラ60の画角の設定値とに基づいて、コントローラ20は、作業機4が第1のステレオカメラ50および第2のステレオカメラ60の画角内にあるか否かを判断する。
作業機4がステレオカメラの画角内にあると判断されれば、コントローラ20は、ステレオカメラの画角外に作業機4を移動させる。具体的には、コントローラ20は、図2に示すブーム用切換弁14bおよびアーム用切換弁14dに操作信号を送信し、ブーム4aを上昇させるとともに、アーム4bを上昇させる。コントローラ20は、図3に示す位置センサ10から、アームシリンダ4eが縮み側のストロークエンドにまで到達したことを示す検出信号、およびブームシリンダ4fが縮み側のストロークエンドにまで到達したことを示す検出信号を受け取る。これらの検出信号を受信したコントローラ20は、作業機4が図19(b)に示す位置まで移動したと認識し、作業機4がステレオカメラの画角外にまで移動したことを判断する。
次に、撮像を行う(ステップS2)。第1のステレオカメラ50を構成している第1の撮像部51および第2の撮像部52、ならびに、第2のステレオカメラ60を構成している第3の撮像部61および第4の撮像部62が、全て同期して、車両本体の前方の前方領域を撮像する。先のステップS1で作業機4がステレオカメラの画角外に移動しているため、図16に示すように、撮像には作業機4が存在していない。撮像装置は、作業機4を画角外に移動させた状態で、前方領域の撮像を行う。
次に、ステレオマッチングを行う(ステップS3)。図16(a)に示す第1の撮像部51の撮像(図14における取得画像I1に相当する)と、図16(c)に示す第2の撮像部52の撮像(図14における取得画像I2に相当する)とを、ステレオマッチング処理し、図14に示す視差画像D1の画像データを生成する。また、図16(b)に示す第3の撮像部61の撮像(図14における取得画像I3に相当する)と、図16(d)に示す第4の撮像部62の撮像(図14における取得画像I4に相当する)とを、ステレオマッチング処理し、図14に示す視差画像D2の画像データを生成する。
次に、上下のステレオ画像データの合成を行う(ステップS4)。ステップS3で得られた視差画像D1の画像データと視差画像D2の画像データとを、視差画像D1を下側、視差画像D2を上側にして、共通した形状が重畳するように縦に並べて合成する。このとき、視差画像D1の画像データと視差画像D2の画像データとが、各々の画像データの長手方向に合成される。これにより、図14に示す地形データTが作成される。
次に、画像データを表示する(ステップS5)。コントローラ20は、ステップS4で作成された現況地形の地形データTを、図2に示すモニタ21に表示する。モニタ21には、作業対象の施工設計データと、現況地形を示す地形データTとが表示される。オペレータは、キャブ5内でモニタ21の表示を確認することにより、現時点での作業状態を確認可能である。
次に、作業機4を、作業を行う作業領域へ移動させる(ステップS6)。撮像中には図19(b)に示すようにステレオカメラの画角外に移動していた作業機4を、車両本体の前方の、ステレオカメラの画角内に復帰させる。これにより、作業機4による次なる作業の準備が行われる。このようにして、画像データ生成に係る一連の処理を終了する(エンド)。
上記実施形態では、作業機4がステレオカメラの画角外に移動したことを、アームシリンダ4eとブームシリンダ4fとが縮み側のストロークエンドに達したことにより判定している。別の実施形態として、ブームシリンダ4fが縮み側のストロークエンド、アームシリンダ4eとバケットシリンダ4dとが伸び側のストロークエンドに達することにより作業機4の画角外移動を判定してもよい。
図20は、ベース部90に対する各々の撮像部の配置を示す模式図である。図20には、図4、図5および図6を参照して説明したベース部90、第1のステレオカメラ50を構成している第1の撮像部51および第2の撮像部52、第2のステレオカメラ60を構成している第3の撮像部61および第4の撮像部62、左ケース81、ならびに右ケース82が、模式的に図示されている。
図20に示すように、第2の撮像部52は、第1の撮像部51よりも右側に配置されている。第4の撮像部62は、第3の撮像部61よりも右側に配置されている。第1の撮像部51と第3の撮像部61とは、左撮像部群を構成している。左撮像部群は、左ケース81内に収容されている。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成している。右撮像部群は、右ケース82内に収容されている。左撮像部群と右撮像部群とは、左右方向に間隔を空けて配置されている。
左右方向において、左側から右側へ順に、第1の撮像部51、第3の撮像部61、第2の撮像部52、第4の撮像部62が配置されている。左右方向における第3の撮像部61と第2の撮像部52との間隔は、第1の撮像部51と第3の撮像部61との間隔よりも広くなっている。左右方向における第3の撮像部61と第2の撮像部52との間隔は、第2の撮像部52と第4の撮像部62との間隔よりも広くなっている。
図21は、図20と同様に、ベース部90に対する各々の撮像部の配置を示す模式図である。図20と同様に、第1の撮像部51と第3の撮像部61とは、左撮像部群を構成しており、左ケース81内に収容されている。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成しており、右ケース82内に収容されている。図21に示す変形例は、左右方向における第2の撮像部52と第4の撮像部62との配置が入れ替えられている点で、図20に示す例と異なっている。図21に示す変形例では、左右方向において、左側から右側へ順に、第1の撮像部51、第3の撮像部61、第4の撮像部62、第2の撮像部52が配置されている。
図21に示す変形例においても、左撮像部群と右撮像部群とは、左右方向に間隔を空けて配置されている。左撮像部群のうち右側の第3の撮像部61と、右撮像部のうち左側の第4の撮像部62とは、左右方向に間隔を空けて配置されている。左右方向における第3の撮像部61と第4の撮像部62との間隔は、左撮像部群を構成している第1の撮像部51と第3の撮像部61との間隔よりも広く、かつ、右撮像部群を構成している第2の撮像部52と第4の撮像部62との間隔よりも広くなっている。
図22は、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。図22には、図1を参照して説明した旋回体3、作業機4、キャブ5、およびカウンタウェイト7が、模式的に図示されている。図22にはまた、第1の撮像部51、第2の撮像部52、第3の撮像部61および第4の撮像部62が、模式的に図示されている。
第1の撮像部51、第2の撮像部52、第3の撮像部61および第4の撮像部62は、図5にも示すように、キャブ5内に配置されている。
第1の撮像部51および第2の撮像部52の各々の光軸は、平面視において、図12を参照して説明した作業機4の中心軸Cと交差する方向に傾いている。第1の撮像部51および第2の撮像部52の各々の光軸は、平面視において、作業機4の中心軸Cに対して互いに異なる角度で傾いている。第1の撮像部51は、左右方向において、第2の撮像部52よりも作業機4から離れる位置に配置されている。第1の撮像部51が作業機4の中心軸Cに対して傾斜する角度は、第2の撮像部52が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。
第3の撮像部61および第4の撮像部62の各々の光軸は、平面視において、作業機4の中心軸Cと交差する方向に傾いている。第3の撮像部61および第4の撮像部62の各々の光軸は、平面視において、作業機4の中心軸Cに対して互いに異なる角度で傾いている。第3の撮像部61は、左右方向において、第4の撮像部62よりも作業機4から離れる位置に配置されている。第3の撮像部61が作業機4の中心軸Cに対して傾斜する角度は、第4の撮像部62が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。
図23は、図22と同様に、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。これまでに説明した実施形態では、油圧ショベル1が第1のステレオカメラ50と第2のステレオカメラ60とを有していたが、この構成に限られるものではない。図23に示すように、油圧ショベル1は、第1のステレオカメラ50のみを有していてもよい。
図23に示すように、第1のステレオカメラ50は、第1の撮像部51と第2の撮像部52とを有している。第1の撮像部51と第2の撮像部52とは、左右方向に間隔を空けて配置されている。第1の撮像部51は、左右方向におけるキャブ5の中心よりも、図4,5に示す左ピラー42に近く配置されている。第2の撮像部52は、左右方向におけるキャブ5の中心よりも、図4,5に示す右ピラー41に近く配置されている。
なおこれまでに説明した実施形態では、ステレオカメラ50を構成している各々の撮像部がキャブ5の内部に配置される例について説明した。各々の撮像部は、図20または図21に示す平面視における配置を維持しながら、キャブ5のルーフパネル49(図4,5)上に搭載されてもよい。
図24は、図23と同様に、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。これまでに説明した実施形態では、油圧ショベル1がキャブ5を有しており、ステレオカメラを構成している各々の撮像部はキャブ5に取り付けられていた。油圧ショベル1は、キャブ5を必ずしも有しなくてもよい。油圧ショベル1は、オペレータが油圧ショベル1に搭乗して油圧ショベル1を操作する仕様に限られず、外部からの遠隔操作によって動作する仕様であってもよい。この場合油圧ショベル1は、オペレータが搭乗するためのキャブ5を必要としないため、キャブ5を有しなくてもよい。
なおキャブ5を有しない油圧ショベル1における左右方向および前後方向は、これまでに説明したキャブ5を有する油圧ショベル1において定義される左右方向および前後方向と、同じ方向を指すものとする。前後方向とは、平面視において作業機4が動作する面の延びる方向である。前後方向とは、平面視において、旋回体3に対してブームピンを中心に回転移動する作業機4のブーム4aが通る面をいう。左右方向とは、平面視において前後方向と直交する方向である。
図24に示すキャブ5を有しない場合においても、第1の撮像部51と第2の撮像部52との平面視における配置は、図23と同様の配置とされている。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、図23と同様に、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機に近づく側に傾斜している。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第1の撮像部51が作業機4の中心軸Cに対して傾斜する角度は、第2の撮像部52が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。
図25は、図24と同様に、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。これまでに説明した実施形態では、作業機4に対して左側に第1の撮像部51および第2の撮像部52が配置されていた。第1の撮像部51と第2の撮像部52とは、作業機4に対して右側に配置されていてもよい。
図25に示す、ステレオカメラが作業機4に対して右側に配置されている場合においても、第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機に近づく側に傾斜している。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第1の撮像部51が作業機4の中心軸Cに対して傾斜する角度は、第2の撮像部52が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。
図26は、図24,25と同様に、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。これまでに説明した実施形態では、作業機4に対して左側と右側とのいずれか一方に、第1の撮像部51と第2の撮像部52との両方が配置されていた。第1の撮像部51と第2の撮像部52とは、作業機4の左側と作業機4の右側とに別れて配置されていてもよい。
図26に示す、第1の撮像部51が作業機4の左側に配置され、第2の撮像部52が作業機4の右側に配置されている場合においても、第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機に近づく側に傾斜している。
次に、本実施形態の作用効果について説明する。
本実施形態の作業車両の一例としての油圧ショベル1は、図1に示すように、走行体2および旋回体3によって構成される車両本体と、旋回体3に取り付けられた作業機4とを備えている。作業機4は、図12に示すように、平面視で中心軸Cを有している。油圧ショベル1はまた、図5に示すように、第1のステレオカメラ50を備えている。第1のステレオカメラ50は、旋回体3に取り付けられている。図5に示すように、第1のステレオカメラ50は、第1の撮像部51と、第2の撮像部52とを有している。
図12に示すように、第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、平面視において、車両本体から離れるにつれて作業機4に近づく側に、作業機4の中心軸Cに対して傾斜している。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、車両本体の前方において作業機4の中心軸Cと交差する方向に、作業機4の中心軸Cに対して傾斜している。
ステレオカメラで撮像される撮像データの精度を向上するためには、三角測量の原理上、ステレオカメラを構成する2つの撮像部の間隔を大きくするのが望ましい。本実施形態では、第1の撮像部51と第2の撮像部52とは車両本体の左右方向において間隔を空けて配置されており、そのため第1のステレオカメラ50の撮像データの精度が向上している。本実施形態ではさらに、第1の撮像部51と第2の撮像部52とは、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機4に近づく側に、互いに異なる角度で傾斜している。これにより、第1の撮像部51と第2の撮像部52との間隔を大きくした場合にも、第1の撮像部51と第2の撮像部52とによって同一の対象物を同時に撮像することができる。したがって、作業対象の現況地形を精度よく撮像することができ、建設事業における施行工程の生産性を向上することができる。
また図12に示すように、第1の撮像部51は、車両本体の左右方向において、第2の撮像部52よりも作業機4から離れる位置に配置されている。第1の撮像部51の光軸AX1が作業機4の中心軸Cに対して傾斜する角度は、第2の撮像部52の光軸AX2が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。これにより、第1の撮像部51と第2の撮像部52とは、作業機4の前方の領域を同時に撮像することができる。したがって、油圧ショベル1の作業機4による作業対象の現況地形などの、作業対象の現況地形を精度よく撮像することができる。
また図16,17に示すように、第1のステレオカメラ50は、縦長の画像を撮像可能に構成されている。
第1の撮像部51の撮像素子、および第2の撮像部52の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第1のステレオカメラ50を実現できる。
第1のステレオカメラ50を縦長の画像を撮像可能に構成することにより、第1のステレオカメラ50を用いて、上下方向または前後方向のさらに広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
また図5に示すように、油圧ショベル1は、第2のステレオカメラ60をさらに備えている。第2のステレオカメラ60は、旋回体3に取り付けられている。図5に示すように、第2のステレオカメラ60は、第3の撮像部61と、第4の撮像部62とを有している。
図12に示すように、第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、平面視において、車両本体から離れるにつれて作業機4に近づく側に、作業機4の中心軸Cに対して傾斜している。第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、車両本体の前方において作業機4の中心軸Cと交差する方向に、作業機4の中心軸Cに対して傾斜している。
本実施形態では、第3の撮像部61と第4の撮像部62とは車両本体の左右方向において間隔を空けて配置されており、そのため第2のステレオカメラ60の撮像データの精度が向上している。本実施形態ではさらに、第3の撮像部61と第4の撮像部62とは、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機4に近づく側に、互いに異なる角度で傾斜している。これにより、第3の撮像部61と第4の撮像部62との間隔を大きくした場合にも、第3の撮像部61と第4の撮像部62とによって同一の対象物を同時に撮像することができる。したがって、作業対象の現況地形を精度よく撮像することができ、建設事業における施行工程の生産性を向上することができる。
また図10,11に示すように、第1のステレオカメラ50は、撮像範囲R1を撮像する。第2のステレオカメラ60は、撮像範囲R2を撮像する。図10に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、上方にある。または図11に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、遠方にある。
2台のステレオカメラの撮像範囲R1,R2を、撮像範囲R2が撮像範囲R1よりも上方または遠方にあるように設定することにより、2台のステレオカメラを用いて、上下方向または前後方向のより広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
また図9〜11に示すように、第2のステレオカメラ60の第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、車両本体の前方で、水平方向に対して下向きの角度を形成している。第1のステレオカメラ50の撮像範囲R1よりも上方または遠方の撮像範囲R2を撮像する第2のステレオカメラ60は、光軸AX3,AX4が俯角を形成するように配置されている。
建設事業における作業対象は地面なので、第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とが俯角を形成するように第2のステレオカメラ60を配設すれば、作業対象である地形が、第2のステレオカメラ60の撮像範囲R2に確実に含まれる。したがって、2台のステレオカメラを用いて、作業対象の上下方向または前後方向のより広い範囲の現況地形を、精度よく撮像することができる。
また図16,17に示すように、第2のステレオカメラ60は、縦長の画像を撮像可能に構成されている。
第3の撮像部61の撮像素子、および第4の撮像部62の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第2のステレオカメラ60を実現できる。
第2のステレオカメラ60を縦長の画像を撮像可能に構成することにより、2台のステレオカメラを用いて、上下方向または前後方向のさらに広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
また図5,10,11に示すように、第1の撮像部51、第2の撮像部52、第3の撮像部61、および第4の撮像部62は、上下方向において同じ位置に配置されている。
第1のステレオカメラ50と第2のステレオカメラ60とがキャブ5内に配置される場合、第1のステレオカメラ50と第2のステレオカメラ60とを上下方向に並べて配置すると、キャブ5に搭乗するオペレータの視界がステレオカメラによって遮られる可能性がある。第1のステレオカメラ50と第2のステレオカメラ60との各々の撮像部を上下方向において同じ位置に配置し、各々の撮像部をキャブ5内に左右方向に並べて配置することにより、オペレータの視界を広く確保できるので、オペレータによる作業の効率を向上することができる。
また図1に示すように、油圧ショベル1は、キャブ5をさらに備えている。キャブ5は、旋回体3上に配置されている。第1の撮像部51と第2の撮像部52とは、キャブ5内に配置されている。第3の撮像部61と第4の撮像部62とは、キャブ5内に配置されている。各々の撮像部をキャブ5内に配置することにより、キャブ5に搭乗するオペレータの視点により近い位置から見た作業対象の現況地形を撮像できるので、作業対象の現況地形を精度よく撮像することができる。加えて、油圧ショベル1の作業時に発生する振動、飛翔物、または作業機4との干渉などから撮像部を保護することができる。
本実施形態の作業車両の一例としての油圧ショベル1は、図1に示すように、走行体2および旋回体3によって構成される車両本体を有している。油圧ショベル1には、撮像装置が設けられている。撮像装置は、図5に示すように、第1のステレオカメラ50と、第2のステレオカメラ60とを備えている。第1のステレオカメラ50と第2のステレオカメラ60とは、旋回体3に取り付けられている。
図10,11に示すように、第1のステレオカメラ50は、撮像範囲R1を撮像する。第2のステレオカメラ60は、撮像範囲R2を撮像する。図10に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、上方にある。または図11に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、遠方にある。
2台のステレオカメラの撮像範囲R1,R2を、撮像範囲R2が撮像範囲R1よりも上方または遠方にあるように設定することにより、2台のステレオカメラを用いて、上下方向または前後方向のより広い範囲を同時に撮像できる。したがって、作業対象が法面T1を含む場合に、上下方向における広い範囲の現況地形を精度よく撮像することができる。または、作業対象が平坦な地面である場合には、前後方向における広い範囲の現況地形を精度よく撮像することができる。
2台のステレオカメラの全ての撮像部が同期して、同時刻において撮像範囲R1,R2を撮像することにより、広い領域で精度の高い現況地形のデータを入手することができる。
また図10,11および図16に示すように、第1のステレオカメラ50の撮像範囲R1と、第2のステレオカメラ60の撮像範囲R2とが、一部重なっている。撮像範囲R1の上縁部分と撮像範囲R2の下縁部分とが重複するように2台のステレオカメラを配設することで、2台のステレオカメラを用いて、上下方向または前後方向のより広い範囲を同時に撮像することができる。
また図1に示すように、油圧ショベル1は、旋回体3に取り付けられた作業機4をさらに有している。作業機4は、図12に示すように、平面視で中心軸Cを有している。図12に示す第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とから、平面視における第1のステレオカメラ50の光軸が定義される。図12に示す第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とから、平面視における第2のステレオカメラ60の光軸が定義される。
第1のステレオカメラ50の光軸と第2のステレオカメラ60の光軸とは、平面視において、車両本体から離れるにつれて作業機4に近づく側に、作業機4の中心軸Cに対して傾斜している。第1のステレオカメラ50の光軸と第2のステレオカメラ60の光軸とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第1のステレオカメラ50の光軸と第2のステレオカメラ60の光軸とは、車両本体の前方において作業機4の中心軸Cと交差する方向に、作業機4の中心軸Cに対して傾斜している。
これにより、第1のステレオカメラ50と第2のステレオカメラ60とによって、同一の対象物を同時に撮像することができる。したがって、作業対象の現況地形を精度よく撮像することができ、建設事業における施行工程の生産性を向上することができる。
また図8,9に示すように、第1のステレオカメラ50の光軸と第2のステレオカメラ60の光軸とは、車両本体の前方で、水平方向に対して下向きの角度を形成する。第1のステレオカメラ50と第2のステレオカメラ60とは、光軸が俯角を形成するように配置されている。
建設事業における作業対象は地面なので、第1のステレオカメラ50と第2のステレオカメラ60とを、各々の光軸が俯角を形成するように配設すれば、作業対象である地形が、第1のステレオカメラ50の撮像範囲R1および第2のステレオカメラ60の撮像範囲R2に確実に含まれる。したがって、2台のステレオカメラを用いて、作業対象のより広い範囲の現況地形を、精度よく撮像することができる。
また図5に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、車両本体の左右方向に並んで配置されている。
第1のステレオカメラ50と第2のステレオカメラ60とがキャブ5内に配置される場合、第1のステレオカメラ50と第2のステレオカメラ60とを上下方向に並べて配置すると、キャブ5に搭乗するオペレータの視界がステレオカメラによって遮られる可能性がある。第1のステレオカメラ50と第2のステレオカメラ60とをキャブ5内に左右方向に並べて配置することにより、オペレータの視界を広く確保できるので、オペレータによる作業の効率を向上することができる。
また図5に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、上下方向において同じ位置に配置されている。第1のステレオカメラ50と第2のステレオカメラ60とを上下方向において同じ位置に配置することにより、オペレータの視界を広く確保できるので、オペレータによる作業の効率を向上することができる。
また図5に示すように、第1のステレオカメラ50は、第1の撮像部51と、第2の撮像部52とを有している。第2の撮像部52は、第1の撮像部51よりも、車両本体の左右方向の右側に配置されている。第2のステレオカメラ60は、第3の撮像部61と、第4の撮像部62とを有している。第4の撮像部62は、第3の撮像部61よりも、車両本体の左右方向の右側に配置されている。第1の撮像部51と第3の撮像部61とは、左撮像部群を構成している。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成している。図5に示すように、左撮像部群と右撮像部群とは、車両本体の左右方向に間隔を空けて配置されている。
ステレオカメラで撮像される撮像データの精度を向上するためには、三角測量の原理上、ステレオカメラを構成する2つの撮像部の間隔を大きくするのが望ましい。本実施形態では、左撮像部群と右撮像部群とは、車両本体の左右方向において間隔を空けて配置されている。そのため、第1のステレオカメラ50および第2のステレオカメラ60の撮像データの精度を向上することができる。
また図16,17に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、縦長の画像を撮像可能に構成されている。
第1の撮像部51の撮像素子、および第2の撮像部52の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第1のステレオカメラ50を実現できる。
第3の撮像部61の撮像素子、および第4の撮像部62の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第2のステレオカメラ60を実現できる。
第1のステレオカメラ50と第2のステレオカメラ60とを縦長の画像を撮像可能に構成することにより、2台のステレオカメラを用いて、上下方向または前後方向のさらに広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
また図1に示すように、車両本体は、キャブ5を有している。撮像装置は、図5に示すように、キャブ5に取り付けられている。撮像装置をキャブ5に取り付けることにより、キャブ5に搭乗するオペレータの視点により近い位置から見た作業対象の現況地形を撮像できるので、作業対象の現況地形を精度よく撮像することができる。
本実施形態の作業車両の一例としての油圧ショベル1は、図1に示すように、走行体2および旋回体3によって構成される車両本体を有している。油圧ショベル1には、撮像装置が設けられている。撮像装置は、図5に示すように、第1のステレオカメラ50と、第2のステレオカメラ60とを備えている。第1のステレオカメラ50と第2のステレオカメラ60とは、旋回体3に取り付けられている。
図5に示すように、第1のステレオカメラ50は、第1の撮像部51と、第2の撮像部52とを有している。第2の撮像部52は、第1の撮像部51よりも、車両本体の左右方向の右側に配置されている。第2のステレオカメラ60は、第3の撮像部61と、第4の撮像部62とを有している。第4の撮像部62は、第3の撮像部61よりも、車両本体の左右方向の右側に配置されている。第1の撮像部51と第3の撮像部61とは、左撮像部群を構成している。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成している。図5に示すように、左撮像部群と右撮像部群とは、車両本体の左右方向に間隔を空けて配置されている。
ステレオカメラで撮像される撮像データの精度を向上するためには、三角測量の原理上、ステレオカメラを構成する2つの撮像部の間隔を大きくするのが望ましい。本実施形態では、左撮像部群と右撮像部群とは、車両本体の左右方向において間隔を空けて配置されている。そのため、第1のステレオカメラ50および第2のステレオカメラ60の撮像データの精度が向上されている。したがって、作業対象の現況地形を精度よく撮像することができる。
また図5に示すように、車両本体の左右方向の左側から右側へ順に、第1の撮像部51、第3の撮像部61、第2の撮像部52、第4の撮像部62が配置されている。このようにすれば、第1の撮像部51と第2の撮像部52との左右方向における間隔と、第3の撮像部61と第4の撮像部62との左右方向における間隔との差を、より小さくすることができる。典型的には、第1の撮像部51と第2の撮像部52との左右方向における間隔と、第3の撮像部61と第4の撮像部62との左右方向における間隔とを、等しくすることができる。これにより、第1のステレオカメラ50の撮像データの精度と、第2のステレオカメラ60の撮像データの精度とを、等価な精度にすることができる。
また図5に示すように、車両本体の左右方向における第3の撮像部61と第2の撮像部52との間隔は、左右方向における第1の撮像部51と第3の撮像部61との間隔より広く、かつ、左右方向における第2の撮像部52と第4の撮像部62との間隔より広い。
このようにすれば、第1の撮像部51と第2の撮像部52とを、車両本体の左右方向において、確実に広い間隔を空けて配置することができ、かつ、第3の撮像部61と第4の撮像部62とを、車両本体の左右方向において、確実に広い間隔を空けて配置することができる。そのため、第1のステレオカメラ50および第2のステレオカメラ60の撮像データの精度が向上されている。したがって、作業対象の現況地形を精度よく撮像することができる。
また図1に示すように、油圧ショベル1は、キャブ5をさらに有している。キャブ5は、一対のフロントピラー40を有している。フロントピラー40は、右ピラー41と、左ピラー42とを有している。図5に示すように、左撮像部群は、車両本体の左右方向におけるキャブ5の中心よりも、左ピラー42に近く配置されている。右撮像部群は、車両本体の左右方向におけるキャブ5の中心よりも、右ピラー41に近く配置されている。
このようにすれば、左撮像部群と右撮像部群とを、車両本体の左右方向において、確実に広い間隔を空けて配置することができる。そのため、第1のステレオカメラ50および第2のステレオカメラ60の撮像データの精度が向上されている。したがって、作業対象の現況地形を精度よく撮像することができる。また、オペレータが着座する運転席8は、キャブ5内のほぼ中央部に配置されているので、各々の撮像部をフロントピラー40に寄せて配置することにより、撮像部がオペレータの視界を妨げることを抑制でき、オペレータの視界を広く確保することができる。
また図1に示すように、キャブ5は、前窓47を有している。図5に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、キャブ5内に、前窓47の上縁に沿って配置されている。
第1のステレオカメラ50と第2のステレオカメラ60とをキャブ5内に配置することにより、キャブ5に搭乗するオペレータの視点により近い位置から見た作業対象の現況地形を撮像できるので、作業対象の現況地形を精度よく撮像することができる。加えて、油圧ショベル1の作業時に発生する振動、飛翔物、または作業機4との干渉などから第1のステレオカメラ50および第2のステレオカメラ60を保護することができる。
第1のステレオカメラ50と第2のステレオカメラ60とがキャブ5内に配置される場合、キャブ5に搭乗するオペレータの視界がステレオカメラによって遮られない配置にする必要がある。第1のステレオカメラ50と第2のステレオカメラ60との各々の撮像部を、前窓47の上縁に沿って左右方向に並べて配置することにより、オペレータの視界を広く確保できるので、オペレータによる作業の効率を向上することができる。
また、図5に示す前窓47は、移動不能に構成されている。ステレオカメラを前窓47の上縁に沿って配置する場合、前窓47を開閉すると、キャブ5内の構造物とステレオカメラとが干渉して、ステレオカメラの各々の撮像部とキャブ5内の構造物との衝突が発生する可能性がある。前窓47を移動不能に構成することにより、ステレオカメラの各々の撮像部がキャブ5内の構造物に衝突することを回避できるので、撮像部の予期しない変位を防止でき、また撮像部を保護することができる。
なお、前窓47が移動不能、とは、キャブ5に前窓47が完全に固定されている場合と、前窓47はキャブ5に対して可動式であるが前窓47を移動させるための構成が機能しないことで結果的に前窓47が移動できない場合との、両方を含む概念である。
本実施形態の画像データ生成方法は、油圧ショベル1に代表される作業車両のための画像データ生成方法である。油圧ショベル1は、図1に示すように、作業機4を有している。油圧ショベル1はまた、撮像装置を有している。撮像装置は、作業機4が作業を行う作業領域を撮像する。画像データ生成方法は、図18に示すように、撮像装置の画角外に作業機4を移動するステップ(ステップS1)と、作業機4を撮像装置の画角外に移動させた状態で、作業領域を撮像装置により撮像するステップ(ステップS2)と、撮像された作業領域の画像データを生成するステップ(ステップS3)とを備えている。
撮像装置の画角内に作業機4が存在していると、作業領域の現況地形が作業機4によって一部隠されるため、現況地形を正確に把握することが困難である。本実施形態のように、撮像に先立って撮像装置の画角外に作業機4を移動するステップ(ステップS1)を備えることにより、撮像を行うときには撮像装置の画角内に作業機4が存在しないことになる。これにより、撮像装置による撮像には作業機4が含まれていないことになるため、作業領域の現況地形の高精度の撮像が可能になる。したがって、作業領域の画像データをより高精度に生成することができる。
また図5に示すように、撮像装置は、第1のステレオカメラ50を有している。第1のステレオカメラ50は、第1の撮像部51と第2の撮像部52とを含んでいる。このような構成とすることにより、第1の撮像部51と第2の撮像部52とを用いて、作業領域を精度よく撮像することができる。
また図5に示すように、撮像装置は、第2のステレオカメラ60を有している。第2のステレオカメラ60は、第3の撮像部61と第4の撮像部62とを含んでいる。図10,11に示すように、第1のステレオカメラ50は、撮像範囲R1を撮像する。第2のステレオカメラ60は、撮像範囲R2を撮像する。図10に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、上方にある。または図11に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、遠方にある。
2台のステレオカメラの撮像範囲R1,R2を、撮像範囲R2が撮像範囲R1よりも上方または遠方にあるように設定することにより、2台のステレオカメラを用いて、上下方向または前後方向のより広い範囲を同時に撮像できる。したがって、作業対象が法面T1を含む場合に、上下方向における広い範囲の現況地形を精度よく撮像することができる。または、作業対象が平坦な地面である場合には、前後方向における広い範囲の現況地形を精度よく撮像することができる。
また図14に示すように、生成される作業領域の画像データは、作業領域の3次元形状を示す地形データTを含んでいる。第1のステレオカメラ50および第2のステレオカメラ60を用いて異なる角度から作業領域を撮像した2枚の2次元画像をステレオマッチング処理することにより、作業領域の広い範囲の現況地形を3次元的に認識することができる。
また図16,17に示すように、第1の撮像部51、第2の撮像部52、第3の撮像部61、および第4の撮像部62は、作業領域を同期して撮像する。2台のステレオカメラの全ての撮像部が同期して、同時刻において撮像範囲R1,R2を撮像することにより、広い領域で精度の高い現況地形のデータを入手することができる。
また図16,17に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、縦長の画像を撮像可能に構成されている。
第1の撮像部51の撮像素子、および第2の撮像部52の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第1のステレオカメラ50を実現できる。
第3の撮像部61の撮像素子、および第4の撮像部62の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第2のステレオカメラ60を実現できる。
第1のステレオカメラ50と第2のステレオカメラ60とを縦長の画像を撮像可能に構成することにより、2台のステレオカメラを用いて、上下方向または前後方向のさらに広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
また図18に示すように、画像データ生成方法は、第1のステレオカメラ50の撮像から生成された画像データと、第2のステレオカメラ60の撮像から生成された画像データとを、各々の画像データの長手方向に合成するステップ(ステップS4)をさらに備えている。このようにすれば、2台のステレオカメラの撮像を用いて、より広い範囲の作業領域の現況地形に係る画像データを、高精度の生成することができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 油圧ショベル、2 走行体、3 旋回体、4 作業機、5 キャブ、8 運転席、20 コントローラ、21 モニタ、40 フロントピラー、41 右ピラー、42 左ピラー、47 前窓、47a 上枠部分、47s 座、50 第1のステレオカメラ、51 第1の撮像部、52 第2の撮像部、60 第2のステレオカメラ、61 第3の撮像部、62 第4の撮像部、76 監視局、81 左ケース、82 右ケース、90 ベース部、91 取付アングル、92 取付片、93 取付プレート、95,96,97 ボルト、101,111 ブラケット、102,112 固定部、103,104,113,114 突出部、761,762 ステレオマッチング部、763 上下ステレオ画像データ合成部、AX1,AX2,AX3,AX4 光軸、C 中心軸、D1,D2 視差画像、I1,I2,I3,I4 取得画像、R1,R2 撮像範囲、T 地形データ、T1 法面、T2 法肩、T3 法尻、T4 上方地面、T5 下方地面、T6 平面。

Claims (4)

  1. 撮像装置を備えた作業車両において、
    前記作業車両は、車両本体と、前記車両本体に取り付けられた作業機とを有し、前記作業機は、平面視で中心軸を有し、
    前記撮像装置は、前記車両本体に取り付けられた第1のステレオカメラと、前記車両本体に取り付けられた第2のステレオカメラと、を備え、
    前記第1のステレオカメラは、第1の撮像部と、前記第1の撮像部よりも前記車両本体の左右方向の右側に配置される第2の撮像部とを有し、
    前記第2のステレオカメラは、第3の撮像部と、前記第3の撮像部よりも前記車両本体の左右方向の右側に配置される第4の撮像部とを有し、
    前記第1の撮像部と前記第3の撮像部とは、左撮像部群を構成し、
    前記第2の撮像部と前記第4の撮像部とは、右撮像部群を構成し、
    前記左撮像部群と前記右撮像部群とは、前記車両本体の左右方向に間隔を空けて配置され、
    前記第1の撮像部の光軸、前記第2の撮像部の光軸、前記第3の撮像部の光軸、および前記第4の撮像部の光軸は、平面視において、前記車両本体の前方において前記中心軸と交差する方向に前記中心軸の延びる方向に対して傾斜しており、
    前記車両本体の左右方向の左側から右側へ順に、前記第1の撮像部、前記第3の撮像部、前記第2の撮像部、前記第4の撮像部が配置され、
    平面視において、前記第1の撮像部の光軸が前記中心軸の延びる方向に対して傾斜する角度は、前記第2の撮像部の光軸が前記中心軸の延びる方向に対して傾斜する角度よりも大きく、前記第3の撮像部の光軸が前記中心軸の延びる方向に対して傾斜する角度は、前記第4の撮像部の光軸が前記中心軸の延びる方向に対して傾斜する角度よりも大きい、作業車両。
  2. 前記車両本体の左右方向における前記第3の撮像部と前記第2の撮像部との間隔は、前記第1の撮像部と前記第3の撮像部との間隔より広く、前記第2の撮像部と前記第4の撮像部との間隔より広い、請求項に記載の作業車両。
  3. 前記作業車両は、キャブをさらに有し、
    前記キャブは、一対のフロントピラーを有し、
    前記左撮像部群と前記右撮像部群とは、前記車両本体の左右方向における前記キャブの中心よりも前記フロントピラーに近く配置される、請求項1または2に記載の作業車両。
  4. 前記作業車両は、キャブをさらに有し、
    前記キャブは、前窓を有し、
    前記第1のステレオカメラと前記第2のステレオカメラとは、前記キャブ内に、前記前窓の上縁に沿って配置される、請求項1〜のいずれか1項に記載の作業車両。
JP2017542621A 2015-09-30 2015-09-30 作業車両 Active JP6507257B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077840 WO2017056267A1 (ja) 2015-09-30 2015-09-30 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2017056267A1 JPWO2017056267A1 (ja) 2018-03-22
JP6507257B2 true JP6507257B2 (ja) 2019-04-24

Family

ID=58422977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017542621A Active JP6507257B2 (ja) 2015-09-30 2015-09-30 作業車両

Country Status (6)

Country Link
US (1) US10533305B2 (ja)
JP (1) JP6507257B2 (ja)
KR (1) KR20170105627A (ja)
CN (1) CN107250724B (ja)
DE (1) DE112015006346T5 (ja)
WO (1) WO2017056267A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6857147B2 (ja) * 2018-03-15 2021-04-14 株式会社日立製作所 三次元画像処理装置、及び三次元画像処理方法
JP2019164136A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置、撮像装置、移動体、画像処理システムおよび情報処理方法
JP2021139157A (ja) * 2020-03-05 2021-09-16 コベルコ建機株式会社 作業機械

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772690B2 (ja) * 1987-01-22 1995-08-02 清水建設株式会社 地中掘削機の偏位計測システム
JP3880702B2 (ja) * 1997-09-11 2007-02-14 富士重工業株式会社 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
JP2006214735A (ja) * 2005-02-01 2006-08-17 Viewplus Inc 複合ステレオビジョン装置
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US7865285B2 (en) 2006-12-27 2011-01-04 Caterpillar Inc Machine control system and method
JP2009203676A (ja) * 2008-02-27 2009-09-10 Caterpillar Japan Ltd モニタ装置を備えた作業用機械
GB2484522A (en) * 2010-10-14 2012-04-18 Agco Sa A mirror on a utility vehicle, the mirror being movable upwardly from the sweep of the door
JP2012233353A (ja) * 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
WO2013006649A2 (en) * 2011-07-05 2013-01-10 Omron Corporation A method and apparatus for projective volume monitoring
JP5802476B2 (ja) 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
EP2602588A1 (en) 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Position and Orientation Determination in 6-DOF
JP6091977B2 (ja) * 2013-04-22 2017-03-08 日立建機株式会社 建設機械

Also Published As

Publication number Publication date
CN107250724B (zh) 2020-05-12
WO2017056267A1 (ja) 2017-04-06
CN107250724A (zh) 2017-10-13
KR20170105627A (ko) 2017-09-19
US20180080197A1 (en) 2018-03-22
JPWO2017056267A1 (ja) 2018-03-22
DE112015006346T5 (de) 2017-12-07
US10533305B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
JP6616837B2 (ja) 作業車両
JP6595609B2 (ja) 画像データ生成方法
JP6553201B2 (ja) 作業車両
JP6987186B2 (ja) 表示システム、建設機械、及び表示方法
JP6777375B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
JP4740890B2 (ja) 建設機械および建設機械の後進移動ガイダンス方法
KR102244934B1 (ko) 건설 기계
JP6778214B2 (ja) 建設機械および撮像システム
JP2012112108A (ja) 作業機械の周囲監視装置
JP6507257B2 (ja) 作業車両
JP7045926B2 (ja) 油圧ショベル、およびシステム
WO2021029253A1 (ja) 作業機械
JP7122980B2 (ja) 作業機械のシステム及び方法
JP6433664B2 (ja) 建設機械用俯瞰画像表示装置
US12084840B2 (en) System and method for work machine
JP7528891B2 (ja) 遠隔操作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R150 Certificate of patent or registration of utility model

Ref document number: 6507257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250