JP5529943B2 - 作業車両用周辺監視システム及び作業車両 - Google Patents

作業車両用周辺監視システム及び作業車両 Download PDF

Info

Publication number
JP5529943B2
JP5529943B2 JP2012208552A JP2012208552A JP5529943B2 JP 5529943 B2 JP5529943 B2 JP 5529943B2 JP 2012208552 A JP2012208552 A JP 2012208552A JP 2012208552 A JP2012208552 A JP 2012208552A JP 5529943 B2 JP5529943 B2 JP 5529943B2
Authority
JP
Japan
Prior art keywords
display
image
work vehicle
monitoring system
switched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012208552A
Other languages
English (en)
Other versions
JP2014064192A (ja
Inventor
富和 田貫
大 坪根
毅 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2012208552A priority Critical patent/JP5529943B2/ja
Priority to PCT/JP2012/077057 priority patent/WO2014045456A1/ja
Priority to US13/825,189 priority patent/US9457719B2/en
Priority to CA2815838A priority patent/CA2815838C/en
Priority to AU2012372155A priority patent/AU2012372155B2/en
Priority to CN201280002949.4A priority patent/CN103828351A/zh
Publication of JP2014064192A publication Critical patent/JP2014064192A/ja
Application granted granted Critical
Publication of JP5529943B2 publication Critical patent/JP5529943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Studio Devices (AREA)

Description

本発明は、作業車両の周辺を監視する技術に関する。
土木作業現場又は鉱山の採石現場では、ダンプトラック、油圧ショベル等といった様々な作業車両が稼働する。特に鉱山においては、超大型の作業車両が用いられる。このような作業車両は、一般的な車両と比較して著しく車幅及び車高、さらには前後長さが大きいため、サイドミラー等によって周辺の状況をオペレータが確認し、把握することが困難である。このため、車両周辺の状況をオペレータに簡易に把握させ、運転支援をする技術として、車両の周辺を監視する装置が提案されている。このような周辺を監視する装置は、例えば、車両に取り付けられたカメラ等によって車両の周辺を撮像し、得られた画像を合成することによって作成した俯瞰映像と、カメラ等によって撮像された直接映像とを同一表示させるものがある(例えば、特許文献1)。
特開2011−251681号公報
ところで、周辺を監視する装置には、運転室内に設置したモニタ等に情報を絵柄で記号化して表示することにより、作業車両のオペレータに様々な情報を認識させるものがある。前述した絵柄は、俯瞰画像又はカメラ等の撮像装置によって撮像された画像等とともにモニタ等の表示装置に表示される。情報を示す絵柄とこれ以外の画像とが表示装置に同時に表示される場合において、表示装置に表示される画像のうち、情報を示す絵柄以外の画像が他の画像に切り替えられた場合、情報を示す絵柄によって切り替え後の画像が隠される部分にオペレータが注意すべき部分が存在する可能性もある。その結果、オペレータは、注意すべき部分を十分に確認できない可能性がある。
本発明は、情報を示す絵柄とこれ以外の画像とが同時に表示装置に表示される場合において、情報を示す絵柄以外の画像が他の画像に切り替えられたときに、オペレータが注意すべき部分を確認しやすくすることを目的とする。
本発明は、作業車両の周辺を監視する周辺監視システムにおいて、作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する撮像装置と、前記撮像装置が出力した前記画像情報に基づく画像及び前記周辺監視システムに関する情報を示す絵柄を表示装置に表示する表示制御部と、前記表示装置の表示が切り替えられる際に、前記表示装置の表示が切り替えられた後の前記表示装置に表示される前記絵柄の表示位置を変更する絵柄表示制御部と、を含むことを特徴とする作業車両用周辺監視システムである。
本発明において、前記表示装置の表示が前記撮像装置によって撮像された画像に切り替えられた場合、前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記表示位置を、前記撮像装置が撮像した画像中に表示されている前記作業車両の上方又は側方に相当する位置に変更することが好ましい。
本発明において、前記絵柄が複数存在する場合、前記表示位置は、複数の前記絵柄に対応した前記情報の重要度に基づいて決定されることが好ましい。
本発明において、前記絵柄表示制御部は、重要度が上位の前記情報を示す絵柄の表示位置を、前記表示装置の表示が切り替えられる前後において維持することが好ましい。
本発明において、前記表示位置は、前記作業車両の運転席に近い順に前記重要度が高くなることが好ましい。
本発明において、前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記絵柄の表示位置を、前記表示装置中において前記作業車両の運転席からより遠い位置に変更することが好ましい。
本発明において、前記表示装置の表示を切り替えるための入力を受け付ける表示切替装置が生成する信号又は前記作業車両の状態を示す信号に基づき、前記表示装置の表示が切り替えられることが好ましい。
本発明において、前記表示制御部は、前記撮像装置が撮像した画像とともに、前記撮像装置が撮像している方向を示す絵柄を前記絵柄として前記表示装置に表示し、前記絵柄表示制御部は、前記表示装置の表示が切り替えられる前後において、前記撮像装置が撮像している方向を示す画像が前記表示装置に表示される位置を維持することが好ましい。
本発明は、作業車両の周辺を監視する周辺監視システムにおいて、作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、前記撮像装置が出力した前記画像情報に基づく画像及び前記周辺監視システムに関する情報を示す絵柄を表示装置に表示する表示制御部と、前記表示装置の表示を切り替える表示切替信号に基づいて、前記表示装置の表示が切り替えられた後に前記表示装置に表示される前記絵柄の表示位置を変更する絵柄表示制御部と、を含み、前記撮像装置が撮像した画像を単独で表示する単独表示に前記表示装置の表示が切り替えられた場合、前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記表示位置を、前記撮像装置が撮像した画像中に表示されている前記作業車両の上方又は側方に相当する位置に変更することを特徴とする作業車両用周辺監視システムである。
本発明は、上述した作業車両用周辺監視システムを備えたことを特徴とする作業車両である。
本発明は、情報を示す絵柄とこれ以外の画像とが同時に表示装置に表示される場合において、情報を示す絵柄以外の画像が他の画像に切り替えられたときに、オペレータが注意すべき部分を確認しやすくすることができる。
図1は、本実施形態に係る作業車両を示す斜視図である。 図2は、本実施形態に係る作業車両が有するキャブ3の構造及び内部を示す図である。 図3は、本実施形態に係る周辺監視システム10を示す図である。 図4は、本実施形態に係る周辺監視システム10が有する撮像装置11〜16を搭載したダンプトラック1の斜視図である。 図5は、複数の撮像装置11〜16によって撮像される領域及び複数の撮像装置11〜16によって撮像された画像の情報に基づいて生成された俯瞰画像200を示す模式図である。 図6は、レーダ装置21〜28の配置を示す斜視図である。 図7は、レーダ装置21〜28の検出範囲を示す図である。 図8は、仮想投影面VPを用いた画像変換の手法を示す図である。 図9は、第1画像2Aと第2画像2Bとが表示されたモニタ50を示す図である。 図10は、第2画像2Bのみが表示されたモニタ50を示す図である。 図11は、周辺監視システム10に不具合が発生した場合において、第1画像2Aと第2画像2Bとが表示されたモニタ50を示す図である。 図12は、周辺監視システム10に不具合が発生した場合において、第2画像2Bのみが表示されたモニタ50を示す図である。 図13は、周辺監視システム10に不具合が発生した場合において、第2画像2Bのみが表示されたモニタ50の他の例を示す図である。 図14は、周辺監視システム10に不具合が発生した場合において、第1画像2Aと第2画像2Bとが表示されたモニタ50の他の例を示す図である。 図15は、周辺監視システム10に不具合が発生した場合において、第2画像2Bのみが表示されたモニタ50の他の例を示す図である。 図16は、周辺監視システム10に不具合が発生した場合において、第1画像2Aと第2画像2Bとが表示されたモニタ50の他の例を示す図である。 図17は、周辺監視システム10に不具合が発生した場合において、第2画像2Bのみが表示されたモニタ50の他の例を示す図である。
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。以下の説明において、前、後、左及び右は、運転席に着座したオペレータを基準とする用語である。例えば、前は、運転席に着座したオペレータの視線が向かう側であり、運転席からオペレータによって操作されるハンドルに向かう側である。後は、前の反対側であり、ハンドルから運転席に向かう側である。作業車両の車幅方向は、作業車両の左右方向と同義である。本実施形態において、オペレータは、作業車両を運転する者の他、作業車両の保守、点検をする者も含む概念である。
<作業車両>
図1は、本実施形態に係る作業車両を示す斜視図である。図2は、本実施形態に係る作業車両が有するキャブ3の構造及び内部を示す図である。本実施形態において、作業車両としてのダンプトラック(オフハイウェイトラックともいう)1は、鉱山での作業等に用いられる自走式の超大型の車両である。ダンプトラックの形式は限定されるものではない。ダンプトラック1は、例えば、アーティキュレーテッド式等であってもよい。また、作業車両は、ダンプトラック1に限定されるものではない。ダンプトラック1は、車体部2と、キャブ3と、ベッセル4と、前輪5と、後輪6とを含む。車体部2は、アッパデッキ2b及び前後方向に沿って配置されたフレーム2fを含む。また、ダンプトラック1は、自身の周囲を監視して、その結果を表示する周辺監視システムを有する。周辺監視システムの詳細は後述する。
本実施形態において、ダンプトラック1は、ディーゼルエンジン等の内燃機関が発電機を駆動することによって発生した電力で電動機を駆動し、後輪6を駆動する。このように、ダンプトラック1は、いわゆる電気駆動方式であるが、ダンプトラック1の駆動方式はこれに限定されるものではない。例えば、ダンプトラック1は、内燃機関の動力を、トランスミッションを介して後輪6へ伝達し、これを駆動するものであってもよいし、架線からトロリーを介して供給された電力で電動機を駆動し、この電動機によって後輪6を駆動するものであってもよい。
フレーム2fは、内燃機関及び発電機等の動力発生機構とその補機類とを支持している。フレーム2fの前部には、左右の前輪5(図1では右前輪のみを示している)が支持されている。フレーム2fの後部には、左右の後輪6(図1では右後輪のみを示している)が支持されている。前輪5及び後輪6は、直径が2m(メートル)〜4m(メートル)程度である。フレーム2fは、ロアデッキ2aと、アッパデッキ2bとを有する。このように、鉱山で用いられるダンプトラック1は、ロアデッキ2aとアッパデッキ2bとを有する二重デッキ構造となっている。
ロアデッキ2aは、フレーム2fの前面の下部に取り付けられる。アッパデッキ2bは、ロアデッキ2aの上方に配置されている。ロアデッキ2aの下方には、例えば、キャブ3への乗降用に用いられる可動式のラダー2cが配置されている。ロアデッキ2aとアッパデッキ2bとの間には、両者の間を行き来するための斜めラダー2dが配置されている。また、ロアデッキ2aとアッパデッキ2bとの間には、ラジエーターが配置されている。アッパデッキ2bの上には、柵状の手すり2eが配置されている。本実施形態において、ラダー2c及び斜めラダー2dは、アッパデッキ2b及びロアデッキ2aの一部であるものとする。
図1に示すように、キャブ(運転室)3は、アッパデッキ2b上に配置されている。キャブ3は、アッパデッキ2b上において、車幅方向の中央よりも車幅方向における一方側にずらされて配置されている。具体的には、キャブ3は、アッパデッキ2b上において車幅方向の中央よりも左側に配置されている。キャブ3の配置は、車幅方向の中央よりも左側に限定されるものではない。例えば、キャブ3は、車幅方向の中央よりも右側に配置されていてもよいし、車幅方向の中央に配置されていてもよい。キャブ3内には、運転席、ハンドル、シフトレバー、アクセルペダル及びブレーキペダル等の操作部材が配置されている。
図2に示すように、キャブ3は、複数本(本実施形態では4本)の支柱3a、3b、3c、3dを含むROPS(Roll-Over Protection System:転倒時保護構造)を備えている。ROPSは、万一ダンプトラック1が転倒した場合、キャブ3内のオペレータを保護する。ダンプトラック1の運転者は、車体部2の左側の路肩を容易に確認できる状態で走行するが、車体部2の周囲を確認するためには、頭を大きく動かす必要がある。また、アッパデッキ2bには、ダンプトラック1の周囲を確認するために、図示しないサイドミラーが複数設けられている。これらのサイドミラーは、キャブ3から離れた位置に配置されているので、運転者は、サイドミラーを用いて車体部2の周辺を確認する場合にも、頭を大きく動かす必要がある。
図2に示すように、キャブ3内には、運転席31、ハンドル32、ダッシュカバー33、無線装置34、ラジオ受信機35、リターダ36、シフトレバー37、トレーナー席38、図2には示していない監視制御装置としてのコントローラ(詳細は後述する)、モニタ50、コントロールパネル51、アクセルペダル及びブレーキペダル等が設けられている。モニタ50は、図2ではダッシュカバー33に組み込まれたものを示しているが、ダッシュカバー33の上に設置したもの又はキャブ3内の天井から吊り下げて設置されたものでもよい。つまり、オペレータがモニタ50を視認できる位置であればよい。本実施形態において、運転席31はキャブ3の左側に設けられているが、運転席31の位置はこれに限定されない。なお、図2には示していないコントローラは、後述する周辺監視システム10の一部である。シフトレバー37は、ダンプトラック1のオペレータが、ダンプトラック1の進行方向を切り替えたり、速度段を切り替えたりするための装置である。
図1に示すベッセル4は、砕石等の積荷を積載するための容器である。ベッセル4の底面の後部は、回転ピンを介してフレーム2fの後部に回動可能に連結されている。ベッセル4は、油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取ることができる。積載姿勢は、図1に示すように、ベッセル4の前部がキャブ3の上部に位置する姿勢である。起立姿勢は、積荷を排出する姿勢であり、ベッセル4が後方かつ下方へ向かって傾斜した状態となる姿勢である。ベッセル4の前部が上方に回動することによってベッセル4は積載姿勢から起立姿勢に変化する。ベッセル4は、前方に鍔部4Fを有している。鍔部4Fは、プロテクターとも呼ばれることがあり、キャブ3の上方まで延出してキャブ3を覆っている。キャブ3の上方に延出した鍔部4Fは、砕石等の衝突からキャブ3を保護する。
<周辺監視システム>
図3は、本実施形態に係る周辺監視システム10を示す図である。図4は、本実施形態に係る周辺監視システム10が有する撮像装置11〜16を搭載したダンプトラック1の斜視図である。図5は、複数の撮像装置11〜16によって撮像される領域及び複数の撮像装置11〜16によって撮像された画像の情報に基づいて生成された俯瞰画像200を示す模式図である。図5に示す、複数の撮像装置によって撮像される領域は、地面を基準とした領域である。図3に示すように、周辺監視システム10は、複数(本実施形態では6台)の撮像装置11、12、13、14、15、16と、複数(本実施形態では8台)のレーダ装置21、22、23、24、25、26、27、28と、モニタ50と、監視制御装置としてのコントローラ100とを有している。本実施形態において、レーダ装置21〜28は、必ずしも必要ではない。
モニタ50は、例えば、液晶ディスプレイを用いることができる。また、モニタ50にタッチパネルを用いて、後述する画面切替スイッチ53の機能及び画面操作機能等をタッチパネルに組み込み、画面切替等をタッチパネルに触れることで可能とするものであってもよい。
<撮像装置>
撮像装置11、12、13、14、15、16は、ダンプトラック1に取り付けられる。撮像装置11、12、13、14、15、16は、例えば、ワイドダイナミックレンジ(WDR:Wide Dynamic Range)カメラである。ワイドダイナミックレンジカメラは、明るい部分を視認できるレベルに保ちながら、暗い部分を明るく補正し、全体をくまなく視認できるように調整可能な機能を有したカメラである。なお、撮像装置を少なくとも一台として俯瞰画像200を生成してもよい。複数の撮像装置を備えていたとしても、ダンプトラック1の前方又は後方のみ俯瞰画像200を生成して、モニタ装置50に第1画像2A(第1画像2Aの詳細は後述)を表示させてもよい。ただし、撮像装置を複数備えることで、ダンプトラック1の全周囲を撮像し、全周囲についての俯瞰画像200が生成でき、ダンプトラック1の全周囲を監視することが可能となるのでより好ましい。
撮像装置11、12、13、14、15、16は、ダンプトラック1の周囲を撮像し、画像情報として出力する。以下において、適宜、撮像装置11を第1撮像装置11、撮像装置12を第2撮像装置12、撮像装置13を第3撮像装置13、撮像装置14を第4撮像装置14、撮像装置15を第5撮像装置15、撮像装置16を第6撮像装置16という。また、これらを区別する必要がない場合、適宜、撮像装置11〜16という。
図4に示すように、6台の撮像装置11〜16は、ダンプトラック1の周囲360度の範囲における画像を撮像するために、ダンプトラック1の外周部分にそれぞれ取り付けられている。本実施形態において、それぞれの撮像装置11〜16は、左右方向において120度(左右60度ずつ)、高さ方向において96度の視野範囲を有しているが、このような視野範囲に限定されるものではない。また、図4には各撮像装置11〜16から矢印を示しているが、これら矢印の向きが各撮像装置11〜16が向いている方向を表している。
図4に示すように、第1撮像装置11は、ダンプトラック1の前面に取り付けられる。具体的には、第1撮像装置11は、斜めラダー2dの上端部、より具体的には、最上段の踊り場部分の下部に配置される。第1撮像装置11は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の前方に向かって固定されている。図5に示すように、第1撮像装置11は、ダンプトラック1の周囲に存在する領域のうち第1領域11Cを撮像して画像情報としての第1画像情報を出力する。第1領域11Cは、ダンプトラック1の車体部2の前方に広がる領域である。
図4に示すように、第2撮像装置12は、ダンプトラック1の前面における一方の側部に取り付けられる。具体的には、第2撮像装置12は、アッパデッキ2bの前面の右側部に配置される。第2撮像装置12は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の右斜め前方に向かって固定されている。図5に示すように、第2撮像装置12は、ダンプトラック1の周囲に存在する領域のうち第2領域12Cを撮像して画像情報としての第2画像情報を出力する。第2領域12Cは、ダンプトラック1の車体部2の右斜め前方に広がる領域である。
図4に示すように、第3撮像装置13は、ダンプトラック1の前面における他方の側部に取り付けられる。具体的には、第3撮像装置13は、アッパデッキ2bの前面の左側部に配置される。そして、第3撮像装置13は、ダンプトラック1の幅方向中央を通る軸に対して第2撮像装置12と左右対称となるように配置される。第3撮像装置13は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の左斜め前方に向かって固定されている。図5に示すように、第3撮像装置13は、ダンプトラック1の周囲に存在する領域のうち第3領域13Cを撮像して画像情報としての第3画像情報を出力する。第3領域13Cは、ダンプトラック1の車体部2の左斜め前方に広がる領域である。
図4に示すように、第4撮像装置14は、ダンプトラック1の一方の側面に取り付けられる。具体的には、第4撮像装置14は、アッパデッキ2bの右側面の前部に配置される。第4撮像装置14は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の右斜め後方に向かって固定されている。図5に示すように、第4撮像装置14は、ダンプトラック1の周囲に存在する領域のうち第4領域14Cを撮像して画像情報としての第4画像情報を出力する。第4領域14Cは、ダンプトラック1の車体部2の右斜め後方に広がる領域である。
図4に示すように、第5撮像装置15は、ダンプトラック1の他方の側面に取り付けられる。具体的には、第5撮像装置15は、アッパデッキ2bの左側面の前部に配置される。そして、第5撮像装置15は、ダンプトラック1の幅方向中央を通る軸に対して第4撮像装置14と左右対称となるように配置される。図5に示すように、第5撮像装置15は、ダンプトラック1の周囲に存在する領域のうち第5領域15Cを撮像して画像情報としての第5画像情報を出力する。第5領域15Cは、ダンプトラック1の車体部2の左斜め後方に広がる領域である。
図4に示すように、第6撮像装置16は、ダンプトラック1の後部に取り付けられる。具体的には、第6撮像装置16は、フレーム2fの後端であって、2個の後輪6、6を連結するアクスルハウジングの上方、かつベッセル4の回動軸付近に配置される。第6撮像装置16は、左右のフレーム2fを連結するクロスバーに取り付けられたブラケットを介して、ダンプトラック1の後方に向かって固定されている。図5に示すように、第6撮像装置16は、ダンプトラック1の周囲に存在する領域のうち第6領域16Cを撮像して画像情報としての第6画像情報を出力する。第6領域16Cは、ダンプトラック1の車体部2の後方に広がる領域である。
上述した6台の撮像装置11〜16を用いることにより、本実施形態に係る周辺監視システム10は、図5の中央に示すように、ダンプトラック1の全周360度の画像を撮像し、その画像情報を取得することができる。6台の撮像装置11〜16は、それぞれが撮像した画像情報としての第1画像情報〜第6画像情報を、図3に示すコントローラ100に送信する。
第1撮像装置11、第2撮像装置12、第3撮像装置13、第4撮像装置14及び第5撮像装置15は、比較的高い位置にあるアッパデッキ2bに設けられている。このため、コントローラ100は、第1撮像装置11〜第5撮像装置15によって上方から地面を見下ろすような画像を得ることができ、また、地面に存在する車両等の対象物を広範囲に撮像することができる。また、第1撮像装置11〜第6撮像装置16が取得した第1画像情報〜第6画像情報から、コントローラ100が図5に示す俯瞰画像200を生成する際に視点変換を実行した場合でも、第1画像情報〜第6画像情報のうち第1画像情報〜第5画像情報は上方から撮像されて得られた情報なので、立体物の変形の程度が抑制される。
周辺監視システム10は、撮像装置11〜16にワイドダイナミックレンジカメラを用いる。このため、撮像装置11〜16は、明るい部分を視認できるレベルに保ちながら、ダンプトラック1の影になった部分のような暗い部分を明るく補正できる。したがって、撮像装置11〜16が撮像した画像は、黒潰れ及び白飛びが起きにくくなり、全体としてより分かりやすい画像となる。その結果、撮像装置11〜16を備える周辺監視システム10は、ダンプトラック1の影となる領域に存在する車両等の対象物が視認しやすくなった俯瞰画像200をモニタ50に表示することができる。このように、周辺監視システム10は、撮像装置11〜16が撮像した画像を用いてダンプトラック1の周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の対象物を俯瞰画像200に表示することができる。その結果、ダンプトラック1のオペレータは、ダンプトラック1の周囲、特に影となる領域に存在する対象物を、環境によらず、確実に視認することができる。
このように、周辺監視システム10は、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の対象物を確実に表示する俯瞰画像200を生成することができるので、オペレータの死角に存在する対象物を、俯瞰画像200によって確実に視認できるようにすることができる。したがって、周辺監視システム10は、上述したような、鉱山で用いられる非常に大型のダンプトラック1の周辺を監視する際に非常に有効である。すなわち、ダンプトラック1は、非常に大きい影となる領域を形成する場合があり、かつ影となる領域を自身で作りながら移動し、さらにベッセル4の昇降によって影となる領域が大きく変化し、また、死角となる領域が大きい。周辺監視システム10は、このようなダンプトラック1において、ダンプトラック1の周囲の対象物を確実に表示する俯瞰画像200を生成して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。また、周辺監視システム10は、赤道直下のような日向と日陰との照度差が非常に大きくなるような場所で稼働するダンプトラック1に対して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。
<レーダ装置>
図6は、レーダ装置21〜28の配置を示す斜視図である。図7は、レーダ装置21〜28の検出範囲を示す図である。本実施形態において、物体検出装置としてのレーダ装置21、22、23、24、25、26、27、28(以下、適宜レーダ装置21〜28という)は、方位±80度(左右40度)、検出距離が最大15m以上のUWB(Ultra Wide Band)レーダ(超広域帯レーダ)である。レーダ装置21〜28は、ダンプトラック1の周囲に存在する対象物とダンプトラック1との相対的な位置(相対位置)を検出する。それぞれのレーダ装置21〜28は、撮像装置11〜16と同様に、ダンプトラック1の外周部分に取り付けられる。また、図6には各レーダ装置21〜28から矢印を示しているが、これら矢印の向きが各レーダ装置21〜28の検出範囲の方向を表している。
レーダ装置21(適宜第1レーダ装置21という)は、図6に示すように、地上から1m程度の高さに配置されているロアデッキ2aにおける車体部2の正面、かつ車体部2の幅方向中心よりもやや右側に配置されている。図7に示すように、第1レーダ装置21の検出範囲21Rは、ダンプトラック1の車体部2の前方から左斜め前方に広がる範囲となる。
レーダ装置22(適宜第2レーダ装置22という)は、図6に示すように、ロアデッキ2aにおける車体部2の正面、かつ車体部2の幅方向中心よりもやや左側に配置されている。すなわち、第2レーダ装置22は、第1レーダ装置21の左側に、第1レーダ装置21と隣接して配置されている。図7に示すように、第2レーダ装置22の検出範囲22Rは、ダンプトラック1の車体部2の前方から右斜め前方に広がる範囲となる。
レーダ装置23(適宜第3レーダ装置23という)は、図6に示すように、ロアデッキ2aの右側面前端部付近に配置されている。図7に示すように、第3レーダ装置23の検出範囲23Rは、ダンプトラック1の車体部2の右斜め前方から右方に広がる範囲となる。
レーダ装置24(適宜第4レーダ装置24という)は、図6に示すように、車体部2の側部におけるロアデッキ2aとアッパデッキ2bとの中間の高さ位置における右側端部近傍に配置されている。図7に示すように、第4レーダ装置24の検出範囲24Rは、ダンプトラック1の車体部2の右方から後方に広がる範囲となる。
レーダ装置25(適宜第5レーダ装置25という)は、図6に示すように、ベッセル4の下方であって、ダンプトラック1の左右の後輪6に駆動力を伝達するアクスルの上方に配置されている。図7に示すように、第5レーダ装置25の検出範囲25Rは、ダンプトラック1の車体部2の右斜め後方から後方に向かって広がる範囲となる。
レーダ装置26(適宜第6レーダ装置26という)は、図6に示すように、第5レーダ装置25と同様に、アクスルの上方であって、第5レーダ装置25の右側に隣接して配置されている。図7に示すように、第6レーダ装置26の検出範囲26Rは、第5レーダ装置25の検知範囲と交差するように、ダンプトラック1の車体部2の左斜め後方から後方に向かって広がる範囲となる。
レーダ装置27(適宜第7レーダ装置27という)は、図6に示すように、車体部2の側面におけるロアデッキ2aとアッパデッキ2bとの中間の高さ位置における左側端部近傍、すなわち、車体部2の幅方向中心軸に対して第4レーダ装置24と左右対称の位置に配置されている。図7に示すように、第7レーダ装置27の検出範囲27Rは、ダンプトラック1の車体部2の左方から後方に広がる範囲となる。
レーダ装置28(適宜第8レーダ装置28という)は、図6に示すように、ロアデッキ2aの左側面における前端部近傍、すなわち、車体部2の幅方向中心軸に対して第3レーダ装置23と左右対称の位置に配置されている。図7に示すように、第8レーダ装置28の検出範囲28Rは、ダンプトラック1の車体部2の左斜め前方から左方に広がる範囲となる。
8台のレーダ装置21〜28は、図7に示すように、ダンプトラック1の周囲360度全周を検出範囲として、対象物とダンプトラック1との相対位置を検出することができる。8台のレーダ装置21〜28は、それぞれ検出した対象物とダンプトラック1との相対位置を示す相対位置情報をコントローラ100に送信する。このように、複数(8台)のレーダ装置21〜28は、車体部2に設けられて、車体部2の全周範囲に存在する物体を検出可能である。次に、周辺監視システム10が備えるコントローラ100について説明する。
<コントローラ>
図3に示すコントローラ100は、撮像装置11〜16及びレーダ装置21〜28を用いて、ダンプトラック1の周囲における対象物の有無を俯瞰画像200に表示し、必要に応じて対象物の存在をオペレータに報知する。コントローラ100は、図3に示すように、俯瞰画像合成部110、カメラ画像切替・視点変換部120、対象物位置情報生成部130、表示制御部140、絵柄表示制御部150、対象物情報収集部210及び対象物処理部220を有している。
俯瞰画像合成部110は、図3に示すように、撮像装置11〜16に接続されている。俯瞰画像合成部110は、それぞれの撮像装置11〜16が撮像し、生成した複数の画像情報(第1画像情報〜第6画像情報)を受信する。そして、俯瞰画像合成部110は、受信した複数の画像情報に対応した画像を合成して、撮像装置11〜16が出力した画像情報に基づく画像として、ダンプトラック1の全周囲を含む俯瞰画像200を生成する。具体的には、俯瞰画像合成部110は、複数の画像情報をそれぞれ座標変換することによって、複数の画像を所定の投影面上に投影させた俯瞰画像200をモニタ50に表示するための俯瞰画像情報を生成する。
カメラ画像切替・視点変換部120は、図3に示すように、撮像装置11〜16に接続されている。そして、カメラ画像切替・視点変換部120は、例えば、レーダ装置21〜28による障害物検出の結果等に応じて、俯瞰画像200とともにモニタ50の画面に表示される各撮像装置11〜16による撮像画像を切り替える。また、カメラ画像切替・視点変換部120は、各撮像装置11〜16によって取得された画像情報を、上方無限遠からの視点からの画像情報に変換する。
対象物位置情報生成部130は、図3に示すように、カメラ画像切替・視点変換部120、表示制御部140及び対象物処理部220に接続されている。対象物位置情報生成部130は、各撮像装置11〜16によって取得された画像情報を合成して形成される俯瞰画像200中に、レーダ装置21〜28によって取得された対象物の位置情報を合成して表示させるための対象物位置情報を生成し、カメラ画像切替・視点変換部120及び表示制御部140に対して送信する。
表示制御部140は、図3に示すように、俯瞰画像合成部110、カメラ画像切替・視点変換部120、対象物位置情報生成部130及び絵柄表示制御部150に接続されている。表示制御部140は、自身に接続された俯瞰画像合成部110、カメラ画像切替・視点変換部120等からこれらの出力を取得することができる。表示制御部140は、俯瞰画像合成部110が生成したダンプトラック1の全周囲における俯瞰画像情報と、レーダ装置21〜28によって取得されたダンプトラック1の全周囲における対象物位置情報とに基づいて、対象物の位置が含まれた俯瞰画像200を生成する。この画像は、モニタ50に表示される。また、表示制御部140は、レーダ装置21〜28が検出した、ダンプトラック1の周囲に存在する物体(以下、適宜対象物という)を示すマークを、俯瞰画像情報に基づく俯瞰画像200に重ねた第1画像と、撮像装置11〜16が撮像した第2画像とをモニタ50の同一の画面に表示する。さらに、周辺監視システム10に関する情報(以下、適宜システム情報という)を示す絵柄をモニタ50に表示する。システム情報を示す絵柄は、システム情報を、簡単な柄で記号化して表現したものである。以下において、システム情報を示す絵柄を適宜アイコンという。システム情報の詳細については後述する。
本実施形態において、モニタ50に表示された画面は、ダンプトラック1のオペレータの操作によって切り替えることができる。また、モニタ50に表示された画面は、ダンプトラック1の状態、例えば、ダンプトラック1の走行モードに応じて切り替えられる。このため、本実施形態において、表示制御部140には、モニタ50の画面を切り替える画面切替スイッチ53とシフトレバー37、より具体的にはシフトレバー37の位置を検出するセンサ37Sとが電気的に接続されている。表示制御部140は、画面切替スイッチ53又はセンサ37Sの出力に応じてモニタ50の画面を切り替える。このように、画面切替スイッチ53又はセンサ37Sは、モニタ50の表示を切り替える信号である表示切替信号を生成する。センサ37Sが生成する表示切替信号は、例えば、ダンプトラック1の走行モードを示す信号、より具体的には、ダンプトラック1の進行方向を示す信号又は速度段を示す信号である。
図3に示すように、絵柄表示制御部150は表示制御部140と接続されて、自身の出力が表示制御部140へ入力されるようになっている。絵柄表示制御部150は、表示切替信号に基づき、モニタ50の表示が切り替えられる前後において、システム情報を示すアイコンがモニタ50に表示される位置である表示位置を変更する。このため、絵柄表示制御部150は、画面切替スイッチ53とシフトレバー37のセンサ37Sとが電気的に接続されている。絵柄表示制御部150は、これらが生成する表示切替信号を取得し、これに基づいてモニタ50の画面中における、システム情報を示すアイコンの表示位置を変更する。
対象物情報収集部210は、図3に示すように、レーダ装置21〜28と対象物処理部220とに接続されている。対象物情報収集部210は、レーダ装置21〜28からそれぞれの検出範囲における対象物検出結果を受信し、対象物処理部220へ送信する。
対象物処理部220は、図3に示すように、対象物情報収集部210と対象物位置情報生成部130とに接続されている。対象物処理部220は、対象物情報収集部210から受信した対象物の位置情報を、対象物位置情報生成部130へ送信する。
コントローラ100は、例えば、演算装置としてのCPU(Central Processing Unit)と記憶装置としてのメモリとを組み合わせたコンピュータと、俯瞰画像の合成等といった画像処理を実行する画像処理用デバイス(例えば、画像ボード)とを組み合わせたものである。画像処理用デバイスは、例えば、俯瞰画像を合成する等の画像処理を実行する専用のIC(例えばFPGA:Field-Programmable Gate Array)及びメモリ(例えばVRAM:Video Random Access Memory)等を搭載している。
本実施形態において、図4に示すように、撮像装置11〜16がアッパデッキ2bの正面及び側面並びにベッセル4の下方に配置されている。そして、コントローラ100は、撮像装置11〜16が撮像し、取得した第1画像情報〜第6画像情報を合成して、図5に示すような俯瞰画像200を生成して、キャブ3内における運転席31の前方に配置されるモニタ50に表示させる。このとき、モニタ50は、コントローラ100の制御に応じて、俯瞰画像200等の画像を表示する。俯瞰画像200は、撮像装置11〜16が撮像した第1領域11C〜第6領域16Cに対応する第1画像情報〜第6画像情報をコントローラ100が合成することによって得られる。周辺監視システム10は、このような俯瞰画像200をモニタ50に表示する。このため、ダンプトラック1のオペレータは、モニタ50に表示された俯瞰画像200を視認するだけで、ダンプトラック1の周囲360度の全範囲を監視することができる。次に、俯瞰画像200について説明する。
<俯瞰画像の生成>
図8は、仮想投影面VPを用いた画像変換の手法を示す図である。コントローラ100は、複数の第1画像情報〜第6画像情報によって示される複数の画像に基づいて、ダンプトラック1の周囲の俯瞰画像200を作成する。具体的には、コントローラ100は、所定の変換情報を用いて第1画像情報〜第6画像情報の座標変換を実行する。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。本実施形態において、入力画像は、撮像装置11〜16によって撮像された画像であり、第1画像情報〜第6画像情報に対応する画像である。出力画像は、モニタ50に表示される俯瞰画像200である。
コントローラ100は、変換情報を用いて、撮像装置11〜16によって撮像された画像を、ダンプトラック1の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図5に示すように、撮像装置11〜16によって撮像された画像は、所定の仮想投影面VPに投影されることにより、ダンプトラック1の上方に位置する仮想視点VIPから見た画像に変換される。変換情報は、この仮想投影面VPを表している。変換後の画像がモニタ50に表示される俯瞰画像である。コントローラ100は、複数の撮像装置11〜16から取得した複数の第1画像情報〜第6画像情報を所定の仮想投影面VPに投影して合成することにより、ダンプトラック1の周囲の俯瞰画像200を生成する。
図5に示すように、それぞれの撮像装置11〜16が撮像したダンプトラック1の周囲の領域は、第1重複領域OA1〜第6重複領域OA6において重複している。コントローラ100は、俯瞰画像200において、それぞれの第1重複領域OA1〜第6重複領域OA6において互いに隣接する2個の撮像装置11〜16からの第1画像情報〜第6画像情報に対応する画像を重ねて表示する。
具体的には、コントローラ100は、第1重複領域OA1では、第1撮像装置11からの第1画像情報の画像と、第3撮像装置13からの第3画像情報の画像とを重ねて表示する。また、コントローラ100は、第2重複領域OA2では、第1撮像装置11からの第1画像情報の画像と、第2撮像装置12からの第2画像情報の画像とを重ねて表示する。また、コントローラ100は、第3重複領域OA3では、第3撮像装置13からの第3画像情報の画像と、第5撮像装置15からの第5画像情報の画像とを重ねて表示する。また、コントローラ100は、第4重複領域OA4では、第2撮像装置12からの第2画像情報の画像と、第4撮像装置14からの第4画像情報の画像とを重ねて表示する。また、コントローラ100は、第5重複領域OA5では、第5撮像装置15からの第5画像情報の画像と、第6撮像装置16からの第6画像情報の画像とを重ねて表示する。また、コントローラ100は、第6重複領域OA6では、第4撮像装置14からの第4画像情報の画像と、第6撮像装置16からの第6画像情報の画像とを重ねて表示する。
このように、第1重複領域OA1〜第6重複領域OA6において、2個の画像情報を重ねて合成する場合には、第1画像情報〜第6画像情報の値に合成比率を乗じた値が加算される。合成比率は、第1画像情報〜第6画像情報に対応した値であり、コントローラ100が記憶している。例えば、第1画像情報の合成比率が0.5であり、第2画像情報の合成比率が0.5である等、第1画像情報〜第6画像情報毎に合成比率が定められている。合成比率が用いられることにより、第1重複領域OA1〜第6重複領域OA6において複数の画像情報が平均化されて表示される。その結果、色及びコントラストの急激な変化が抑えられ、コントローラ100は、自然な俯瞰画像200を作成することができる。コントローラ100は、上述のように合成された俯瞰画像200を表示するための合成画像情報を生成して、モニタ50に出力する。
<それぞれの撮像装置の撮像範囲>
図4に示すように、ダンプトラック1は、第1撮像装置11、第2撮像装置12、第3撮像装置13、第4撮像装置14及び第5撮像装置15がアッパデッキ2bに配置され、第6撮像装置16がフレーム2fの後端であってベッセル4の下方に配置されている。特に、第2撮像装置12と第3撮像装置13とは、ダンプトラック1の車体部2の左右斜め前方から左右側方までを撮像可能な領域としてカバーしている。また、第4撮像装置14と第5撮像装置15とは、ダンプトラック1の車体部2の左右側方から左右斜め後方までを撮像可能な領域としてカバーしている。このようにすることで、コントローラ100は、第1撮像装置11及び第6撮像装置16によって撮像され、取得された第1画像情報及び第6画像情報と合わせて、ダンプトラック1の全周囲をカバーした俯瞰画像200を生成して、ダンプトラック1の周辺を監視することができる。
また、本実施形態では、図5に示すように、それぞれの撮像装置11〜16が撮像可能な領域である第1領域11C〜第6領域16Cが、互いの隣接部分において重複するように、互いに隣接する撮像装置11〜16が配置されている。コントローラ100は、それぞれの撮像装置11〜16が撮像可能な第1領域11C〜第6領域16Cの重複した部分において接続線を設けることで、ダンプトラック1の平面上における360度全周囲の監視が可能となる。なお、俯瞰画像200において、互いに隣接する第1領域11C〜第6領域16Cを接続する接続線は、第1領域11C〜第6領域16Cの重複範囲内における任意の位置に設定することができる。次に、モニタ50の表示が切り替えられる場合に、周辺監視システム10がアイコンの表示位置を変更する制御(適宜、アイコン表示位置制御という)について説明する。
<アイコン表示位置制御>
図9は、第1画像2Aと第2画像2Bとが表示されたモニタ50を示す図である。図10は、第2画像2Bのみが表示されたモニタ50を示す図である。図9、図10中の符号UPはモニタ50の上側を、符号UNは下側を、符号Lは左側を、符号Rは右側を示す。符号Fは、ダンプトラック1の前側を、符号Bは後側を示す。これらの符号の意味は、以下においても同様である。本実施形態において、ダンプトラック1は、モニタ50の上側がダンプトラック1の前側となり、モニタ50の下側がダンプトラック1の後側となるようにモニタ50に表示される。また、モニタ50の縦とはモニタ50の上下方向であり、モニタ50の横とはモニタ50の左右方向(横方向)である。
ダンプトラック1が発進する前において、周辺監視システム10のコントローラ100の表示制御部140は、例えば、第1画像2A、第2画像2B及びシステム情報(アイコン2C、ICa、ICbのいずれか一つあるいは複数)をモニタ50に表示する。第1画像2Aは、図5に示す俯瞰画像200に、複数のレーダ装置21〜28の少なくとも1つが検出した対象物を示すマークMKを重ねた画像である。複数のレーダ装置21〜28の少なくとも1つが検出した車両等の対象物は、マークMKとして第1画像2A中に示されるダンプトラック1の周囲に表示される。第1画像2A中におけるマークMKとダンプトラック1との距離及び位置関係は、マークMKに対応する対象物とダンプトラック1との距離に対応している。このため、ダンプトラック1のオペレータは、第1画像2Aを視認することにより、ダンプトラック1の周囲に存在する対象物の位置及び距離を把握することができる。
第1画像2Aは、ダンプトラック1の周囲に、点線RL1、RL2、RL3が表示されている。点線RL1はダンプトラック1に最も近い位置に表示され、点線RL3はダンプトラック1から最も遠い位置に表示される。点線RL2は、点線RL1と点線RL3との間に表示される。点線RL1、RL2、RL3は、それぞれダンプトラック1からの距離を示す指標である。点線RL1、RL2、RL3の順にダンプトラック1からの距離が遠くなる。ダンプトラック1のオペレータは、点線RL1、RL2、RL3によって、第1画像2Aに表示されたマークMKに対応する対象物とダンプトラック1との距離を把握することができる。
第1画像2Aは、モニタ50の画面の左側、本実施形態ではオペレータの運転席31が配置されている側に表示される。第1画像2Aは、表示が比較的細かいため、表示制御部140は、第1画像2Aをオペレータの近くに表示させることにより、オペレータに第1画像2Aを視認させやすくする。
第2画像2Bは、図3に示す複数の撮像装置11〜16のうち少なくとも1つが撮像した画像(直接画像)である。周辺監視システム10のコントローラ100は、撮像装置11〜16が撮像した画像を第2画像2Bとしてモニタ50に表示する。このようにすることにより、ダンプトラック1のオペレータは、ダンプトラック1の周囲の状況を視認することができる。図9に示す例において、第2画像2Bは、図4に示す撮像装置11(第1撮像装置11)が撮像した画像を表示している。第1撮像装置11は、ダンプトラック1の前方を撮像するため、第2画像2Bは、図5に示す第1領域11Cを表示している。この例では、第2画像2Bの下方、すなわちモニタ50の画面の下側に、ダンプトラック1の一部も表示されている。
本実施形態において、表示制御部140は、第2画像2B中に、第1画像2A中に示した点線RL1、RL2、RL3を表示している。これらの相互の関係及びダンプトラック1との関係は、上述した通りである。また、表示制御部140は、点線RL1よりもダンプトラック1側に、点線RL0を表示している。点線RL0は、ダンプトラック1を地面へ垂直に投影した場合の外縁を示している。点線RL0は、第1画像2A中にも示されているが、本実施形態の説明では省略している。ダンプトラック1のオペレータは、点線RL0、点線RL1、RL2、RL3によって、第1画像2Aに表示されたマークMKに対応する対象物とダンプトラック1との距離を把握することができる。
図9に示す例において、モニタ50には、複数(この例では3個)のアイコン2C、ICa、ICbが、第2画像2Bの上側に表示される。第2画像2Bは、モニタ50の右側に配置され、第1画像2Aは左側に配置されるので、3個のアイコン2C、ICa、ICbは、モニタ50の右上に配置される。アイコン2Cは、表示制御部140によって表示される絵柄の1つである。アイコン2Cは、撮像装置11〜16が撮像した画像を表示制御部140がモニタ50に表示しているときに、撮像装置11〜16が撮像している方向を示す。アイコン2Cは、撮像装置11〜16が撮像している画像、すなわち第2画像2Bとともに、モニタ50に表示される。図9に示す例では、第2画像2Bは第1撮像装置11によって撮像されたダンプトラック1の前方の画像、すなわち、図5に示す第1領域11Cの画像なので、アイコン2Cは、ダンプトラック1の前方である第1領域11Cに対応する部分(図9においてはハッチングの部分)を他の部分とは異ならせて表示している。このようにすることで、ダンプトラック1のオペレータは、第2画像2Bがダンプトラック1の周囲のうち、どの部分を表示しているかを迅速かつ確実に認識することができる。
表示制御部140がモニタ50に表示するアイコンICaは、複数のレーダ装置21〜28の動作状態を示している。図9に示すアイコンICaは、システム情報の一つであり、複数のレーダ装置21〜28が動作状態(ON状態)であって、ダンプトラック1の周囲に存在する対象物を検知可能な状態を示している。アイコンICbは、システム情報の一つであり、複数のレーダ装置21〜28がダンプトラック1の周囲に対象物を検出したときに報知される警報(例えば警報音)が、ダンプトラック1のオペレータの意思により停止されている状態を示すものである。例えば、対象物として検知すべき物体がダンプトラック1の周囲に存在しないことが確実な場所では、無用な警報音はオペレータにとって耳障りな場合がある。その際、オペレータが、図示しない所定のスイッチを操作することで操作信号が生成され、その操作信号を受けた図示しない警報制御部が、警報音を出さないように制御するとともに、警報制御部は図柄表示制御部150にアイコンICbを表示させる指令を出力する。アイコンICbがモニタ50に表示されている場合、対象物が検知されても、例えば、警報音は報知されない。このとき、図示しない警報制御部は、第1画像2A中のマークMKが表示されないように制御してもよい。アイコンICa、ICbをモニタ50に表示することにより、ダンプトラック1のオペレータは、周辺監視システム10がどのような状態にあるかを把握することができる。
本実施形態において、ダンプトラック1の走行モードが後進に切り替えられた場合、図10に示すように、モニタ50には第2画像2Bのみが表示される。このとき、第2画像2Bは、図4に示す撮像装置16(第6撮像装置16)が撮像した画像を表示している。第6撮像装置16は、ダンプトラック1の後方を撮像するため、第2画像2Bは、図5に示す第6領域16Cを表示している。第2画像2Bは、上述した通り、点線RL0、点線RL1、RL2、RL3が表示されている。また、表示制御部140は、点線RL1よりもダンプトラック1側に、点線RL0を表示している。点線RL0は、ダンプトラック1を地面へ垂直に投影した場合の外縁を示している。本例では、第2画像2Bは、ダンプトラック1の後方を撮像装置16が撮像した画像を表示しており、点線RL0は、ベッセル4の後端(図1及び図4を参照)を地面へ垂直に投影した場合の外縁を示すことになる。この例では、第2画像2Bの下方、すなわちモニタ50の画面の下側に、ダンプトラック1の車体部2の一部も表示されている。また、第2画像2Bの上方には、ダンプトラック1のベッセル4の一部も表示されている。さらに、この例では、第2画像2B中に、ダンプトラック1の左後方に存在する車両9も表示されている。車両9は、図9の第1画像2A中に示されたマークMKに対応した対象物である。
ダンプトラック1のオペレータによってシフトレバー37が操作され、シフトレバー37の位置を検出するセンサ37Sが、ダンプトラック1の走行モードが後進になったことを検出し、表示制御部140にその検出信号(表示切替信号)が送信される。この表示切替信号を受信した表示制御部140は、ダンプトラック1の後方を示す第2画像2Bのみをモニタ50に表示する。このようにすることで、周辺監視システム10は、ダンプトラック1がこれから後進する際にオペレータが注意すべき方向である後方の画像をモニタ50に表示することができるので、オペレータは、これから進行する方向の状況を把握しやすくなる。
また、ダンプトラック1のオペレータは、モニタ50に第1画像2A及び第2画像2Bを表示する複数表示(第1表示形態、この例では2画像表示)から、モニタ50に第2画像2Bを単独で表示する単独表示(第2表示形態)に切り替えることもできる。この場合、オペレータは、図3に示す画面切替スイッチ53を操作して、第2画像2Bのみがモニタ50に表示されるようにする。このようにすることで、オペレータは、自身が注意して視認したい箇所をモニタ50に表示させることができる。画面切替スイッチ53は、モニタ50に表示される画像の複数表示と単数表示とを、1回操作される毎に交互に切り替えるものであってもよい。また、画面切替スイッチ53は、複数表示から第2画像2B、すなわち撮像装置11〜16の少なくとも1つが撮像した画像の単数表示に切り替えられた後、1回操作される毎にそれぞれの撮像装置11〜16が撮像した画像を順に切り替えて表示させ、最後は複数表示に戻るものであってもよい。
図10に示すように、モニタ50に単独表示された第2画像2Bは、第1画像2Aと第2画像2Bとの両方がモニタ50に表示されている複数表示の状態と比較して、モニタ50中に占める面積が大きくなる。このため、ダンプトラック1のオペレータは、ダンプトラック1の周囲の状況及び対象物を目視によって明瞭に確認しやすくなる。本実施形態において、第1撮像装置11が有する撮像素子の縦横比又は縦横の画素数は、モニタ50の縦横比又は縦横の画素数とは異なっている。このため、第2画像2Bをモニタ50に単独で表示すると、モニタ50には、第2画像2Bが表示されない非表示領域DSが発生する。本実施形態において、表示制御部140は、第2画像2Bの単独表示において、第2画像2Bをモニタ50の左側、すなわち、図3に示す運転席31側に寄せて、非表示領域DSをモニタ50の右側に配置する。このように、第2画像2Bをモニタ50に単独で表示する場合には、第2画像2Bは、モニタ50の運転席31側に配置される。その結果、ダンプトラック1のオペレータは、第2画像2Bを視認しやすくなる。
なお、この例において、第2画像2Bの単独表示に切り替えられると、第2画像2Bはダンプトラック1の後方である第6領域16を示しているため、アイコン2Cは、第6領域16に対応する部分(図10においてはハッチングの部分)を他の部分とは異ならせて表示している。次に、周辺監視システム10に何らかの不具合が発生した場合におけるモニタ50の表示を説明する。なお、本実施形態において、ダンプトラック1の下方とは、ダンプトラック1に近い場所及びベッセル4の後端の下方を含む意味として用いる。
図11は、周辺監視システム10に不具合が発生した場合において、第1画像2Aと第2画像2Bとが表示(複数表示)されたモニタ50を示す図である。図12は、周辺監視システム10に不具合が発生した場合において、第2画像2Bのみが表示(単数表示)されたモニタ50を示す図である。周辺監視システム10に何らかの不具合が発生した場合、アイコン2C、ICaに加えて、不具合が発生したことを示すアイコンICcと、周辺監視システム10の取扱説明書等のマニュアルをオペレータ(ダンプトラック1の点検作業時等はサービスマン)に読むことを促すことを意味するアイコンICdと、不具合が発生した箇所を示すアイコンICe、ICf、ICg、ICh、ICiとがモニタ50に表示される。アイコンICdは、システム情報の一つである。ここで、システム情報の一つであるアイコンICcが表示された場合、図示しない所定のスイッチを操作すると、表示制御部140は、その時点で発生している不具合に関連する情報(不具合原因や不具合対処を説明する情報)を、図示しない記憶部から読み出してモニタ50に表示させるようにしてもよい。アイコン2C、ICa、ICc、ICdは、モニタ50の上側であって第1画像2Aとモニタ50の右端との間(右上)に表示される。アイコンICe、ICf、ICg、ICh、ICiといったシステム情報は、モニタ50の画面の下側であって第1画像2Aとモニタ50の右端との間(右下)に表示される。
各アイコン(ICa、ICb、ICc、ICd、ICe、ICf、ICg、ICh、ICi)は、オペレータ又はサービスマンが各アイコンの絵柄を見たときに、直観的に各アイコンが意味するものを理解できるような絵柄及び色彩で構成されたものであることが好ましい。例えば、アイコンICdは、絵柄に書物を想起させるようなものを表現し、マニュアルを読むということを連想させ、アイコンICfは、絵柄に撮像装置11〜16であるカメラを想起させるようなものを表現し、カメラが故障等の可能性があることを連想させ、さらにアイコンICfの色彩を黄色や赤色といった故障をイメージさせるものとする。
不具合が発生したことを示すアイコンICcは、これに対応したシステム情報の重要度が最も高い。したがって、表示制御部140は、アイコンICcをモニタ50の最も運転席31に近い位置に表示する。アイコンICdは、上述のようにマニュアルをオペレータ(ダンプトラック1の点検作業時等はサービスマン)に読むことを促すことを意味するため、これに対応したシステム情報の重要度は高い。このため、表示制御部140は、アイコンICcの次に運転席31に近いモニタ50内の位置にアイコンICdを表示する。このように、本実施形態において、アイコンが複数存在する場合、これらの表示位置は、複数のアイコンに対応したシステム情報の重要度に基づいて決定される。本実施形態では、ダンプトラック1の運転席31に近い順に重要度が高くなるように表示位置が決定される。このようにすることで、ダンプトラック1のオペレータは、重要なシステム情報を認識しやすくなる。つまり、運転席31に近い位置、すなわちオペレータの視野に入りやすい位置に重要度が上位のアイコンが表示されれば、アイコンの見落とし及び見間違いが抑制されるのである。
上述したように、アイコンICdは、図3に示すコントローラ100が備えている、図示しない記憶部に保存されている周辺監視システム10のマニュアルを読み出す際のスイッチとして機能してもよい。すなわち、モニタ50にタッチパネルを用いた場合、ダンプトラック1のオペレータがアイコンICdの表示位置に触れると、図3に示すコントローラ100は、自身の記憶部に保存してあるマニュアルを読み出してモニタ50に表示する。
アイコンICeは、周辺監視システム10全体に不具合が発生したことを示す。アイコンICfは、複数の撮像装置11〜16の少なくとも1つに不具合が発生したことを示す。アイコンICgは、コントローラ100と撮像装置11〜16やモニタ50、あるいはレーダ装置21〜28等との入出力のインターフェースに不具合が発生したことを示す。アイコンIChは、コントローラ100とモニタ50との通信系統、あるいは周辺監視システム10と他の制御機器との通信系統に不具合が発生したことを示す。アイコンICiは、複数のレーダ装置21〜28の少なくとも1つに不具合(例えばレーダを照射しない等の故障)が発生したことを示す。モニタ50にタッチパネルを用いた場合、ダンプトラック1のオペレータがアイコンICe、ICf、ICg、ICh、ICiの表示位置を触れると、コントローラ100は、不具合についてのより詳しい情報、例えば、不具合の種類及び不具合が発生した撮像装置等を特定するための情報等をモニタ50に表示させてもよい。なお、本例においては、アイコンICiが表示されることによりレーダ装置21〜28のうち少なくとも1つに不具合が発生したことが示される。このため、アイコンICaは、複数のレーダ装置21〜28が非動作状態(OFF状態)であって、ダンプトラック1の周囲に存在する対象物を検知不可能な状態を示している。
アイコンICaは、図9及び図11に示すように、複数のレーダ装置21〜28の動作非動作を区別して表現してオペレータに示すために、絵柄を変えて表示されている。しかし、複数のレーダ装置21〜28が動作状態又は非動作状態であっても、アイコンICaは同一の絵柄で表示されてもよい。この場合、複数のレーダ装置21〜28が動作状態(ON状態)のときには、アイコンICaがモニタ50に高い明度で表示され、複数のレーダ装置21〜28の少なくも一つが非動作状態(OFF状態)のときには、モニタ50に低い明度で表示されることで、動作非動作を区別して表現することができる。複数のアイコンICe〜ICiの表示位置も、システム情報の重要度に基づき、ダンプトラック1の運転席31に近い順に重要度が高くなるようになっている。このようにすることで、ダンプトラック1のオペレータは、重要なシステム情報を認識しやすくなる。つまり、運転席31に近い位置、すなわちオペレータの視野に入りやすい位置に重要度が上位のアイコンを表示させれば、アイコンの見落とし及び見間違いが抑制されるのである。
周辺監視システム10に不具合が発生したことを示すアイコンICc、ICe等がモニタ50に表示された場合に、ダンプトラック1のオペレータがシフトレバー37を操作して走行モードを後進に切り替えるか又はオペレータが画面切替スイッチ53を操作してモニタ50の表示を複数表示から第2画像2Bの単独表示に切り替えたとする。この場合、コントローラ100の表示制御部140は、シフトレバー37のセンサ37S又は画面切替スイッチ53から表示切替信号を取得すると、図12に示すように、モニタ50に第2画像2Bを単独表示する。そして、絵柄表示制御部150は、表示切替信号を取得すると、複数表示においてモニタ50の右下に表示されていたアイコンICe、ICf、ICg、ICh、ICiを、モニタ50の右端に沿って上下方向に向かって1列に配置して表示する。
第2画像2Bは、モニタ50の上下方向(縦方向)全体に表示される。このため、モニタ50の画面の下側にアイコンICe、ICf、ICg、ICh、ICiが表示されていると、ダンプトラック1のオペレータは、第2画像2B全体を視認しにくくなる。特に、ダンプトラック1を運転する場合、オペレータは、高さが低い対象物を運転席31から直視又はサイドミラー等による視認することが困難であるため、ダンプトラック1の周囲の上方よりも下方(地面側)であって、かつ、近くに存在する対象物に、より多くの注意を払う必要がある。このため、ダンプトラック1の周囲が撮像された第2画像2Bがモニタ50の全体に表示される場合、アイコンICe、ICf、ICg、ICh、ICiの表示位置をモニタ50の画面の下側から右端に移動させることは、オペレータがダンプトラック1の周囲の状況を確認するために好ましい。
本実施形態では、絵柄表示制御部150は、モニタ50の表示が切り替えられる前後において、表示切替信号に基づいてアイコンICe、ICf、ICg、ICh、ICiの表示位置を変更する。このとき、絵柄表示制御部150は、アイコンICe、ICf、ICg、ICh、ICiの表示位置を、モニタ50の画面の下側を避けた位置に変更する。すなわち、絵柄表示制御部150は、撮像装置11〜16の少なくとも1つが撮像した画像(第2画像2B)中に表示されているダンプトラック1の下方に相当する位置を避けた位置、つまり上方又は側方に相当する位置に、アイコンICe、ICf、ICg、ICh、ICiの表示位置を変更する。このようにすることで、撮像装置11〜16の少なくとも1つが撮像した画像をモニタ50の上下方向にわたって表示する場合には、ダンプトラック1の周囲を確認する際において、より重要な下方(地面側)であって、かつ、近くの状況を確実にオペレータに確認させることができる。
本実施形態では、撮像装置11〜16の少なくとも1つが撮像した画像である第2画像2Bの単独表示に切り替えられた場合に、アイコンICe、ICf、ICg、ICh、ICiの表示位置が、ダンプトラック1の下方に相当する位置を避けた位置に変更される。表示位置の変更はこのような場合に限定されず、例えば、撮像装置11〜16の少なくとも1つが撮像した画像を含む複数の画像の表示にモニタ50が切り替えられた場合に、アイコンICe、ICf、ICg、ICh、ICiの表示位置は、ダンプトラック1の下方に相当する位置を避けた位置に変更されてもよい。このようにすることで、ダンプトラック1の周囲を確認する際において、より重要な下方の状況を確実にオペレータに確認させることができる。
このように、本実施形態においては、撮像装置11〜16の少なくとも1つが撮像した画像にモニタ50の表示が切り替えられた場合において、当該画像中に表示されるダンプトラック1の下方(モニタ50の画面の下側)に相当する位置にアイコンICe、ICf、ICg、ICh、ICi等が表示されるときに、これらの表示位置がダンプトラック1の下方に相当する位置を避けた位置に変更されればよい。なお、撮像装置11〜16の少なくとも1つが撮像した画像の単独表示に切り替えられた場合、このような画像はモニタ50の上下方向(縦方向)の全域にわたって表示されたり、左右方向(横方向)の全域にわたって表示されたりすることが多い。したがって、モニタ50の表示が撮像装置11〜16の少なくとも1つが撮像した画像の単独表示に切り替えられた場合に、アイコンICe、ICf等の表示位置がダンプトラック1の下方に相当する位置を避けた位置に変更されれば、ダンプトラック1の周囲を確認する際に重要なダンプトラック1の下方がアイコンICe、ICf、ICg、ICh、ICi等で隠されることを確実に回避できる。
絵柄表示制御部150は、モニタ50の表示が切り替えられた後、アイコンICe、ICf、ICg、ICh、ICiの表示位置をモニタ50の右端に変更するので、モニタ50中におけるアイコンICe、ICf、ICg、ICh、ICiの表示位置は、ダンプトラック1の運転席31からより遠い位置になる。このようにすることで、第2画像2Bは、運転席31側、すなわちダンプトラック1のオペレータに近い側に表示される部分がアイコンICe、ICf、ICg、ICh、ICiによって隠されない。その結果、オペレータが第2画像2Bに表示されたダンプトラック1の周囲の状況及び対象物を確認しやすくなる。
撮像装置11〜16が有する撮像素子の縦横比又は縦横の画素数が、モニタ50の縦横比又は縦横の画素数とは異なる場合、第2画像2Bの単独表示に切り替えられると、モニタ50には非表示領域DSが生じる。この例において、非表示領域DSはモニタ50の右側に存在するので、絵柄表示制御部150は、非表示領域DSにアイコンICe、ICf、ICg、ICh、ICiの表示位置を変更することになる。このように、モニタ50の非表示領域DSにアイコンICe、ICf、ICg、ICh、ICiの表示位置を変更することができるので、非表示領域DSを有効に利用することができる。
モニタ50の表示が切り替えられた後において、絵柄表示制御部150は、アイコンICe、ICf、ICg、ICh、ICiの表示位置を、モニタ50の画面の下側以外の位置に変更すればよい。このため、絵柄表示制御部150は、アイコンICe、ICf、ICg、ICh、ICiの表示位置をモニタ50の画面の上側に変更してもよい。このようにしても、オペレータは、ダンプトラック1の周囲が撮像された第2画像2Bにおいて、より重要な下方の状況を確実に確認することができる。
本実施形態において、絵柄表示制御部150は、モニタ50の表示が切り替えられる前後において、アイコンICe、ICf、ICg、ICh、ICiの表示位置を変更するが、アイコンICc、ICdの表示位置は維持する。このため、アイコンICc、ICdの表示位置は、モニタ50の表示が切り替えられる前後でモニタ50の同一の位置、より具体的には上側右寄りに表示される。このように、周辺監視システム10は、モニタ50に表示されるアイコン2C、ICa、ICc〜ICiのうち、重要度が上位のアイコンICc、ICdの表示位置を、モニタ50の表示が切り替えられる前後で変更しない。重要度が高いシステム情報に対応したアイコンICc、ICdは、モニタ50の表示が切り替えられる前後において表示位置が変更されない方が好ましいからである。上述したようにすることで、周辺監視システム10は、ダンプトラック1のオペレータが、モニタ50の表示が切り替わった後にアイコン2C、ICa、ICc、ICdを確認したり、マニュアルを読み出すためにアイコンICdを操作したりするときに、誤認及び誤操作を低減させることができる。なお、本例では、アイコン2C、ICaもモニタ50における表示位置が維持されるが、これらが示すシステム情報の重要度は、アイコンICc、ICdに次いで高いからである。
本実施形態において、絵柄表示制御部150は、モニタ50の表示を複数表示から単独表示に切り替えるための表示切替信号を取得したときに、アイコンICe、ICf、ICg、ICh、ICiの表示位置を変更しているが、表示の切り替えは複数表示から単独表示に限定されるものではない。例えば、モニタ50の表示が3画像である場合、これを2画像の表示に切り替えたり、1画像の表示に切り替えたりするときに、アイコンICe、ICf、ICg、ICh、ICiの表示位置が変更されてもよい。すなわち、本実施形態において、絵柄表示制御部150は、モニタ50に複数の画像を表示する第1表示形態から、第1表示形態よりも少ない画像をモニタに表示する第2表示形態に切り替える表示切替信号を取得したときに、第2表示形態でのアイコンの表示位置を、第1表示形態での表示位置に対して変更すればよい。
図13は、周辺監視システム10に不具合が発生した場合において、第2画像2Bのみが表示されたモニタ50の他の例を示す図である。この例は、撮像装置11〜16が有する撮像素子の縦横比がモニタ50の縦横比と同一又は撮像装置11〜16が有する撮像素子の縦横の画素数が、モニタ50の縦横比又は縦横の画素数と同一である場合を示している。この場合、撮像装置11〜16が撮像した画像である第2画像2Bは、モニタ50の全体にわたって表示される。このため、図12に示す非表示領域DSは有していない。この場合も、絵柄表示制御部150は、第1画像2Aと第2画像2Bとの複数表示から第2画像2Bの単独表示に切り替えられた後において、複数表示時にはモニタ50の画面の下側に表示されていたアイコンICe、ICf、ICg、ICh、ICiを、モニタ50の右端に沿って上側から下側に向かう位置に移動させて表示する。このように、モニタ50の表示が切り替えられた後にアイコンICe、ICf、ICg、ICh、ICiの表示位置が変更されることによって、第2画像2Bが単独表示されたモニタ50の画面の下側にアイコンICe、ICf、ICg、ICh、ICiが表示されなくなる。その結果、第2画像2Bがモニタ50の縦横全域にわたって表示された場合であっても、ダンプトラック1のオペレータは、ダンプトラック1の周囲が撮像された第2画像2Bにおいて、より重要なダンプトラック1の下方の状況を確実に確認することができる。なお、この例においても、重要度が上位のアイコンの表示位置は移動しない。
図14は、周辺監視システム10に不具合が発生した場合において、第1画像2Aと第2画像2Bとが表示されたモニタ50の他の例を示す図である。図15は、周辺監視システム10に不具合が発生した場合において、第2画像2Bのみが表示されたモニタ50の他の例を示す図である。この例は、第1画像2Aのみが単独でモニタ50に表示される単独表示から、第2画像2Bのみが単独でモニタ50に表示される単独表示へ切り替えられた場合におけるアイコンの表示位置を変更したものである。
第1画像2Aは、図5に示す俯瞰画像200にダンプトラック1の周囲に存在する対象物に対応したマークMKが表示されたものである。本例では、図14に示すように、第1画像2Aがモニタ50の縦横全域にわたって表示されている。アイコン2C、ICa、ICc、ICdはモニタ50の上側右寄りに表示され、アイコンICe、ICf、ICg、ICh、ICiはモニタ50の画面の下側中央から右端に向かって表示されている。図15に示すように、第2画像2Bは、モニタ50の縦横全域にわたって表示されている。
モニタ50の表示が第1画像2Aの単独表示から第2画像2Bの単独表示に切り替えられた場合、絵柄表示制御部150は、単独表示時にモニタ50の画面の下側に表示されていたアイコンICe、ICf、ICg、ICh、ICiを、モニタ50の右端に沿って上側から下側に向かう位置に移動させて表示する。このように、モニタ50の表示が切り替えられた後にアイコンICe、ICf、ICg、ICh、ICiの表示位置がモニタ50の右端へ変更されることによって、第2画像2Bが単独表示されたモニタ50の画面の下側はアイコンICe、ICf、ICg、ICh、ICiによって隠されることが回避される。その結果、ダンプトラック1のオペレータは、ダンプトラック1の周囲が撮像された第2画像2Bにおいて、より重要なダンプトラック1の下方の状況を確実に確認することができる。なお、この例においても、重要度が上位のアイコンの表示位置は移動しない。
図16は、周辺監視システム10に不具合が発生した場合において、第1画像2Aと第2画像2Bとが表示されたモニタ50の他の例を示す図である。図17は、周辺監視システム10に不具合が発生した場合において、第2画像2Bのみが表示されたモニタ50の他の例を示す図である。上述した例は、いずれもモニタ50の縦の寸法が横の寸法よりも小さい場合であるが、この例は、モニタ50Aの縦の寸法が横の寸法よりも大きい場合である。以下においては、第1画像2Aaと第2画像2Baとがモニタ50Aに表示される複数表示から、第2画像2Baのみが単独でモニタ50Aに表示される単独表示へ切り替えられた場合におけるアイコンの表示位置を変更した例を説明する。なお、第1画像2Aaのみが単独でモニタ50Aに表示される単独表示から、第2画像2Baのみが単独でモニタ50Aに表示される単独表示へ切り替えられた場合も同様である。
この例において、絵柄表示制御部150は、第1画像2Aaと第2画像2Baとの複数表示から第2画像2Baの単独表示に切り替えられた後において、複数表示時にはモニタ50Aの画面の下側に表示されていたアイコンICe、ICf、ICg、ICh、ICiを、モニタ50Aの右端に沿って上側から下側に向かう位置に移動させて表示する。このように、本例においても、モニタ50Aの表示が切り替えられた後にアイコンICe、ICf、ICg、ICh、ICiの表示位置がモニタ50Aの画面の下側から右端に変更される。その結果、第2画像2Baがモニタ50Aの縦横全域にわたって表示された場合であっても、ダンプトラック1のオペレータは、ダンプトラック1の周囲が撮像された第2画像2Baにおいて、より重要なダンプトラック1の下方の状況を確実に確認することができる。なお、この例においても、重要度が上位のアイコンの表示位置は移動しない。
上記説明において、運転席31はダンプトラック1の左側としたが、右側であってもよい。この場合、モニタ50に表示される第1画像2A、2Aaと第2画像2B、2Baとの左右の表示位置関係及びアイコン2C、ICd、ICc、ICa等の左右の並びにおける表示位置の関係は、上述した説明と反対になる。
さらに、モニタ50Aの表示が切り替えられた後にアイコンICe、ICf、ICg、ICh、ICiの表示位置が変更される際、表示位置を変更するとともに、表示位置の変更前後において各アイコンICe、ICf、ICg、ICh、ICiの絵柄はそのままで表示の大きさを変えるようにしてもよい。第1画像2A、2Aaと、第2画像2B、2Bbとの切り替えの際に、切り替え前における各アイコンICe、ICf、ICg、ICh、ICiの表示の大きさに対して、切り替え後における各アイコンICe、ICf、ICg、ICh、ICiの表示の大きさを、絵柄が視認可能な程度に小さく表示してもよい。このようにすれば、アイコン以外の画像が占める面積が増え、オペレータは、よりダンプトラック1の下方や周囲の状況を認識しやすくなる。
以上、本実施形態において、周辺監視システム10は、モニタ50、50Aの表示が切り替えられる際に、モニタ50、50Aの表示が切り替えられた後のモニタ50、50Aに表示されるアイコンの表示位置を変更する。このようにすることで、アイコンと他の画像とが同時にモニタ50、50Aに表示される場合において、モニタ50、50Aの表示が切り替えられて切り替え前とは異なる画像がモニタ50、50Aに表示された場合に、この異なる画像中に存在する、ダンプトラック1のオペレータが注意すべき部分の画像がアイコンで隠されることを回避できる。その結果、周辺監視システム10は、オペレータが注意すべき部分の状況を、オペレータに対してより確実に認識させることができる。
また、周辺監視システム10は、モニタ50、50Aの表示が、撮像装置11〜16の少なくとも1つが撮像した画像の表示に切り替えられた場合にアイコンの表示位置を変更する。このようにすることで、撮像された画像中に存在する、ダンプトラック1のオペレータが注意すべき部分の画像がアイコンで隠されることを回避できる。その結果、周辺監視システム10は、オペレータが注意すべき部分の画像が示す状況及び対象物を、オペレータに対してより確実に認識させることができる。このように、周辺監視システム10は、情報を示す絵柄としてのアイコンとこれ以外の画像とが同時にモニタ50に表示される場合において、アイコン以外の画像が他の画像に切り替えられたときに、オペレータが注意すべき部分の画像が示す状況及び対象物を確認しやすくすることができる。
特に、周辺監視システム10は、モニタ50、50Aの表示が、撮像装置11〜16の少なくとも1つによって撮像された画像に切り替えられる際に、画像の切り替え後においてモニタ50、50Aの画面を占める撮像された画像の比率が、画像の切り替え前よりも大きくなる場合に好ましい。このような場合、画像の切り替え後において、撮像された画像がモニタ50、50Aの画面を占める面積は画像の切り替え前よりも大きくなるので、アイコンによって撮像された画像が隠される可能性が高くなるからである。周辺監視システム10は、モニタ50、50Aの表示が撮像された画像に切り替えられた後にアイコンの表示位置を移動させることができるので、撮像された画像中に存在する、オペレータが注意すべき部分がアイコンで隠されることを回避することができる。その結果、周辺監視システム10は、アイコン以外の画像が他の画像に切り替えられたときに、オペレータが注意すべき部分を確認しやすくすることができる。
以上、本実施形態を説明したが、上述した内容により本実施形態が限定されるものではない。また、上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 ダンプトラック
2 車体部
2a ロアデッキ
2b アッパデッキ
2f フレーム
2A、2Aa 第1画像
2B、2Ba 第2画像
2C、1Ca、1Cb、1Cc、1Cd、1Ce、1Cf、1Cg、1Ch、1Ci アイコン
3 キャブ
4 ベッセル
4F 鍔部
5 前輪
6 後輪
10 作業車両用周辺監視システム(周辺監視システム)
11〜16 撮像装置
21〜28 レーダ装置
31 運転席
37 シフトレバー
37S センサ
50、50A モニタ
51 コントロールパネル
53 画面切替スイッチ
100 コントローラ
110 俯瞰画像合成部
120 カメラ画像切替・視点変換部
130 対象物位置情報生成部
140 表示制御部
150 絵柄表示制御部
200 俯瞰画像
210 対象物情報収集部
220 対象物処理部
DS 非表示領域

Claims (19)

  1. 作業車両の周辺を監視する周辺監視システムにおいて、
    作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する撮像装置と、
    前記撮像装置が出力した前記画像情報に基づく画像及び前記周辺監視システムに関する情報を示す絵柄を表示装置に表示する表示制御部と、
    前記表示装置の表示が切り替えられる際に、前記表示装置の表示が切り替えられた後の前記表示装置に表示される前記絵柄の表示位置を変更する絵柄表示制御部と、をみ、
    前記表示制御部は、俯瞰画像を含む第1画像及び複数の前記絵柄を含む画像と、前記撮像装置が撮像した前記画像情報に基づく第2画像とを切り替えて前記表示装置に表示するとともに、
    前記第1画像及び複数の前記絵柄を含む画像に含まれる少なくとも1つの前記絵柄を、前記第2画像と重なる位置に表示し、
    前記絵柄表示制御部は、前記表示装置の表示が、前記第2画像に切り替えられた際に、前記第1画像及び複数の前記絵柄を含む画像に含まれる少なくとも1つの前記絵柄の表示位置を、前記第2画像と重ならない位置に変更することを特徴とする作業車両用周辺監視システム。
  2. 前記表示装置の表示が前記撮像装置によって撮像された画像に切り替えられた場合、
    前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記表示位置を、前記撮像装置が撮像した画像中に表示されている前記作業車両の上方又は側方に相当する位置に変更する、請求項1に記載の作業車両用周辺監視システム。
  3. 前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記絵柄の表示位置を、前記表示装置中において前記作業車両の運転席からより遠い位置に変更する、請求項1又はに記載の作業車両用周辺監視システム。
  4. 前記表示装置の表示を切り替えるための入力を受け付ける表示切替装置が生成する信号又は前記作業車両の状態を示す信号に基づき、前記表示装置の表示が切り替えられる、請求項1からのいずれか1項に記載の作業車両用周辺監視システム。
  5. 作業車両の周辺を監視する周辺監視システムにおいて、
    作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する撮像装置と、
    前記撮像装置が出力した前記画像情報に基づく画像及び前記周辺監視システムに関する情報を示す絵柄を表示装置に表示する表示制御部と、
    前記表示装置の表示が切り替えられる際に、前記表示装置の表示が切り替えられた後の前記表示装置に表示される前記絵柄の表示位置を変更する絵柄表示制御部と、
    を含み、前記絵柄が複数存在する場合、前記表示位置は、複数の前記絵柄に対応した前記情報の重要度に基づいて決定されることを特徴とする作業車両用周辺監視システム。
  6. 前記表示装置の表示が前記撮像装置によって撮像された画像に切り替えられた場合、
    前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記表示位置を、前記撮像装置が撮像した画像中に表示されている前記作業車両の上方又は側方に相当する位置に変更する、請求項5に記載の作業車両用周辺監視システム。
  7. 前記絵柄表示制御部は、重要度が上位の前記情報を示す絵柄の表示位置を、前記表示装置の表示が切り替えられる前後において維持する、請求項5又は6に記載の作業車両用周辺監視システム。
  8. 前記表示位置は、前記作業車両の運転席に近い順に前記重要度が高くなる、請求項5から7のいずれか1項に記載の作業車両用周辺監視システム。
  9. 前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記絵柄の表示位置を、前記表示装置中において前記作業車両の運転席からより遠い位置に変更する、請求項5から8のいずれか1項に記載の作業車両用周辺監視システム。
  10. 前記表示装置の表示を切り替えるための入力を受け付ける表示切替装置が生成する信号又は前記作業車両の状態を示す信号に基づき、前記表示装置の表示が切り替えられる、請求項5から9のいずれか1項に記載の作業車両用周辺監視システム。
  11. 作業車両の周辺を監視する周辺監視システムにおいて、
    作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する撮像装置と、
    前記撮像装置が出力した前記画像情報に基づく画像及び前記周辺監視システムに関する情報を示す絵柄を表示装置に表示する表示制御部と、
    前記表示装置の表示が切り替えられる際に、前記表示装置の表示が切り替えられた後の前記表示装置に表示される前記絵柄の表示位置を変更する絵柄表示制御部と、
    を含み、
    前記表示制御部は、前記撮像装置が撮像した画像とともに、前記撮像装置が撮像している方向を示す絵柄を前記絵柄として前記表示装置に表示し、
    前記絵柄表示制御部は、前記表示装置の表示が切り替えられる前後において、前記撮像装置が撮像している方向を示す画像が前記表示装置に表示される位置を維持することを特徴とする作業車両用周辺監視システム。
  12. 前記表示装置の表示が前記撮像装置によって撮像された画像に切り替えられた場合、
    前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記表示位置を、前記撮像装置が撮像した画像中に表示されている前記作業車両の上方又は側方に相当する位置に変更する、請求項11に記載の作業車両用周辺監視システム。
  13. 前記絵柄が複数存在する場合、前記表示位置は、複数の前記絵柄に対応した前記情報の重要度に基づいて決定される、請求項11又は12に記載の作業車両用周辺監視システム。
  14. 前記絵柄表示制御部は、重要度が上位の前記情報を示す絵柄の表示位置を、前記表示装置の表示が切り替えられる前後において維持する、請求項13に記載の作業車両用周辺監視システム。
  15. 前記表示位置は、前記作業車両の運転席に近い順に前記重要度が高くなる、請求項13又は14に記載の作業車両用周辺監視システム。
  16. 前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記絵柄の表示位置を、前記表示装置中において前記作業車両の運転席からより遠い位置に変更する、請求項11から15のいずれか1項に記載の作業車両用周辺監視システム。
  17. 前記表示装置の表示を切り替えるための入力を受け付ける表示切替装置が生成する信号又は前記作業車両の状態を示す信号に基づき、前記表示装置の表示が切り替えられる、請求項11から16のいずれか1項に記載の作業車両用周辺監視システム。
  18. 作業車両の周辺を監視する周辺監視システムにおいて、
    作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、
    前記撮像装置が出力した前記画像情報に基づく画像及び前記周辺監視システムに関する情報を示す絵柄を表示装置に表示する表示制御部と、
    前記表示装置の表示を切り替える表示切替信号に基づいて、前記表示装置の表示が切り替えられた後に前記表示装置に表示される前記絵柄の表示位置を変更する絵柄表示制御部と、
    を含み、
    前記撮像装置が撮像した画像を単独で表示する単独表示に前記表示装置の表示が切り替えられた場合、前記絵柄表示制御部は、前記表示装置の表示が切り替えられた後における前記表示位置を、前記撮像装置が撮像した画像中に表示されている前記作業車両の上方又は側方に相当する位置に変更することを特徴とする作業車両用周辺監視システム。
  19. 請求項1から18のいずれか1項に記載の作業車両用周辺監視システムを備えたことを特徴とする作業車両。
JP2012208552A 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両 Active JP5529943B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012208552A JP5529943B2 (ja) 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両
PCT/JP2012/077057 WO2014045456A1 (ja) 2012-09-21 2012-10-19 作業車両用周辺監視システム及び作業車両
US13/825,189 US9457719B2 (en) 2012-09-21 2012-10-19 Work vehicle periphery monitoring system and work vehicle
CA2815838A CA2815838C (en) 2012-09-21 2012-10-19 Work vehicle periphery monitoring system and work vehicle
AU2012372155A AU2012372155B2 (en) 2012-09-21 2012-10-19 Work vehicle periphery monitoring system and work vehicle
CN201280002949.4A CN103828351A (zh) 2012-09-21 2012-10-19 作业车辆用周边监视系统以及作业车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012208552A JP5529943B2 (ja) 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014085868A Division JP5926315B2 (ja) 2014-04-17 2014-04-17 作業車両用周辺監視システム及び作業車両

Publications (2)

Publication Number Publication Date
JP2014064192A JP2014064192A (ja) 2014-04-10
JP5529943B2 true JP5529943B2 (ja) 2014-06-25

Family

ID=50340803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012208552A Active JP5529943B2 (ja) 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両

Country Status (5)

Country Link
US (1) US9457719B2 (ja)
JP (1) JP5529943B2 (ja)
CN (1) CN103828351A (ja)
AU (1) AU2012372155B2 (ja)
WO (1) WO2014045456A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
GB2523353B (en) * 2014-02-21 2017-03-01 Jaguar Land Rover Ltd System for use in a vehicle
CN105339061B (zh) * 2014-04-25 2017-05-10 株式会社小松制作所 周边监视系统、作业车辆以及周边监视方法
EP3135827B1 (en) * 2014-04-25 2020-12-02 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Construction machine
WO2015162801A1 (ja) * 2014-04-25 2015-10-29 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
JP2016063390A (ja) * 2014-09-18 2016-04-25 富士通テン株式会社 画像処理装置、及び画像表示システム
EP3021178B1 (en) * 2014-11-14 2020-02-19 Caterpillar Inc. System using radar apparatus for assisting a user of a machine of a kind comprising a body and an implement
JP6340068B2 (ja) * 2015-02-23 2018-06-06 株式会社小松製作所 油圧ショベル
WO2016174754A1 (ja) * 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
KR20170118831A (ko) * 2015-07-31 2017-10-25 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 표시 시스템, 및 작업 기계의 표시 방법
CN106114360A (zh) * 2016-07-22 2016-11-16 池州学院 一种汽车倒车雷达报警控制系统
JP6662762B2 (ja) * 2016-12-19 2020-03-11 株式会社クボタ 作業車
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2019163378A1 (ja) * 2018-02-23 2019-08-29 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム
JP6734485B2 (ja) * 2018-03-14 2020-08-05 日立建機株式会社 作業機械
US11592813B2 (en) * 2018-12-17 2023-02-28 Robert Bosch Gmbh Method and controller for the situational transmission of surroundings information of a vehicle
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
JP7267755B2 (ja) * 2019-01-23 2023-05-02 株式会社小松製作所 作業機械のためのシステム及び方法
US11653587B2 (en) * 2020-09-17 2023-05-23 Deere & Company System and method for presenting the surroundings of an agricultural implement
CN116195245A (zh) * 2020-09-29 2023-05-30 索尼半导体解决方案公司 物体检测系统及物体检测方法
US11772562B2 (en) 2021-03-24 2023-10-03 Deere & Company Intuitive work vehicle vision system for enhanced operator visibility
CN113359691B (zh) * 2021-07-08 2022-11-11 山东大学 一种非道路移动设备的远程图像显示装置和方法
JP2023183700A (ja) * 2022-06-16 2023-12-28 ヤンマーホールディングス株式会社 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
CN116311035B (zh) * 2023-02-13 2024-05-17 山东新普锐智能科技有限公司 基于机器视觉的人车安全预警系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020502A (ja) 2003-06-27 2005-01-20 Nippon Seiki Co Ltd 車両用監視装置
JP2005163370A (ja) 2003-12-02 2005-06-23 Hitachi Constr Mach Co Ltd 建設機械の画像表示装置
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2008034964A (ja) 2006-07-26 2008-02-14 Toyota Motor Corp 画像表示装置
JP4996928B2 (ja) 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
JP5420216B2 (ja) 2008-09-16 2014-02-19 本田技研工業株式会社 車両周囲監視装置
JP5225820B2 (ja) * 2008-11-25 2013-07-03 アイシン精機株式会社 入力装置、車両周辺監視装置、アイコンスイッチ選択方法及びプログラム
JP5187179B2 (ja) * 2008-12-16 2013-04-24 三菱自動車工業株式会社 車両周辺監視装置
JP5503259B2 (ja) * 2009-11-16 2014-05-28 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5584561B2 (ja) * 2010-08-31 2014-09-03 富士通テン株式会社 画像処理装置、画像表示システム及び画像表示方法
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP5408198B2 (ja) 2011-08-01 2014-02-05 日産自動車株式会社 映像表示装置及び映像表示方法

Also Published As

Publication number Publication date
WO2014045456A1 (ja) 2014-03-27
CN103828351A (zh) 2014-05-28
US9457719B2 (en) 2016-10-04
JP2014064192A (ja) 2014-04-10
AU2012372155B2 (en) 2014-10-09
US20150217691A1 (en) 2015-08-06
AU2012372155A1 (en) 2014-04-10

Similar Documents

Publication Publication Date Title
JP5529943B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5926315B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5643272B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5456123B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5781978B2 (ja) ダンプトラック
JP6228538B2 (ja) 周辺監視システム、作業車両、及び周辺監視方法
JP5324690B1 (ja) 作業車両用周辺監視システム及び作業車両
WO2014045459A1 (ja) 作業車両用周辺監視システム及び作業車両
KR20130138227A (ko) 작업 기계의 주위 감시 장치
KR101859229B1 (ko) 건설기계의 작업 가이드 정보 표시 장치 및 방법
JP2014064193A (ja) 作業車両用周辺監視システム及び作業車両
US20240052602A1 (en) Work machine surroundings monitoring system, work machine, and work machine surroundings monitoring method
JP5788048B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5595565B2 (ja) 作業車両用周辺監視システム、作業車両及び作業車両用周辺監視方法
CA2815831C (en) Working vehicle periphery monitoring system and working vehicle
CA2817396C (en) Working vehicle periphery monitoring system and working vehicle
JP5964353B2 (ja) ダンプトラック
CA2815838C (en) Work vehicle periphery monitoring system and work vehicle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140417

R150 Certificate of patent or registration of utility model

Ref document number: 5529943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250