本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の説明において、前、後、左及び右は、運転席に着座したオペレータを基準とする用語である。例えば、前は、運転席に着座したオペレータの視線が向かう側であり、運転席からオペレータによって操作されるハンドルに向かう側である。後は、前の反対側であり、ハンドルから運転席に向かう側である。作業車両の車幅方向は、作業車両の左右方向と同義である。本実施形態において、オペレータは、作業車両を運転する者の他、作業車両の保守、点検をする者も含む概念である。
DESCRIPTION OF EMBODIMENTS Embodiments (embodiments) for carrying out the present invention will be described in detail with reference to the drawings. In the following description, front, rear, left and right are terms based on an operator seated in the driver's seat. For example, the front is the side where the line of sight of the operator seated in the driver's seat is headed, and the side toward the handle operated by the operator from the driver's seat. The rear is the opposite side of the front and the side facing the driver's seat from the steering wheel. The vehicle width direction of the work vehicle is synonymous with the left-right direction of the work vehicle. In the present embodiment, the operator is a concept including a person who performs maintenance and inspection of the work vehicle as well as a person who drives the work vehicle.
＜作業車両＞
図１は、本実施形態に係る作業車両を示す斜視図である。図２は、本実施形態に係る作業車両が有するキャブ３の構造及び内部を示す図である。本実施形態において、作業車両としてのダンプトラック（オフハイウェイトラックともいう）１は、鉱山での作業等に用いられる自走式の超大型の車両である。ダンプトラックの形式は限定されるものではない。ダンプトラック１は、例えば、アーティキュレーテッド式等であってもよい。また、作業車両は、ダンプトラック１に限定されるものではない。ダンプトラック１は、車体部２と、キャブ３と、ベッセル４と、前輪５と、後輪６とを含む。車体部２は、アッパデッキ２ｂ及び前後方向に沿って配置されたフレーム２ｆを含む。また、ダンプトラック１は、自身の周囲を監視して、その結果を表示する周辺監視システムを有する。周辺監視システムの詳細は後述する。
<Work vehicle>
FIG. 1 is a perspective view showing a work vehicle according to the present embodiment. FIG. 2 is a diagram illustrating the structure and the inside of the cab 3 included in the work vehicle according to the present embodiment. In the present embodiment, a dump truck (also referred to as an off-highway truck) 1 as a work vehicle is a self-propelled super large vehicle used for work in a mine. The form of the dump truck is not limited. The dump truck 1 may be, for example, an articulated type. Further, the work vehicle is not limited to the dump truck 1. The dump truck 1 includes a vehicle body portion 2, a cab 3, a vessel 4, a front wheel 5, and a rear wheel 6. The vehicle body part 2 includes an upper deck 2b and a frame 2f arranged along the front-rear direction. Further, the dump truck 1 has a surrounding monitoring system that monitors its surroundings and displays the result. Details of the peripheral monitoring system will be described later.
本実施形態において、ダンプトラック１は、ディーゼルエンジン等の内燃機関が発電機を駆動することによって発生した電力で電動機を駆動し、後輪６を駆動する。このように、ダンプトラック１は、いわゆる電気駆動方式であるが、ダンプトラック１の駆動方式はこれに限定されるものではない。例えば、ダンプトラック１は、内燃機関の動力を、トランスミッションを介して後輪６へ伝達し、これを駆動するものであってもよいし、架線からトロリーを介して供給された電力で電動機を駆動し、この電動機によって後輪６を駆動するものであってもよい。
In the present embodiment, the dump truck 1 drives the rear wheel 6 by driving the electric motor with electric power generated by an internal combustion engine such as a diesel engine driving the generator. Thus, although the dump truck 1 is what is called an electric drive system, the drive system of the dump truck 1 is not limited to this. For example, the dump truck 1 may transmit the power of the internal combustion engine to the rear wheel 6 via the transmission and drive it, or drive the electric motor with electric power supplied from the overhead line via the trolley. However, the rear wheel 6 may be driven by this electric motor.
フレーム２ｆは、内燃機関及び発電機等の動力発生機構とその補機類とを支持している。フレーム２ｆの前部には、左右の前輪５（図１では右前輪のみを示している）が支持されている。フレーム２ｆの後部には、左右の後輪６（図１では右後輪のみを示している）が支持されている。前輪５及び後輪６は、直径が２ｍ（メートル）〜４ｍ（メートル）程度である。フレーム２ｆは、ロアデッキ２ａと、アッパデッキ２ｂとを有する。このように、鉱山で用いられるダンプトラック１は、ロアデッキ２ａとアッパデッキ２ｂとを有する二重デッキ構造となっている。
The frame 2f supports a power generation mechanism such as an internal combustion engine and a generator and its accessories. Left and right front wheels 5 (only the right front wheel is shown in FIG. 1) are supported on the front portion of the frame 2f. Left and right rear wheels 6 (only the right rear wheel is shown in FIG. 1) are supported at the rear portion of the frame 2f. The front wheel 5 and the rear wheel 6 have a diameter of about 2 m (meter) to 4 m (meter). The frame 2f has a lower deck 2a and an upper deck 2b. Thus, the dump truck 1 used in the mine has a double deck structure having the lower deck 2a and the upper deck 2b.
ロアデッキ２ａは、フレーム２ｆの前面の下部に取り付けられる。アッパデッキ２ｂは、ロアデッキ２ａの上方に配置されている。ロアデッキ２ａの下方には、例えば、キャブ３への乗降用に用いられる可動式のラダー２ｃが配置されている。ロアデッキ２ａとアッパデッキ２ｂとの間には、両者の間を行き来するための斜めラダー２ｄが配置されている。また、ロアデッキ２ａとアッパデッキ２ｂとの間には、ラジエーターが配置されている。アッパデッキ２ｂの上には、柵状の手すり２ｅが配置されている。本実施形態において、ラダー２ｃ及び斜めラダー２ｄは、アッパデッキ２ｂ及びロアデッキ２ａの一部であるものとする。
The lower deck 2a is attached to the lower part of the front surface of the frame 2f. The upper deck 2b is disposed above the lower deck 2a. Below the lower deck 2a, for example, a movable ladder 2c used for getting on and off the cab 3 is disposed. Between the lower deck 2a and the upper deck 2b, an oblique ladder 2d for moving between the two is disposed. A radiator is disposed between the lower deck 2a and the upper deck 2b. A rail-shaped handrail 2e is disposed on the upper deck 2b. In the present embodiment, the ladder 2c and the oblique ladder 2d are assumed to be part of the upper deck 2b and the lower deck 2a.
図１に示すように、キャブ（運転室）３は、アッパデッキ２ｂ上に配置されている。キャブ３は、アッパデッキ２ｂ上において、車幅方向の中央よりも車幅方向における一方側にずらされて配置されている。具体的には、キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも左側に配置されている。キャブ３の配置は、車幅方向の中央よりも左側に限定されるものではない。例えば、キャブ３は、車幅方向の中央よりも右側に配置されていてもよいし、車幅方向の中央に配置されていてもよい。キャブ３内には、運転席、ハンドル、シフトレバー、アクセルペダル及びブレーキペダル等の操作部材が配置されている。
As shown in FIG. 1, the cab (cab) 3 is disposed on the upper deck 2b. The cab 3 is arranged on the upper deck 2b so as to be shifted to one side in the vehicle width direction from the center in the vehicle width direction. Specifically, the cab 3 is disposed on the left side of the center in the vehicle width direction on the upper deck 2b. The arrangement of the cab 3 is not limited to the left side of the center in the vehicle width direction. For example, the cab 3 may be disposed on the right side of the center in the vehicle width direction, or may be disposed in the center in the vehicle width direction. In the cab 3, operation members such as a driver's seat, a handle, a shift lever, an accelerator pedal, and a brake pedal are arranged.
図２に示すように、キャブ３は、複数本（本実施形態では４本）の支柱３ａ、３ｂ、３ｃ、３ｄを含むＲＯＰＳ（Roll-Over Protection System：転倒時保護構造）を備えている。ＲＯＰＳは、万一ダンプトラック１が転倒した場合、キャブ３内のオペレータを保護する。ダンプトラック１の運転者は、車体部２の左側の路肩を容易に確認できる状態で走行するが、車体部２の周囲を確認するためには、頭を大きく動かす必要がある。また、アッパデッキ２ｂには、ダンプトラック１の周囲を確認するために、図示しないサイドミラーが複数設けられている。これらのサイドミラーは、キャブ３から離れた位置に配置されているので、運転者は、サイドミラーを用いて車体部２の周辺を確認する場合にも、頭を大きく動かす必要がある。
As shown in FIG. 2, the cab 3 includes a ROPS (Roll-Over Protection System) including a plurality of (four in this embodiment) support columns 3 a, 3 b, 3 c, and 3 d. ROPS protects the operator in the cab 3 if the dump truck 1 falls down. The driver of the dump truck 1 travels in a state where the left shoulder of the vehicle body part 2 can be easily confirmed, but in order to check the periphery of the vehicle body part 2, it is necessary to move the head greatly. The upper deck 2b is provided with a plurality of side mirrors (not shown) in order to confirm the periphery of the dump truck 1. Since these side mirrors are arranged at positions away from the cab 3, the driver needs to move his head greatly even when checking the periphery of the vehicle body portion 2 using the side mirrors.
図２に示すように、キャブ３内には、運転席３１、ハンドル３２、ダッシュカバー３３、無線装置３４、ラジオ受信機３５、リターダ３６、シフトレバー３７、トレーナー席３８、図２には示していない監視制御装置としてのコントローラ（詳細は後述する）、モニタ５０、コントロールパネル５１、アクセルペダル及びブレーキペダル等が設けられている。モニタ５０は、図２ではダッシュカバー３３に組み込まれたものを示しているが、ダッシュカバー３３の上に設置したもの又はキャブ３内の天井から吊り下げて設置されたものでもよい。つまり、オペレータがモニタ５０を視認できる位置であればよい。本実施形態において、運転席３１はキャブ３の左側に設けられているが、運転席３１の位置はこれに限定されない。なお、図２には示していないコントローラは、後述する周辺監視システム１０の一部である。シフトレバー３７は、ダンプトラック１のオペレータが、ダンプトラック１の進行方向を切り替えたり、速度段を切り替えたりするための装置である。
As shown in FIG. 2, a driver's seat 31, a handle 32, a dash cover 33, a radio device 34, a radio receiver 35, a retarder 36, a shift lever 37, a trainer seat 38, are shown in FIG. There are provided a controller (details will be described later), a monitor 50, a control panel 51, an accelerator pedal, a brake pedal, and the like as no monitoring control device. Although the monitor 50 is shown as being incorporated in the dash cover 33 in FIG. 2, the monitor 50 may be installed on the dash cover 33 or suspended from the ceiling in the cab 3. That is, any position where the operator can visually recognize the monitor 50 may be used. In the present embodiment, the driver's seat 31 is provided on the left side of the cab 3, but the position of the driver's seat 31 is not limited to this. Note that the controller not shown in FIG. 2 is a part of the periphery monitoring system 10 described later. The shift lever 37 is a device for the operator of the dump truck 1 to switch the traveling direction of the dump truck 1 and to switch the speed stage.
図１に示すベッセル４は、砕石等の積荷を積載するための容器である。ベッセル４の底面の後部は、回転ピンを介してフレーム２ｆの後部に回動可能に連結されている。ベッセル４は、油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取ることができる。積載姿勢は、図１に示すように、ベッセル４の前部がキャブ３の上部に位置する姿勢である。起立姿勢は、積荷を排出する姿勢であり、ベッセル４が後方かつ下方へ向かって傾斜した状態となる姿勢である。ベッセル４の前部が上方に回動することによってベッセル４は積載姿勢から起立姿勢に変化する。ベッセル４は、前方に鍔部４Ｆを有している。鍔部４Ｆは、プロテクターとも呼ばれることがあり、キャブ３の上方まで延出してキャブ３を覆っている。キャブ３の上方に延出した鍔部４Ｆは、砕石等の衝突からキャブ３を保護する。
A vessel 4 shown in FIG. 1 is a container for loading a load such as crushed stone. A rear portion of the bottom surface of the vessel 4 is rotatably connected to a rear portion of the frame 2f via a rotation pin. The vessel 4 can take a loading posture and a standing posture by an actuator such as a hydraulic cylinder. As shown in FIG. 1, the loading posture is a posture in which the front portion of the vessel 4 is positioned above the cab 3. The standing posture is a posture for discharging the load, and is a posture in which the vessel 4 is inclined rearward and downward. As the front portion of the vessel 4 rotates upward, the vessel 4 changes from the loading posture to the standing posture. The vessel 4 has a flange portion 4F on the front side. The collar portion 4F is sometimes called a protector, and extends to the upper side of the cab 3 to cover the cab 3. The collar part 4F extended above the cab 3 protects the cab 3 from collision of crushed stones or the like.
＜周辺監視システム＞
図３は、本実施形態に係る周辺監視システム１０を示す図である。図４は、本実施形態に係る周辺監視システム１０が有する撮像装置１１〜１６を搭載したダンプトラック１の斜視図である。図５は、複数の撮像装置１１〜１６によって撮像される領域及び複数の撮像装置１１〜１６によって撮像された画像の情報に基づいて生成された俯瞰画像２００を示す模式図である。図５に示す、複数の撮像装置によって撮像される領域は、地面を基準とした領域である。図３に示すように、周辺監視システム１０は、複数（本実施形態では６台）の撮像装置１１、１２、１３、１４、１５、１６と、複数（本実施形態では８台）のレーダ装置２１、２２、２３、２４、２５、２６、２７、２８と、モニタ５０と、監視制御装置としてのコントローラ１００とを有している。本実施形態において、レーダ装置２１〜２８は、必ずしも必要ではない。
<Perimeter monitoring system>
FIG. 3 is a diagram illustrating the periphery monitoring system 10 according to the present embodiment. FIG. 4 is a perspective view of the dump truck 1 on which the imaging devices 11 to 16 included in the periphery monitoring system 10 according to the present embodiment are mounted. FIG. 5 is a schematic diagram illustrating a bird's-eye view image 200 that is generated based on information about the areas captured by the plurality of imaging devices 11 to 16 and the images captured by the plurality of imaging devices 11 to 16. The area imaged by the plurality of imaging devices shown in FIG. 5 is an area based on the ground. As shown in FIG. 3, the periphery monitoring system 10 includes a plurality (six in this embodiment) of imaging devices 11, 12, 13, 14, 15, and 16 and a plurality (eight in this embodiment) of radar devices. 21, 22, 23, 24, 25, 26, 27, 28, a monitor 50, and a controller 100 as a monitoring control device. In the present embodiment, the radar devices 21 to 28 are not necessarily required.
モニタ５０は、例えば、液晶ディスプレイを用いることができる。また、モニタ５０にタッチパネルを用いて、後述する画面切替スイッチ５３の機能及び画面操作機能等をタッチパネルに組み込み、画面切替等をタッチパネルに触れることで可能とするものであってもよい。
As the monitor 50, for example, a liquid crystal display can be used. Alternatively, a touch panel may be used for the monitor 50, and a function of a screen changeover switch 53 and a screen operation function, which will be described later, may be incorporated in the touch panel to enable screen change and the like by touching the touch panel.
＜撮像装置＞
撮像装置１１、１２、１３、１４、１５、１６は、ダンプトラック１に取り付けられる。撮像装置１１、１２、１３、１４、１５、１６は、例えば、ワイドダイナミックレンジ（ＷＤＲ：Wide Dynamic Range）カメラである。ワイドダイナミックレンジカメラは、明るい部分を視認できるレベルに保ちながら、暗い部分を明るく補正し、全体をくまなく視認できるように調整可能な機能を有したカメラである。なお、撮像装置を少なくとも一台として俯瞰画像２００を生成してもよい。複数の撮像装置を備えていたとしても、ダンプトラック１の前方又は後方のみ俯瞰画像２００を生成して、モニタ装置５０に第１画像２Ａ（第１画像２Ａの詳細は後述）を表示させてもよい。ただし、撮像装置を複数備えることで、ダンプトラック１の全周囲を撮像し、全周囲についての俯瞰画像２００が生成でき、ダンプトラック１の全周囲を監視することが可能となるのでより好ましい。
<Imaging device>
The imaging devices 11, 12, 13, 14, 15 and 16 are attached to the dump truck 1. The imaging devices 11, 12, 13, 14, 15, and 16 are, for example, wide dynamic range (WDR) cameras. The wide dynamic range camera is a camera having a function that can be adjusted so that a dark part can be brightly corrected and the whole part can be visually recognized while keeping a bright part at a level where the bright part can be visually recognized. Note that the overhead image 200 may be generated using at least one imaging device. Even if a plurality of imaging devices are provided, the overhead image 200 is generated only in front or behind the dump truck 1 and the first image 2A (details of the first image 2A will be described later) may be displayed on the monitor device 50. Good. However, it is more preferable to provide a plurality of imaging devices because the entire periphery of the dump truck 1 can be imaged and the bird's-eye view image 200 can be generated for the entire periphery, and the entire periphery of the dump truck 1 can be monitored.
撮像装置１１、１２、１３、１４、１５、１６は、ダンプトラック１の周囲を撮像し、画像情報として出力する。以下において、適宜、撮像装置１１を第１撮像装置１１、撮像装置１２を第２撮像装置１２、撮像装置１３を第３撮像装置１３、撮像装置１４を第４撮像装置１４、撮像装置１５を第５撮像装置１５、撮像装置１６を第６撮像装置１６という。また、これらを区別する必要がない場合、適宜、撮像装置１１〜１６という。
The imaging devices 11, 12, 13, 14, 15, and 16 image the periphery of the dump truck 1 and output it as image information. In the following, as appropriate, the imaging device 11 is the first imaging device 11, the imaging device 12 is the second imaging device 12, the imaging device 13 is the third imaging device 13, the imaging device 14 is the fourth imaging device 14, and the imaging device 15 is the first. The fifth imaging device 15 and the imaging device 16 are referred to as a sixth imaging device 16. Moreover, when it is not necessary to distinguish these, it calls the imaging devices 11-16 suitably.
図４に示すように、６台の撮像装置１１〜１６は、ダンプトラック１の周囲３６０度の範囲における画像を撮像するために、ダンプトラック１の外周部分にそれぞれ取り付けられている。本実施形態において、それぞれの撮像装置１１〜１６は、左右方向において１２０度（左右６０度ずつ）、高さ方向において９６度の視野範囲を有しているが、このような視野範囲に限定されるものではない。また、図４には各撮像装置１１〜１６から矢印を示しているが、これら矢印の向きが各撮像装置１１〜１６が向いている方向を表している。
As shown in FIG. 4, the six imaging devices 11 to 16 are respectively attached to the outer peripheral portion of the dump truck 1 in order to capture an image in the range of 360 degrees around the dump truck 1. In the present embodiment, each of the imaging devices 11 to 16 has a visual field range of 120 degrees in the left-right direction (60 degrees left and right) and 96 degrees in the height direction, but is limited to such a visual field range. It is not something. Further, FIG. 4 shows arrows from the imaging devices 11 to 16, and the directions of these arrows indicate the directions in which the imaging devices 11 to 16 are facing.
図４に示すように、第１撮像装置１１は、ダンプトラック１の前面に取り付けられる。具体的には、第１撮像装置１１は、斜めラダー２ｄの上端部、より具体的には、最上段の踊り場部分の下部に配置される。第１撮像装置１１は、アッパデッキ２ｂに取り付けられたブラケットを介して、ダンプトラック１の前方に向かって固定されている。図５に示すように、第１撮像装置１１は、ダンプトラック１の周囲に存在する領域のうち第１領域１１Ｃを撮像して画像情報としての第１画像情報を出力する。第１領域１１Ｃは、ダンプトラック１の車体部２の前方に広がる領域である。
As shown in FIG. 4, the first imaging device 11 is attached to the front surface of the dump truck 1. Specifically, the first imaging device 11 is disposed at the upper end portion of the oblique ladder 2d, more specifically, at the lower portion of the uppermost landing part. The first imaging device 11 is fixed toward the front of the dump truck 1 via a bracket attached to the upper deck 2b. As shown in FIG. 5, the first imaging device 11 captures the first region 11 </ b> C among regions existing around the dump truck 1 and outputs first image information as image information. The first area 11 </ b> C is an area that extends in front of the vehicle body portion 2 of the dump truck 1.
図４に示すように、第２撮像装置１２は、ダンプトラック１の前面における一方の側部に取り付けられる。具体的には、第２撮像装置１２は、アッパデッキ２ｂの前面の右側部に配置される。第２撮像装置１２は、アッパデッキ２ｂに取り付けられたブラケットを介して、ダンプトラック１の右斜め前方に向かって固定されている。図５に示すように、第２撮像装置１２は、ダンプトラック１の周囲に存在する領域のうち第２領域１２Ｃを撮像して画像情報としての第２画像情報を出力する。第２領域１２Ｃは、ダンプトラック１の車体部２の右斜め前方に広がる領域である。
As shown in FIG. 4, the second imaging device 12 is attached to one side of the front surface of the dump truck 1. Specifically, the second imaging device 12 is disposed on the right side of the front surface of the upper deck 2b. The second imaging device 12 is fixed toward the right front side of the dump truck 1 via a bracket attached to the upper deck 2b. As shown in FIG. 5, the second imaging device 12 captures the second area 12 </ b> C among the areas existing around the dump truck 1 and outputs second image information as image information. The second area 12 </ b> C is an area that spreads diagonally right forward of the vehicle body 2 of the dump truck 1.
図４に示すように、第３撮像装置１３は、ダンプトラック１の前面における他方の側部に取り付けられる。具体的には、第３撮像装置１３は、アッパデッキ２ｂの前面の左側部に配置される。そして、第３撮像装置１３は、ダンプトラック１の幅方向中央を通る軸に対して第２撮像装置１２と左右対称となるように配置される。第３撮像装置１３は、アッパデッキ２ｂに取り付けられたブラケットを介して、ダンプトラック１の左斜め前方に向かって固定されている。図５に示すように、第３撮像装置１３は、ダンプトラック１の周囲に存在する領域のうち第３領域１３Ｃを撮像して画像情報としての第３画像情報を出力する。第３領域１３Ｃは、ダンプトラック１の車体部２の左斜め前方に広がる領域である。
As shown in FIG. 4, the third imaging device 13 is attached to the other side of the front surface of the dump truck 1. Specifically, the third imaging device 13 is disposed on the left side of the front surface of the upper deck 2b. The third imaging device 13 is disposed so as to be bilaterally symmetric with the second imaging device 12 with respect to an axis passing through the center in the width direction of the dump truck 1. The third imaging device 13 is fixed toward the left front side of the dump truck 1 via a bracket attached to the upper deck 2b. As shown in FIG. 5, the third imaging device 13 images the third region 13 </ b> C among the regions existing around the dump truck 1 and outputs third image information as image information. The third region 13 </ b> C is a region that extends obliquely to the left of the vehicle body 2 of the dump truck 1.
図４に示すように、第４撮像装置１４は、ダンプトラック１の一方の側面に取り付けられる。具体的には、第４撮像装置１４は、アッパデッキ２ｂの右側面の前部に配置される。第４撮像装置１４は、アッパデッキ２ｂに取り付けられたブラケットを介して、ダンプトラック１の右斜め後方に向かって固定されている。図５に示すように、第４撮像装置１４は、ダンプトラック１の周囲に存在する領域のうち第４領域１４Ｃを撮像して画像情報としての第４画像情報を出力する。第４領域１４Ｃは、ダンプトラック１の車体部２の右斜め後方に広がる領域である。
As shown in FIG. 4, the fourth imaging device 14 is attached to one side surface of the dump truck 1. Specifically, the fourth imaging device 14 is disposed in the front portion of the right side surface of the upper deck 2b. The 4th imaging device 14 is being fixed toward the diagonally right back of the dump truck 1 via the bracket attached to the upper deck 2b. As shown in FIG. 5, the fourth imaging device 14 images the fourth area 14 </ b> C among the areas existing around the dump truck 1 and outputs fourth image information as image information. The fourth area 14 </ b> C is an area that extends obliquely to the right rear of the vehicle body portion 2 of the dump truck 1.
図４に示すように、第５撮像装置１５は、ダンプトラック１の他方の側面に取り付けられる。具体的には、第５撮像装置１５は、アッパデッキ２ｂの左側面の前部に配置される。そして、第５撮像装置１５は、ダンプトラック１の幅方向中央を通る軸に対して第４撮像装置１４と左右対称となるように配置される。図５に示すように、第５撮像装置１５は、ダンプトラック１の周囲に存在する領域のうち第５領域１５Ｃを撮像して画像情報としての第５画像情報を出力する。第５領域１５Ｃは、ダンプトラック１の車体部２の左斜め後方に広がる領域である。
As shown in FIG. 4, the fifth imaging device 15 is attached to the other side surface of the dump truck 1. Specifically, the fifth imaging device 15 is disposed in the front portion on the left side surface of the upper deck 2b. The fifth imaging device 15 is arranged to be bilaterally symmetric with the fourth imaging device 14 with respect to an axis passing through the center in the width direction of the dump truck 1. As illustrated in FIG. 5, the fifth imaging device 15 captures the fifth area 15 </ b> C among the areas existing around the dump truck 1 and outputs fifth image information as image information. The fifth area 15 </ b> C is an area that spreads diagonally to the left of the vehicle body 2 of the dump truck 1.
図４に示すように、第６撮像装置１６は、ダンプトラック１の後部に取り付けられる。具体的には、第６撮像装置１６は、フレーム２ｆの後端であって、２個の後輪６、６を連結するアクスルハウジングの上方、かつベッセル４の回動軸付近に配置される。第６撮像装置１６は、左右のフレーム２ｆを連結するクロスバーに取り付けられたブラケットを介して、ダンプトラック１の後方に向かって固定されている。図５に示すように、第６撮像装置１６は、ダンプトラック１の周囲に存在する領域のうち第６領域１６Ｃを撮像して画像情報としての第６画像情報を出力する。第６領域１６Ｃは、ダンプトラック１の車体部２の後方に広がる領域である。
As shown in FIG. 4, the sixth imaging device 16 is attached to the rear part of the dump truck 1. Specifically, the sixth imaging device 16 is disposed at the rear end of the frame 2 f, above the axle housing connecting the two rear wheels 6, 6 and in the vicinity of the rotation axis of the vessel 4. The sixth imaging device 16 is fixed toward the rear of the dump truck 1 via a bracket attached to a cross bar that connects the left and right frames 2f. As shown in FIG. 5, the sixth imaging device 16 images the sixth area 16 </ b> C among the areas existing around the dump truck 1 and outputs sixth image information as image information. The sixth region 16 </ b> C is a region that spreads behind the vehicle body portion 2 of the dump truck 1.
上述した６台の撮像装置１１〜１６を用いることにより、本実施形態に係る周辺監視システム１０は、図５の中央に示すように、ダンプトラック１の全周３６０度の画像を撮像し、その画像情報を取得することができる。６台の撮像装置１１〜１６は、それぞれが撮像した画像情報としての第１画像情報〜第６画像情報を、図３に示すコントローラ１００に送信する。
By using the six imaging devices 11 to 16 described above, the periphery monitoring system 10 according to this embodiment captures an image of 360 degrees around the dump truck 1 as shown in the center of FIG. Image information can be acquired. The six imaging devices 11 to 16 transmit first image information to sixth image information as image information captured by each of the imaging devices 11 to 16 to the controller 100 illustrated in FIG. 3.
第１撮像装置１１、第２撮像装置１２、第３撮像装置１３、第４撮像装置１４及び第５撮像装置１５は、比較的高い位置にあるアッパデッキ２ｂに設けられている。このため、コントローラ１００は、第１撮像装置１１〜第５撮像装置１５によって上方から地面を見下ろすような画像を得ることができ、また、地面に存在する車両等の対象物を広範囲に撮像することができる。また、第１撮像装置１１〜第６撮像装置１６が取得した第１画像情報〜第６画像情報から、コントローラ１００が図５に示す俯瞰画像２００を生成する際に視点変換を実行した場合でも、第１画像情報〜第６画像情報のうち第１画像情報〜第５画像情報は上方から撮像されて得られた情報なので、立体物の変形の程度が抑制される。
The 1st imaging device 11, the 2nd imaging device 12, the 3rd imaging device 13, the 4th imaging device 14, and the 5th imaging device 15 are provided in the upper deck 2b in a comparatively high position. For this reason, the controller 100 can obtain an image looking down on the ground from above by the first imaging device 11 to the fifth imaging device 15 and can capture a wide range of objects such as vehicles existing on the ground. Can do. Further, even when the controller 100 executes viewpoint conversion when generating the overhead image 200 shown in FIG. 5 from the first image information to the sixth image information acquired by the first imaging device 11 to the sixth imaging device 16, Among the first image information to the sixth image information, the first image information to the fifth image information are information obtained by imaging from above, so that the degree of deformation of the three-dimensional object is suppressed.
周辺監視システム１０は、撮像装置１１〜１６にワイドダイナミックレンジカメラを用いる。このため、撮像装置１１〜１６は、明るい部分を視認できるレベルに保ちながら、ダンプトラック１の影になった部分のような暗い部分を明るく補正できる。したがって、撮像装置１１〜１６が撮像した画像は、黒潰れ及び白飛びが起きにくくなり、全体としてより分かりやすい画像となる。その結果、撮像装置１１〜１６を備える周辺監視システム１０は、ダンプトラック１の影となる領域に存在する車両等の対象物が視認しやすくなった俯瞰画像２００をモニタ５０に表示することができる。このように、周辺監視システム１０は、撮像装置１１〜１６が撮像した画像を用いてダンプトラック１の周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラック１の周囲の対象物を俯瞰画像２００に表示することができる。その結果、ダンプトラック１のオペレータは、ダンプトラック１の周囲、特に影となる領域に存在する対象物を、環境によらず、確実に視認することができる。
The periphery monitoring system 10 uses wide dynamic range cameras for the imaging devices 11 to 16. For this reason, the imaging devices 11 to 16 can brightly correct a dark part such as a shadowed part of the dump truck 1 while keeping the bright part at a level where the bright part can be visually recognized. Therefore, the images captured by the imaging devices 11 to 16 are less likely to be crushed black and blown out, and become an image that is easier to understand as a whole. As a result, the periphery monitoring system 10 including the imaging devices 11 to 16 can display the bird's-eye view image 200 in which an object such as a vehicle existing in the shadow area of the dump truck 1 is easily visible on the monitor 50. . As described above, when the periphery monitoring system 10 monitors the periphery of the dump truck 1 using the images captured by the imaging devices 11 to 16, the object around the dump truck 1 is obtained even in an environment where the contrast difference between light and dark is large. Can be displayed on the bird's-eye view image 200. As a result, the operator of the dump truck 1 can surely visually recognize an object existing around the dump truck 1, particularly in a shadow area, regardless of the environment.
このように、周辺監視システム１０は、明暗のコントラスト差が大きい環境においても、ダンプトラック１の周囲の対象物を確実に表示する俯瞰画像２００を生成することができるので、オペレータの死角に存在する対象物を、俯瞰画像２００によって確実に視認できるようにすることができる。したがって、周辺監視システム１０は、上述したような、鉱山で用いられる非常に大型のダンプトラック１の周辺を監視する際に非常に有効である。すなわち、ダンプトラック１は、非常に大きい影となる領域を形成する場合があり、かつ影となる領域を自身で作りながら移動し、さらにベッセル４の昇降によって影となる領域が大きく変化し、また、死角となる領域が大きい。周辺監視システム１０は、このようなダンプトラック１において、ダンプトラック１の周囲の対象物を確実に表示する俯瞰画像２００を生成して、ダンプトラック１のオペレータにダンプトラック１の周囲の正確な情報を提供できる。また、周辺監視システム１０は、赤道直下のような日向と日陰との照度差が非常に大きくなるような場所で稼働するダンプトラック１に対して、ダンプトラック１のオペレータにダンプトラック１の周囲の正確な情報を提供できる。
As described above, the periphery monitoring system 10 can generate the bird's-eye view image 200 that reliably displays the objects around the dump truck 1 even in an environment where the contrast difference between light and dark is large, and therefore exists in the blind spot of the operator. The object can be surely visually recognized by the bird's-eye view image 200. Therefore, the periphery monitoring system 10 is very effective in monitoring the periphery of the very large dump truck 1 used in the mine as described above. In other words, the dump truck 1 may form a very large shadow area, move while creating the shadow area itself, and the shadow area greatly changes as the vessel 4 moves up and down. The area that becomes a blind spot is large. In such a dump truck 1, the periphery monitoring system 10 generates a bird's-eye view image 200 that reliably displays objects around the dump truck 1, and provides the operator of the dump truck 1 with accurate information around the dump truck 1. Can provide. In addition, the periphery monitoring system 10 provides an operator of the dump truck 1 around the dump truck 1 with respect to the dump truck 1 operating in a place where the illuminance difference between the sun and the shade is very large, such as immediately below the equator. Provide accurate information.
＜レーダ装置＞
図６は、レーダ装置２１〜２８の配置を示す斜視図である。図７は、レーダ装置２１〜２８の検出範囲を示す図である。本実施形態において、物体検出装置としてのレーダ装置２１、２２、２３、２４、２５、２６、２７、２８（以下、適宜レーダ装置２１〜２８という）は、方位±８０度（左右４０度）、検出距離が最大１５ｍ以上のＵＷＢ（Ultra Wide Band）レーダ（超広域帯レーダ）である。レーダ装置２１〜２８は、ダンプトラック１の周囲に存在する対象物とダンプトラック１との相対的な位置（相対位置）を検出する。それぞれのレーダ装置２１〜２８は、撮像装置１１〜１６と同様に、ダンプトラック１の外周部分に取り付けられる。また、図６には各レーダ装置２１〜２８から矢印を示しているが、これら矢印の向きが各レーダ装置２１〜２８の検出範囲の方向を表している。
<Radar device>
FIG. 6 is a perspective view showing the arrangement of the radar devices 21 to 28. FIG. 7 is a diagram illustrating a detection range of the radar devices 21 to 28. In the present embodiment, radar devices 21, 22, 23, 24, 25, 26, 27, and 28 (hereinafter referred to as radar devices 21 to 28 as appropriate) as object detection devices have an orientation of ± 80 degrees (40 degrees on the left and right), This is a UWB (Ultra Wide Band) radar (ultra wide band radar) having a maximum detection distance of 15 m or more. The radar devices 21 to 28 detect a relative position (relative position) between the object existing around the dump truck 1 and the dump truck 1. The respective radar devices 21 to 28 are attached to the outer peripheral portion of the dump truck 1 in the same manner as the imaging devices 11 to 16. 6 shows arrows from the radar apparatuses 21 to 28, and the directions of these arrows indicate the directions of the detection ranges of the radar apparatuses 21 to 28.
レーダ装置２１（適宜第１レーダ装置２１という）は、図６に示すように、地上から１ｍ程度の高さに配置されているロアデッキ２ａにおける車体部２の正面、かつ車体部２の幅方向中心よりもやや右側に配置されている。図７に示すように、第１レーダ装置２１の検出範囲２１Ｒは、ダンプトラック１の車体部２の前方から左斜め前方に広がる範囲となる。
As shown in FIG. 6, the radar device 21 (referred to as the first radar device 21 as appropriate) includes a front surface of the vehicle body portion 2 and a center in the width direction of the vehicle body portion 2 in the lower deck 2 a disposed at a height of about 1 m from the ground. It is arranged slightly on the right side. As shown in FIG. 7, the detection range 21 </ b> R of the first radar device 21 is a range that extends from the front of the vehicle body portion 2 of the dump truck 1 to the diagonally left front.
レーダ装置２２（適宜第２レーダ装置２２という）は、図６に示すように、ロアデッキ２ａにおける車体部２の正面、かつ車体部２の幅方向中心よりもやや左側に配置されている。すなわち、第２レーダ装置２２は、第１レーダ装置２１の左側に、第１レーダ装置２１と隣接して配置されている。図７に示すように、第２レーダ装置２２の検出範囲２２Ｒは、ダンプトラック１の車体部２の前方から右斜め前方に広がる範囲となる。
As shown in FIG. 6, the radar device 22 (referred to as the second radar device 22 as appropriate) is disposed in front of the vehicle body portion 2 in the lower deck 2 a and slightly to the left of the width direction center of the vehicle body portion 2. That is, the second radar device 22 is disposed adjacent to the first radar device 21 on the left side of the first radar device 21. As shown in FIG. 7, the detection range 22 </ b> R of the second radar device 22 is a range that extends from the front of the vehicle body portion 2 of the dump truck 1 to the diagonally forward right.
レーダ装置２３（適宜第３レーダ装置２３という）は、図６に示すように、ロアデッキ２ａの右側面前端部付近に配置されている。図７に示すように、第３レーダ装置２３の検出範囲２３Ｒは、ダンプトラック１の車体部２の右斜め前方から右方に広がる範囲となる。
As shown in FIG. 6, the radar device 23 (referred to as the third radar device 23 as appropriate) is disposed in the vicinity of the front end portion on the right side surface of the lower deck 2a. As shown in FIG. 7, the detection range 23 </ b> R of the third radar device 23 is a range that spreads from the diagonally right front side to the right side of the vehicle body portion 2 of the dump truck 1.
レーダ装置２４（適宜第４レーダ装置２４という）は、図６に示すように、車体部２の側部におけるロアデッキ２ａとアッパデッキ２ｂとの中間の高さ位置における右側端部近傍に配置されている。図７に示すように、第４レーダ装置２４の検出範囲２４Ｒは、ダンプトラック１の車体部２の右方から後方に広がる範囲となる。
As shown in FIG. 6, the radar device 24 (referred to as the fourth radar device 24 as appropriate) is disposed in the vicinity of the right end portion at the intermediate height position between the lower deck 2 a and the upper deck 2 b on the side portion of the vehicle body portion 2. . As shown in FIG. 7, the detection range 24 </ b> R of the fourth radar device 24 is a range that extends from the right side to the rear side of the vehicle body 2 of the dump truck 1.
レーダ装置２５（適宜第５レーダ装置２５という）は、図６に示すように、ベッセル４の下方であって、ダンプトラック１の左右の後輪６に駆動力を伝達するアクスルの上方に配置されている。図７に示すように、第５レーダ装置２５の検出範囲２５Ｒは、ダンプトラック１の車体部２の右斜め後方から後方に向かって広がる範囲となる。
As shown in FIG. 6, the radar device 25 (referred to as the fifth radar device 25 as appropriate) is disposed below the vessel 4 and above the axle that transmits driving force to the left and right rear wheels 6 of the dump truck 1. ing. As shown in FIG. 7, the detection range 25 </ b> R of the fifth radar device 25 is a range that extends from the diagonally right rear to the rear of the vehicle body 2 of the dump truck 1.
レーダ装置２６（適宜第６レーダ装置２６という）は、図６に示すように、第５レーダ装置２５と同様に、アクスルの上方であって、第５レーダ装置２５の右側に隣接して配置されている。図７に示すように、第６レーダ装置２６の検出範囲２６Ｒは、第５レーダ装置２５の検知範囲と交差するように、ダンプトラック１の車体部２の左斜め後方から後方に向かって広がる範囲となる。
As shown in FIG. 6, the radar device 26 (referred to as the sixth radar device 26 as appropriate) is disposed above the axle and adjacent to the right side of the fifth radar device 25, as with the fifth radar device 25. ing. As shown in FIG. 7, the detection range 26 </ b> R of the sixth radar device 26 extends from the diagonally left rear to the rear of the vehicle body 2 of the dump truck 1 so as to intersect the detection range of the fifth radar device 25. It becomes.
レーダ装置２７（適宜第７レーダ装置２７という）は、図６に示すように、車体部２の側面におけるロアデッキ２ａとアッパデッキ２ｂとの中間の高さ位置における左側端部近傍、すなわち、車体部２の幅方向中心軸に対して第４レーダ装置２４と左右対称の位置に配置されている。図７に示すように、第７レーダ装置２７の検出範囲２７Ｒは、ダンプトラック１の車体部２の左方から後方に広がる範囲となる。
As shown in FIG. 6, the radar device 27 (referred to as the seventh radar device 27 as appropriate) is in the vicinity of the left end at the intermediate height position between the lower deck 2 a and the upper deck 2 b on the side surface of the vehicle body portion 2, that is, the vehicle body portion 2. Are arranged at positions symmetrical to the fourth radar device 24 with respect to the central axis in the width direction. As shown in FIG. 7, the detection range 27 </ b> R of the seventh radar device 27 is a range that spreads from the left to the rear of the vehicle body 2 of the dump truck 1.
レーダ装置２８（適宜第８レーダ装置２８という）は、図６に示すように、ロアデッキ２ａの左側面における前端部近傍、すなわち、車体部２の幅方向中心軸に対して第３レーダ装置２３と左右対称の位置に配置されている。図７に示すように、第８レーダ装置２８の検出範囲２８Ｒは、ダンプトラック１の車体部２の左斜め前方から左方に広がる範囲となる。
As shown in FIG. 6, the radar device 28 (referred to as the eighth radar device 28 as appropriate) has a third radar device 23 and the vicinity of the front end portion on the left side surface of the lower deck 2 a, that is, the width direction central axis of the vehicle body portion 2. They are arranged at symmetrical positions. As shown in FIG. 7, the detection range 28 </ b> R of the eighth radar device 28 is a range that extends from the left diagonal front of the vehicle body 2 of the dump truck 1 to the left.
８台のレーダ装置２１〜２８は、図７に示すように、ダンプトラック１の周囲３６０度全周を検出範囲として、対象物とダンプトラック１との相対位置を検出することができる。８台のレーダ装置２１〜２８は、それぞれ検出した対象物とダンプトラック１との相対位置を示す相対位置情報をコントローラ１００に送信する。このように、複数（８台）のレーダ装置２１〜２８は、車体部２に設けられて、車体部２の全周範囲に存在する物体を検出可能である。次に、周辺監視システム１０が備えるコントローラ１００について説明する。
As shown in FIG. 7, the eight radar devices 21 to 28 can detect the relative position between the object and the dump truck 1 with the entire circumference of 360 degrees around the dump truck 1 as a detection range. The eight radar devices 21 to 28 each transmit relative position information indicating the relative position between the detected object and the dump truck 1 to the controller 100. As described above, the plurality of (eight) radar devices 21 to 28 are provided in the vehicle body portion 2 and can detect objects existing in the entire circumference range of the vehicle body portion 2. Next, the controller 100 provided in the periphery monitoring system 10 will be described.
＜コントローラ＞
図３に示すコントローラ１００は、撮像装置１１〜１６及びレーダ装置２１〜２８を用いて、ダンプトラック１の周囲における対象物の有無を俯瞰画像２００に表示し、必要に応じて対象物の存在をオペレータに報知する。コントローラ１００は、図３に示すように、俯瞰画像合成部１１０、カメラ画像切替・視点変換部１２０、対象物位置情報生成部１３０、表示制御部１４０、絵柄表示制御部１５０、対象物情報収集部２１０及び対象物処理部２２０を有している。
<Controller>
The controller 100 shown in FIG. 3 uses the imaging devices 11 to 16 and the radar devices 21 to 28 to display the presence / absence of an object around the dump truck 1 on the overhead image 200, and the presence of the object as necessary. Notify the operator. As shown in FIG. 3, the controller 100 includes an overhead image synthesis unit 110, a camera image switching / viewpoint conversion unit 120, an object position information generation unit 130, a display control unit 140, a pattern display control unit 150, and an object information collection unit. 210 and an object processing unit 220.
俯瞰画像合成部１１０は、図３に示すように、撮像装置１１〜１６に接続されている。俯瞰画像合成部１１０は、それぞれの撮像装置１１〜１６が撮像し、生成した複数の画像情報（第１画像情報〜第６画像情報）を受信する。そして、俯瞰画像合成部１１０は、受信した複数の画像情報に対応した画像を合成して、撮像装置１１〜１６が出力した画像情報に基づく画像として、ダンプトラック１の全周囲を含む俯瞰画像２００を生成する。具体的には、俯瞰画像合成部１１０は、複数の画像情報をそれぞれ座標変換することによって、複数の画像を所定の投影面上に投影させた俯瞰画像２００をモニタ５０に表示するための俯瞰画像情報を生成する。
As shown in FIG. 3, the overhead image synthesis unit 110 is connected to the imaging devices 11 to 16. The bird's-eye view image synthesizing unit 110 receives the plurality of pieces of image information (first image information to sixth image information) captured by the respective imaging devices 11 to 16. Then, the bird's-eye view image synthesis unit 110 synthesizes images corresponding to the received plurality of image information, and the bird's-eye view image 200 including the entire periphery of the dump truck 1 as an image based on the image information output by the imaging devices 11 to 16. Is generated. Specifically, the bird's-eye view image synthesis unit 110 converts the plurality of pieces of image information into coordinates, thereby displaying the bird's-eye view image 200 obtained by projecting the plurality of images on a predetermined projection plane on the monitor 50. Generate information.
カメラ画像切替・視点変換部１２０は、図３に示すように、撮像装置１１〜１６に接続されている。そして、カメラ画像切替・視点変換部１２０は、例えば、レーダ装置２１〜２８による障害物検出の結果等に応じて、俯瞰画像２００とともにモニタ５０の画面に表示される各撮像装置１１〜１６による撮像画像を切り替える。また、カメラ画像切替・視点変換部１２０は、各撮像装置１１〜１６によって取得された画像情報を、上方無限遠からの視点からの画像情報に変換する。
The camera image switching / viewpoint conversion unit 120 is connected to the imaging devices 11 to 16 as shown in FIG. Then, the camera image switching / viewpoint conversion unit 120 captures images by the imaging devices 11 to 16 displayed on the screen of the monitor 50 together with the overhead image 200, for example, according to the result of obstacle detection by the radar devices 21 to 28. Switch images. Further, the camera image switching / viewpoint conversion unit 120 converts the image information acquired by each of the imaging devices 11 to 16 into image information from the viewpoint from the upper infinity.
対象物位置情報生成部１３０は、図３に示すように、カメラ画像切替・視点変換部１２０、表示制御部１４０及び対象物処理部２２０に接続されている。対象物位置情報生成部１３０は、各撮像装置１１〜１６によって取得された画像情報を合成して形成される俯瞰画像２００中に、レーダ装置２１〜２８によって取得された対象物の位置情報を合成して表示させるための対象物位置情報を生成し、カメラ画像切替・視点変換部１２０及び表示制御部１４０に対して送信する。
The object position information generation unit 130 is connected to the camera image switching / viewpoint conversion unit 120, the display control unit 140, and the object processing unit 220, as shown in FIG. The object position information generation unit 130 combines the position information of the objects acquired by the radar apparatuses 21 to 28 in the overhead image 200 formed by combining the image information acquired by the imaging apparatuses 11 to 16. The object position information to be displayed is generated and transmitted to the camera image switching / viewpoint conversion unit 120 and the display control unit 140.
表示制御部１４０は、図３に示すように、俯瞰画像合成部１１０、カメラ画像切替・視点変換部１２０、対象物位置情報生成部１３０及び絵柄表示制御部１５０に接続されている。表示制御部１４０は、自身に接続された俯瞰画像合成部１１０、カメラ画像切替・視点変換部１２０等からこれらの出力を取得することができる。表示制御部１４０は、俯瞰画像合成部１１０が生成したダンプトラック１の全周囲における俯瞰画像情報と、レーダ装置２１〜２８によって取得されたダンプトラック１の全周囲における対象物位置情報とに基づいて、対象物の位置が含まれた俯瞰画像２００を生成する。この画像は、モニタ５０に表示される。また、表示制御部１４０は、レーダ装置２１〜２８が検出した、ダンプトラック１の周囲に存在する物体（以下、適宜対象物という）を示すマークを、俯瞰画像情報に基づく俯瞰画像２００に重ねた第１画像と、撮像装置１１〜１６が撮像した第２画像とをモニタ５０の同一の画面に表示する。さらに、周辺監視システム１０に関する情報（以下、適宜システム情報という）を示す絵柄をモニタ５０に表示する。システム情報を示す絵柄は、システム情報を、簡単な柄で記号化して表現したものである。以下において、システム情報を示す絵柄を適宜アイコンという。システム情報の詳細については後述する。
As shown in FIG. 3, the display control unit 140 is connected to the overhead view image synthesis unit 110, the camera image switching / viewpoint conversion unit 120, the object position information generation unit 130, and the design display control unit 150. The display control unit 140 can acquire these outputs from the overhead image synthesis unit 110, the camera image switching / viewpoint conversion unit 120, and the like connected thereto. The display control unit 140 is based on the bird's-eye view image information around the dump truck 1 generated by the bird's-eye view image synthesis unit 110 and the object position information around the dump truck 1 acquired by the radar devices 21 to 28. The bird's-eye view image 200 including the position of the object is generated. This image is displayed on the monitor 50. In addition, the display control unit 140 superimposes a mark indicating an object (hereinafter, appropriately referred to as an object) existing around the dump truck 1 detected by the radar devices 21 to 28 on the overhead image 200 based on the overhead image information. The first image and the second image captured by the imaging devices 11 to 16 are displayed on the same screen of the monitor 50. Furthermore, a picture indicating information related to the periphery monitoring system 10 (hereinafter referred to as system information as appropriate) is displayed on the monitor 50. The pattern indicating the system information is expressed by symbolizing the system information with a simple pattern. In the following, a picture indicating system information is referred to as an icon as appropriate. Details of the system information will be described later.
本実施形態において、モニタ５０に表示された画面は、ダンプトラック１のオペレータの操作によって切り替えることができる。また、モニタ５０に表示された画面は、ダンプトラック１の状態、例えば、ダンプトラック１の走行モードに応じて切り替えられる。このため、本実施形態において、表示制御部１４０には、モニタ５０の画面を切り替える画面切替スイッチ５３とシフトレバー３７、より具体的にはシフトレバー３７の位置を検出するセンサ３７Ｓとが電気的に接続されている。表示制御部１４０は、画面切替スイッチ５３又はセンサ３７Ｓの出力に応じてモニタ５０の画面を切り替える。このように、画面切替スイッチ５３又はセンサ３７Ｓは、モニタ５０の表示を切り替える信号である表示切替信号を生成する。センサ３７Ｓが生成する表示切替信号は、例えば、ダンプトラック１の走行モードを示す信号、より具体的には、ダンプトラック１の進行方向を示す信号又は速度段を示す信号である。
In the present embodiment, the screen displayed on the monitor 50 can be switched by the operation of the operator of the dump truck 1. The screen displayed on the monitor 50 is switched according to the state of the dump truck 1, for example, the traveling mode of the dump truck 1. For this reason, in the present embodiment, the display control unit 140 is electrically provided with a screen changeover switch 53 for switching the screen of the monitor 50 and the shift lever 37, more specifically, a sensor 37S for detecting the position of the shift lever 37. It is connected. The display control unit 140 switches the screen of the monitor 50 according to the output of the screen changeover switch 53 or the sensor 37S. As described above, the screen changeover switch 53 or the sensor 37S generates a display changeover signal that is a signal for changing over the display of the monitor 50. The display switching signal generated by the sensor 37S is, for example, a signal indicating the traveling mode of the dump truck 1, more specifically, a signal indicating the traveling direction of the dump truck 1 or a signal indicating the speed stage.
図３に示すように、絵柄表示制御部１５０は表示制御部１４０と接続されて、自身の出力が表示制御部１４０へ入力されるようになっている。絵柄表示制御部１５０は、表示切替信号に基づき、モニタ５０の表示が切り替えられる前後において、システム情報を示すアイコンがモニタ５０に表示される位置である表示位置を変更する。このため、絵柄表示制御部１５０は、画面切替スイッチ５３とシフトレバー３７のセンサ３７Ｓとが電気的に接続されている。絵柄表示制御部１５０は、これらが生成する表示切替信号を取得し、これに基づいてモニタ５０の画面中における、システム情報を示すアイコンの表示位置を変更する。
As shown in FIG. 3, the picture display control unit 150 is connected to the display control unit 140 so that its own output is input to the display control unit 140. Based on the display switching signal, the picture display control unit 150 changes the display position where the icon indicating the system information is displayed on the monitor 50 before and after the display of the monitor 50 is switched. For this reason, in the picture display control unit 150, the screen changeover switch 53 and the sensor 37S of the shift lever 37 are electrically connected. The pattern display control unit 150 acquires the display switching signal generated by these, and changes the display position of the icon indicating the system information on the screen of the monitor 50 based on the display switching signal.
対象物情報収集部２１０は、図３に示すように、レーダ装置２１〜２８と対象物処理部２２０とに接続されている。対象物情報収集部２１０は、レーダ装置２１〜２８からそれぞれの検出範囲における対象物検出結果を受信し、対象物処理部２２０へ送信する。
The object information collecting unit 210 is connected to the radar devices 21 to 28 and the object processing unit 220 as shown in FIG. The object information collection unit 210 receives the object detection results in the respective detection ranges from the radar devices 21 to 28 and transmits them to the object processing unit 220.
対象物処理部２２０は、図３に示すように、対象物情報収集部２１０と対象物位置情報生成部１３０とに接続されている。対象物処理部２２０は、対象物情報収集部２１０から受信した対象物の位置情報を、対象物位置情報生成部１３０へ送信する。
The object processing unit 220 is connected to the object information collecting unit 210 and the object position information generating unit 130 as shown in FIG. The object processing unit 220 transmits the position information of the object received from the object information collecting unit 210 to the object position information generating unit 130.
コントローラ１００は、例えば、演算装置としてのＣＰＵ（Central Processing Unit）と記憶装置としてのメモリとを組み合わせたコンピュータと、俯瞰画像の合成等といった画像処理を実行する画像処理用デバイス（例えば、画像ボード）とを組み合わせたものである。画像処理用デバイスは、例えば、俯瞰画像を合成する等の画像処理を実行する専用のＩＣ（例えばＦＰＧＡ：Field-Programmable Gate Array）及びメモリ（例えばＶＲＡＭ：Video Random Access Memory）等を搭載している。
The controller 100 is, for example, a computer that combines a CPU (Central Processing Unit) as an arithmetic device and a memory as a storage device, and an image processing device (for example, an image board) that executes image processing such as a composition of an overhead image. Are combined. The image processing device includes, for example, a dedicated IC (for example, a field-programmable gate array (FPGA)) and a memory (for example, a video random access memory (VRAM)) that perform image processing such as combining overhead images. .
本実施形態において、図４に示すように、撮像装置１１〜１６がアッパデッキ２ｂの正面及び側面並びにベッセル４の下方に配置されている。そして、コントローラ１００は、撮像装置１１〜１６が撮像し、取得した第１画像情報〜第６画像情報を合成して、図５に示すような俯瞰画像２００を生成して、キャブ３内における運転席３１の前方に配置されるモニタ５０に表示させる。このとき、モニタ５０は、コントローラ１００の制御に応じて、俯瞰画像２００等の画像を表示する。俯瞰画像２００は、撮像装置１１〜１６が撮像した第１領域１１Ｃ〜第６領域１６Ｃに対応する第１画像情報〜第６画像情報をコントローラ１００が合成することによって得られる。周辺監視システム１０は、このような俯瞰画像２００をモニタ５０に表示する。このため、ダンプトラック１のオペレータは、モニタ５０に表示された俯瞰画像２００を視認するだけで、ダンプトラック１の周囲３６０度の全範囲を監視することができる。次に、俯瞰画像２００について説明する。
In the present embodiment, as illustrated in FIG. 4, the imaging devices 11 to 16 are disposed on the front and side surfaces of the upper deck 2 b and below the vessel 4. Then, the controller 100 synthesizes the first image information to the sixth image information captured by the imaging devices 11 to 16 to generate an overhead image 200 as shown in FIG. It is displayed on the monitor 50 arranged in front of the seat 31. At this time, the monitor 50 displays an image such as the overhead image 200 under the control of the controller 100. The bird's-eye view image 200 is obtained by the controller 100 combining the first image information to the sixth image information corresponding to the first region 11C to the sixth region 16C captured by the imaging devices 11 to 16. The periphery monitoring system 10 displays such a bird's-eye view image 200 on the monitor 50. For this reason, the operator of the dump truck 1 can monitor the entire range of 360 degrees around the dump truck 1 only by visually recognizing the bird's-eye view image 200 displayed on the monitor 50. Next, the overhead image 200 will be described.
＜俯瞰画像の生成＞
図８は、仮想投影面ＶＰを用いた画像変換の手法を示す図である。コントローラ１００は、複数の第１画像情報〜第６画像情報によって示される複数の画像に基づいて、ダンプトラック１の周囲の俯瞰画像２００を作成する。具体的には、コントローラ１００は、所定の変換情報を用いて第１画像情報〜第６画像情報の座標変換を実行する。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。本実施形態において、入力画像は、撮像装置１１〜１６によって撮像された画像であり、第１画像情報〜第６画像情報に対応する画像である。出力画像は、モニタ５０に表示される俯瞰画像２００である。
<Generation of overhead image>
FIG. 8 is a diagram illustrating an image conversion method using the virtual projection plane VP. The controller 100 creates a bird's-eye view image 200 around the dump truck 1 based on the plurality of images indicated by the plurality of first image information to sixth image information. Specifically, the controller 100 performs coordinate conversion of the first image information to the sixth image information using predetermined conversion information. The conversion information is information indicating the correspondence between the position coordinates of each pixel of the input image and the position coordinates of each pixel of the output image. In the present embodiment, the input image is an image captured by the imaging devices 11 to 16 and is an image corresponding to the first image information to the sixth image information. The output image is an overhead image 200 displayed on the monitor 50.
コントローラ１００は、変換情報を用いて、撮像装置１１〜１６によって撮像された画像を、ダンプトラック１の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図５に示すように、撮像装置１１〜１６によって撮像された画像は、所定の仮想投影面ＶＰに投影されることにより、ダンプトラック１の上方に位置する仮想視点ＶＩＰから見た画像に変換される。変換情報は、この仮想投影面ＶＰを表している。変換後の画像がモニタ５０に表示される俯瞰画像である。コントローラ１００は、複数の撮像装置１１〜１６から取得した複数の第１画像情報〜第６画像情報を所定の仮想投影面ＶＰに投影して合成することにより、ダンプトラック１の周囲の俯瞰画像２００を生成する。
The controller 100 converts the images captured by the imaging devices 11 to 16 into images viewed from a predetermined virtual viewpoint located above the dump truck 1 using the conversion information. Specifically, as shown in FIG. 5, images captured by the imaging devices 11 to 16 are projected onto a predetermined virtual projection plane VP, so that they can be viewed from a virtual viewpoint VIP located above the dump truck 1. It is converted into an image. The conversion information represents this virtual projection plane VP. The converted image is an overhead image displayed on the monitor 50. The controller 100 projects a plurality of first image information to sixth image information acquired from the plurality of imaging devices 11 to 16 onto a predetermined virtual projection plane VP, and synthesizes the overhead image 200 around the dump truck 1. Is generated.
図５に示すように、それぞれの撮像装置１１〜１６が撮像したダンプトラック１の周囲の領域は、第１重複領域ＯＡ１〜第６重複領域ＯＡ６において重複している。コントローラ１００は、俯瞰画像２００において、それぞれの第１重複領域ＯＡ１〜第６重複領域ＯＡ６において互いに隣接する２個の撮像装置１１〜１６からの第１画像情報〜第６画像情報に対応する画像を重ねて表示する。
As shown in FIG. 5, the area | region around the dump truck 1 which each imaging device 11-16 imaged has overlapped in 1st overlap area OA1-6th overlap area OA6. In the overhead image 200, the controller 100 displays images corresponding to the first image information to the sixth image information from the two imaging devices 11 to 16 adjacent to each other in each of the first overlap area OA1 to the sixth overlap area OA6. Overlapping display.
具体的には、コントローラ１００は、第１重複領域ＯＡ１では、第１撮像装置１１からの第１画像情報の画像と、第３撮像装置１３からの第３画像情報の画像とを重ねて表示する。また、コントローラ１００は、第２重複領域ＯＡ２では、第１撮像装置１１からの第１画像情報の画像と、第２撮像装置１２からの第２画像情報の画像とを重ねて表示する。また、コントローラ１００は、第３重複領域ＯＡ３では、第３撮像装置１３からの第３画像情報の画像と、第５撮像装置１５からの第５画像情報の画像とを重ねて表示する。また、コントローラ１００は、第４重複領域ＯＡ４では、第２撮像装置１２からの第２画像情報の画像と、第４撮像装置１４からの第４画像情報の画像とを重ねて表示する。また、コントローラ１００は、第５重複領域ＯＡ５では、第５撮像装置１５からの第５画像情報の画像と、第６撮像装置１６からの第６画像情報の画像とを重ねて表示する。また、コントローラ１００は、第６重複領域ＯＡ６では、第４撮像装置１４からの第４画像情報の画像と、第６撮像装置１６からの第６画像情報の画像とを重ねて表示する。
Specifically, in the first overlapping area OA1, the controller 100 displays the first image information image from the first imaging device 11 and the third image information image from the third imaging device 13 in an overlapping manner. . In addition, in the second overlapping area OA2, the controller 100 displays the image of the first image information from the first imaging device 11 and the image of the second image information from the second imaging device 12 in an overlapping manner. In the third overlapping area OA3, the controller 100 displays the third image information image from the third imaging device 13 and the fifth image information image from the fifth imaging device 15 in an overlapping manner. In the fourth overlapping area OA4, the controller 100 displays the second image information image from the second imaging device 12 and the fourth image information image from the fourth imaging device 14 in an overlapping manner. In the fifth overlapping area OA5, the controller 100 displays the fifth image information image from the fifth imaging device 15 and the sixth image information image from the sixth imaging device 16 in an overlapping manner. In the sixth overlapping area OA6, the controller 100 displays the fourth image information image from the fourth imaging device 14 and the sixth image information image from the sixth imaging device 16 in an overlapping manner.
このように、第１重複領域ＯＡ１〜第６重複領域ＯＡ６において、２個の画像情報を重ねて合成する場合には、第１画像情報〜第６画像情報の値に合成比率を乗じた値が加算される。合成比率は、第１画像情報〜第６画像情報に対応した値であり、コントローラ１００が記憶している。例えば、第１画像情報の合成比率が０．５であり、第２画像情報の合成比率が０．５である等、第１画像情報〜第６画像情報毎に合成比率が定められている。合成比率が用いられることにより、第１重複領域ＯＡ１〜第６重複領域ＯＡ６において複数の画像情報が平均化されて表示される。その結果、色及びコントラストの急激な変化が抑えられ、コントローラ１００は、自然な俯瞰画像２００を作成することができる。コントローラ１００は、上述のように合成された俯瞰画像２００を表示するための合成画像情報を生成して、モニタ５０に出力する。
As described above, in the first overlap area OA1 to the sixth overlap area OA6, when two pieces of image information are overlapped and combined, a value obtained by multiplying the values of the first image information to the sixth image information by the combination ratio is obtained. Is added. The composition ratio is a value corresponding to the first image information to the sixth image information, and is stored in the controller 100. For example, the composition ratio is determined for each of the first image information to the sixth image information such that the composition ratio of the first image information is 0.5 and the composition ratio of the second image information is 0.5. By using the composition ratio, a plurality of pieces of image information are averaged and displayed in the first overlap area OA1 to the sixth overlap area OA6. As a result, rapid changes in color and contrast are suppressed, and the controller 100 can create a natural overhead image 200. The controller 100 generates combined image information for displaying the overhead image 200 combined as described above, and outputs the combined image information to the monitor 50.
＜それぞれの撮像装置の撮像範囲＞
図４に示すように、ダンプトラック１は、第１撮像装置１１、第２撮像装置１２、第３撮像装置１３、第４撮像装置１４及び第５撮像装置１５がアッパデッキ２ｂに配置され、第６撮像装置１６がフレーム２ｆの後端であってベッセル４の下方に配置されている。特に、第２撮像装置１２と第３撮像装置１３とは、ダンプトラック１の車体部２の左右斜め前方から左右側方までを撮像可能な領域としてカバーしている。また、第４撮像装置１４と第５撮像装置１５とは、ダンプトラック１の車体部２の左右側方から左右斜め後方までを撮像可能な領域としてカバーしている。このようにすることで、コントローラ１００は、第１撮像装置１１及び第６撮像装置１６によって撮像され、取得された第１画像情報及び第６画像情報と合わせて、ダンプトラック１の全周囲をカバーした俯瞰画像２００を生成して、ダンプトラック１の周辺を監視することができる。
<Imaging range of each imaging device>
As shown in FIG. 4, the dump truck 1 includes a first imaging device 11, a second imaging device 12, a third imaging device 13, a fourth imaging device 14, and a fifth imaging device 15 arranged on the upper deck 2 b. The imaging device 16 is disposed below the vessel 4 at the rear end of the frame 2f. In particular, the second image pickup device 12 and the third image pickup device 13 cover a region from the left and right diagonally forward to the left and right sides of the vehicle body portion 2 of the dump truck 1 as an imageable region. Further, the fourth imaging device 14 and the fifth imaging device 15 cover as a region capable of imaging from the left and right sides of the vehicle body portion 2 of the dump truck 1 to the diagonally rearward left and right. In this way, the controller 100 covers the entire periphery of the dump truck 1 together with the first image information and the sixth image information acquired by the first imaging device 11 and the sixth imaging device 16. It is possible to generate the overhead view image 200 and monitor the periphery of the dump truck 1.
また、本実施形態では、図５に示すように、それぞれの撮像装置１１〜１６が撮像可能な領域である第１領域１１Ｃ〜第６領域１６Ｃが、互いの隣接部分において重複するように、互いに隣接する撮像装置１１〜１６が配置されている。コントローラ１００は、それぞれの撮像装置１１〜１６が撮像可能な第１領域１１Ｃ〜第６領域１６Ｃの重複した部分において接続線を設けることで、ダンプトラック１の平面上における３６０度全周囲の監視が可能となる。なお、俯瞰画像２００において、互いに隣接する第１領域１１Ｃ〜第６領域１６Ｃを接続する接続線は、第１領域１１Ｃ〜第６領域１６Ｃの重複範囲内における任意の位置に設定することができる。次に、モニタ５０の表示が切り替えられる場合に、周辺監視システム１０がアイコンの表示位置を変更する制御（適宜、アイコン表示位置制御という）について説明する。
Further, in the present embodiment, as shown in FIG. 5, the first region 11 </ b> C to the sixth region 16 </ b> C, which are regions that can be imaged by the respective imaging devices 11 to 16, overlap each other in adjacent portions. Adjacent imaging devices 11 to 16 are arranged. The controller 100 provides a connection line in an overlapping portion of the first region 11C to the sixth region 16C that can be imaged by each of the imaging devices 11 to 16, thereby monitoring the entire circumference of 360 degrees on the plane of the dump truck 1. It becomes possible. In addition, in the bird's-eye view image 200, a connection line connecting the first region 11C to the sixth region 16C adjacent to each other can be set at an arbitrary position within the overlapping range of the first region 11C to the sixth region 16C. Next, a description will be given of control in which the periphery monitoring system 10 changes the icon display position when the display of the monitor 50 is switched (referred to as icon display position control as appropriate).
＜アイコン表示位置制御＞
図９は、第１画像２Ａと第２画像２Ｂとが表示されたモニタ５０を示す図である。図１０は、第２画像２Ｂのみが表示されたモニタ５０を示す図である。図９、図１０中の符号ＵＰはモニタ５０の上側を、符号ＵＮは下側を、符号Ｌは左側を、符号Ｒは右側を示す。符号Ｆは、ダンプトラック１の前側を、符号Ｂは後側を示す。これらの符号の意味は、以下においても同様である。本実施形態において、ダンプトラック１は、モニタ５０の上側がダンプトラック１の前側となり、モニタ５０の下側がダンプトラック１の後側となるようにモニタ５０に表示される。また、モニタ５０の縦とはモニタ５０の上下方向であり、モニタ５０の横とはモニタ５０の左右方向（横方向）である。
<Icon display position control>
FIG. 9 is a diagram illustrating the monitor 50 on which the first image 2A and the second image 2B are displayed. FIG. 10 is a diagram showing the monitor 50 on which only the second image 2B is displayed. 9 and 10, the symbol UP indicates the upper side of the monitor 50, the symbol UN indicates the lower side, the symbol L indicates the left side, and the symbol R indicates the right side. Reference symbol F indicates the front side of the dump truck 1, and reference symbol B indicates the rear side. The meaning of these symbols is the same in the following. In the present embodiment, the dump truck 1 is displayed on the monitor 50 such that the upper side of the monitor 50 is the front side of the dump truck 1 and the lower side of the monitor 50 is the rear side of the dump truck 1. The vertical direction of the monitor 50 is the vertical direction of the monitor 50, and the horizontal direction of the monitor 50 is the horizontal direction (horizontal direction) of the monitor 50.
ダンプトラック１が発進する前において、周辺監視システム１０のコントローラ１００の表示制御部１４０は、例えば、第１画像２Ａ、第２画像２Ｂ及びシステム情報（アイコン２Ｃ、ＩＣａ、ＩＣｂのいずれか一つあるいは複数）をモニタ５０に表示する。第１画像２Ａは、図５に示す俯瞰画像２００に、複数のレーダ装置２１〜２８の少なくとも１つが検出した対象物を示すマークＭＫを重ねた画像である。複数のレーダ装置２１〜２８の少なくとも１つが検出した車両等の対象物は、マークＭＫとして第１画像２Ａ中に示されるダンプトラック１の周囲に表示される。第１画像２Ａ中におけるマークＭＫとダンプトラック１との距離及び位置関係は、マークＭＫに対応する対象物とダンプトラック１との距離に対応している。このため、ダンプトラック１のオペレータは、第１画像２Ａを視認することにより、ダンプトラック１の周囲に存在する対象物の位置及び距離を把握することができる。
Before the dump truck 1 starts, the display control unit 140 of the controller 100 of the periphery monitoring system 10 may be, for example, one of the first image 2A, the second image 2B, and system information (one of icons 2C, ICa, ICb, Are displayed on the monitor 50. The first image 2A is an image obtained by superimposing a mark MK indicating an object detected by at least one of the plurality of radar apparatuses 21 to 28 on the overhead image 200 shown in FIG. An object such as a vehicle detected by at least one of the plurality of radar devices 21 to 28 is displayed around the dump truck 1 shown in the first image 2A as the mark MK. The distance and positional relationship between the mark MK and the dump truck 1 in the first image 2A correspond to the distance between the object corresponding to the mark MK and the dump truck 1. For this reason, the operator of the dump truck 1 can grasp the position and distance of the object existing around the dump truck 1 by visually recognizing the first image 2A.
第１画像２Ａは、ダンプトラック１の周囲に、点線ＲＬ１、ＲＬ２、ＲＬ３が表示されている。点線ＲＬ１はダンプトラック１に最も近い位置に表示され、点線ＲＬ３はダンプトラック１から最も遠い位置に表示される。点線ＲＬ２は、点線ＲＬ１と点線ＲＬ３との間に表示される。点線ＲＬ１、ＲＬ２、ＲＬ３は、それぞれダンプトラック１からの距離を示す指標である。点線ＲＬ１、ＲＬ２、ＲＬ３の順にダンプトラック１からの距離が遠くなる。ダンプトラック１のオペレータは、点線ＲＬ１、ＲＬ２、ＲＬ３によって、第１画像２Ａに表示されたマークＭＫに対応する対象物とダンプトラック１との距離を把握することができる。
In the first image 2A, dotted lines RL1, RL2, and RL3 are displayed around the dump truck 1. The dotted line RL1 is displayed at a position closest to the dump truck 1, and the dotted line RL3 is displayed at a position farthest from the dump truck 1. The dotted line RL2 is displayed between the dotted line RL1 and the dotted line RL3. Dotted lines RL1, RL2, and RL3 are indices indicating the distance from the dump truck 1, respectively. The distance from the dump truck 1 increases in the order of dotted lines RL1, RL2, and RL3. The operator of the dump truck 1 can grasp the distance between the object corresponding to the mark MK displayed in the first image 2A and the dump truck 1 by dotted lines RL1, RL2, and RL3.
第１画像２Ａは、モニタ５０の画面の左側、本実施形態ではオペレータの運転席３１が配置されている側に表示される。第１画像２Ａは、表示が比較的細かいため、表示制御部１４０は、第１画像２Ａをオペレータの近くに表示させることにより、オペレータに第１画像２Ａを視認させやすくする。
The first image 2A is displayed on the left side of the screen of the monitor 50, in the present embodiment, on the side where the operator's driver's seat 31 is disposed. Since the display of the first image 2A is relatively fine, the display control unit 140 displays the first image 2A in the vicinity of the operator so that the operator can easily view the first image 2A.
第２画像２Ｂは、図３に示す複数の撮像装置１１〜１６のうち少なくとも１つが撮像した画像（直接画像）である。周辺監視システム１０のコントローラ１００は、撮像装置１１〜１６が撮像した画像を第２画像２Ｂとしてモニタ５０に表示する。このようにすることにより、ダンプトラック１のオペレータは、ダンプトラック１の周囲の状況を視認することができる。図９に示す例において、第２画像２Ｂは、図４に示す撮像装置１１（第１撮像装置１１）が撮像した画像を表示している。第１撮像装置１１は、ダンプトラック１の前方を撮像するため、第２画像２Ｂは、図５に示す第１領域１１Ｃを表示している。この例では、第２画像２Ｂの下方、すなわちモニタ５０の画面の下側に、ダンプトラック１の一部も表示されている。
The second image 2B is an image (direct image) captured by at least one of the plurality of imaging devices 11 to 16 illustrated in FIG. The controller 100 of the periphery monitoring system 10 displays the image captured by the imaging devices 11 to 16 on the monitor 50 as the second image 2B. By doing so, the operator of the dump truck 1 can visually recognize the situation around the dump truck 1. In the example illustrated in FIG. 9, the second image 2B displays an image captured by the imaging device 11 (first imaging device 11) illustrated in FIG. Since the first imaging device 11 images the front of the dump truck 1, the second image 2B displays the first region 11C shown in FIG. In this example, a part of the dump truck 1 is also displayed below the second image 2B, that is, below the screen of the monitor 50.
本実施形態において、表示制御部１４０は、第２画像２Ｂ中に、第１画像２Ａ中に示した点線ＲＬ１、ＲＬ２、ＲＬ３を表示している。これらの相互の関係及びダンプトラック１との関係は、上述した通りである。また、表示制御部１４０は、点線ＲＬ１よりもダンプトラック１側に、点線ＲＬ０を表示している。点線ＲＬ０は、ダンプトラック１を地面へ垂直に投影した場合の外縁を示している。点線ＲＬ０は、第１画像２Ａ中にも示されているが、本実施形態の説明では省略している。ダンプトラック１のオペレータは、点線ＲＬ０、点線ＲＬ１、ＲＬ２、ＲＬ３によって、第１画像２Ａに表示されたマークＭＫに対応する対象物とダンプトラック１との距離を把握することができる。
In the present embodiment, the display control unit 140 displays the dotted lines RL1, RL2, and RL3 shown in the first image 2A in the second image 2B. These mutual relationships and the relationship with the dump truck 1 are as described above. The display control unit 140 displays a dotted line RL0 on the dump truck 1 side with respect to the dotted line RL1. A dotted line RL0 indicates an outer edge when the dump truck 1 is vertically projected onto the ground. The dotted line RL0 is also shown in the first image 2A, but is omitted in the description of the present embodiment. The operator of the dump truck 1 can grasp the distance between the object corresponding to the mark MK displayed in the first image 2A and the dump truck 1 by the dotted lines RL0, RL1, RL2, and RL3.
図９に示す例において、モニタ５０には、複数（この例では３個）のアイコン２Ｃ、ＩＣａ、ＩＣｂが、第２画像２Ｂの上側に表示される。第２画像２Ｂは、モニタ５０の右側に配置され、第１画像２Ａは左側に配置されるので、３個のアイコン２Ｃ、ＩＣａ、ＩＣｂは、モニタ５０の右上に配置される。アイコン２Ｃは、表示制御部１４０によって表示される絵柄の１つである。アイコン２Ｃは、撮像装置１１〜１６が撮像した画像を表示制御部１４０がモニタ５０に表示しているときに、撮像装置１１〜１６が撮像している方向を示す。アイコン２Ｃは、撮像装置１１〜１６が撮像している画像、すなわち第２画像２Ｂとともに、モニタ５０に表示される。図９に示す例では、第２画像２Ｂは第１撮像装置１１によって撮像されたダンプトラック１の前方の画像、すなわち、図５に示す第１領域１１Ｃの画像なので、アイコン２Ｃは、ダンプトラック１の前方である第１領域１１Ｃに対応する部分（図９においてはハッチングの部分）を他の部分とは異ならせて表示している。このようにすることで、ダンプトラック１のオペレータは、第２画像２Ｂがダンプトラック１の周囲のうち、どの部分を表示しているかを迅速かつ確実に認識することができる。
In the example shown in FIG. 9, a plurality (three in this example) of icons 2C, ICa, and ICb are displayed on the monitor 50 above the second image 2B. Since the second image 2B is arranged on the right side of the monitor 50 and the first image 2A is arranged on the left side, the three icons 2C, ICa and ICb are arranged on the upper right side of the monitor 50. The icon 2C is one of the patterns displayed by the display control unit 140. The icon 2C indicates the direction in which the imaging devices 11 to 16 are capturing images when the display control unit 140 displays the images captured by the imaging devices 11 to 16 on the monitor 50. The icon 2C is displayed on the monitor 50 together with the image captured by the imaging devices 11 to 16, that is, the second image 2B. In the example shown in FIG. 9, the second image 2B is an image in front of the dump truck 1 captured by the first imaging device 11, that is, an image of the first area 11C shown in FIG. A portion corresponding to the first region 11C that is in front of (a hatched portion in FIG. 9) is displayed differently from the other portions. By doing so, the operator of the dump truck 1 can quickly and reliably recognize which part of the periphery of the dump truck 1 the second image 2B displays.
表示制御部１４０がモニタ５０に表示するアイコンＩＣａは、複数のレーダ装置２１〜２８の動作状態を示している。図９に示すアイコンＩＣａは、システム情報の一つであり、複数のレーダ装置２１〜２８が動作状態（ＯＮ状態）であって、ダンプトラック１の周囲に存在する対象物を検知可能な状態を示している。アイコンＩＣｂは、システム情報の一つであり、複数のレーダ装置２１〜２８がダンプトラック１の周囲に対象物を検出したときに報知される警報（例えば警報音）が、ダンプトラック１のオペレータの意思により停止されている状態を示すものである。例えば、対象物として検知すべき物体がダンプトラック１の周囲に存在しないことが確実な場所では、無用な警報音はオペレータにとって耳障りな場合がある。その際、オペレータが、図示しない所定のスイッチを操作することで操作信号が生成され、その操作信号を受けた図示しない警報制御部が、警報音を出さないように制御するとともに、警報制御部は図柄表示制御部１５０にアイコンＩＣｂを表示させる指令を出力する。アイコンＩＣｂがモニタ５０に表示されている場合、対象物が検知されても、例えば、警報音は報知されない。このとき、図示しない警報制御部は、第１画像２Ａ中のマークＭＫが表示されないように制御してもよい。アイコンＩＣａ、ＩＣｂをモニタ５０に表示することにより、ダンプトラック１のオペレータは、周辺監視システム１０がどのような状態にあるかを把握することができる。
The icon ICa displayed on the monitor 50 by the display control unit 140 indicates the operating state of the plurality of radar apparatuses 21 to 28. The icon ICa shown in FIG. 9 is one piece of system information, and indicates a state in which the plurality of radar apparatuses 21 to 28 are in an operating state (ON state) and can detect an object existing around the dump truck 1. Show. The icon ICb is one piece of system information, and an alarm (for example, an alarm sound) that is notified when a plurality of radar apparatuses 21 to 28 detect an object around the dump truck 1 is the operator of the dump truck 1. It shows a state where it is stopped by intention. For example, in a place where it is certain that an object to be detected as an object does not exist around the dump truck 1, useless alarm sounds may be annoying to the operator. At that time, an operator generates an operation signal by operating a predetermined switch (not shown), and an alarm control unit (not shown) that receives the operation signal controls so as not to emit an alarm sound. A command for causing the symbol display control unit 150 to display the icon ICb is output. When the icon ICb is displayed on the monitor 50, for example, an alarm sound is not notified even if an object is detected. At this time, an alarm control unit (not shown) may perform control so that the mark MK in the first image 2A is not displayed. By displaying the icons ICa and ICb on the monitor 50, the operator of the dump truck 1 can grasp what state the periphery monitoring system 10 is in.
本実施形態において、ダンプトラック１の走行モードが後進に切り替えられた場合、図１０に示すように、モニタ５０には第２画像２Ｂのみが表示される。このとき、第２画像２Ｂは、図４に示す撮像装置１６（第６撮像装置１６）が撮像した画像を表示している。第６撮像装置１６は、ダンプトラック１の後方を撮像するため、第２画像２Ｂは、図５に示す第６領域１６Ｃを表示している。第２画像２Ｂは、上述した通り、点線ＲＬ０、点線ＲＬ１、ＲＬ２、ＲＬ３が表示されている。また、表示制御部１４０は、点線ＲＬ１よりもダンプトラック１側に、点線ＲＬ０を表示している。点線ＲＬ０は、ダンプトラック１を地面へ垂直に投影した場合の外縁を示している。本例では、第２画像２Ｂは、ダンプトラック１の後方を撮像装置１６が撮像した画像を表示しており、点線ＲＬ０は、ベッセル４の後端（図１及び図４を参照）を地面へ垂直に投影した場合の外縁を示すことになる。この例では、第２画像２Ｂの下方、すなわちモニタ５０の画面の下側に、ダンプトラック１の車体部２の一部も表示されている。また、第２画像２Ｂの上方には、ダンプトラック１のベッセル４の一部も表示されている。さらに、この例では、第２画像２Ｂ中に、ダンプトラック１の左後方に存在する車両９も表示されている。車両９は、図９の第１画像２Ａ中に示されたマークＭＫに対応した対象物である。
In the present embodiment, when the traveling mode of the dump truck 1 is switched to reverse, only the second image 2B is displayed on the monitor 50 as shown in FIG. At this time, the second image 2B displays an image captured by the imaging device 16 (sixth imaging device 16) shown in FIG. Since the sixth imaging device 16 images the rear of the dump truck 1, the second image 2B displays a sixth area 16C shown in FIG. As described above, the second image 2B displays the dotted line RL0, the dotted lines RL1, RL2, and RL3. The display control unit 140 displays a dotted line RL0 on the dump truck 1 side with respect to the dotted line RL1. A dotted line RL0 indicates an outer edge when the dump truck 1 is vertically projected onto the ground. In this example, the second image 2B displays an image captured by the imaging device 16 behind the dump truck 1, and the dotted line RL0 indicates the rear end of the vessel 4 (see FIGS. 1 and 4) to the ground. It indicates the outer edge when projected vertically. In this example, a part of the vehicle body portion 2 of the dump truck 1 is also displayed below the second image 2B, that is, below the screen of the monitor 50. A part of the vessel 4 of the dump truck 1 is also displayed above the second image 2B. Furthermore, in this example, the vehicle 9 existing on the left rear side of the dump truck 1 is also displayed in the second image 2B. The vehicle 9 is an object corresponding to the mark MK shown in the first image 2A of FIG.
ダンプトラック１のオペレータによってシフトレバー３７が操作され、シフトレバー３７の位置を検出するセンサ３７Ｓが、ダンプトラック１の走行モードが後進になったことを検出し、表示制御部１４０にその検出信号（表示切替信号）が送信される。この表示切替信号を受信した表示制御部１４０は、ダンプトラック１の後方を示す第２画像２Ｂのみをモニタ５０に表示する。このようにすることで、周辺監視システム１０は、ダンプトラック１がこれから後進する際にオペレータが注意すべき方向である後方の画像をモニタ５０に表示することができるので、オペレータは、これから進行する方向の状況を把握しやすくなる。
The shift lever 37 is operated by the operator of the dump truck 1 and the sensor 37S that detects the position of the shift lever 37 detects that the traveling mode of the dump truck 1 is in reverse, and the detection signal ( Display switching signal) is transmitted. The display control unit 140 that has received this display switching signal displays only the second image 2 </ b> B showing the rear of the dump truck 1 on the monitor 50. By doing in this way, since the periphery monitoring system 10 can display the back image which is the direction which an operator should be careful when the dump truck 1 moves backward from now on, the operator progresses from now on. It becomes easy to grasp the situation of direction.
また、ダンプトラック１のオペレータは、モニタ５０に第１画像２Ａ及び第２画像２Ｂを表示する複数表示（第１表示形態、この例では２画像表示）から、モニタ５０に第２画像２Ｂを単独で表示する単独表示（第２表示形態）に切り替えることもできる。この場合、オペレータは、図３に示す画面切替スイッチ５３を操作して、第２画像２Ｂのみがモニタ５０に表示されるようにする。このようにすることで、オペレータは、自身が注意して視認したい箇所をモニタ５０に表示させることができる。画面切替スイッチ５３は、モニタ５０に表示される画像の複数表示と単数表示とを、１回操作される毎に交互に切り替えるものであってもよい。また、画面切替スイッチ５３は、複数表示から第２画像２Ｂ、すなわち撮像装置１１〜１６の少なくとも１つが撮像した画像の単数表示に切り替えられた後、１回操作される毎にそれぞれの撮像装置１１〜１６が撮像した画像を順に切り替えて表示させ、最後は複数表示に戻るものであってもよい。
Further, the operator of the dump truck 1 displays the first image 2A and the second image 2B on the monitor 50 (from the plurality of displays (first display form, in this example, two images)), and the monitor 50 displays the second image 2B alone. It is also possible to switch to the single display (second display form) displayed with. In this case, the operator operates the screen changeover switch 53 shown in FIG. 3 so that only the second image 2B is displayed on the monitor 50. By doing in this way, the operator can display on the monitor 50 the place he / she wants to watch carefully. The screen changeover switch 53 may alternately switch between the multiple display and single display of images displayed on the monitor 50 each time it is operated. In addition, the screen changeover switch 53 is switched from the plurality of displays to the second image 2B, that is, at least one of the imaging devices 11 to 16 is switched to a single display of the captured image. The images picked up by 16 to 16 may be sequentially switched and displayed, and finally the display returns to a plurality of displays.
図１０に示すように、モニタ５０に単独表示された第２画像２Ｂは、第１画像２Ａと第２画像２Ｂとの両方がモニタ５０に表示されている複数表示の状態と比較して、モニタ５０中に占める面積が大きくなる。このため、ダンプトラック１のオペレータは、ダンプトラック１の周囲の状況及び対象物を目視によって明瞭に確認しやすくなる。本実施形態において、第１撮像装置１１が有する撮像素子の縦横比又は縦横の画素数は、モニタ５０の縦横比又は縦横の画素数とは異なっている。このため、第２画像２Ｂをモニタ５０に単独で表示すると、モニタ５０には、第２画像２Ｂが表示されない非表示領域ＤＳが発生する。本実施形態において、表示制御部１４０は、第２画像２Ｂの単独表示において、第２画像２Ｂをモニタ５０の左側、すなわち、図３に示す運転席３１側に寄せて、非表示領域ＤＳをモニタ５０の右側に配置する。このように、第２画像２Ｂをモニタ５０に単独で表示する場合には、第２画像２Ｂは、モニタ５０の運転席３１側に配置される。その結果、ダンプトラック１のオペレータは、第２画像２Ｂを視認しやすくなる。
As shown in FIG. 10, the second image 2 </ b> B displayed alone on the monitor 50 is compared with the multiple display state in which both the first image 2 </ b> A and the second image 2 </ b> B are displayed on the monitor 50. The area occupied in 50 increases. For this reason, it becomes easy for the operator of the dump truck 1 to clearly confirm the situation and the object around the dump truck 1 visually. In the present embodiment, the aspect ratio or the number of vertical and horizontal pixels of the imaging device included in the first imaging device 11 is different from the aspect ratio or the number of vertical and horizontal pixels of the monitor 50. For this reason, when the second image 2B is displayed on the monitor 50 alone, a non-display area DS in which the second image 2B is not displayed is generated on the monitor 50. In the present embodiment, the display control unit 140 monitors the non-display area DS by bringing the second image 2B toward the left side of the monitor 50, that is, the driver seat 31 side shown in FIG. 50 on the right side. Thus, when displaying the 2nd image 2B on the monitor 50 independently, the 2nd image 2B is arrange | positioned at the driver's seat 31 side of the monitor 50. FIG. As a result, the operator of the dump truck 1 can easily view the second image 2B.
なお、この例において、第２画像２Ｂの単独表示に切り替えられると、第２画像２Ｂはダンプトラック１の後方である第６領域１６を示しているため、アイコン２Ｃは、第６領域１６に対応する部分（図１０においてはハッチングの部分）を他の部分とは異ならせて表示している。次に、周辺監視システム１０に何らかの不具合が発生した場合におけるモニタ５０の表示を説明する。なお、本実施形態において、ダンプトラック１の下方とは、ダンプトラック１に近い場所及びベッセル４の後端の下方を含む意味として用いる。
In this example, when the display is switched to the single display of the second image 2B, the second image 2B indicates the sixth area 16 behind the dump truck 1, and therefore the icon 2C corresponds to the sixth area 16. The part to be performed (the hatched part in FIG. 10) is displayed differently from the other parts. Next, the display of the monitor 50 when some trouble occurs in the periphery monitoring system 10 will be described. In the present embodiment, the term “below the dump truck 1” is used to include a place near the dump truck 1 and a position below the rear end of the vessel 4.
図１１は、周辺監視システム１０に不具合が発生した場合において、第１画像２Ａと第２画像２Ｂとが表示（複数表示）されたモニタ５０を示す図である。図１２は、周辺監視システム１０に不具合が発生した場合において、第２画像２Ｂのみが表示（単数表示）されたモニタ５０を示す図である。周辺監視システム１０に何らかの不具合が発生した場合、アイコン２Ｃ、ＩＣａに加えて、不具合が発生したことを示すアイコンＩＣｃと、周辺監視システム１０の取扱説明書等のマニュアルをオペレータ（ダンプトラック１の点検作業時等はサービスマン）に読むことを促すことを意味するアイコンＩＣｄと、不具合が発生した箇所を示すアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉとがモニタ５０に表示される。アイコンＩＣｄは、システム情報の一つである。ここで、システム情報の一つであるアイコンＩＣｃが表示された場合、図示しない所定のスイッチを操作すると、表示制御部１４０は、その時点で発生している不具合に関連する情報（不具合原因や不具合対処を説明する情報）を、図示しない記憶部から読み出してモニタ５０に表示させるようにしてもよい。アイコン２Ｃ、ＩＣａ、ＩＣｃ、ＩＣｄは、モニタ５０の上側であって第１画像２Ａとモニタ５０の右端との間（右上）に表示される。アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉといったシステム情報は、モニタ５０の画面の下側であって第１画像２Ａとモニタ５０の右端との間（右下）に表示される。
FIG. 11 is a diagram showing the monitor 50 on which the first image 2A and the second image 2B are displayed (a plurality of images are displayed) when a failure occurs in the periphery monitoring system 10. FIG. 12 is a diagram showing the monitor 50 on which only the second image 2B is displayed (single display) when a failure occurs in the periphery monitoring system 10. If any trouble occurs in the surroundings monitoring system 10, in addition to the icons 2C and ICa, an icon ICc indicating that the trouble has occurred and a manual such as an instruction manual for the surroundings monitoring system 10 are checked by an operator (inspecting the dump truck 1). On the monitor 50, an icon ICd, which means prompting the service person to read) at the time of work, etc., and icons ICe, ICf, ICg, ICh, ICi indicating the location where the trouble has occurred are displayed. The icon ICd is one piece of system information. Here, when the icon ICc, which is one of the system information, is displayed, when a predetermined switch (not shown) is operated, the display control unit 140 displays information related to the fault occurring at that time (the cause of the fault or the fault The information explaining the countermeasure) may be read from a storage unit (not shown) and displayed on the monitor 50. The icons 2C, ICa, ICc, and ICd are displayed on the upper side of the monitor 50 and between the first image 2A and the right end of the monitor 50 (upper right). System information such as icons ICe, ICf, ICg, ICh, and ICi is displayed on the lower side of the screen of the monitor 50 and between the first image 2A and the right end of the monitor 50 (lower right).
各アイコン（ＩＣａ、ＩＣｂ、ＩＣｃ、ＩＣｄ、ＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉ）は、オペレータ又はサービスマンが各アイコンの絵柄を見たときに、直観的に各アイコンが意味するものを理解できるような絵柄及び色彩で構成されたものであることが好ましい。例えば、アイコンＩＣｄは、絵柄に書物を想起させるようなものを表現し、マニュアルを読むということを連想させ、アイコンＩＣｆは、絵柄に撮像装置１１〜１６であるカメラを想起させるようなものを表現し、カメラが故障等の可能性があることを連想させ、さらにアイコンＩＣｆの色彩を黄色や赤色といった故障をイメージさせるものとする。
Each icon (ICa, ICb, ICc, ICd, ICe, ICf, ICg, ICh, ICi) can be understood intuitively when the operator or service person sees the icon image. It is preferable that it is comprised by such a pattern and color. For example, the icon ICd expresses something that reminds the book of a picture and is associated with reading a manual, and the icon ICf expresses something that reminds the camera that is the imaging device 11 to 16 Assume that there is a possibility that the camera has a failure or the like, and that the icon ICf has a color such as yellow or red.
不具合が発生したことを示すアイコンＩＣｃは、これに対応したシステム情報の重要度が最も高い。したがって、表示制御部１４０は、アイコンＩＣｃをモニタ５０の最も運転席３１に近い位置に表示する。アイコンＩＣｄは、上述のようにマニュアルをオペレータ（ダンプトラック１の点検作業時等はサービスマン）に読むことを促すことを意味するため、これに対応したシステム情報の重要度は高い。このため、表示制御部１４０は、アイコンＩＣｃの次に運転席３１に近いモニタ５０内の位置にアイコンＩＣｄを表示する。このように、本実施形態において、アイコンが複数存在する場合、これらの表示位置は、複数のアイコンに対応したシステム情報の重要度に基づいて決定される。本実施形態では、ダンプトラック１の運転席３１に近い順に重要度が高くなるように表示位置が決定される。このようにすることで、ダンプトラック１のオペレータは、重要なシステム情報を認識しやすくなる。つまり、運転席３１に近い位置、すなわちオペレータの視野に入りやすい位置に重要度が上位のアイコンが表示されれば、アイコンの見落とし及び見間違いが抑制されるのである。
The icon ICc indicating that a failure has occurred has the highest importance of the system information corresponding to the icon ICc. Therefore, the display control unit 140 displays the icon ICc at a position closest to the driver's seat 31 on the monitor 50. The icon ICd means that the operator is encouraged to read the manual (a service person at the time of the inspection work of the dump truck 1 or the like) as described above, and the importance of the system information corresponding to this is high. Therefore, the display control unit 140 displays the icon ICd at a position in the monitor 50 next to the driver's seat 31 next to the icon ICc. Thus, in this embodiment, when there are a plurality of icons, their display positions are determined based on the importance of the system information corresponding to the plurality of icons. In the present embodiment, the display position is determined so that the importance becomes higher in the order closer to the driver's seat 31 of the dump truck 1. By doing so, the operator of the dump truck 1 can easily recognize important system information. That is, if an icon with a higher degree of importance is displayed at a position close to the driver's seat 31, that is, a position that easily enters the visual field of the operator, oversight and mistaken icons are suppressed.
上述したように、アイコンＩＣｄは、図３に示すコントローラ１００が備えている、図示しない記憶部に保存されている周辺監視システム１０のマニュアルを読み出す際のスイッチとして機能してもよい。すなわち、モニタ５０にタッチパネルを用いた場合、ダンプトラック１のオペレータがアイコンＩＣｄの表示位置に触れると、図３に示すコントローラ１００は、自身の記憶部に保存してあるマニュアルを読み出してモニタ５０に表示する。
As described above, the icon ICd may function as a switch for reading the manual of the periphery monitoring system 10 stored in a storage unit (not shown) included in the controller 100 shown in FIG. That is, when the touch panel is used for the monitor 50, when the operator of the dump truck 1 touches the display position of the icon ICd, the controller 100 shown in FIG. 3 reads the manual stored in its own storage unit and stores it in the monitor 50. indicate.
アイコンＩＣｅは、周辺監視システム１０全体に不具合が発生したことを示す。アイコンＩＣｆは、複数の撮像装置１１〜１６の少なくとも１つに不具合が発生したことを示す。アイコンＩＣｇは、コントローラ１００と撮像装置１１〜１６やモニタ５０、あるいはレーダ装置２１〜２８等との入出力のインターフェースに不具合が発生したことを示す。アイコンＩＣｈは、コントローラ１００とモニタ５０との通信系統、あるいは周辺監視システム１０と他の制御機器との通信系統に不具合が発生したことを示す。アイコンＩＣｉは、複数のレーダ装置２１〜２８の少なくとも１つに不具合（例えばレーダを照射しない等の故障）が発生したことを示す。モニタ５０にタッチパネルを用いた場合、ダンプトラック１のオペレータがアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を触れると、コントローラ１００は、不具合についてのより詳しい情報、例えば、不具合の種類及び不具合が発生した撮像装置等を特定するための情報等をモニタ５０に表示させてもよい。なお、本例においては、アイコンＩＣｉが表示されることによりレーダ装置２１〜２８のうち少なくとも１つに不具合が発生したことが示される。このため、アイコンＩＣａは、複数のレーダ装置２１〜２８が非動作状態（ＯＦＦ状態）であって、ダンプトラック１の周囲に存在する対象物を検知不可能な状態を示している。
The icon ICe indicates that a problem has occurred in the entire periphery monitoring system 10. The icon ICf indicates that a problem has occurred in at least one of the plurality of imaging devices 11 to 16. The icon ICg indicates that a problem has occurred in the input / output interface between the controller 100 and the imaging devices 11 to 16, the monitor 50, the radar devices 21 to 28, and the like. The icon ICh indicates that a failure has occurred in the communication system between the controller 100 and the monitor 50 or in the communication system between the periphery monitoring system 10 and other control devices. The icon ICi indicates that a failure (for example, a failure such as not irradiating the radar) has occurred in at least one of the plurality of radar devices 21 to 28. When the monitor 50 uses a touch panel, when the operator of the dump truck 1 touches the display position of the icons ICe, ICf, ICg, ICh, ICi, the controller 100 provides more detailed information about the failure, for example, the type of failure and the failure. Information or the like for specifying the imaging device or the like in which the error occurred may be displayed on the monitor 50. In this example, the icon ICi is displayed to indicate that a failure has occurred in at least one of the radar devices 21 to 28. For this reason, the icon ICa indicates a state in which the plurality of radar devices 21 to 28 are in an inoperative state (OFF state) and an object existing around the dump truck 1 cannot be detected.
アイコンＩＣａは、図９及び図１１に示すように、複数のレーダ装置２１〜２８の動作非動作を区別して表現してオペレータに示すために、絵柄を変えて表示されている。しかし、複数のレーダ装置２１〜２８が動作状態又は非動作状態であっても、アイコンＩＣａは同一の絵柄で表示されてもよい。この場合、複数のレーダ装置２１〜２８が動作状態（ＯＮ状態）のときには、アイコンＩＣａがモニタ５０に高い明度で表示され、複数のレーダ装置２１〜２８の少なくも一つが非動作状態（ＯＦＦ状態）のときには、モニタ５０に低い明度で表示されることで、動作非動作を区別して表現することができる。複数のアイコンＩＣｅ〜ＩＣｉの表示位置も、システム情報の重要度に基づき、ダンプトラック１の運転席３１に近い順に重要度が高くなるようになっている。このようにすることで、ダンプトラック１のオペレータは、重要なシステム情報を認識しやすくなる。つまり、運転席３１に近い位置、すなわちオペレータの視野に入りやすい位置に重要度が上位のアイコンを表示させれば、アイコンの見落とし及び見間違いが抑制されるのである。
As shown in FIGS. 9 and 11, the icon ICa is displayed with a different pattern in order to distinguish and express the operation / non-operation of the plurality of radar apparatuses 21 to 28 and show them to the operator. However, even if the plurality of radar devices 21 to 28 are in an operating state or a non-operating state, the icon ICa may be displayed with the same pattern. In this case, when the plurality of radar devices 21 to 28 are in the operating state (ON state), the icon ICa is displayed on the monitor 50 with high brightness, and at least one of the plurality of radar devices 21 to 28 is in the non-operating state (OFF state). ), The non-operation can be distinguished and displayed by being displayed on the monitor 50 with low brightness. The display positions of the plurality of icons ICe to ICi are also configured such that the importance is increased in the order from the driver seat 31 of the dump truck 1 based on the importance of the system information. By doing so, the operator of the dump truck 1 can easily recognize important system information. That is, if an icon with a higher degree of importance is displayed at a position close to the driver's seat 31, that is, a position that easily enters the operator's field of view, oversight and mistaken icons are suppressed.
周辺監視システム１０に不具合が発生したことを示すアイコンＩＣｃ、ＩＣｅ等がモニタ５０に表示された場合に、ダンプトラック１のオペレータがシフトレバー３７を操作して走行モードを後進に切り替えるか又はオペレータが画面切替スイッチ５３を操作してモニタ５０の表示を複数表示から第２画像２Ｂの単独表示に切り替えたとする。この場合、コントローラ１００の表示制御部１４０は、シフトレバー３７のセンサ３７Ｓ又は画面切替スイッチ５３から表示切替信号を取得すると、図１２に示すように、モニタ５０に第２画像２Ｂを単独表示する。そして、絵柄表示制御部１５０は、表示切替信号を取得すると、複数表示においてモニタ５０の右下に表示されていたアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉを、モニタ５０の右端に沿って上下方向に向かって１列に配置して表示する。
When icons ICc, ICe, etc. indicating that a failure has occurred in the peripheral monitoring system 10 are displayed on the monitor 50, the operator of the dump truck 1 operates the shift lever 37 to switch the traveling mode to the reverse mode, or the operator It is assumed that the display switch 53 is operated to switch the display on the monitor 50 from a plurality of displays to a single display of the second image 2B. In this case, when the display control unit 140 of the controller 100 acquires the display switching signal from the sensor 37S of the shift lever 37 or the screen changeover switch 53, the second image 2B is displayed on the monitor 50 alone as shown in FIG. Then, when the pattern display control unit 150 acquires the display switching signal, the icons ICe, ICf, ICg, ICh, and ICi displayed on the lower right side of the monitor 50 in the plurality of displays are displayed in the vertical direction along the right end of the monitor 50. It arranges and displays in one line toward.
第２画像２Ｂは、モニタ５０の上下方向（縦方向）全体に表示される。このため、モニタ５０の画面の下側にアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉが表示されていると、ダンプトラック１のオペレータは、第２画像２Ｂ全体を視認しにくくなる。特に、ダンプトラック１を運転する場合、オペレータは、高さが低い対象物を運転席３１から直視又はサイドミラー等による視認することが困難であるため、ダンプトラック１の周囲の上方よりも下方（地面側）であって、かつ、近くに存在する対象物に、より多くの注意を払う必要がある。このため、ダンプトラック１の周囲が撮像された第２画像２Ｂがモニタ５０の全体に表示される場合、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置をモニタ５０の画面の下側から右端に移動させることは、オペレータがダンプトラック１の周囲の状況を確認するために好ましい。
The second image 2B is displayed on the entire vertical direction (vertical direction) of the monitor 50. For this reason, if the icons ICe, ICf, ICg, ICh, and ICi are displayed on the lower side of the screen of the monitor 50, it becomes difficult for the operator of the dump truck 1 to visually recognize the entire second image 2B. In particular, when driving the dump truck 1, it is difficult for the operator to view an object with a low height directly from the driver's seat 31 or by using a side mirror or the like. More attention needs to be paid to objects that are near the ground). For this reason, when the second image 2B in which the periphery of the dump truck 1 is captured is displayed on the entire monitor 50, the display positions of the icons ICe, ICf, ICg, ICh, and ICi are changed from the lower side of the monitor 50 screen to the right end. It is preferable for the operator to check the situation around the dump truck 1.
本実施形態では、絵柄表示制御部１５０は、モニタ５０の表示が切り替えられる前後において、表示切替信号に基づいてアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を変更する。このとき、絵柄表示制御部１５０は、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を、モニタ５０の画面の下側を避けた位置に変更する。すなわち、絵柄表示制御部１５０は、撮像装置１１〜１６の少なくとも１つが撮像した画像（第２画像２Ｂ）中に表示されているダンプトラック１の下方に相当する位置を避けた位置、つまり上方又は側方に相当する位置に、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を変更する。このようにすることで、撮像装置１１〜１６の少なくとも１つが撮像した画像をモニタ５０の上下方向にわたって表示する場合には、ダンプトラック１の周囲を確認する際において、より重要な下方（地面側）であって、かつ、近くの状況を確実にオペレータに確認させることができる。
In the present embodiment, the pattern display control unit 150 changes the display position of the icons ICe, ICf, ICg, ICh, and ICi based on the display switching signal before and after the display of the monitor 50 is switched. At this time, the pattern display control unit 150 changes the display position of the icons ICe, ICf, ICg, ICh, and ICi to a position that avoids the lower side of the screen of the monitor 50. That is, the pattern display control unit 150 avoids a position corresponding to the lower side of the dump truck 1 displayed in the image (second image 2B) captured by at least one of the imaging devices 11 to 16, that is, above or The display position of the icons ICe, ICf, ICg, ICh, ICi is changed to a position corresponding to the side. By doing in this way, when displaying the image imaged by at least one of the imaging devices 11 to 16 in the vertical direction of the monitor 50, when confirming the periphery of the dump truck 1, the more important downward (ground side) In addition, the operator can be surely confirmed the situation in the vicinity.
本実施形態では、撮像装置１１〜１６の少なくとも１つが撮像した画像である第２画像２Ｂの単独表示に切り替えられた場合に、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置が、ダンプトラック１の下方に相当する位置を避けた位置に変更される。表示位置の変更はこのような場合に限定されず、例えば、撮像装置１１〜１６の少なくとも１つが撮像した画像を含む複数の画像の表示にモニタ５０が切り替えられた場合に、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置は、ダンプトラック１の下方に相当する位置を避けた位置に変更されてもよい。このようにすることで、ダンプトラック１の周囲を確認する際において、より重要な下方の状況を確実にオペレータに確認させることができる。
In the present embodiment, when the display is switched to the single display of the second image 2B that is an image captured by at least one of the imaging devices 11 to 16, the display positions of the icons ICe, ICf, ICg, ICh, and ICi are the dump trucks. The position is changed to a position avoiding the position corresponding to the position below 1. The change of the display position is not limited to such a case. For example, when the monitor 50 is switched to display a plurality of images including images captured by at least one of the imaging devices 11 to 16, the icons ICe, ICf, The display positions of ICg, ICh, and ICi may be changed to positions that avoid positions corresponding to the lower side of the dump truck 1. By doing in this way, when confirming the circumference | surroundings of the dump truck 1, the operator can confirm a more important lower condition reliably.
このように、本実施形態においては、撮像装置１１〜１６の少なくとも１つが撮像した画像にモニタ５０の表示が切り替えられた場合において、当該画像中に表示されるダンプトラック１の下方（モニタ５０の画面の下側）に相当する位置にアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉ等が表示されるときに、これらの表示位置がダンプトラック１の下方に相当する位置を避けた位置に変更されればよい。なお、撮像装置１１〜１６の少なくとも１つが撮像した画像の単独表示に切り替えられた場合、このような画像はモニタ５０の上下方向（縦方向）の全域にわたって表示されたり、左右方向（横方向）の全域にわたって表示されたりすることが多い。したがって、モニタ５０の表示が撮像装置１１〜１６の少なくとも１つが撮像した画像の単独表示に切り替えられた場合に、アイコンＩＣｅ、ＩＣｆ等の表示位置がダンプトラック１の下方に相当する位置を避けた位置に変更されれば、ダンプトラック１の周囲を確認する際に重要なダンプトラック１の下方がアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉ等で隠されることを確実に回避できる。
As described above, in this embodiment, when the display of the monitor 50 is switched to an image captured by at least one of the imaging devices 11 to 16, below the dump truck 1 displayed in the image (on the monitor 50. When icons ICe, ICf, ICg, ICh, ICi, etc. are displayed at positions corresponding to the lower side of the screen, these display positions are changed to positions that avoid positions corresponding to the lower side of the dump truck 1. That's fine. When at least one of the imaging devices 11 to 16 is switched to single display of an image captured, such an image is displayed over the entire area in the vertical direction (vertical direction) of the monitor 50 or in the horizontal direction (horizontal direction). It is often displayed over the entire area. Therefore, when the display on the monitor 50 is switched to the single display of the image captured by at least one of the imaging devices 11 to 16, the display position of the icons ICe, ICf, etc. is avoided from the position corresponding to the lower side of the dump truck 1. If the position is changed, it is possible to reliably prevent the lower part of the dump truck 1 that is important when checking the periphery of the dump truck 1 from being hidden by the icons ICe, ICf, ICg, ICh, ICi, or the like.
絵柄表示制御部１５０は、モニタ５０の表示が切り替えられた後、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置をモニタ５０の右端に変更するので、モニタ５０中におけるアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置は、ダンプトラック１の運転席３１からより遠い位置になる。このようにすることで、第２画像２Ｂは、運転席３１側、すなわちダンプトラック１のオペレータに近い側に表示される部分がアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉによって隠されない。その結果、オペレータが第２画像２Ｂに表示されたダンプトラック１の周囲の状況及び対象物を確認しやすくなる。
The pattern display control unit 150 changes the display position of the icons ICe, ICf, ICg, ICh, and ICi to the right end of the monitor 50 after the display of the monitor 50 is switched, so the icons ICe, ICf, and ICg in the monitor 50 are changed. , ICh, ICi are displayed farther from the driver's seat 31 of the dump truck 1. In this way, in the second image 2B, the portion displayed on the driver's seat 31 side, that is, the side close to the operator of the dump truck 1 is not hidden by the icons ICe, ICf, ICg, ICh, and ICi. As a result, it becomes easier for the operator to confirm the situation and the object around the dump truck 1 displayed in the second image 2B.
撮像装置１１〜１６が有する撮像素子の縦横比又は縦横の画素数が、モニタ５０の縦横比又は縦横の画素数とは異なる場合、第２画像２Ｂの単独表示に切り替えられると、モニタ５０には非表示領域ＤＳが生じる。この例において、非表示領域ＤＳはモニタ５０の右側に存在するので、絵柄表示制御部１５０は、非表示領域ＤＳにアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を変更することになる。このように、モニタ５０の非表示領域ＤＳにアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を変更することができるので、非表示領域ＤＳを有効に利用することができる。
When the aspect ratio or the number of vertical / horizontal pixels of the image sensor included in the imaging devices 11 to 16 is different from the aspect ratio or the number of vertical / horizontal pixels of the monitor 50, when the display is switched to the single display of the second image 2B, the monitor 50 A non-display area DS occurs. In this example, since the non-display area DS exists on the right side of the monitor 50, the picture display control unit 150 changes the display positions of the icons ICe, ICf, ICg, ICh, and ICi in the non-display area DS. Thus, since the display positions of the icons ICe, ICf, ICg, ICh, and ICi can be changed in the non-display area DS of the monitor 50, the non-display area DS can be used effectively.
モニタ５０の表示が切り替えられた後において、絵柄表示制御部１５０は、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を、モニタ５０の画面の下側以外の位置に変更すればよい。このため、絵柄表示制御部１５０は、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置をモニタ５０の画面の上側に変更してもよい。このようにしても、オペレータは、ダンプトラック１の周囲が撮像された第２画像２Ｂにおいて、より重要な下方の状況を確実に確認することができる。
After the display of the monitor 50 is switched, the pattern display control unit 150 may change the display position of the icons ICe, ICf, ICg, ICh, and ICi to a position other than the lower side of the monitor 50 screen. For this reason, the pattern display control unit 150 may change the display position of the icons ICe, ICf, ICg, ICh, and ICi to the upper side of the screen of the monitor 50. Even in this way, the operator can surely confirm the more important lower situation in the second image 2B in which the periphery of the dump truck 1 is imaged.
本実施形態において、絵柄表示制御部１５０は、モニタ５０の表示が切り替えられる前後において、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を変更するが、アイコンＩＣｃ、ＩＣｄの表示位置は維持する。このため、アイコンＩＣｃ、ＩＣｄの表示位置は、モニタ５０の表示が切り替えられる前後でモニタ５０の同一の位置、より具体的には上側右寄りに表示される。このように、周辺監視システム１０は、モニタ５０に表示されるアイコン２Ｃ、ＩＣａ、ＩＣｃ〜ＩＣｉのうち、重要度が上位のアイコンＩＣｃ、ＩＣｄの表示位置を、モニタ５０の表示が切り替えられる前後で変更しない。重要度が高いシステム情報に対応したアイコンＩＣｃ、ＩＣｄは、モニタ５０の表示が切り替えられる前後において表示位置が変更されない方が好ましいからである。上述したようにすることで、周辺監視システム１０は、ダンプトラック１のオペレータが、モニタ５０の表示が切り替わった後にアイコン２Ｃ、ＩＣａ、ＩＣｃ、ＩＣｄを確認したり、マニュアルを読み出すためにアイコンＩＣｄを操作したりするときに、誤認及び誤操作を低減させることができる。なお、本例では、アイコン２Ｃ、ＩＣａもモニタ５０における表示位置が維持されるが、これらが示すシステム情報の重要度は、アイコンＩＣｃ、ＩＣｄに次いで高いからである。
In the present embodiment, the pattern display control unit 150 changes the display positions of the icons ICe, ICf, ICg, ICh, and ICi before and after the display of the monitor 50 is switched, but maintains the display positions of the icons ICc and ICd. . Therefore, the display positions of the icons ICc and ICd are displayed at the same position on the monitor 50, more specifically, on the upper right side before and after the display on the monitor 50 is switched. As described above, the periphery monitoring system 10 before and after the display of the monitor 50 is switched with respect to the display positions of the icons ICc and ICd having the higher importance among the icons 2C, ICa, and ICc to ICi displayed on the monitor 50. Not going to change. This is because it is preferable that the display positions of the icons ICc and ICd corresponding to system information having high importance are not changed before and after the display of the monitor 50 is switched. As described above, the periphery monitoring system 10 allows the operator of the dump truck 1 to check the icons 2C, ICa, ICc, and ICd after the display on the monitor 50 is switched, and to read the manual to read the manual. When operating, misidentification and erroneous operation can be reduced. In this example, the icons 2C and ICa also maintain their display positions on the monitor 50, because the importance of the system information indicated by these icons is the second highest after the icons ICc and ICd.
本実施形態において、絵柄表示制御部１５０は、モニタ５０の表示を複数表示から単独表示に切り替えるための表示切替信号を取得したときに、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置を変更しているが、表示の切り替えは複数表示から単独表示に限定されるものではない。例えば、モニタ５０の表示が３画像である場合、これを２画像の表示に切り替えたり、１画像の表示に切り替えたりするときに、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置が変更されてもよい。すなわち、本実施形態において、絵柄表示制御部１５０は、モニタ５０に複数の画像を表示する第１表示形態から、第１表示形態よりも少ない画像をモニタに表示する第２表示形態に切り替える表示切替信号を取得したときに、第２表示形態でのアイコンの表示位置を、第１表示形態での表示位置に対して変更すればよい。
In this embodiment, the pattern display control unit 150 changes the display position of the icons ICe, ICf, ICg, ICh, and ICi when acquiring a display switching signal for switching the display of the monitor 50 from a plurality of displays to a single display. However, the display switching is not limited to a single display from a plurality of displays. For example, when the display of the monitor 50 is three images, the display positions of the icons ICe, ICf, ICg, ICh, and ICi are changed when the display is switched to the two-image display or the one-image display. May be. In other words, in the present embodiment, the pattern display control unit 150 switches from the first display form that displays a plurality of images on the monitor 50 to the second display form that displays fewer images on the monitor than the first display form. When the signal is acquired, the display position of the icon in the second display form may be changed with respect to the display position in the first display form.
図１３は、周辺監視システム１０に不具合が発生した場合において、第２画像２Ｂのみが表示されたモニタ５０の他の例を示す図である。この例は、撮像装置１１〜１６が有する撮像素子の縦横比がモニタ５０の縦横比と同一又は撮像装置１１〜１６が有する撮像素子の縦横の画素数が、モニタ５０の縦横比又は縦横の画素数と同一である場合を示している。この場合、撮像装置１１〜１６が撮像した画像である第２画像２Ｂは、モニタ５０の全体にわたって表示される。このため、図１２に示す非表示領域ＤＳは有していない。この場合も、絵柄表示制御部１５０は、第１画像２Ａと第２画像２Ｂとの複数表示から第２画像２Ｂの単独表示に切り替えられた後において、複数表示時にはモニタ５０の画面の下側に表示されていたアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉを、モニタ５０の右端に沿って上側から下側に向かう位置に移動させて表示する。このように、モニタ５０の表示が切り替えられた後にアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置が変更されることによって、第２画像２Ｂが単独表示されたモニタ５０の画面の下側にアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉが表示されなくなる。その結果、第２画像２Ｂがモニタ５０の縦横全域にわたって表示された場合であっても、ダンプトラック１のオペレータは、ダンプトラック１の周囲が撮像された第２画像２Ｂにおいて、より重要なダンプトラック１の下方の状況を確実に確認することができる。なお、この例においても、重要度が上位のアイコンの表示位置は移動しない。
FIG. 13 is a diagram illustrating another example of the monitor 50 on which only the second image 2B is displayed when a failure occurs in the periphery monitoring system 10. In this example, the aspect ratio of the imaging device included in the imaging devices 11 to 16 is the same as the aspect ratio of the monitor 50 or the number of pixels in the imaging device included in the imaging devices 11 to 16 corresponds to the aspect ratio or aspect ratio of the monitor 50. The case where it is the same as the number is shown. In this case, the second image 2 </ b> B that is an image captured by the imaging devices 11 to 16 is displayed over the entire monitor 50. For this reason, the non-display area DS shown in FIG. 12 is not provided. Also in this case, after the display of the first image 2A and the second image 2B is switched to the single display of the second image 2B after the display of the first image 2A and the second image 2B, the picture display control unit 150 is displayed on the lower side of the screen of the monitor 50. The displayed icons ICe, ICf, ICg, ICh, and ICi are moved and displayed along the right end of the monitor 50 from the upper side to the lower side. As described above, the display positions of the icons ICe, ICf, ICg, ICh, and ICi are changed after the display of the monitor 50 is switched, so that the second image 2B is displayed on the lower side of the screen of the monitor 50 on which the second image 2B is displayed alone. Icons ICe, ICf, ICg, ICh, and ICi are not displayed. As a result, even when the second image 2B is displayed across the entire length and width of the monitor 50, the operator of the dump truck 1 can make the dump truck more important in the second image 2B in which the periphery of the dump truck 1 is captured. The situation below 1 can be confirmed with certainty. In this example as well, the display position of the icon with the higher importance does not move.
図１４は、周辺監視システム１０に不具合が発生した場合において、第１画像２Ａと第２画像２Ｂとが表示されたモニタ５０の他の例を示す図である。図１５は、周辺監視システム１０に不具合が発生した場合において、第２画像２Ｂのみが表示されたモニタ５０の他の例を示す図である。この例は、第１画像２Ａのみが単独でモニタ５０に表示される単独表示から、第２画像２Ｂのみが単独でモニタ５０に表示される単独表示へ切り替えられた場合におけるアイコンの表示位置を変更したものである。
FIG. 14 is a diagram illustrating another example of the monitor 50 on which the first image 2A and the second image 2B are displayed when a failure occurs in the periphery monitoring system 10. FIG. 15 is a diagram illustrating another example of the monitor 50 on which only the second image 2B is displayed when a failure occurs in the periphery monitoring system 10. In this example, the display position of the icon is changed when the single display in which only the first image 2A is displayed on the monitor 50 alone is switched to the single display in which only the second image 2B is displayed on the monitor 50 alone. It is a thing.
第１画像２Ａは、図５に示す俯瞰画像２００にダンプトラック１の周囲に存在する対象物に対応したマークＭＫが表示されたものである。本例では、図１４に示すように、第１画像２Ａがモニタ５０の縦横全域にわたって表示されている。アイコン２Ｃ、ＩＣａ、ＩＣｃ、ＩＣｄはモニタ５０の上側右寄りに表示され、アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉはモニタ５０の画面の下側中央から右端に向かって表示されている。図１５に示すように、第２画像２Ｂは、モニタ５０の縦横全域にわたって表示されている。
The first image 2A is obtained by displaying a mark MK corresponding to an object existing around the dump truck 1 in the overhead image 200 shown in FIG. In this example, as shown in FIG. 14, the first image 2 </ b> A is displayed over the entire length and width of the monitor 50. The icons 2C, ICa, ICc, and ICd are displayed on the upper right side of the monitor 50, and the icons ICe, ICf, ICg, ICh, and ICi are displayed from the lower center of the screen of the monitor 50 toward the right end. As shown in FIG. 15, the second image 2 </ b> B is displayed over the entire length and width of the monitor 50.
モニタ５０の表示が第１画像２Ａの単独表示から第２画像２Ｂの単独表示に切り替えられた場合、絵柄表示制御部１５０は、単独表示時にモニタ５０の画面の下側に表示されていたアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉを、モニタ５０の右端に沿って上側から下側に向かう位置に移動させて表示する。このように、モニタ５０の表示が切り替えられた後にアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置がモニタ５０の右端へ変更されることによって、第２画像２Ｂが単独表示されたモニタ５０の画面の下側はアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉによって隠されることが回避される。その結果、ダンプトラック１のオペレータは、ダンプトラック１の周囲が撮像された第２画像２Ｂにおいて、より重要なダンプトラック１の下方の状況を確実に確認することができる。なお、この例においても、重要度が上位のアイコンの表示位置は移動しない。
When the display of the monitor 50 is switched from the single display of the first image 2A to the single display of the second image 2B, the picture display control unit 150 displays the icon ICe displayed on the lower side of the screen of the monitor 50 during the single display. , ICf, ICg, ICh, ICi are displayed by moving from the upper side to the lower side along the right end of the monitor 50. Thus, after the display of the monitor 50 is switched, the display position of the icons ICe, ICf, ICg, ICh, and ICi is changed to the right end of the monitor 50, whereby the second image 2B is displayed alone. It is avoided that the lower side of the screen is hidden by the icons ICe, ICf, ICg, ICh, and ICi. As a result, the operator of the dump truck 1 can surely confirm the more important situation under the dump truck 1 in the second image 2B in which the periphery of the dump truck 1 is imaged. In this example as well, the display position of the icon with the higher importance does not move.
図１６は、周辺監視システム１０に不具合が発生した場合において、第１画像２Ａと第２画像２Ｂとが表示されたモニタ５０の他の例を示す図である。図１７は、周辺監視システム１０に不具合が発生した場合において、第２画像２Ｂのみが表示されたモニタ５０の他の例を示す図である。上述した例は、いずれもモニタ５０の縦の寸法が横の寸法よりも小さい場合であるが、この例は、モニタ５０Ａの縦の寸法が横の寸法よりも大きい場合である。以下においては、第１画像２Ａａと第２画像２Ｂａとがモニタ５０Ａに表示される複数表示から、第２画像２Ｂａのみが単独でモニタ５０Ａに表示される単独表示へ切り替えられた場合におけるアイコンの表示位置を変更した例を説明する。なお、第１画像２Ａａのみが単独でモニタ５０Ａに表示される単独表示から、第２画像２Ｂａのみが単独でモニタ５０Ａに表示される単独表示へ切り替えられた場合も同様である。
FIG. 16 is a diagram illustrating another example of the monitor 50 on which the first image 2A and the second image 2B are displayed when a failure occurs in the periphery monitoring system 10. FIG. 17 is a diagram illustrating another example of the monitor 50 on which only the second image 2B is displayed when a failure occurs in the periphery monitoring system 10. The above-described examples are cases where the vertical dimension of the monitor 50 is smaller than the horizontal dimension, but this example is a case where the vertical dimension of the monitor 50A is larger than the horizontal dimension. In the following, the icon display when the first image 2Aa and the second image 2Ba are displayed on the monitor 50A is switched to the single display in which only the second image 2Ba is displayed on the monitor 50A alone. An example in which the position is changed will be described. The same applies to the case where the single display in which only the first image 2Aa is displayed alone on the monitor 50A is switched to the single display in which only the second image 2Ba is displayed alone on the monitor 50A.
この例において、絵柄表示制御部１５０は、第１画像２Ａａと第２画像２Ｂａとの複数表示から第２画像２Ｂａの単独表示に切り替えられた後において、複数表示時にはモニタ５０Ａの画面の下側に表示されていたアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉを、モニタ５０Ａの右端に沿って上側から下側に向かう位置に移動させて表示する。このように、本例においても、モニタ５０Ａの表示が切り替えられた後にアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置がモニタ５０Ａの画面の下側から右端に変更される。その結果、第２画像２Ｂａがモニタ５０Ａの縦横全域にわたって表示された場合であっても、ダンプトラック１のオペレータは、ダンプトラック１の周囲が撮像された第２画像２Ｂａにおいて、より重要なダンプトラック１の下方の状況を確実に確認することができる。なお、この例においても、重要度が上位のアイコンの表示位置は移動しない。
In this example, after the display of the first image 2Aa and the second image 2Ba is switched to the single display of the second image 2Ba after the display of the first image 2Aa and the second image 2Ba, the picture display control unit 150 is displayed on the lower side of the screen of the monitor 50A. The displayed icons ICe, ICf, ICg, ICh, ICi are moved and displayed from the upper side to the lower side along the right end of the monitor 50A. Thus, also in this example, after the display of the monitor 50A is switched, the display position of the icons ICe, ICf, ICg, ICh, and ICi is changed from the lower side of the screen of the monitor 50A to the right end. As a result, even when the second image 2Ba is displayed over the entire length and width of the monitor 50A, the operator of the dump truck 1 can make a more important dump truck in the second image 2Ba in which the periphery of the dump truck 1 is imaged. The situation below 1 can be confirmed with certainty. In this example as well, the display position of the icon with the higher importance does not move.
上記説明において、運転席３１はダンプトラック１の左側としたが、右側であってもよい。この場合、モニタ５０に表示される第１画像２Ａ、２Ａａと第２画像２Ｂ、２Ｂａとの左右の表示位置関係及びアイコン２Ｃ、ＩＣｄ、ＩＣｃ、ＩＣａ等の左右の並びにおける表示位置の関係は、上述した説明と反対になる。
In the above description, the driver's seat 31 is on the left side of the dump truck 1, but may be on the right side. In this case, the left / right display position relationship between the first images 2A, 2Aa and the second images 2B, 2Ba displayed on the monitor 50 and the display position relationship in the left / right arrangement of the icons 2C, ICd, ICc, ICa, etc. Contrary to the above description.
さらに、モニタ５０Ａの表示が切り替えられた後にアイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示位置が変更される際、表示位置を変更するとともに、表示位置の変更前後において各アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの絵柄はそのままで表示の大きさを変えるようにしてもよい。第１画像２Ａ、２Ａａと、第２画像２Ｂ、２Ｂｂとの切り替えの際に、切り替え前における各アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示の大きさに対して、切り替え後における各アイコンＩＣｅ、ＩＣｆ、ＩＣｇ、ＩＣｈ、ＩＣｉの表示の大きさを、絵柄が視認可能な程度に小さく表示してもよい。このようにすれば、アイコン以外の画像が占める面積が増え、オペレータは、よりダンプトラック１の下方や周囲の状況を認識しやすくなる。
Furthermore, when the display position of the icons ICe, ICf, ICg, ICh, and ICi is changed after the display of the monitor 50A is changed, the display position is changed, and each icon ICe, ICf, ICg is changed before and after the display position is changed. , ICh, ICi, the display size may be changed. When switching between the first images 2A and 2Aa and the second images 2B and 2Bb, each icon ICe after switching is displayed with respect to the display size of each icon ICe, ICf, ICg, ICh, and ICi before switching. , ICf, ICg, ICh, ICi may be displayed as small as the pattern is visible. In this way, the area occupied by images other than icons increases, and the operator can more easily recognize the situation below and around the dump truck 1.
以上、本実施形態において、周辺監視システム１０は、モニタ５０、５０Ａの表示が切り替えられる際に、モニタ５０、５０Ａの表示が切り替えられた後のモニタ５０、５０Ａに表示されるアイコンの表示位置を変更する。このようにすることで、アイコンと他の画像とが同時にモニタ５０、５０Ａに表示される場合において、モニタ５０、５０Ａの表示が切り替えられて切り替え前とは異なる画像がモニタ５０、５０Ａに表示された場合に、この異なる画像中に存在する、ダンプトラック１のオペレータが注意すべき部分の画像がアイコンで隠されることを回避できる。その結果、周辺監視システム１０は、オペレータが注意すべき部分の状況を、オペレータに対してより確実に認識させることができる。
As described above, in the present embodiment, when the display of the monitors 50 and 50A is switched, the periphery monitoring system 10 determines the display position of the icon displayed on the monitors 50 and 50A after the display of the monitors 50 and 50A is switched. change. In this way, when the icon and another image are displayed on the monitors 50 and 50A at the same time, the display of the monitors 50 and 50A is switched, and an image different from that before the switching is displayed on the monitors 50 and 50A. In this case, it is possible to prevent the image of the portion that should be noted by the operator of the dump truck 1 from being hidden by the icon. As a result, the periphery monitoring system 10 can make the operator more surely recognize the situation of the part that the operator should be aware of.
また、周辺監視システム１０は、モニタ５０、５０Ａの表示が、撮像装置１１〜１６の少なくとも１つが撮像した画像の表示に切り替えられた場合にアイコンの表示位置を変更する。このようにすることで、撮像された画像中に存在する、ダンプトラック１のオペレータが注意すべき部分の画像がアイコンで隠されることを回避できる。その結果、周辺監視システム１０は、オペレータが注意すべき部分の画像が示す状況及び対象物を、オペレータに対してより確実に認識させることができる。このように、周辺監視システム１０は、情報を示す絵柄としてのアイコンとこれ以外の画像とが同時にモニタ５０に表示される場合において、アイコン以外の画像が他の画像に切り替えられたときに、オペレータが注意すべき部分の画像が示す状況及び対象物を確認しやすくすることができる。
Moreover, the periphery monitoring system 10 changes the display position of the icon when the display of the monitors 50 and 50A is switched to the display of an image captured by at least one of the imaging devices 11 to 16. By doing in this way, it can avoid that the image of the part which should be careful of the operator of the dump truck 1 which exists in the imaged image is hidden with an icon. As a result, the periphery monitoring system 10 can make the operator more surely recognize the situation and the object indicated by the image of the part that the operator should be aware of. As described above, when the icon as a pattern indicating information and an image other than this are displayed on the monitor 50 at the same time, the periphery monitoring system 10 allows the operator to switch the image when the image other than the icon is switched to another image. It is possible to easily confirm the situation and the object indicated by the image of the portion to be noted.
特に、周辺監視システム１０は、モニタ５０、５０Ａの表示が、撮像装置１１〜１６の少なくとも１つによって撮像された画像に切り替えられる際に、画像の切り替え後においてモニタ５０、５０Ａの画面を占める撮像された画像の比率が、画像の切り替え前よりも大きくなる場合に好ましい。このような場合、画像の切り替え後において、撮像された画像がモニタ５０、５０Ａの画面を占める面積は画像の切り替え前よりも大きくなるので、アイコンによって撮像された画像が隠される可能性が高くなるからである。周辺監視システム１０は、モニタ５０、５０Ａの表示が撮像された画像に切り替えられた後にアイコンの表示位置を移動させることができるので、撮像された画像中に存在する、オペレータが注意すべき部分がアイコンで隠されることを回避することができる。その結果、周辺監視システム１０は、アイコン以外の画像が他の画像に切り替えられたときに、オペレータが注意すべき部分を確認しやすくすることができる。
In particular, when the display of the monitors 50 and 50A is switched to an image captured by at least one of the imaging devices 11 to 16, the periphery monitoring system 10 captures an image that occupies the screens of the monitors 50 and 50A after the image is switched. This is preferable when the ratio of the obtained images is larger than before the image switching. In such a case, after the image is switched, the area where the captured image occupies the screen of the monitor 50, 50A is larger than that before the image is switched, so that the possibility that the image captured by the icon is hidden is increased. Because. Since the periphery monitoring system 10 can move the display position of the icon after the display of the monitors 50 and 50A is switched to the captured image, there is a portion that should be noted by the operator in the captured image. It is possible to avoid being hidden by an icon. As a result, the periphery monitoring system 10 can make it easier for an operator to check a portion to be noted when an image other than an icon is switched to another image.
以上、本実施形態を説明したが、上述した内容により本実施形態が限定されるものではない。また、上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
Although the present embodiment has been described above, the present embodiment is not limited to the above-described content. In addition, the above-described components include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those in a so-called equivalent range. Furthermore, the above-described components can be appropriately combined. Furthermore, various omissions, substitutions, or changes of components can be made without departing from the scope of the present embodiment.
