WO2018042567A1 - 周辺監視システム及び周辺監視装置 - Google Patents

周辺監視システム及び周辺監視装置 Download PDF

Info

Publication number
WO2018042567A1
WO2018042567A1 PCT/JP2016/075542 JP2016075542W WO2018042567A1 WO 2018042567 A1 WO2018042567 A1 WO 2018042567A1 JP 2016075542 W JP2016075542 W JP 2016075542W WO 2018042567 A1 WO2018042567 A1 WO 2018042567A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
detection area
shift lever
obstacle
Prior art date
Application number
PCT/JP2016/075542
Other languages
English (en)
French (fr)
Inventor
古渡　陽一
守飛 太田
真一 笹▲崎▼
舜 辻村
優一朗 勝山
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to PCT/JP2016/075542 priority Critical patent/WO2018042567A1/ja
Priority to JP2018506448A priority patent/JP6646135B2/ja
Publication of WO2018042567A1 publication Critical patent/WO2018042567A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a perimeter monitoring system and a perimeter monitoring device, and more particularly to a perimeter monitoring system suitable for a large work machine.
  • Patent Document 1 an object is to provide a peripheral monitoring device capable of suppressing unnecessary warnings, and “a warning area in which it is necessary to warn the driver of the presence of an obstacle according to the traveling state of the dump truck is provided.
  • a “set (summary excerpt)” work vehicle periphery monitoring device is disclosed.
  • the entire area AR is set as a warning area as shown in Fig. 5C.
  • the entire area AR is an area obtained by combining the front area FR and the rear area RR. (See paragraph 0043 of the same document). That is, when the work vehicle is stopped, the entire area including the front and rear of the work vehicle is set as a monitoring target.
  • the present invention has been made to solve the above-described problem, and when the work machine makes a transition from the stop to the start of traveling, an unnecessary warning related to an obstacle is suppressed, and there is a possibility of interference that may interfere with the start of traveling.
  • the purpose is to provide technology that can give necessary warnings to objects.
  • the present invention is equipped with a left front wheel, a right front wheel, a left rear wheel, and a right rear wheel, a shift lever that switches a traveling direction to forward or reverse, and a vehicle speed sensor that detects a vehicle speed.
  • a vehicle surroundings monitoring system that detects an object to be measured on the front, rear, left and right sides of the vehicle and generates an output signal; detects an obstacle based on the output signal;
  • a perimeter monitoring device that outputs a control signal for issuing a warning when the obstacle is in the detection area, and setting a detection area to notify that there is an alarm, and from the perimeter monitoring device
  • An alarm device that issues an alarm according to control, wherein the periphery monitoring device acquires shift lever information indicating whether the shift lever is in a forward position or a reverse position, and the shift lever is in the forward position.
  • a detection area in which a front area from the rear axle of the vehicle is set as the detection area, and a rear area from the front axle of the vehicle is set as the detection area when the shift lever is in the reverse position.
  • Vehicle speed information is acquired from the setting unit and the vehicle speed sensor, it is determined whether the vehicle is stopped based on the vehicle speed information, and when it is determined that the vehicle is stopped, the output signal of the external recognition sensor
  • An obstacle detection unit for detecting an obstacle based on the obstacle, and whether the obstacle detected by the obstacle detection unit is included in the detection area, and if included, the control signal to the alarm device And an alarm determination unit that outputs.
  • the technology when the work machine makes a transition from the stop to the start of travel, the technology can suppress unnecessary warnings related to the obstacles and perform necessary warnings for the obstacles that may interfere with the start of travel. Can be provided. Note that problems, configurations, and effects other than those described above will be clarified in the following embodiments.
  • the first embodiment will be described using an example in which a dump truck for mining is used as an example of a work machine equipped with a periphery monitoring system, and a camera is used as an obstacle sensor for detecting a peripheral obstacle.
  • the work machine is not limited to a vehicle such as a dump truck or a wheel loader on which a tire contacts the ground, but is a hydraulic excavator having a traveling body in which an endless track is formed by winding around a wheel with a shoe constructed by connecting metal plates. Even if it is a dozer, the periphery monitoring system which concerns on this embodiment is applicable by replacing the wheel in a footwear with the front and rear, right and left wheel used by the following description.
  • FIG. 1 is a left side view of the dump truck according to the first embodiment.
  • FIG. 2 is a plan view of the dump truck according to the first embodiment.
  • the dump truck 1 has a vehicle body frame 3 mounted on a left front wheel 2FL, a right front wheel 2FR, a left rear wheel 2RL, and a right rear wheel 2RR. Further, a vessel 5 and a cab 6 are mounted on the vehicle body frame 3 so as to be able to move up and down via a hoist cylinder 4.
  • the left and right side surfaces and the front and rear surfaces of the dump truck 1 are respectively a left camera 10L that images the left side from the dump truck 1, a right camera 10R that images the right side, a front camera 10F that images the front side, and a rear camera 10B that images the rear side. If the four cameras are not distinguished, a camera 10) is installed. Images generated by the left camera 10L, the right camera 10R, the front camera 10F, and the rear camera 10B are referred to as a left image, a right image, a front image, and a rear image. These images may be through images (moving images) or still images, but will be described as being through images in the present embodiment.
  • Each camera 10 is installed on the vehicle body frame 3 with the obliquely downward direction as the optical axis direction.
  • the camera 10 is used as the external recognition sensor of the dump truck 1.
  • the external recognition sensor may be a millimeter wave radar or LIDAR, and any sensor can detect an obstacle from the output signals of these sensors. It can be used in this embodiment.
  • the dump truck 1 is also installed on the front, rear, left and right sides, but the left side and right side have a plurality of millimeter wave radars and LIDARs installed so that no discontinuous areas (blind spots) occur in the detection range. Install in.
  • FIG. 3 is an explanatory diagram showing the inside of the cab.
  • a monitor 130 and a buzzer 132 are installed on the pillar 7 in the cab 6.
  • the monitor 130 displays a bird's-eye view image 250 synthesized based on images taken by the four cameras 10 and displays a marker superimposed on the bird's-eye view image when an obstacle is taken.
  • FIG. 4 is a block diagram illustrating a schematic configuration of the periphery monitoring system.
  • the periphery monitoring system 100 includes an ECU (Engine Control Unit) 190, a right camera 10R, a left camera 10L, a front camera 10F, and a rear camera that are vehicle body information acquisition sources at the input end of the periphery monitoring device 110.
  • 10B is connected, and a monitor 130 and a buzzer 132 are connected to the output end.
  • the monitor 130 and the buzzer 132 correspond to an alarm device.
  • the ECU 190 is connected to a shift lever 9 that switches the traveling direction to forward or reverse, and shift lever information indicating whether the shift lever 9 is in F (forward), R (reverse), or N (neutral) position. Input to ECU 190.
  • the peripheral monitoring device 110 acquires shift lever information via the ECU 190.
  • the dump truck 1 has a vehicle speed sensor 11.
  • the vehicle speed sensor 11 may be, for example, a sensor that detects the wheel speed of driven wheels (the left front wheel 2FL and the right front wheel 2FR) and outputs the vehicle speed based on this.
  • the vehicle speed information is input to the ECU 190.
  • the periphery monitoring device 110 acquires vehicle speed information via the ECU 190.
  • the dump truck 1 is provided with a steering angle sensor 12, detects the steering angle when the steering wheel is turned, and outputs the steering angle information indicating the detected steering angle to the ECU 190. .
  • This steering angle information is input to the periphery monitoring device 110 via the ECU 190 and is used for detection area setting processing.
  • the steering angle sensor 12 is not essential.
  • the periphery monitoring device 110 mainly includes an overhead image generation unit 120 and an alarm processing unit 140.
  • the bird's-eye view image generation unit 120 includes an image correction unit 121, a viewpoint conversion unit 122, an image composition unit 123, and an icon storage unit 124.
  • the alarm processing unit 140 includes an obstacle detection unit 141, a detection area setting unit 142, and an alarm determination unit 143.
  • the second embodiment includes a maximum steering angle information storage unit 144 that stores maximum steering angle information indicating the maximum steering angle according to the work machine or vehicle on which the periphery monitoring system 100 is mounted. It is not essential in the third embodiment.
  • the alarm determination unit 143 includes a marker superimposing unit 143a and a buzzer control unit 143b, and includes an alarm output mode in which a marker indicating an obstacle is superimposed on the monitor 130, and an alarm output mode by the buzzer 132 reporting. Combined.
  • a moving object is detected from the overhead image generated by the overhead image generation unit 120, and the moving object is extracted as an obstacle. Therefore, the moving object detection unit 141a is used as the obstacle detection unit 141.
  • the obstacle extraction condition is not limited to whether the object is a moving object.
  • a reference image storage unit 141c that stores a known image of a person or a vehicle traveling in a mine or a work machine as a reference image
  • a pattern matching processing unit 141b that performs a pattern matching process with a subject captured in an overhead image May be extracted as an obstacle having a matching degree with a reference image equal to or higher than a matching threshold for determining that the matching object is the same.
  • FIG. 5 is a flowchart showing the flow of the first half process of the periphery monitoring system according to the first embodiment.
  • FIG. 6 is a flowchart showing the flow of the second half process of the periphery monitoring system according to the first embodiment.
  • FIG. 7 is a flowchart showing the flow of the overhead image generation process.
  • FIG. 8 is an explanatory diagram showing the contents of the overhead view image generation processing.
  • FIG. 9 is an explanatory diagram showing the contents of the upper viewpoint conversion process.
  • FIG. 10 is an explanatory diagram of the detection area set in the first embodiment, where (a) shows a state in which a warning is output by both the marker M and the buzzer when the shift lever is at the forward position, and (b) ) Shows a state where the shift lever is in the forward position and the alarm is output only by the marker M, (c) shows a state where the shift lever is in the reverse position and the alarm is output by both the marker M and the buzzer, (D) shows a state in which the shift lever is in the reverse position and the alarm is output only by the marker M.
  • the process for generating the overhead image (S01 to S02) and the detection area setting process (S11 to S15) are started in parallel.
  • obstacle detection processing S21 to S30
  • the buzzer notification process S51 to S52
  • marker superimposition processing S40
  • each of the front camera 10F, the rear camera 10B, the right camera 10R, and the left camera 10L captures a video signal (through image), and the front image, the rear image, the right image, and the left An image is generated (S01) and output to the image correction unit 121.
  • the image correction unit 121 performs various image corrections such as aberration correction, contrast correction, and tone correction on the front image, the rear image, the right image, and the left image input from each camera 10.
  • the correction processing by the image correction unit 121 is not essential for the overhead image generation processing, but a through image with improved image quality of the video signal input by this processing can be generated and output to the viewpoint conversion unit 122. . As a result, the image quality of the overhead view image can be improved.
  • the viewpoint conversion unit 122 executes the overhead view image generation process based on each through image input from the image correction unit 121 (S02).
  • the overhead image generation processing will be described by taking the right image as an example with reference to FIGS. 7, 8, and 9.
  • the viewpoint conversion unit 122 cuts out an area 602 on which the viewpoint conversion process is performed from each frame 601 (see FIG. 8) included in the corrected through image of the right camera 10R (S021).
  • the viewpoint conversion unit 122 performs a coordinate conversion process on the cut-out region 602 so that the optical axis directed obliquely downward of the right camera 10R is converted into a virtual viewpoint from above (S022, FIG. 8 603).
  • the optical axis A of the objective lens of the right camera 10R (the same applies to the front camera 10F, the rear camera 10B, and the left camera 10L) has a predetermined angle ⁇ with respect to the ground surface L.
  • the viewpoint conversion unit 122 virtually sets the virtual camera 10 ⁇ / b> V to the height H such that the optical axis direction is the vertical direction. Then, the viewpoint conversion unit 122 performs coordinate conversion so that the image data of the cut-out area 602 becomes an image viewed from the virtual camera 10V (virtual upper viewpoint).
  • the image converted to the viewpoint from above is a virtual plane image.
  • the overhead image generated using the through image of the right camera 10R is referred to as a right overhead image 604.
  • the viewpoint conversion unit 122 performs viewpoint conversion processing on the front image, the rear image, and the left image in the same manner as described above, generates a right overhead image, a front overhead image, a rear overhead image, and a left overhead image, and performs image synthesis.
  • the data is output to the unit 123 (S023).
  • the image compositing unit 123 generates a composite overhead image in which four overhead images are arranged around an icon obtained by rendering the dump truck 1 in a top view (the same viewpoint as the virtual viewpoint). Specifically, a work area 610 for overhead image generation processing is secured in the graphic memory in the periphery monitoring device 110 (S024).
  • the image composition unit 123 reads the icon 612 from the icon storage unit 124 and arranges the icon 612 in the center of the work area 610 (S025).
  • the image composition unit 123 arranges the right overhead image 604 on the right side of the vehicle body in the icon 612. Similarly, in the icon 612, a front overhead image is arranged on the front side of the vehicle, a rear overhead image on the rear side of the vehicle, and a left overhead image on the left side of the vehicle (S026). Thereby, a composite overhead image 250 (hereinafter referred to as an overhead image) is generated. The generated overhead image 250 is output to the obstacle detection unit 141 of the alarm processing unit 140.
  • the detection area setting unit 142 acquires the lever position information of the shift lever 9 via the ECU 190 (S11). Then, when the shift lever is at the forward position (F) (S12 / YES), the detection area setting unit 142 sets the front region to the front detection area FE1 (see FIG. 10A) than the rear wheel axle (RS: see FIG. 10A). 10 (a)) (S13). In addition, when the shift lever is in the reverse position (R) (S12 / NO, S14 / YES), the detection area setting unit 142 sets the rear area behind the front wheel axle (FS: see FIG. 10C) as the rear detection area RE1. (See FIG. 10C) (S15).
  • the set front detection area FE1 or rear detection area RE1 is output to the alarm determination unit 143.
  • the buzzer control unit 143b of the alarm determination unit 143 employs the front detection area FE1 or the rear detection area RE1 as a detection area for a buzzer used for determining whether or not a warning sound is generated from the buzzer 132.
  • the detection area for the buzzer and the detection area for the marker are set to different areas.
  • the detection area for the marker is determined as the entire surrounding area regardless of the position of the shift lever of the dump truck 1.
  • FIG. 5 does not particularly show the step of setting the marker detection area, but the marker detection area may be determined as the entire circumference in each of S13 and S15.
  • the front detection area FE1 and the rear detection area RE1 used for the buzzer are limited to a region narrower than the entire periphery and the direction in which the dump truck 1 travels from now on.
  • the detection area for the marker is the entire circumference
  • the monitor 130 displays the marker superimposed on the obstacles around the entire circumference of the dump truck 1, and from the entire circumference immediately before the forward movement or immediately before the backward movement.
  • the buzzer can be issued only in a narrow area. Therefore, it is possible to alert the driver who has removed his / her line of sight from the monitor 130 that the obstacle may overlap in the traveling direction.
  • the speed threshold may be a threshold that can separate the background and the measured object (other vehicle, etc.) in the moving object detection process.
  • the bird's-eye view image generation unit 120 generates a synthesized bird's-eye view image at a predetermined frame rate, for example, 30 fps, and outputs it to the moving object detection unit 141a.
  • the moving object detection unit 141a performs a continuous frame comparison process, for example, a moving object detection process such as a difference process (S24), and detects a subject having a difference between frames as a moving object.
  • a moving object detection process such as a difference process (S24)
  • the presence / absence of a difference between frames is determined to be a difference if the difference amount is equal to or greater than a threshold value (may be defined by a different number of pixels) set to detect a moving object, and if it is less, there is no difference. It may be determined, and it may not be determined that there is no difference only when the difference amount is zero.
  • the moving object detection unit 141a When the moving object detection unit 141a detects a moving object (S25 / YES), the timer is set to 0 and measurement of elapsed time is started (S26). The moving object detection unit 141a counts the elapse of a specified time (which may be referred to as the specified number of frames) (S27 / NO), and after the elapse of the specified time (S27 / YES), the moving object continues to move (S28 / Yes). ), The moving object detection unit 141a determines that the moving object is an obstacle (S29), and outputs the determination result to the alarm determination unit 143.
  • a specified time which may be referred to as the specified number of frames
  • the moving object detection unit 141a determines that there is no difference between frames (S25 / No), and when a moving object is detected but does not move after the lapse of a specified time (S28 / No), if the power is OFF ( (S30 / YES) The process is terminated. If the power is not turned off, the process returns to the process start point A.
  • the marker superimposing unit 143a of the alarm determining unit 143 displays the marker on the monitor 130 by superimposing the markers on obstacles all around the dump truck 1 when the shift lever is at the F or R position and the vehicle is stopped (S41). ).
  • the buzzer control unit 143b generates a warning sound from the buzzer 132 when the obstacle in the overhead image acquired from the moving body detection unit 141a is in the front detection area FE1 or the rear detection area RE1 (S51 / YES). An output instruction signal for generation is transmitted to the buzzer 132 (S52).
  • the perimeter monitoring device sets a detection area for determining the presence or absence of a warning by the buzzer using both the shift position and the vehicle speed. Accordingly, the buzzer can be operated only when there is an obstacle that interferes when the work machine moves forward or backward immediately before the work machine changes from being stopped to moving forward or backward. Therefore, the buzzer can be operated only at the timing necessary for avoiding interference, and it is possible to suppress the driver's attention to the buzzer from being reduced by operating the buzzer unnecessarily frequently.
  • the detection area for overlapping the marker is the entire periphery, and the detection area for sounding the buzzer is made to be a narrower area.
  • a maximum steering angle is set for each model of each work machine such as a dump truck and a wheel loader, and the detection area is made larger than that in the first embodiment by further adding the maximum steering angle to the detection area setting conditions.
  • the maximum steering angle information storage unit 144 is provided in the block diagram shown in FIG.
  • FIG. 11 is an explanatory diagram of the detection area set in the second embodiment, where (a) shows a state in which the shift lever is in the forward position and an alarm is output by both the marker M and the buzzer. ) Shows a state where the shift lever is in the forward position and the alarm is output only by the marker M, (c) shows a state where the shift lever is in the reverse position and the alarm is output by both the marker M and the buzzer, (D) shows a state in which the shift lever is in the reverse position and the alarm is output only by the marker M.
  • step S13 of FIG. 5 that is, when the shift lever is in the forward position, the detection area setting unit 142 causes the left rear wheel 2RL when the dump truck 1 travels forward while turning left at the maximum steering angle.
  • the front detection area FE2 (FIGS. 11A and 11). (See (b)).
  • this front detection area FE2 as a detection area for the buzzer, the buzzer operates only when an obstacle is located in the trajectory of the left front wheel 2FL, the right front wheel 2FR, the left rear wheel 2RL, and the right rear wheel 2RR during forward travel. (See FIG. 11A). If it is outside the previous detection area FE2, the alarm output is simply a marker (see FIG. 11B).
  • step S15 that is, when the shift lever is R, when the dump truck 1 travels backward while turning left at the maximum steering angle, the 2FL trajectory FL_TR of the left front wheel and the vehicle moves backward while turning right at the maximum steering angle.
  • the area between the trajectory FR_TR of the right front wheel 2FR when traveling is set as the rear detection area RE2 (see FIGS. 11C and 11D).
  • the buzzer operates only when an obstacle is located in the trajectory of the left front wheel 2FL, the right front wheel 2FR, the left rear wheel 2RL, and the right rear wheel 2RR during reverse travel. Can be made. (Refer FIG.11 (c)).
  • it is set as an alarm output only by attaching a marker (see FIG. 11D).
  • the detection area can be further narrowed by operating the buzzer only in a region that may become a trajectory of the wheel during forward travel or reverse travel.
  • the buzzer sounds only when the risk of crushing an obstacle is higher, so the driver's attention to the buzzer can be increased.
  • the detection area setting unit 142 acquires the steering angle information output from the steering angle sensor 12 via the ECU 190, and uses these to set the detection area according to the steering angle as needed.
  • the detection area setting unit 142 stores function information represented by the following expression (1), and calculates a minimum turning radius R at the steering angle based on the steering angle information.
  • FIG. 12 shows each parameter used for the following formula (1).
  • R Minimum turning radius
  • L Shaft distance (wheelbase)
  • Tf Steering wheel range (tread)
  • ⁇ Steering angle of outer wheel
  • ⁇ Steering angle of inner wheel
  • FIG. 13 is an explanatory diagram of the detection area set in the third embodiment, where (a) shows a state where the shift lever is in the forward movement position and an alarm is output by both the marker M and the buzzer. ) Shows a state where the shift lever is in the forward position and the alarm is output only by the marker M, (c) shows a state where the shift lever is in the reverse position and the alarm is output by both the marker M and the buzzer, (D) shows a state in which the shift lever is in the reverse position and the alarm is output only by the marker M.
  • Rotational radius R corresponding to the steering angle is calculated, and as shown in FIG. 13, when moving forward, the space between the locus RL_TR of the left rear wheel 2RL and the locus RR_TR of the right rear wheel 2RR is set as the front detection area FE3.
  • a warning is output with a buzzer and a marker attached only when it is in the front detection area FE3 (FIG. 13A), and a warning only for the marker is output when it is outside the front detection area FE3 (FIG. 13B).
  • the rear detection area RE3 is set between the locus FL_TR of the left front wheel 2FL and the locus FR_TR of the right front wheel 2FR during reverse travel.
  • a warning is output with a buzzer and a marker only when it is in the rear detection area RE3 (FIG. 13C), and a warning only for the marker is output when it is outside the rear detection area RE3 (FIG. 13D). )).
  • unnecessary buzzer notification can be reduced by further limiting the detection area according to the steering angle.
  • a buzzer may be used as an alarm output mode, or only a marker for an overhead image may be used.
  • the detection area for the marker is not the entire circumference, but the front detection area and the rear detection area set by the detection area setting unit are used, and the marker is superimposed only on the obstacle included in the front detection area and the rear detection area. May be.
  • the same area may be used as the detection area for the buzzer and the detection area for the marker.
  • the obstacle when the obstacle is outside the front detection areas FE1 to FE3 or the rear detection areas RE1 to RE3 in FIGS. 11 (b), 11 (d), 13 (b), and 13 (d). May be displayed on the monitor without overlaying the marker.
  • the moving object is detected from the overhead image, but the moving object is detected from each of the right image, the left image, the front image, and the rear image, and the right image, the left image, the front image, and the rear image are displayed on the monitor.
  • a marker may be superimposed on the moving object detected from the image.
  • FIG. 14 illustrates an example in which an image generation task and an obstacle detection task are performed in parallel processing.
  • each camera captures an image and outputs a video signal (S101), and an overhead image generation process is executed (S102).
  • the generated overhead image is transferred to the obstacle detection task.
  • the generated overhead image is placed in the graphic memory constituting the hardware of the periphery monitoring device (S103).
  • the vehicle speed 0 (S104 / Yes) and the obstacle coordinates are acquired from the obstacle detection task, the obstacle coordinates are emphasized and arranged in the graphic memory (S105), and the graphic memory image is displayed on the monitor. (S106), the image generation task is terminated.
  • the graphic memory image is displayed on the monitor (S106).
  • the state of the shift lever is confirmed (S111), and if the shift lever moves forward (S112 / YES), the detection area is set before the rear axle (S113).
  • the overhead image is acquired from the overhead image generation process (S102), and the moving object detection process based on the overhead image is executed (S115).
  • S116 / Yes an elapsed time T from the detection of the moving object is measured, and when it is longer than a specified time (S117 / Yes), obstacle coordinates are calculated (S118), and an image generation task is performed. Hand over the obstacle coordinates. Then, a buzzer is issued (S119), and the obstacle detection task is terminated.
  • the elapsed time T 0 (S120), and the obstacle detection task is terminated. If the elapsed time T is less than the specified time (S117 / No), the elapsed time measurement is continued (S121), and the obstacle detection task is terminated.
  • step S114 When the shift lever is moving backward (S112 / No, S122 / Yes), the detection area is set behind the front wheel axle (S123), and the process proceeds to step S114.
  • step S114 If the shift lever is neutral (N) (S124 / Yes), the process proceeds to step S114 without setting the detection area (S125). When the shift lever is not in the neutral position (N) (S124 / No), the process ends abnormally (S126). As described above, the same working effect as that of the present embodiment can be described with another flow.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

作業車両が停車から走行開始に遷移する際において、障害物に関する不要な警告を抑制する。車両１のシフトレバーが前進位置にある場合は、車両１の後輪車軸ＲＳよりも前を検知エリアＦＥ１として設定し、シフトレバーが後進位置にある場合は、車両の前輪車軸ＦＳよりも後ろを検知エリアＲＥ１として設定し、車両が停止していると判定した場合に外界認識センサ１０の出力信号を基に障害物を検知し、障害物が検知エリア内に含まれる場合に警報出力動作を実行する。

Description

周辺監視システム及び周辺監視装置
　本発明は周辺監視システム及び周辺監視装置に関し、特に大型の作業機械に適した周辺監視システムに関する。
　特許文献１には、不要な警告を抑制可能な周辺監視装置を提供することを課題として、「ダンプトラックの走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する（要約抜粋）」作業車両の周辺監視装置が開示されている。
特開２０１２－２５９１１３号公報
　特許文献１に開示された周辺監視装置では、「走行方向が前進で車速が０より大きい場合には“前進中”と規定され、走行方向が後進で車速が０より大きい場合には“後進中”と規定され、車速が０である場合には走行方向に関わらず“停車中”と規定」されており（特許文献１の段落００４１参照）、「ダンプトラック１の走行状態が“停車中”である場合には、図５（ｃ）に示すように、全領域ＡＲを警告領域として設定する。本実施形態において、全領域ＡＲは、前方領域ＦＲと後方領域ＲＲとを合わせた領域である。」と開示されている（同文献段落００４３参照）。すなわち、作業車両が停車中の場合、作業車両の前方及び後方を含む全領域が監視対象とされている。
　そのため、例えばこれから前進しようとする際には、後方領域の障害物との干渉は生じないので前進した際に干渉する障害物に運転手の注意を集中したいという要望があるにも関らず、特許文献１の周辺監視装置では後方領域の障害物も警告対象となってしまい、不要な警告を発生させてしまうという課題が残る。
　本発明は上記課題を解決するためになされたものであり、作業機械が停車から走行開始に遷移する際において、障害物に関する不要な警告を抑制し、走行を開始すると干渉する可能性がある障害物に対して必要な警告を行える技術を提供することを目的とする。
　上記課題を解決するために、本発明は、左前輪、右前輪、左後輪、及び右後輪と、前進又は後進に走行方向を切替えるシフトレバーと、車速を検出する車速センサと、を搭載した車両の周辺監視システムであって、前記車両の前後左右にある被計測体を検出して出力信号を生成する外界認識センサと、前記出力信号を基に障害物を検知すると共に、障害物があることを知らせる警報を発報する検知エリアを設定し、前記障害物が前記検知エリア内にある場合に警報を発報させるための制御信号を出力する周辺監視装置と、前記周辺監視装置からの制御に従って警報を発報する警報装置と、を備え、前記周辺監視装置は、前記シフトレバーが前進位置又は後進位置にあるかを示すシフトレバー情報を取得し、前記シフトレバーが前進位置にある場合は、前記車両の後輪車軸よりも前方領域を前記検知エリアとして設定し、前記シフトレバーが後進位置にある場合は、前記車両の前輪車軸よりも後方領域を前記検知エリアとして設定する検知エリア設定部と、前記車速センサから車速情報を取得し、当該車速情報に基づいて前記車両が停止しているかを判定し、前記車両が停止していると判定した場合に前記外界認識センサの出力信号を基に障害物を検知する障害物検知部と、前記障害物検知部が検知した障害物が前記検知エリア内に含まれるかを判定し、含まれる場合に前記警報装置に対して前記制御信号を出力する警報判定部と、を含む、ことを特徴とする。
　本発明によれば、作業機械が停車から走行開始に遷移する際において、障害物に関する不要な警告を抑制し、走行を開始すると干渉する可能性がある障害物に対して必要な警告を行える技術を提供することができる。なお、上記した以外の課題、構成、効果は以下の実施形態において明らかにされる。
第一実施形態に係るダンプトラックの左側面図 第一実施形態に係るダンプトラックの平面図 キャブ内を示す説明図 周辺監視システムの概略構成を示すブロック図 第一実施形態に係る周辺監視システムの前半処理の流れを示すフローチャート 第一実施形態に係る周辺監視システムの後半処理の流れを示すフローチャート 俯瞰画像生成処理の流れを示すフローチャート 俯瞰画像生成処理の内容を示す説明図 仮想上方視点変換処理の内容を示す説明図 第一実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。 第二実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。 操舵時の最小回転半径の計算式の説明図 第三実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。 周辺監視システムの処理を他の表現で示したフローチャート
　以下、図面等を用いて、本発明の実施形態について説明する。以下、本発明の実施形態を説明するための全図において同一の機能を有するものは同一の符号を付け、その繰り返しの説明は省略する場合がある。
＜第一実施形態＞
　第一実施形態は、周辺監視システムを搭載する作業機械の一例として鉱山用のダンプトラックを用い、周辺障害物を検知する障害物センサとしてカメラを用いた実施形態を例に挙げて説明する。なお、作業機械はタイヤが接地するダンプトラックやホイールローダのような車両に限らず、金属板を連結して構成した履体で車輪の回りを巻いて無限軌道を形成した走行体を有する油圧ショベルやドーザであっても、履体内の車輪を下記説明で用いる前後左右車輪に読み替えることで、本実施形態に係る周辺監視システムを適用することができる。
　図１は、第一実施形態に係るダンプトラックの左側面図である。図２は、第一実施形態に係るダンプトラックの平面図である。図１、図２に示すように、ダンプトラック１は、左前輪２ＦＬ、右前輪２ＦＲ、左後輪２ＲＬ、右後輪２ＲＲ上に車体フレーム３を搭載する。更に車体フレーム３上に、ホイストシリンダ４を介して起伏自在に搭載されたベッセル５、及びキャブ６を搭載して構成される。ダンプトラック１の左右側面及び前後面にはそれぞれダンプトラック１から左方を撮像する左カメラ１０Ｌ、右方を撮像する右カメラ１０Ｒ、前方を撮像する前カメラ１０Ｆ、後方を撮像する後カメラ１０Ｂ（４台のカメラを区別しない場合はカメラ１０という）が設置される。左カメラ１０Ｌ、右カメラ１０Ｒ、前カメラ１０Ｆ、後カメラ１０Ｂの其々が撮像して生成する画像を左画像、右画像、前画像、及び後画像という。これらの画像はスルー画像（動画像）でもよいし、静止画像でもよいが、本実施形態ではスルー画像であるとして説明する。
　各カメラ１０は斜め下方を光軸方向として車体フレーム３に設置される。本実施形態ではダンプトラック１の外界認識センサとしてカメラ１０を用いるが、外界認識センサの種類はミリ波レーダやＬＩＤＡＲでもよく、これらのセンサの出力信号から障害物を検知できるセンサは種類を問わず本実施形態に用いることができる。ミリ波レーダやＬＩＤＡＲを用いる際もダンプトラック１の前後左右に設置するが、左側面及び右側面はミリ波レーダやＬＩＤＡＲを複数台設置し、検知範囲に不連続領域（盲点）が生じないように設置する。
　図３は、キャブ内を示す説明図である。キャブ６内のピラー７にモニタ１３０及びブザー１３２が設置される。モニタ１３０は４台のカメラ１０が撮像した画像を基に合成された俯瞰画像２５０を表示すると共に、その俯瞰画像に障害物が撮影されている場合にはマーカを重畳して表示する。
　次に図４を参照してダンプトラックに適用される周辺監視システムの構成について説明する。図４は、周辺監視システムの概略構成を示すブロック図である。
　図４に示すように、周辺監視システム１００は、周辺監視装置１１０の入力端に車体情報の取得先となるＥＣＵ（Ｅｎｇｉｎｅ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１９０、右カメラ１０Ｒ、左カメラ１０Ｌ、前カメラ１０Ｆ、後カメラ１０Ｂを接続すると共に、出力端にモニタ１３０及びブザー１３２を接続して構成される。モニタ１３０及びブザー１３２は警報装置に相当する。
　ＥＣＵ１９０には、前進又は後進に走行方向を切替えるシフトレバー９が接続され、シフトレバー９がＦ（前進）、Ｒ（後進）、Ｎ（ニュートラル）のいずれの位置にあるかを示すシフトレバー情報がＥＣＵ１９０に入力される。周辺監視装置１１０は、ＥＣＵ１９０を介してシフトレバー情報を取得する。
　ダンプトラック１は車速センサ１１を備える。車速センサ１１は、例えば従動輪（左前輪２ＦＬ、右前輪２ＦＲ）の車輪回転数を検出しこれを基に車速を出力するセンサを用いてもよい。車速情報はＥＣＵ１９０に入力される。周辺監視装置１１０は、ＥＣＵ１９０を介して車速情報を取得する。
　更に後述する第三実施形態では、ダンプトラック１には操舵角センサ１２が設置され、ハンドルを切ったときの操舵角を検出してＥＣＵ１９０に検出された操舵角を示す操舵角情報が出力される。この操舵角情報は、ＥＣＵ１９０を介して周辺監視装置１１０に入力され、検知エリアの設定処理に用いられる。第一実施形態及び第二実施形態では操舵角センサ１２は必須ではない。
　周辺監視装置１１０は、大きくは俯瞰画像生成部１２０と警報処理部１４０とを含む。俯瞰画像生成部１２０は、画像補正部１２１、視点変換部１２２、画像合成部１２３、及びアイコン記憶部１２４を含む。また警報処理部１４０は、障害物検知部１４１、検知エリア設定部１４２、及び警報判定部１４３を含む。更に第二実施形態では周辺監視システム１００が搭載される作業機械や車両に応じた最大操舵角を示す最大操舵角情報を記憶した最大操舵角情報記憶部１４４を備えるが、第一実施形態及び第三実施形態では必須ではない。
　本実施形態では、警報判定部１４３としてマーカ重畳部１４３ａ及びブザー制御部１４３ｂを含み、モニタ１３０上に障害物を示すマーカを重畳した警報出力態様と、ブザー１３２の発報による警報出力態様とを併用する。
　また本実施形態では、俯瞰画像生成部１２０が生成した俯瞰画像から動体を検知し、この動体を障害物として抽出する。そこで、障害物検知部１４１として動体検知部１４１ａを用いる。なお、障害物の抽出条件は動体であるか否かに限らない。例えば、人や鉱山内を走行する車両や作業機械の既知の画像を参照画像として記憶する参照画像記憶部１４１ｃと、俯瞰画像に撮像された被写体とのパターンマッチング処理を行うパターンマッチング処理部１４１ｂとを備え、参照画像とのマッチング度が同一物であると判定するためのマッチング閾値以上であるものを障害物として抽出してもよい。
　次に図５～図１０を参照して本実施形態に係る周辺監視システムの処理について説明する。図５は、第一実施形態に係る周辺監視システムの前半処理の流れを示すフローチャートである。図６は、第一実施形態に係る周辺監視システムの後半処理の流れを示すフローチャートである。図７は、俯瞰画像生成処理の流れを示すフローチャートである。図８は、俯瞰画像生成処理の内容を示す説明図である。図９は、上方視点変換処理の内容を示す説明図である。図１０は、第一実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。
　周辺監視システム１００の電源がＯＮになると、俯瞰画像を生成するための処理（Ｓ０１～Ｓ０２）及び検知エリア設定処理（Ｓ１１～Ｓ１５）が並列して開始される。そして生成された俯瞰画像及び設定された検知エリアに基づいて、障害物検知処理（Ｓ２１～Ｓ３０）が実行される。そして、障害物と検知エリアとの比較結果に基づいて警報出力処理の一態様としてブザー報知処理（Ｓ５１～Ｓ５２）が実行される。更にこれと並行してマーカ重畳処理（Ｓ４０）も実行される。以下、各処理の内容を詳述する。
　俯瞰画像を生成するための処理として、前カメラ１０Ｆ、後カメラ１０Ｂ、右カメラ１０Ｒ、左カメラ１０Ｌの各カメラは映像信号（スルー画像）を撮像して前画像、後画像、右画像、及び左画像を生成し（Ｓ０１）、画像補正部１２１に出力する。
　画像補正部１２１は各カメラ１０から入力された前画像、後画像、右画像、及び左画像に対して収差補正やコントラスト補正、色調補正等の各種の画像補正を行う。なお、画像補正部１２１による補正処理は俯瞰画像生成処理にとっては必須ではないが、本処理により入力した映像信号の画質を向上させたスルー画像を生成し、視点変換部１２２に出力することができる。その結果俯瞰画像の画質も向上させることができる。
　視点変換部１２２は、画像補正部１２１から入力した各スルー画像に基づいて俯瞰画像生成処理を実行する（Ｓ０２）。以下、図７、図８、図９を参照して右画像を例に挙げて俯瞰画像の生成処理について説明する。
　視点変換部１２２は、右カメラ１０Ｒの補正後のスルー画像に含まれる各フレーム６０１（図８参照）から視点変換処理を施す領域６０２を切り出す（Ｓ０２１）。
　次に視点変換部１２２は、切り出した領域６０２に対し、右カメラ１０Ｒの斜め下方に向いた光軸が、上方からの仮想的な視点に変換となるように座標変換処理を行う（Ｓ０２２、図８の符号６０３参照）。
　図９に示すように、右カメラ１０Ｒ（前カメラ１０Ｆ、後カメラ１０Ｂ、左カメラ１０Ｌも同様である）の対物レンズの光軸Ａは、地表Ｌに対して所定角度θを有している。視点変換部１２２は、光軸方向が垂直方向となるような仮想カメラ１０Ｖを高さＨに仮想的に設定する。そして視点変換部１２２は、切り出した領域６０２の画像データを、仮想カメラ１０Ｖ（仮想上方視点）からみた画像となるように座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像となる。右カメラ１０Ｒのスルー画像を用いて生成した俯瞰画像を右俯瞰画像６０４という。
　視点変換部１２２は、前画像、後画像、及び左画像に対しても上記と同様に視点変換処理を行い、右俯瞰画像、前俯瞰画像、後俯瞰画像、左俯瞰画像を生成し、画像合成部１２３に出力する（Ｓ０２３）。
　画像合成部１２３はダンプトラック１を上面視（仮想視点と同じ視点）で図形化したアイコンの周囲に４つの俯瞰画像を配置した合成俯瞰画像を生成する。具体的には、周辺監視装置１１０内のグラフィックメモリ内に俯瞰画像生成処理用のワークエリア６１０を確保する（Ｓ０２４）。
　次に画像合成部１２３は、アイコン記憶部１２４からアイコン６１２を読み出し、ワークエリア６１０の中央にアイコン６１２を配置する（Ｓ０２５）。
　そして、画像合成部１２３は、アイコン６１２における車体右側に、右俯瞰画像６０４を配置する。同様にアイコン６１２における車両前側に前俯瞰画像、車両後ろ側に後俯瞰画像、車両左側に左俯瞰画像を配置する（Ｓ０２６）。これにより、合成俯瞰画像２５０（以下、俯瞰画像という）が生成される。生成された俯瞰画像２５０は、警報処理部１４０の障害物検知部１４１に出力される。
　一方、検知エリア設定部１４２は、ＥＣＵ１９０経由でシフトレバー９のレバーポジション情報を取得する（Ｓ１１）。そして、検知エリア設定部１４２は、シフトレバーが前進位置（Ｆ）にある場合（Ｓ１２／ＹＥＳ）、後輪車軸（ＲＳ：図１０（ａ）参照）よりも前方領域を前検知エリアＦＥ１（図１０（ａ）参照）に設定する（Ｓ１３）。また検知エリア設定部１４２は、シフトレバーが後進位置（Ｒ）にある場合（Ｓ１２／ＮＯ、Ｓ１４／ＹＥＳ）、前輪車軸（ＦＳ：図１０（ｃ）参照）よりも後方領域を後検知エリアＲＥ１（図１０（ｃ）参照）に設定する（Ｓ１５）。設定した前検知エリアＦＥ１、又は後検知エリアＲＥ１は警報判定部１４３に出力される。警報判定部１４３のブザー制御部１４３ｂは、前検知エリアＦＥ１、又は後検知エリアＲＥ１をブザー１３２から警告音を発生させるか否かの判定に用いるブザー用の検知エリアとして採用する。
　シフトレバーが中立位置（Ｎ）の場合は（Ｓ１４／ＮＯ）、ブザー用の検知エリアを設定することなく処理開始点Ａに戻る。
　本実施形態では、ブザー用の検知エリアとマーカ用の検知エリアとは異なる領域に設定する。マーカ用の検知エリアはダンプトラック１のシフトレバーの位置に関らず全周囲領域として決定しておく。そのため、図５では特にマーカ用の検知エリアを設定するステップを図示していないが、Ｓ１３、Ｓ１５のそれぞれにおいてマーカ用の検知エリアを全周囲と決定してもよい。一方、上述のごとく、ブザー用に用いる前検知エリアＦＥ１と後検知エリアＲＥ１は、全周囲よりも狭い領域、かつこれからダンプトラック１が走行する方向に限定する。このように、マーカ用の検知エリアは全周囲とすることでモニタ１３０にはダンプトラック１の全周囲にある障害物にマーカを重畳して表示すると共に、前進直前また後進直前には全周囲よりも狭いエリアに限定してブザーを発報させることができる。そのため、モニタ１３０から視線を外した運転手にも障害物が走行方向に重なる可能性があることについて注意喚起をすることができる。
　障害物検知部１４１の動体検知部１４１ａは、ＥＣＵ１９０から車速情報を取得し（Ｓ２１）、車速＝０、即ち停車していると判定した場合は（Ｓ２２／ＹＥＳ）、俯瞰画像に対して動体検知処理を実行する（Ｓ２４）。なお停止判定に用いる速度閾値はＶ＝０に限定されず、停止していると見做せる速度閾値を設定しておき、これ未満の場合は停止していると見做してもよい。この速度閾値は、動体検知処理において背景と被計測体（他車両等）が分離できる程度の閾値を用いてもよい。
　車速が０でない、即ち走行中であると判定した場合（Ｓ２２／ＮＯ）、電源ＯＦＦでなければ（Ｓ２３／ＮＯ）、処理開始点Ａに戻り、俯瞰画像生成処理及び検知エリア設定処理を再開する。
　俯瞰画像生成部１２０は予め決められたフレームレート、例えば３０ｆｐｓで合成俯瞰映像を生成して動体検知部１４１ａに出力する。
　動体検知部１４１ａは、連続するフレームの比較処理、例えば差分処理等による動体検知処理を実行し（Ｓ２４）、フレーム間で差分がある被写体は動体として検知する。ここでフレーム間の差分の有無は、差分量が動体と検知するために設定した閾値（異なる画素数で定義されてもよい）以上であれば差分ありと判定し、未満であれば差分なしと判定してもよく、差分量が０の場合のみを差分なしと判定しなくてもよい。
　動体検知部１４１ａが動体を検知すると（Ｓ２５／ＹＥＳ）、タイマーを０に設定して経過時間の計測を開始する（Ｓ２６）。動体検知部１４１ａは、規定時間（規定フレーム数と言い換えてもよい）の経過をカウントし（Ｓ２７／ＮＯ）、規定時間経過後（Ｓ２７／ＹＥＳ）、動体が動き続けている場合（Ｓ２８／Ｙｅｓ）、動体検知部１４１ａは動体を障害物と判定し（Ｓ２９）、判定結果を警報判定部１４３に出力する。
　一方、動体検知部１４１ａがフレーム間で差分がないと判定した場合（Ｓ２５／Ｎｏ）、及び動体を検知したものの規定時間経過後は動いていない場合（Ｓ２８／Ｎｏ）、電源ＯＦＦであれば（Ｓ３０／ＹＥＳ）処理を終了し、電源ＯＦＦでなければ処理開始点Ａへ戻る。
　警報判定部１４３のマーカ重畳部１４３ａは、シフトレバーがＦ又はＲ位置にあり、かつ停車中はダンプトラック１の全周囲にある障害物に対してマーカを重畳してモニタ１３０に表示する（Ｓ４１）。
　またブザー制御部１４３ｂは、動体検知部１４１ａから取得した俯瞰画像内の障害物のが、前検知エリアＦＥ１内、又は後検知エリアＲＥ１内にある場合（Ｓ５１／ＹＥＳ）、ブザー１３２から警告音を発生させるための出力指示信号をブザー１３２に送信する（Ｓ５２）。
　上記処理によれば、シフトレバーがＦにあり、かつ障害物が前検知エリアＦＥ１内にある場合は、マーカＭ及びブザーの双方による警報出力がされる（図１０（ａ）参照）。シフトレバーがＦにあり、かつ障害物が前検知エリアＦＥ１外にある場合は、マーカＭのみによる警報出力がされ（図１０（ｂ）参照）、ブザーは鳴らない。
　一方、シフトレバーがＲにあり、かつ障害物が後検知エリアＲＥ１内にある場合は、マーカ及びブザーの双方による警報出力がされる（図１０（ｃ）参照）。シフトレバーがＲにあり、かつ障害物が後検知エリアＲＥ１外にある場合は、マーカＭのみによる警報出力がされ（図１０（ｄ）参照）、ブザーは鳴らない。
　本実施形態によれば、周辺監視装置がシフトポジションと車速とを併用してブザーによる警告の有無を判断するための検知エリアを設定する。これにより、作業機械が停止中から前進、又は後進へ遷移する直前に、作業機械が前進又は後進すると干渉する障害物が存在する場合に限りブザーを動作させることができる。そのため、ブザーを干渉回避に必要なタイミングに限って動作させることができ、不必要に頻回に動作することで運転手のブザーに対する注意力が低下することを抑制できる。
　また、本実施形態ではマーカとブザーとを併用するものの、マーカを重畳するための検知エリアは全周囲とし、ブザーを鳴らすための検知エリアはそれよりも狭い領域となるように異ならせる。これにより、運転手がモニタを見ている場合には、全周囲にある障害物の存在及び動く方向を確認できる。そして、シフトレバーをＦ又はＲに入れて作業機械の移動を開始しようとする際は、一般に運転手が走行方向を確認するためにモニタから視線を外すことが多いが、この間は、聴覚を用いた警告を行うことで障害物と干渉する危険性を通知することができる。
＜第二実施形態＞
　第二実施形態は、ダンプトラック、ホイールローダ等の各作業機械の機種毎に最大操舵角を設定し、最大操舵角を検知エリアの設定条件に更に加えることで第一実施形態よりも検知エリアを狭く限定する実施形態である。第二実施形態では図４に示すブロック図において最大操舵角情報記憶部１４４を備える。
　第二実施形態における検知エリア設定部１４２の処理内容について図１１を用いて説明する。図１１は、第二実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。
　本実施形態では図５のステップＳ１３、即ちシフトレバーが前進位置にある場合に、検知エリア設定部１４２は、ダンプトラック１が最大操舵角で左に旋回しながら前進走行した場合の左後輪２ＲＬの軌跡ＲＬ＿ＴＲと、ダンプトラック１が最大操舵角で右に旋回しながら前進走行した場合の右後輪２ＲＲの軌跡ＲＲ＿ＴＲとの間を前検知エリアＦＥ２として設定する（図１１（ａ）、図１１（ｂ）参照）。この前検知エリアＦＥ２をブザー用の検知エリアとして用いることで、前進時に左前輪２ＦＬ、右前輪２ＦＲ、左後輪２ＲＬ、右後輪２ＲＲの軌跡内に障害物が位置する場合にのみブザーを動作させることができる（図１１（ａ）参照）。前検知エリアＦＥ２外にある場合はマーカを付けるだけの警報出力とする（図１１（ｂ）参照）。
　またステップＳ１５、即ちシフトレバーがＲのときは、ダンプトラック１が最大操舵角で左に旋回しながら後進走行した場合の左前輪の２ＦＬの軌跡ＦＬ＿ＴＲ及、最大操舵角で右に旋回しながら後進走行した場合の右前輪２ＦＲの軌跡ＦＲ＿ＴＲとの間を後検知エリアＲＥ２として設定する（図１１（ｃ）、図１１（ｄ）参照）。この後検知エリアＲＥ２をブザー用の検知エリアとして用いることで、後進時に左前輪２ＦＬ、右前輪２ＦＲ、左後輪２ＲＬ、右後輪２ＲＲの軌跡内に障害物が位置する場合にのみブザーを動作させることができる。（図１１（ｃ）参照）。後検知エリアＲＥ２外にある場合はマーカを付けるだけの警報出力とする（図１１（ｄ）参照）。
　本実施形態によれば、前進時、また後進時の車輪の軌跡となる可能性がある領域内に限ってブザーを動作させることで、より検知エリアを狭くすることができる。これにより、障害物を踏みつぶす危険性が更に高い場合に限ってブザーが鳴るので、ブザーに対する運転手の注意力を増すことができる。
＜第三実施形態＞
　第三実施形態は検知エリア設定部１４２がＥＣＵ１９０経由で操舵角センサ１２が出力した操舵角情報を取得し、これらを用いて操舵角に応じた検知エリアを随時設定する態様である。
　検知エリア設定部１４２は下式（１）に示す関数情報を記憶しておき、操舵角情報を基にその操舵角における最小回転半径Ｒを計算する。図１２は、下式（１）に用いる各パラメータを示す。
Figure JPOXMLDOC01-appb-M000001
  
ただし
Ｒ：最小回転半径
Ｌ：軸距（ホイールベース）
Ｔｆ：舵取り車輪の輪距（トレッド）
α：外側車輪のかじ取角度
β：内側車輪のかじ取角度
　図１３は、第三実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。
　操舵角に応じた回転半径Ｒを算出し、図１３に示すように前進時には左後輪２ＲＬの軌跡ＲＬ＿ＴＲと右後輪２ＲＲの軌跡ＲＲ＿ＴＲとの間を前検知エリアＦＥ３に設定する。前検知エリアＦＥ３にある場合にのみブザー及びマーカを付けて警報を出力し（図１３（ａ））、前検知エリアＦＥ３外にある場合はマーカのみの警報を出力する（図１３（ｂ））。同様に後進時には左前輪２ＦＬの軌跡ＦＬ＿ＴＲと右前輪２ＦＲの軌跡ＦＲ＿ＴＲとの間を後検知エリアＲＥ３に設定する。そして、後検知エリアＲＥ３にある場合にのみブザー及びマーカを付けて警報を出力し（図１３（ｃ））、後検知エリアＲＥ３外にある場合はマーカのみの警報を出力する（図１３（ｄ））。
　本実施形態によれば、操舵角に応じて更に検知エリアを限定することで、不要なブザー報知を減らすことができる。
　上記実施形態は本発明を限定するものではなく、本発明の趣旨を逸脱しない様々な変更例は本発明に含まれるものである。例えば、警報出力態様としてブザーだけを用いてもよいし、俯瞰画像に対するマーカのみを用いてもよい。その場合、マーカ用の検知エリアは全周囲ではなく、検知エリア設定部が設定した前検知エリア、及び後検知エリアを用い、前検知エリア、及び後検知エリアに含まれる障害物にのみマーカを重畳してもよい。
　更に、ブザー用の検知エリア及びマーカ用の検知エリアは同一のエリアを用いてもよい。この場合、図１１（ｂ）、図１１（ｄ）、図１３（ｂ）、及び図１３（ｄ）において、障害物が前検知エリアＦＥ１～ＦＥ３、又は後検知エリアＲＥ１～ＲＥ３外にある場合はマーカを重畳しないでモニタに表示してもよい。
　更に俯瞰画像から動体を検知したが、右画像、左画像、前画像、及び後画像の其々から動体を検知し、右画像、左画像、前画像、及び後画像をモニタに表示し、各画像から検知した動体に対してマーカを重畳してもよい。
　また、上述の図５に示す処理フローは一例にであって、図１４に示す他例であってもよい。以下、図１４に従って、他例に係る処理フローについて説明する。図１４では、画像生成タスクと障害物検知タスクとを並列処理で行う例について説明する。
　画像生成タスクでは、各カメラが撮像して映像信号を出力し（Ｓ１０１）、俯瞰画像生成処理が実行される（Ｓ１０２）。生成された俯瞰画像は障害物検知タスクに引き渡される。
　画像生成タスクでは生成された俯瞰画像を周辺監視装置のハードウェアを構成するグラフィックメモリに配置する（Ｓ１０３）。ここで車速＝０であり（Ｓ１０４／Ｙｅｓ）、障害物検知タスクから障害物座標を取得すると、グラフィックメモリに障害物座標を強調して配置し（Ｓ１０５）、グラフィックメモリの映像がモニタに表示され（Ｓ１０６）、画像生成タスクを終了する。車速＝０でない場合（Ｓ１０４／Ｎｏ）、グラフィックメモリの映像がモニタに表示される（Ｓ１０６）。
　障害物検知タスクでは、シフトレバーの状態を確認し（Ｓ１１１）、シフトレバーが前進であれば（Ｓ１１２／ＹＥＳ）、検知エリアを後輪車軸よりも前に設定する（Ｓ１１３）。
　ここで車速＝０であれば（Ｓ１１４／Ｙｅｓ）、俯瞰画像生成処理（Ｓ１０２）から俯瞰画像を取得し、俯瞰画像に基づく動体検知処理が実行される（Ｓ１１５）。動体を検知すると（Ｓ１１６／Ｙｅｓ）、動体を検知してからの経過時間Ｔを計測し、それが規定時間以上の場合（Ｓ１１７／Ｙｅｓ）、障害物座標を算出し（Ｓ１１８）、画像生成タスクに障害物座標を受け渡す。そしてブザーを発報し（Ｓ１１９）、障害物検知タスクを終了する。
　動体を検知しない場合は（Ｓ１１６／Ｎｏ）、経過時間Ｔ＝０であり（Ｓ１２０）、障害物検知タスクを終了する。また、経過時間Ｔが規定時間未満の場合（Ｓ１１７／Ｎｏ）、経過時間の計測を続行し（Ｓ１２１）、障害物検知タスクを終了する。
　シフトレバーが後進の場合（Ｓ１１２／Ｎｏ、Ｓ１２２／Ｙｅｓ）、検知エリアを前輪車軸よりも後ろに設定し（Ｓ１２３）、ステップＳ１１４へ進む。
　シフトレバーが中立（Ｎ）の場合（Ｓ１２４／Ｙｅｓ）、検知エリアを設定することなく（Ｓ１２５）、ステップＳ１１４へ進む。シフトレバーが中立（Ｎ）にもない場合は（Ｓ１２４／Ｎｏ）、異常終了する（Ｓ１２６）。上記のように、本実施形態と同様の作業効果を、別のフローで説明することも可能である。
１：ダンプトラック、１０：カメラ、１００：周辺監視システム、１１０：周辺監視装置

Claims (8)

  1. 　左前輪、右前輪、左後輪、及び右後輪と、前進又は後進に走行方向を切替えるシフトレバーと、車速を検出する車速センサと、を搭載した車両の周辺監視システムであって、
    　前記車両の前後左右にある被計測体を検出して出力信号を生成する外界認識センサと、
    　前記出力信号を基に障害物を検知すると共に、障害物があることを知らせる警報を発報する検知エリアを設定し、前記障害物が前記検知エリア内にある場合に警報を発報させるための制御信号を出力する周辺監視装置と、
    　前記周辺監視装置からの制御に従って警報を発報する警報装置と、を備え、
    　前記周辺監視装置は、
    　前記シフトレバーが前進位置又は後進位置にあるかを示すシフトレバー情報を取得し、前記シフトレバーが前進位置にある場合は、前記車両の後輪車軸よりも前方領域を前記検知エリアとして設定し、前記シフトレバーが後進位置にある場合は、前記車両の前輪車軸よりも後方領域を前記検知エリアとして設定する検知エリア設定部と、
    　前記車速センサから車速情報を取得し、当該車速情報に基づいて前記車両が停止しているかを判定し、前記車両が停止していると判定した場合に前記外界認識センサの出力信号を基に障害物を検知する障害物検知部と、
    　前記障害物検知部が検知した障害物が前記検知エリア内に含まれるかを判定し、含まれる場合に前記警報装置に対して前記制御信号を出力する警報判定部と、を含む、
    　ことを特徴とする周辺監視システム。
  2. 　請求項１に記載の周辺監視システムにおいて、
    　前記車両の最大操舵角を示す最大操舵角情報を記憶する最大操舵角情報記憶部を更に備え、
    　前記検知エリア設定部は、
    　前記シフトレバーが前進位置にある場合は、前記車両が最大操舵角で左に旋回しながら前進走行した場合の前記左後輪の軌跡と前記車両が最大操舵角で右に旋回しながら前進走行した場合の前記右後輪の軌跡との間を検知エリアとして設定し、
    　前記シフトレバーが後進位置にある場合は、前記車両が最大操舵角で左に旋回しながら後進走行した場合の前記左前輪の軌跡と前記車両が最大操舵角で右に旋回しながら後進走行した場合の前記右前輪の軌跡との間を検知エリアとして設定する、
    　ことを特徴とする周辺監視システム。
  3. 　請求項１に記載の周辺監視システムにおいて、
    　前記車両の操舵角を検出し、その操舵角を示す操舵角情報を出力する操舵角センサを更に備え、
    　前記検知エリア設定部は、
    　前記シフトレバーが前進位置にある場合は、前記車両が前記操舵角に従って旋回しながら前進走行したと想定した場合の前記左後輪の軌跡と前記右後輪の軌跡との間を検知エリアとして設定し、
    　前記シフトレバーが後進位置にある場合は、前記車両が前記操舵角に従って旋回しながら後進走行したと想定した場合の前記左前輪の軌跡と前記右前輪の軌跡との間を検知エリアとして設定する、
    　ことを特徴とする周辺監視システム。
  4. 　請求項１に記載の周辺監視システムにおいて、
    　前記警報装置は、警告音を発生するブザーを含み、
    　前記警報判定部は、前記障害物が前記検知エリアに含まれる場合に前記ブザーに対して警告音の出力指示信号を送信するブザー制御部を含んで構成される、
    　ことを特徴とする周辺監視システム。
  5. 　請求項１に記載の周辺監視システムにおいて、
    　前記外界認識センサは前記車両の前方を撮像して前画像を生成する前カメラ、前記車両の右方を撮像して右画像を生成する右カメラ、前記車両の左方を撮像して左画像を生成する左カメラ、及び前記車両の後方を撮像して後画像を生成する後カメラを含み、
    　前記警報装置は、前記前カメラ、前記右カメラ、前記左カメラ、及び前記後カメラが撮像した画像データに基づく画像を表示するモニタを含み、
    　前記警報判定部は、前記モニタに表示される画像において、前記検知エリア内にある障害物が撮像された領域にマーカを重畳するマーカ重畳部を含んで構成される、
    　ことを特徴とする周辺監視システム。
  6. 　請求項５に記載の周辺監視システムにおいて、
    　前記前画像、前記右画像、前記左画像、及び前記後画像を仮想上方視点からみた画像に座標変換し、前記車両を前記仮想上方視点からみた俯瞰画像を生成する俯瞰画像生成部を更に備え、
    　前記障害物検知部は、前記俯瞰画像に撮像された動体を検知する動体検知部を含む、
    　ことを特徴とする周辺監視システム。
  7. 　左前輪、右前輪、左後輪、及び右後輪と、前進又は後進に走行方向を切替えるシフトレバーと、車速を検出する車速センサと、を搭載した車両の周辺監視システムであって、
    　前記車両の前方を撮像して前画像を生成する前カメラ、前記車両の右方を撮像して右画像を生成する右カメラ、前記車両の左方を撮像して左画像を生成する左カメラ、及び前記車両の後方を撮像して後画像を生成する後カメラと、
    　前記前画像、前記右画像、前記左画像、前記後画像を基に障害物を検知すると共に、障害物があることを知らせる警報を発報する検知エリアを設定し、前記障害物が前記検知エリア内にある場合に警報を発報させるための制御信号を出力する周辺監視装置と、
    　警告音を発生するブザーと、
    　障害物が撮像された画像を表示するモニタと、
    を備え、
    　前記周辺監視装置は、
    　前記前画像、前記右画像、前記左画像、及び前記後画像を仮想上方視点からみた画像に座標変換し、前記車両を前記仮想上方視点からみた俯瞰画像を生成する俯瞰画像生成部と、
    　前記車速センサから車速情報を取得し、当該車速情報に基づいて前記車両が停止しているかを判定し、前記車両が停止していると判定した場合に前記俯瞰画像から動体を検知する動体検知部と、
    　前記シフトレバーが前進位置又は後進位置にあるかを示すシフトレバー情報を取得し、前記シフトレバーが前進位置にある場合は、前記車両の後輪車軸よりも前方領域を前記検知エリアとして設定し、前記シフトレバーが後進位置にある場合は、前記車両の前輪車軸よりも後方領域を前記検知エリアとして設定する検知エリア設定部と、
    　前記動体が前記検知エリア内に含まれるかを判定し、含まれる場合に前記ブザーに対して警告音の出力指示信号を送信するブザー制御部と、
    　前記俯瞰画像の全周囲領域内に撮像された前記動体にマーカを重畳するマーカ重畳部と、を含む、
    　ことを特徴とする周辺監視システム。
  8. 　左前輪、右前輪、左後輪、及び右後輪と、前進又は後進に走行方向を切替えるシフトレバーと、車速を検出する車速センサと、車両の前後左右にある被計測体を検出して出力信号を生成する外界認識センサとを備えた車両に搭載される周辺監視装置であって、
    　前記シフトレバーが前進位置又は後進位置にあるかを示すシフトレバー情報を取得し、前記シフトレバーが前進位置にある場合は、前記車両の後輪車軸よりも前方領域を検知エリアとして設定し、前記シフトレバーが後進位置にある場合は、前記車両の前輪車軸よりも後方領域を前記検知エリアとして設定する検知エリア設定部と、
    　前記車速センサから車速情報を取得し、当該車速情報に基づいて前記車両が停止しているかを判定し、前記車両が停止していると判定した場合に、前記外界認識センサの出力信号を基に障害物を検知する障害物検知部と、
    　前記障害物検知部が検知した障害物が前記検知エリア内に含まれるかを判定し、含まれる場合に警報を発報させるための制御信号を出力する警報判定部と、を含む、
    　ことを特徴とする周辺監視装置。
PCT/JP2016/075542 2016-08-31 2016-08-31 周辺監視システム及び周辺監視装置 WO2018042567A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/075542 WO2018042567A1 (ja) 2016-08-31 2016-08-31 周辺監視システム及び周辺監視装置
JP2018506448A JP6646135B2 (ja) 2016-08-31 2016-08-31 周辺監視システム及び周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/075542 WO2018042567A1 (ja) 2016-08-31 2016-08-31 周辺監視システム及び周辺監視装置

Publications (1)

Publication Number Publication Date
WO2018042567A1 true WO2018042567A1 (ja) 2018-03-08

Family

ID=61301799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/075542 WO2018042567A1 (ja) 2016-08-31 2016-08-31 周辺監視システム及び周辺監視装置

Country Status (2)

Country Link
JP (1) JP6646135B2 (ja)
WO (1) WO2018042567A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066228A1 (ja) * 2018-09-28 2020-04-02 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
JP2020117068A (ja) * 2019-01-23 2020-08-06 酒井重工業株式会社 建設車両の障害物検知装置
WO2021010258A1 (ja) * 2019-07-18 2021-01-21 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
JP7374602B2 (ja) 2019-03-29 2023-11-07 日立建機株式会社 作業車両

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008149878A (ja) * 2006-12-18 2008-07-03 Clarion Co Ltd 運転支援装置
JP2010148058A (ja) * 2008-12-22 2010-07-01 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2010218058A (ja) * 2009-03-13 2010-09-30 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2013232091A (ja) * 2012-04-27 2013-11-14 Fujitsu Ltd 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2015079299A (ja) * 2013-10-15 2015-04-23 株式会社デンソー 運転支援装置
JP2016134001A (ja) * 2015-01-20 2016-07-25 富士通テン株式会社 画像生成装置、画像生成方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008149878A (ja) * 2006-12-18 2008-07-03 Clarion Co Ltd 運転支援装置
JP2010148058A (ja) * 2008-12-22 2010-07-01 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2010218058A (ja) * 2009-03-13 2010-09-30 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2013232091A (ja) * 2012-04-27 2013-11-14 Fujitsu Ltd 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2015079299A (ja) * 2013-10-15 2015-04-23 株式会社デンソー 運転支援装置
JP2016134001A (ja) * 2015-01-20 2016-07-25 富士通テン株式会社 画像生成装置、画像生成方法及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7239291B2 (ja) 2018-09-28 2023-03-14 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
US11657688B2 (en) 2018-09-28 2023-05-23 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle periphery monitoring method
US11663891B2 (en) 2018-09-28 2023-05-30 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle periphery monitoring method
WO2020066228A1 (ja) * 2018-09-28 2020-04-02 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
EP3828865A4 (en) * 2018-09-28 2022-04-27 Komatsu Ltd. WORK VEHICLE ENVIRONMENT MONITORING SYSTEM AND METHOD
CN112639915A (zh) * 2018-09-28 2021-04-09 株式会社小松制作所 作业车辆的周边监视系统及作业车辆的周边监视方法
JP2020057113A (ja) * 2018-09-28 2020-04-09 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
US11562635B2 (en) 2018-09-28 2023-01-24 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle periphery monitoring method
JP2020117068A (ja) * 2019-01-23 2020-08-06 酒井重工業株式会社 建設車両の障害物検知装置
JP7312555B2 (ja) 2019-01-23 2023-07-21 酒井重工業株式会社 建設車両の障害物検知装置
JP7374602B2 (ja) 2019-03-29 2023-11-07 日立建機株式会社 作業車両
JP2021019253A (ja) * 2019-07-18 2021-02-15 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
WO2021010258A1 (ja) * 2019-07-18 2021-01-21 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
JP7308089B2 (ja) 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Also Published As

Publication number Publication date
JPWO2018042567A1 (ja) 2018-08-30
JP6646135B2 (ja) 2020-02-14

Similar Documents

Publication Publication Date Title
WO2018042567A1 (ja) 周辺監視システム及び周辺監視装置
JP6267972B2 (ja) 作業機械の周囲監視装置
JP5421072B2 (ja) 接近物体検知システム
US10878253B2 (en) Periphery monitoring device
JP2001195699A (ja) 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体
US11321911B2 (en) Method for representing the surroundings of a vehicle
US9357180B2 (en) Vehicle driving assist device
JP2018130970A (ja) 運転支援装置
JPWO2010122639A1 (ja) 走行支援装置
JP2019537160A (ja) 牽引車列の車両周辺を監視する方法及び監視システム
JPWO2019202627A1 (ja) 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法
JP6352797B2 (ja) 作業機械の周囲監視装置
JP5169912B2 (ja) 駐車支援装置
JP6401141B2 (ja) 車両周囲障害物検出装置
JP5617396B2 (ja) 運転支援装置
JP2009012717A (ja) 走行軌跡表示装置
JP2005276057A (ja) ノーズビューモニタ装置
WO2016092925A1 (ja) 接近車両検出装置
JP7271908B2 (ja) 周辺監視装置
JP4821347B2 (ja) 脇見運転防止装置
JP6465919B2 (ja) 障害物検知システム
JP2011211432A (ja) 車載用撮像装置
JP2007142765A (ja) 車両周辺監視装置
JP2000016181A (ja) カメラ付ドアミラー及び車両周辺認識システム
JP2007251880A (ja) 車両用画像表示装置および画像合成方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018506448

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16915128

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16915128

Country of ref document: EP

Kind code of ref document: A1