WO2017085989A1 - 自己位置推定装置の異常検知装置及び車両 - Google Patents

自己位置推定装置の異常検知装置及び車両 Download PDF

Info

Publication number
WO2017085989A1
WO2017085989A1 PCT/JP2016/076353 JP2016076353W WO2017085989A1 WO 2017085989 A1 WO2017085989 A1 WO 2017085989A1 JP 2016076353 W JP2016076353 W JP 2016076353W WO 2017085989 A1 WO2017085989 A1 WO 2017085989A1
Authority
WO
WIPO (PCT)
Prior art keywords
self
feature point
measuring device
coordinate system
vehicle
Prior art date
Application number
PCT/JP2016/076353
Other languages
English (en)
French (fr)
Inventor
幸彦 小野
石本 英史
航 田中
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to US15/770,363 priority Critical patent/US10712451B2/en
Priority to CN201680059522.6A priority patent/CN108139755B/zh
Priority to EP16865992.8A priority patent/EP3379363B1/en
Publication of WO2017085989A1 publication Critical patent/WO2017085989A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/22Multipath-related issues
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/50Determining position whereby the position solution is constrained to lie upon a particular curve or surface, e.g. for locomotives on railway tracks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled

Definitions

  • the present invention relates to a technique for detecting an abnormality of a self-position estimation device mounted on a vehicle.
  • Patent Document 1 describes “a GPS receiver that receives a GPS signal and measures a vehicle position, and a vehicle traveling direction and distance.
  • An autonomous navigation computing unit that measures the vehicle position and orientation, a position measuring unit that computes the current position and orientation based on the positioning results of the GPS receiver and the autonomous navigation computing unit, and a preset travel route.
  • a roadside belt that measures the distance from the vehicle to a roadside belt provided on the side of the travel route in a travel control device for an unmanned vehicle that includes a travel control unit that controls the vehicle travel based on a comparison result with the current position and direction.
  • a distance measuring device is provided, and the position measuring unit determines the positioning position of the GPS receiver and / or the positioning position of the autonomous navigation computing unit based on the roadside band distance measured by the roadside band distance measuring device.
  • Patent Document 1 needs to acquire and record terrain information in advance in order to detect anomalies in positioning data by GPS using terrain information along the travel route. Therefore, when traveling in a place where the terrain shape is not known, the invention described in Patent Document 1 has a problem that it is impossible to detect abnormality of positioning data by GPS. Especially in mines, the topography tends to change due to the collapse of the embankments that make up the shoulder and the face. Therefore, in a dump truck for mining, there is a great need for a technology that can detect an abnormality in the self-position estimation process with high followability to a change in topography.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of detecting an abnormality of a self-position estimation device mounted on a vehicle without acquiring terrain information in advance.
  • the present application includes a plurality of means for solving the above-described problems.
  • the abnormality detection device for a self-position estimation device that is mounted on a vehicle and estimates a self-position defined by an absolute coordinate system
  • the first A first feature point coordinate calculation unit that calculates coordinates of each feature point represented in a coordinate system of a measuring device, converts the coordinates into an external coordinate system using the self-position, and calculates a first coordinate
  • a feature point trajectory generating unit that generates a trajectory defined in the external coordinate system of the feature point group, and measurement of the first measurement device in the feature point group of the peripheral structure From the characteristic points measured by the first measuring device at the time Based on the feature point located behind the traveling direction and the output from the
  • Schematic configuration diagram of an autonomous traveling system of a mining work machine in which a dump truck equipped with an abnormality detection device according to the present embodiment operates Block diagram showing the configuration of the dump truck It is a schematic plan view which shows the installation position of a front rider and a back rider, (a) shows the state which installed the front rider and the back rider ahead of the dump truck, (b) shows the front rider in front of the dump truck. The state where the rear rider is installed behind the dump truck is shown. It is explanatory drawing which shows the running environment of a dump truck and the feature point detection example of a surrounding structure, (a) shows running environment, (b) shows the process example which detects a feature point from the output of a front rider.
  • Explanatory drawing of abnormality detection processing of self-position estimation device Flow chart showing the operation flow of the abnormality detection device Explanatory drawing which shows the example of calculation of the locus
  • the schematic perspective view which shows each scanning surface of the front rider and back rider which concerns on 2nd Embodiment. Schematic plan view showing each scan plane of the front rider and the rear rider according to the second embodiment
  • FIG. 1 is a schematic configuration diagram of an autonomous traveling system of a mining work machine in which a dump truck equipped with an abnormality detection device according to the present embodiment operates.
  • An autonomous traveling system 1 shown in FIG. 1 includes a dump truck 10 as an example of a mining work machine that autonomously travels, and a control server 20 installed in the vicinity of a quarry or in a remote control center via a wireless communication line 4. Configured by communication connection. Inside the mine, a loading place 61 for loading the earth and sand ore excavated by the excavator 30 and excavating the dump truck 10, an earthing place 62 for releasing the luggage carried by the dump truck 10, and a loading place 61 and a transport path 60 connecting the earthing ground 62 are installed.
  • the dump truck 10 receives control control information from the control server 20 via the wireless communication line 4 and autonomously travels on the transport path 60 at a predetermined travel speed according to the control control information.
  • This embodiment is a mining work machine equipped with a self-position estimation device that estimates self-position by an external coordinate system using inertial data such as GPS positioning data and inertial measurement unit (IMU: Internal Measurement Unit).
  • IMU Inertial measurement unit
  • the kind is not ask
  • the present invention may be applied not only to mining work machines but also to passenger cars that travel on ordinary roads such as public roads and private roads.
  • the surrounding structure may be a card rail along the road or a building beside the road.
  • a side wall in the tunnel may be used as a peripheral structure.
  • FIG. 2 is a block diagram showing the configuration of the dump truck.
  • 3A and 3B are schematic plan views showing the mounting positions of the front rider and the rear rider.
  • FIG. 3A shows a state where both the front rider and the rear rider are installed in front of the dump truck, and FIG. In the front of the truck, the rear rider is shown installed behind the dump truck.
  • the dump truck 10 controls a self-position estimation device 11 that estimates a self-position based on an external coordinate system (global coordinate system) and a vehicle drive device that causes the dump truck 10 to autonomously travel using the estimated self-position. Is provided, and a communication device 13 that performs communication between the dump truck 10 and the control server 20 is provided.
  • a self-position estimation device 11 that estimates a self-position based on an external coordinate system (global coordinate system) and a vehicle drive device that causes the dump truck 10 to autonomously travel using the estimated self-position.
  • a communication device 13 that performs communication between the dump truck 10 and the control server 20 is provided.
  • the self-position estimation device 11 calculates the self-position of the external coordinate system (global coordinate system) based on the GPS positioning data received from the GPS antenna 14.
  • the self-position estimation device 11 detects the vehicle speed based on the output from the IMU 15, the output from the steering angle sensor 16 that detects the inclination (steering angle) of the front wheel axle, and the rotation speed of the wheels (driven wheels) of the dump truck 10.
  • the GPS-derived self-position information is corrected, and more accurate self-position estimation processing is performed.
  • the self-location information is output to the vehicle control device 12 and used for autonomous traveling control, or output to the communication device 13 and transmitted to the control server 20.
  • the control server 20 uses the received self-location information for traffic control processing.
  • a front rider 2a (corresponding to a first measuring device) that detects the front of the dump truck 10 in the traveling direction is installed on the left side of the front.
  • a straight line formed by a measurement point on the road surface A to which the laser light emitted from the front rider 2a arrives, that is, the scan surface of the front rider 2a and the road surface A is an intersection line L1a (corresponding to the first road surface scan line).
  • a rear rider 2b (corresponding to a second measuring device) is provided on the right front side of the dump truck 10.
  • a straight line formed by a measurement point on the road surface A to which the laser light emitted from the rear rider 2b arrives, that is, the scan surface of the rear rider 2b and the road surface A is an intersection line L1b (second road surface scan line).
  • the front rider 2a and the rear rider 2b are installed on the dump truck 10 at positions and attachment angles at which the intersection lines L1a and L1b are parallel to each other.
  • Each of the front rider 2a and the rear rider 2b scans the measurement points on the road surface A by gradually changing the irradiation direction of the laser light at a predetermined angle, for example, every 0.25 degrees.
  • the distance to the road surface A for each predetermined angle is measured on each scan plane of the rider 2a and the rear rider 2b.
  • Each of the front rider 2a and the rear rider 2b has an angular resolution of, for example, 0.25 degrees, and the resolution between measurement points at a point 30 m away is 1 m.
  • the front rider 2a is attached to the front of the dump truck 10
  • the rear rider 2b is attached to the rear of the dump truck 10
  • the scan surface of the front rider 2a is front and the scan face of the rear rider 2b is You may install in the dump truck 10 with the attachment angle which faces back.
  • the installation positions of the front rider 2a and the rear rider 2b are not limited to the example of FIG. 3 as long as the scan planes of the two riders are displaced in the front-rear direction of the traveling direction of the dump truck 10.
  • the vehicle control device 12 includes, for example, a braking device, a drive torque limiting device for limiting a rotational torque command value for driving wheels, and a steering control device (all not shown) that changes the steering angle of the dump truck 10.
  • the control command signal for the device is output.
  • the dump truck 10 further includes an abnormality detection device 18 that detects whether there is an abnormality in the self-position calculated by the self-position estimation device 11 using the outputs of the front rider 2a and the rear rider 2b.
  • the abnormality detection device 18 is a storage device such as a ROM (Read Only Memory) or a HDD (Hard Disk Drive) that stores a program executed by the abnormality detection device 18 in addition to an arithmetic / control device such as a CPU (Central Processing Unit).
  • arithmetic / control device such as a CPU (Central Processing Unit).
  • hardware including a RAM (Random Access Memory) that is a work area when the CPU executes the program, a first shoulder detection unit 181, a shoulder trace generation unit 182, a second shoulder detection unit 183, and an abnormality determination It is configured by cooperation with software that realizes each function of the unit 184.
  • a partial area of the storage device of the abnormality detection device 18 is generated by a first road shoulder storage unit 185 and a road shoulder trajectory generation unit 182 that store road shoulder point information defined in the external coordinate system detected by the first road shoulder detection unit 181.
  • the road shoulder locus storage unit 186 is configured to store the road shoulder locus information. Details of processing executed by the first shoulder detection unit 181, the shoulder trace generation unit 182, the second shoulder detection unit 183, and the abnormality determination unit 184 will be described later.
  • FIGS. 4A and 4B are explanatory diagrams showing a driving environment of the dump truck and an example of feature point detection of surrounding structures, where FIG. 4A shows the driving environment, and FIG. 4B shows a processing example of detecting a feature point from the output of the front rider. Indicates.
  • the dump truck 10 travels autonomously on a road surface A such as a travel route provided in advance in the mine.
  • a road shoulder B is provided along the road surface A on the side of the road surface A of the mine.
  • the road shoulder B is an embankment that is provided at least on the side where the dump truck 10 travels, for example, on the left side in the traveling direction, and has a predetermined height dimension and width dimension, and is separated from the travel position of the dump truck 10 by, for example, about 30 m. .
  • the road shoulder B is used as a peripheral structure located around the traveling route of the dump truck 10. And the junction part of the road surface A and the road shoulder B among the road shoulders B is used as the feature point P of a surrounding structure.
  • the first road shoulder detection unit 181 is a first road shoulder scan formed by a line connecting the first road surface scanning line L1a and a reflection point from the slope of the road shoulder B facing the dump truck 10, that is, an intersection line between the scan surface 40a and the slope.
  • the line L2a is calculated.
  • the first road shoulder detection unit 181 detects an intersection of the first road surface scanning line L1a and the first road shoulder scanning line L2a as a road shoulder feature point Pa formed by a joint portion of the road surface A and the road shoulder B (FIG. 4B). )reference).
  • the road shoulder feature point Pa here is defined by a sensor coordinate system indicating the relative position of the front rider 2a.
  • the second road shoulder detection unit 183 performs the same processing as described above based on the output from the rear rider 2b, and detects a road shoulder feature point Pb (see FIG. 7) defined by the sensor coordinate system.
  • FIG. 5 is an explanatory diagram of the abnormality detection process of the self-position estimation apparatus.
  • GPS positioning data may contain large errors due to multipath effects.
  • the self-position estimation device 11 compares the self-position derived from the IMU and the GPS positioning position, and if the difference is small, fuses the two data (case 1), and if the difference is large, The positioning position is not adopted (Case 2). As a result, outliers of the GPS positioning position that occur suddenly due to the multipath are excluded.
  • the self-position estimating device 11 when the GPS positioning error gradually increases and the deviation between the estimated position obtained by odometry and the GPS positioning position is smaller than the threshold value, the self-position estimating device 11 indicates the error.
  • the correction based on the included GPS positioning position is performed, and an error with respect to the true value of the self-position output from the self-position estimation device 11 may increase.
  • This embodiment is characterized by detecting an abnormality in the self-position estimation apparatus 11 even in the case 3.
  • FIG. 6 is a flowchart showing an operation flow of the abnormality detection apparatus.
  • the self-position estimation device 11 calculates the self-position based on the GPS positioning data received from the GPS antenna 14, and uses the output from the IMU 15, the steering angle sensor 16, and the vehicle speed sensor 17. Correction is performed and the self-position defined in the external coordinate system is calculated (S01).
  • the road surface A and shoulder B are measured by the front rider 2a of the dump truck 10, and the measurement data is output to the first shoulder detection unit 181 (S11).
  • the first road shoulder detection unit 181 detects a road shoulder feature point Pa based on measurement data obtained by the front rider 2a. Further, the first road shoulder detection unit 181 detects the distance to the road shoulder feature point Pa based on the measurement data by the front rider 2a, and uses the self-position (external coordinate system) based on the GPS positioning data calculated in step 01 to By (1), the coordinate value of the road shoulder feature point Pa in the sensor coordinate system is converted into the coordinate value of the external coordinate system (road shoulder feature point Pa ′, corresponding to the first coordinate). Therefore, the first road shoulder detection unit 181 corresponds to a first feature point coordinate calculation unit.
  • the first road shoulder detection unit 181 stores the coordinates of the road shoulder feature point Pa 'in the first road shoulder storage unit 185 (S12).
  • the vehicle body center coordinate system an orthogonal three-axis system consisting of a vehicle longitudinal axis, a lateral axis perpendicular to the longitudinal axis in the vehicle body width direction, and a vertical axis perpendicular to the longitudinal axis and the lateral axis in the right-handed coordinate system.
  • System Radar irradiation angle xa axis, ya axis orthogonal to xa axis in radar scan plane, za axis perpendicular to xa axis and ya axis in right hand coordinate system
  • the road shoulder trajectory generation unit 182 reads the road shoulder feature point Pa ′ stored in the first road shoulder storage unit 185, arranges it along the time series in which the first coordinates of the road shoulder feature point Pa ′ are measured, and displays the trajectory of the first coordinate. It is generated and stored in the shoulder track storage unit (S13). This trajectory indicates a point sequence of the road shoulder feature point Pa 'defined in the external coordinate system.
  • the coordinates of the road shoulder feature point Pa ' are the coordinates of points detected with a time interval at least equal to or greater than the GPS sampling rate when the sampling rate of the front rider 2a ⁇ the GPS sampling rate. Accordingly, the road shoulder trajectory generation unit 182 reads the points of the road shoulder characteristic points Pa ′ in a time series, and performs, for example, spline interpolation between the points to obtain the path of the road shoulder characteristic points Pa ′ defined in the absolute coordinate system. Ask.
  • FIG. 7 is an explanatory diagram showing a calculation example of the trajectory of the road shoulder feature point Pa ′.
  • the self-position estimating device 11 estimates the self-position.
  • the locus of the self position is indicated by a symbol Z_tr. Since the road shoulder feature point Pa ′ is obtained by adding the relative position of the dump truck 10 and the road shoulder feature point Pa to the self position, the shape of the trajectory Pa′_tr of the road shoulder feature point Pa ′ and the locus of the self position are represented by the shape of the symbol Z_tr.
  • the shape of the trajectory Pa′_tr of the road shoulder feature point Pa ′ and the locus of the self position are represented by the shape of the symbol Z_tr.
  • the second road shoulder detection unit 183 detects the road shoulder feature point Pb based on the measurement data by the rear rider 2b, and uses the self-position (external coordinate system) based on the GPS positioning data calculated in step 01 according to the following equation (2).
  • the position of the road shoulder feature point Pb in the external coordinate system is calculated (S22).
  • the second shoulder detection unit 183 converts the coordinates of the road shoulder feature point Pb defined in the sensor coordinate system of the rear rider 2b measured by the rear rider 2b into an absolute coordinate system, and converts the road shoulder feature point Pb ′ (second coordinate). Since it is calculated, it corresponds to a second feature point coordinate calculation unit.
  • the road shoulder feature point Pb ′ is also converted into an absolute coordinate system using its own position. Therefore, if the self position is normally estimated, the road shoulder feature point Pb ′ is the locus Pa ′ of the road shoulder feature point Pa ′. Located on _tr. Therefore, this verification is performed in the next step.
  • Abnormality determination unit 184 compares the 'trajectory Pa'_tr and shoulder feature point Pb of the' shoulder feature points Pa, their deviation D (see FIG. 8), when it is determined that exceeds the threshold D th (S31 / Yes ) Assuming that an abnormality has occurred in the self-position estimation device 11, a stop control instruction signal for causing the vehicle control device 12 to stop the dump truck 10 is output (S32).
  • the threshold value D th is a threshold value defined by a distance or a coordinate shift amount for determining that the road shoulder feature point Pb ′ is on the trajectory Pa′_tr of the road shoulder feature point Pa ′.
  • the vehicle control device 12 controls a braking device and a drive torque limiting device (not shown) to stop the dump truck 10. Possible causes of abnormalities in the self-position estimation device 11 include failure of the IMU 15, the steering angle sensor 16, or the vehicle speed sensor 17 in addition to the influence of multipath on the GPS positioning data.
  • the abnormality determination unit 184 determines that the deviation between the path of the road shoulder feature point Pa and the road shoulder feature point Pb is equal to or less than the threshold value Dth (S31 / No), the abnormality determination unit 184 determines that the self-position estimation device 11 is normal. Return to step S01.
  • FIG. 8 is an explanatory diagram showing a comparison process between the path Pa′_tr of the road shoulder feature point Pa ′ and the road shoulder feature point Pb ′.
  • the second road shoulder detection unit 183 detects the difference from the true value at time t n ⁇ 1 .
  • a rear road shoulder feature point Pb ′ is calculated using the self-position including the deviation. That is, in the final term of the above-described equation (2), the self-position including the deviation from the true value is used for conversion from the sensor coordinate system to the absolute coordinate system.
  • the feature point of the surrounding structure is detected by the front rider and the feature point coordinates defined in the sensor coordinate system are calculated.
  • coordinate conversion to the absolute coordinate system is performed using the self-position calculated in the absolute coordinate system, and a locus is generated.
  • the trajectory is a teaching coordinate series, and this is compared with the feature point coordinates detected by the rear rider. If the deviation is large (if there is a deviation that is not considered correct), it is detected by the rear rider. It can be seen that there is an abnormality (deviation from the true value) in the self-position used when converting the feature point to the absolute coordinate system.
  • the occurrence of abnormality in the self-position estimation device can be detected using the measurement points of the front rider obtained during travel. That is, according to the present embodiment, the coordinates of the feature point calculated by the expression (2) at a certain time point and the coordinates (more precisely, the locus) of the feature point calculated by the expression (1) at a slightly earlier time point are obtained. Since the comparison is performed, the comparison is made at a point just before the error starts to be added to the GPS positioning data, and it is possible to determine whether or not there is an error even in the case 3 of FIG.
  • FIG. 9 is a schematic perspective view showing each scan plane of the front rider and the rear rider according to the second embodiment.
  • FIG. 10 is a schematic plan view showing each scan plane of the front rider and the rear rider according to the second embodiment.
  • the second embodiment differs from the first embodiment in that the first embodiment has a dump truck so that the first road scanning line L1a of the front rider 2a and the second road scanning line L1b of the rear rider 2b are parallel to each other. 10, the second embodiment is configured so that the first road surface scanning line L1a and the second road surface scanning line L1b intersect with each other in front of the vehicle and within the vehicle width, and the front rider 2a, The rear rider 2b is installed.
  • the same or corresponding parts as those in the first embodiment are denoted by the same reference numerals.
  • the first road surface scanning line L1a and the second road surface scanning line L1b are crossed at an intersection G at the front position.
  • the distance Ds between the dump truck 10 and the road shoulder B increases, the distance W between the road shoulder feature point Pa and the road shoulder feature point Pb increases.
  • the running speed is set low.
  • the traveling speed is set high.
  • the abnormality detection sensitivity of the self-position estimation device 11 decreases as the vehicle runs at a high speed. On the other hand, when traveling at low speed, the abnormality detection sensitivity of the self-position estimation device 11 becomes too high, and it may be determined that the abnormality is more frequent than necessary.
  • the distance W between the road shoulder feature point Pa and the road shoulder feature point Pb becomes longer as the vehicle moves away from the road shoulder, thereby preventing a decrease in the abnormality detection sensitivity of the self-position estimation device 11 during high speed traveling. be able to.
  • the interval can be constant. That is, when traveling at low speed, control is performed so that the intersection G is closer to the dump truck 10 and the laser irradiation angle with respect to the road surface of each rider is reduced as the speed increases, so that the intersection G is farther from the dump truck 10.
  • the abnormality detection of the self-position estimation apparatus 11 can be performed at regular time intervals.
  • the abnormality detection result of the self-position estimation device 11 may be transmitted to the control server 20 via the communication device 13 instead of or together with the stop control.
  • the control server 20 stores a reception history of abnormality detection results. And when the abnormality detection result is received from different dump trucks 10 in the same / near section on the conveyance path, the cause of the abnormality is not the self-position estimation device 11 of each dump truck 10 or the sensor mounted on the vehicle, It can be estimated that the cause is multipath of GPS positioning data. In this case, stop control of the dump truck 10 from the next time can be avoided by performing self-position estimation with the output value of the IMU using the self-position derived from GPS as an outlier in that section.
  • the front rider 2a and the rear rider 2b are a plurality of sensors configured separately, but the same location as the first measurement device that measures a road shoulder using a multi-layer laser scanner, a stereo camera, or the like.
  • the second measuring device that measures the above may be constituted by one sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

車両が走行する路面の周辺構造物上にある進行方向に沿って並ぶ特徴点群の内の各特徴点及び自車両の相対位置を計測する第一計測装置(2a)からの出力に基づいて、第一計測装置の座標系で表された各特徴点の座標を求め、それを自己位置を用いて外部座標系に変換して第一座標を算出する第一特徴点座標算出部(181)と、第一座標を基に特徴点群の軌跡を生成する特徴点軌跡生成部(182)と、第一計測装置(2a)の計測時刻において第一計測装置(2a)が計測した特徴点よりも後方の特徴点及び自車両の相対位置を計測する第二計測装置(2b)からの出力に基づいて、第二計測装置の座標系で表された特徴点の座標を求め、それを自己位置を用いて外部座標系に変換して第二座標を算出する第二特徴点座標算出部(183)と、軌跡上に第二座標が無い場合に自己位置推定装置に異常があると判定する異常判定部(184)とを備える。

Description

自己位置推定装置の異常検知装置及び車両
 本発明は、車両に搭載された自己位置推定装置の異常を検知する技術に関する。
 GPS(Global Positioning System)信号を用いた自己位置は、マルチパス等の外乱要因によって誤差が生じる場合がある。そこで、自己位置推定処理に発生した異常を検知するための技術の一例として、特許文献1には「GPS信号を受信して車両位置を測位するGPS受信器と、車両の走行方向及び距離に基づいて車両位置及び方位を測位する自律航法演算器と、GPS受信器及び自律航法演算器のそれぞれの測位結果に基づき現在位置及び方位を演算する位置計測部と、予め設定された走行経路と演算された現在位置及び方位との比較結果に基づき車両走行を制御する走行制御部とを備えた無人車両の走行制御装置において、車両から走行経路の脇に設けた路側帯までの距離を計測する路側帯距離計測器を設け、前記位置計測部は、路側帯距離計測器により計測した路側帯距離に基づき、GPS受信器の測位位置、及び/又は、自律航法演算器の測位位置と方位との少なくとも一方を補正して現在位置と方位を求める(要約抜粋)」、「管制制御部から走行経路に沿った地形情報を入力し、入力した地形情報と路側帯距離計測器からの測位データとの差異情報に基づきデータ異常判定を行う(特許文献1の明細書段落0021から抜粋)」ことが開示されている。
米国特許第6751535号明細書抜粋
 特許文献1は、走行経路に沿った地形情報を用いてGPSによる測位データの異常検出を行うため、地形情報を事前に取得し記録しておく必要がある。従って、地形形状がわからない場所を走行する際には特許文献1記載発明ではGPSによる測位データの異常検出が行えないという課題がある。特に鉱山では路肩を構成する土盛りの崩れや切羽などに起因して地形が変化しやすい。そこで鉱山用のダンプトラックにおいては、地形の変化に対して高い追従性で自己位置推定処理の異常が検知できる技術に対するニーズは高い。
 本発明は上記課題に鑑みてなされたものであり、事前に地形情報を取得しなくとも、車両に搭載した自己位置推定装置の異常検知が行える技術を提供することを目的とする。
 上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両に搭載され、絶対座標系で定義された自己位置を推定する自己位置推定装置の異常検知装置において、前記車両が走行する路面の周辺構造物上にある進行方向に沿って並ぶ特徴点群の内の各特徴点及び自車両の相対位置を計測する第一計測装置からの出力に基づいて、前記第一計測装置の座標系で表された前記各特徴点の座標を求め、その座標を前記自己位置を用いて外部座標系に変換して第一座標を算出する第一特徴点座標算出部と、前記第一座標を基に、前記特徴点群の前記外部座標系で定義された軌跡を生成する特徴点軌跡生成部と、前記周辺構造物の前記特徴点群の内、前記第一計測装置の計測時刻において前記第一計測装置が計測した特徴点よりも進行方向後方に位置する特徴点及び自車両の相対位置を計測する第二計測装置からの出力に基づいて、前記第二計測装置の座標系で表された前記進行方向後方に位置する特徴点の座標を求め、その座標を前記自己位置を用いて外部座標系に変換して第二座標を算出する第二特徴点座標算出部と、前記特徴点群の前記外部座標系で定義された軌跡及び前記第二座標の偏差が、前記軌跡上に前記第二座標があると見做すために定められた閾値を上回ると、前記自己位置推定装置に異常があると判定する異常判定部と、を備えることを特徴とする。
 本発明により、事前に地形情報を取得しなくとも、車両に搭載した自己位置推定装置の異常検知が行える技術を提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本実施形態に係る異常検知装置を搭載したダンプトラックが稼働する鉱山用作業機械の自律走行システムの概略構成図 ダンプトラックの構成を示すブロック図 前方ライダー及び後方ライダーの設置位置を示す概略平面図であって、(a)はダンプトラックの前方に前方ライダー及び後方ライダーを設置した状態を示し、(b)はダンプトラックの前方に前方ライダーを、ダンプトラックの後方に後方ライダーを設置した状態を示す。 ダンプトラックの走行環境と周辺構造物の特徴点検出例を示す説明図であり、(a)は走行環境を示し、(b)は前方ライダーの出力から特徴点を検出する処理例を示す。 自己位置推定装置の異常検知処理の説明図 異常検知装置の動作の流れを示すフローチャート 路肩特徴点Pa’の軌跡の算出例を示す説明図 路肩特徴点Pa’の軌跡と路肩特徴点Pb’との比較処理を示す説明図 第2実施形態に係る前方ライダー及び後方ライダーの各スキャン面を示す概略斜視図 第2実施形態に係る前方ライダー及び後方ライダーの各スキャン面を示す概略平面図
 以下、本発明の実施形態について図面を参照しながら説明する。図1は、本実施形態に係る異常検知装置を搭載したダンプトラックが稼働する鉱山用作業機械の自律走行システムの概略構成図である。
<第1実施形態>
 図1に示す自律走行システム1は、自律走行する鉱山用作業機械の一例としてのダンプトラック10と、採石場の近傍若しくは遠隔の管制センタに設置された管制サーバ20とを無線通信回線4を介して通信接続して構成される。鉱山内には、ショベル30が掘削作業を行いダンプトラック10に掘削した土砂や鉱石を積込む積込場61と、ダンプトラック10が運搬した荷物を放土する放土場62と、積込場61及び放土場62を連結する搬送路60とが設置される。ダンプトラック10は、無線通信回線4を介して管制サーバ20から管制制御情報を受信し、それに従って搬送路60上を予め定められた走行速度で自律走行する。
 以下の説明ではダンプトラック10に本発明に係る異常検知装置を搭載し、搬送路60の周辺構造物として路肩を用いて異常検知を行う例について説明するが、車両例や周辺構造物例はダンプトラックや路肩に限定されない。本実施形態は、GPS測位データや慣性計測装置(IMU:Inertial Measurement Unit)等の慣性データを用いて外部座標系による自己位置を推定する自己位置推定装置を搭載する鉱山用作業機械であれば、その種類は問わない。例えばショベル30やドーザ71、散水車72のように、GPS受信機を搭載して自己位置情報を受信する作業機械に本発明を適用してもよい。この場合、積込場61では積込場61の周囲に存在する切羽や崖を周辺構造物として用いてもよい。
 更に鉱山用作業機械に限らず、公道や私道などの一般道を通行する乗用車に本発明を適用してもよい。この場合、周辺構造物は道路沿いのカードレールや道路脇のビルでもよい。またトンネル内では、周辺構造物としてトンネル内の側壁を用いてもよい。
 図2はダンプトラックの構成を示すブロック図である。図3は前方ライダー及び後方ライダーの取付位置を示す概略平面図であって、(a)は前方ライダー及び後方ライダーを共にダンプトラックの前方に設置した状態を示し、(b)は前方ライダーがダンプトラックの前方に、後方ライダーはダンプトラックの後方に設置した状態を示す。
 ダンプトラック10は、外部座標系(グローバル座標系)による自己位置を推定する自己位置推定装置11と、推定した自己位置を用いてダンプトラック10に自律走行をさせるための車両駆動装置に対し制御指令を出力する車両制御装置12と、ダンプトラック10と管制サーバ20との間の通信を行う通信装置13とを備える。
 自己位置推定装置11は、GPSアンテナ14から受信したGPS測位データを基に外部座標系(グローバル座標系)の自己位置を算出する。自己位置推定装置11は、IMU15からの出力、前輪車軸の傾き(操舵角)を検知する操舵角センサ16からの出力、及びダンプトラック10の車輪(従動輪)の回転数を基づく車速を検知する車速センサ17からの出力を用いて、GPS由来の自己位置情報を補正し、より高精度な自己位置推定処理を行う。自己位置情報は車両制御装置12に出力され自律走行制御に用いられたり、通信装置13に出力され管制サーバ20に送信されたりする。管制サーバ20では、受信した自己位置情報を交通管制処理に用いる。
 また、ダンプトラック10の走行経路の周辺構造物とダンプトラック10との相対位置を検出するセンサとして二つのライダーを備える。図3(a)の例では、ダンプトラック10の進行方向前方を検出する前方ライダー2a(第一計測装置に相当する)が前方左側に設置される。前方ライダー2aから照射するレーザ光が到達する路面A上の計測点がなす直線、すなわち前方ライダー2aのスキャン面と路面Aとが交線L1a(第一路面走査線に相当する)である。
 ダンプトラック10の前方右側に、後方ライダー2b(第二計測装置に相当する)が備えられる。後方ライダー2bから照射するレーザ光が到達する路面A上の計測点がなす直線、すなわち後方ライダー2bのスキャン面と路面Aとが交線L1b(第二路面走査線)である。前方ライダー2a及び後方ライダー2bは交線L1a、L1bが互いに平行となる位置及び取付角度でダンプトラック10に設置される。
 前方ライダー2a及び後方ライダー2bのそれぞれは、レーザ光の照射方向を予め定めた所定の角度、例えば0.25度毎に徐々に変化させて路面A上の計測点を走査していき、これら前方ライダー2a及び後方ライダー2bの各スキャン面において、所定の角度毎の路面Aまでの距離を計測する。前方ライダー2a及び後方ライダー2bのそれぞれは、例えば0.25度の角度分解能を有し、30m離れた地点での計測点間の分解能が1mである。
 また、図3(b)に示すように、前方ライダー2aはダンプトラック10の前方、後方ライダー2bはダンプトラック10の後方に取り付け、前方ライダー2aのスキャン面が前方、後方ライダー2bのスキャン面が後方を向く取付角度でダンプトラック10に設置してもよい。このように、前方ライダー2a及び後方ライダー2bの設置位置は二つのライダーのスキャン面がダンプトラック10の進行方向の前後方向にずれていればよく、図3の例には限定されない。
 車両制御装置12は、例えば制動装置、駆動輪に対する回転トルク指令値を制限するための駆動トルク制限装置、及びダンプトラック10の操舵角を変更する操舵制御装置(いずれも不図示)を含む車両駆動装置に対する制御指令信号を出力する。
 更にダンプトラック10は、前方ライダー2a、後方ライダー2bの出力を用いて自己位置推定装置11が算出した自己位置に異常がないかを検知する異常検知装置18を備える。
 異常検知装置18は、CPU(Central Processing Unit)等の演算・制御装置の他、異常検知装置18で実行されるプログラムを格納するROM(Read Only Memory)やHDD(Hard Disk Drive)等の記憶装置、また、CPUがプログラムを実行する際の作業領域となるRAM(Random Access Memory)を含むハードウェアと、第一路肩検出部181、路肩軌跡生成部182、第二路肩検出部183、及び異常判定部184の各機能を実現するソフトウェアとが協働することにより構成される。また異常検知装置18の記憶装置の一部領域は、第一路肩検出部181が検出した外部座標系で定義された路肩点情報を格納する第一路肩記憶部185、路肩軌跡生成部182が生成した路肩軌跡情報を格納する路肩軌跡記憶部186を構成する。上記第一路肩検出部181、路肩軌跡生成部182、第二路肩検出部183、及び異常判定部184が実行する処理の詳細は後述する。
 図4は、ダンプトラックの走行環境と周辺構造物の特徴点検出例を示す説明図であり、(a)は走行環境を示し、(b)は前方ライダーの出力から特徴点を検出する処理例を示す。
 ダンプトラック10は図4(a)に示すように、鉱山に予め設けられた走行経路等の路面Aを自律運転で走行する。鉱山の路面Aの側部には、路面Aに沿って路肩Bが設けられている。路肩Bは、少なくともダンプトラック10が走行する側、例えば進行方向左側に設けられ、所定の高さ寸法および幅寸法を有する構造の盛土であり、ダンプトラック10の走行位置から例えば30mほど離れている。本実施形態では路肩Bをダンプトラック10の走行経路の周辺に位置する周辺構造物として用いる。そして路肩Bのうち、路面Aと路肩Bとの接合部を周辺構造物の特徴点Pとして用いる。
 第一路肩検出部181は、第一路面走査線L1a、及び路肩Bのダンプトラック10に対向する斜面からの反射点を結ぶ線、すなわちスキャン面40aと斜面との交線からなる第一路肩走査線L2aを算出する。
 更に、第一路肩検出部181は、第一路面走査線L1aと第一路肩走査線L2aとの交点を路面Aと路肩Bとの接合部からなる路肩特徴点Paとして検出する(図4(b)参照)。なお、ここでの路肩特徴点Paは前方ライダー2aの相対位置を示すセンサ座標系で定義される。
 第二路肩検出部183は、後方ライダー2bからの出力に基づいて上記と同様の処理を行い、センサ座標系により定義された路肩特徴点Pb(図7参照)を検出する。
 図5を参照して、本実施形態に係る自己位置推定装置11の異常検知処理の概要について説明する。図5は、自己位置推定装置の異常検知処理の説明図である。
 ダンプトラック10が山壁のそばを走行するときなど、マルチパスの影響でGPS測位データに大きな誤差が含まれる場合がある。このとき、自己位置推定装置11は、IMU由来の自己位置とGPS測位位置とを比較し、その差が小さい場合には2つのデータを融合し(ケース1)、差が大きい場合には、GPS測位位置を採用しない(ケース2)。これにより、マルチパスの影響で突発的に生じたGPS測位位置の外れ値を除外する。
 一方、図5のケース3のように、GPS測位誤差が少しずつ大きくなり、オドメトリで求めた推定位置とGPS測位位置との偏差が閾値より小さい場合には、自己位置推定装置11は、誤差を含んだGPS測位位置による補正を行うこととなり、自己位置推定装置11から出力される自己位置の真値に対する誤差が大きくなることがある。本実施形態は、ケース3のような場合にも自己位置推定装置11の異常を検知することに特徴がある。
 図6を参照して、本実施形態に係る自己位置推定装置の異常検知装置を用いた異常検知処理について説明する。図6は、異常検知装置の動作の流れを示すフローチャートである。
 ダンプトラック10が起動すると、自己位置推定装置11はGPSアンテナ14から受信したGPS測位データに基づく自己位置を算出し、それに対してIMU15からの出力、操舵角センサ16、及び車速センサ17を用いて補正を行い、外部座標系で定義された自己位置を算出する(S01)。
 ダンプトラック10の前方ライダー2aにて路面A及び路肩Bを測定し、測定データを第一路肩検出部181に出力する(S11)。
 第一路肩検出部181は、前方ライダー2aによる測定データ基づき、路肩特徴点Paを検出する。更に第一路肩検出部181は、前方ライダー2aによる測定データに基づき路肩特徴点Paまでの距離を検出し、ステップ01で算出したGPS測位データに基づく自己位置(外部座標系)を用いて下式(1)によりセンサ座標系の路肩特徴点Paの座標値を外部座標系の座標値(路肩特徴点Pa’、第一座標に相当する)に変換する。従って、第一路肩検出部181は、第一特徴点座標算出部に相当する。
 第一路肩検出部181は、路肩特徴点Pa’の座標を第一路肩記憶部185に記憶させる(S12)。
(外部座標系の路肩特徴点Pa’の座標)=(前方ライダー2aのセンサ座標系から車体中心座標系への座標変換行列)(前方ライダー2aのセンサ座標系による路肩特徴点Paの座標ベクトル)+(車体中心座標系における前方ライダー2aの車体への設置位置から自己位置推定装置11の基準点の位置までの偏差)+(自己位置推定装置11が算出した外部座標系で定義された自己位置)・・・(1)
但し
 車体中心座標系:車体前後軸と、前後軸に垂直な車体幅方向の左右軸と、前後軸及び左右軸に右手座標系において垂直な垂直軸からなる直交3軸系
 前方ライダー2aのセンサ座標系:レーダの照射角度をxa軸と、レーダスキャン面内においてxa軸に直交するya軸と、xa軸及びya軸に右手座標系において垂直なza軸
 式(1)では説明の便宜のため、自己位置推定装置11の基準点は車体中心座標系の原点と一致するものとする。自己位置推定装置11の基準点は車体中心座標系の原点と一致しない場合はその偏差を上記の式(1)に対して更に加減する。
 路肩軌跡生成部182は、第一路肩記憶部185に記憶された路肩特徴点Pa’を読み出し、路肩特徴点Pa’の第一座標を計測した時系列に沿って並べ、第一座標の軌跡を生成し、路肩軌跡記憶部に記憶させる(S13)。この軌跡は、外部座標系で定義された路肩特徴点Pa’の点列を示す。
 路肩特徴点Pa’の座標は、前方ライダー2aのサンプリングレート<GPSのサンプリングレートの場合、少なくともGPSのサンプリングレート以上の時間間隔を空けて検出された点の座標である。そこで路肩軌跡生成部182は、これら路肩特徴点Pa’の点群を時系列によって読込み、各点間を例えばスプライン補間をすることで、絶対座標系で定義された路肩特徴点Pa’の軌跡を求める。
 図7は、路肩特徴点Pa’の軌跡の算出例を示す説明図である。ダンプトラック10が進行方向(図7の右から左)に走行しながら、自己位置推定装置11により自己位置を推定する。その自己位置の軌跡を符号Z_trで示す。路肩特徴点Pa’は上記自己位置にダンプトラック10及び路肩特徴点Paの相対位置を加算したものなので、路肩特徴点Pa’の軌跡Pa’_trの形状と自己位置の軌跡を符号Z_trの形状とは類似する。
 ステップ11~ステップ13と並行して、後方ライダー2bにて路面及び路肩の測定を行う(S21)。
 第二路肩検出部183は、後方ライダー2bによる測定データ基づき、路肩特徴点Pbを検出し、ステップ01で算出したGPS測位データに基づく自己位置(外部座標系)を用いて下式(2)により路肩特徴点Pbの外部座標系における位置を算出する(S22)。
(路肩Bの外部座標系での位置)=(後方ライダー2bのセンサ座標系による測定結果)×(後方ライダー2bのセンサ座標系から車体中心座標系への座標変換行列)+(後方ライダー2bの車体への設置位置からGPSに由来する外部座標系で定義された自車両の算出位置の基準点までの差分)+(GPSに由来する外部座標系で定義された自己位置)・・・(2)
但し
 後方ライダー2bのセンサ座標系:レーダの照射角度をxb軸と、レーダスキャン面内においてxb軸に直交するyb軸と、xb軸及びyb軸に右手座標系において垂直なzb軸
 なお、式(1)と同様、自己位置推定位置の基準点は車体中心座標系の原点と一致するものとする。
 第二路肩検出部183は、後方ライダー2bが計測した後方ライダー2bのセンサ座標系で定義された路肩特徴点Pbの座標を絶対座標系に変換して路肩特徴点Pb’(第二座標)を算出するので、第二特徴点座標算出部に相当する。
 図7において、路肩特徴点Pb’も自己位置を使って絶対座標系に変換されているので、自己位置が正常に推定されていれば路肩特徴点Pb’は路肩特徴点Pa’の軌跡Pa’_tr上に位置する。そこで次のステップでこの検証を行う。
 異常判定部184は、路肩特徴点Pa’の軌跡Pa’_trと路肩特徴点Pb’とを比較し、それらの偏差D(図8参照)が、閾値Dthを上回ったと判断すると(S31/Yes)、自己位置推定装置11に異常が発生したとして、車両制御装置12に対してダンプトラック10の停止動作を行わせるための停止制御指示信号を出力する(S32)。閾値Dthは、路肩特徴点Pa’の軌跡Pa’_tr上に路肩特徴点Pb’がのっていると判定するための距離又は座標のズレ量により定義された閾値である。車両制御装置12は、不図示の制動装置及び駆動トルク制限装置を制御してダンプトラック10を停止させる。自己位置推定装置11の異常要因には、GPS測位データに対するマルチパスの影響の他、IMU15、操舵角センサ16、又は車速センサ17の故障などが考えられる。
 異常判定部184は、路肩特徴点Paの軌跡と路肩特徴点Pbとの偏差が閾値Dthを以下であると判断すると(S31/No)、自己位置推定装置11は正常であると判断し、ステップS01へ戻る。
 図8を参照して路肩特徴点Pa’の軌跡Pa’_trと路肩特徴点Pb’との比較処理について説明する。図8は、路肩特徴点Pa’の軌跡Pa’_trと路肩特徴点Pb’との比較処理を示す説明図である。
 時刻tn-3における路肩特徴点Pa’(t=tn-3)(図中丸印で図示)は、同時刻における後方の路肩特徴点Pb’(t=tn-3)(図中三角形で図示)よりも前に位置する。自己位置推定装置11が時刻tn-3、tn-2では正常なので路肩特徴点Pa’(t=tn-3)、Pa’(t=tn-2)を結ぶ軌跡上に後方の路肩特徴点Pb’(t=tn-3)、Pb’(t=tn-2)が位置する。
 ところが時刻tn-1において自己位置推定装置11から出力される自己位置情報に異常(真値からのズレ)が発生すると、第二路肩検出部183は、時刻tn-1における真値からのズレを含む自己位置を使って後方の路肩特徴点Pb’を算出する。すなわち、既述の式(2)の最終項において、真値からのズレを含む自己位置をセンサ座標系から絶対座標系への変換に用いてしまう。
 ここで、路肩特徴点Pb’(t=tn-1)と比較される路肩特徴点Pa’の軌跡Pa’_tr上の特徴点は、路肩特徴点Pb’の計測時刻(t=tn-1)よりも前の時刻で計測されている。この前の時刻では自己位置情報が正しいとすると、計測時刻(t=tn-1)において自己位置の異常量と同等の位置ズレが、路肩特徴点Pb’(t=tn-1)の軌跡Pa’_trからの偏差として観測できる。
 また前方ライダー2aによる前方路肩特徴点Pa(t=tn-1)の絶対座標系に変換後の前方路肩特徴点Pa’(t=tn-1)も上記と同様の位置ズレが観測できる。
 そこで、異常判定部184は、路肩特徴点Pb’(t=t)の軌跡Pa’_trからの偏差Dを求め、それが上述の閾値Dthを上回ると、自己位置推定装置11に異常が発生したと判定する。
 本実施形態によれば、前方ライダーで周辺構造物の特徴点を検出してセンサ座標系で定義された特徴点座標を算出する。これに対して絶対座標系で算出された自己位置を用いて絶対座標系への座標変換を行い、軌跡を生成する。そして、軌跡をティーチング座標系列とし、これと後方ライダーが検出した特徴点座標とを比較することで、その偏差が大きければ(正しいと見做さない程度の偏差があれば)、後方ライダーで検出した特徴点を絶対座標系に変換する際に用いた自己位置に異常(真値とのズレ)が生じていることがわかる。これにより、事前に走行経路の周辺構造物の形状を計測していなくても、走行中に得られる前方ライダーの計測点を用いて自己位置推定装置の異常発生を検知できる。すなわち、本実施形態によれば、ある時点において式(2)で算出した特徴点の座標と、少し前の時点での式(1)で算出した特徴点の座標(正確には軌跡)とを比較するので、GPS測位データに誤差がのりはじめる少し前の時点の比較を行うこととなり、既述の図5のケース3の場合でも誤差の有無を判定することができる。
<第2実施形態>
 図9は、第2実施形態に係る前方ライダー及び後方ライダーの各スキャン面を示す概略斜視図である。図10は、第2実施形態に係る前方ライダー及び後方ライダーの各スキャン面を示す概略平面図である。
 第2実施形態が第1実施形態と異なる点は、第1実施形態は前方ライダー2aの第一路面走査線L1a、及び後方ライダー2bの第二路面走査線L1bが互いに平行となるようにダンプトラック10に対して配置されているのに対し、第2実施形態は、第一路面走査線L1a及び第二路面走査線L1bを車両前方、かつ車幅内で交差させてダンプトラックに前方ライダー2a、及び後方ライダー2bが設置される点である。なお、第2実施形態において、第1実施形態と同一又は対応する部分には同一符号を付している。
 第2実施形態では、第一路面走査線L1a及び第二路面走査線L1bを前方位置の交差点Gにおいて交差させている。この結果、図9に示すように、ダンプトラック10と路肩Bとの間の距離Dsが大きくなるに連れて、路肩特徴点Paと路肩特徴点Pbとの間の距離Wが大きくなる。
 通常、路幅が狭く、崖に落ちないように設置された路肩近辺を走行しなければならない場合には走行速度が低く設定される。一方、路幅が広く路肩から離れて走行することが可能な場合には走行速度が速く設定される。
 ここで、第1実施形態では、車両速度が速くなるにつれて、前方ライダー2a及び後方ライダー2bが路肩を計測する時間間隔が小さくなるため、閾値Dthが相対的に大きく設定されたことと同様の効果が生じる。その結果、高速走行になるにつれ、自己位置推定装置11の異常検知感度が低下する。また逆に、低速走行時には、自己位置推定装置11の異常検知感度が高くなりすぎ、必要以上に頻繁に異常と判断されてしまう可能性がある。
 これに対し第2実施形態では、車両が路肩から離れるにつれて路肩特徴点Paと路肩特徴点Pbとの距離Wが長くなるので、高速走行時における自己位置推定装置11の異常検知感度の低下を防ぐことができる。
 また第2実施形態によれば、走行速度に応じて前方ライダー2a及び後方ライダー2bのレーザ照射角度を変えることで、走行速度によらず前方ライダー2a及び後方ライダー2bが路肩特徴点を計測する時間間隔が一定にすることができる。すなわち、低速走行時は交差点Gがダンプトラック10により近い位置に、高速になるにつれて各ライダーの路面に対するレーザ照射角度を小さくし、交差点Gがダンプトラック10から遠い位置になるように制御する。これにより、自己位置推定装置11の異常検知を一定時間間隔で行うことができる。
 上記各実施形態は本発明を限定するものではなく、本発明の趣旨を逸脱しない様々な変更態様も本発明の技術的範囲に属する。
 例えば、上記ステップS32において、停車制御に代わり若しくは停車制御と共に、通信装置13を介して管制サーバ20に自己位置推定装置11の異常検出結果を送信してもよい。管制サーバ20は、異常検出結果の受信履歴を記憶する。そして、搬送路上の同一・近傍区間で異なるダンプトラック10から異常検出結果を受信している場合は、異常発生原因が各ダンプトラック10の自己位置推定装置11や車両に搭載されたセンサではなく、GPS測位データのマルチパスが原因であると推定できる。この場合、その区間ではGPS由来の自己位置を外れ値として用いIMUの出力値で自己位置推定を行うことで、次回以降のダンプトラック10の停止制御を回避することができる。
 また上記では前方ライダー2a及び後方ライダー2bは別体に構成された複数のセンサであったが、マルチチレイヤーレーザスキャナや、ステレオカメラなどを用いて、路肩を計測する第一計測装置と同じ箇所を後から計測する第二計測装置とを1台のセンサで構成してもよい。
1  自律走行システム
2a 前方ライダー
2b 後方ライダー
10 ダンプトラック
11 自己位置推定装置
18 異常検知装置

Claims (7)

  1.  車両に搭載され、絶対座標系で定義された自己位置を推定する自己位置推定装置の異常検知装置において、
     前記車両が走行する路面の周辺構造物上にある進行方向に沿って並ぶ特徴点群の内の各特徴点及び自車両の相対位置を計測する第一計測装置からの出力に基づいて、前記第一計測装置の座標系で表された前記各特徴点の座標を求め、その座標を前記自己位置を用いて外部座標系に変換して第一座標を算出する第一特徴点座標算出部と、
     前記第一座標を基に、前記特徴点群の前記外部座標系で定義された軌跡を生成する特徴点軌跡生成部と、
     前記周辺構造物の前記特徴点群の内、前記第一計測装置の計測時刻において前記第一計測装置が計測した特徴点よりも進行方向後方に位置する特徴点及び自車両の相対位置を計測する第二計測装置からの出力に基づいて、前記第二計測装置の座標系で表された前記進行方向後方に位置する特徴点の座標を求め、その座標を前記自己位置を用いて外部座標系に変換して第二座標を算出する第二特徴点座標算出部と、
     前記特徴点群の前記外部座標系で定義された軌跡及び前記第二座標の偏差が、前記軌跡上に前記第二座標があると見做すために定められた閾値を上回ると、前記自己位置推定装置に異常があると判定する異常判定部と、
     を備えることを特徴とする自己位置推定装置の異常検知装置。
  2.  請求項1に記載の自己位置推定装置の異常検知装置において、
     前記車両は鉱山内を走行するダンプトラックであり、
     前記第一計測装置及び前記第二計測装置は、前記ダンプトラックが走行する路面及び前記ダンプトラックの進行方向に対して側方に位置する路肩を走査し、前記路面及び前記路肩の各計測点及び自車両の相対位置を計測する、
     ことを特徴とする自己位置推定装置の異常検知装置。
  3.  請求項2に記載の自己位置推定装置の異常検知装置において、
     前記第一特徴点座標算出部は、前記第一計測装置からの出力に基づいて、前記第一計測装置の走査面及び前記路面の交線となる第一路面走査線と、前記第一計測装置の走査面及び前記路肩の斜面の交線となる第一路肩走査線と、の交点を路肩特徴点として検出して前記第一座標を算出し、
     前記第二特徴点座標算出部は、前記第二計測装置からの出力に基づいて、前記第二計測装置の走査面及び前記路面の交線となる第二路面走査線と、前記第二計測装置の走査面及び前記路肩の斜面の交線となる第二路肩走査線と、の交点を路肩特徴点として検出して前記第二座標を算出する、
     ことを特徴とする自己位置推定装置の異常検知装置。
  4.  請求項2に記載の自己位置推定装置の異常検知装置において、
     前記第一計測装置及び前記第二計測装置は前記ダンプトラックの前部に設置されるとともに、前記第一計測装置の走査面及び前記路面の交線となる第一路面走査線と、前記第二計測装置の走査面及び前記路面の交線となる第二路面走査線との交点が、前記ダンプトラックの前方かつ前記ダンプトラックの車幅内に収まる位置及び取付角度で設置される、
     ことを特徴とする自己位置推定装置の異常検知装置。
  5.  請求項1に記載の自己位置推定装置の異常検知装置において、
     前記第一計測装置及び前記第二計測装置は前記車両の前面に設置され、前記第二計測装置の走査面は前記第一計測装置の走査面よりも後方に位置し、かつ前記第一計測装置の走査面及び前記第二計測装置の走査面が平行になる位置及び取付角度で設置される、
     ことを特徴とする自己位置推定装置の異常検知装置。
  6.  請求項1に記載の自己位置推定装置の異常検知装置において、
     前記第一計測装置は当該第一計測装置の走査面が前記車両の進行方向前方に向かう向きに設置され、
     前記第二計測装置は当該第二計測装置の走査面が前記車両の進行方向後方に向かう向きに設置される、
     ことを特徴とする自己位置推定装置の異常検知装置。
  7.  自己位置推定装置の異常検知装置を搭載した車両であって、
     車両が走行する路面の周辺構造物上にある進行方向に沿って並ぶ特徴点群の内の各特徴点及び自車両の相対位置を計測する第一計測装置と、
     前記周辺構造物の前記特徴点群の内、前記第一計測装置の計測時刻において前記第一計測装置が計測した特徴点よりも進行方向後方に位置する特徴点及び自車両の相対位置を計測する第二計測装置と、
     外部座標系で定義された自己位置を推定する自己位置推定装置と、
     前記自己位置推定装置の異常を検知する異常検知装置と、を備え、
     前記異常検知装置は、
     前記第一計測装置からの出力に基づいて、前記第一計測装置の座標系で表された前記各特徴点の座標を求め、その座標を前記自己位置を用いて外部座標系に変換して第一座標を算出する第一特徴点座標算出部と、
     前記第一座標を基に、前記特徴点群の前記外部座標系で定義された軌跡を生成する特徴点軌跡生成部と、
     前記第二計測装置からの出力に基づいて、前記第二計測装置の座標系で表された前記進行方向後方に位置する特徴点の座標を求め、その座標を前記自己位置を用いて外部座標系に変換して第二座標を算出する第二特徴点座標算出部と、
     前記特徴点群の前記外部座標系で定義された軌跡及び前記第二座標の偏差が、前記軌跡上に前記第二座標があると見做すために定められた閾値を上回ると、前記自己位置推定装置に異常があると判定する異常判定部と、を備える、
     ことを特徴とする車両。
PCT/JP2016/076353 2015-11-19 2016-09-07 自己位置推定装置の異常検知装置及び車両 WO2017085989A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/770,363 US10712451B2 (en) 2015-11-19 2016-09-07 Anomaly detector for self-location estimation device and vehicle
CN201680059522.6A CN108139755B (zh) 2015-11-19 2016-09-07 自己位置推定装置的异常检测装置以及车辆
EP16865992.8A EP3379363B1 (en) 2015-11-19 2016-09-07 Device for sensing faults in localization device, and vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015226659A JP6671152B2 (ja) 2015-11-19 2015-11-19 自己位置推定装置の異常検知装置及び車両
JP2015-226659 2015-11-19

Publications (1)

Publication Number Publication Date
WO2017085989A1 true WO2017085989A1 (ja) 2017-05-26

Family

ID=58718575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076353 WO2017085989A1 (ja) 2015-11-19 2016-09-07 自己位置推定装置の異常検知装置及び車両

Country Status (5)

Country Link
US (1) US10712451B2 (ja)
EP (1) EP3379363B1 (ja)
JP (1) JP6671152B2 (ja)
CN (1) CN108139755B (ja)
WO (1) WO2017085989A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6904208B2 (ja) * 2017-10-10 2021-07-14 トヨタ自動車株式会社 軸ずれ判定装置
US11022971B2 (en) * 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
JP2019145039A (ja) * 2018-02-23 2019-08-29 Cyberdyne株式会社 自走式ロボットおよび自走式ロボットの制御方法
CN108957475A (zh) 2018-06-26 2018-12-07 东软集团股份有限公司 一种道路边界检测方法及装置
JP7132037B2 (ja) * 2018-08-29 2022-09-06 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置
JP7123167B2 (ja) * 2018-12-12 2022-08-22 日立Astemo株式会社 外界認識装置
KR102504229B1 (ko) * 2018-12-18 2023-02-28 현대자동차주식회사 자율주행 차량의 주행 제어시스템 및 방법
TWI689432B (zh) * 2018-12-26 2020-04-01 財團法人工業技術研究院 車用感測器自動調整方法及其系統
CN111760795B (zh) * 2019-07-16 2022-02-01 北京京东乾石科技有限公司 用于分拣货物的方法和装置
CN111505655B (zh) * 2020-04-30 2023-09-29 中国矿业大学 基于激光雷达的掘进机定位方法
CN112230253B (zh) * 2020-10-13 2021-07-09 电子科技大学 基于公共切片子序列的轨迹特征异常检测方法
CN112415536B (zh) * 2020-11-11 2023-07-14 南京市测绘勘察研究院股份有限公司 一种自动获取车载激光点云行车轨迹异常区域的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258339A (ja) * 1997-12-16 1999-09-24 Caterpillar Inc 距離選択検出のための複数センサーを用いる障害物検出方法及びその装置
JP2000172337A (ja) * 1998-12-07 2000-06-23 Mitsubishi Electric Corp 自律移動ロボット
US6751535B2 (en) 2001-01-22 2004-06-15 Komatsu Ltd. Travel controlling apparatus of unmanned vehicle
JP2015075826A (ja) * 2013-10-07 2015-04-20 日立建機株式会社 オフロードダンプトラック

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815414A (ja) * 1994-07-05 1996-01-19 Mitsubishi Electric Corp 車両用光レーダ装置
CN202033028U (zh) * 2011-01-25 2011-11-09 吴立新 车载式矿区沉陷三维动态监测系统
US9547795B2 (en) * 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
US10185034B2 (en) * 2013-09-20 2019-01-22 Caterpillar Inc. Positioning system using radio frequency signals
JP6156067B2 (ja) * 2013-11-01 2017-07-05 富士通株式会社 移動量推定装置及び移動量推定方法
JP6291873B2 (ja) * 2014-01-31 2018-03-14 株式会社デンソー 無線測位装置
CN103900497B (zh) * 2014-03-06 2016-06-15 西南交通大学 基于视觉测量的非接触式挖掘机工作装置姿态测量方法
JP6374695B2 (ja) * 2014-04-28 2018-08-15 日立建機株式会社 路肩検出システムおよび鉱山用運搬車両
JP5997364B2 (ja) * 2014-12-26 2016-09-28 株式会社小松製作所 鉱山機械、鉱山機械の管理システム、及び鉱山機械の管理方法
US9762601B2 (en) * 2015-06-17 2017-09-12 Uber Technologies, Inc. Trip anomaly detection system
JP6432116B2 (ja) * 2016-05-23 2018-12-05 本田技研工業株式会社 車両位置特定装置、車両制御システム、車両位置特定方法、および車両位置特定プログラム
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258339A (ja) * 1997-12-16 1999-09-24 Caterpillar Inc 距離選択検出のための複数センサーを用いる障害物検出方法及びその装置
JP2000172337A (ja) * 1998-12-07 2000-06-23 Mitsubishi Electric Corp 自律移動ロボット
US6751535B2 (en) 2001-01-22 2004-06-15 Komatsu Ltd. Travel controlling apparatus of unmanned vehicle
JP2015075826A (ja) * 2013-10-07 2015-04-20 日立建機株式会社 オフロードダンプトラック

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3379363A4

Also Published As

Publication number Publication date
EP3379363A4 (en) 2019-09-04
EP3379363A1 (en) 2018-09-26
US20180284292A1 (en) 2018-10-04
CN108139755B (zh) 2021-02-12
CN108139755A (zh) 2018-06-08
JP6671152B2 (ja) 2020-03-25
EP3379363B1 (en) 2023-07-05
JP2017097479A (ja) 2017-06-01
US10712451B2 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
WO2017085989A1 (ja) 自己位置推定装置の異常検知装置及び車両
US10101740B2 (en) Travel control device for work vehicle, and work vehicle
JP5815819B2 (ja) 油圧ショベルの掘削制御システム
US9008889B2 (en) Method of controlling travel within travel system for unmanned vehicle and travel system for unmanned vehicle
AU2016210668B2 (en) Navigation of mining machines
US9234758B2 (en) Machine positioning system utilizing position error checking
US9598823B2 (en) Stop position determining device for transport vehicle and transport vehicle with the same
CN106030682B (zh) 路肩检测系统以及矿山用搬运车辆
US20170017235A1 (en) Haulage vehicle and travel control system for the same
JP7133298B2 (ja) 運搬車両の管制システム及び運搬車両の管理方法
WO2018164203A1 (ja) スキャナー、作業機械、及び車止め検出装置
AU2013257296B2 (en) Method and system for manoeuvring a mobile mining machine in a tunnel and a mobile mining machine
JP7199984B2 (ja) 作業車両の制御システム及び作業車両の制御方法
JP2020064011A (ja) レーザスキャナのキャリブレーション方法、運搬機械
US11835643B2 (en) Work machine control system, work machine, and work machine control method
JP6909752B2 (ja) 作業機械の後退支援装置
JP6148403B2 (ja) 作業機械の制御システム、作業機械、作業機械の管理システム及び作業機械の制御方法
US9465113B2 (en) Machine positioning system utilizing relative pose information
AU2019313721B2 (en) Work machine control system, work machine, and work machine control method
US9200904B2 (en) Traffic analysis system utilizing position based awareness
WO2024101392A1 (ja) 作業機械の校正システム及び作業機械の校正方法
JP6761845B2 (ja) ダンプトラックの制御システム、及びダンプトラック

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16865992

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15770363

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE