WO2021024793A1 - センサ情報処理装置 - Google Patents

センサ情報処理装置 Download PDF

Info

Publication number
WO2021024793A1
WO2021024793A1 PCT/JP2020/028223 JP2020028223W WO2021024793A1 WO 2021024793 A1 WO2021024793 A1 WO 2021024793A1 JP 2020028223 W JP2020028223 W JP 2020028223W WO 2021024793 A1 WO2021024793 A1 WO 2021024793A1
Authority
WO
WIPO (PCT)
Prior art keywords
series data
lane marker
sensor
function
time series
Prior art date
Application number
PCT/JP2020/028223
Other languages
English (en)
French (fr)
Inventor
健人 鍵本
仁 早川
裕也 田中
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to DE112020003096.2T priority Critical patent/DE112020003096T5/de
Priority to JP2021537684A priority patent/JP7203985B2/ja
Priority to US17/629,442 priority patent/US20220254170A1/en
Publication of WO2021024793A1 publication Critical patent/WO2021024793A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/25—Data precision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • This disclosure relates to a sensor information processing device.
  • This conventional automatic traveling vehicle includes a device that recognizes a traveling division line from a road image obtained by recognizing a traveling path in a vehicle traveling direction (see the same document, claim 1 and the like).
  • the recognition device includes the following means (a) to (f) (see the same document, claim 1 and the like).
  • A A means for extracting at least one line segment from the road image.
  • B A means for identifying a road traveling division line from a line segment extracted at a predetermined time.
  • C A means for estimating the traveling locus of a vehicle from the time of the previous identification to the time of the current identification.
  • D A means for determining the continuity between the travel division line identified up to the previous time and the travel division line identified this time based on the estimated travel locus and the travel division line identified this time.
  • E A means for assigning the same identifier to a traveling division line identified based on the determination result.
  • F A means for storing information on a traveling division line to which the identifier is given.
  • the rightmost lane boundary line is set as the reference lane boundary line, the distance from the own vehicle which is the origin to each lane boundary line is measured, and the distance from the reference lane boundary line to each lane boundary line is measured. And assign a lane boundary line number to each lane boundary line (see the same document, paragraphs 0017-0023, etc.). That is, in this conventional self-driving vehicle, the continuity of the lane boundary line is determined based on the distance from the own vehicle to the nearest lane boundary line. Therefore, if the number of lanes increases or decreases depending on, for example, a lane branching from a traveling lane or a lane joining the traveling lane, different lane boundaries may be mistakenly recognized as the same lane boundary.
  • the present disclosure provides a sensor information processing device that processes the detection results of a plurality of external sensors that recognize lane markers that divide lanes and can identify lane markers more accurately than before.
  • One aspect of the present disclosure is a sensor information processing device that processes detection results of a plurality of external sensors that recognize lane markers that divide lanes to identify the lane markers, and uses the past detection results as time-series data.
  • a storage device for storing and a central processing unit for identifying the lane marker based on the time-series data are provided, and the central processing unit includes a new detection result and the time-series not included in the time-series data.
  • the sensor information processing unit is characterized in that it is determined that the new detection result belongs to the existing lane marker or the new lane marker based on comparison with data.
  • a sensor information processing device that can process the detection results of a plurality of external sensors that recognize lane markers that divide lanes and can identify lane markers more accurately than before. ..
  • FIG. 3 The hardware block diagram which shows one Embodiment of the sensor information processing apparatus which concerns on this disclosure.
  • the functional block diagram of the sensor information processing apparatus shown in FIG. FIG. 3 is a plan view of a vehicle equipped with the sensor information processing device shown in FIG. 1 when traveling in a lane.
  • FIG. 3A is a conceptual diagram of a new detection result of the vehicle's external sensor shown in FIG. 3A.
  • FIG. 3A is a conceptual diagram of time-series data of the detection result of the vehicle's external sensor shown in FIG. 3A.
  • FIG. 5 is a flow diagram of processing by the identifier assigning function shown in FIG. FIG.
  • FIG. 6 is a flow chart of processing by the distance calculation function shown in FIG.
  • FIG. 5 is a flow chart of processing by the association function shown in FIG.
  • the flow chart of the process by the approximate curve generation function shown in FIG. The functional block diagram which shows one Embodiment of the sensor information processing apparatus which concerns on this disclosure.
  • FIG. 1 is a hardware configuration diagram showing an embodiment of the sensor information processing device according to the present disclosure.
  • the sensor information processing device 100 of the present embodiment is mounted on a vehicle V, for example, and constitutes a part of an advanced driver assistance system (ADAS) or an automated driving system (ADAS).
  • ADAS advanced driver assistance system
  • ADAS automated driving system
  • the sensor information processing device 100 includes, for example, a central processing unit (CPU) 101, a storage device 102 such as a memory or a hard disk, a computer program stored in the storage device 102, and input / output (not shown). It is equipped with a device.
  • the sensor information processing device 100 is, for example, a computer system such as firmware or a microcontroller. Further, the sensor information processing device 100 may be a part of an electronic control unit (Electronic Control Unit: ECU) for ADAS or AD mounted on the vehicle V, for example.
  • ECU Electronic Control Unit
  • the sensor information processing device 100 refers to, for example, the external world sensor 200, the vehicle sensor 300, the positioning sensor 400, and the lane marker information integration device 500 mounted on the vehicle V via CAN (Controller Area Network), vehicle-mounted Ethernet, or the like. It is connected so that information communication is possible.
  • the sensor information processing device 100 receives detection results De, Dv, and Dp from the outside world sensor 200, the vehicle sensor 300, and the positioning sensor 400, respectively, and outputs the processing result R of these sensor information to the lane marker information integration device 500. Details of the functions included in the sensor information processing device 100 will be described later.
  • the sensor information processing device 100 is configured to operate repeatedly at a predetermined cycle, for example.
  • the operation cycle of the sensor information processing device 100 is not particularly limited, but may be a fixed cycle of, for example, about 100 [msec].
  • the operation cycle of the sensor information processing device 100 can be set to, for example, a cycle suitable for vehicle control.
  • the operation cycle of the sensor information processing device 100 is not fixed, but can be appropriately changed according to the operation cycle of the external world sensor 200 and the vehicle sensor 300. For example, in consideration of the influence of periodic fluctuations and deviations, the information from the external sensor 200 can be reliably acquired by the sensor information processing apparatus 100.
  • the outside world sensor 200 is a sensor mounted on the vehicle V and recognizing the environment around the vehicle V.
  • the outside world sensor 200 is, for example, two or more, that is, a plurality of outside world sensors among sensors capable of recognizing a stereo camera device, an all-around bird's-eye view camera system, a LIDAR (Light Detection and Ringing), a monocular camera device, and other lane markers.
  • the lane marker or the lane marking is a road marking that divides a lane on the road, and includes a lane boundary line displayed by a solid white or yellow line or a broken line.
  • the lane marker for example, road marking paint, road studs, poles, stones and the like are generally used.
  • the recognition of the lane marker by the outside world sensor 200 will be described by taking a stereo camera device as an example.
  • the stereo camera device which is the outside world sensor 200, recognizes a lane marker from, for example, image information. Further, the stereo camera device generates a parallax image from, for example, images of two cameras, and calculates the distance and direction from the vehicle V for each pixel of the image of the lane marker.
  • the detection result De of at least one of the plurality of external world sensors 200 includes, for example, the time when the process of recognizing the lane marker is performed, the recognition point sequence of the lane marker, and the point sequence meta information.
  • the recognition point sequence of the lane marker is an array, that is, a point sequence in which the points on each lane marker recognized by the plurality of external world sensors 200 are represented by the vehicle coordinate system.
  • the vehicle coordinate system is, for example, a coordinate system consisting of an X-axis having the center of the axle of the rear wheel of the vehicle V as the origin and a positive direction in front of the vehicle V, and a Y-axis having a positive direction in the left direction of the vehicle V. Is.
  • the point sequence meta information is information including the type of each external world sensor included in the plurality of external world sensors 200 and the type of lane marker such as the line type of the lane marking.
  • the detection result De of the outside world sensor 200 includes such point sequence meta information
  • the lane marker information integration device 500 a plurality of lane markers are used based on the type of the lane marker such as the line type of the lane marking. There is an advantage that it becomes possible to perform integrated processing of information.
  • the detection result De of the plurality of external world sensors 200 includes the recognition processing time, the recognition point sequence, and the point sequence meta information.
  • the recognition processing time that is, the time when the processing for recognizing the lane marker is performed is replaced by the time when the detection result De of the external sensor 200 is input to the sensor information processing device 100. May be good. This makes it possible to save the transfer band at the input of the sensor information processing device 100.
  • the detection result De of at least one of the plurality of external world sensors 200 may be a parameter of an approximate curve based on the shape of the lane marker, such as a coefficient of a quadratic curve based on the shape of the lane marker.
  • the information capacity of the detection result De can be reduced as compared with the case where the detection result De is a recognition point sequence.
  • the parameters of the approximate curve can be converted into a sequence of points by, for example, taking points every 0.5 [m] on the approximate straight line.
  • the vehicle sensor 300 includes, for example, a speed sensor, an acceleration sensor, an angular speed sensor, a steering angle sensor, a brake sensor, an accelerator sensor, a gyro sensor, an engine rotation sensor, a shift sensor, and the like mounted on the vehicle V.
  • the vehicle sensor 300 detects a detection result Dv including, for example, the speed, acceleration, angular velocity, steering angle, brake pedal force, accelerator opening, attitude in the global coordinate system, engine speed, shift position, etc. of the vehicle V.
  • the detection result Dv output by the vehicle sensor 300 does not necessarily include all the above-mentioned information, but includes, for example, at least the speed, acceleration, and angular velocity of the vehicle V.
  • the positioning sensor 400 is, for example, a satellite positioning system such as GPS (Global Navigation Satellite System) or GNSS (Global Navigation Satellite System) mounted on the vehicle V, and sensor information processing is performed using the position and orientation of the vehicle V as a detection result Dp. Output to device 100. Further, the positioning sensor 400 may use, for example, a speed sensor, an angular velocity sensor, a gyro sensor, or the like included in the vehicle sensor 300 to complement positioning by a satellite positioning system, for example, between tunnels and high-rise buildings.
  • GPS Global Navigation Satellite System
  • GNSS Global Navigation Satellite System
  • the position and direction of the vehicle V may be accurately obtained by the positioning sensor 400 in a short cycle, and the difference between the position and the direction between the previous cycle and the current cycle may be calculated.
  • the position and direction of the vehicle V are obtained based on the detection result of the wheel or steering by the vehicle sensor 300, the error that the speed or the rotation speed changes depending on the state of the wheel or the ground may be eliminated. ..
  • the lane marker information integration device 500 includes, for example, a CPU 501, a storage device 502, a computer program stored in the storage device 502, and an input / output device (not shown).
  • the lane marker information integration device 500 is, for example, a computer system such as firmware or a microcontroller. Further, the lane marker information integration device 500 may be a part of the ADAS or the ECU for AD mounted on the vehicle V, for example.
  • the lane marker information integration device 500 stores the processing result R output from the sensor information processing device 100, the detection result of another sensor capable of recognizing the lane marker, the identification result of the lane marker at another time, and the like. Store in 502. Then, the processing result R, the detection result, the identification result, and the like stored in the storage device 502 are integrated by the CPU 501. As a result, the lane marker information integration device 500 improves the accuracy, range, smoothness, required memory amount, and the like of the identification result of the lane marker.
  • the CPU 501 first obtains a score sequence obtained by taking a simple union of identification results having the same identifier among the identification results of a plurality of lane markers. Next, the CPU 501 takes the average of a plurality of points included in the point sequence and are close to each other, reduces the score of the point sequence by finding some representative points, and affects the influence of the error by the law of large numbers. Find a sequence of points that requires less memory while reducing.
  • the processing by the lane marker information integration device 500 is not limited to the above method.
  • the CPU 501 may obtain an approximate curve from a sequence of points obtained by union and calculate the parameters of the approximate curve. Further, the CPU 501 may improve the smoothness by using points taken at regular intervals on the approximate curve as a new point sequence.
  • FIG. 2 is a functional block diagram of the sensor information processing device 100 shown in FIG.
  • the sensor information processing device 100 has, for example, a function F1 for acquiring point sequence information, a function F2 for assigning an identifier, and a function F3 for outputting lane marker information.
  • Each of these functions is composed of, for example, a CPU 101 constituting the sensor information processing device 100, a storage device 102, a computer program stored in the storage device 102, and an input / output device (not shown).
  • FIG. 3A shows a vehicle V equipped with a sensor information processing device 100, an outside world sensor 200, a vehicle sensor 300, a positioning sensor 400, and a lane marker information integration device 500 in a lane L separated by a lane marker Lm on a road Rd. It is a top view which shows the state of running.
  • FIG. 3B is a conceptual diagram of a new detection result De of the external sensor 200 of the vehicle V shown in FIG. 3A.
  • FIG. 3C is a conceptual diagram of time series data td1, td2, td3 of the detection result De of the external sensor 200 of the vehicle V shown in FIG. 3A.
  • an imaging device such as a stereo camera or a monocular camera included in the external world sensor 200 mounted on the vehicle V is around the vehicle V while the vehicle V is traveling in the lane L on the road Rd. Images of other vehicles, pedestrians, obstacles, roads Rd, and lane markers Lm are taken. As described above, the external sensor 200 outputs the detection result De including the recognition processing time of the lane marker Lm, the recognition point sequence, and the point sequence meta information to the sensor information processing apparatus 100.
  • the detection result De including the recognition processing time of the lane marker Lm, the recognition point sequence, and the point sequence meta information to the sensor information processing apparatus 100.
  • the sensor information processing device 100 sequentially processes the detection result De of each sensor included in the plurality of external world sensors 200. That is, the sensor information processing apparatus 100 sequentially executes the processing of the detection result De of each external sensor 200 at a predetermined cycle.
  • the sensor information processing device 100 preferentially processes, for example, the detection result De of the external sensor 200 having a large amount of information.
  • the detection result De of the external sensor 200 to be processed next can be compared with the detection result De of the external sensor 200 that has a larger amount of information stored in the storage device 102, and the accuracy of the comparison is improved. To do.
  • the sensor information processing device 100 may, for example, process the detection results De of a plurality of external world sensors 200 in parallel. As a result, the processing time of the detection result De of the plurality of external world sensors 200 can be reduced. Further, the sensor information processing device 100 may store the time series data of the detection result De for each external sensor 200 in the storage device 102 to reduce the influence of the difference between the detection result Des of the individual external sensors 200.
  • the new detection result De of the external sensor 200 is stored in the storage device 102 of the sensor information processing device 100 as inputs i1, i2, i3, for example. Further, as shown in FIG. 3C, the storage device 102 stores the identification result Id of the lane marker Lm based on the past detection result De of the external world sensor 200 as, for example, time series data td1, td2, td3.
  • the inputs i1, i2, i3 and the time series data td1, td2, td3 are point sequences, that is, recognition points, which are the recognition results of the lane marker Lm by the external sensor 200, respectively. It is made up of columns.
  • the central processing unit 101 aligns the recognition result formats of the lane markers Lm included in the detection result De input from the external sensor 200, and synchronizes the recognition processing times.
  • the central processing unit 101 outputs the identification result Id of the lane marker Lm for each sensor included in the plurality of external world sensors 200 to the function F2 for assigning an identifier and the function F3 for outputting the lane marker information.
  • the central processing apparatus 101 moves the center processing device 101 on the approximate curve at appropriate intervals. Generate multiple points and convert them to a point sequence format.
  • the distance between the points in the point sequence may be fixed or variable.
  • the distance between points is variable, for example, the upper limit of the number of points included in the recognition point sequence is fixed, the distance between points is narrowed when the speed of vehicle V is low, and the speed of vehicle V is high. Widen the space between points. This facilitates the estimation of the required amount of information.
  • the central processing device 101 converts the parameters of the approximate curve, which is the recognition result of the lane marker Lm, into the format of the point sequence, and the coordinates of each point constituting the point sequence.
  • the local coordinate system is a coordinate system composed of an X-axis having the center of the axle of the rear wheel of the vehicle V as the origin and a positive direction in front of the vehicle V and a Y-axis having a positive direction in the left direction of the vehicle V.
  • the central processing unit 101 acquires the recognition result as it is in the function F1 for acquiring the point sequence information.
  • the central processing unit 101 converts the coordinates of the point sequence into the coordinates of the local coordinate system.
  • the central processing unit 101 adjusts the recognition processing time of each external sensor 200 to the start time of the processing cycle by the sensor information processing device 100.
  • the central processing unit 101 calculates the difference time between the start time of the processing cycle and the recognition processing time of each external sensor 200. Further, the central processing device 101 estimates the amount of movement of the vehicle V in the difference time based on the speed and the angular velocity of the vehicle V included in the detection result Dv of the vehicle sensor 300 by a constant velocity circular motion model, and determines the recognition point sequence. Adjust the position. Further, the central processing unit 101 changes the recognition processing time included in the detection result De of the external sensor 200 to the start time of the processing cycle after synchronization.
  • the detection result De of the lane marker Lm having the same processing cycle can be utilized without being aware of the time.
  • the motion model for estimating the movement amount of the vehicle V in the difference time is not limited to the constant velocity circular motion model, and may be a constant velocity linear motion model or a model that takes acceleration into consideration, and is a sensor information processing device. It can be changed according to the processing cycle of 100.
  • the function F2 for assigning an identifier is included in, for example, a detection result Dp including the position and orientation of the vehicle V, which is the output of the positioning sensor 400, and a plurality of external world sensors 200, which is the output of the function F1 for acquiring point sequence information.
  • the identification result Id of the lane marker Lm for each sensor is input.
  • the function F2 for assigning an identifier outputs an identifier Idn corresponding to the identification result Id of the lane marker Lm based on these inputs.
  • FIG. 4 is a functional block diagram of the function F2 that assigns the identifier of the sensor information processing apparatus 100 shown in FIG.
  • FIG. 5 is a flow chart of processing P2 by the function F2 that assigns the identifier shown in FIG.
  • the function F2 for assigning the identifier of the sensor information processing device 100 includes, for example, a coordinate conversion function F21, a distance calculation function F22, an association function F23, a data update function F24, a function F25 for generating an approximate curve, and data management. Includes function F26 and.
  • the coordinate conversion function F21 inputs the identification result Id of the lane marker Lm for each sensor of the external world sensor 200, which is the output of the function F1 for acquiring the point sequence information, and the detection result Dp of the positioning sensor 400.
  • the identification result Id input from the function F1 for acquiring the point sequence information to the function F2 for assigning the identifier is the point sequence information. That is, in the coordinate conversion function F21, the central processing unit 101 executes the process P21 for acquiring the identification result Id as the point sequence information from the function F1 for acquiring the point sequence information.
  • the central processing unit 101 executes a process P22 for converting the coordinates of the local coordinate system included in the input information into the coordinates of the global coordinate system which is a fixed coordinate system. Further, in the coordinate conversion function F21, the central processing unit 101 executes a process P23 for assigning a new identifier to the inputs i1, i2, i3 which are the new detection result De of the external world sensor 200. Further, in the coordinate conversion function F21, the central processing unit 101 executes a process P24 for determining the existence or nonexistence of the time series data td1, td2, td3 of the identification result Id of the lane marker Lm.
  • the central processing unit 101 determines that the identification result Id of the lane marker Lm does not exist (NO). To do. Then, the central processing unit 101 transmits the inputs i1, i2, and i3, which are the new detection result Des of the external sensor 200 to which the new identifier is given, via the distance calculation function F22 and the association function F23, and the data update function F24. Output to. After that, the data update function F24 executes the process P27 for deleting the data described later.
  • the central processing unit 101 has the identification result Id of the lane marker Lm (YES). Is determined.
  • the approximate curve of the time series data td1, td2, td3 of the lane marker Lm generated in the previous process P28 by the function F25 for generating the approximate curve is stored in the storage device 102 by the data management function F26.
  • the central processing unit 101 calculates the average distance between the inputs i1, i2, i3, which are the new identification result Ids of the lane marker Lm, and the time-series data td1, td2, td3 of the lane marker Lm.
  • the calculation process P25 is executed.
  • the central processing unit 101 inputs the output of the coordinate conversion function F21, that is, the new inputs i1, i2, and i3 from the external sensor 200 to which the new identifier is given. To do. Further, in the processing P25, the central processing unit 101 inputs the output of the data management function F26, that is, the time series data td1, td2, td3 of the lane marker Lm stored in the storage device 102. Then, in this process P25, the central processing unit 101 calculates the average distance between the new inputs i1, i2, i3 of the lane marker Lm and the time series data td1, td2, td3.
  • FIG. 6 is a flow chart of processing P25 by the distance calculation function F22 shown in FIG.
  • the process P25 for calculating the distance by the distance calculation function F22 includes, for example, a process P251 for calculating the distance to the approximate curve, a process P252 for performing correction based on an error ellipse, and a process P253 for calculating the average of all distances. ..
  • the central processing unit 101 is composed of the points constituting the respective point sequences of the new inputs i1, i2, i3 of the lane marker Lm and the point sequences constituting the time series data td1, td2, td3, respectively. Find the distance from the generated approximate curve. For example, as shown in FIGS. 3B and 3C, it is assumed that a plurality of input i1, i2, i3 point sequences and a plurality of time series data td1, td2, td3 approximation curves exist. In this case, the central processing unit 101 calculates the distance for all combinations of the point sequence of the inputs i1, i2, i3 and the approximate curve of the time series data td1, td2, td3, for example.
  • an approximate straight line and an approximate circle are generated by the central processing device 101 based on the time series data td1, td2, td3.
  • a trendline containing is generated.
  • the reason is that the shape of a general road Rd is basically composed of a straight line and an arc.
  • the central processing unit 101 uses the point sequence of the inputs i1, i2, i3, the approximate straight line and the approximate circle of the time series data td1, td2, td3. Calculate the average distance to each of the above. That is, in the process P251, two types of average distances are calculated: the average distance of the time series data td1, td2, td3 with respect to the approximate straight line, and the average distance of the time series data td1, td2, td3 with respect to the approximate circle.
  • the central processing apparatus 101 sets the smaller average distance of the above two average distances as the average distance with respect to the approximate curve of the time series data td1, td2, td3. Select as. The reason is that the approximate circle of the time series data td1, td2, td3 tends to include an error with respect to the actual shape of the road Rd, and the type of the approximate curve changes, such as when the shape of the road Rd changes from a curve to a straight line. This is to deal with the situation.
  • the process P252 for performing correction based on the error ellipse is executed.
  • the central processing unit 101 generated each combination of the inputs i1, i2, i3 and the time series data td1, td2, td3 from the point sequence of the time series data td1, td2, td3.
  • the error ellipse is used to correct the average distance obtained in the previous process P251. Specifically, the average distance is corrected by using the length of the long axis of the error ellipse generated from the point sequence of the time series data td1, td2, td3.
  • FIG. 7 is an explanatory diagram of the correction process P252 based on the error ellipse E by the distance calculation function F22 shown in FIG.
  • the central processing unit 101 calculates the corrected distance D by, for example, the following procedure.
  • the central processing apparatus 101 has an error ellipse and a distance d from the approximate curve AC based on each point Pt of the time series data td1, td2, td3 of the lane marker Lm to the point Pi constituting the new inputs i1, i2, i3.
  • the distance b from the center of E in the major axis direction to the point Pi and the semimajor axis a of the error ellipse E are calculated.
  • Such correction processing P252 obtains an approximate straight line or an approximate circle of time series data td1, td2, td3 in which the average distance from each point Pi of the new input i1, i2, i3 of the identification result Id of the lane marker Lm is smaller. Made to choose. Further, in the correction process P252, when only the distance d is used, the point Pi is associated with the time series data passing nearby even though it is actually far from the distribution of the point sequence of the time series data. Implement to prevent.
  • FIG. 7 shows the concept of distance calculation in the linear approximation of the time series data td1, td2, td3.
  • the coordinates of the input i1, i2, i3 and the point sequence of the time series data td1, td2, td3 are polar coordinates. Use the distance when expressed in a system.
  • the central processing unit 101 determines the distance after each correction for each combination of the inputs i1, i2, i3 and the time series data td1, td2, td3. Calculate the average value of D.
  • the process P25 for calculating the distance shown in FIGS. 5 and 6 by the distance calculation function F22 shown in FIG. 4 is completed.
  • the association function F23 shown in FIG. 4 executes the process P26 for overwriting the identifier shown in FIG.
  • the association function F23 combines the average value of the corrected distance D, which is the output of the distance calculation function F22, and the time series data of the lane marker Lm stored in the storage device 102, which is the output of the data management function F26.
  • the approximate curves of td1, td2, and td3 are input.
  • the central processing unit 101 determines the relationship between the inputs i1, i2, i3 of the lane marker Lm and the time series data td1, td2, td3 based on these inputs.
  • the central processing unit 101 outputs the point sequence of the inputs i1, i2, i3 to which the identifier is given based on the determination result of the relevance to the data update function F24. Then, in the data update function F24, the central processing unit 101 uses the identifier of the point sequence of the inputs i1, i2, and i3 stored in the storage device 102 as a new identifier or an identifier of the related time series data td1, td2, td3. Overwrite with.
  • the determination of the relationship between the input i1, i2, i3 of the lane marker Lm and the time series data td1, td2, td3 will be described in more detail with reference to FIGS. 1 and 3A to 3C.
  • the storage device 102 constituting the sensor information processing device 100 stores the time-series data td1, td2, td3 corresponding to the detection result De of the past lane marker Lm.
  • the inputs i1, i2, i3 and the time series data td1, td2, td3 are associated with each other in a one-to-one pair.
  • one of the inputs i1, i2, i3 is associated with one of the time series data td1, td2, td3, one input and one candidate for a pair of time series data, that is, one.
  • An input and a set of time series data are created. Then, the candidates of other pairs or sets including the input or time series data constituting the pair or set can be deleted, and the rest become the candidates to be adopted next.
  • a pair of time series data td1 and input i1, a pair of time series data td2 and input i3, and a pair of time series data td3 and input i2 are referred to as “candidates", and each candidate is referred to as a “candidate”.
  • the collection is called a "combination”.
  • the candidates for the time series data td1 and the input i1 are adopted.
  • other candidates including time series data td1 or input i1 for example, time series data td1 and input i2, time series data td1 and input i3, time series data td2 and input i1, and time series data td3 and input i1.
  • Each candidate of can be deleted. Then, the next candidate is adopted from the remaining candidates, that is, the time series data td2 and the input i2, the time series data td2 and the input i3, the time series data td3 and the input i2, and the time series data td3 and the input i3.
  • FIG. 8 is a flow chart showing an example of the process P26 for overwriting the identifier by the association function F23.
  • the process P26 for overwriting this identifier includes, for example, a combination creation process P261, a combination extraction process P262, P265, P267, an extraction result determination process P263, P266, P268, an identifier overwrite process P264, and a candidate narrowing process P269. Includes.
  • the central processing unit 101 creates a list of pair candidates of all the time series data td1, td2, td3 and all the inputs i1, i2, i3 and their combinations.
  • the central processing unit 101 executes, for example, combination extraction processing P262, P265, P267, extraction result determination processing P263, P266, P268, and candidate narrowing processing P269 based on the created list, and all candidates. More suitable combinations are extracted from the combinations of.
  • the central processing unit 101 uses a point sequence of inputs i1, i2, i3 of the lane marker Lm and an approximate curve of the time series data td1, td2, td3 of the lane marker Lm.
  • the combination in which the distance D from and is equal to or less than the threshold value is extracted.
  • the threshold value of the distance D for example, the width of the lane L can be used.
  • the central processing unit 101 extracts the combination that maximizes the number of candidates that are a pair of the time series data and the input from the extracted combinations.
  • each of the inputs i1, i2, i3 and each of the time series data td1, td2, td3 are separated from the width of one lane L.
  • the central processing unit 101 executes the first extraction result determination process P263.
  • the central processing unit 101 determines whether or not there is one combination extracted by the first combination extraction process P262 that maximizes the number of candidates to be adopted. ..
  • the central processing unit 101 determines that the combination is one (YES)
  • the identifier overwrite process P264 is executed.
  • the central processing unit 101 uses the identifier of the input i1, i2, i3 among the combinations in which the inputs i1, i2, i3 and the time series data td1, td2, td3 are associated with the time series data td1. , Td2, td3 identifiers are overwritten. Further, in the identifier overwriting process P264, the central processing unit 101 newly adds the identifier of the input i1, i2, i3 among the combinations in which the inputs i1, i2, i3 and the time series data td1, td2, td3 are not associated. Overwrite with the identifier of. As a result, the process P26 for overwriting the identifier is completed.
  • the central processing unit 101 executes the second combination extraction process P265.
  • the central processing unit 101 selects the point sequence of the inputs i1, i2, i3 of the lane marker Lm and the time series data td1, td2, td3 of the lane marker Lm from the plurality of combinations.
  • the combination that minimizes the sum of the distance D with the approximate curve of is extracted. This is because the combinations extracted by the first combination extraction process P262 have the same number of candidates that are pairs of time series data and input, so the combination with a smaller total distance D is the input and time series. This is because it can be determined that the data candidates are close to each other and highly relevant.
  • the central processing unit 101 executes the second extraction result determination process P266.
  • the central processing unit 101 determines whether or not the combination extracted by the second combination extraction process P265 is one.
  • the central processing unit 101 determines that the combination is one (YES)
  • the above-mentioned identifier overwrite process P264 is executed, and the process P26 for overwriting the identifier is terminated.
  • the central processing unit 101 executes the third combination extraction process P267.
  • the central processing unit 101 selects the point sequence of the inputs i1, i2, i3 of the lane marker Lm and the time series data td1, td2, td3 of the lane marker Lm from the plurality of combinations. The combination that minimizes the minimum value of the distance D from the approximate curve of is extracted.
  • the central processing unit 101 executes the third extraction result determination process P268.
  • the central processing unit 101 determines whether or not the combination extracted by the third combination extraction process P267 is one. In this determination process P268, when the central processing unit 101 determines that the combination is one (YES), the above-mentioned identifier overwrite process P264 is executed, and the process P26 for overwriting the identifier is terminated.
  • the candidate narrowing process P269 is executed.
  • the central processing unit 101 extracts, for example, a combination having a small identifier number from a plurality of combinations. In many cases, only one combination is narrowed down to the second extraction result determination process P266. Therefore, in the candidate narrowing process P269, one combination can be arbitrarily extracted or the combination of the latest update time can be extracted. You may narrow down the combinations based on other criteria.
  • the central processing unit 101 executes the above-mentioned identifier overwriting process P264, and ends the process P26 for overwriting the identifier.
  • the similarity between the new inputs i1, i2, i3 of the lane marker Lm and the time series data td1, td2, td3 is determined by their average distances. ing. Therefore, the function F2 for assigning an identifier calculates the average distance between the new inputs i1, i2, i3 of the lane marker Lm and the time series data td1, td2, td3 by the distance calculation function F22.
  • the function F2 for assigning an identifier replaces the distance calculation function F22 with an approximate curve with new inputs i1, i2, i3 of the lane marker Lm and time series data. It may have a function of calculating the angle formed by the approximate curve of td1, td2, and td3. This makes it possible to reduce the amount of calculation in the central processing unit 101.
  • the data update function F24 shown in FIG. 4 executes the process P27 for deleting the data shown in FIG.
  • the data update function F24 is given a point sequence of inputs i1, i2, i3 of the lane marker Lm to which the identifier which is the output of the association function F23 is given, and an identifier which is the output of the data management function F26.
  • the time series data td1, td2, td3 of the lane marker Lm are input.
  • the data update function F24 updates the time-series data td1, td2, td3 of the lane marker Lm by the central processing unit 101 and outputs them to the data management function F26.
  • the central processing unit 101 inputs the point sequence of the inputs i1, i2, i3 of the lane marker Lm associated with the time series data td1, td2, td3 of the lane marker Lm as time series data. Add to td1, td2, td3 with time stamp. Further, in this process P27, the central processing unit 101 determines a point of the time series data td1, td2, td3 having the same identifier that is farther behind the vehicle V than the threshold value of a predetermined distance. Delete and delete the point where the time before the threshold of the predetermined time was recorded.
  • the above-mentioned distance threshold value and time threshold value may be fixed values or variable values, and points included in the time series data td1, td2, and td3 are deleted based on other indexes such as memory capacity. May be done. After the process P27 for deleting this data is completed, the process P28 for generating an approximate curve is executed as shown in FIG.
  • the function F25 for generating the approximate curve inputs the time series data td1, td2, td3 of the lane marker Lm which is the output of the data management function F26.
  • the function F25 that generates an approximate curve calculates the parameters of the approximate curve and the error ellipse by the central processing device 101 based on the input time series data td1, td2, td3 of the lane marker Lm. Output to the data management function F26.
  • the process P28 for generating this approximate curve will be described in detail with reference to FIG.
  • FIG. 9 is a flow chart of process P28 for generating an approximate curve by the function F25 for generating the approximate curve shown in FIG.
  • This process P28 includes, for example, a process P281 for calculating parameters, a process P282 for generating an error ellipse, and a process P283 for selecting an approximate curve.
  • the function F25 for generating the approximate curve uses the central processing device 101 to obtain two types of approximate curves, a straight line and a circle, with respect to the point sequence of the time series data td1, td2, and td3. Calculate the parameters. That is, in the present embodiment, the approximate curve may have only a straight line, only an arc, or may include a straight line and an arc.
  • the parameters of the approximate straight lines of the time series data td1, td2, and td3 are calculated by the least squares method using, for example, the respective point sequences of the time series data td1, td2, and td3.
  • the number of time-series data td1, td2, each point points included in the column of td3 Pi is n point, the coordinates of the point Pi and (x i, y i).
  • the parameters a, b, c of the following equation (1) and the parameters a', b', c'of the following equation (2) are obtained.
  • the parameters a', b', c'of the above equation (2) are adopted as the parameters of the approximate straight line.
  • the parameters a, b, and c of the above equation (1) are adopted as the parameters of the approximate straight line.
  • x and y are objects
  • the above formula (2) is a form in which x and y of the above formula (1) are interchanged.
  • the parameters of the above equations (1) and (2) do not match, and one equation can be approximated with higher accuracy than the other equation depending on the distribution of the x-coordinate and the y-coordinate of the points. ..
  • the parameter of the approximate circle of the time series data td1, td2, td3 is, for example, to obtain three points as representative points from each point sequence of the time series data td1, td2, td3, and further to obtain a circle passing through the representative points. Calculated by.
  • each point sequence of the time series data td1, td2, td3 is rearranged by the distance from the vehicle V and classified into three clusters. Then, by obtaining the center of gravity of each cluster, three representative points are calculated.
  • the center point and radius of the circle can be calculated based on the representative points of these three points. Therefore, the representative points of these three points are used as parameters of the approximate circle.
  • the data update function F24 adds a point sequence of inputs i1, i2, i3 to the time series data td1, td2, td3 together with a time stamp. Therefore, as a method of selecting the representative point of the point sequence of the time series data td1, td2, td3, for example, it is possible to select the time information such as the oldest time, the intermediate time, and the latest time.
  • the representative point may be selected based on a criterion other than the time information.
  • the function F25 for generating the approximate curve uses the central processing device 101 to perform the error ellipse from the point sequence of the time series data td1, td2, td3 for each of the approximate straight line and the approximate circle.
  • the error ellipse is obtained by a general formula obtained by assuming a ⁇ 2 distribution from the covariance of the distribution.
  • the function F25 that generates an approximate curve obtains a distribution as follows, for example.
  • the center of the error ellipse is set as the point closest to the center of gravity of each of the time series data td1, td2, and td3.
  • the major axis of the error ellipse is the direction of the approximate curve, that is, the tangential direction of the approximate straight line or the approximate circle, and the minor axis of the error ellipse is the direction perpendicular to the major axis.
  • the major axis is calculated from the dispersion in the direction represented by the approximate straight line
  • the minor axis is calculated from the dispersion in the direction perpendicular to the direction represented by the approximate straight line.
  • the major axis of the error ellipse is obtained from the value obtained by multiplying the angle and the distance using polar coordinates, that is, the dispersion obtained in the circumferential direction of the approximate circle, and the center of the approximate circle in the radial direction, that is, on the circumference. Find the minor axis from the dispersion in the direction.
  • the minor axis can be calculated from the distance between the approximate curve and each point of the time series data td1, td2, td3, and the major axis is the time series data td1, td2, td3 from the center of the error ellipse on the approximate curve. It can be calculated from the distance to each point of.
  • the parameter of the error ellipse expresses the distribution of points included in the time series data td1, td2, td3 with reference to the approximate curve.
  • the covariance matrix is obtained with the fixed coordinate values of the original local coordinate system, and the chi-square distribution with 2 degrees of freedom is assumed for the eigenvalues to obtain the major and minor diameters of the error ellipse.
  • the function F25 for generating the approximate curve uses either the approximate straight line or the approximate circle for the point sequence of the time series data td1, td2, td3 by the central processing device 101. Select one trendline.
  • the standard deviation is obtained by calculating the distance from the approximate curve for each of the time series data td1, td2, and td3. Then, an approximate curve with a smaller standard deviation is selected as a more suitable approximate curve. This is because the larger the standard deviation, the different the approximate curve and the point sequence.
  • the central processing unit 101 considers that it is not represented by the approximate curve and deletes the time series data td1, td2, td3 itself.
  • the output of the function F25 that generates an approximate curve includes, for example, the following parameters (a) to (f).
  • the function F25 for generating an approximate curve generates an approximate curve including a straight line or an arc with respect to the time series data td1, td2, td3 having the same identifier by the central processing unit 101.
  • the central processing apparatus 101 calculates an approximate curve parameter expressing the point sequence distribution from the point sequence information of each time series data td1, td2, td3, and outputs the approximate curve parameter to the data management function F26.
  • the processing time of the time series data td1, td2, td3 is suppressed by using the parameters of the approximate curve.
  • the parameters of the approximate curve may include, for example, statistical information such as an error ellipse representing the point sequence distribution of the time series data td1, td2, td3, in addition to the parameters of the approximate curve itself.
  • the function F25 that generates an approximate curve of the sensor information processing apparatus 100 of the present embodiment employs two types of approximate curves for the time series data td1, td2, and td3, that is, linear approximation and circular approximation.
  • the straight line and the circle are represented by an implicit function that is symmetrical with respect to the X and Y axes of the fixed coordinate system outside the vehicle V, and the fixed coordinate system also realizes a representation that does not depend on the direction of the vehicle V. To do.
  • the data management function F26 is an approximation curve of the updated time series data td1, td2, td3 which is the output of the data update function F24 and the time series data td1, td2, td3 which is the output of the function F25 which generates an approximation curve. Input parameters.
  • the data management function F26 stores the input information in the storage device 102 by the central processing unit 101. Further, the data management function F26 outputs the time series data td1, td2, td3 to the distance calculation function F22, the association function F23, the data update function F24, and the function F25 for generating an approximate curve by the central processing unit 101.
  • Tables 1 and 2 below show an example of time-series data td1, td2, and td3 stored in the storage device 102.
  • Tables 1 and 2 show an example of time-series data td1, td2, and td3 stored in the storage device 102.
  • Table 1 and Table 2 show an example of time-series data td1, td2, and td3 stored in the storage device 102.
  • Tables 1 and 2 show an example of time-series data td1, td2, and td3 stored in the storage device 102.
  • Tables 1 and 2 show an example of time-series data td1, td2, and td3 stored in the storage device 102.
  • Tables 1 and 2 show an example of time-series data td1, td2, and td3 stored in the storage device 102.
  • Table 1 and 2 show an example of time-series data td1, td2, and td3 stored in the storage device
  • the history management table which is an example of the time series data td1, td2, td3, is, for example, in the part shown in Table 1, the identifier, the time stamp, the point sequence list, the score of the point sequence, and the coordinates of the center of gravity of the point sequence. including. Further, in the part shown in Table 1, the history management table approximates, for example, an approximate curve parameter representing the coefficient of the approximate straight line when the point sequence is expressed by a straight line approximation, and the point sequence used when calculating the approximate straight line. Includes an error elliptical parameter that represents the major and minor axes obtained from a straight line.
  • the history management table is used in the part shown in Table 2, for example, the approximate curve parameters representing the center coordinates and radius of the approximate circle when the point sequence is represented by a circle approximation, and the points used when calculating the approximate circle. Includes error ellipse parameters representing the major and minor axes of the error ellipse obtained from the column and the approximate circle. Further, in the portion shown in Table 2, the history management table is, for example, an approximate curve determination flag indicating whether the approximate curve to be applied to the respective time series data td1, td2, td3 is a linear approximation or a circular approximation. including.
  • the data management function F26 uses, for example, the history management table stored in the storage device 102 to enter the point sequence information of the time series data td1, td2, td3 of the lane marker Lm, such as an identifier, a time stamp, and an approximate curve determination flag. It is managed every time.
  • the data management function F26 takes the output of the data update function F24 and the function F25 for generating an approximate curve as input, and the central processing unit 101 edits the entry of the history management table based on the identifier based on the input, or Add a new entry to the history management table.
  • the sensor information processing apparatus 100 executes, for example, the end determination process P29 of the process P2 by the function F2 for assigning an identifier after the end of the process P28 for generating the approximate curve shown in FIG.
  • the function F2 for assigning an identifier identifies the result from the function F1 for acquiring the point sequence information by the coordinate conversion function F21.
  • the process returns to process P21 for acquiring Id as point sequence information.
  • the function F2 for assigning an identifier terminates the process P2 by the function F2 for assigning an identifier when it is determined by the central processing unit 101 that the process P2 has been completed (YES).
  • the function F3 for outputting the lane marker information includes the identifier Idn of the lane marker Lm which is the output of the function F2 for assigning the identifier and the lane marker Lm which is the output of the function F1 for acquiring the point sequence information.
  • the identification result Id and the above are input.
  • the function F3 that outputs the lane marker information outputs the recognition result R of the lane marker Lm to which the identifier is given based on these inputs.
  • the function F3 that outputs lane marker information assigns an identifier to the detection result De of the lane marker Lm by each external sensor 200 by the central processing unit 101.
  • the function F3 that outputs the lane marker information integrates the point sequence of the identification result Id of the lane marker Lm having the same identifier into one identifier in order to facilitate the handling in the lane marker information integration device 500.
  • the identification result Id of one lane marker Lm may correspond to the identification result Id.
  • the rightmost lane boundary line is set as the reference lane boundary line, the distance from the own vehicle, which is the origin, to each lane boundary line is measured, and the reference lane boundary line is measured. Find the distance from to each lane boundary line, and assign a lane boundary line number to each lane boundary line. Further, this conventional self-driving vehicle obtains the relative position on the road of the own vehicle, and obtains a value obtained by correcting the relative position on the road calculated at the previous time according to the movement locus of the own vehicle.
  • this conventional self-driving vehicle determines the continuity of the lane boundary line based on the distance from the own vehicle to the nearest lane boundary line. Therefore, if the number of lanes increases or decreases due to, for example, a lane branching from a traveling lane or a lane joining the traveling lane, different lane boundaries may be mistakenly recognized as the same lane boundary.
  • the sensor information processing device 100 of the present embodiment is a device that identifies the lane marker Lm by processing the detection result De of a plurality of external world sensors 200 that recognize the lane marker Lm that divides the lane L.
  • the sensor information processing device 100 identifies the lane marker Lm based on the storage device 102 that stores the past detection result De of the external sensor 200 as the time series data td1, td2, td3 and the time series data td1, td2, td3. It is provided with a central processing unit 101.
  • the new detection result De is an existing lane marker based on the comparison between the new detection result De not included in the time series data td1, td2, td3 and the time series data td1, td2, td3. Determined to belong to Lm or a new lane marker Lm.
  • the new inputs i1, i2, i3 of the lane marker Lm are the same as the existing lane marker Lm.
  • the sex can be determined more accurately.
  • the identity of the lane marker Lm can be determined more accurately with respect to the increase in the lane marker Lm in front of and behind the vehicle V and the detection result De of the plurality of different external world sensors 200. ..
  • the sensor information processing device 100 that processes the detection result De of the plurality of external world sensors 200 that recognize the lane marker Lm that divides the lane L and can identify the lane marker Lm more accurately than before. Can be provided.
  • the inputs i1, i2, i3 based on the new detection result De of the external world sensor 200 are used as the existing lane marker Lm or the new lane marker Lm.
  • the inputs i1, i2, and i3 after the determination of belonging are stored in the storage device 102 as time-series data td1, td2, td3.
  • the time series data td1, td2, td3 can be updated based on the latest detection result De of the external sensor 200.
  • the central processing unit 101 inputs an identifier unique to each identified lane marker Lm by input i1, based on the time series data td1, td2, td3 and a new detection result. It is given to i2 and i3. With this configuration, each input i1, i2, i3 can be associated with each time series data td1, td2, td3.
  • the detection result De of the external world sensor 200 includes the point sequence information.
  • the detection result De of the external world sensor 200 includes the parameter of the approximate curve. More specifically, for example, the time series data td1, td2, td3 based on the past detection result De of the external world sensor 200 includes the parameters of the approximate curve. With this configuration, it is possible to reduce the amount of calculation in the identification of the lane marker Lm based on the time series data td1, td2, td3 and the determination based on the comparison between the inputs i1, i2, i3 and the time series data td1, td2, td3. It will be possible.
  • sensor information that can process the detection result De of a plurality of external world sensors 200 that recognize the lane marker Lm that divides the lane L and can identify the lane marker Lm more accurately than before.
  • the processing apparatus 100 can be provided.
  • FIG. 10 is a functional block diagram of the sensor information processing device 100A of the present embodiment. Note that FIG. 10 corresponds to FIGS. 2 and 4 in the sensor information processing apparatus 100 of the first embodiment.
  • the sensor information processing device 100A of the present embodiment is different from the sensor information processing device 100 of the above-described first embodiment in the configurations of the central processing unit 101 and the storage device 102. Since the other configurations of the sensor information processing apparatus 100A of the present embodiment are the same as those of the sensor information processing apparatus 100 according to the first embodiment, the same reference numerals are given to the same configurations and the description thereof will be omitted.
  • the sensor information processing device 100A of the present embodiment is mainly provided in that it has a map information holding function F4 and that the function F2A for assigning an identifier has a map information extracting function F27A and does not have a data updating function F24. It is different from the sensor information processing device 100 of the first embodiment. Further, the distance calculation function F22A, the association function F23A, the function F25A for generating the approximate curve, and the data management function F26A included in the function F2A for assigning an identifier provide the distance calculation function F22, the association function F23, and the approximate curve of the first embodiment. It is different from the function F25 to generate and the data management function F26.
  • the above-mentioned functions in the sensor information processing device 100A of the present embodiment are the same as those of the sensor information processing device 100 of the first embodiment, for example, the CPU 101 constituting the sensor information processing device 100A, the storage device 102, and the storage device 102 thereof. It is composed of a computer program stored in the storage device 102 and an input / output device (not shown).
  • the storage device 102 stores map information including the information of the lane marker Lm.
  • the map information holding function F4 inputs, for example, the detection result Dp which is the output of the positioning sensor 400.
  • the central processing unit 101 outputs the map information stored in the storage device 102 to the map information extraction function F27A based on the position information which is the detection result Dp of the positioning sensor 400.
  • the map information stored in the storage device 102 is, for example, a high-precision map created offline based on the data measured with high accuracy by LIDAR.
  • the map information may be, for example, a dynamically generated map constructed by collecting recognition results by a plurality of probes equipped with a lidar or a stereo camera in a cloud storage. Further, as the map information, a map for car navigation may be used.
  • the central processing unit 101 acquires, for example, a map around the vehicle V from the cloud storage based on the position of the vehicle V included in the detection result Dp by the positioning sensor 400, and obtains the map. It is stored in the storage device 102 as map information.
  • the map information includes, for example, the number of lanes L on the road Rd, the speed limit, the radius of curvature, the longitudinal gradient, the cross gradient, the width of the lane L, the information on the lane marker Lm, the lane center point, and the like.
  • the coordinate conversion function F21A has the same function as the coordinate conversion function F21 of the first embodiment.
  • the distance calculation function F22A has the same function as the distance calculation function F22 of the first embodiment, but the input from the data management function F26A becomes the information of the lane marker Lm included in the map information.
  • the association function F23A has the same function as the association function F23 of the first embodiment, but the input from the data management function F26A becomes the information of the lane marker Lm included in the map information. Further, in the association function F23A, the output of the distance calculation function F22A is associated with the information of the lane marker Lm included in the map information which is the output of the data management function F26A, and the output of the distance calculation function F22A is stored in the storage device 102. No need to store. Therefore, the association function F23A outputs the identification result Idn of the lane marker Lm to which the identifier is given only to the function F3 that outputs the lane marker information.
  • the function F25A for generating the approximate curve has the same function as the function F25 for generating the approximate curve of the first embodiment, but the input from the data management function F26A becomes the information of the lane marker Lm included in the map information. Further, the function F25A for generating an approximate curve generates an approximate curve and outputs the approximate curve to the data management function F26A based on the information of the lane marker Lm included in the map information input from the data management function F26A.
  • the map information extraction function F27A extracts information on the lane marker Lm of each lane L based on the detection result Dp output from the positioning sensor 400 and the map information output from the map information holding function F4, and the data management function F26A. Output to.
  • the map information extraction function F27A extracts information on the lane marker Lm in a required range based on the position of the vehicle V included in the detection result Dp of the positioning sensor 400.
  • the map information extraction function F27A may extract the information of the lane marker Lm in the range that can be detected by the outside world sensor 200 to reduce the information capacity.
  • the information of the lane marker Lm includes, for example, information regarding an identifier and a position associated with each lane L. Since the identifier of the lane marker Lm based on the map information is determined in advance by surveying, it can be used as the basis of the identifier set by the association function F23A.
  • the information of the lane marker Lm which is the output of the map information extraction function F27A, is in the point sequence format in the same fixed coordinate system as the coordinate conversion function F21A.
  • the map information includes the information of the lane marker Lm as the coefficient of the approximate curve parameter, it can be converted into a point sequence based on the coefficient of the approximate curve parameter as in the function F1 for acquiring the point sequence information. ..
  • map information extraction function F27A when the approximate curve parameter input from the map information holding function F4 is an approximation similar to the linear approximation or the circular approximation of the approximate curve generated by the function F25A for generating the approximate curve. It is not necessary to convert to the point sequence format. In this case, the map information extraction function F27A may output the coefficient of the approximate curve parameter to the data management function F26A instead of the function F25A for generating the approximate curve. As a result, the processing of the function F25A that generates an approximate curve can be omitted, and the processing load can be reduced.
  • the data management function F26A has the same function as the data management function F26 of the first embodiment, but the information of the lane marker Lm input from the map information extraction function F27A is used as the distance calculation function F22A, the association function F23A, and the approximate curve. Output to the generated function F25A.
  • the storage device 102 stores map information including the information of the lane marker Lm. Further, in the sensor information processing device 100A of the present embodiment, the central processing unit 101 is a lane included in the map information stored in the storage device 102 based on the position information which is the detection result Dp input from the positioning sensor 400.
  • the marker Lm is associated with the lane marker Lm based on the time series data td1, td2, td3.
  • the lane marker Lm can be identified based on the map information.
  • Map information is data that has been surveyed with high accuracy offline and the latest data that has been collected and formatted by multiple probes. Therefore, it is possible to accurately associate the information of the lane marker Lm based on the detection result De by the external sensor 200 mounted on the vehicle V with the information of the lane marker Lm, and even the lane marker Lm on the road Rd having a complicated shape can be accurately associated. Can be identified. Therefore, according to the sensor information processing device 100A of the present embodiment, it is possible to realize highly accurate lane tracking and lane change in AD and ADAS of the vehicle V.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

車線を区切るレーンマーカーを認識する複数の外界センサの検出結果を処理し、従来よりも正確にレーンマーカーを識別可能なセンサ情報処理装置を提供する。センサ情報処理装置１００は、過去の外界センサ２００の検出結果Ｄｅを時系列データとして記憶する記憶装置１０２と、その時系列データに基づいてレーンマーカーを識別する中央処理装置１０１と、を備える。中央処理装置１０１は、時系列データに含まれない新規の検出結果Ｄｅと時系列データとの比較に基づいて、新規の検出結果Ｄｅが既存のレーンマーカーまたは新規のレーンマーカーに属することを判定する。

Description

センサ情報処理装置
　本開示は、センサ情報処理装置に関する。
　従来から高速自動車道など複数の車線が存在する道路環境を自動走行するときに、走行区分線（車線境界線）の連続性を判定して特定しつつ自動走行できるようにした自動走行車両が知られている（下記特許文献１を参照）。この従来の自動走行車両は、車両進行方向の走行路を認識して得られた道路画像から走行区分線を認識する装置を備えている（同文献、請求項１等を参照）。
　上記認識装置は、次の（ａ）から（ｆ）の手段を備えている（同文献、請求項１等を参照）。（ａ）前記道路画像から少なくとも１つの線分を抽出する手段。（ｂ）所定時刻毎に抽出された線分から道路の走行区分線を識別する手段。（ｃ）前回識別時から今回識別時までの車両の走行軌跡を推定する手段。（ｄ）推定された走行軌跡と今回識別された走行区分線に基づいて前回までに識別された走行区分線と今回識別された走行区分線との連続性を判定する手段。（ｅ）該判定結果に基づいて識別された走行区分線に同一の識別子を付与する手段。（ｆ）該識別子を付与された走行区分線の情報をストアする手段。
　このような構成により、上記従来の自動走行車両では、車線境界線の連続性を判定して同一の識別子を付与してその特定情報をストアするので、車線境界線の特定が極めて容易となって演算量も低減する（同文献、第０００７段落等を参照）。
特開２００３－２０３２９８号公報
　上記従来の自動走行車両は、最も右側の車線境界線を基準車線境界線とし、原点である自車から各車線境界線までの距離を測定し、基準車線境界線から各車線境界線までの距離を求め、各車線境界線に車線境界線番号を付与する（同文献、第００１７段落－第００２３段落等を参照）。すなわち、この従来の自動走行車両は、自車から直近の車線境界線までの距離に基づいて、車線境界線の連続性を判定している。そのため、たとえば走行車線から分岐する車線や、走行車線に合流する車線などによって車線数が増減すると、異なる車線境界線を同一の車線境界線として誤認識するおそれがある。
　本開示は、車線を区切るレーンマーカーを認識する複数の外界センサの検出結果を処理し、従来よりも正確にレーンマーカーを識別可能なセンサ情報処理装置を提供する。
　本開示の一態様は、車線を区切るレーンマーカーを認識する複数の外界センサの検出結果を処理して前記レーンマーカーを識別するセンサ情報処理装置であって、過去の前記検出結果を時系列データとして記憶する記憶装置と、前記時系列データに基づいて前記レーンマーカーを識別する中央処理装置と、を備え、前記中央処理装置は、前記時系列データに含まれない新規の前記検出結果と前記時系列データとの比較に基づいて、前記新規の前記検出結果が既存の前記レーンマーカーまたは新規の前記レーンマーカーに属することを判定することを特徴とするセンサ情報処理装置である。
　本開示の上記一態様によれば、車線を区切るレーンマーカーを認識する複数の外界センサの検出結果を処理し、従来よりも正確にレーンマーカーを識別可能なセンサ情報処理装置を提供することができる。
本開示に係るセンサ情報処理装置の一実施形態を示すハードウェア構成図。 図１に示すセンサ情報処理装置の機能ブロック図。 図１に示すセンサ情報処理装置を搭載した車両の車線走行時の平面図。 図３Ａに示す車両の外界センサの新規の検出結果の概念図。 図３Ａに示す車両の外界センサの検出結果の時系列データの概念図。 図２に示すセンサ情報処理装置の識別子付与機能の機能ブロック図。 図４に示す識別子付与機能による処理のフロー図。 図４に示す距離計算機能による処理のフロー図。 図４に示す距離計算機能による処理の説明図。 図４に示す関連付け機能による処理のフロー図。 図４に示す近似曲線生成機能による処理のフロー図。 本開示に係るセンサ情報処理装置の一実施形態を示す機能ブロック図。
　以下、図面を参照して本開示に係るセンサ処理装置の実施形態を説明する。
［実施形態１］
　図１は、本開示に係るセンサ情報処理装置の一実施形態を示すハードウェア構成図である。本実施形態のセンサ情報処理装置１００は、たとえば車両Ｖに搭載され、先進運転支援システム（Advanced Driver Assistance System：ＡＤＡＳ）や自動走行システム（Automated Driving：ＡＤ）の一部を構成する。
　センサ情報処理装置１００は、たとえば、中央処理装置（Central Processing Unit：ＣＰＵ）１０１と、メモリやハードディスクなどの記憶装置１０２と、その記憶装置１０２に記憶されたコンピュータプログラムと、図示を省略する入出力装置とを備える。センサ情報処理装置１００は、たとえば、ファームウェアまたはマイクロコントローラなどのコンピュータシステムである。また、センサ情報処理装置１００は、たとえば車両Ｖに搭載されたＡＤＡＳまたはＡＤ用の電子制御ユニット（Electronic Control Unit：ＥＣＵ）の一部であってもよい。
　センサ情報処理装置１００は、たとえば、車両Ｖに搭載された外界センサ２００、車両センサ３００、測位センサ４００、およびレーンマーカー情報統合装置５００に対し、ＣＡＮ（Controller Area Network）や車載用イーサネットなどを介して情報通信可能に接続されている。センサ情報処理装置１００は、外界センサ２００、車両センサ３００および測位センサ４００からそれぞれ検出結果Ｄｅ，Ｄｖ，Ｄｐが入力され、これらのセンサ情報の処理結果Ｒをレーンマーカー情報統合装置５００へ出力する。センサ情報処理装置１００が備える機能の詳細は後述する。
　センサ情報処理装置１００は、たとえば、所定の周期で繰り返し動作するように構成されている。センサ情報処理装置１００の動作の周期は、特に限定はされないが、たとえば100［msec］程度の固定周期とすることができる。センサ情報処理装置１００の動作の周期は、たとえば、車両制御に適した周期に設定することができる。具体的には、たとえば、センサ情報処理装置１００の動作の周期を固定せず、外界センサ２００および車両センサ３００の動作の周期に応じて適宜変更することができる。たとえば、周期の揺らぎやずれの影響を考慮して、外界センサ２００からの情報が確実にセンサ情報処理装置１００によって取得できるようにする。
　外界センサ２００は、車両Ｖに搭載され、車両Ｖの周囲の環境を認識するセンサである。外界センサ２００は、たとえば、ステレオカメラ装置、全周囲俯瞰カメラシステム、ＬＩＤＡＲ（Light Detection and Ranging）、単眼カメラ装置、およびその他のレーンマーカーを認識可能なセンサのうち、二つ以上すなわち複数の外界センサを含む。ここで、レーンマーカーまたはレーンマーキングとは、道路上の車線を区分する道路標示であり、白色または黄色の実線または破線で表示される車線境界線を含む。なお、レーンマーカーとしては、たとえば、路面標示用塗料、道路鋲、ポール、石などが一般に用いられている。
　外界センサ２００によるレーンマーカーの認識について、ステレオカメラ装置を例として説明する。外界センサ２００であるステレオカメラ装置は、たとえば画像情報からレーンマーカーを認識する。また、ステレオカメラ装置は、たとえば二つのカメラの画像から視差画像を生成し、レーンマーカーの画像の各画素に対して車両Ｖからの距離および方向を算出する。
　複数の外界センサ２００のうち、少なくとも一つの検出結果Ｄｅは、たとえば、レーンマーカーを認識する処理を行った時刻と、レーンマーカーの認識点列と、点列メタ情報とを含む。レーンマーカーの認識点列とは、複数の外界センサ２００が認識した各々のレーンマーカー上の点を、車両座標系で表した配列すなわち点列である。車両座標系とは、たとえば車両Ｖの後輪の車軸の中心を原点とし、車両Ｖの前方を正方向とするＸ軸と、車両Ｖの左方向を正方向とするＹ軸とからなる座標系である。
　また、点列メタ情報とは、複数の外界センサ２００に含まれる各々の外界センサの種別や、区画線の線種などのレーンマーカーの種別を含む情報である。外界センサ２００の検出結果Ｄｅがこのような点列メタ情報を含む場合には、レーンマーカー情報統合装置５００において、たとえば区画線の線種などのレーンマーカーの種別に基づいて、複数のレーンマーカーの情報の統合処理を行うことが可能になる利点がある。
　本実施形態では、複数の外界センサ２００の検出結果Ｄｅが、認識処理時刻、認識点列、および点列メタ情報を含むものとする。なお、これ以降に説明する処理において、認識処理時刻、すなわち、レーンマーカーを認識する処理を行った時刻は、外界センサ２００の検出結果Ｄｅがセンサ情報処理装置１００に入力された時刻によって代替してもよい。これにより、センサ情報処理装置１００の入力における転送帯域を節約することが可能になる。
　なお、複数の外界センサ２００のうち、少なくとも一つの検出結果Ｄｅは、たとえば、レーンマーカーの形状に基づく二次曲線の係数等、レーンマーカーの形状に基づく近似曲線のパラメータであってもよい。この場合、検出結果Ｄｅが認識点列である場合と比較して、検出結果Ｄｅの情報容量を小さくすることができる。なお、近似曲線のパラメータは、たとえば、その近似直線上で０．５［ｍ］毎に点を取ることで、点列に変換することができる。
　車両センサ３００は、たとえば、車両Ｖに搭載された、速度センサ、加速度センサ、角速度センサ、舵角センサ、ブレーキセンサ、アクセルセンサ、ジャイロセンサ、エンジン回転センサ、およびシフトセンサなどを含む。車両センサ３００は、たとえば、車両Ｖの速度、加速度、角速度、操舵角、ブレーキの踏力、アクセルの開度、グローバル座標系での姿勢、エンジン回転数、シフト位置などを含む検出結果Ｄｖを、センサ情報処理装置１００へ出力する。なお、車両センサ３００が出力する検出結果Ｄｖは、必ずしも前述のすべての情報を含む必要はないが、たとえば、少なくとも車両Ｖの速度、加速度および角速度を含む。
　測位センサ４００は、たとえば、車両Ｖに搭載されたＧＰＳ（Global Navigation Satellite System）やＧＮＳＳ（Global Navigation Satellite System）などの衛星測位システムであり、車両Ｖの位置と方位を検出結果Ｄｐとしてセンサ情報処理装置１００へ出力する。また、測位センサ４００は、たとえば、車両センサ３００に含まれる速度センサ、角速度センサ、ジャイロセンサ等を用い、たとえばトンネルや高層ビルの間などで衛星測位システムによる測位を補完してもよい。
　なお、測位センサ４００によって車両Ｖの位置と方位を短い周期で正確に求め、前回の周期と今回の周期とにおける位置と方位の差分を算出してもよい。この場合、車両センサ３００によるホイールやステアリングの検出結果に基づいて車両Ｖの位置と方位を求めたときに、ホイールや地面の状態で速度や回転速度が変化する誤差を排除するようにしてもよい。
　レーンマーカー情報統合装置５００は、たとえば、ＣＰＵ５０１と、記憶装置５０２と、その記憶装置５０２に記憶されたコンピュータプログラムと、図示を省略する入出力装置とを備える。レーンマーカー情報統合装置５００は、たとえば、ファームウェアまたはマイクロコントローラなどのコンピュータシステムである。また、レーンマーカー情報統合装置５００は、たとえば車両Ｖに搭載されたＡＤＡＳまたはＡＤ用のＥＣＵの一部であってもよい。
　レーンマーカー情報統合装置５００は、センサ情報処理装置１００から出力された処理結果Ｒや、レーンマーカーを認識可能な他のセンサの検出結果や、別の時刻におけるレーンマーカーの識別結果などを、記憶装置５０２に記憶させる。そして、記憶装置５０２に記憶させた処理結果Ｒ、検出結果および識別結果などを、ＣＰＵ５０１によって統合する。これにより、レーンマーカー情報統合装置５００は、レーンマーカーの識別結果の精度、範囲、滑らかさ、必要なメモリ量などを改善する。
　その具体的な改善方法としては、たとえば、ＣＰＵ５０１は、まず複数のレーンマーカーの識別結果のうち、同一の識別子を有する識別結果の単純な集合和を取った点列を求める。次に、ＣＰＵ５０１は、点列に含まれる点のうち互いに近い複数の点の平均をとり、いくつかの代表点を求めることで点列の点数を減少させ、大数の法則により誤差の影響を減らしつつ、必要なメモリ量が少ない点列を求める。なお、レーンマーカー情報統合装置５００による処理は、上記の方法に限定されない。たとえば、ＣＰＵ５０１は、集合和をとった点列から近似曲線を求めて近似曲線のパラメータを算出してもよい。また、ＣＰＵ５０１は、近似曲線上に一定の間隔でとった点を新たな点列として滑らかさを改善してもよい。
　以下、図２から図９を参照して、本実施形態のセンサ情報処理装置１００の機能を詳細に説明する。図２は、図１に示すセンサ情報処理装置１００の機能ブロック図である。
　センサ情報処理装置１００は、たとえば、点列情報を取得する機能Ｆ１と、識別子を付与する機能Ｆ２と、レーンマーカー情報を出力する機能Ｆ３と、を有している。これらの各機能は、たとえば、センサ情報処理装置１００を構成するＣＰＵ１０１と、記憶装置１０２と、その記憶装置１０２に記憶されたコンピュータプログラムと、図示を省略する入出力装置とによって構成される。
　図３Ａは、センサ情報処理装置１００、外界センサ２００、車両センサ３００、測位センサ４００およびレーンマーカー情報統合装置５００が搭載された車両Ｖが、道路Ｒｄ上のレーンマーカーＬｍによって区切られた車線Ｌを走行している様子を示す平面図である。図３Ｂは、図３Ａに示す車両Ｖの外界センサ２００の新規の検出結果Ｄｅの概念図である。図３Ｃは、図３Ａに示す車両Ｖの外界センサ２００の検出結果Ｄｅの時系列データｔｄ１，ｔｄ２，ｔｄ３の概念図である。
　たとえば、車両Ｖに搭載された外界センサ２００に含まれるステレオカメラや単眼カメラなどの撮像装置は、図３Ａに示すように、車両Ｖが道路Ｒｄ上の車線Ｌを走行中に、車両Ｖの周囲の他の車両、歩行者、障害物、道路Ｒｄ、およびレーンマーカーＬｍなどの画像を撮影する。外界センサ２００は、前述のように、たとえばレーンマーカーＬｍの認識処理時刻、認識点列、および点列メタ情報を含む検出結果Ｄｅを、センサ情報処理装置１００へ出力する。
　センサ情報処理装置１００は、複数の外界センサ２００に含まれる個々のセンサの検出結果Ｄｅを逐次処理する。すなわち、センサ情報処理装置１００は、各々の外界センサ２００の検出結果Ｄｅの処理を所定の周期で順次実行する。センサ情報処理装置１００は、たとえば、情報量が多い外界センサ２００の検出結果Ｄｅを優先的に処理する。これにより、次に処理する外界センサ２００の検出結果Ｄｅと、記憶装置１０２に記憶された情報量がより多い先の外界センサ２００の検出結果Ｄｅとを比較することができ、比較の精度が向上する。
　なお、センサ情報処理装置１００は、たとえば、複数の外界センサ２００の検出結果Ｄｅを並列処理するようにしてもよい。これにより、複数の外界センサ２００の検出結果Ｄｅの処理時間を削減することができる。また、センサ情報処理装置１００は、外界センサ２００毎の検出結果Ｄｅの時系列データを記憶装置１０２に記憶させ、個々の外界センサ２００の検出結果Ｄｅ間の差異の影響を低減させてもよい。
　図３Ｂに示すように、外界センサ２００の新規の検出結果Ｄｅは、たとえば、入力ｉ１，ｉ２，ｉ３として、センサ情報処理装置１００の記憶装置１０２に記憶される。また、記憶装置１０２は、図３Ｃに示すように、外界センサ２００の過去の検出結果Ｄｅに基づくレーンマーカーＬｍの識別結果Ｉｄが、たとえば、時系列データｔｄ１，ｔｄ２，ｔｄ３として記憶されている。なお、図３Ｂおよび図３Ｃに示す例において、入力ｉ１，ｉ２，ｉ３および時系列データｔｄ１，ｔｄ２，ｔｄ３は、それぞれ、外界センサ２００によるレーンマーカーＬｍの認識結果である点列、すなわち、認識点列によって構成されている。
　点列情報を取得する機能Ｆ１は、たとえば、外界センサ２００の検出結果Ｄｅと、車両センサ３００の検出結果Ｄｖとを入力とする。この機能Ｆ１において、中央処理装置１０１は、外界センサ２００から入力された検出結果Ｄｅに含まれるレーンマーカーＬｍの認識結果の形式を揃え、認識処理時刻を同期する。その後、中央処理装置１０１は、複数の外界センサ２００に含まれるセンサ毎のレーンマーカーＬｍの識別結果Ｉｄを、識別子を付与する機能Ｆ２およびレーンマーカー情報を出力する機能Ｆ３へ出力する。
　外界センサ２００の検出結果Ｄｅに含まれるレーンマーカーＬｍの認識結果が、近似曲線のパラメータである場合、点列情報を取得する機能Ｆ１において、中央処理装置１０１は、近似曲線上に適当な間隔で複数の点を生成して点列の形式に変換する。なお、点列の点の間隔は、固定でも可変でもよい。点の間隔が可変である場合は、たとえば、認識点列に含まれる点の数の上限を固定し、車両Ｖの速度が低い場合に点の間隔を狭くし、車両Ｖの速度が高い場合に点の間隔を広くする。これにより、必要な情報量の見積が容易になる。
　また、点列情報を取得する機能Ｆ１において、中央処理装置１０１は、レーンマーカーＬｍの認識結果である近似曲線のパラメータを点列の形式に変換するときに、点列を構成する各点の座標をローカル座標系の座標に統一する。ローカル座標系は、車両Ｖの後輪の車軸の中心を原点とし、車両Ｖの前方を正方向とするＸ軸と、車両Ｖに左方向を正方向とするＹ軸からなる座標系である。
　また、外界センサ２００の検出結果Ｄｅに含まれるレーンマーカーＬｍの認識結果が点
列である場合、点列情報を取得する機能Ｆ１において、中央処理装置１０１は、その認識結果をそのまま取得する。取得した点列の座標が、ローカル座標系の座標でない場合、中央処理装置１０１は、点列の座標をローカル座標系の座標に変換する。また、点列情報を取得する機能Ｆ１において、中央処理装置１０１は、各々の外界センサ２００の認識処理時刻を、センサ情報処理装置１００による処理周期の開始時刻に合わせる。
　具体的には、点列情報を取得する機能Ｆ１において、中央処理装置１０１は、処理周期の開始時刻と各々の外界センサ２００の認識処理時刻の差分時間を算出する。さらに、中央処理装置１０１は、車両Ｖの差分時間における移動量を、車両センサ３００の検出結果Ｄｖに含まれる車両Ｖの速度および角速度に基づき、等速円運動モデルで推定し、認識点列の位置を調整する。さらに、中央処理装置１０１は、外界センサ２００の検出結果Ｄｅに含まれる認識処理時刻を、同期後の処理周期の開始時刻に変更する。
　以上により、センサ情報処理装置１００の識別子を付与する機能Ｆ２において、同じ処理周期のレーンマーカーＬｍの検出結果Ｄｅを、時刻を意識することなく活用できる。なお、車両Ｖの差分時間における移動量を推定するための運動モデルは、等速円運動モデルに限定されず、等速直線運動モデルでもよいし、加速度を加味したモデルでもよく、センサ情報処理装置１００の処理周期に応じて変更することが可能である。
　識別子を付与する機能Ｆ２は、たとえば、測位センサ４００の出力である車両Ｖの位置と方位を含む検出結果Ｄｐと、点列情報を取得する機能Ｆ１の出力である複数の外界センサ２００に含まれるセンサ毎のレーンマーカーＬｍの識別結果Ｉｄと、を入力とする。また、識別子を付与する機能Ｆ２は、これらの入力に基づいて、レーンマーカーＬｍの識別結果Ｉｄに対応する識別子Ｉｄｎを出力する。
　図４は、図２に示すセンサ情報処理装置１００の識別子を付与する機能Ｆ２の機能ブロック図である。図５は、図４に示す識別子を付与する機能Ｆ２による処理Ｐ２のフロー図である。センサ情報処理装置１００の識別子を付与する機能Ｆ２は、たとえば、座標変換機能Ｆ２１と、距離計算機能Ｆ２２と、関連付け機能Ｆ２３と、データ更新機能Ｆ２４と、近似曲線を生成する機能Ｆ２５と、データ管理機能Ｆ２６と、を含む。
　座標変換機能Ｆ２１は、点列情報を取得する機能Ｆ１の出力である外界センサ２００のセンサ毎のレーンマーカーＬｍの識別結果Ｉｄと、測位センサ４００の検出結果Ｄｐとを入力とする。本実施形態において、点列情報を取得する機能Ｆ１から、識別子を付与する機能Ｆ２へ入力される識別結果Ｉｄは、点列情報である。すなわち、座標変換機能Ｆ２１において、中央処理装置１０１は、点列情報を取得する機能Ｆ１から識別結果Ｉｄを点列情報として取得する処理Ｐ２１を実行する。
　また、座標変換機能Ｆ２１において、中央処理装置１０１は、入力された情報に含まれるローカル座標系の座標を、固定座標系であるグローバル座標系の座標に変換する処理Ｐ２２を実行する。さらに、座標変換機能Ｆ２１において、中央処理装置１０１は、外界センサ２００の新規の検出結果Ｄｅである入力ｉ１，ｉ２，ｉ３に新規の識別子を付与する処理Ｐ２３を実行する。さらに、座標変換機能Ｆ２１において、中央処理装置１０１は、レーンマーカーＬｍの識別結果Ｉｄの時系列データｔｄ１，ｔｄ２，ｔｄ３の存否を判定する処理Ｐ２４を実行する。
　処理Ｐ２４において、たとえば、記憶装置１０２にレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３が記憶されていない場合、中央処理装置１０１は、レーンマーカーＬｍの識別結果Ｉｄは存在しない（ＮＯ）と判定する。すると、中央処理装置１０１は、新規の識別子が付与された外界センサ２００の新規の検出結果Ｄｅである入力ｉ１，ｉ２，ｉ３を、距離計算機能Ｆ２２および関連付け機能Ｆ２３を経由してデータ更新機能Ｆ２４へ出力する。その後、データ更新機能Ｆ２４により、後述するデータを削除する処理Ｐ２７が実行される。
　一方、処理Ｐ２４において、たとえば、記憶装置１０２にレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３が記憶されている場合、中央処理装置１０１は、レーンマーカーＬｍの識別結果Ｉｄが存在する（ＹＥＳ）と判定する。この場合、近似曲線を生成する機能Ｆ２５による前回の処理Ｐ２８で生成されたレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線が、データ管理機能Ｆ２６によって記憶装置１０２に記憶されている。そのため、中央処理装置１０１は、距離計算機能Ｆ２２において、レーンマーカーＬｍの新規の識別結果Ｉｄである入力ｉ１，ｉ２，ｉ３と、レーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３との平均距離を算出する処理Ｐ２５を実行する。
　距離計算機能Ｆ２２における距離を計算する処理Ｐ２５では、中央処理装置１０１は、座標変換機能Ｆ２１の出力、すなわち新規の識別子が付与された外界センサ２００からの新規の入力ｉ１，ｉ２，ｉ３を入力とする。また、この処理Ｐ２５では、中央処理装置１０１は、データ管理機能Ｆ２６の出力、すなわち記憶装置１０２に記憶されたレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３を入力とする。そして、この処理Ｐ２５において、中央処理装置１０１は、レーンマーカーＬｍの新規の入力ｉ１，ｉ２，ｉ３と、時系列データｔｄ１，ｔｄ２，ｔｄ３との平均距離を算出する。
　図６は、図４に示す距離計算機能Ｆ２２による処理Ｐ２５のフロー図である。距離計算機能Ｆ２２による距離を計算する処理Ｐ２５は、たとえば、近似曲線との距離を算出する処理Ｐ２５１と、誤差楕円に基づく補正を行う処理Ｐ２５２と、全距離の平均を算出する処理Ｐ２５３とを含む。
　処理Ｐ２５１において、中央処理装置１０１は、レーンマーカーＬｍの新規の入力ｉ１，ｉ２，ｉ３のそれぞれの点列を構成する各点と、時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれを構成する点列から生成した近似曲線との距離を求める。たとえば、図３Ｂおよび図３Ｃに示すように、複数の入力ｉ１，ｉ２，ｉ３の点列と、複数の時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線が存在する場合を想定する。この場合、中央処理装置１０１は、たとえば、入力ｉ１，ｉ２，ｉ３の点列と、時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線のすべての組み合わせについて距離を算出する。
　本実施形態では、後述する近似曲線を生成する機能Ｆ２５による、近似曲線を生成する処理Ｐ２８において、時系列データｔｄ１，ｔｄ２，ｔｄ３に基づいて、中央処理装置１０１により、近似直線と近似円とを含む近似曲線が生成される。その理由は、一般的な道路Ｒｄの形状が、直線と円弧を基本として構成されているためである。
　したがって、本実施形態では、近似曲線との距離を算出する処理Ｐ２５１において、中央処理装置１０１は、入力ｉ１，ｉ２，ｉ３の点列と、時系列データｔｄ１，ｔｄ２，ｔｄ３の近似直線および近似円のそれぞれとの間で、平均距離を算出する。すなわち、処理Ｐ２５１では、時系列データｔｄ１，ｔｄ２，ｔｄ３の近似直線に対する平均距離と、時系列データｔｄ１，ｔｄ２，ｔｄ３の近似円に対する平均距離との二通りの平均距離が算出される。
　さらに、近似曲線との距離を算出する処理Ｐ２５１において、中央処理装置１０１は、上記の二通りの平均距離のうち、小さい方の平均距離を時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線に対する平均距離として選択する。その理由は、時系列データｔｄ１，ｔｄ２，ｔｄ３の近似円が実際の道路Ｒｄの形状に対する誤差を含みやすいことと、道路Ｒｄの形状がカーブから直線に変化する場合など、近似曲線の種類が変化する状況に対応するためである。
　近似曲線との距離を算出する処理Ｐ２５１の次に、誤差楕円に基づく補正を行う処理Ｐ２５２が実行される。この処理Ｐ２５２において、中央処理装置１０１は、入力ｉ１，ｉ２，ｉ３と時系列データｔｄ１，ｔｄ２，ｔｄ３のぞれぞれの組み合わせ毎に、時系列データｔｄ１，ｔｄ２，ｔｄ３の点列から生成した誤差楕円を用い、前の処理Ｐ２５１で求めた平均距離を補正する。具体的には、時系列データｔｄ１，ｔｄ２，ｔｄ３の点列から生成した誤差楕円の長軸の長さを用いて、平均距離を補正する。
　図７は、図４に示す距離計算機能Ｆ２２による誤差楕円Ｅに基づく補正処理Ｐ２５２の説明図である。誤差楕円Ｅに基づく補正処理Ｐ２５２において、中央処理装置１０１は、たとえば、次の手順により補正後の距離Ｄを算出する。中央処理装置１０１は、まずレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３の各点Ｐｔに基づく近似曲線ＡＣから新規の入力ｉ１，ｉ２，ｉ３を構成する点Ｐｉまでの距離ｄと、誤差楕円Ｅの長軸方向における中心から点Ｐｉまでの距離ｂと、誤差楕円Ｅの長半径ａとを算出する。次に、中央処理装置１０１は、式：Ｄ＝ｄ×ｂ／ａにより、補正後の距離Ｄを算出する。
　このような補正処理Ｐ２５２は、レーンマーカーＬｍの識別結果Ｉｄの新規の入力ｉ１，ｉ２，ｉ３の各点Ｐｉからの平均距離がより小さい時系列データｔｄ１，ｔｄ２，ｔｄ３の近似直線または近似円を選択するために行われる。また、補正処理Ｐ２５２は、単に距離ｄのみを用いた場合に、実際には時系列データの点列の分布から遠いにもかかわらず、点Ｐｉがその近くを通る時系列データに関連付けられるのを防止するために実施する。
　なお、図７は、時系列データｔｄ１，ｔｄ２，ｔｄ３の直線近似における距離計算の概念を示している。時系列データｔｄ１，ｔｄ２，ｔｄ３の円近似を行う場合は、直線近似で用いた直交座標系に代えて、入力ｉ１，ｉ２，ｉ３と時系列データｔｄ１，ｔｄ２，ｔｄ３の点列の座標を極座標系で表現した場合の距離を利用する。
　次に、全距離の平均を算出する処理Ｐ２５３において、中央処理装置１０１は、入力ｉ１，ｉ２，ｉ３と時系列データｔｄ１，ｔｄ２，ｔｄ３のぞれぞれの組み合わせ毎に、各補正後の距離Ｄの平均値を算出する。以上により、図４に示す距離計算機能Ｆ２２による、図５および図６に示す距離を算出する処理Ｐ２５が終了する。
　次に、図４に示す関連付け機能Ｆ２３は、図５に示す識別子を上書きする処理Ｐ２６を実行する。この処理Ｐ２６において、関連付け機能Ｆ２３は、距離計算機能Ｆ２２の出力である補正後の距離Ｄの平均値と、データ管理機能Ｆ２６の出力である記憶装置１０２に記憶されたレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線とを入力とする。この処理Ｐ２６において、中央処理装置１０１は、これらの入力に基づいて、レーンマーカーＬｍの入力ｉ１，ｉ２，ｉ３と、時系列データｔｄ１，ｔｄ２，ｔｄ３との関連性を判定する。
　さらに、この処理Ｐ２６において、中央処理装置１０１は、関連性の判定結果に基づいて識別子が付与された入力ｉ１，ｉ２，ｉ３の点列をデータ更新機能Ｆ２４へ出力する。そして、データ更新機能Ｆ２４において、中央処理装置１０１は、記憶装置１０２に記憶された入力ｉ１，ｉ２，ｉ３の点列の識別子を、新規の識別子または関連する時系列データｔｄ１，ｔｄ２，ｔｄ３の識別子によって上書きする。
　ここで、図１および図３Ａから図３Ｃを用いて、レーンマーカーＬｍの入力ｉ１，ｉ２，ｉ３と、時系列データｔｄ１，ｔｄ２，ｔｄ３との関連性の判定について、より詳細に説明する。ここでは、一例として、車両Ｖに搭載された外界センサ２００によって三本のレーンマーカーＬｍが認識された場合を想定する。この場合、各々のレーンマーカーＬｍの検出結果Ｄｅに対応する新規の入力ｉ１，ｉ２，ｉ３の点列が、外界センサ２００からセンサ情報処理装置１００に入力される。また、センサ情報処理装置１００を構成する記憶装置１０２に、過去のレーンマーカーＬｍの検出結果Ｄｅに対応する時系列データｔｄ１，ｔｄ２，ｔｄ３が記憶されている。
　ここで、入力ｉ１，ｉ２，ｉ３と、時系列データｔｄ１，ｔｄ２，ｔｄ３とが、一対一のペアで関連付けられるとする。この場合、入力ｉ１，ｉ２，ｉ３のうちの一つが、時系列データｔｄ１，ｔｄ２，ｔｄ３のうちの一つに関連付けられると、一つの入力と一つの時系列データのペアの候補、すなわち一つの入力と一つの時系列データのセットが作成される。すると、そのペアまたはセットを構成する入力または時系列データを含む他のペアまたはセットの候補は削除することができ、残りが次に採用される候補となる。
　ここでは、一例として、時系列データｔｄ１と入力ｉ１のペアと、時系列データｔｄ２と入力ｉ３のペアと、時系列データｔｄ３と入力ｉ２のペアとを、それぞれ「候補」と呼び、各候補をまとめたものを「組み合わせ」と呼ぶ。たとえば、時系列データｔｄ１と入力ｉ１の候補が採用されたとする。この場合、時系列データｔｄ１または入力ｉ１を含む他の候補、たとえば、時系列データｔｄ１と入力ｉ２、時系列データｔｄ１と入力ｉ３、時系列データｔｄ２と入力ｉ１、および時系列データｔｄ３と入力ｉ１の各候補は、削除することができる。そして、残りの候補、すなわち、時系列データｔｄ２と入力ｉ２、時系列データｔｄ２と入力ｉ３、時系列データｔｄ３と入力ｉ２、および時系列データｔｄ３と入力ｉ３から、次の候補を採用する。
　さらに、図８を参照して、図４に示す関連付け機能Ｆ２３による、識別子を上書きする処理Ｐ２６の一例を詳細に説明する。図８は、関連付け機能Ｆ２３による、識別子を上書きする処理Ｐ２６の一例を示すフロー図である。この識別子を上書きする処理Ｐ２６は、たとえば、組み合わせ作成処理Ｐ２６１と、組み合わせ抽出処理Ｐ２６２，Ｐ２６５，Ｐ２６７と、抽出結果判定処理Ｐ２６３，Ｐ２６６，Ｐ２６８と、識別子上書き処理Ｐ２６４と、候補絞り込み処理Ｐ２６９と、を含んでいる。
　まず、組み合わせ作成処理Ｐ２６１において、中央処理装置１０１は、すべての時系列データｔｄ１，ｔｄ２，ｔｄ３とすべての入力ｉ１，ｉ２，ｉ３とのペアの候補と、その組み合わせのリストを作成する。次に、中央処理装置１０１は、作成したリストに基づいて、たとえば、組み合わせ抽出処理Ｐ２６２，Ｐ２６５，Ｐ２６７と、抽出結果判定処理Ｐ２６３，Ｐ２６６，Ｐ２６８と、候補絞り込み処理Ｐ２６９とを実行し、全候補の組み合わせの中からより適した組み合わせを抽出していく。
　具体的には、第１の組み合わせ抽出処理Ｐ２６２において、中央処理装置１０１は、レーンマーカーＬｍの入力ｉ１，ｉ２，ｉ３の点列と、レーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線との距離Ｄがしきい値以下である組み合わせを抽出する。この距離Ｄのしきい値としては、たとえば、車線Ｌの幅を用いることができる。さらに、中央処理装置１０１は、抽出した組み合わせの中で、時系列データと入力とのペアである候補の数が最大となる組み合わせを抽出する。
　これにより、たとえば、時系列データｔｄ１，ｔｄ２，ｔｄ３のいずれかと、入力ｉ１，ｉ２，ｉ３のいずれかとが、関連付けられずに余るのを回避することができる。また、車線Ｌの幅をしきい値とすることで、入力ｉ１，ｉ２，ｉ３のそれぞれと、時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれとが、一つの車線Ｌの幅よりも離れている場合に、異なるレーンマーカーＬｍであることを判定することができる。
　この第１の組み合わせ抽出処理Ｐ２６２の終了後、中央処理装置１０１は、第１の抽出結果判定処理Ｐ２６３を実行する。第１の抽出結果判定処理Ｐ２６３において、中央処理装置１０１は、第１の組み合わせ抽出処理Ｐ２６２によって抽出された、採用する候補の数が最大となる組み合わせが、一つであるか否かを判定する。この判定処理Ｐ２６３において、中央処理装置１０１は、組み合わせが一つである（ＹＥＳ）と判定すると、識別子上書き処理Ｐ２６４を実行する。
　識別子上書き処理Ｐ２６４において、中央処理装置１０１は、入力ｉ１，ｉ２，ｉ３と時系列データｔｄ１，ｔｄ２，ｔｄ３とが関連付けられた組み合わせのうち、入力ｉ１，ｉ２，ｉ３の識別子を、時系列データｔｄ１，ｔｄ２，ｔｄ３の識別子で上書きする。また、識別子上書き処理Ｐ２６４において、中央処理装置１０１は、入力ｉ１，ｉ２，ｉ３と時系列データｔｄ１，ｔｄ２，ｔｄ３とが関連付けられなかった組み合わせのうち、入力ｉ１，ｉ２，ｉ３の識別子を、新規の識別子で上書きする。以上により、識別子を上書きする処理Ｐ２６が終了する。
　一方、前述の判定処理Ｐ２６３において、中央処理装置１０１は、組み合わせが複数である（ＮＯ）と判定すると、第２の組み合わせ抽出処理Ｐ２６５を実行する。この第２の組み合わせ抽出処理Ｐ２６５において、中央処理装置１０１は、複数の組み合わせの中から、レーンマーカーＬｍの入力ｉ１，ｉ２，ｉ３の点列と、レーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線との距離Ｄの合計が最小となる組み合わせを抽出する。これは、第１の組み合わせ抽出処理Ｐ２６２で抽出された組み合わせは、時系列データと入力とのペアである候補の数が同数であるため、距離Ｄの合計が小さい組み合わせの方が入力と時系列データの候補の距離が近く関連性が高いと判定できるからである。
　この第２の組み合わせ抽出処理Ｐ２６５の終了後、中央処理装置１０１は、第２の抽出結果判定処理Ｐ２６６を実行する。この第２の抽出結果判定処理Ｐ２６６において、中央処理装置１０１は、第２の組み合わせ抽出処理Ｐ２６５によって抽出された組み合わせが、一つであるか否かを判定する。この判定処理Ｐ２６６において、中央処理装置１０１は、組み合わせが一つである（ＹＥＳ）と判定すると、前述の識別子上書き処理Ｐ２６４を実行し、識別子を上書きする処理Ｐ２６を終了する。
　一方、第２の抽出結果判定処理Ｐ２６６において、中央処理装置１０１は、組み合わせが複数である（ＮＯ）と判定すると、第３の組み合わせ抽出処理Ｐ２６７を実行する。この第３の組み合わせ抽出処理Ｐ２６７において、中央処理装置１０１は、複数の組み合わせの中から、レーンマーカーＬｍの入力ｉ１，ｉ２，ｉ３の点列と、レーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線との距離Ｄの最小値が最小となる組み合わせを抽出する。
　この第３の組み合わせ抽出処理Ｐ２６７の終了後、中央処理装置１０１は、第３の抽出結果判定処理Ｐ２６８を実行する。この第３の抽出結果判定処理Ｐ２６８において、中央処理装置１０１は、第３の組み合わせ抽出処理Ｐ２６７によって抽出された組み合わせが、一つであるか否かを判定する。この判定処理Ｐ２６８において、中央処理装置１０１は、組み合わせが一つである（ＹＥＳ）と判定すると、前述の識別子上書き処理Ｐ２６４を実行し、識別子を上書きする処理Ｐ２６を終了する。
　一方、第３の抽出結果判定処理Ｐ２６８において、中央処理装置１０１は、組み合わせが複数である（ＮＯ）と判定すると、候補絞り込み処理Ｐ２６９を実行する。候補絞り込み処理Ｐ２６９において、中央処理装置１０１は、複数の組み合わせの中から、たとえば、識別子の番号が小さい組み合わせを抽出する。なお、多くの場合、第２の抽出結果判定処理Ｐ２６６までで一つの組み合わせに絞られるため、候補絞り込み処理Ｐ２６９では、一つの組み合わせを任意に抽出したり、直近の更新時刻の組み合わせを抽出したりするなど、別の基準で組み合わせを絞ってもよい。候補絞り込み処理Ｐ２６９の終了後、中央処理装置１０１は前述の識別子上書き処理Ｐ２６４を実行し、識別子を上書きする処理Ｐ２６を終了する。
　前述のように、本実施形態では、関連付け機能Ｆ２３において、レーンマーカーＬｍの新規の入力ｉ１，ｉ２，ｉ３と、時系列データｔｄ１，ｔｄ２，ｔｄ３との類似性を、これらの平均距離によって判定している。そのため、識別子を付与する機能Ｆ２は、距離計算機能Ｆ２２により、レーンマーカーＬｍの新規の入力ｉ１，ｉ２，ｉ３と、時系列データｔｄ１，ｔｄ２，ｔｄ３との平均距離を算出している。
　しかし、関連付け機能Ｆ２３において、レーンマーカーＬｍの新規の入力ｉ１，ｉ２，ｉ３と、時系列データｔｄ１，ｔｄ２，ｔｄ３との類似性をこれらの近似曲線のなす角によって判定することも可能である。この場合、識別子を付与する機能Ｆ２は、座標変換機能Ｆ２１の後の機能として、距離計算機能Ｆ２２に代えて、レーンマーカーＬｍの新規の入力ｉ１，ｉ２，ｉ３との近似曲線と、時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線とのなす角を算出する機能を有してもよい。これにより、中央処理装置１０１における計算量を削減することが可能になる。
　識別子を上書きする処理Ｐ２６の終了後は、図４に示すデータ更新機能Ｆ２４により、図５に示すデータを削除する処理Ｐ２７が実行される。この処理Ｐ２７において、データ更新機能Ｆ２４は、関連付け機能Ｆ２３の出力である識別子が付与されたレーンマーカーＬｍの入力ｉ１，ｉ２，ｉ３の点列と、データ管理機能Ｆ２６の出力である識別子が付与されたレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３とを入力とする。これらの入力に基づいて、データ更新機能Ｆ２４は、中央処理装置１０１により、レーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３を更新してデータ管理機能Ｆ２６へ出力する。
　具体的には、この処理Ｐ２７において、中央処理装置１０１は、レーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３に関連付けられたレーンマーカーＬｍの入力ｉ１，ｉ２，ｉ３の点列を、時系列データｔｄ１，ｔｄ２，ｔｄ３にタイムスタンプとともに追加する。さらに、この処理Ｐ２７において、中央処理装置１０１は、同一の識別子を有する時系列データｔｄ１，ｔｄ２，ｔｄ３の点列のうち、所定の距離のしきい値よりも車両Ｖから後方に離れた点を削除し、所定の時間のしきい値よりも前の時間が記録された点を削除する。
　これにより、時系列データｔｄ１，ｔｄ２，ｔｄ３に含まれる点の数が際限なく増加することが防止され、ＣＰＵやメモリなどの計算機資源の有効活用が可能になる。なお、前述の距離のしきい値および時間のしきい値は、固定値でも可変値でもよく、メモリの容量など、他の指標に基づいて時系列データｔｄ１，ｔｄ２，ｔｄ３に含まれる点の削除を行ってもよい。このデータを削除する処理Ｐ２７の終了後は、図５に示すように、近似曲線を生成する処理Ｐ２８が実行される。
　近似曲線を生成する処理Ｐ２８において、近似曲線を生成する機能Ｆ２５は、データ管理機能Ｆ２６の出力であるレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３を入力とする。この処理Ｐ２８において、近似曲線を生成する機能Ｆ２５は、入力されたレーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３に基づいて、中央処理装置１０１により、近似曲線と誤差楕円のパラメータを算出してデータ管理機能Ｆ２６へ出力する。以下、図９を参照して、この近似曲線を生成する処理Ｐ２８を詳細に説明する。
　図９は、図４に示す近似曲線を生成する機能Ｆ２５による近似曲線を生成する処理Ｐ２８のフロー図である。この処理Ｐ２８は、たとえば、パラメータを算出する処理Ｐ２８１と、誤差楕円を生成する処理Ｐ２８２と、近似曲線を選択する処理Ｐ２８３とを含む。まず、パラメータを算出する処理Ｐ２８１において、近似曲線を生成する機能Ｆ２５は、中央処理装置１０１により、時系列データｔｄ１，ｔｄ２，ｔｄ３の点列に対して、直線と円の二種類の近似曲線のパラメータを算出する。すなわち、本実施形態において、近似曲線は、直線のみの場合と、円弧のみの場合と、直線および円弧を含む場合とがある。
　時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれの近似直線のパラメータは、たとえば時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれの点列を用い、最小二乗法によって算出する。たとえば、時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれの点列に含まれる点Ｐｉの数をｎ点とし、点Ｐｉの座標を（ｘｉ，ｙｉ）とする。そして、以下の式（１）のパラメータａ，ｂ，ｃと、以下の式（２）のパラメータａ’，ｂ’，ｃ’を求める。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで、不等式：ｂ＞ａ’を満たす場合は、上記の式（２）のパラメータａ’，ｂ’，ｃ’を、近似直線のパラメータとして採用する。それ以外の場合は、上記の式（１）のパラメータａ，ｂ，ｃを、近似直線のパラメータとして採用する。上記の式（１）において、ｘとｙは対象であり、上記の式（２）は、上記の式（１）のｘとｙを入れ替えた形式である。しかし、上記の式（１）と式（２）のパラメータは一致せず、点のｘ座標およびｙ座標の分布に応じて、一方の式が他方の式よりも高い精度で近似することができる。
　一方、時系列データｔｄ１，ｔｄ２，ｔｄ３の近似円のパラメータは、たとえば時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれの点列から代表点として３点を求め、さらにその代表点を通る円を求めることによって算出する。近似円の代表点の選び方として、時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれの点列を車両Ｖとの距離で並べ替え、３つのクラスタに分類する。そして、各クラスタの重心を求めることで、３つの代表点を算出する。
　この３点の代表点に基づいて、円の中心点や半径を算出することができる。そのため、この３点の代表点を近似円のパラメータとする。本実施形態のセンサ情報処理装置１００において、データ更新機能Ｆ２４は、入力ｉ１，ｉ２，ｉ３の点列をタイムスタンプとともに時系列データｔｄ１，ｔｄ２，ｔｄ３に追加している。そのため、時系列データｔｄ１，ｔｄ２，ｔｄ３の点列の代表点の選択方法として、たとえば、最古の時刻、中間の時刻、最新の時刻などの時刻情報で選択することも可能である。なお、代表点は、時刻情報以外の基準で選択してもよい。
　次に、誤差楕円を生成する処理Ｐ２８２において、近似曲線を生成する機能Ｆ２５は、中央処理装置１０１により、近似直線および近似円のそれぞれについて、時系列データｔｄ１，ｔｄ２，ｔｄ３の点列から誤差楕円のパラメータ、たとえば、中心、長径、および短径を求める。誤差楕円は、分布の共分散からχ２分布を仮定して求められる一般的な計算式で求める。
　本実施形態のセンサ情報処理装置１００において、近似曲線を生成する機能Ｆ２５は、たとえば以下のように分布を求める。誤差楕円の中心を、時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれの点列の重心点に最も近い点とする。誤差楕円の長径を、近似曲線の方向、すなわち近似直線または近似円の接線方向とし、誤差楕円の短径を、長径に垂直な方向とする。
　そして、近似直線の場合は、近似直線の表す方向の分散から長径を計算し、近似直線の表す方向と垂直な方向の分散から短径を計算する。近似円の場合は、極座標を用いて角度と距離を乗じた値、すなわち近似円の円周方向で求めた分散から、誤差楕円の長径を求め、半径方向、すなわち円周上で近似円の中心方向の分散から、短径を求める。これらの定義では、短径は、近似曲線と時系列データｔｄ１，ｔｄ２，ｔｄ３の各点の距離から計算でき、長径は、近似曲線上での誤差楕円の中心から時系列データｔｄ１，ｔｄ２，ｔｄ３の各点までの距離により計算できる。
　すなわち、誤差楕円のパラメータは、近似曲線を基準として、時系列データｔｄ１，ｔｄ２，ｔｄ３に含まれる点の分布を表現する。直線近似の場合、もとのローカル座標系の固定座標値のままで共分散行列を求め、その固有値に対して２自由度のχ２分布を仮定することで、誤差楕円の長径および短径を求める。円近似の場合は、時系列データｔｄ１，ｔｄ２，ｔｄ３の各点に関して、直交座標から近似円の中心を原点に重心をθ＝０（反時計回りを正）とした極座標に変換し、この極座標で（ｒｐ，θｐ）となる点を（ｒｐθｐ，ｒ－ｒｐ）に変換した座標系における共分散行列から、直線近似と同様に、誤差楕円の長径および短径を求める。
　次に、近似曲線を選択する処理Ｐ２８３において、近似曲線を生成する機能Ｆ２５は、中央処理装置１０１により、時系列データｔｄ１，ｔｄ２，ｔｄ３の点列に対して、近似直線と近似円のいずれか一方の近似曲線を選択する。ここでは、時系列データｔｄ１，ｔｄ２，ｔｄ３のそれぞれの点列に対して、近似曲線との距離を計算して標準偏差を求める。そして、標準偏差のより小さい近似曲線を、より適した近似曲線として選択する。これは、標準偏差は、その値が大きいほど、近似曲線と点列が異なることを表すためである。
　ここで、中央処理装置１０１は、標準偏差の値が標準的な道路Ｒｄの幅よりも大きい場合、近似曲線で代表されていないとみなして、時系列データｔｄ１，ｔｄ２，ｔｄ３自体を削除する。近似曲線を生成する機能Ｆ２５の出力には、たとえば、次の（ａ）から（ｆ）のようなパラメータが含まれている。（ａ）時系列データｔｄ１，ｔｄ２，ｔｄ３の点列の重心点座標。（ｂ）近似直線のパラメータの３つの係数、すなわち、係数ａ，ｂ，ｃまたは係数ａ’，ｂ’，ｃ’。（ｃ）直線近似の場合の誤差楕円のパラメータ、すなわち、誤差楕円の長径および短径。（ｄ）近似円のパラメータ、すなわち、円の中心点座標および半径。（ｅ）円近似の場合の誤差楕円のパラメータ、すなわち、誤差楕円の長径および短径。（ｆ）近似曲線の判定フラグ、すなわち、直線近似フラグまたは円近似フラグ。
　以上のように、近似曲線を生成する機能Ｆ２５は、中央処理装置１０１により、同一の識別子を有する時系列データｔｄ１，ｔｄ２，ｔｄ３に対し、直線や円弧を含む近似曲線を生成する。換言すると、中央処理装置１０１は、各々の時系列データｔｄ１，ｔｄ２，ｔｄ３の点列情報から、その点列分布を表現する近似曲線パラメータを算出し、データ管理機能Ｆ２６へ出力する。
　これにより、距離計算機能Ｆ２２による時系列データｔｄ１，ｔｄ２，ｔｄ３と入力ｉ１，ｉ２，ｉ３との比較の際に、時系列データｔｄ１，ｔｄ２，ｔｄ３を近似曲線のパラメータを用いて処理時間を抑制することができる。なお、近似曲線のパラメータは、たとえば、近似曲線自体のパラメータに加え、時系列データｔｄ１，ｔｄ２，ｔｄ３の点列分布を表す誤差楕円等の統計情報を含んでもよい。
　また、本実施形態のセンサ情報処理装置１００の近似曲線を生成する機能Ｆ２５は、時系列データｔｄ１，ｔｄ２，ｔｄ３に対する近似曲線として、直線近似と円近似の二種類を採用している。これは、一般の道路Ｒｄの形状が、線分、円弧、およびサイクロイド曲線を基本形状として構成されているためである。なお、直線および円は、車両Ｖの外部の固定座標系のＸ軸とＹ軸に対して対称的な形式となる陰関数で表現し、固定座標系でも車両Ｖの方向に依存しない表現を実現する。
　データ管理機能Ｆ２６は、データ更新機能Ｆ２４の出力である更新された時系列データｔｄ１，ｔｄ２，ｔｄ３と、近似曲線を生成する機能Ｆ２５の出力である時系列データｔｄ１，ｔｄ２，ｔｄ３の近似曲線のパラメータを入力とする。データ管理機能Ｆ２６は、中央処理装置１０１により、入力された情報を記憶装置１０２に記憶させる。また、データ管理機能Ｆ２６は、中央処理装置１０１により、時系列データｔｄ１，ｔｄ２，ｔｄ３を、距離計算機能Ｆ２２、関連付け機能Ｆ２３、データ更新機能Ｆ２４、近似曲線を生成する機能Ｆ２５へ出力する。以下の表１および表２に、記憶装置１０２に記憶される時系列データｔｄ１，ｔｄ２，ｔｄ３の一例を示す。なお、紙面の都合上、表１と表２に分けて記載しているが、これらは識別子の項目を先頭列とする連続する一つの表である。
Figure JPOXMLDOC01-appb-T000003
Figure JPOXMLDOC01-appb-T000004
　時系列データｔｄ１，ｔｄ２，ｔｄ３の一例である履歴管理表は、たとえば、表１に示す部分において、識別子と、タイムスタンプと、点列リストと、点列の点数と、点列の重心座標とを含む。また、履歴管理表は、表１に示す部分において、たとえば、点列を直線近似で表現したときの近似直線の係数を表す近似曲線パラメータと、近似直線を算出したときに利用した点列と近似直線から求めた長径と短径を表す誤差楕円パラメータを含む。
　また、履歴管理表は、表２に示す部分において、たとえば、点列を円近似で表現したときの近似円の中心座標と半径を表す近似曲線パラメータと、近似円を算出した際に利用した点列と近似円から求めた誤差楕円の長径と短径を表す誤差楕円パラメータとを含む。さらに、履歴管理表は、表２に示す部分において、たとえば、それぞれの時系列データｔｄ１，ｔｄ２，ｔｄ３に適用すべき近似曲線が、直線近似と円近似のどちらであるかを表す近似曲線判定フラグを含む。
　データ管理機能Ｆ２６は、たとえば、記憶装置１０２に記憶された履歴管理表により、レーンマーカーＬｍの時系列データｔｄ１，ｔｄ２，ｔｄ３の点列情報を、識別子、タイムスタンプ、近似曲線判定フラグなどのエントリ毎に管理している。データ管理機能Ｆ２６は、データ更新機能Ｆ２４および近似曲線を生成する機能Ｆ２５の出力を入力とし、中央処理装置１０１により、入力に基づいて、識別子を基準として履歴管理表のエントリを編集し、または、履歴管理表に新規のエントリを追加する。
　センサ情報処理装置１００は、たとえば、図５に示す近似曲線を生成する処理Ｐ２８の終了後、識別子を付与する機能Ｆ２による処理Ｐ２の終了判定処理Ｐ２９を実行する。終了判定処理Ｐ２９において、識別子を付与する機能Ｆ２は、中央処理装置１０１によって処理Ｐ２が終了していない（ＮＯ）と判定すると、座標変換機能Ｆ２１によって、点列情報を取得する機能Ｆ１から識別結果Ｉｄを点列情報として取得する処理Ｐ２１に戻る。一方、終了判定処理Ｐ２９において、識別子を付与する機能Ｆ２は、中央処理装置１０１によって処理Ｐ２が終了した（ＹＥＳ）と判定すると、識別子を付与する機能Ｆ２による処理Ｐ２を終了する。
　図２に示すように、レーンマーカー情報を出力する機能Ｆ３は、識別子を付与する機能Ｆ２の出力であるレーンマーカーＬｍの識別子Ｉｄｎと、点列情報を取得する機能Ｆ１の出力であるレーンマーカーＬｍの識別結果Ｉｄと、を入力とする。レーンマーカー情報を出力する機能Ｆ３は、これらの入力に基づいて、識別子を付与したレーンマーカーＬｍの認識結果Ｒを出力する。たとえば、レーンマーカー情報を出力する機能Ｆ３は、中央処理装置１０１により、各々の外界センサ２００によるレーンマーカーＬｍの検出結果Ｄｅに識別子を付与する。また、レーンマーカー情報を出力する機能Ｆ３は、レーンマーカー情報統合装置５００における取り扱いを容易にするために、同一の識別子を有するレーンマーカーＬｍの識別結果Ｉｄの点列を統合し、一つの識別子に対して一つのレーンマーカーＬｍの識別結果Ｉｄが対応するようにしてもよい。
　以下、従来の技術との対比に基づいて、本実施形態のセンサ情報処理装置１００の作用を説明する。
　モビリティを取り巻く環境としてクルマの増加・ドライバーの高齢化などが進んでいる。それに対する社会的ニーズとして、交通事故の撲滅、渋滞解消、二酸化炭素排出量削減が要求されている。その要求に応えるために、自動運転の実現のための技術開発が加速している。たとえば、米国のＳＡＥ（Society of Automotive Engineers）による自動運転レベル３以上では、自動運転を担う主体はシステム側に移る。そのため、たとえば自動運転車両の車線からの逸脱を防止するために、外界センサによって車線を区分するレーンマーカーを認識して、その検出結果に基づいて各々のレーンマーカーを高精度に識別する必要がある。
　前述の特許文献１に記載された従来の自動走行車両は、最も右側の車線境界線を基準車線境界線とし、原点である自車から各車線境界線までの距離を測定し、基準車線境界線から各車線境界線までの距離を求め、各車線境界線に車線境界線番号を付与する。さらに、この従来の自動走行車両は、自車の道路内相対位置を求め、前回時刻に算出した道路内相対位置を自車の移動軌跡に応じて補正した値を得る。
　しかし、この従来の自動走行車両は、自車から直近の車線境界線までの距離に基づいて、車線境界線の連続性を判定している。そのため、たとえば走行車線から分岐する車線や、走行車線に合流する車線の存在などによって車線の数が増減すると、異なる車線境界線を同一の車線境界線として誤認識するおそれがある。
　これに対し、本実施形態のセンサ情報処理装置１００は、車線Ｌを区切るレーンマーカーＬｍを認識する複数の外界センサ２００の検出結果Ｄｅを処理してレーンマーカーＬｍを識別する装置である。センサ情報処理装置１００は、外界センサ２００の過去の検出結果Ｄｅを時系列データｔｄ１，ｔｄ２，ｔｄ３として記憶する記憶装置１０２と、時系列データｔｄ１，ｔｄ２，ｔｄ３に基づいてレーンマーカーＬｍを識別する中央処理装置１０１と、を備えている。この中央処理装置１０１は、時系列データｔｄ１，ｔｄ２，ｔｄ３に含まれない新規の検出結果Ｄｅと時系列データｔｄ１，ｔｄ２，ｔｄ３との比較に基づいて、新規の検出結果Ｄｅが既存のレーンマーカーＬｍまたは新規のレーンマーカーＬｍに属することを判定する。
　この構成により、車両Ｖに搭載された複数の外界センサ２００の新規の検出結果Ｄｅに基づく入力ｉ１，ｉ２，ｉ３と、過去に取得した検出結果Ｄｅに基づく時系列データｔｄ１，ｔｄ２，ｔｄ３の関連性を判定し、入力ｉ１，ｉ２，ｉ３に識別子を付与することができる。すなわち、外界センサ２００の検出結果Ｄｅに基づく新規の入力ｉ１，ｉ２，ｉ３が、既存または新規のレーンマーカーＬｍに属することを、入力ｉ１，ｉ２，ｉ３と時系列データｔｄ１，ｔｄ２，ｔｄ３との比較に基づいて判定することができる。このように、すでにレーンマーカーＬｍが識別された時系列データｔｄ１，ｔｄ２，ｔｄ３との比較を行うことで、レーンマーカーＬｍの新規の入力ｉ１，ｉ２，ｉ３と、既存のレーンマーカーＬｍとの同一性を、より正確に判定することができる。これにより、車両Ｖの前方や後方のレーンマーカーＬｍの増加に対しても、異なる複数の外界センサ２００の検出結果Ｄｅに対しても、より正確にレーンマーカーＬｍの同一性を判定することができる。
　そのため、たとえば車両Ｖが走行している車線Ｌから分岐する車線や、車両Ｖが走行している車線に合流する車線の存在などによって車線Ｌの数が増減しても、異なるレーンマーカーＬｍを同一のレーンマーカーＬｍとして認識することが防止される。これにより、複数の外界センサ２００を用いた場合のレーンマーカーＬｍの統合を容易にすることができ、レーンマーカーＬｍの識別精度および検知率を向上させることが可能になる。したがって、本実施形態によれば、車線Ｌを区切るレーンマーカーＬｍを認識する複数の外界センサ２００の検出結果Ｄｅを処理し、従来よりも正確にレーンマーカーＬｍを識別可能なセンサ情報処理装置１００を提供することができる。
　また、本実施形態のセンサ情報処理装置１００において、中央処理装置１０１は、外界センサ２００の新規の検出結果Ｄｅに基づく入力ｉ１，ｉ２，ｉ３が、既存のレーンマーカーＬｍまたは新規のレーンマーカーＬｍに属することを判定した後の入力ｉ１，ｉ２，ｉ３を時系列データｔｄ１，ｔｄ２，ｔｄ３として記憶装置１０２に記憶させる。この構成により、時系列データｔｄ１，ｔｄ２，ｔｄ３を最新の外界センサ２００の検出結果Ｄｅに基づいて更新することができる。
　また、本実施形態のセンサ情報処理装置１００において、中央処理装置１０１は、識別した各々のレーンマーカーＬｍに固有の識別子を、時系列データｔｄ１，ｔｄ２，ｔｄ３および新規の検出結果に基づく入力ｉ１，ｉ２，ｉ３に付与する。この構成により、各々の入力ｉ１，ｉ２，ｉ３を、各々の時系列データｔｄ１，ｔｄ２，ｔｄ３に関連付けることができる。
　また、本実施形態のセンサ情報処理装置１００において、外界センサ２００の検出結果Ｄｅは、点列情報を含む。この構成により、容量を抑制しつつ、前述のような各種の処理および演算を実行することが可能になる。
　また、本実施形態のセンサ情報処理装置１００において、外界センサ２００の検出結果Ｄｅは、近似曲線のパラメータを含む。より具体的には、たとえば外界センサ２００の過去の検出結果Ｄｅに基づく時系列データｔｄ１，ｔｄ２，ｔｄ３は、近似曲線のパラメータを含む。この構成により、時系列データｔｄ１，ｔｄ２，ｔｄ３に基づくレーンマーカーＬｍの識別や、入力ｉ１，ｉ２，ｉ３と時系列データｔｄ１，ｔｄ２，ｔｄ３との比較に基づく判定における演算量を削減することが可能になる。
　以上説明したように、本実施形態によれば、車線Ｌを区切るレーンマーカーＬｍを認識する複数の外界センサ２００の検出結果Ｄｅを処理し、従来よりも正確にレーンマーカーＬｍを識別可能なセンサ情報処理装置１００を提供することができる。
［実施形態２］
　次に、図１、図３Ａから図３Ｃ、図５から図９を援用し、図１０を参照して、本開示に係るセンサ情報処理装置の実施形態２を説明する。図１０は、本実施形態のセンサ情報処理装置１００Ａの機能ブロック図である。なお、図１０は、実施形態１のセンサ情報処理装置１００における図２および図４に対応している。
　本実施形態のセンサ情報処理装置１００Ａは、中央処理装置１０１と記憶装置１０２の構成が前述の実施形態１のセンサ情報処理装置１００と異なっている。本実施形態のセンサ情報処理装置１００Ａのその他の構成は、前述の実施形態１に係るセンサ情報処理装置１００と同様であるので、同様の構成については同一の符号を付して説明を省略する。
　本実施形態のセンサ情報処理装置１００Ａは、主に、地図情報保持機能Ｆ４を備える点と、識別子を付与する機能Ｆ２Ａが地図情報抽出機能Ｆ２７Ａを備えるとともにデータ更新機能Ｆ２４を有しない点で、実施形態１のセンサ情報処理装置１００と異なっている。また、識別子を付与する機能Ｆ２Ａが備える距離計算機能Ｆ２２Ａ、関連付け機能Ｆ２３Ａ、近似曲線を生成する機能Ｆ２５Ａ、およびデータ管理機能Ｆ２６Ａが、実施形態１の距離計算機能Ｆ２２、関連付け機能Ｆ２３、近似曲線を生成する機能Ｆ２５、およびデータ管理機能Ｆ２６と異なっている。
　なお、本実施形態のセンサ情報処理装置１００Ａにおける上記の各機能は、実施形態１のセンサ情報処理装置１００と同様に、たとえば、センサ情報処理装置１００Ａを構成するＣＰＵ１０１と、記憶装置１０２と、その記憶装置１０２に記憶されたコンピュータプログラムと、図示を省略する入出力装置とによって構成される。本実施形態のセンサ情報処理装置１００Ａにおいて、記憶装置１０２は、レーンマーカーＬｍの情報を含む地図情報が記憶されている。
　地図情報保持機能Ｆ４は、たとえば、測位センサ４００の出力である検出結果Ｄｐを入力とする。地図情報保持機能Ｆ４において、中央処理装置１０１は、測位センサ４００の検出結果Ｄｐである位置情報に基づいて、記憶装置１０２に記憶された地図情報を地図情報抽出機能Ｆ２７Ａへ出力する。
　ここで、記憶装置１０２に記憶された地図情報は、たとえば、ＬＩＤＡＲによって高精度に計測されたデータをもとにオフラインで作成された高精度地図である。なお、地図情報は、たとえば、ＬＩＤＡＲやステレオカメラを搭載した複数のプローブによる認識結果をクラウドストレージに収集することによって構築された動的生成地図であってもよい。また、地図情報として、カーナビゲーション用の地図を用いてもよい。
　また、地図情報保持機能Ｆ４において、中央処理装置１０１は、たとえば、測位センサ４００による検出結果Ｄｐに含まれる車両Ｖの位置に基づいてクラウドストレージから車両Ｖの周囲の地図を取得し、その地図を地図情報として記憶装置１０２に記憶させる。なお、地図情報は、たとえば、道路Ｒｄの車線Ｌの数、制限速度、曲率半径、縦断勾配、横断勾配、車線Ｌの幅、レーンマーカーＬｍの情報、車線中心点などを含む。
　座標変換機能Ｆ２１Ａは、実施形態１の座標変換機能Ｆ２１と同様の機能を有する。距離計算機能Ｆ２２Ａは、実施形態１の距離計算機能Ｆ２２と同様の機能を有するが、データ管理機能Ｆ２６Ａからの入力が地図情報に含まれるレーンマーカーＬｍの情報になる。
　関連付け機能Ｆ２３Ａは、実施形態１の関連付け機能Ｆ２３と同様の機能を有するが、データ管理機能Ｆ２６Ａからの入力が地図情報に含まれるレーンマーカーＬｍの情報になる。また、関連付け機能Ｆ２３Ａでは、距離計算機能Ｆ２２Ａの出力と、データ管理機能Ｆ２６Ａの出力である地図情報に含まれるレーンマーカーＬｍの情報とを関連付けするが、距離計算機能Ｆ２２Ａの出力を記憶装置１０２に格納する必要がない。そのため、関連付け機能Ｆ２３Ａは、レーンマーカー情報を出力する機能Ｆ３のみへ識別子を付与されたレーンマーカーＬｍの識別結果Ｉｄｎを出力する。
　近似曲線を生成する機能Ｆ２５Ａは、実施形態１の近似曲線を生成する機能Ｆ２５と同様の機能を有するが、データ管理機能Ｆ２６Ａからの入力が地図情報に含まれるレーンマーカーＬｍの情報になる。また、近似曲線を生成する機能Ｆ２５Ａは、データ管理機能Ｆ２６Ａから入力された地図情報に含まれるレーンマーカーＬｍの情報に基づいて、近似曲線を生成してデータ管理機能Ｆ２６Ａへ出力する。
　地図情報抽出機能Ｆ２７Ａは、測位センサ４００の出力である検出結果Ｄｐと地図情報保持機能Ｆ４の出力である地図情報に基づいて、各車線ＬのレーンマーカーＬｍの情報を抽出してデータ管理機能Ｆ２６Ａへ出力する。地図情報抽出機能Ｆ２７Ａは、測位センサ４００の検出結果Ｄｐに含まれる車両Ｖの位置に基づいて必要とする範囲のレーンマーカーＬｍの情報を抽出する。
　地図情報抽出機能Ｆ２７Ａは、外界センサ２００が検知できる範囲のレーンマーカーＬｍの情報を抽出し、情報容量を削減してもよい。レーンマーカーＬｍの情報は、たとえば、各車線Ｌに紐づく識別子と位置に関する情報を含む。地図情報に基づくレーンマーカーＬｍの識別子は、予め測量によって決定されているため、関連付け機能Ｆ２３Ａで設定する識別子の基礎とすることができる。
　本実施形態において、地図情報抽出機能Ｆ２７Ａの出力であるレーンマーカーＬｍの情報は、座標変換機能Ｆ２１Ａと同様の固定座標系において、点列形式とする。ただし、地図情報にレーンマーカーＬｍの情報が近似曲線パラメータの係数として含まれる場合は、点列情報を取得する機能Ｆ１と同様に、近似曲線パラメータの係数に基づいて点列に変換することができる。
　また、地図情報抽出機能Ｆ２７Ａは、地図情報保持機能Ｆ４からの入力である近似曲線パラメータが、近似曲線を生成する機能Ｆ２５Ａにおいて生成する近似曲線の直線近似または円近似と同様の近似である場合、点列形式に変換しなくてもよい。この場合、地図情報抽出機能Ｆ２７Ａは、近似曲線を生成する機能Ｆ２５Ａの代わりに、近似曲線パラメータの係数をデータ管理機能Ｆ２６Ａへ出力してもよい。これにより、近似曲線を生成する機能Ｆ２５Ａの処理を省略し、処理負荷の低減が可能である。
　データ管理機能Ｆ２６Ａは、実施形態１のデータ管理機能Ｆ２６と同様の機能を有するが、地図情報抽出機能Ｆ２７Ａから入力されたレーンマーカーＬｍの情報を、距離計算機能Ｆ２２Ａ、関連付け機能Ｆ２３Ａおよび近似曲線を生成する機能Ｆ２５Ａへ出力する。
　以上説明したように、本実施形態のセンサ情報処理装置１００Ａにおいて、記憶装置１０２は、レーンマーカーＬｍの情報を含む地図情報が記憶されている。また、本実施形態のセンサ情報処理装置１００Ａにおいて、中央処理装置１０１は、測位センサ４００から入力された検出結果Ｄｐである位置情報に基づいて、記憶装置１０２に記憶された地図情報に含まれるレーンマーカーＬｍと、時系列データｔｄ１，ｔｄ２，ｔｄ３に基づくレーンマーカーＬｍとを関連付ける。
　本実施形態のセンサ情報処理装置１００Ａによれば、地図情報に基づいて、レーンマーカーＬｍを識別することができる。地図情報は、オフラインで高精度に測量されたデータや複数のプローブにより収集および整形された最新のデータである。そのため、車両Ｖに搭載された外界センサ２００による検出結果Ｄｅに基づくレーンマーカーＬｍの情報と高精度な関連付けを行うことができ、複雑な形状の道路Ｒｄ上のレーンマーカーＬｍであっても正確に識別することができる。したがって、本実施形態のセンサ情報処理装置１００Ａによれば、車両ＶのＡＤやＡＤＡＳにおける高精度の車線追従および車線変更を実現することができる。
　以上、図面を用いて本開示に係るセンサ情報処理装置の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。
Ｌ　車線、Ｌｍ　レーンマーカー、１００　センサ情報処理装置、１０１　中央処理装置、１０２　記憶装置、２００　外界センサ、ｉ１　入力（新規の検出結果）、ｉ２入力（新規の検出結果）、ｉ３入力（新規の検出結果）、ｔｄ１　時系列データ、ｔｄ２　時系列データ、ｔｄ３　時系列データ

Claims (6)

  1. 　車線を区切るレーンマーカーを認識する複数の外界センサの検出結果を処理して前記レーンマーカーを識別するセンサ情報処理装置であって、
    　過去の前記検出結果を時系列データとして記憶する記憶装置と、
    　前記時系列データに基づいて前記レーンマーカーを識別する中央処理装置と、を備え、
    　前記中央処理装置は、前記時系列データに含まれない新規の前記検出結果と前記時系列データとの比較に基づいて、前記新規の前記検出結果が既存の前記レーンマーカーまたは新規の前記レーンマーカーに属することを判定することを特徴とするセンサ情報処理装置。
  2. 　前記中央処理装置は、前記判定後の前記新規の前記検出結果を前記時系列データとして前記記憶装置に記憶させることを特徴とする請求項１に記載のセンサ情報処理装置。
  3. 　前記中央処理装置は、識別した各々の前記レーンマーカーに固有の識別子を前記時系列データおよび前記新規の前記検出結果に付与することを特徴とする請求項１に記載のセンサ情報処理装置。
  4. 　前記記憶装置は、前記レーンマーカーの情報を含む地図情報が記憶され、
    　前記中央処理装置は、測位センサから入力された位置情報に基づいて、前記地図情報に含まれる前記レーンマーカーと、前記時系列データに基づく前記レーンマーカーとを関連付けることを特徴とする請求項１に記載のセンサ情報処理装置。
  5. 　前記外界センサの前記検出結果は、点列情報を含むことを特徴とする請求項１に記載のセンサ情報処理装置。
  6. 　前記外界センサの前記検出結果は、近似曲線のパラメータを含むことを特徴とする請求項１に記載のセンサ情報処理装置。
PCT/JP2020/028223 2019-08-06 2020-07-21 センサ情報処理装置 WO2021024793A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112020003096.2T DE112020003096T5 (de) 2019-08-06 2020-07-21 Sensorinformations-Verarbeitungsvorrichtung
JP2021537684A JP7203985B2 (ja) 2019-08-06 2020-07-21 センサ情報処理装置
US17/629,442 US20220254170A1 (en) 2019-08-06 2020-07-21 Sensor Information Processing Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019144330 2019-08-06
JP2019-144330 2019-08-06

Publications (1)

Publication Number Publication Date
WO2021024793A1 true WO2021024793A1 (ja) 2021-02-11

Family

ID=74502635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028223 WO2021024793A1 (ja) 2019-08-06 2020-07-21 センサ情報処理装置

Country Status (4)

Country Link
US (1) US20220254170A1 (ja)
JP (1) JP7203985B2 (ja)
DE (1) DE112020003096T5 (ja)
WO (1) WO2021024793A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271966A (ja) * 2009-05-22 2010-12-02 Fuji Heavy Ind Ltd 車線認識装置
JP2017016226A (ja) * 2015-06-29 2017-01-19 日立オートモティブシステムズ株式会社 周辺環境認識システムおよびそれを搭載した車両制御システム
JP2018169207A (ja) * 2017-03-29 2018-11-01 株式会社Ｓｕｂａｒｕ 車両位置検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203298A (ja) 2002-12-11 2003-07-18 Honda Motor Co Ltd 走行区分線認識装置を備えた自動走行車両
US9423261B2 (en) * 2013-02-19 2016-08-23 Here Global B.V. Path curve confidence factors
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
JP6450413B2 (ja) * 2017-03-31 2019-01-09 本田技研工業株式会社 車両制御装置
US10922558B2 (en) * 2018-12-20 2021-02-16 Here Global B.V. Method and apparatus for localization using search space pruning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271966A (ja) * 2009-05-22 2010-12-02 Fuji Heavy Ind Ltd 車線認識装置
JP2017016226A (ja) * 2015-06-29 2017-01-19 日立オートモティブシステムズ株式会社 周辺環境認識システムおよびそれを搭載した車両制御システム
JP2018169207A (ja) * 2017-03-29 2018-11-01 株式会社Ｓｕｂａｒｕ 車両位置検出装置

Also Published As

Publication number Publication date
JPWO2021024793A1 (ja) 2021-02-11
US20220254170A1 (en) 2022-08-11
DE112020003096T5 (de) 2022-04-21
JP7203985B2 (ja) 2023-01-13

Similar Documents

Publication Publication Date Title
US8452101B2 (en) Feature extraction method, and image recognition method and feature database creation method using the same
JP6197393B2 (ja) レーン地図生成装置及びプログラム
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN108351216B (zh) 估计装置、控制方法、程序以及存储介质
US20150354968A1 (en) Curve modeling device, curve modeling method, and vehicular navigation device
US11520340B2 (en) Traffic lane information management method, running control method, and traffic lane information management device
WO2015145819A1 (ja) 地図情報生成システム、方法およびプログラム
US20120065811A1 (en) Map data update system, map data update method, computer-readable storage medium storing map data update program
US20190226851A1 (en) Driver assistance system for determining a position of a vehicle
JP2015148601A (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
JP2011215056A (ja) 自車位置認識システム
JP4902575B2 (ja) 道路標示認識装置、および道路標示認識方法
CN107328423B (zh) 基于地图数据的弯道识别方法及其系统
WO2014171073A1 (ja) カーブ形状モデル化装置、車両情報処理システム、カーブ形状モデル化方法、及びカーブ形状モデル化プログラム
US11507107B2 (en) Map information system
JP2016057750A (ja) 自車走行レーン推定装置及びプログラム
CN109813332B (zh) 添加虚拟引导线的方法和装置
JP2019191653A (ja) 地図情報更新システムおよび地図情報更新プログラム
CN117355871A (zh) 多帧图像分割
CN111886477A (zh) 车辆控制装置
JP2021113816A (ja) 出力装置、制御方法、プログラム及び記憶媒体
JP2016180797A (ja) 道路情報生成装置及びプログラム
CN114593739B (zh) 基于视觉检测与参考线匹配的车辆全局定位方法及装置
JP2018105636A (ja) 経路生成装置
JPWO2020008221A1 (ja) 走行支援方法及び走行支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20849135

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021537684

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20849135

Country of ref document: EP

Kind code of ref document: A1