WO2020036295A1 - 좌표계 변환 정보 획득 장치 및 방법 - Google Patents

좌표계 변환 정보 획득 장치 및 방법 Download PDF

Info

Publication number
WO2020036295A1
WO2020036295A1 PCT/KR2019/006557 KR2019006557W WO2020036295A1 WO 2020036295 A1 WO2020036295 A1 WO 2020036295A1 KR 2019006557 W KR2019006557 W KR 2019006557W WO 2020036295 A1 WO2020036295 A1 WO 2020036295A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
coordinate system
vehicle
lane
obtaining
Prior art date
Application number
PCT/KR2019/006557
Other languages
English (en)
French (fr)
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US17/267,696 priority Critical patent/US11954871B2/en
Priority to CN201980053837.3A priority patent/CN112567264A/zh
Publication of WO2020036295A1 publication Critical patent/WO2020036295A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to an apparatus and method for obtaining coordinate system transformation information for acquiring coordinate system transformation information between a vehicle, a lidar installed in a vehicle, and a camera.
  • this application claims priority based on the Korean patent application (Application No. 10-2018-0096210) filed August 17, 2018. The entire contents of the application on which this priority is based are incorporated herein by reference.
  • a vehicle refers to a transportation device that drives a road or a track using fossil fuel, electricity, and the like as a power source.
  • AVS active safety system
  • ADAS Advanced Driver Assist System
  • Advanced driver cooling systems may be provided with sensing means for sensing the driving environment, for example the sensing means may comprise a camera and a LiDAR.
  • the camera and the rider may be installed outside or inside the vehicle to detect a driving environment by acquiring an image or a point cloud corresponding to the installed position and attitude angle.
  • the present invention has been made in an effort to provide an apparatus and a method for obtaining coordinate system transformation information for acquiring coordinate system transformation information between a camera installed in a vehicle and a lidar and a driving vehicle.
  • the method of obtaining coordinate system transformation information may include three-dimensional information including first lane information corresponding to lanes around the vehicle by LiDAR of the vehicle and corresponding lanes by the camera of the vehicle. Obtaining a surrounding image including the second lane information to be acquired; Obtaining first coordinate system transformation information for the lidar and the camera by comparing the second lane information with the first lane information; And acquiring second coordinate system transformation information about the vehicle and the camera by using the top view image transformation information obtained based on the surrounding image and the traveling direction of the vehicle.
  • An apparatus for obtaining coordinate system transformation information may include: a plane checking unit configured to determine whether the vehicle is flat on the basis of first lane information on lanes around the vehicle acquired by a LiDAR of a vehicle; A first coordinate system for acquiring first coordinate system transformation information for the lidar by comparing the second lane information on the lane in the surrounding image of the vehicle acquired by the camera of the vehicle with the first lane information A conversion information acquisition unit; And a second coordinate system transformation information acquisition unit for acquiring second coordinate system transformation information for the vehicle and the camera using the top view image transformation information acquired based on the surrounding image and the traveling direction of the vehicle. do.
  • the apparatus and method for obtaining coordinate system conversion information may acquire coordinate system transformation information of a camera and a lidar with respect to a vehicle being driven without additional equipment or manual manipulation, thereby reducing the cost and time required for calibration. While saving, accurate coordinate system transformation information can be obtained.
  • 1 and 2 are functional block diagrams of a coordinate system transformation information acquisition system according to various embodiments.
  • FIG. 3 is a diagram for describing a coordinate system of a vehicle, a camera, and a lidar, according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method for checking whether a flat road travels among coordinate system transformation information acquisition methods according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing a method of extracting first lane information from 3D information obtained by a lidar of a vehicle, according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a method of acquiring first coordinate system transformation information among methods of acquiring coordinate system transformation information according to an exemplary embodiment.
  • FIG. 7 is a diagram for describing a method of extracting second lane information from an ambient image acquired by a camera of a vehicle, according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating a method for obtaining second coordinate system transformation information, among methods for obtaining coordinate system transformation information, according to an exemplary embodiment.
  • FIG. 9 is a diagram for describing a method of obtaining a diffusion point from a surrounding image acquired by a camera of a vehicle, according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating a top view image of a surrounding image acquired by a camera of a vehicle, according to an exemplary embodiment.
  • FIG. 1 and 2 are functional block diagrams of a coordinate system transformation information acquisition system according to various embodiments
  • FIG. 3 is a diagram illustrating a coordinate system of a vehicle, a camera, and a lidar, according to an exemplary embodiment.
  • the coordinate system transformation information acquisition system 1 may be configured of a vehicle V and an apparatus 100 for obtaining coordinate system transformation information.
  • the vehicle V may refer to a vehicle capable of moving a human, an object, or an animal from one location to another while traveling along a road or a track.
  • the vehicle V may include a three-wheeled or four-wheeled vehicle, a two-wheeled vehicle such as a motorcycle, a construction machine, a prime mover, a bicycle, and a train traveling on a track.
  • the vehicle V of FIG. 1 may store the precision map in advance.
  • the precision map may mean a map having high accuracy for safe and precise control of the vehicle V and including information on altitude, slope, curvature, etc., as well as the plane position of the road.
  • the precision map is a map in which at least lanes are separately displayed, and may further include road signs such as signs, traffic lights, and guardrails.
  • the precision map is composed of a point cloud, which is a set of a plurality of points obtained by scanning a road through a laser scanner or the like, and each point constituting the point cloud may have three-dimensional spatial coordinates on a reference coordinate system.
  • the obtained point cloud may filter only meaningful data through a noise filter, and then a precise map may be constructed by marking a landmark on each point cloud.
  • the reference coordinate system may mean an orthogonal coordinate system that does not depend on the device, and may include a world coordinate system.
  • the precision map may be stored in the coordinate system transformation information obtaining apparatus 100, which will be described later, in addition to the vehicle V.
  • the vehicle V of FIG. 1A may be equipped with an advanced driver assistance system (ADAS).
  • ADAS advanced driver assistance system
  • the advanced driver assistance system is a system that provides driving environment information such as vehicle V status, driver status, and surrounding environment information or actively controls the vehicle V in order to reduce the burden on the driver and improve convenience. It may mean.
  • the vehicle V may be equipped with a Lane Departure Warning System (LDWS), a Lane Keeping Assist System (LKAS), or the like.
  • LDWS Lane Departure Warning System
  • LKAS Lane Keeping Assist System
  • the advanced driver assistance system mounted on the vehicle V is not limited to the above-described example.
  • the vehicle V may include sensing means for sensing the driving environment information provided to the advanced driver assistance system.
  • the sensing unit emits pulses around the vehicle V, receives a echo pulse reflected from an object located in a corresponding direction, and detects a driving environment, and / or the vehicle V. It may include an ultrasonic sensor for irradiating ultrasonic waves to the periphery and receiving echo ultrasonic waves reflected from an object located in the corresponding direction.
  • the vehicle V may comprise a camera C as the sensing means.
  • the camera C may be provided to face the front, the side, and / or the rear of the vehicle V, and may photograph an image in the corresponding direction.
  • the captured image may be a basis for acquiring information such as lanes or signs as well as objects around the vehicle V through image processing.
  • an image captured by the camera C installed in the vehicle V is called a surrounding image of the vehicle, and the surrounding image is a front image photographed by the camera C provided to face the front of the vehicle V and the vehicle. It may include a rear image taken by the camera (C) provided to face the rear of (V), and a side image taken by the camera (C) provided to face the side of the vehicle (V).
  • the vehicle V may further comprise a LiDAR (L) as the sensing means.
  • the lidar L is provided to face the front, side, and / or rear of the vehicle V, and may irradiate a laser in the direction.
  • the lidar L may sense three-dimensional information around the vehicle V as driving environment information of the vehicle V by receiving the laser reflected from an object located in the direction in which the laser is irradiated.
  • the 3D information detected by the surrounding image and the lidar L acquired by the camera C may include information on at least two identical lanes. This will be described later.
  • the vehicle V may include CAN data such as steering angle information and yaw rate information transmitted through a CAN communication method, which is a communication method between a camera C and a paramount L and an internal module of the vehicle V. Can be used to control the vehicle (V).
  • CAN communication method which is a communication method between a camera C and a paramount L and an internal module of the vehicle V. Can be used to control the vehicle (V).
  • the image acquired by the camera (C) follows the camera coordinate system
  • the point cloud obtained by the lidar (L) follows the lidar coordinate system
  • the CAN DATA may follow the vehicle coordinate system.
  • FIG. 3 is a schematic plan view of a vehicle V according to an embodiment, the coordinate system of the vehicle V, the coordinate system of the lidar L installed in the vehicle V, and the camera C installed in the vehicle V. It illustrates the coordinate system of and the coordinate system of the ground (R) based on it.
  • the vehicle V has an origin of O V , an X V axis in a traveling direction of the vehicle V, a Z V axis in a direction perpendicular to the ground, and an X V axis and a Z V axis. It may have a vehicle coordinate system composed of a vertical Y V axis.
  • the lidar (L) installed in the vehicle (V) may have a camera coordinate system composed of X l axis, Y l axis, Z l axis determined according to the installation position and attitude angle O 1 as the origin.
  • the camera C installed in the vehicle V may have a camera coordinate system composed of an X C axis, a Y C axis, and a Z C axis that are determined based on O C as an origin and are determined according to the installation position and attitude angle.
  • the (R) coordinate system is the tower means to the coordinate system of the view image, and, and the O r the reference point X r shaft when converting the image acquired by the camera (C) a top view (Top View) image and
  • the Y r axis is present on the ground, and the Z r axis may be defined in a direction opposite to the Z v axis of the vehicle coordinate system.
  • the camera C and the lidar L may be calibrated before the vehicle V travels.
  • an image and a point cloud may be obtained using the camera C and the lidar L with respect to a correction point previously recognized from the stopping position.
  • the coordinates of the camera coordinate system reference correction point and the coordinates of the lidar coordinate system reference correction point and the coordinates of the vehicle coordinate system reference correction point may be compared to obtain coordinate system transformation information therebetween.
  • the above-mentioned method must stop the vehicle V accurately at a predetermined position, and it is also necessary to accurately recognize the position of the correction point. Since such preliminary work is performed manually by humans, it is difficult to guarantee accuracy, and it may take a lot of time and money to have precision. In addition, pre-calibration prior to driving may need to be performed again when the camera and / or lidar is changed or replaced later.
  • the apparatus 100 for obtaining coordinate system transformation information according to an exemplary embodiment may perform calibration in real time on a vehicle while driving. Referring back to FIG. 1, the apparatus 100 for obtaining coordinate system transformation information according to an exemplary embodiment may use the information received from the vehicle V while driving between the vehicle V, the camera C, and the lidar L. FIG. Coordinate system transformation information can be obtained.
  • the coordinate system transformation information obtaining apparatus 100 may exchange information by communicating with the vehicle V by various known communication methods.
  • the apparatus 100 for acquiring coordinate system transformation information according to an embodiment adopts a known communication method such as CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, and EPC to communicate with the vehicle V via a base station. Can be.
  • the apparatus 100 for obtaining coordinate system transformation information according to another embodiment may include a wireless LAN, Wi-Fi, Bluetooth, Zigbee, WFD, and UWB.
  • a communication method such as (Ultra Wide Band), Infrared Data Association (IrDA), Bluetooth Low Energy (BLE), and Near Field Communication (NFC) may be adopted to communicate with the vehicle V within a predetermined distance.
  • IrDA Infrared Data Association
  • BLE Bluetooth Low Energy
  • NFC Near Field Communication
  • the method in which the coordinate system transformation information obtaining apparatus 100 communicates with the vehicle V is not limited to the above-described embodiment.
  • the apparatus 100 for obtaining coordinate system transformation information may acquire the coordinate system transformation information based on the surrounding image acquired by the camera C of the vehicle V and the point cloud acquired by the lidar L.
  • the coordinate system transformation information obtaining apparatus 100 includes a lane information obtaining unit 140; Flat check unit; First coordinate system transformation information acquisition unit 120; And a second coordinate system transformation information acquirer 130.
  • the lane information acquisition unit 140 may acquire first lane information corresponding to the lane around the vehicle V by the lidar L of the vehicle V.
  • the lane information acquisition unit 140 may receive 3D information around the vehicle V obtained by the lidar L of the vehicle V.
  • the lane information acquisition unit 140 may extract first lane information of a lane on the 3D information around the vehicle V.
  • the lane information acquisition unit 140 may receive only the first lane information from the vehicle (V). That is, after extracting the first lane information from the 3D information acquired by the lidar L in the vehicle V, and transmitting the extracted first lane information to the flat confirmation unit, the received flat confirmation unit receives the first lane information.
  • the information may be used to determine whether the vehicle V is driving on a flat surface.
  • the lane information acquisition unit 140 may obtain a surrounding image including second lane information corresponding to the lane by the camera C of the vehicle V.
  • the lane information acquisition unit 140 may further receive second lane information extracted from the surrounding image from the vehicle V.
  • the lane information acquisition unit 140 may directly extract the second lane information from the received surrounding image.
  • the first lane information extracted from the 3D information and the second lane information extracted from the surrounding image need to include at least two identical lane information.
  • the lidar (L) and the camera (C) may be installed in the vehicle (V) to obtain three-dimensional information and the surrounding image including at least two identical lanes.
  • the lane information obtaining unit 140 may receive 3D information and the surrounding image obtained by the lidar L and the camera C of the vehicle V at the same time.
  • the 3D information acquired by the lidar L and the surrounding image acquired by the camera C may include information about a lane existing around the vehicle V at the same time.
  • the identification unit may determine whether the vehicle V is traveling on a flat surface based on the first lane information around the vehicle V obtained by the lidar L of the vehicle V. FIG. Since the accuracy of the calibration using the lane image on the surrounding image and the surrounding point cloud is ensured when the vehicle V is driving on a flat surface, the coordinate system transformation information obtaining apparatus 100 uses the plane checking unit prior to obtaining the coordinate system transformation information. It is possible to check whether (V) is driving on a flat surface.
  • the plane checking unit may fit a plane based on the first lane information acquired by the lane information obtaining unit 140, and if the fitting error of the fitted plane is equal to or less than a predetermined reference error, the vehicle V It can be determined that this flat is traveling.
  • the first coordinate system transformation information acquisition unit 120 obtains first coordinate system transformation information for the lidar L and the camera C by comparing the second lane information in the surrounding image of the vehicle V with the first lane information. can do.
  • the first coordinate system transformation information acquisition unit 120 may perform an operation for acquiring the first coordinate system transformation information only when the vehicle V is driving on a flat surface. have.
  • the first coordinate system transformation information obtaining unit 120 when it is determined that the vehicle V is driving on a flat surface by the flat checking unit, the first coordinate system transformation information obtaining unit 120 according to an embodiment may be included in the surrounding image received by the lane information obtaining unit 140.
  • the second lane information about the existing lane can be extracted.
  • the first coordinate system transformation information acquisition unit 120 may obtain first coordinate system transformation information by mapping the extracted second lane information with the previously extracted first lane information.
  • the first coordinate system transformation information acquirer 120 may further receive second lane information extracted from the surrounding image from the lane information acquirer 140. That is, after extracting the second lane information from the surrounding image acquired by the camera C in the vehicle V, and transmitting the extracted second lane information to the lane information obtaining unit 140, the lane information obtaining unit 140 ) Provides the second lane information to the first coordinate system transformation information acquisition unit 120 together with the surrounding image, and the first coordinate system transformation information acquisition unit 120 uses the second lane information to drive the plane on a flat surface. You can also decide whether or not you are busy.
  • the second coordinate system transformation information acquisition unit 130 converts the second coordinate system for the vehicle V and the camera C using the top view image transformation information of the surrounding image and the traveling direction of the vehicle V. Information can be obtained. Like the first coordinate system transformation information acquisition unit 120, the second coordinate system transformation information acquisition unit 130 may perform an operation for acquiring the second coordinate system transformation information only when the vehicle V is driving on a flat surface.
  • the second coordinate system transformation information acquirer 130 is acquired by the camera C of the vehicle V and is diffused from a surrounding image provided from the lane information acquirer 140. ), And the moving direction of the vehicle V may be obtained based on the obtained diffusion point.
  • the second coordinate system transformation information acquisition unit 130 may acquire the top view image transformation information by using the distance between lanes and the direction of the lane obtained from the first lane information. .
  • the second coordinate system transformation information acquisition unit 130 may acquire the second coordinate system transformation information based on the inverse information of the top view image transformation information and the traveling direction of the vehicle V.
  • the second coordinate system transformation information acquisition unit 130 may receive the location of the diffusion point along with the surrounding image from the vehicle V through the lane information acquisition unit 140. That is, after checking the position of the diffusion point in the surrounding image acquired by the camera C in the vehicle V, and transmitting the position of the diffusion point to the lane information obtaining unit 140 together with the surrounding image, the lane information obtaining unit 140 provides the position of the received surrounding image and the diffusion point to the second coordinate system transformation information acquisition unit 130, and the second coordinate system transformation information acquisition unit 130 received the vehicle V using the diffusion point. The direction of travel may be obtained.
  • FIG. 1 illustrates an example in which the coordinate system transformation information obtaining apparatus 100 is provided separately from the vehicle V to configure the coordinate system transformation information obtaining system 1, the coordinate system transformation information obtaining apparatus 100 is different from this. It may also be possible to include in one configuration of the vehicle (V).
  • the coordinate system transformation information acquisition system 1 may be configured as a vehicle V including the apparatus 100 for obtaining coordinate system transformation information.
  • the operation method of the coordinate system transformation information obtaining system 1 of FIG. 1 and the coordinate system transformation information obtaining system 1 of FIG. 2 are the same.
  • Each configuration of the apparatus 100 for obtaining coordinate system transformation information according to the embodiments of FIGS. 1 and 2 may be implemented as an arithmetic unit including a microprocessor, for example, a central processing unit (CPU). And a graphic processing unit (GPU).
  • a microprocessor for example, a central processing unit (CPU).
  • GPU graphic processing unit
  • at least two of each configuration of the apparatus 100 for obtaining coordinate system transformation information may be implemented as a system on chip (SOC).
  • SOC system on chip
  • the vehicle V may acquire three-dimensional information around the vehicle V by the lidar L.
  • FIG. 1 is a diagrammatic representation of the vehicle V.
  • the coordinate system transformation information acquisition system 1 may determine whether the vehicle V is traveling on a flat surface based on the first lane information around the vehicle V obtained by the lidar L of the vehicle V. FIG. This will be described with reference to FIGS. 4 and 5.
  • FIG. 4 is a flowchart illustrating a method for checking whether a plane travels on a flat surface in a method of acquiring coordinate system transformation information
  • FIG. 5 illustrates extracting first lane information from three-dimensional information obtained by a lidar of a vehicle, according to an embodiment. It is a figure for demonstrating a method.
  • the plane checking unit of the apparatus 100 for obtaining coordinate system transformation information may extract first lane information from three-dimensional information around the vehicle V (S100).
  • the 3D information may refer to a point cloud generated by the lidar L based on the laser reflected by an object around the vehicle V.
  • the lidar L receives a laser reflected by an object present in the surrounding radar irradiation area, and generates a point cloud, which is a set of points whose brightness values vary according to the intensity of the received laser. can do.
  • the higher the reflectance of the laser (L) the greater the brightness value of the point corresponding to the position of the object.
  • the first lane information may include a curvature differential value, a curvature, a direction, an offset value, and the like, for a region estimated as a lane on a point cloud constituting 3D information.
  • the flat checker may extract the first lane information of the lane on the 3D information based on the brightness value pattern of the point corresponding to each of the lane area on the road and the surrounding area.
  • FIG. 5 is a diagram illustrating three-dimensional information acquired by a lidar L provided in a vehicle V corresponding to a central blind area on a plan view.
  • the point cloud (green line) extending in the left-right direction is confirmed, and the flat checker may determine this as a lane and extract first lane information thereof.
  • the flat checker may use any one of a known pattern recognition technique, or may use a machine learning method such as deep learning.
  • step S100 is performed in the plane checking unit of the coordinate system transformation information obtaining apparatus 100, but step S100 is performed in the vehicle V and the vehicle V is the first lane. It is also possible to transmit the information to the coordinate system transformation information obtaining apparatus 100. Unlike this, the vehicle V transmits the 3D information to the coordinate system transformation information obtaining apparatus 100, and the lane information obtaining unit 140 of the coordinate system transformation information obtaining apparatus 100 receives the first lane from the received 3D information. It may be possible to extract the information and provide it to the flat check unit.
  • the flat confirmation unit of the coordinate system transformation information acquisition apparatus 100 may compare whether the error of the fitted plane is less than the reference error (S120).
  • the reference error may mean a maximum value of the error of the reliable fitted plane equation with respect to the first lane information.
  • the flat check unit may obtain a fitting error according to Equation 1.
  • (x i , y i , z i ) may mean point coordinates constituting the i-th first lane information.
  • the flat confirmation unit of the coordinate system transformation information obtaining apparatus 100 may extract the first lane information again. On the other hand, if the fitted plane error is equal to or less than the reference error, the flat confirmation unit of the coordinate system transformation information obtaining apparatus 100 may determine that the vehicle V is driving on the flat (S130).
  • the coordinate system transformation information obtaining apparatus 100 may acquire first coordinate system transformation information for the lidar L and the camera C. Can be. This will be described with reference to FIGS. 6 and 7.
  • FIG. 6 is a flowchart illustrating a method of acquiring first coordinate system transformation information, according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating extracting second lane information from a surrounding image acquired by a camera of a vehicle, according to an exemplary embodiment. It is a figure for demonstrating a method.
  • the first coordinate system transformation information acquisition unit 120 of the apparatus 100 for obtaining coordinate system transformation information may check whether the vehicle V is driving on a flat surface (S200). If the vehicle V is not traveling on a flat surface, the first coordinate system transformation information acquisition unit 120 may repeatedly check this.
  • the first coordinate system transformation information acquisition unit 120 may extract the second lane information from the surrounding image (S210).
  • the second lane information may include a curvature differential value, a curvature, a direction, an offset value, and the like, for a region estimated as a lane in the surrounding image.
  • FIG. 7 is a diagram illustrating a surrounding image obtained by a camera C of a vehicle V driving on a flat surface.
  • a white lane on a black road is identified, and the first coordinate system transformation information acquisition unit 120 may determine this as a lane and extract first lane information about the lane.
  • a straight line extending in the same direction as the lane direction is illustrated in red.
  • the first coordinate system transformation information acquirer 120 adopts a known pattern recognition technique, or uses a machine learning method such as deep learning. It can also be used.
  • step S210 is performed by the first coordinate system transformation information acquisition unit 120 of the apparatus 100 for obtaining coordinate system transformation information, but step S210 is performed in vehicle V and vehicle V is performed. It is also possible to transmit the resultant second lane information to the coordinate system transformation information obtaining apparatus 100. Unlike this, the vehicle V transmits the surrounding image to the coordinate system transformation information obtaining apparatus 100, and the lane information obtaining unit 140 of the coordinate system transformation information obtaining apparatus 100 receives the second lane information from the received surrounding image. It may also be possible to extract and provide it to the first coordinate system transformation information acquisition unit 120.
  • the first coordinate system transformation information acquisition unit 120 may acquire the first coordinate system transformation information by correlating the extracted second lane information with the first lane information (S220). As described above, since the first lane information and the second lane information include information on at least two identical lanes, the first coordinate system transformation information acquisition unit 120 may determine the first lane information and the second lane information for the same lane. Can be matched.
  • the first coordinate system transformation information acquisition unit 120 may acquire first coordinate system transformation information between the camera C and the lidar L according to equation (2).
  • T * (c, l) which is the solution of Equation 2
  • Z k is a surrounding image.
  • P k refers to the point coordinates on the first lane information corresponding to the Z k
  • C zk and C pk each covariance represents the error for the Z k and P k H may mean a partial differential (Jacobian) for the function h ().
  • the function h () converts P k into coordinate values of the camera C coordinate system by the three-dimensional transformation matrix T (c, l) , and then projects the two-dimensional image according to the camera C internal parameters. It may mean.
  • the first coordinate system transformation information acquisition unit 120 may perform the following steps.
  • the first coordinate system transformation information acquisition unit 120 converts the point coordinates on the first lane information into coordinate values of the camera C coordinate system using T (c, l) , and then converts the coordinates in the surrounding image.
  • T (c, l) representing the attitude angle of the camera C coordinate system reference lidar L may be obtained using Equation 2.
  • the first step is repeated until the change between the previously obtained T (c, l) and the presently obtained T (c, l) is less than or equal to the threshold, and the solution T * (c, l) Can be obtained.
  • the first coordinate system transformation information acquisition unit 120 may select at least one of known algorithms, for example, the Gauss Newton algorithm or the Levenberg-Marquardt algorithm.
  • the apparatus for obtaining coordinate system transformation information 100 may acquire second coordinate system transformation information for the vehicle V and the camera C. This will be described with reference to FIGS. 8 to 10.
  • FIG. 8 is a flowchart illustrating a method for acquiring second coordinate system transformation information, according to an exemplary embodiment
  • FIG. 9 illustrates a method for acquiring a diffusion point from a surrounding image acquired by a camera of a vehicle, according to an exemplary embodiment
  • FIG. 10 is a diagram for explaining a top view image of a surrounding image acquired by a camera of a vehicle, according to an exemplary embodiment.
  • the second coordinate system transformation information acquisition unit 130 of the apparatus 100 for obtaining coordinate system transformation information may acquire a traveling direction of the vehicle V based on a diffusion point according to the surrounding image (S300). .
  • the second coordinate system transformation information acquisition unit 130 may first determine whether the vehicle V is traveling straight.
  • the second coordinate system transformation information acquisition unit 130 may determine whether the vehicle V is driving straight based on at least one of a steering angle and a yaw rate of the vehicle V. If the steering angle of the vehicle V and the absolute value of the yaw rate are less than a predetermined threshold value, the second coordinate system transformation information acquisition unit 130 may determine that the vehicle V is driving straight.
  • the second coordinate system transformation information acquisition unit 130 may extract a plurality of feature points in a plurality of surrounding images acquired at different photographing time points.
  • the second coordinate system transformation information acquisition unit 130 may extract the feature points within the surrounding image using an optical flow based on the Lukas-Kanade method, and the result thereof is illustrated in FIG. 9.
  • the feature point extraction method is not limited to the above-described embodiment.
  • the second coordinate system transformation information acquisition unit 130 may acquire a motion vector of the same feature point in the plurality of surrounding images. After acquiring the motion vector, the second coordinate system transformation information acquisition unit 130 may obtain an intersection point of the motion vector. If the vehicle V travels straight, the motion vector meets at one point and is diffused. It is called the Focus of Expansion. When the direction perpendicular to the traveling direction of the vehicle is referred to as the reference lateral direction, when the camera C is installed to face the traveling direction side based on the reference lateral direction of the vehicle V, it is extracted from a plurality of surrounding images. The intersection of the motion vectors for the plurality of feature points can be formed on the front of the vehicle.
  • the second coordinate system transformation information acquisition unit 130 may determine the intersection as the diffusion point.
  • the intersection of the motion vectors with respect to the plurality of feature points extracted from the plurality of surrounding images may be Can be formed on.
  • the second coordinate system transformation information acquisition unit 130 may determine a position where the Z-axis coordinate of the corresponding intersection is rotated 180 ° as the diffusion point.
  • the second coordinate system transformation information acquisition unit 130 may obtain a diffusion point according to the following steps.
  • the second coordinate system transformation information acquisition unit 130 may obtain an intersection point between motion vectors in a feature point group consisting of arbitrary k feature points in the surrounding image, and obtain it as a candidate diffusion point.
  • the second coordinate system transformation information acquisition unit 130 may obtain the number of motion vectors of the feature points in the surrounding image passing through the candidate diffusion points acquired in the first step.
  • the second coordinate system transformation information acquisition unit 130 may repeat the first step and the second step.
  • the second coordinate system transformation information acquisition unit 130 may determine a candidate spreading point through which the motion vectors of the most feature points pass.
  • the second coordinate system transformation information acquisition unit 130 uses the entire motion vector of the feature points passing through the diffusion point determined in the fourth step as a fifth step in the above-described method, and again uses one intersection point. You can add a process to find and finally determine it as the diffusion point. This can increase the accuracy of the diffusion point determination.
  • the point P can be determined as the feature point.
  • the second coordinate system transformation information acquisition unit 130 may obtain a traveling direction of the camera C coordinate system reference vehicle V based on the diffusion point.
  • the traveling direction of the vehicle V may mean an X V axis in the vehicle V coordinate system of FIG. 3.
  • the second coordinate system transformation information acquisition unit 130 may acquire a traveling direction X (C, v) of the camera C coordinate system reference vehicle V according to Equation 3 below.
  • the vector X (c, v) means the X v axis of the camera (C) coordinate system reference vehicle (V) coordinate system
  • K means a 3X3 matrix about the camera (Intrinsic Parameter)
  • m FOE May mean a spread point coordinate (u, v, 1).
  • the vector X (c, v) obtained through Equation 3 is expressed as a unit vector.
  • the second coordinate system transformation information acquisition unit 130 may convert the top view image transformation information by using the distance between lanes and the direction of the lanes obtained from the first lane information. Can be obtained.
  • the top view image conversion information may mean a transformation matrix R (r, c) representing the attitude of the ground coordinate system reference camera C used to convert the surrounding image into the top view image, which is expressed by Equation 4 below. Can be defined.
  • m topview may be pixel coordinates in the top view image
  • K may mean a 3X3 matrix for the camera C internal parameter
  • m original may mean pixel coordinates in the surrounding image.
  • the second coordinate system transformation information acquisition unit 130 converts the surrounding image into the top view image according to the initial value of the transformation matrix R (r, c) , and defines the lane as the equation of a straight line in Equation 5 in the top view image. can do.
  • (x, y) may mean pixel coordinates in the ground coordinate system reference top view image, and i may represent an index of a lane for distinguishing a plurality of lanes in the top view image.
  • a white lane exists in the top view image, and a red straight line extending in the direction of the lane may follow the equation of a straight line defined by Equation 5.
  • the second coordinate system transformation information acquisition unit 130 may acquire the top view image transformation information by using the distance between lanes and the direction of the lane obtained from the first lane information.
  • the first lane information in the three-dimensional information obtained by the lidar (L) includes the distance information between the actual lanes, and the lanes in the surrounding image is parallel, so that the second coordinate system transformation information is converted according to Equation 6
  • the matrix R (r, c) can be found.
  • i and j may mean a lane index
  • d i, j may mean an interval between an i th lane and a j th lane.
  • the second coordinate system transformation information acquisition unit 130 may convert the transformation matrix R (r, c) obtained through the equation (6 ) .
  • the solution transformation matrix R * (r, c) of Equation 6 can be obtained iteratively by substituting Equation 4 again and repeating the above-described process. That is, the second coordinate system transformation information acquisition unit 130 may convert the transformation matrix R * (r, c) when the plurality of lanes in the top view image are parallel and the distance between the plurality of lanes is very similar to the distance between the actual lanes. It can obtain
  • the second coordinate system transformation information obtaining unit After acquiring the top view image change information according to the above-described method, and finally, the second coordinate system transformation information obtaining unit obtains the second coordinate system based on the inverse information of the top view image transformation information and the traveling direction of the vehicle V.
  • the conversion information may be obtained (S320).
  • the second coordinate system transformation information acquisition unit 130 may acquire the attitude angle R (c, v) of the camera C coordinate system reference vehicle V, which is the second coordinate system transformation information, according to Equation (7 ) .
  • R (c, r) means the inverse of the transformation matrix R (r, c ) which is the top view image conversion information
  • the vector X (c, v) is the camera C coordinate system as the traveling direction of the vehicle V. It may mean the X v axis of the reference vehicle (V) coordinate system, and the symbol ' ⁇ ' may mean the cross product between two vectors.
  • each of the vectors Y (c, v) and Z (c, v) is obtained through the cross product of the given vectors and may be expressed as a unit vector.
  • the coordinate system transformation information obtaining apparatus 100 uses the first coordinate system transformation information and the second coordinate system transformation information, and the camera C and the ra. It is possible to obtain third coordinate system transformation information between and (L). Through this, calibration between the vehicle V, the camera C, and the lidar L may be performed.
  • the above-described coordinate system conversion information acquisition device and method can acquire the coordinate system transformation information of the camera and the lidar with respect to a vehicle in motion without additional equipment or manual operation, while reducing the cost and time required for calibration, Accurate coordinate system transformation information can be obtained.
  • each step included in the method for obtaining coordinate system conversion information according to the above-described embodiment may be implemented in a computer-readable recording medium for recording a computer program programmed to perform such a step.
  • each step included in the method for obtaining coordinate system conversion information according to the above-described embodiment may be implemented in a computer-readable recording medium for recording a computer program programmed to perform such a step.
  • the apparatus for obtaining coordinate system transformation information and the method described above may be used in various fields such as a home or an industrial site, and thus there is industrial applicability.

Abstract

일 실시예에 따른 좌표계 변환 정보 획득 방법은, 차량의 라이다(LiDAR)에 의한 상기 차량 주변의 차선에 대응되는 제 1 차선 정보를 포함하는 3차원 정보 및 상기 차량의 카메라에 의한 상기 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득하는 단계; 상기 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 단계; 및 상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 단계를 포함한다.

Description

좌표계 변환 정보 획득 장치 및 방법
본 발명은 차량, 차량에 설치된 라이다 및 카메라 간 좌표계 변환 정보를 획득하는 좌표계 변환 정보 획득 장치 및 방법에 관한 것이다. 참고로, 본 출원은 2018년 08월 17일자로 출원된 한국특허출원(출원번호 10-2018-0096210호)을 기초로 우선권을 주장한다. 이러한 우선권의 기초가 되는 해당 출원의 전체 내용은 본 출원에서 참조문헌으로서 인용된다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 시원 시스템은 주행 환경을 감지하기 위해 감지 수단을 구비할 수 있으며, 예를 들어 감지 수단은 카메라 및 라이다(LiDAR)를 포함할 수 있다. 카메라 및 라이다는 차량 외부 또는 내부에 설치되어, 설치되는 위치 및 자세각에 대응되는 영상 또는 포인트 클라우드를 획득함으로써 주행 환경을 감지할 수 있다.
본 발명이 해결하고자 하는 과제는, 차량 내 설치되는 카메라 및 라이다와 주행 중인 차량 간의 좌표계 변환 정보를 획득하기 위한 좌표계 변환 정보 획득 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 좌표계 변환 정보 획득 방법은, 차량의 라이다(LiDAR)에 의한 상기 차량 주변의 차선에 대응되는 제 1 차선 정보를 포함하는 3차원 정보 및 상기 차량의 카메라에 의한 상기 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득하는 단계; 상기 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 단계; 및 상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 단계를 포함한다.
일 실시예에 따른 좌표계 변환 정보 획득 장치는, 차량의 라이다(LiDAR)에 의해 획득된 상기 차량 주변의 차선에 대한 제 1 차선 정보에 기초하여 상기 차량의 평지 주행 여부를 확인하는 평지 확인부; 상기 차량의 카메라에 의해 획득된 상기 차량의 주변 영상 내 상기 차선에 대한 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 제 1 좌표계 변환 정보 획득부; 및 상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 제 2 좌표계 변환 정보 획득부를 포함한다.
일 실시예에 따른 좌표계 변환 정보 획득 장치, 및 방법은, 별도의 장비나 수동 조작 없이, 주행 중인 차량에 대하여 카메라 및 라이다의 좌표계 변환 정보를 획득할 수 있어, 캘리브레이션에 소요되는 비용 및 시간을 절감하면서도, 정확한 좌표계 변환 정보를 획득할 수 있다.
도 1 및 2 는 여러 가지 실시예에 따른 좌표계 변환 정보 획득 시스템의 기능 블록도이다.
도 3은 일 실시예에 따른 차량, 카메라, 및 라이다의 좌표계를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 평지 주행 여부 확인 방법의 흐름도이다.
도 5는 일 실시예에 따른 차량의 라이다에 의해 획득된 3차원 정보로부터 제 1 차선 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 제 1 좌표계 변환 정보 획득 방법의 흐름도이다.
도 7은 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상으로부터 제 2 차선 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 제 2 좌표계 변환 정보 획득 방법의 흐름도이다.
도 9는 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상으로부터 확산점을 획득하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상에 대한 탑 뷰 영상을 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 및 2 는 여러 가지 실시예에 따른 좌표계 변환 정보 획득 시스템의 기능 블록도이고, 도 3은 일 실시예에 따른 차량, 카메라, 및 라이다의 좌표계를 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 좌표계 변환 정보 획득 시스템(1)은 차량(V) 및 좌표계 변환 정보 획득 장치(100)로 구성될 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단을 의미할 수 있다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
도 1의 차량(V)은 정밀 지도를 미리 저장할 수 있다. 여기서, 정밀 지도는 안전하고 정밀한 차량(V)제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다.
또한, 정밀 지도는 적어도 차선이 구분 표시되는 지도이고, 추가적으로 표지판, 신호등, 가드레일과 같은 도로 시설물 등을 포함할 수 있다.
정밀 지도는 도로를 레이저 스캐너 등을 통해 스캔함으로써 획득되는 복수의 포인트의 집합인 포인트 클라우드로 이루어지며, 포인트 클라우드를 구성하는 각각의 포인트는 기준 좌표계 상의 3차원 공간 좌표를 가질 수 있다. 획득된 포인트 클라우드는 노이즈 필터를 통해 유의미한 데이터만을 필터링한 후, 각각의 포인트 클라우드에 랜드마크를 마킹함으로써 정밀 지도가 구축될 수 있다.
여기서, 기준 좌표계란 장치에 의존하지 않는 직교 좌표계를 의미하고, 월드 좌표계(World Coordinate System)를 포함할 수 있다.
또한, 정밀 지도는 차량(V) 이외에 후술할 좌표계 변환 정보 획득 장치(100)에도 저장될 수 있다.
아울러, 도 1a의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다. 예를 들어, 차량(V)은 차선 이탈 경보 시스템(LDWS: Lane Departure Warning System), 차선 유지 지원 시스템(LKAS: Lane Keeping Assist System) 등이 탑재될 수 있다. 다만, 차량(V)에 탑재되는 첨단 운전자 보조 시스템이 상술한 예에 한정되지는 않는다.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경 정보에 대응하여 동작하므로, 차량(V)은 첨단 운전자 보조 시스템에 제공되는 주행 환경 정보를 감지하기 위한 감지 수단을 포함할 수 있다. 일 실시예에 따른 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, 차량(V)은 감지 수단으로서 카메라(C)를 포함할 수 있다. 카메라(C)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 영상을 촬영할 수 있다. 촬영된 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는 기초가 될 수 있다.
이하에서는 차량(V)에 설치된 카메라(C)에 의해 촬영된 영상을 차량의 주변 영상이라 하며, 주변 영상은 차량(V)의 전방을 향하도록 마련된 카메라(C)에 의해 촬영된 전방 영상, 차량(V)의 후방을 향하도록 마련된 카메라(C)에 의해 촬영된 후방 영상, 및 차량(V)의 측방을 향하도록 마련된 카메라(C)에 의해 촬영된 측방 영상을 포함할 수 있다.
나아가, 차량(V)은 감지 수단으로서 라이다(LiDAR; L)를 더 포함할 수 있다. 라이다(L)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로 레이저를 조사할 수 있다. 라이다(L)는 레이저가 조사된 방향에 위치하는 물체로부터 반사되는 레이저를 수신함으로써 차량(V)의 주행 환경 정보로서 차량(V) 주변의 3차원 정보를 감지할 수 있다.
이 때, 카메라(C)에 의해 획득된 주변 영상 및 라이다(L)에 의해 감지된 3차원 정보는 적어도 두 개의 동일한 차선에 대한 정보를 포함할 수 있다. 이에 대해서는 후술한다.
한편, 차량(V)은 카메라(C), 및 라이다(L)와, 차량(V) 내부 모듈간 통신 방식인 CAN 통신 방식으로 전송되는 조향각 정보, 요 레이트(Yaw Rate) 정보와 같은 CAN DATA를 융합하여 차량(V) 제어에 이용할 수 있다. 이 때, 카메라(C)에 의해 획득된 영상은 카메라 좌표계를 따르고, 라이다(L)에 의해 획득된 포인트 클라우드는 라이다 좌표계를 따르는 반면, CAN DATA는 차량 좌표계를 따를 수 있다.
도 3는 일 실시예에 따른 차량(V)의 개략적인 평면도로서, 차량(V)의 좌표계, 차량(V)에 설치된 라이다(L)의 좌표계, 및 차량(V)에 설치된 카메라(C)의 좌표계와 이에 기초한 지면(R)의 좌표계를 예시한다. 도 3을 참조하면, 차량(V)은 OV를 원점으로 하고, 차량(V)의 진행 방향으로의 XV축, 지면에 수직 방향으로의 ZV축, 및 XV축과 ZV축에 수직인 YV축으로 구성되는 차량 좌표계를 가질 수 있다. 반면, 차량(V)에 설치된 라이다(L)는 Ol를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 Xl축, Yl축, Zl축으로 구성되는 카메라 좌표계를 가질 수 있다. 또한, 차량(V)에 설치된 카메라(C)는 OC를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 가질 수 있다. 덧붙여, 지면(R) 좌표계는 카메라(C)에 의해 획득되는 영상을 탑 뷰(Top View) 영상으로 변환하였을 때 탑 뷰 영상에 대한 좌표계를 의미하며, Or을 원점으로 하고, Xr축과 Yr축은 지면 상에 존재하며, Zr축은 차량 좌표계의 Zv축의 반대 방향으로 정의될 수 있다. 이처럼 서로 상이한 좌표계 상의 정보를 융합하기 위해서는 좌표계의 통일이 요구되며, 이를 캘리브레이션(CALIBRATION)이라 한다.
이를 위해, 차량(V)의 주행에 앞서 사전에 카메라(C) 및 라이다(L) 캘리브레이션을 수행할 수 있다. 구체적으로, 차량(V)을 미리 정해진 위치에 정차시킨 후, 정차 위치로부터 사전에 인지된 보정점에 대하여 카메라(C) 및 라이다(L)를 이용하여 영상과 포인트 클라우드를 획득할 수 있다. 그 다음, 카메라 좌표계 기준 보정점의 좌표와 라이다 좌표계 기준 보정점의 좌표 및 차량 좌표계 기준 보정점의 좌표를 비교하여 이들간의 좌표계 변환 정보를 획득할 수 있다.
그러나, 상술한 방법은 차량(V)을 미리 정해진 위치에 정확히 정차시켜야 하고, 보정점의 위치 또한 정확하게 인지할 필요가 있다. 이와 같은 사전 작업은 사람에 의해 수동으로 이루어지므로 정확도를 담보하기 어려우며, 정밀도를 갖기 위해서는 많은 시간과 비용이 소요될 수 있다. 또한, 주행에 앞선 사전 캘리브레이션은 추후 카메라 및/또는 라이다의 위치 변경 또는 교체 시 해당 과정을 다시 수행할 필요가 있다.
이를 해결하기 위해, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 주행 중의 차량에 대하여 실시간으로 캘리브레이션을 수행할 수 있다. 다시 도 1을 참조하면, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 주행 중의 차량(V)으로부터 수신한 정보를 이용하여 차량(V), 카메라(C) 및 라이다(L) 간 좌표계 변환 정보를 획득할 수 있다.
주행 중의 차량(V)에 의해 감지된 주변 환경 정보를 수신하기 위해, 좌표계 변환 정보 획득 장치(100)는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)과 통신할 수 있다. 이와는 달리, 다른 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra Wide Band), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다. 다만, 좌표계 변환 정보 획득 장치(100)가 차량(V)과 통신하는 방법은 상술한 실시예에 한정되지 않는다.
좌표계 변환 정보 획득 장치(100)는 차량(V)의 카메라(C)에 의해 획득된 주변 영상 및 라이다(L)에 의해 획득된 포인트 클라우드를 기초로 좌표계 변환 정보를 획득할 수 있다. 이를 위해, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)는 차선 정보 획득부(140); 평지 확인부; 제 1 좌표계 변환 정보 획득부(120); 및 제 2 좌표계 변환 정보 획득부(130)를 포함할 수 있다.
차선 정보 획득부(140)는 차량(V)의 라이다(L)에 의한 차량(V) 주변의 차선에 대응되는 제 1 차선 정보를 획득할 수 있다. 구체적으로, 일 실시예에 따른 차선 정보 획득부(140)는 차량(V)의 라이다(L)에 의해 획득된 차량(V) 주변의 3차원 정보를 수신할 수 있다. 그 다음, 일 실시예에 따른 차선 정보 획득부(140)는 차량(V) 주변의 3차원 정보 상의 차선에 대한 제 1 차선 정보를 추출할 수 있다.
상술한 실시예에서는 차선 정보 획득부(140)가 차량(V)으로부터 라이다(L)에 의해 획득된 3차원 정보를 직접 수신하는 경우를 설명하였다. 이와는 달리, 다른 실시예에 따른 차선 정보 획득부(140)는 차량(V)으로부터 제 1 차선 정보만을 수신할 수 있다. 즉, 차량(V)에서 라이다(L)에 의해 획득된 3차원 정보로부터 제 1 차선 정보를 추출한 후, 추출된 제 1 차선 정보를 평지 확인부로 전송하면, 이를 수신한 평지 확인부는 제 1 차선 정보를 이용하여 차량(V)이 평지 주행 중인지 여부를 결정할 수도 있다.
또한, 차선 정보 획득부(140)는 차량(V)의 카메라(C)에 의한 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득할 수 있다. 나아가, 차선 정보 획득부(140)는 차량(V)으로부터 주변 영상으로부터 추출된 제 2 차선 정보를 더 수신할 수도 있다. 이와는 달리, 차선 정보 획득부(140)는 수신된 주변 영상으로부터 직접 제 2 차선 정보를 추출할 수도 있다.
이 때, 3차원 정보로부터 추출된 제 1 차선 정보와 주변 영상으로부터 추출된 제 2 차선 정보는 적어도 두 개의 동일 차선 정보를 포함할 필요가 있다. 이를 위해, 라이다(L) 및 카메라(C)는 적어도 두 개의 동일 차선을 포함하는 3차원 정보 및 주변 영상을 획득할 수 있도록 차량(V)에 설치될 수 있다.
또한, 차선 정보 획득부(140)는 동일 시점에 차량(V)의 라이다(L) 및 카메라(C) 각각에 의해 획득된 3차원 정보 및 주변 영상을 수신할 수 있다. 그 결과, 라이다(L)에 의해 획득된 3차원 정보와 카메라(C)에 의해 획득된 주변 영상 내에는 동일 시점의 차량(V) 주변에 존재하는 차선에 대한 정보를 포함할 수 있다.평지 확인부는 차량(V)의 라이다(L)에 의해 획득된 차량(V) 주변의 제 1 차선 정보에 기초하여 차량(V)의 평지 주행 여부를 확인할 수 있다. 차량(V)이 평지 주행하는 경우에 주변 영상 및 주변 포인트 클라우드 상의 차선 정보를 이용하는 캘리브레이션의 정확도가 담보되므로, 좌표계 변환 정보 획득 장치(100)는 좌표계 변환 정보 획득에 앞서, 평지 확인부를 이용하여 차량(V)이 평지 주행 중인지를 확인할 수 있다.
구체적으로, 평지 확인부는 차선 정보 획득부(140)에 의해 획득된 제 1 차선 정보를 기초로 평면을 피팅(Fitting)하고, 피팅된 평면의 피팅 오차가 미리 정해진 기준 오차 이하이면, 차량(V)이 평지를 주행 중인 것으로 결정할 수 있다.
제 1 좌표계 변환 정보 획득부(120)는 차량(V)의 주변 영상 내 제 2 차선 정보를 제 1 차선 정보와 비교하여 라이다(L) 및 카메라(C)에 대한 제 1 좌표계 변환 정보를 획득할 수 있다. 상술한 바와 같이 획득된 좌표계 변환 정보의 정확도를 높이기 위해, 제 1 좌표계 변환 정보 획득부(120)는 차량(V)이 평지 주행 중인 경우에 대해서만 제 1 좌표계 변환 정보 획득을 위한 동작을 수행할 수 있다.
구체적으로, 일 실시예에 따른 제 1 좌표계 변환 정보 획득부(120)는 평지 확인부에 의해 차량(V)이 평지 주행 중인 것으로 확인되면, 차선 정보 획득부(140)에 의해 수신된 주변 영상 내에 존재하는 차선에 대한 제 2 차선 정보를 추출할 수 있다. 그 다음, 제 1 좌표계 변환 정보 획득부(120)는 추출된 제 2 차선 정보를 앞서 추출된 제 1 차선 정보와 대응시켜 제 1 좌표계 변환 정보를 획득할 수 있다.
상술한 실시예에서는 제 1 좌표계 변환 정보 획득부(120)가 차선 정보 획득부(140)에 의해 수신된 주변 영상만을 제공 받는 경우를 설명하였다. 이와는 달리, 다른 실시예에 따른 제 1 좌표계 변환 정보 획득부(120)는 차선 정보 획득부(140)로부터 주변 영상으로부터 추출된 제 2 차선 정보를 더 수신할 수 있다. 즉, 차량(V)에서 카메라(C)에 의해 획득된 주변 영상으로부터 제 2 차선 정보를 추출한 후, 추출된 제 2 차선 정보를 차선 정보 획득부(140)로 전송하면, 차선 정보 획득부(140)가 주변 영상과 함께 제 2 차선 정보를 제 1 좌표계 변환 정보 획득부(120)에 제공하고, 제 1 좌표계 변환 정보 획득부(120)는 제 2 차선 정보를 이용하여 차량(V)이 평지 주행 중인지 여부를 결정할 수도 있다.
제 2 좌표계 변환 정보 획득부(130)는 주변 영상에 대한 탑 뷰(Top View) 영상 변환 정보 및 차량(V)의 진행 방향을 이용하여 차량(V) 및 카메라(C)에 대한 제 2 좌표계 변환 정보를 획득할 수 있다. 제 1 좌표계 변환 정보 획득부(120)와 마찬가지로, 제 2 좌표계 변환 정보 획득부(130)는 차량(V)이 평지 주행 중인 경우에 대해서만 제 2 좌표계 변환 정보 획득을 위한 동작을 수행할 수 있다.
구체적으로, 일 실시예에 따른 제 2 좌표계 변환 정보 획득부(130)는 차량(V)의 카메라(C)에 의해 획득되어 차선 정보 획득부(140)로부터 제공된 주변 영상으로부터 확산점(Focus of Expansion)을 획득하고, 획득된 확산점에 기초하여 차량(V)의 진행 방향을 획득할 수 있다. 차량(V)의 진행 방향을 획득한 후, 제 2 좌표계 변환 정보 획득부(130)는 제 1 차선 정보로부터 획득된 차선 간 거리 및 차선의 방향을 이용하여 탑 뷰 영상 변환 정보를 획득할 수 있다. 마지막으로, 제 2 좌표계 변환 정보 획득부(130)는 탑 뷰 영상 변환 정보의 역(Inverse) 정보 및 차량(V)의 진행 방향을 기초로 제 2 좌표계 변환 정보를 획득할 수 있다.
상술한 실시예에서는 제 2 좌표계 변환 정보 획득부(130)가 차량(V)으로부터 카메라(C)에 의해 획득된 주변 영상을 차선 정보 획득부(140)를 통해 수신하는 경우를 설명하였다. 이와는 달리, 다른 실시예에 따른 제 2 좌표계 변환 정보 획득부(130)는 차량(V)으로부터 차선 정보 획득부(140)를 통해 주변 영상과 함께 확산점의 위치를 수신할 수 있다. 즉, 차량(V)에서 카메라(C)에 의해 획득된 주변 영상 내 확산점의 위치를 확인한 후, 주변 영상과 함께 확산점의 위치를 차선 정보 획득부(140)로 전송하면, 차선 정보 획득부(140)는 수신된 주변 영상 및 확산점의 위치를 제 2 좌표계 변환 정보 획득부(130)에 제공하고, 이를 제공받은 제 2 좌표계 변환 정보 획득부(130)는 확산점을 이용하여 차량(V)의 진행 방향을 획득할 수도 있다.
한편, 도 1에서는 좌표계 변환 정보 획득 장치(100)가 차량(V)과 별개로 마련되어 좌표계 변환 정보 획득 시스템(1)을 구성하는 경우에 대하여 예시하고 있으나, 이와는 달리 좌표계 변환 정보 획득 장치(100)가 차량(V)의 일 구성으로 포함되는 것도 가능할 수 있다.
도 2를 참조하면, 다른 실시예에 따른 좌표계 변환 정보 획득 시스템(1)은 좌표계 변환 정보 획득 장치(100)를 포함하는 차량(V)으로 구성될 수 있다. 다만, 좌표계 변환 정보 획득 장치(100)가 마련되는 방식을 제외하고는, 도 1의 좌표계 변환 정보 획득 시스템(1)과 도 2의 좌표계 변환 정보 획득 시스템(1)의 동작 방식은 동일하다.
도 1 및 2의 실시예에 따른 좌표계 변환 정보 획득 장치(100)의 각 구성은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나로 구현될 수 있다. 이와는 달리, 좌표계 변환 정보 획득 장치(100)의 각 구성 중 적어도 두 개가 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
지금까지는 좌표계 변환 정보 획득 시스템(1)의 각 구성에 대하여 설명하였다. 이하에서는 도 4 내지 10을 참조하여 좌표계 변환 정보 획득 시스템(1)에 의해 수행되는 좌표계 변환 정보 획득 방법에 대하여 설명한다.
먼저, 차량(V)은 라이다(L)에 의해 차량(V) 주변의 3차원 정보를 획득할 수 있다.
좌표계 변환 정보 획득 시스템(1)은 차량(V)의 라이다(L)에 의해 획득된 차량(V) 주변의 제 1 차선 정보에 기초하여 차량(V)의 평지 주행 여부를 확인할 수 있다. 이에 대해서 도 4 및 5를 참조하여 설명한다.
도 4는 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 평지 주행 여부 확인 방법의 흐름도이고, 도 5는 일 실시예에 따른 차량의 라이다에 의해 획득된 3차원 정보로부터 제 1 차선 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 먼저, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 차량(V) 주변의 3차원 정보로부터 제 1 차선 정보를 추출할 수 있다(S100). 여기서, 3차원 정보는 라이다(L)가 차량(V) 주변의 물체에 의해 반사된 레이저에 기초하여 생성한 포인트 클라우드를 의미할 수 있다. 구체적으로, 라이다(L)는 주변의 레이더 조사 영역 내에 존재하는 물체에 의해 반사된 레이저를 수신하고, 수신된 레이저의 강도(Intensity)에 따라 밝기 값을 달리하는 포인트들의 집합인 포인트 클라우드를 생성할 수 있다. 예를 들어, 라이다(L)는 레이저에 대한 반사율이 높은 물체일수록, 해당 물체의 위치에 대응되는 포인트의 밝기 값을 크게 할 수 있다.
또한, 제 1 차선 정보란 3차원 정보를 구성하는 포인트 클라우드 상에서 차선으로 추정되는 영역에 대한 곡률 미분 값, 곡률, 방향, 오프셋(Offset) 값 등을 포함할 수 있다.
차량(V) 주변의 도로 상에서 차선 영역은 주변 영역에 비해 레이저에 대한 반사율이 높으므로, 라이다(L)에 의해 획득된 3차원 정보 중 차선 영역에 대응되는 포인트의 밝기 값이 주변 영역보다 클 수 있다. 따라서, 일 실시예에 따른 평지 확인부는 도로 상의 차선 영역과 그 주변 영역 각각에 대응되는 포인트의 밝기 값 패턴에 기초하여 3차원 정보 상의 차선에 대한 제 1 차선 정보를 추출할 수 있다.
도 5는 중앙의 사각 영역에 대응되는 차량(V)에 마련된 라이다(L)에 의해 획득된 3차원 정보를 평면도 상에 도시한 도면이다. 도 5에서 좌-우 방향으로 연장되는 포인트 클라우드(녹색 선)가 확인되는데, 평지 확인부는 이를 차선으로 판단하고, 이에 대한 제 1 차선 정보를 추출할 수 있다.
제 1 차선 정보 추출을 위해, 일 실시예에 따른 평지 확인부는 공지된 패턴 인식 기법 중 어느 하나를 채택하여 이용하거나, 딥러닝(Deep Learning)과 같은 기계 학습 방법을 이용할 수도 있다.
상술한 실시예는 단계 S100이 좌표계 변환 정보 획득 장치(100)의 평지 확인부에서 수행되는 경우를 전제하였으나, 단계 S100이 차량(V)에서 수행되고, 차량(V)이 그 결과인 제 1 차선 정보를 좌표계 변환 정보 획득 장치(100)로 전송하는 것도 가능하다. 이와는 달리, 차량(V)이 3차원 정보를 좌표계 변환 정보 획득 장치(100)로 전송하고, 좌표계 변환 정보 획득 장치(100)의 차선 정보 획득부(140)가 수신된 3차원 정보로부터 제 1 차선 정보를 추출하여 평지 확인부에 제공하는 것도 가능할 수 있다.
그 다음, 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 추출된 제 1 차선 정보를 기초로 평면을 피팅할 수 있다(S110). 차선은 주행 도로 상에 마련되므로, 차선에 대응되는 제 1 차선 정보의 포인트들로 구성되는 평면의 방정식을 탐색함으로써, 주행 도로를 평면으로 피팅할 수 있다. 구체적으로, 평지 확인부는 제 1 차선 정보를 구성하는 적어도 네 개의 포인트((x, y, z) 좌표를 가짐을 전제함.)를 이용하여 ax+by+cz=d 의 평면의 방정식의 계수 a, b, c, d를 구할 수 있다.
평면을 피팅한 후, 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 피팅된 평면의 오차가 기준 오차 이하인지 비교할 수 있다(S120). 여기서 기준 오차란 신뢰할 수 있는 피팅된 평면 방정식이 제 1 차선 정보에 대하여 가지는 오차의 최대값을 의미할 수 있다. 구체적으로, 평지 확인부는 수학식 1에 따라 피팅 오차(Fitting Error)를 구할 수 있다.
Figure PCTKR2019006557-appb-M000001
여기서, (xi, yi, zi)는 i번째 제 1 차선 정보를 구성하는 포인트 좌표를 의미할 수 있다.
만약, 피팅된 평면의 오차가 기준 오차를 초과하는 경우, 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 다시 제 1 차선 정보를 추출할 수 있다. 반면, 피팅된 평면 오차가 기준 오차 이하이면, 좌표계 변환 정보 획득 장치(100)의 평지 확인부는 차량(V)이 평지를 주행 중인 것으로 결정할 수 있다(S130).
이처럼 제 1 차선 정보를 기초로 차량(V)이 평지를 주행 중인 것으로 결정되면, 좌표계 변환 정보 획득 장치(100)는 라이다(L) 및 카메라(C)에 대한 제 1 좌표계 변환 정보를 획득할 수 있다. 이에 대해서 도 6 및 7을 참조하여 설명한다.
도 6은 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 제 1 좌표계 변환 정보 획득 방법의 흐름도이고, 도 7은 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상으로부터 제 2 차선 정보를 추출하는 방법을 설명하기 위한 도면이다.
먼저, 일 실시예에 따른 좌표계 변환 정보 획득 장치(100)의 제 1 좌표계 변환 정보 획득부(120)는 차량(V)이 평지를 주행 중인지 확인할 수 있다(S200). 만약, 차량(V)이 평지를 주행하고 있지 않은 경우, 제 1 좌표계 변환 정보 획득부(120)는 반복하여 이를 확인할 수 있다.
반면, 차량(V)이 평지를 주행 중인 경우, 일 실시예에 따른 제 1 좌표계 변환 정보 획득부(120)는 주변 영상으로부터 제 2 차선 정보를 추출할 수 있다(S210). 여기서, 제 2 차선 정보란 주변 영상 내에서 차선으로 추정되는 영역에 대한 곡률 미분 값, 곡률, 방향, 오프셋(Offset) 값 등을 포함할 수 있다.
도 7은 평지를 주행 중인 차량(V)의 카메라(C)에 의해 획득된 주변 영상을 예시한 도면이다. 도 7의 주변 영상에서 검은 색 도로 상의 흰색 차선이 확인되는데, 제 1 좌표계 변환 정보 획득부(120)는 이를 차선으로 판단하고, 차선에 대한 제 1 차선 정보를 추출할 수 있다. 도 7에서는 차선 방향과 동일한 방향으로 연장되는 직선을 붉은 색으로 도시하였다.
제 2 차선 정보 추출을 위해, 일 실시예에 따른 제 1 좌표계 변환 정보 획득부(120)는 공지된 패턴 인식 기법 중 어느 하나를 채택하여 이용하거나, 딥러닝(Deep Learning)과 같은 기계 학습 방법을 이용할 수도 있다.
상술한 실시예는 단계 S210이 좌표계 변환 정보 획득 장치(100)의 제 1 좌표계 변환 정보 획득부(120)에서 수행되는 경우를 전제하였으나, 단계 S210이 차량(V)에서 수행되고, 차량(V)이 그 결과인 제 2 차선 정보를 좌표계 변환 정보 획득 장치(100)로 전송하는 것도 가능하다. 이와는 달리, 차량(V)이 주변 영상을 좌표계 변환 정보 획득 장치(100)로 전송하고, 좌표계 변환 정보 획득 장치(100)의 차선 정보 획득부(140)가 수신된 주변 영상으로부터 제 2 차선 정보를 추출하여 제 1 좌표계 변환 정보 획득부(120)에 제공하는 것도 가능할 수 있다.
제 2 차선 정보가 추출되면, 제 1 좌표계 변환 정보 획득부(120)는 추출된 제 2 차선 정보를 제 1 차선 정보와 대응시켜 제 1 좌표계 변환 정보를 획득할 수 있다(S220). 상술한 바와 같이 제 1 차선 정보와 제 2 차선 정보가 적어도 두 개의 동일 차선에 대한 정보를 포함하므로, 제 1 좌표계 변환 정보 획득부(120)는 동일 차선에 대한 제 1 차선 정보와 제 2 차선 정보를 대응시킬 수 있다.
구체적으로, 제 1 좌표계 변환 정보 획득부(120)는 수학식 2에 따라 카메라(C) 및 라이다(L) 간 제 1 좌표계 변환 정보를 획득할 수 있다.
Figure PCTKR2019006557-appb-M000002
여기서, 수학식 2의 해인 T* (c,l)은 제 1 좌표계 변환 정보로서 카메라(C) 좌표계 기준 라이다(L)의 자세각을 나타내는 3차원 변환 행렬을 의미하고, Zk는 주변 영상으로부터 추출된 제 2 차선 정보의 좌표를 의미하고, Pk는 Zk에 대응되는 제 1 차선 정보 상의 포인트 좌표를 의미하고, Czk와 Cpk 각각은 Zk와 Pk에 대한 오차를 나타내는 공분산을 의미하고, H는 함수 h()에 대한 편미분(Jacobian)을 의미할 수 있다. 또한, 함수 h()는 Pk를 3차원 변환 행렬 T(c,l)에 의해 카메라(C) 좌표계의 좌표 값으로 변환한 후, 카메라(C) 내부 파라미터에 따라 2차원 영상으로 투영되는 함수를 의미할 수 있다.
수학식 2를 이용하여 T* (c,l)를 구하기 위해 제 1 좌표계 변환 정보 획득부(120)는 이하의 단계를 수행할 수 있다. 제 1 단계로서, 제 1 좌표계 변환 정보 획득부(120)는 제 1 차선 정보 상의 포인트 좌표를 T(c,l)을 이용하여 카메라(C) 좌표계의 좌표 값으로 변환한 후, 주변 영상 내 제 2 차선 정보와 대응되는 픽셀을 찾은 다음 수학식 2를 이용하여 카메라(C) 좌표계 기준 라이다(L)의 자세각을 나타내는 T(c,l)를 구할 수 있다. 제 2 단계로서, 직전에 구한 T(c,l)과 현재 구한 T(c,l)간의 변화가 임계치 이하가 될 때까지 제 1 단계를 반복하여 수학식 2의 해 T*(c,l)를 구할 수 있다.
수학식 2의 해를 구하기 위해, 제 1 좌표계 변환 정보 획득부(120)는 공지된 알고리즘 중 적어도 하나를 선택할 수 있으며, 예를 들어 Gauss Newton 알고리즘 또는 Levenberg-Marquardt 알고리즘을 이용할 수 있다.
상술한 방법에 따라 제 1 좌표계 변환 정보를 획득한 후, 좌표계 변환 정보 획득 장치(100)는 차량(V) 및 카메라(C)에 대한 제 2 좌표계 변환 정보를 획득할 수 있다. 이에 대해서 도 8 내지 10을 참조하여 설명한다.
도 8은 일 실시예에 따른 좌표계 변환 정보 획득 방법 중 제 2 좌표계 변환 정보 획득 방법의 흐름도이고, 도 9는 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상으로부터 확산점을 획득하는 방법을 설명하기 위한 도면이고, 도 10은 일 실시예에 따른 차량의 카메라에 의해 획득된 주변 영상에 대한 탑 뷰 영상을 예시한 도면이다.
도 8을 참조하면, 좌표계 변환 정보 획득 장치(100)의 제 2 좌표계 변환 정보 획득부(130)는 주변 영상에 따른 확산점에 기초하여 차량(V)의 진행 방향을 획득할 수 있다(S300). 이를 위해, 제 2 좌표계 변환 정보 획득부(130)는 먼저 차량(V)이 직진 주행 중인지를 결정할 수 있다. 구체적으로, 제 2 좌표계 변환 정보 획득부(130)는 차량(V)의 조향각 및 요레이트(Yaw Rate) 중 적어도 하나를 기초로 차량(V)이 직진 주행 중인지를 결정할 수 있다. 만약, 차량(V)의 조향각 및 요레이트의 절대값이 미리 정해진 임계치 미만인 경우, 제 2 좌표계 변환 정보 획득부(130)는 차량(V)이 직진 주행 중인 것으로 결정할 수 있다.
차량(V)이 직진 주행 중인 것으로 결정되면, 제 2 좌표계 변환 정보 획득부(130)는 서로 다른 촬영 시점에 획득된 복수의 주변 영상 내의 복수의 특징점을 추출할 수 있다. 일 실시예에 따른 제 2 좌표계 변환 정보 획득부(130)는 Lukas-Kanade 방법을 기반으로 Optical Flow를 이용하여 주변 영상 내에서 특징점을 추출할 수 있으며, 그 결과는 도 9와 같다. 다만, 이는 주변 영상 내에서 특징점을 추출하는 방법의 일 실시예에 불과하므로, 특징점 추출 방법이 상술한 실시예에 한정되지는 않는다.
그 다음, 제 2 좌표계 변환 정보 획득부(130)는 복수의 주변 영상 내에서 동일한 특징점의 이동 벡터를 획득할 수 있다. 이동 벡터를 획득한 후, 제 2 좌표계 변환 정보 획득부(130)는 이동 벡터의 교점을 구할 수 있다.차량(V)이 직진 주행을 한 경우라면 이동 벡터는 어느 한 점에서 만나게 되며, 이를 확산점(Focus of Expansion)이라 한다. 만약, 차량의 진행 방향에 수직인 방향을 기준 측방향이라 할 때, 카메라(C)가 차량(V)의 기준 측방향을 기준으로 진행 방향 측을 향하도록 설치된 경우, 복수의 주변 영상으로부터 추출된 복수의 특징점에 대한 이동 벡터의 교점은 차량 전방 상에 형성될 수 있다. 이 경우, 제 2 좌표계 변환 정보 획득부(130)는 해당 교점을 확산점으로 결정할 수 있다. 반면, 카메라(C)가 차량(V)의 기준 측방향을 기준으로 진행 방향의 반대 방향 측을 향하도록 설치된 경우, 복수의 주변 영상으로부터 추출된 복수의 특징점에 대한 이동 벡터의 교점은 차량 후방 상에 형성될 수 있다. 이 경우, 제 2 좌표계 변환 정보 획득부(130)는 해당 교점의 Z축 좌표를 180°회전 시킨 위치를 확산점으로 결정할 수 있다.
한편, Optical Flow를 수행 시 실제 도로 환경에 의해 발생되는 오차가 존재할 수 있다. 따라서 제 2 좌표계 변환 정보 획득부(130)는 이하의 단계에 따라 확산점을 구할 수 있다.
제 1 단계로서, 제 2 좌표계 변환 정보 획득부(130)는 주변 영상 내 임의의 k개 특징점으로 구성되는 특징점 그룹 내의 이동 벡터 간 교점을 구하여, 이를 후보 확산점으로서 획득할 수 있다. 제 2 단계로서, 제 2 좌표계 변환 정보 획득부(130)는 제 1 단계에서 획득한 후보 확산점을 지나는 주변 영상 내의 특징점의 이동 벡터 수를 구할 수 있다. 제 3 단계로서, 제 2 좌표계 변환 정보 획득부(130)는 제 1 단계 및 제 2 단계를 반복하여 수행할 수 있다. 제 4 단계로서, 제 2 좌표계 변환 정보 획득부(130)는 가장 많은 특징점의 이동 벡터가 지나는 후보 확산점을 확산점으로 결정할 수 있다.
이와는 달리, 다른 실시예에 따른 제 2 좌표계 변환 정보 획득부(130)는 상술한 방법에 제 5 단계로서, 제 4 단계에서 결정된 확산점을 지나는 특징점의 이동 벡터 전체를 이용하여 다시 하나의 교점을 찾고, 이를 최종적으로 확산점으로 결정하는 과정을 추가할 수 있다. 이를 통해 확산점 결정의 정확도를 높일 수 있다.
상술한 과정에 따라 도 9에서 특징점을 구한 결과, 점 P를 특징점으로서 결정할 수 있다.
주변 영상을 기초로 확산점을 결정한 후, 제 2 좌표계 변환 정보 획득부(130)는 확산점에 기초하여 카메라(C) 좌표계 기준 차량(V)의 진행 방향을 획득할 수 있다. 여기서, 차량(V)의 진행 방향은 도 3의 차량(V) 좌표계에서 XV축을 의미할 수 있다. 구체적으로, 제 2 좌표계 변환 정보 획득부(130)는 수학식 3에 따라 카메라(C) 좌표계 기준 차량(V)의 진행 방향 X(C,v)를 획득할 수 있다.
Figure PCTKR2019006557-appb-M000003
여기서, 벡터 X(c,v)는 카메라(C) 좌표계 기준 차량(V) 좌표계의 Xv축을 의미하고, K는 카메라(C) 내부 파라미터(Intrinsic Parameter)에 관한 3X3 행렬을 의미하고, mFOE는 확산점 좌표(u,v,1)을 의미할 수 있다. 이 때, 수학식 3을 통해 구한 벡터 X(c,v)는 단위 벡터로 표현된다.
차량(V)의 진행 방향을 획득한 후, 제 2 좌표계 변환 정보 획득부(130)는 제 1 차선 정보로부터 획득된 차선 간 거리 및 차선의 방향을 이용하여 탑 뷰(Top View) 영상 변환 정보를 획득할 수 있다. 여기서, 탑 뷰 영상 변환 정보란 주변 영상을 탑 뷰 영상으로 변환하는데 이용되는 지면 좌표계 기준 카메라(C) 자세각을 나타내는 변환 행렬 R(r,c)를 의미할 수 있고, 이는 수학식 4에 의해 정의될 수 있다.
Figure PCTKR2019006557-appb-M000004
여기서, mtopview는 탑 뷰 영상에서의 픽셀 좌표이고, K는 카메라(C) 내부 파라미터에 관한 3X3 행렬을 의미하고, moriginal은 주변 영상에서의 픽셀 좌표를 의미할 수 있다.
제 2 좌표계 변환 정보 획득부(130)는 변환 행렬 R(r,c)의 초기값에 따라 주변 영상을 탑 뷰 영상으로 변환하고, 탑 뷰 영상 내에서 차선을 수학식 5의 직선의 방정식으로 정의할 수 있다.
Figure PCTKR2019006557-appb-M000005
여기서, (x,y)는 지면 좌표계 기준 탑 뷰 영상에서의 픽셀 좌표를 의미하고, i는 탑뷰 영상 내의 복수의 차선을 구분하기 위한 차선의 인덱스(Index)를 나타낼 수 있다.
도 10을 참조하면, 탑 뷰 영상 내에 흰색 차선이 존재하며, 차선의 방향으로 연장되는 붉은 색 직선이 수학식 5에 의해 정의된 직선의 방정식을 따를 수 있다.
차선에 대한 직선의 방정식을 구한 후, 제 2 좌표계 변환 정보 획득부(130)는 제 1 차선 정보로부터 획득된 차선 간 거리 및 차선의 방향을 이용하여 탑 뷰 영상 변환 정보를 획득할 수 있다. 라이다(L)에 의해 획득된 3차원 정보 내 제 1 차선 정보는 실제 차선 간 거리 정보를 포함하고, 주변 영상 내의 차선은 평행함을 이용하여, 제 2 좌표계 변환 정보는 수학식 6에 따라 변환 행렬 R(r,c)를 구할 수 있다.
Figure PCTKR2019006557-appb-M000006
여기서, i와 j는 차선 인덱스를 의미하고, di,j는 i번째 차선과 j번째 차선의 간격을 의미할 수 있다.
제 2 좌표계 변환 정보 획득부(130)는 수학식 6을 통해 획득한 변환 행렬 R(r,c)를 다시 수학식 4에 대입하여 상술한 과정을 반복함으로써 이터레이티브(Iterative)하게 수학식 6의 해 변환 행렬 R*(r,c)를 구할 수 있다. 즉, 제 2 좌표계 변환 정보 획득부(130)는 탑 뷰 영상 내 복수의 차선이 평행하면서, 복수의 차선 간 간격이 실제 차선 간 간격과 극히 유사할 때의 변환 행렬 R*(r,c)를 수학식 6의 해로서 구할 수 있다.
상술한 방법에 따라 탑 뷰 영상 변화 정보를 획득한 후, 마지막으로 제 2 좌 표계 변환 정보 획득부는 탑 뷰 영상 변환 정보의 역(Inverse) 정보 및 차량(V)의 진행 방향을 기초로 제 2 좌표계 변환 정보를 획득할 수 있다(S320). 구체적으로, 제 2 좌표계 변환 정보 획득부(130)는 수학식 7에 따라 제 2 좌표계 변환 정보인 카메라(C) 좌표계 기준 차량(V)의 자세각 R(c,v)를 획득할 수 있다.
Figure PCTKR2019006557-appb-M000007
여기서, R(c,r)은 탑 뷰 영상 변환 정보인 변환 행렬 R(r,c)의 역행렬을 의미하고, 벡터 X(c,v)는 차량(V)의 진행 방향으로서 카메라(C) 좌표계 기준 차량(V) 좌표계의 Xv축을 의미할 수 있고, 기호 '×'는 두 벡터 간의 외적을 의미할 수 있다. 수학식 7을 참조하면, 벡터 Y(c,v)과 벡터 Z(c,v) 각각은 주어진 벡터 간 외적을 통해 획득되고, 단위 벡터로 표현될 수 있다.
상술한 과정에 따라, 제 1 좌표계 변환 정보 및 제 2 좌표계 변환 정보가 획득되면, 좌표계 변환 정보 획득 장치(100)는 제 1 좌표계 변환 정보 및 제 2 좌표계 변환 정보를 이용하여 카메라(C) 및 라이다(L) 간 제 3 좌표계 변환 정보를 획득할 수 있다. 이를 통해, 차량(V), 카메라(C) 및 라이다(L) 간 캘리브레이션이 이루어질 수 있다.
상술한 좌표계 변환 정보 획득 장치, 및 방법은, 별도의 장비나 수동 조작 없이, 주행 중인 차량에 대하여 카메라 및 라이다의 좌표계 변환 정보를 획득할 수 있어, 캘리브레이션에 소요되는 비용 및 시간을 절감하면서도, 정확한 좌표계 변환 정보를 획득할 수 있다.
한편, 상술한 일 실시예에 따른 좌표계 변환 정보 획득 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
한편, 상술한 일 실시예에 따른 좌표계 변환 정보 획득 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 좌표계 변환 정보 획득 장치, 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.

Claims (12)

  1. 차량의 라이다(LiDAR)에 의한 상기 차량 주변의 차선에 대응되는 제 1 차선 정보를 포함하는 3차원 정보 및 상기 차량의 카메라에 의한 상기 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득하는 단계; 및
    상기 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  2. 제 1 항에 있어서,
    상기 제 1 좌표계 변환 정보를 획득하는 단계는,
    상기 3차원 정보로부터 상기 제 1 차선 정보를 추출하는 단계;
    상기 추출된 제 1 차선 정보를 기초로 평면을 피팅(Fitting)하는 단계;
    상기 평면의 피팅 오차가 미리 정해진 기준 오차 이하이면, 상기 차량이 평지 주행 중인 것으로 결정하는 단계; 및
    상기 차량이 평지 주행 중인 경우, 상기 제 1 좌표계 변환 정보를 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  3. 제 1 항에 있어서,
    상기 제 1 좌표계 변환 정보를 획득하는 단계는,
    상기 차량이 평지 주행 중인 경우, 상기 주변 영상으로부터 상기 제 2 차선 정보를 추출하는 단계; 및
    상기 추출된 제 2 차선 정보를 상기 제 1 차선 정보와 대응시켜 상기 제 1 좌표계 변환 정보를 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  4. 제 1 항에 있어서,
    상기 주변 영상을 기초로 획득된 탑 뷰(Top View) 영상 변환 정보 및 상기 차량의 진행 방향을 이용하여 상기 차량 및 상기 카메라에 대한 제 2 좌표계 변환 정보를 획득하는 단계를 더 포함하는
    좌표계 변환 정보 획득 방법.
  5. 제 4 항에 있어서,
    상기 제 2 좌표계 변환 정보를 획득하는 단계는,
    상기 주변 영상을 기초로 획득된 확산점(Focus of Expansion)을 이용하여 상기 차량의 진행 방향을 획득하는 단계;
    상기 제 1 차선 정보로부터 획득된 상기 차선 간 거리 및 상기 차선의 방향을 이용하여 상기 탑 뷰 영상 변환 정보를 획득하는 단계; 및
    상기 탑 뷰 영상 변환 정보의 역(Inverse) 정보 및 상기 차량의 진행 방향을 기초로 상기 제 2 좌표계 변환 정보를 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  6. 제 5 항에 있어서,
    상기 차량의 진행 방향을 획득하는 단계는,
    서로 다른 촬영 시점에 획득된 복수의 상기 주변 영상 내의 복수의 특징점 각각에 대한 이동 벡터를 획득하는 단계;
    상기 획득된 이동 벡터의 교점을 기초로 상기 확산점을 결정하는 단계; 및
    상기 결정된 확산점 및 상기 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 차량의 진행 방향을 획득하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  7. 제 6 항에 있어서,
    상기 이동 벡터를 획득하는 단계는,
    상기 차량의 조향각 및 요레이트(Yaw Rate) 중 적어도 하나를 기초로 상기 차량이 직진 주행 중으로 결정되면, 상기 이동 벡터를 획득하는
    좌표계 변환 정보 획득 방법.
  8. 제 6 항에 있어서,
    상기 확산점을 결정하는 단계는,
    상기 복수의 특징점 중 서로 다른 복수의 특징점 그룹 각각에 대한 이동 벡터의 교점을 기초로 복수의 후보 확산점을 획득하는 단계; 및
    상기 복수의 후보 확산점 중 상기 주변 영상 내의 가장 많은 이동 벡터가 지나는 후보 확산점을 상기 주변 영상 내 상기 확산점으로 결정하는 단계를 포함하는
    좌표계 변환 정보 획득 방법.
  9. 제 5 항에 있어서,
    상기 탑 뷰 영상 변환 정보를 획득하는 단계는,
    상기 제 1 차선 정보로부터 획득된 상기 차선 간 거리 및 상기 차선의 방향각각과 상기 주변 영상을 기초로 이터레이티브(Iterative)하게 결정되는 복수의 탑 뷰 영상 내 상기 차선 간 거리 및 상기 차선의 방향 각각의 차이를 최소로 하는 상기 탑 뷰 영상 변환 정보를 획득하는
    좌표계 변환 정보 획득 방법.
  10. 제 4 항에 있어서,
    상기 제 1 좌표계 변환 정보 및 상기 제 2 좌표계 변환 정보를 기초로 상기 차량 및 상기 라이다에 대한 제 3 좌표계 변환 정보를 획득하는 단계를 더 포함하는
    좌표계 변환 정보 획득 방법.
  11. 차량의 라이다(LiDAR)에 의해 획득된 상기 차량 주변의 차선에 대한 제 1 차선 정보에 기초하여 상기 차량의 평지 주행 여부를 확인하는 평지 확인부; 및
    상기 차량의 카메라에 의해 획득된 상기 차량의 주변 영상 내 상기 차선에 대한 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 제 1 좌표계 변환 정보 획득부를 포함하는
    좌표계 변환 정보 획득 장치.
  12. 차량의 라이다(LiDAR)에 의한 상기 차량 주변의 차선에 대응되는 제 1 차선 정보를 포함하는 3차원 정보 및 상기 차량의 카메라에 의한 상기 차선에 대응되는 제 2 차선 정보를 포함하는 주변 영상을 획득하는 단계; 및
    상기 제 2 차선 정보를 상기 제 1 차선 정보와 비교하여 상기 라이다 및 상기 카메라에 대한 제 1 좌표계 변환 정보를 획득하는 단계를 포함하는 좌표계 변환 정보 획득 방법을 수행하도록 프로그램된
    컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
PCT/KR2019/006557 2018-08-17 2019-05-31 좌표계 변환 정보 획득 장치 및 방법 WO2020036295A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/267,696 US11954871B2 (en) 2018-08-17 2019-05-31 Apparatus and method for acquiring coordinate conversion information
CN201980053837.3A CN112567264A (zh) 2018-08-17 2019-05-31 用于获取坐标变换信息的装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0096210 2018-08-17
KR1020180096210A KR102146451B1 (ko) 2018-08-17 2018-08-17 좌표계 변환 정보 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020036295A1 true WO2020036295A1 (ko) 2020-02-20

Family

ID=69525532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006557 WO2020036295A1 (ko) 2018-08-17 2019-05-31 좌표계 변환 정보 획득 장치 및 방법

Country Status (4)

Country Link
US (1) US11954871B2 (ko)
KR (1) KR102146451B1 (ko)
CN (1) CN112567264A (ko)
WO (1) WO2020036295A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496520A (zh) * 2020-04-02 2021-10-12 北京四维图新科技股份有限公司 摄像机转俯视图的方法、装置及存储介质
CN115166743A (zh) * 2022-08-30 2022-10-11 长沙隼眼软件科技有限公司 车道自动标定方法、装置、电子设备及存储介质
KR20220150132A (ko) * 2021-05-03 2022-11-10 (주)이레에프에이 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법
CN115797900A (zh) * 2021-09-09 2023-03-14 廊坊和易生活网络科技股份有限公司 基于单目视觉的车路姿态感知方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11926339B2 (en) * 2018-09-30 2024-03-12 Great Wall Motor Company Limited Method for constructing driving coordinate system, and application thereof
KR102363719B1 (ko) * 2021-06-30 2022-02-16 주식회사 모빌테크 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
CN113865582B (zh) * 2021-09-27 2023-09-05 南京农业大学 一种果树行间农用车辆航向角与横向偏差的测定方法
CN114935747B (zh) * 2022-05-02 2023-05-12 苏州一径科技有限公司 一种激光雷达的标定方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100111543A (ko) * 2009-04-07 2010-10-15 주식회사 만도 차량 인식 방법 및 장치
KR20150055183A (ko) * 2013-11-12 2015-05-21 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
KR101840974B1 (ko) * 2017-04-28 2018-03-22 재단법인 경북아이티융합 산업기술원 자율주행용 차선 식별 시스템
KR20180043610A (ko) * 2016-10-20 2018-04-30 현대자동차주식회사 차선 추정 장치 및 방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
KR20140137577A (ko) * 2013-05-23 2014-12-03 한국전자통신연구원 차량의 주변환경 정보를 제공하는 장치 및 그 방법
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
US9205835B2 (en) * 2014-01-30 2015-12-08 Mobileye Vision Technologies Ltd. Systems and methods for detecting low-height objects in a roadway
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
CN104574376B (zh) * 2014-12-24 2017-08-08 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
DE102015209467A1 (de) * 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
KR101843773B1 (ko) * 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
KR102524851B1 (ko) * 2016-10-31 2023-04-25 모빌아이 비젼 테크놀로지스 엘티디. 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
US10668925B2 (en) * 2017-09-05 2020-06-02 Baidu Usa Llc Driver intention-based lane assistant system for autonomous driving vehicles
US10496098B2 (en) * 2017-09-12 2019-12-03 Baidu Usa Llc Road segment-based routing guidance system for autonomous driving vehicles
CN107609522B (zh) * 2017-09-19 2021-04-13 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107792052B (zh) * 2017-10-11 2019-11-08 武汉理工大学 有人或无人双模驾驶电动工程车
WO2019173315A1 (en) * 2018-03-05 2019-09-12 Mobileye Vision Technologies Ltd. Systems and methods for anonymizing navigation information
EP3832261A1 (en) * 2018-04-03 2021-06-09 Mobileye Vision Technologies Ltd. Systems and methods for determining navigational parameters
EP3865822A1 (en) * 2018-05-15 2021-08-18 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100111543A (ko) * 2009-04-07 2010-10-15 주식회사 만도 차량 인식 방법 및 장치
KR20150055183A (ko) * 2013-11-12 2015-05-21 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
KR20180043610A (ko) * 2016-10-20 2018-04-30 현대자동차주식회사 차선 추정 장치 및 방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR101840974B1 (ko) * 2017-04-28 2018-03-22 재단법인 경북아이티융합 산업기술원 자율주행용 차선 식별 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496520A (zh) * 2020-04-02 2021-10-12 北京四维图新科技股份有限公司 摄像机转俯视图的方法、装置及存储介质
KR20220150132A (ko) * 2021-05-03 2022-11-10 (주)이레에프에이 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법
KR102535300B1 (ko) * 2021-05-03 2023-05-26 (주)이레에프에이 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법
CN115797900A (zh) * 2021-09-09 2023-03-14 廊坊和易生活网络科技股份有限公司 基于单目视觉的车路姿态感知方法
CN115166743A (zh) * 2022-08-30 2022-10-11 长沙隼眼软件科技有限公司 车道自动标定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11954871B2 (en) 2024-04-09
KR102146451B1 (ko) 2020-08-20
CN112567264A (zh) 2021-03-26
KR20200020465A (ko) 2020-02-26
US20210295060A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
WO2020036295A1 (ko) 좌표계 변환 정보 획득 장치 및 방법
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2019221349A1 (ko) 차량용 카메라 캘리브레이션 장치 및 방법
CN109598972B (zh) 一种基于视觉的自动泊车停车位检测与测距系统
CN105512628B (zh) 基于无人机的车辆环境感知系统及方法
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
CN104036275B (zh) 一种车辆盲区内目标对象的检测方法及其装置
US7684894B2 (en) Autonomously moving robot
CN106598039B (zh) 一种基于激光雷达的变电站巡检机器人避障方法
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
CN109490899A (zh) 一种基于激光雷达和红外热成像仪的隧道内火源定位方法
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
CN102737236A (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN108545019A (zh) 一种基于图像识别技术的安全辅助驾驶系统和方法
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2020096437A1 (ko) 차량의 위치 추정 장치 및 방법
WO2013022153A1 (en) Apparatus and method for detecting lane
US11900696B2 (en) Method and system for processing a plurality of images so as to detect lanes on a road
CN104268884B (zh) 一种基于车联网的车道偏离预警的标定系统和方法
WO2022114455A1 (ko) 노면 영상정보를 이용한 자율주행 차량의 위치신호 보정장치
WO2020180076A1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법
WO2016163590A1 (ko) 적외선 영상 기반의 차량 보조 장치 및 방법
CN114529811A (zh) 一种地铁隧道异物的快速自动识别与定位方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19849723

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19849723

Country of ref document: EP

Kind code of ref document: A1